ASK Search

ASKBot — crawler ASK Search

ASKBot jest robotem, który odkrywa publiczne adresy WWW i buduje własny indeks ASK Search.

Jak ASKBot trafia na stronę?

Adres może zostać odkryty przez link z innej witryny, sitemapę, RSS/Atom, pulę Discovery albo w przyszłości przez ASK Webmaster.

ASKBot przed pobraniem sprawdza reguły robots.txt, stosuje odstępy między żądaniami i ogranicza liczbę pobrań, aby nie przeciążać serwisów.

Zaindeksowane strony są okresowo odwiedzane ponownie, dzięki czemu ASK Search może aktualizować treść, status URL i sygnały jakości.