Crawl budget
Znane też jako: budżet indeksowania, budżet crawlera
Crawl budget to liczba adresów URL, jaką Googlebot zaindeksuje w Twojej domenie w danym czasie. Marnowanie budżetu (np. na filtry fasetowe) blokuje indeksację wartościowych stron.
Crawl budget jest krytyczny w e-commerce i dużych serwisach. Kanibalizują go: parametry sortowania, filtry fasetowe, warianty produktowe, duplikaty, thin content, redirect chains.
Kontrola: robots.txt (Disallow dla parametrów), rel=canonical, meta noindex dla stron małej wartości, sitemap.xml z tylko indeksowalnymi URL-ami, logi serwera do analizy zachowania Googlebota.
Czytaj też
Indeksacja to proces dodania strony do indeksu wyszukiwarki. Bez indeksacji strona nie może pojawić się w wynikach - nawet jeśli jest technicznie doskonała.
Rel=canonical to tag w <head> wskazujący główny (kanoniczny) URL dla treści dostępnej pod wieloma adresami. Chroni przed duplikacją i skupia sygnały rankingowe na jednym URL-u.
Plik robots.txt w katalogu głównym domeny mówi crawlerom, których ścieżek nie powinny odwiedzać. Nie chroni jednak przed indeksacją - do tego służy meta noindex.
Potrzebujesz pomocy z tym tematem?
30 minut bezpłatnej konsultacji - konkretne rekomendacje na start.