robots.txt
Znane też jako: plik robots, robots txt
Plik robots.txt w katalogu głównym domeny mówi crawlerom, których ścieżek nie powinny odwiedzać. Nie chroni jednak przed indeksacją - do tego służy meta noindex.
Poprawny robots.txt: User-agent, Disallow dla parametrów i sekcji admin, Sitemap. Uważaj: Disallow: / zablokuje całą stronę dla Google.
Czytaj też
Crawl budget to liczba adresów URL, jaką Googlebot zaindeksuje w Twojej domenie w danym czasie. Marnowanie budżetu (np. na filtry fasetowe) blokuje indeksację wartościowych stron.
Indeksacja to proces dodania strony do indeksu wyszukiwarki. Bez indeksacji strona nie może pojawić się w wynikach - nawet jeśli jest technicznie doskonała.
llms.txt to propozycja standardu (analogicznie do robots.txt) informująca modele językowe o tym, jak mają czytać i cytować Twoją domenę - spis kluczowych stron w formacie Markdown.
Potrzebujesz pomocy z tym tematem?
30 minut bezpłatnej konsultacji - konkretne rekomendacje na start.