robots.txt
Znane też jako: plik robots, robots txt
Plik robots.txt w katalogu głównym domeny mówi crawlerom, których ścieżek nie powinny odwiedzać. Nie chroni jednak przed indeksacją - do tego służy meta noindex.
robots.txt - czym jest i jak działa?
Poprawny robots.txt: User-agent, Disallow dla parametrów i sekcji admin, Sitemap. Uważaj: Disallow: / zablokuje całą stronę dla Google.
Robots.txt to instrukcja, nie zabezpieczenie. Strony zablokowane w robots.txt wciąż mogą pojawiać się w indeksie (bez opisu), jeśli mają linki zewnętrzne. Do wyindeksowania używaj meta noindex + pozwól robotowi zaindeksować stronę, żeby przeczytał noindex.
robots.txt w praktyce - konkretne przykłady
- 1
E-commerce: Disallow: /*?sort=, Disallow: /koszyk/, Disallow: /moje-konto/ + Sitemap: https://domena.pl/sitemap.xml.
- 2
SaaS: Disallow: /app/, Disallow: /api/ (poza publicznymi endpointami), Sitemap.
- 3
Serwis multi-language: osobny Sitemap dla każdej wersji językowej + Disallow dla wersji staging (staging.domena.pl w osobnym robots.txt).
Jak wdrożyć robots.txt - checklista krok po kroku
- Plik w root: https://domena.pl/robots.txt (nie w podkatalogu).
- Sitemap: pełny URL z https, aktualny, zaindeksowany w GSC.
- Disallow tylko dla ścieżek naprawdę bezużytecznych dla SEO (nie dla CSS/JS!).
- Osobny robots.txt dla staging/dev z Disallow: / - broni przed indeksacją testów.
- Testowanie w GSC (Ustawienia → Otwórz raport → robots.txt) po każdej zmianie.
Najczęstsze błędy przy robots.txt
- Disallow: / na produkcji po skopiowaniu z staging - kasuje cały ruch organiczny w ciągu tygodni.
- Blokowanie /wp-includes/ lub /assets/ - Google nie zrenderuje strony i obniży ocenę.
- Poleganie na robots.txt do ochrony danych - to publiczny plik, każdy go widzi.
O robots.txt pisze Mateusz Iwanowski
Prowadzę projekty SEO i GEO dla firm z Polski i zagranicy - od lokalnych usług po SaaS B2B. Specjalizuję się w programmatic SEO, AI Search Optimization i twardych migracjach technicznych. Jeśli chcesz omówić robots.txt w kontekście Twojej strony, zaproś mnie na 30-minutową bezpłatną konsultację.
Czytaj też
Crawl budget to liczba adresów URL, jaką Googlebot zaindeksuje w Twojej domenie w danym czasie. Marnowanie budżetu (np. na filtry fasetowe) blokuje indeksację wartościowych stron.
Indeksacja to proces dodania strony do indeksu wyszukiwarki. Bez indeksacji strona nie może pojawić się w wynikach - nawet jeśli jest technicznie doskonała.
llms.txt to propozycja standardu (analogicznie do robots.txt) informująca modele językowe o tym, jak mają czytać i cytować Twoją domenę - spis kluczowych stron w formacie Markdown.
Potrzebujesz pomocy z tym tematem?
30 minut bezpłatnej konsultacji - konkretne rekomendacje na start.