Jak sprawdzić, czy adres jest zablokowany w robots.txt?

Użyj sprawdzarki robots.txt: wpisz adres i wybierz robota, a zobaczysz, czy może wejść i która reguła o tym decyduje.

Czy Disallow usuwa stronę z Google?

Nie. Disallow zabrania skanowania. Strona może zostać w indeksie bez opisu, jeśli prowadzą do niej linki. Do usunięcia z indeksu służy noindex.

Co jeśli robots.txt zwraca błąd 404?

Dla Google brak pliku oznacza brak ograniczeń — może skanować wszystko. Groźniejszy jest błąd 5xx: Google wstrzymuje wtedy skanowanie serwisu.

Robots.txt

Robots.txt to plik tekstowy w katalogu głównym domeny (/robots.txt), który mówi robotom wyszukiwarek, których adresów nie skanować. Reguły Disallow i Allow dotyczą skanowania, a nie indeksowania — zablokowana strona może zostać w wynikach. Błąd w robots.txt potrafi zablokować cały serwis jedną linią.

Jak wygląda robots.txt

User-agent: *

Disallow: /koszyk/

Disallow: /szukaj

Allow: /koszyk/regulamin

Sitemap: https://sklep.pl/sitemap.xml

Każda grupa zaczyna się od User-agent (nazwa robota albo * dla wszystkich), po której idą reguły. Linia Sitemap wskazuje mapę witryny.

Jak Google czyta reguły

Googlebot stosuje grupę Googlebot, a jeśli jej nie ma — grupę *,
reguła pasuje do początku ścieżki: Disallow: /koszyk blokuje też /koszyk-promocje,
* oznacza dowolny ciąg znaków, $ — koniec adresu: Disallow: /*.pdf$,
gdy pasuje kilka reguł, wygrywa najdłuższa; przy remisie Allow,
pusty Disallow: niczego nie blokuje.

Co oznacza kod odpowiedzi robots.txt

Kod	Jak traktuje to Google
200	stosuje reguły z pliku
404, 410 i inne 4xx	brak ograniczeń
5xx, 429, brak odpowiedzi	wstrzymuje skanowanie serwisu, potem korzysta z ostatniej znanej wersji

Najczęstsze błędy

Disallow: / z wersji testowej przeniesione na produkcję — blokada całego serwisu,
blokada katalogów z CSS i JavaScriptem — Google nie wyrenderuje stron poprawnie,
blokada stron z noindex — robot nie zobaczy noindex,
blokada mapy witryny albo jej katalogu,
zbyt szeroka reguła, np. Disallow: /p blokująca /produkty/ i /promocje/.

Jak sprawdzić robots.txt

Sprawdzarka robots.txt pobiera plik, dopasowuje reguły tak jak Google i pokazuje dla każdego adresu, czy jest dozwolony, i która linia o tym decyduje. W Search Console raport robots.txt (Ustawienia) pokazuje, którą wersję pliku widział Google.

Monitorowanie robots.txt

Jedna linia w robots.txt potrafi zablokować cały dział serwisu — i nic w samych stronach się nie zmienia.

IndexRise pobiera robots.txt każdego hosta co noc. Gdy nowa reguła zablokuje monitorowane strony, każda z nich dostaje zdarzenie „Strona przestała być indeksowalna” ze wskazaniem reguły. Niedostępny robots.txt (5xx) to osobne zdarzenie krytyczne, a każda zmiana pliku jest zapisywana z listą zmienionych linii.