Sprawdź robots.txt
Wklej do 10 adresów i zobacz, czy robot wyszukiwarki może na każdy z nich wejść — razem z regułą z robots.txt, która o tym decyduje. Reguły dopasowujemy tak jak Google.
Jak działa sprawdzarka robots.txt
Pobieramy robots.txt każdego hosta z Twojej listy i wybieramy grupę reguł dla wskazanego robota: grupę Googlebota, jeśli jest, a w przeciwnym razie grupę dla wszystkich robotów (*).
Potem porównujemy ścieżkę i parametry każdego adresu z każdą regułą Allow i Disallow. Wygrywa najdłuższa pasująca reguła; gdy Allow i Disallow są równie długie, wygrywa Allow. Gwiazdka * oznacza dowolny ciąg znaków, a $ koniec adresu — tak jak opisuje to Google.
Co oznacza kod odpowiedzi robots.txt
200: reguły obowiązują. 404 albo inny kod 4xx: pliku nie ma, więc nic nie jest zablokowane. 5xx albo brak odpowiedzi: Google traktuje serwis jako chwilowo zamknięty i przestaje go skanować — błąd serwera na robots.txt potrafi zaszkodzić bardziej niż zła reguła.
Zablokowany nie znaczy usunięty z indeksu
Disallow zatrzymuje skanowanie, nie indeksowanie. Zablokowany adres może zostać w wynikach bez opisu, jeśli prowadzą do niego linki. Żeby usunąć stronę z indeksu, pozwól ją skanować i dodaj noindex — Google musi zobaczyć noindex, żeby go posłuchać.
Pytania o robots.txt
Jak sprawdzić, czy adres jest zablokowany w robots.txt?
Wklej adres do sprawdzarki powyżej. Zobaczysz, czy wybrany robot może na niego wejść, i która linia robots.txt o tym decyduje.
Czy Disallow w robots.txt usuwa stronę z Google?
Nie. Disallow zatrzymuje tylko skanowanie. Zablokowana strona może zostać w indeksie bez opisu. Żeby ją usunąć, użyj noindex na stronie, którą robot może odwiedzić.
Która reguła wygrywa, gdy pasują i Allow, i Disallow?
Ta bardziej szczegółowa — z dłuższą ścieżką. Przy równej długości wygrywa Allow.
Co się dzieje, gdy robots.txt zwraca błąd serwera?
Google przestaje skanować serwis, dopóki znów nie odczyta pliku, a przy dłuższej awarii wraca do ostatniej znanej wersji. Dlatego błąd 5xx na robots.txt to w IndexRise alert krytyczny.
Jak monitorować zmiany w robots.txt?
Dodaj serwis do IndexRise. Co noc pobieramy robots.txt razem z Twoimi adresami i dajemy znać, gdy zmiana zablokuje monitorowane strony albo plik przestanie być dostępny.