Strona zablokowana z powodu nieautoryzowanego żądania (401)

Co oznacza ten status

Google opisuje go wprost: strona została zablokowana dla Googlebota przez żądanie autoryzacji, czyli odpowiedź 401 (raport Indeksowanie stron). Tam też podaje dwa wyjścia: usunąć wymaganie autoryzacji albo zezwolić Googlebotowi na dostęp po zweryfikowaniu tożsamości. Do szybkiego sprawdzenia radzi tryb incognito.

Kod 401 należy do grupy błędów klienta. Według dokumentacji o kodach stanu (jak kody HTTP wpływają na roboty Google) wszystkie błędy 4xx poza 429 Google traktuje tak samo: treść uznaje za nieistniejącą, a zindeksowany adres usuwa z indeksu. Ta sama strona zabrania używać 401 i 403 do ograniczania szybkości skanowania. Przegląd kodów zbiera hasło o kodach odpowiedzi HTTP.

Najczęstsze przyczyny

Wersja testowa z hasłem HTTP

Najczęstszy i zwykle niegroźny przypadek. Serwis na subdomenie staging. ma włączone Basic Auth, a Google poznał adresy z linków albo z mapy witryny skopiowanej z produkcji. Status jest prawidłowy, dopóki nie dotyczy domeny produkcyjnej.

Hasło, które zostało po wdrożeniu

Po migracji plik .htaccess z regułą AuthType Basic przeszedł razem z kodem na produkcję. Cała domena odpowiada 401, a zespół tego nie widzi, bo ma zapamiętane hasło.

Dział za logowaniem w linkach i mapie witryny

Panel klienta albo strony kursu po zalogowaniu. Aplikacja poprawnie zwraca 401, ale adresy trafiły do mapy witryny albo nawigacji, więc Google próbuje je skanować.

Reguły dostępu w CDN

W Cloudflare reguła „wymagaj logowania dla /admin/” bywa zapisana zbyt szeroko, na przykład dla /a*. Objęte nią publiczne strony odpowiadają 401, choć serwer źródłowy zwróciłby 200.

Wtyczka CMS albo ciasteczko sesji

Wtyczki członkowskie w WordPressie, moduł „sklep tylko dla zalogowanych” w PrestaShopie albo tryb prywatny włączony na czas prac. Do tej grupy należy też aplikacja, która bez ciasteczka sesji zwraca 401 nawet na stronach publicznych. Przeglądarka ciasteczko dostaje, robot go nie przenosi.

Jak to potwierdzić

Najpierw tryb incognito. Jeśli przeglądarka prosi o login i hasło, masz potwierdzenie. Potem w Search Console kliknij „Sprawdź URL” i uruchom test wersji opublikowanej. Pole „Pobranie strony” w sekcji Dostępność pokaże kod zwrócony robotowi (narzędzie do sprawdzania adresów URL).

Z terminala sprawdź, co dostaje klient bez sesji:

• curl -I https://example.com/strona/ - kod 401 i nagłówek WWW-Authenticate oznaczają hasło HTTP na serwerze,
• curl -I -A "Googlebot/2.1" https://example.com/strona/ - czy nazwa klienta zmienia odpowiedź.

Nagłówek cf-ray w odpowiedzi podpowie, czy 401 wystawia CDN, czy serwer źródłowy. W logach poszukaj wpisów 401 z czasu skanowania. IP zweryfikuj zgodnie z dokumentacją (weryfikacja żądań Googlebota): odwrotne DNS musi prowadzić do domeny googlebot.com albo google.com, a zwykłe DNS tej nazwy z powrotem do tego samego IP.

Jeśli adres przekierowuje, 401 może zwracać dopiero cel. Sprawdzarka przekierowań pokaże cały łańcuch z kodami, a sprawdzarka indeksowalności zbierze kod, meta robots i canonical w jednym miejscu.

Jak to naprawić

1. Wersja testowa: zostaw hasło. Usuń adresy testowe z mapy witryny produkcji i popraw linki bezwzględne prowadzące na staging..
2. Hasło po wdrożeniu: usuń dyrektywy AuthType i Require valid-user z .htaccess albo konfiguracji serwera. Sprawdź curl -I z zewnętrznej sieci.
3. Dział za logowaniem: wytnij adresy z mapy witryny i nawigacji dla niezalogowanych. Kod 401 zostaw, jest poprawny.
4. CDN: zawęź regułę dostępu do konkretnej ścieżki. Wyjątek dla zweryfikowanych zakresów IP Google dodaj tylko wtedy, gdy strona ma być w indeksie.
5. CMS i sesja: wyłącz tryb prywatny, ogranicz wtyczkę do wybranych stron, a sprawdzanie ciasteczka przenieś tylko na strony, które go wymagają. Publiczne muszą odpowiadać 200 bez ciasteczek.
6. Po naprawie uruchom test wersji opublikowanej dla kilku adresów i w raporcie kliknij „Sprawdź poprawkę”.

Kiedy to w porządku, a kiedy działać

Hasło to zalecany przez Google sposób, by nie dopuścić do strony ani robotów, ani użytkowników (Googlebot). Jeśli strona ma być widoczna dla ludzi, ale poza wynikami, właściwym narzędziem jest noindex. Zasady indeksowalności opisujemy osobno.

Jeśli zamiast 401 widzisz błąd 403, przyczyna leży zwykle w zaporze. Pozostałe kody z tej grupy trafiają do statusu inny błąd 4xx.

Jak pilnować na co dzień

IndexRise co noc sprawdza kody odpowiedzi monitorowanych stron. Kod 401 na adresie, który wcześniej zwracał 200, to zdarzenie krytyczne, bo zwykle oznacza hasło przeniesione na produkcję albo zbyt szeroką regułę w CDN. Potwierdzamy je w kolejnym sprawdzeniu i odróżniamy od „nie udało się sprawdzić”, kiedy serwer w ogóle nie odpowiedział. Najwięcej takich zdarzeń łapie kontrola SEO po wdrożeniu.