Czym różni się noindex od Disallow w robots.txt?

Noindex usuwa stronę z wyników, ale robot ją odwiedza. Disallow zabrania odwiedzin, ale strona może zostać w wynikach bez opisu, jeśli prowadzą do niej linki.

Czy noindex, follow ma sens?

Tak, dla stron, które nie powinny być w wynikach, ale linkują do ważnych treści, np. strony paginacji filtrów. Przy długotrwałym noindex Google z czasem może jednak rzadziej podążać za linkami z takiej strony.

Jak szybko noindex działa?

Po następnej wizycie robota na stronie — od kilku dni do kilku tygodni, zależnie od tego, jak często Google ją odwiedza.

Noindex (meta robots)

Noindex to dyrektywa, która mówi wyszukiwarce: nie pokazuj tej strony w wynikach. Umieszcza się ją w znaczniku <meta name="robots" content="noindex"> albo w nagłówku HTTP X-Robots-Tag: noindex. Google musi stronę pobrać, żeby noindex zobaczyć — dlatego nie wolno jej jednocześnie blokować w robots.txt.

Gdzie umieszcza się noindex

w kodzie HTML, w sekcji head: <meta name="robots" content="noindex">,
tylko dla Google: <meta name="googlebot" content="noindex">,
w nagłówku odpowiedzi HTTP: X-Robots-Tag: noindex — działa też dla plików PDF i obrazów (więcej o X-Robots-Tag).

Dyrektywy można łączyć: noindex, nofollow, noindex, follow.

Kiedy używać noindex

koszyk, zamówienie, panel klienta, strony z podziękowaniem,
wyniki wyszukiwarki wewnętrznej i kombinacje filtrów bez wartości,
strony testowe i wersje robocze,
treści zduplikowane, których nie da się połączyć przekierowaniem ani canonical.

Noindex a robots.txt

	noindex	Disallow w robots.txt
Czy robot odwiedza stronę	tak	nie
Czy strona może być w wynikach	nie	tak, bez opisu
Do czego służy	usunięcie z indeksu	oszczędzanie skanowania

Najczęstszy błąd: dodanie noindex i jednoczesna blokada w robots.txt. Robot nie wejdzie na stronę, więc nie zobaczy noindex.

Jak sprawdzić, czy strona ma noindex

Wyszukaj w źródle strony noindex i sprawdź nagłówki odpowiedzi — nagłówka nie widać w kodzie. Sprawdzarka przekierowań pokazuje oba dla strony końcowej. W Search Console strony z noindex są w raporcie „Strona wykluczona za pomocą tagu noindex”.

Monitorowanie noindex

Noindex z wersji testowej przeniesiony na produkcję to jeden z najczęstszych powodów nagłego spadku ruchu.

IndexRise sprawdza co noc meta robots i X-Robots-Tag monitorowanych stron. Noindex, którego nie było we wzorcu, to zdarzenie krytyczne „Strona przestała być indeksowalna” — potwierdzone w kolejnym sprawdzeniu, żeby chwilowy błąd nie budził nikogo w nocy.