Bot monitorujący IndexRise

IndexRise to usługa monitoringu integralności SEO. Na zlecenie właścicieli serwisów, którzy dodali swoją stronę do IndexRise, robot regularnie pobiera stałą listę ich własnych adresów, plik robots.txt i pliki sitemap, żeby wykryć niezamierzone zmiany: kody odpowiedzi, przekierowania, tytuły, canonical i liczbę adresów w sitemapach.

Jak nas rozpoznać

• User-Agent IndexRiseBot/1.0 (+https://app.indexrise.tech/bot). Żądania z tym identyfikatorem niosą podpis kryptograficzny Web Bot Auth (RFC 9421, Ed25519) w nagłówkach Signature, Signature-Input i Signature-Agent.
• Katalog kluczy publicznych: https://app.indexrise.tech/.well-known/http-message-signatures-directory
• Adres IP, z którego przychodzą pobrania: 54.194.55.92. Jeśli zapora albo ochrona przed botami nas odrzuca, wystarczy wpuścić ten adres (Cloudflare: Security → WAF → Tools → IP Access Rules → Allow; działa także przy Bot Fight Mode w planie Free).

Jak się zachowujemy

• Pobieramy wyłącznie adresy wskazane przez właściciela serwisu oraz pliki robots.txt i sitemap. Nie przeszukujemy serwisu i nie chodzimy po linkach.
• Między zapytaniami do jednego serwera zachowujemy odstęp (domyślnie kilka sekund) i zwalniamy, gdy serwer odpowiada wolniej albo odmawia.
• Nie obchodzimy zabezpieczeń: gdy serwis odmawia, zapisujemy to i pytamy rzadziej.
• Treść służy wyłącznie do sprawdzenia zleconego przez właściciela serwisu. Nie wykorzystujemy jej ponownie, nie udostępniamy i nie używamy do trenowania modeli.

Pytania albo zastrzeżenia dotyczące tego ruchu: [email protected].