SiteLensBot

Nagłówek User-Agent

Mozilla/5.0 (compatible; SiteLensBot/1.0; +https://sitelens.coolify.meethubapp.com/bot)

Jak go zweryfikować

Każde zapytanie ma podpis Ed25519 w nagłówkach Signature i Signature-Input (Web Bot Auth, RFC 9421). Signature-Agent wskazuje katalog z naszym kluczem publicznym, więc zapora odróżni SiteLensBota od kogoś, kto tylko skopiował jego User-Agent.

https://api-sitelens.coolify.meethubapp.com/.well-known/http-message-signatures-directory

Kiedy przychodzi

Tylko wtedy, gdy ktoś uruchomi audyt strony dodanej do swojego konta. Nie przeszukuje internetu i nie wraca sam.

Jeden audyt pobiera najwyżej tyle adresów, ile pozwala plan tej osoby. W darmowym planie to 25.

Tempo

Domyślnie 2 zapytania na sekundę; osoba, która uruchamia audyt, może ustawić od 1 do 5. Crawl-delay z robots.txt ma pierwszeństwo.

Po odpowiedzi 429 lub 503 bot czeka (także tyle, ile mówi Retry-After) i próbuje jeszcze najwyżej dwa razy. Gdy WAF zaczyna odpowiadać stroną weryfikacji, audyt się kończy.

Co pobiera

Adresy w obrębie audytowanej domeny: z linków i z map witryny. Linki do innych domen zapisuje, ale ich nie odwiedza. Nie idzie za linkami z rel="nofollow", "sponsored" ani "ugc".

Nie uruchamia JavaScriptu, nie wysyła formularzy i nie loguje się.

Jak go zablokować

Bot czyta robots.txt na początku każdego audytu. Grupa dla SiteLensBot ma pierwszeństwo przed grupą *. Tak zablokujesz go w całości:

User-agent: SiteLensBot
Disallow: /