JestesPolecanyBot

Crawler jest używany przy analizie publicznie dostępnych stron internetowych. Nie loguje się do serwisów, nie obchodzi kontroli dostępu i nie powinien pobierać prywatnych zasobów.

User-Agent

JestesPolecanyBot/1.0 (+https://www.jestespolecany.pl/bot)

Co pobieramy

Pierwszy Scan pobiera stronę główną, sprawdza publiczną dostępność robots.txt i sitemap.xml oraz może przeanalizować lekką próbkę kluczowych podstron tej samej domeny.

Czego nie robimy

Crawler nie powinien wykonywać logowania, omijać zabezpieczeń, pobierać prywatnych adresów sieciowych ani indeksować całego serwisu. Ma ograniczony czas odpowiedzi, limit rozmiaru HTML i limit liczby dodatkowych stron.

Dlaczego odwiedzamy stronę

Żądanie jest wykonywane, gdy użytkownik uruchamia analizę domeny. Dane publicznej strony służą do obliczenia sygnałów readiness i przygotowania wyniku analizy.

Kontakt

W sprawach dotyczących działania crawlera napisz na kontakt@jestespolecany.pl.