Bezplatný nástroj
Tester a kontrola súboru robots.txt
Nástroj načíta súbor robots.txt vášho webu, skontroluje ho a povie, či nezakazuje celý web. Voliteľne zadajte cestu alebo adresu (napríklad /kosik) a zistíte, či ju roboty smú prehľadávať.
Čo nástroj kontroluje
- Existencia súboru, stav a typ obsahu (text/plain)
- Plošný zákaz prehľadávania (Disallow: / pre User-agent: *)
- Odkaz na mapu stránok a platnosť direktív, preklepy a nepodporované direktívy
- Test konkrétnej adresy podľa pravidiel pre User-agent: *
Nástroj číta iba verejne dostupné údaje (stránky, DNS záznamy, certifikát) a nič na webe nemení. Zadané adresy nezapisujeme do žiadnej databázy; výsledok sa na krátky čas uchová v pamäti servera len kvôli rýchlosti. Počet kontrol je obmedzený, aby sa nástroj nedal zneužiť na zaťažovanie cudzích webov. Výsledok je momentka z času kontroly a nenahrádza kompletný audit.