Bezplatný nástroj
Pustí váš web AI roboty? Kontrola robots.txt a llms.txt
Zadajte doménu e-shopu. Nástroj načíta robots.txt a pre desať známych AI robotov určí, či ich pravidlá povoľujú alebo zakazujú. Roboty rozdelí na vyhľadávacie (odpovede v AI nástrojoch) a na trénovanie modelov. Pozrie aj, či existuje súbor llms.txt. Ide o deklarovanú politiku z robots.txt, nie o záruku, že vás AI nástroje budú citovať.
Čo nástroj kontroluje
- Pravidlá robots.txt pre OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot a PerplexityBot
- Pravidlá pre Google-Extended, Applebot-Extended, CCBot a Meta-ExternalAgent
- Či pravidlo vzniklo vlastnou skupinou robota, alebo platí všeobecné pravidlo pre všetkých robotov
- Existencia súboru llms.txt (voliteľný, neoficiálny formát)
Nástroj číta iba verejne dostupné údaje (stránky, DNS záznamy, certifikát) a nič na webe nemení. Zadané adresy nezapisujeme do žiadnej databázy; výsledok sa na krátky čas uchová v pamäti servera len kvôli rýchlosti. Počet kontrol je obmedzený, aby sa nástroj nedal zneužiť na zaťažovanie cudzích webov. Výsledok je momentka z času kontroly a nenahrádza kompletný audit.