Slovník
robots.txt: čo to je
protokol vylúčenia robotov
Súbor robots.txt obsahuje pravidlá, ktorými prevádzkovateľ žiada kompatibilné roboty, aby určité cesty webu neprehľadávali.
Súbor sa načítava z presnej cesty /robots.txt na koreňovej úrovni príslušného hostiteľa a protokolu. Skupiny User-agent obsahujú pravidlá Allow a Disallow; mnohé vyhľadávače podporujú aj samostatný riadok Sitemap. Robots Exclusion Protocol je dobrovoľný protokol pre crawlerov, nie autorizácia prístupu ani ochrana tajných údajov. Citlivý obsah musí chrániť autentifikácia alebo iné prístupové pravidlo.
Zákaz prehľadávania nie je spoľahlivý spôsob odstránenia URL z výsledkov. Vyhľadávač môže poznať zablokovanú adresu z odkazov bez toho, aby načítal jej obsah. Ak má vidieť značku noindex, stránku nesmie súčasne blokovať robots.txt. Pravidlo Disallow: / v skupine pre príslušného robota blokuje celé jeho prehľadávanie daného hostiteľa, preto nesmie omylom zostať z testovacieho prostredia.
Príklad
User-agent: *
Disallow: /kosik
Sitemap: https://www.obchod.sk/sitemap.xml
Skontrolujte, ako je na tom váš e-shop
Bezplatný audit overí viaceré z týchto kontrol na vašej doméne a ku každému nálezu uvedie dôkaz.
Posledná kontrola obsahu: 8. 10. 2026. Všetky pojmy · Sprievodca · Metodika