Roboti AI, procházení a trénování

1. Pět otázek, které nesmíte sloučit

Praktický příklad: povolíte vyhledávacího robota a zablokujete robota určeného pro získávání trénovacích podkladů. Jde o dvě odlišná rozhodnutí. Z toho nelze usoudit, že nový popis už model „zná“, že se přepsala jeho starší znalost nebo že odpověď vznikla z dnešního načtení.

Také načtení na žádost uživatele je jiná činnost než systematické procházení. Asistent může otevřít odkaz vložený do rozhovoru, aniž by tím prokázal zařazení webu do svého vyhledávacího systému.

Důležitá odlišnost: OpenAI u ChatGPT-User uvádí, že se pravidla robots.txt při uživatelem vyvolaných akcích nemusí uplatnit; Perplexity u Perplexity-User uvádí, že je takové načítání obecně ignoruje. Disallow proto nepovažujte za ochranu neveřejných dat. Skutečné omezení přístupu musí zajistit server.

2. Přehled konkrétních robotů a ovládání

OpenAI dokumentuje oddělené účely a samostatné nastavení pro hledání a trénování. U ChatGPT-User upozorňuje na zvláštní povahu uživatelem vyvolaných požadavků. Zdroj: přehled robotů OpenAI. Perplexity rovněž rozlišuje své dva hlavní přístupy. Zdroj: Perplexity Crawlers.

Google-Extended podle dokumentace neovlivňuje zahrnutí ani pořadí v Google Search. Není náhradou ovládání účasti v generativních funkcích Search Console. Zdroj: Google common crawlers.

Seznam není vyčerpávající. Služby mohou mít další roboty pro reklamu, obrázky či jiné účely. Vždy vycházejte z konkrétního názvu a aktuální dokumentace, ne z obecné nálepky „AI bot“.

3. Nejprve si určete, co chcete povolit

Správce webu potřebuje obchodní rozhodnutí. „Nastav roboty správně“ je neúplné zadání. Může znamenat otevřít veřejné produktové stránky pro vyhledávání, nepovolit sběr k určitému trénování a nadále chránit přihlášené zákaznické údaje.

1. Oddělte veřejný katalog a návody od objednávek, účtů, interních ceníků a neveřejných souborů.
2. U každého poskytovatele určete cíl: vyhledávání, uživatelem vyvolané načítání, případně další použití.
3. Zapište požadovanou volbu a odpovědnou osobu. Pokud účel není doložený, nezahrnujte ho do jedné hromadné výjimky.
4. Prověřte limity hostingu a ochrany. Povolení vyhledávání nemusí znamenat neomezenou rychlost požadavků.
5. Naplánujte kontrolu po změně a zaznamenejte původní nastavení pro případ návratu.

Robots.txt je veřejné sdělení pro nástroje, které jej respektují. Není přihlašovací systém. Nezabezpečený export objednávek se nestane soukromým tím, že jeho cestu vložíte do Disallow. Takový export musí přestat být veřejně dostupný.

4. Jak číst a upravovat robots.txt

Soubor se načítá z kořene konkrétního originu, například https://www.vas-obchod.example/robots.txt. Varianta bez www a jiná subdoména mohou mít jiné odpovědi. Nejprve otevřete soubor na finální doméně a uložte kopii. Pak určete, která skupina platí pro daného robota.

Google popisuje výběr skupiny podle konkrétního User-Agent a vyhodnocení cest. Nepředpokládejte, že specifická skupina automaticky zdědí všechny zákazy z hvězdičkové skupiny. Zdroj: interpretace robots.txt.

Následující zkrácená ukázka znázorňuje rozdílný záměr pro vyhledávání a trénování. Není hotovým souborem pro každý obchod. Cesty musí správce přizpůsobit skutečné platformě a potřebná omezení zopakovat v příslušných skupinách:

User-agent: OAI-SearchBot
Allow: /
Disallow: /administrace/
Disallow: /ucet/
Disallow: /kosik/

User-agent: PerplexityBot
Allow: /
Disallow: /administrace/
Disallow: /ucet/
Disallow: /kosik/

User-agent: GPTBot
Disallow: /

Sitemap: https://www.vas-obchod.example/sitemap.xml

Ukázka nezahrnuje ostatní roboty ani platformní pravidla. Nenahrazujte jí celý existující soubor bez kontroly. Například cesta /administrace/ nemusí pokrýt skutečnou administrační cestu vaší platformy; přístup stejně musí chránit autentizace. Hvězdičky, koncové značky, parametry a překrývající se cesty nechte posoudit správcem.

Po uložení znovu otevřete přesnou adresu souboru. Zkontrolujte, že server vrací text, nikoli HTML chybovou stránku nebo přesměrování na úvod. Zaznamenejte čas. Poskytovatelé mají vlastní aktualizační chování; změna nebude nutně viditelná okamžitě.

5. Robots.txt, noindex a soukromí mají rozdílné úlohy

Pokud veřejnou stránku nechcete ve výsledcích Googlu, použijte odpovídající postup pro indexaci. Noindex je instrukce ve stránce nebo HTTP hlavičce. Aby ji Google přečetl, musí být stránka přístupná k načtení. Zdroj: blokování indexace.

Chcete-li omezit obsah úryvků, existují pravidla nosnippet, max-snippet či data-nosnippet. Jejich chování závisí na konkrétní službě a není totožné s právním nebo technickým zákazem libovolného použití obsahu. Zdroj: robots meta a řízení úryvků.

6. Proč Allow nemusí stačit: WAF a ověření původu

Web může povolit procházení a současně vracet robotovi bezpečnostní výzvu, 403 nebo omezení rychlosti 429. Bezpečnostní vrstva rozhoduje nezávisle na textovém souboru. Správce proto musí sledovat skutečné odpovědi a důvod případné blokace.

Samotný User-Agent lze napodobit. Pro ověření používejte aktuální oficiální IP rozsahy daného poskytovatele, případně jeho dokumentovaný postup ověření. Google uvádí práci s publikovanými rozsahy i kontrolu zpětného a dopředného DNS podle typu požadavku. Zdroj: ověřování požadavků Google.

Perplexity v návodu doporučuje kombinaci názvu robota s jeho příslušnými rozsahy. Rozsahy jednotlivých robotů se nesmějí libovolně zaměnit. U ochrany navíc záleží na pořadí pravidel a typu produktu. Výjimka nemá rušit všechna ochranná opatření obchodu.

Bezpečný pracovní postup je najít konkrétní zablokovaný legitimní požadavek, ověřit jeho původ, zjistit odpovědné pravidlo a opravit pouze nutný rozsah. Následuje kontrola nového skutečného požadavku. Změna konfigurace sama není důkazem úspěšného načtení.

7. Jak má vypadat použitelný záznam v logu

Požadujte čas včetně časové zóny, hostitele, cestu, metodu, HTTP stav, počet přenesených bajtů, User-Agent a výsledek ověření původu. Pro hledání blokací přidejte označení pravidla a akci ochrany. Osobní údaje a plné parametry URL omezte podle účelu a retenční politiky.

čas: 2026-10-31T09:15:00Z
host: www.vas-obchod.example
cesta: /hrnek-modry
metoda: GET
status: 200
user_agent: OAI-SearchBot/... (zkráceno)
původ: ověřen proti aktuálnímu oficiálnímu rozsahu
obsah: produktová stránka, nikoli challenge
závěr: doloženo jedno načtení této URL

Jde o fiktivní ukázku formátu, nikoli o záznam skutečné návštěvy. V reálném logu má být ověření reprodukovatelné. Samotná hodnota „ověřen“ z neznámého doplňku nestačí, pokud nevíte, jak vzniká.

Odpověď 200 nemusí obsahovat očekávanou stránku. Server může vrátit prázdnou šablonu, souhlasovou obrazovku nebo chybu se špatným stavem. Proto vzorek odpovědí zkontrolujte obsahově a přenosové bajty používejte jen jako pomocný signál.

Odpověď 304 znamená práci s dříve uloženou verzí a podmíněným požadavkem. Nelze ji bez kontextu počítat jako stažení celého nového obsahu. Opakovaný požadavek na robots.txt zase neprokazuje procházení konkrétních produktů.

8. Test před změnou a po ní

1. Před změnou: uložte pravidla, zapište dotčené URL a skutečný problém. Například ověřený hledací robot dostává 403 na veřejném produktu.
2. Změna: upravte příslušnou vrstvu, ne vše současně. Zaznamenejte přesně pravidlo a čas.
3. Technická kontrola: ověřte veřejnou odpověď souboru a dostupnost stránky. Simulovaný User-Agent může pomoci diagnostice, ale neprokazuje legitimní průchod robota.
4. Provozní kontrola: sledujte další ověřené požadavky po změně. Pokud nepřijdou, výsledek je zatím neověřený.
5. Kontrola viditelnosti: samostatně sledujte indexaci a doložená zobrazení. Nezaručují se pouhou opravou 403.

Nepokoušejte se „vynutit indexaci“ stovkami vlastních dotazů v chatbotu. Vytvoříte vlastní aktivitu, nikoli spolehlivý důkaz běžné dohledatelnosti. Zbytečně také zamícháte robotické načítání do analytických přehledů.

9. Přesné zadání pro správce webu

Prosím prověřte přístup vyhledávacích robotů k veřejným
produktovým a poradenským stránkám našeho obchodu.

Cíl: umožnit hledání přes OAI-SearchBot a PerplexityBot.
Volba pro GPTBot: [doplňte naši vědomou volbu].
Googlebot: zachovat požadované procházení pro Search.
Soukromé účty, objednávky a administraci nadále chránit.

U každého robota prověřte:
1. Aktuální oficiální dokumentaci a ověření původu.
2. Platnou skupinu robots.txt pro konkrétní URL.
3. Noindex a X-Robots-Tag na reprezentativních stránkách.
4. Ochranu hostingu/CDN, challenge a omezení rychlosti.
5. Reálné logy před změnou a po ní, pokud jsou dostupné.

Vraťte seznam: zjištění, důkaz, navržená úprava,
provedená úprava a skutečně ověřený výsledek.
Návštěvu robota nevydávejte za indexaci, citaci ani objednávku.
Nevypínejte plošně ochranu webu.
Chybějící důkaz označte NEOVĚŘENO.

Doplňte finální doménu a několik veřejných URL. Neposílejte přístupy v otevřeném dokumentu. Správce může potřebovat oprávnění ke čtení logů, ne nutně ke změně všech bezpečnostních pravidel.

10. Časté chyby a správný závěr

• „GPTBot byl na webu, tak jsme v ChatGPT.“ Doložte účel robota a konkrétní typ důkazu. Závěr o doporučení neplatí.
• „Zakázali jsme Google-Extended a zmizíme z Googlu.“ Tento token sám neřídí zahrnutí v Search. Hledejte skutečnou příčinu problému.
• „Allow všechno opraví.“ Může zůstat blokace na serveru nebo chybějící obsah.
• „Robota nevidím, takže web ignoruje.“ Můžete mít krátké logové období, jinou cache nebo neúplné logování. Zapište rozsah pozorování.
• „Návštěvy botů jsou zájem zákazníků.“ Oddělte technickou aktivitu od lidí a obchodních výsledků.

Po dokončení byste měli umět vyslovit přesný závěr: „Pro tuto URL a tohoto ověřeného robota jsme po úpravě zaznamenali úspěšné načtení.“ To je užitečná a kontrolovatelná informace. Citace, indexace a objednávky mají své další samostatné důkazy.

Zdroje a rozsah ověření

1. OpenAI: Overview of OpenAI Crawlers – účely a IP seznamy.
2. Perplexity: Crawlers – roboti a ochrana webu.
3. Google: common crawlers – Googlebot a Google-Extended.
4. Google: robots.txt interpretation – skupiny a cesty.
5. Google: noindex – vyloučení z výsledků.
6. Google: robots meta – řízení úryvků.
7. Google: verify requests – ověřování původu.

Dokumentace ověřena 31. 10. 2026. Pracovní postup a ukázková konfigurace jsou redakční příklady; nejde o hotové nastavení konkrétní platformy ani provedenou analýzu jejích logů.