robots.txt nie jest zabezpieczeniem dostępu
To publiczna deklaracja dla współpracujących crawlerów. Nie chroni treści przed botem, który świadomie ignoruje reguły.
KEO / AI Search
Czy AI ma dostęp do Twojej strony?
Sprawdź, co robots.txt mówi botom OpenAI, Anthropic, Perplexity, Google, Apple i Common Crawl. Osobno pokazujemy dostęp do wyszukiwania, wejścia użytkownika i treningu.
ChatGPT SearchClaude i PerplexityGoogle AIBoty treningowe
Najważniejsza różnica
Widoczność w AI i zgoda na trening to nie to samo.
Możesz dopuścić OAI-SearchBot, aby strona mogła być odkrywana przez ChatGPT Search, a jednocześnie zablokować GPTBot, który dotyczy treningu modeli OpenAI. Podobne rozdzielenie stosują również inni dostawcy.
Dla Google AI Overviews i AI Mode znaczenie mają standardowe zasady Google Search i dostęp Googlebota. Google-Extended jest osobną kontrolą wykorzystania treści przez wybrane systemy generatywne i nie wyłącza indeksowania w Google Search.
Blokada może ograniczyć widoczność
Zablokowanie bota wyszukiwania może zmniejszyć szansę na odkrycie, cytowanie lub pokazanie linku do strony.
Fetchery użytkownika działają inaczej
Niektóre systemy pobierają stronę na wyraźne polecenie użytkownika i mogą nie stosować robots.txt tak jak crawler.