AI-боти: пошук, запити користувачів і навчання моделей

Пошук і відповіді: шість агентів із двома ролями

У першій групі звіту зібрано пошукових і користувацьких агентів. Це спільна область читання, але різні причини звернення:

• Пошук: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
• Запит користувача: ChatGPT-User, Claude-User, Perplexity-User.

Політика доступу не є доказом фактичного візиту чи цитування. OpenAI пояснює, що robots.txt може не застосовуватися до ініційованих людиною запитів ChatGPT-User; Perplexity пише, що Perplexity-User зазвичай ігнорує цей файл. Anthropic документує дотримання robots.txt своїми ботами. Отже, одна позначка у звіті не описує однакову поведінку всіх постачальників.

Навчання моделей: окреме рішення власника

Друга група містить GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot і Bytespider. Вона допомагає прочитати політику використання контенту, а не підштовхує відкрити його всім.

Заблокований навчальний агент показується нейтрально: це не проблема, що знижує бал чи потрапляє в AI-план дій. Доступність пошукового агента й дозвіл навчального використання перевіряються окремо. Для Bytespider класифікація збережена з попереднього звіту; настільки ж докладного публічного пояснення призначення від ByteDance немає.

Важливий виняток до спрощення «лише навчання»: Google-Extended також керує деякими способами grounding у Gemini. Це керівний токен robots.txt, а не окремий HTTP user-agent. Google прямо відокремлює його від включення та ранжування у Google Search.

Політика robots — одна частина картини

Уявімо, що власник хоче, аби матеріали знаходив AI-пошук, але не дозволяє навчальне використання. Потрібні окремі правила для відповідних агентів, а не загальна зміна для всіх:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Це навчальний приклад для двох агентів, а не готова політика для будь-якого сайту. Звірте решту груп, шляхи, піддомени й актуальну документацію. WAF, CDN, авторизація або відповідь 403 можуть завадити читанню навіть за дозволеного шляху в robots.txt.

Що означає результат у FluxRadar

AI readiness у Basic та Complete читає публічні правила й машинні сигнали сторінки. Якщо robots.txt недоступний, чесний результат — невідомо. Цей блок не підтверджує присутність в індексі, частоту цитувань чи рекомендацію бренду. Запитання до моделей в AI SEO / GEO — окреме вимірювання з власними джерелами, датою та межами.

Після зміни спочатку прочитайте опублікований файл, перевірте точний шлях і перегляньте фактичні відповіді сервера. Далі повторіть аудит із тією самою областю. У інструкції про AI-краулерів є послідовність перевірки політики та повторного контролю.