«Дозволити AI» — надто загальне формулювання для налаштування robots.txt. Різні роботи виконують пошуковий обхід, навчальне збирання або отримують сторінку на запит користувача. Доступ одного робота не означає згадку бренду в усіх AI-відповідях.
Визначте політику власника
Потрібен AI SEO / GEO у Basic або Complete та право аналізувати політику сайту. Запишіть окремо бажання щодо пошукового знаходження, навчального використання й читання за запитом людини. Рішення може бути різним для цих цілей. Блокування навчання у FluxRadar показується нейтрально: воно не створює проблему для бала або AI-плану дій.
Не змінюйте правила лише тому, що сканер показав блокування. Воно може відповідати свідомій політиці власника. Завдання аудиту — пояснити наслідки документованих правил і перевірити узгодженість.
Звірте назви роботів із документацією
FluxRadar читає правила для 12 агентів. У групі «AI-пошук і відповіді» розрізняйте пошук і читання на запит людини:
-
Пошук:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. -
Запит користувача:
ChatGPT-User,Claude-User,Perplexity-User. -
Навчання моделей:
GPTBot,ClaudeBot,Google-Extended,Applebot-Extended,CCBot,Bytespider.
Google-Extended також керує деякими способами grounding у Gemini. Він не є окремим HTTP user-agent і не керує включенням чи ранжуванням у Google Search. Bytespider зберігає попередню класифікацію звіту; зіставної докладної публічної документації від ByteDance немає.
OpenAI попереджає, що robots.txt може не застосовуватися до ChatGPT-User; Perplexity-User зазвичай його ігнорує. Anthropic документує дотримання robots.txt своїми ботами. Позначка в таблиці описує політику файлу для конкретного шляху, а не доводить однакову поведінку всіх ботів.
- Відкрийте поточну документацію потрібного провайдера.
- Знайдіть призначення його user-agent.
- Перевірте відповідну групу robots.txt, включно з загальною групою.
- Зіставте звіт із реальною відповіддю сайту, CDN та блокуваннями мережі.
Прочитайте доказ у звіті
У модулі AI SEO / GEO перегляньте інформаційний блок доступу роботів та сигнали машинного читання. Зіставте дозволені, заблоковані й невідомі стани з конкретними групами robots.txt. Якщо файл недоступний, стан невідомий; це не успішна перевірка. Якщо robots.txt дозволяє шлях, але сервер повертає 403, політика файлу не описує фактичну доступність.
Навчальний приклад: власник хоче пошукову видимість у ChatGPT, але не навчальне
використання. Перевіряйте відповідні окремі правила, а не змінюйте все на
User-agent: * з повним доступом. Публічний дозвіл не скасовує інших умов
використання контенту.
Розрізняйте доступ і відповідь моделі
Готовність сторінки до читання — технічна передумова. Згадка бренду залежить від запиту, продукту, джерел і часу. Для перевірок відповідей збережіть формулювання, мову, провайдера, дату та посилання, якщо вони є. Один запуск не є дослідженням усіх відповідей AI.
Перед запуском AI-перевірок прочитайте розкриття передачі даних у FluxRadar. Не додавайте конфіденційний контекст у профіль. Не трактуйте помилкову відповідь як доведений факт про бізнес.
Очікуваний результат і повторний контроль
Результат — таблиця конкретних роботів, намір власника, актуальні правила й фактичний доступ. Після зміни перевірте файл та відповіді на кількох сторінках. Не обіцяйте строк появи цитувань; доступність не гарантує індексацію або рекомендацію. Експериментальний llms.txt також не доводить, що потрібний провайдер його читає.
Джерела та перевірка
Приклади в матеріалі навчальні. Можливості FluxRadar звірено з поточною тарифною матрицею та інтерфейсом. Зовнішні посилання ведуть до документації відповідних постачальників.