Як перевірити robots.txt, noindex і доступність сторінки

Підготуйте потрібний аудит

Для SEO-модуля оберіть Basic або Complete. Візьміть конкретну адресу, яку потрібно бачити в пошуку, і перевірте її без входу. Запишіть, чи це основна сторінка, фільтр каталогу або закритий службовий розділ. Від цього залежить, чи обмеження є помилкою, чи запланованою поведінкою.

У налаштуваннях залиште «Дотримуватися robots.txt» увімкненим. У платних Basic і Complete вимкнення доступне лише після явного підтвердження відповідальності за обхід. Воно змінює поведінку FluxRadar, а не правила для Google чи Bing. Free завжди дотримується robots.txt і виконує лише чотири фіксовані правила на головній.

Перевірте правила обходу

1. Відкрийте https://example.com/robots.txt на тому самому хості, що й сторінка.
2. Знайдіть групу user-agent потрібного робота та відповідні Allow/Disallow.
3. Перевірте, чи шлях URL підпадає під правило. Окремий піддомен може мати власний robots.txt.
4. У звіті звірте причину пропуску зі знайденим правилом.

Правило Disallow: /private/ обмежує обхід відповідного шляху. Воно не означає, що всі відомі пошуковику адреси цього шляху миттєво зникнуть із результатів.

Перевірте директиви індексації

Для дозволеної до читання сторінки перегляньте вихідний HTML на meta robots та заголовки відповіді на X-Robots-Tag. Noindex може приходити із сервера, CMS або компонента шаблону. Перевірте кінцевий URL після редиректу, щоб не досліджувати заголовки проміжної відповіді.

Якщо одночасно заборонити обхід і додати noindex у HTML, робот може не прочитати цю директиву. Для вилучення приватних матеріалів потрібен контроль доступу; для видалення з пошуку використовуйте документовані механізми відповідного пошуковика.

Виправте намір, а потім перевірте

Навчальний приклад: новий шаблон послуг успадкував noindex із тестового середовища. Потрібно прибрати заборону в production-шаблоні, перевірити живу відповідь і переконатися, що robots.txt дозволяє читати сторінку. Далі перевірте URL у Search Console, якщо маєте доступ.

Очікуваний результат — узгоджені директиви та відсутність випадкового блокування. Це ще не гарантія індексації: Google сам вирішує, які доступні сторінки індексувати.

Що робити при розбіжності

Якщо браузер бачить сторінку, а краулер отримує блок, перевірте CDN, WAF, географію та агент користувача. Не відкривайте весь сайт усім роботам для виправлення однієї адреси. Якщо noindex відсутній у вихідному HTML, але є в DOM, дослідіть JavaScript і повторіть контроль обох представлень після зміни.