Хто такий FluxRadarBot
FluxRadar — сервіс аудиту сайтів. Коли власник сайту просить нас його перевірити, FluxRadarBot завантажує публічні сторінки цього сайту, і ми звітуємо про знайдене — SEO, доступність, заголовки безпеки, сигнали приватності та решту.
Краулер приходить на сайт лише тому, що хтось із доступом до нього попросив звіт. Він не ходить вебом просто так і не будує індекс чи набір даних із чийогось контенту.
- Він читає — публічний HTML,
robots.txt,sitemap.xmlі заголовки відповідей. - Він не читає — нічого за входом, нічого, що з’явилося б після надсилання форми, і жодної сторінки, яку забороняє ваш
robots.txt. - Він не зберігає ваші сторінки — довше, ніж потрібно для аудиту, заради якого їх завантажено. Звіт зберігає докази до кожної знахідки, а не копію сайту.
Як розпізнати його в логах
Кожен запит несе цей user agent. Мобільний аудит додає до нього Mobile; токен FluxRadarBot у будь-якому разі стоїть першим, тож одне правило покриває обидва випадки.
- User agent —
FluxRadarBot/0.1 (+https://fluxradar.net/bot) - Адреса джерела —
173.242.53.147— кожен запит, для кожного клієнта. - Методи —
GETіHEAD. Більше нічого.
Усе, що видає себе за FluxRadarBot з іншої адреси, — не ми. Якщо побачите таке: адреса вище єдина, яку ми використовуємо, і ми хотіли б знати про іншу.
Що він поважає
- robots.txt — Завжди.
Disallow, що стосуєтьсяFluxRadarBotабо*, тримає нас поза цим шляхом, і звіт каже, які адреси пропущено з цієї причини, замість того щоб рахувати їх як недоглянуті. - Ваш темп — Запити до одного хоста рознесені в часі, а після п’яти поспіль серверних помилок ми зупиняємо обхід хоста зовсім, замість додавати проблем.
- Ваш ліміт сторінок — Аудит читає щонайбільше стільки сторінок, скільки охоплює його тариф, і звіт каже, скільки зі знайдених адрес прочитано.
Єдиний виняток із robots.txt — override, який власник сайту підтверджує для власного сайту, письмово, у своєму акаунті FluxRadar. Кожен такий обхід логується.
Як пропустити
Якщо ваш сайт стоїть за Cloudflare, WAF чи іншим захистом від ботів, він може відмовляти нам ще до того, як запит побачить ваш сервер. Нижче — правило, яке це вирішує.
(http.user_agent contains "FluxRadarBot" and ip.src eq 173.242.53.147)В інших провайдерів дозвольте те саме: токен user-agent FluxRadarBot і адресу джерела вище. Дозволити саму лише адресу достатньо — і це суворіший із двох варіантів.
Як не пускати
Ви не зобов’язані нас пускати. Два рядки у вашому robots.txt зупиняють нас на кожному шляху, і ми з ними не сперечаємось — перевірка сайту, який нас заборонив, так і повідомляє, і кошти повертаються.
User-agent: FluxRadarBot
Disallow: /Щоб дозволити знову, замініть Disallow на Allow:
Контакт
Якщо FluxRadarBot створив проблему на вашому сайті, напишіть нам — ми припинимо обхід, поки розбираємось.
User-agent: FluxRadarBot
Allow: /Питання про краулер або сайт, який він має перестати відвідувати: support@fluxradar.net