Кто такой FluxRadarBot
FluxRadar это сервис аудита сайтов. Когда владелец сайта просит нас его проверить, FluxRadarBot загружает публичные страницы этого сайта, и мы отчитываемся о найденном: SEO, доступность, заголовки безопасности, сигналы приватности и остальное.
Краулер приходит на сайт только потому, что кто-то с доступом к нему попросил отчёт. Он не ходит по сети просто так и не строит индекс или набор данных из чьего-то контента.
- Он читает — публичный HTML,
robots.txt,sitemap.xmlи заголовки ответов. - Он не читает — ничего за входом, ничего, что появилось бы после отправки формы, и ни одной страницы, которую запрещает ваш
robots.txt. - Он не хранит ваши страницы — дольше, чем нужно для аудита, ради которого их загрузили. Отчёт хранит доказательства к каждой находке, а не копию сайта.
Как распознать его в логах
Каждый запрос несёт этот user agent. Мобильный аудит добавляет к нему Mobile; токен FluxRadarBot в любом случае стоит первым, поэтому одно правило покрывает оба случая.
- User agent —
FluxRadarBot/0.1 (+https://fluxradar.net/bot) - Адрес источника —
173.242.53.147, каждый запрос, для каждого клиента. - Методы —
GETиHEAD. Больше ничего.
Всё, что выдаёт себя за FluxRadarBot с другого адреса, это не мы. Если увидите такое: адрес выше единственный, который мы используем, и мы хотели бы знать о другом.
Что он уважает
- robots.txt — Всегда.
Disallow, который касаетсяFluxRadarBotили*, держит нас вне этого пути, и отчёт говорит, какие адреса пропущены по этой причине, вместо того чтобы считать их недосмотренными. - Ваш темп — Запросы к одному хосту разнесены во времени, а после пяти серверных ошибок подряд мы останавливаем обход хоста совсем, вместо того чтобы добавлять проблем.
- Ваш лимит страниц — Аудит читает самое большее столько страниц, сколько охватывает его тариф, и отчёт говорит, сколько из найденных адресов прочитано.
Единственное исключение из robots.txt это override, который владелец сайта подтверждает для собственного сайта, письменно, в своём аккаунте FluxRadar. Каждый такой обход логируется.
Как пропустить
Если ваш сайт стоит за Cloudflare, WAF или другой защитой от ботов, он может отказывать нам ещё до того, как запрос увидит ваш сервер. Ниже правило, которое это решает.
(http.user_agent contains "FluxRadarBot" and ip.src eq 173.242.53.147)У других провайдеров разрешите то же самое: токен user-agent FluxRadarBot и адрес источника выше. Разрешить только сам адрес уже достаточно, и это более строгий из двух вариантов.
Как не пускать
Вы не обязаны нас пускать. Две строки в вашем robots.txt останавливают нас на каждом пути, и мы с ними не спорим: проверка сайта, который нас запретил, так и сообщает, а средства возвращаются.
User-agent: FluxRadarBot
Disallow: /Чтобы разрешить снова, замените Disallow на Allow:
Контакт
Если FluxRadarBot создал проблему на вашем сайте, напишите нам, и мы прекратим обход, пока разбираемся.
User-agent: FluxRadarBot
Allow: /Вопросы о краулере или о сайте, который он должен перестать посещать: support@fluxradar.net