Прозрачность сканера
Как AI Web Check запрашивает ваш сайт
AI Web Check выполняет ограниченное число запросов к общедоступным ресурсам сайта. Ниже описано, что сервис запрашивает, как обрабатывает перенаправления и какие ограничения защищают сайт и сам сервис.
- Обновлено
Идентификация сканера
Запросы идентифицируют сервис следующим User-Agent:
AI-Web-Check/1.1 (+https://ai.novikey.com/bot)AI Web Check — проект noviKEY. Технические вопросы и сообщения о нежелательных запросах: a@novikey.com.
Что запрашивается
Базовая проверка использует до 5 публичных ресурсов: главную страницу, /robots.txt, /sitemap.xml, /llms.txt и /llms-full.txt. Если главная страница перенаправляет запрос, вспомогательные ресурсы проверяются уже по итоговому публичному адресу сайта.
Если сайт определён как интернет-магазин, проверка может обратиться к нескольким дополнительным HTTPS-ресурсам. Товарные страницы и документы для ИИ-агентов запрашиваются только в пределах того же сайта; перенаправление на другой сайт отклоняется.
Безопасность запросов
- Сервис принимает только обычные HTTP- и HTTPS-адреса без встроенных логинов и паролей.
- Запросы к локальным, приватным и служебным сетевым адресам блокируются.
- Каждое перенаправление проверяется повторно до выполнения следующего запроса.
- Проверка не использует прокси из окружения сервера.
Ограничение нагрузки
Для каждого ресурса действуют ограничения по времени ответа, размеру данных и числу перенаправлений. Проверка прекращается при превышении лимитов. Cookies не отправляются, а HTTPS-соединение проверяется по сертификату.
robots.txt и отказ от проверки
AI Web Check сначала запрашивает /robots.txt. Чтобы запретить проверку, опубликуйте:
User-agent: AI-Web-Check\nDisallow: /Такое правило именно для AI-Web-Check останавливает проверку до запроса главной страницы и остальных диагностических ресурсов. User-agent: * не считается специальным отказом от AI Web Check.
Обработка данных
Полученные ответы используются только для запрошенной проверки; исходный HTML проверяемого сайта не сохраняется в отчётах. Сроки хранения производных данных описаны в политике конфиденциальности AI Web Check.