Прозрачность сканера
Как AI Web Check запрашивает ваш сайт
AI Web Check выполняет ограниченное число запросов к общедоступным ресурсам сайта. Ниже описано, что сервис запрашивает, как обрабатывает перенаправления и какие ограничения защищают сайт и сам сервис.
- Обновлено
Идентификация сканера
Запросы идентифицируют сервис следующим User-Agent:
AI-Web-Check/1.1 (+https://ai.novikey.com/bot)AI Web Check — проект noviKEY. Технические вопросы и сообщения о нежелательных запросах: a@novikey.com.
Что запрашивается
Базовая проверка использует до 6 логических обращений к ресурсам: сначала /robots.txt, затем главную страницу, /sitemap.xml, /llms.txt, /llms-full.txt и один безопасный POST /mcp/ с методом server/discover для MCP 2026-07-28.
Если Remote MCP объявляет поддержку tools, допускается ещё один только читающий запрос tools/list. Объявленные инструменты не вызываются.
Выборка внутренних страниц может использовать до 3 дополнительных обращений к ресурсам и проверить до 2 URL из sitemap. Для подтверждённого интернет-магазина допускается ещё до 5 обращений по HTTPS к товарным страницам и публичным документам для ИИ-агентов.
Проверка использует до 15 логических обращений к ресурсам, а не суммарно 15 HTTP-запросов. При получении одного ресурса методом GET допускается до 3 перенаправлений, которые требуют дополнительных HTTP-запросов. Ограничения времени и размера ответа сохраняются. POST-запросы Remote MCP не следуют перенаправлениям.
Безопасность запросов
- Сервис принимает только обычные HTTP- и HTTPS-адреса без встроенных логинов и паролей.
- Запросы к локальным, приватным и служебным сетевым адресам блокируются.
- Каждое перенаправление проверяется повторно до выполнения следующего запроса.
- Проверка не использует прокси из окружения сервера.
Ограничение нагрузки
Для каждого ресурса действуют ограничения по времени ответа, размеру данных и числу перенаправлений. Проверка прекращается при превышении лимитов. Cookies не отправляются, а HTTPS-соединение проверяется по сертификату.
robots.txt и отказ от проверки
AI Web Check сначала запрашивает /robots.txt. Чтобы остановить проверку до запроса главной страницы и остальных диагностических ресурсов, опубликуйте:
User-agent: AI-Web-Check
Disallow: /Такое правило именно для AI-Web-Check считается отказом от проверки. User-agent: * не считается специальным отказом от AI Web Check.
Обработка данных
Полученные ответы используются только для запрошенной проверки; исходный HTML проверяемого сайта не сохраняется в отчётах. Сроки хранения производных данных описаны в политике конфиденциальности AI Web Check.