Кто запрашивает отсутствующий адрес: боты Google, ИИ-краулеры и сканеры
Список 404 в Baza Helper показывает, кто запрашивал каждый несуществующий адрес: рекламный бот Google, Googlebot, другие поисковые системы, ИИ-краулеры, SEO-сервисы, сканеры или обычный посетитель. Вы сначала исправляете страницы, которые стоят вам рекламы и поискового трафика, а шум можно игнорировать. Он находится в Baza Helper > Redirects and 404, в карточке Missing addresses (404). Правила редиректов описаны в статье Редиректы и монитор 404.
Что показывает список
В каждой строке есть колонка Who с видом посетителя и маленькой отметкой, в цвете бренда, где он есть. Вид определяется по User-Agent запроса:
- Google (Ads and search): бот Google Ads и Googlebot.
- Other search engines: Bing, Baidu, DuckDuckGo и Applebot.
- AI crawlers: ChatGPT и OpenAI, Claude и Anthropic, Perplexity и другие ИИ-краулеры.
- SEO services: краулеры SEO-инструментов.
- Scanners and probes: инструменты вроде sqlmap или nikto и любой запрос туда, где ищут утечки и формы входа.
- Visitors: посетитель с браузером.
- Other: Facebook и Instagram, проверки доступности и скорости, другие боты и скрипты и запросы без User-Agent.
Запрос на /.env, wp-config, xmlrpc.php, phpmyadmin или файл резервной копии показывается как проба, какое бы имя он ни называл. Строки, сохранённые до этой функции, показывают Not recorded.
Фильтр и плитки
Откройте значок фильтра и выберите Who, чтобы увидеть одну группу. Плитки над таблицей показывают, сколько запросов и сколько адресов сделал каждый вид за выбранный период, так что сразу видно, идёт ли шум от сканеров или от поисковых систем.
Проверьте, что поисковая система настоящая
Имя в User-Agent можно подделать. Для Google, Bing, Baidu и Apple плагин проверяет запрос после отправки страницы: обратный DNS-поиск адреса посетителя должен назвать хост этой поисковой системы, а поиск по этому хосту должен вернуть тот же адрес. Тогда строка помечается как проверенная или как не настоящая, когда кто-то лишь притворяется. Запрос, который не настоящий, никогда не вызывает оповещение ниже.
Оповещение о ботах Google
Если бот Google Ads или Googlebot за последние 7 дней запрашивал несуществующий адрес, над таблицей появляется красное оповещение Google asked for pages that do not exist. В каждой строке указаны адрес, кто запрашивал, сколько раз и когда. Кнопка со стрелкой открывает форму добавления с этим адресом, а кнопка корзины забывает адрес.
Для рекламы это важно: объявление, ведущее на несуществующую страницу, могут отклонить с причиной «целевая страница не работает», а результат поиска, ведущий на такую, могут убрать. Восстановите страницу или добавьте редирект. Нажмите Mark as seen, чтобы скрыть оповещение, пока Google не найдёт другую несуществующую страницу.
Та же проблема показывается красным пунктом warning в админ-панели WordPress, так что вы видите её на любом экране.
Настройка
Откройте карточку Settings вкладки Redirects and 404. Параметры этой функции:
- Note who asks for a missing address (Google, Bing, AI crawlers, scanners, visitors): включено по умолчанию.
- Keep the network of the visitor (the address with its last part cut off): выключено по умолчанию. Тогда список хранит только сеть, например 203.0.113.0, никогда полный адрес.
- Warn in the admin bar when Google’s ad bot or Googlebot finds a missing page: включено по умолчанию.
- Also send the administrator an e-mail (once an hour for one address): выключено по умолчанию.
Исправление отсутствующей страницы
- Откройте Baza Helper > Redirects and 404 и прочитайте оповещение.
- Если страница должна существовать, восстановите её. Если она переехала, нажмите кнопку со стрелкой, чтобы заполнить форму старым адресом, и введите новый адрес в To.
- Нажмите Add redirect, затем Mark as seen.
