Хто запитує відсутню адресу: боти Google, ШІ-краулери та сканери
Список 404 у Baza Helper показує, хто запитував кожну адресу, якої не існує: рекламний бот Google, Googlebot, інші пошукові системи, ШІ-краулери, SEO-сервіси, сканери чи звичайний відвідувач. Ви спершу виправляєте сторінки, що коштують вам реклами й пошукового трафіку, а шум можна ігнорувати. Він у Baza Helper > Redirects and 404, у картці Missing addresses (404). Правила перенаправлень описано в статті Перенаправлення та монітор 404.
Що показує список
У кожному рядку є колонка Who з видом відвідувача й маленькою позначкою, у кольорі бренду, де він є. Вид визначається за User-Agent запиту:
- Google (Ads and search): бот Google Ads і Googlebot.
- Other search engines: Bing, Baidu, DuckDuckGo і Applebot.
- AI crawlers: ChatGPT і OpenAI, Claude і Anthropic, Perplexity та інші ШІ-краулери.
- SEO services: краулери SEO-інструментів.
- Scanners and probes: інструменти на кшталт sqlmap чи nikto і будь-який запит туди, де шукають витоки й форми входу.
- Visitors: відвідувач із браузером.
- Other: Facebook та Instagram, перевірки доступності й швидкості, інші боти та скрипти й запити без User-Agent.
Запит на /.env, wp-config, xmlrpc.php, phpmyadmin чи файл резервної копії показується як проба, хоч яку назву він називає. Рядки, збережені до цієї функції, показують Not recorded.
Фільтр і плитки
Відкрийте значок фільтра й оберіть Who, щоб побачити одну групу. Плитки над таблицею показують, скільки запитів і скільки адрес зробив кожен вид за обраний період, тож одразу видно, шум іде від сканерів чи від пошукових систем.
Перевірте, що пошукова система справжня
Назву в User-Agent можна підробити. Для Google, Bing, Baidu й Apple плагін перевіряє запит після надсилання сторінки: зворотний DNS-пошук адреси відвідувача має назвати хост цієї пошукової системи, а пошук за цим хостом має повернути ту саму адресу. Тоді рядок позначається як перевірений або як неспівпадіння, коли хтось лише вдає. Запит, що не справжній, ніколи не викликає сповіщення нижче.
Сповіщення про ботів Google
Якщо бот Google Ads або Googlebot за останні 7 днів запитав відсутню адресу, над таблицею з’являється червоне сповіщення Google asked for pages that do not exist. У кожному рядку вказано адресу, хто запитував, скільки разів і коли. Кнопка зі стрілкою відкриває форму додавання з цією адресою, а кнопка кошика забуває адресу.
Для реклами це важливо: оголошення, що веде на відсутню сторінку, можуть відхилити з причиною «цільова сторінка не працює», а результат пошуку, що веде на таку, можуть прибрати. Відновіть сторінку або додайте перенаправлення. Натисніть Mark as seen, щоб сховати сповіщення, доки Google не знайде іншу відсутню сторінку.
Ця сама проблема показується червоним пунктом warning в адмін-панелі WordPress, тож ви бачите її на будь-якому екрані.
Налаштування
Відкрийте картку Settings вкладки Redirects and 404. Параметри цієї функції:
- Note who asks for a missing address (Google, Bing, AI crawlers, scanners, visitors): увімкнено за замовчуванням.
- Keep the network of the visitor (the address with its last part cut off): вимкнено за замовчуванням. Тоді список зберігає лише мережу, наприклад 203.0.113.0, ніколи повну адресу.
- Warn in the admin bar when Google’s ad bot or Googlebot finds a missing page: увімкнено за замовчуванням.
- Also send the administrator an e-mail (once an hour for one address): вимкнено за замовчуванням.
Виправлення відсутньої сторінки
- Відкрийте Baza Helper > Redirects and 404 і прочитайте сповіщення.
- Якщо сторінка має існувати, відновіть її. Якщо вона переїхала, натисніть кнопку зі стрілкою, щоб заповнити форму старою адресою, і введіть нову адресу в To.
- Натисніть Add redirect, потім Mark as seen.
