4xx и 5xx ошибки: SEO-цена битых запросов

Когда страница возвращает HTTP 404 — это не просто «не найдено». Это сигнал поисковику: «здесь нечего индексировать», плюс потраченный crawl budget на её обход, плюс точка трения для пользователя, который пришёл по битой ссылке. Если на сайте таких страниц десятки или сотни — это уже системная проблема.

В этой статье разбираем какие коды ошибок что значат, что они стоят сайту в SEO, и как их устранять.

Что значит каждый код

4xx — «ошибка клиента»

Поисковик пришёл за страницей, но что-то с его запросом не так. Самые частые:

404 Not Found — страница не существует
403 Forbidden — страница есть, но доступ запрещён
410 Gone — страница была, но удалена навсегда
451 Unavailable for Legal Reasons — заблокирована по решению регулятора

5xx — «ошибка сервера»

Сервер не смог обработать запрос. Самые частые:

500 Internal Server Error — что-то сломалось внутри
502 Bad Gateway — упстрим (PHP, Node, и т.д.) не отвечает
503 Service Unavailable — временно недоступен (мейнтенанс или перегрузка)
504 Gateway Timeout — упстрим долго отвечает

Что делает поисковик при каждом коде

404:

Первая встреча — Googlebot пробует страницу повторно через несколько дней. После 2-3 неудачных попыток страница удаляется из индекса. Сигнал «не индексировать» в Google Search Console → Coverage → «Not found (404)».

Соседние страницы это не задевает напрямую. Но если 404 много — Google делает вывод о низком качестве сайта в целом.

410:

Сильнее 404 — означает «удалено навсегда». Google деиндексирует быстрее (1-2 повторных обхода вместо 3-5). Используйте 410 когда удалили страницу с концами.

403:

Если на сайте важная страница вернула 403, Googlebot пытается ещё несколько раз. Если упорно — деиндексирует. Часто 403 возникает случайно из-за бот-защиты, которая блокирует и Googlebot тоже — стоит проверить.

500:

«Сервер сломался». Поисковик возвращается через час-два. Если ситуация повторяется регулярно — снижает crawl rate. То есть Googlebot начинает реже ваш сайт обходить, чтобы не нагружать.

503 с заголовком Retry-After:

Если запланирован мейнтенанс, отдавайте 503 с заголовком Retry-After: 3600 (через 3600 секунд возвращайтесь). Это правильный способ сказать «временно недоступен, не деиндексируйте, вернёмся скоро». Без Retry-After Google может счесть это постоянной проблемой.

SEO-цена ошибок

Конкретно по эффектам:

1. Потраченный crawl budget

Каждый запрос Googlebot к 404-странице — это потерянная возможность обхода настоящей страницы. На сайте с 1000+ страниц crawl budget ограничен — каждая 404 это минус один обход полезной страницы в день.

На очень больших сайтах (e-commerce с 50 000+ SKU) crawl budget — критичный ресурс. Подробнее — в посте о Googlebot и crawl budget.

2. Снижение доверия

Если ваш sitemap содержит 5000 URL, из которых 30% возвращают 404 — Google понижает доверие ко всему sitemap'у. Постепенно перестаёт обходить даже валидные URL так же активно.

3. Поведенческие сигналы

Пользователь приходит из выдачи по запросу, попадает на 404, возвращается в выдачу через 5 секунд. Поисковик это видит — pogosticking. Для страницы, с которой ушли, это негативный сигнал.

4. Внешние ссылки в пустоту

Если на ваш URL ссылаются с других сайтов, а он 404 — ссылочный вес теряется. Особенно болезненно после миграции сайта, когда URL изменились а редиректы не настроены.

5. 5xx критичнее 4xx

Если на ваш сайт пришёл Googlebot, а сервер ответил 500 — это сигнал «вы не готовы к посещению». Google запоминает и снижает crawl rate. Поведение похоже на то, как Google понижает приоритет медленных серверов — он просто не хочет «сломать» вас лишними запросами.

Где искать ошибки

Google Search Console

Раздел Indexing → Pages → Why pages aren't indexed. Там разделение:

Not found (404) — список URL, которые Google не нашёл
Server error (5xx) — список URL, где сервер падал
Redirect error — циклы редиректов или редиректы на 404

Яндекс.Вебмастер

Похожий отчёт в разделе Индексирование → Страницы в поиске → Исключённые.

Логи сервера

Самый честный источник. Откройте access.log за месяц, отфильтруйте по статус-кодам 4xx и 5xx:

awk '$9 ~ /^[45][0-9]{2}$/' access.log | head -100

Покажет все запросы с ошибками. Можно сгруппировать по URL чтобы найти самые частые проблемные.

Screaming Frog

Прогон сайта — отчёт Internal Links → Status Codes. Все внутренние ссылки, ведущие на 4xx или 5xx — кандидаты на починку.

Как чинить

404 — внутренние ссылки

Если у вас на сайте есть <a href="/old-page/"> где /old-page/ уже не существует:

Если есть аналогичная страница → меняйте ссылку или ставьте 301-редирект
Если страница не нужна → удаляйте ссылку из всех мест
Если страница удалена насовсем → возвращайте 410 (не 404) — Google быстрее деиндексирует

404 — внешние ссылки

На вас ссылаются из чужих сайтов, а URL у вас изменился. Решение:

301-редирект со старого URL на новый — лучший вариант. Ссылочный вес передаётся.
410 Gone — если страница просто умерла и нет замены
Custom 404 страница с навигацией — пользователь не теряется на сайте

5xx — серверные ошибки

5xx означает реальную проблему на сервере. Это не починить «настройкой SEO» — нужно копать причину:

PHP/Node упал → проверить логи (error.log)
БД не отвечает → проверить нагрузку и connection pool
Timeout → ускорить запросы
Out of memory → увеличить RAM

Обычно 5xx — это инфраструктурная задача, не SEO. Но SEO-специалист должен мониторить и эскалировать.

Профилактика

Регулярный crawl-аудит сайта (раз в месяц через Screaming Frog или Sitebulb)
Мониторинг логов на аномалии 4xx/5xx
Алертинг на падение сервера (Я.Метрика → отчёт «Доступность сайта», или внешний мониторинг)
Карта редиректов при миграции сайтов — никогда не оставлять старые URL без 301
Custom 404 страница с навигацией и поиском — снижает bounce от попаданий на битые ссылки

Резюме

Битые запросы — это тихий тормоз SEO. По одной 404 ничего не случится, но 200 404 на сайте за месяц — уже серьёзный сигнал поисковику и потерянный crawl budget. Регулярный мониторинг и быстрая починка — гигиена, которая стоит мало времени и приносит ощутимый эффект.

Хотите аудит сайта на 4xx/5xx? Напишите нам. Бесплатно за 2 рабочих дня.