Деиндексация сайта: что это такое и на что влияет

Деиндексация сайта — это процесс, при котором поисковая система (чаще всего Google) удаляет одну или несколько страниц из своего индекса. Проиндексированная страница появляется в поисковой выдаче — деиндексированная исчезает из неё полностью. Деиндексация бывает намеренной (вы сами закрываете страницу от поиска) и ненамеренной (Google удаляет её из-за технических ошибок, нарушений качества или некорректной конфигурации сайта).

Деиндексированная страница не приносит никакого органического трафика из Google — независимо от качества её контента и количества обратных ссылок.

Что такое деиндексация сайта

Поисковый индекс — это база данных всех страниц, которые Google посетил, проанализировал и счёл достойными показа в поисковой выдаче. Когда страница попадает в индекс, она может ранжироваться по соответствующим запросам. Когда она выходит из индекса — полностью исчезает из поиска.

Деиндексация касается конкретных URL, а не всего домена (если только вы не закрываете весь сайт). Сайт может иметь тысячи проиндексированных страниц и несколько деиндексированных — это нормальная ситуация для крупных ресурсов.

Намеренная деиндексация: когда и зачем

Владельцы сайтов намеренно деиндексируют страницы в следующих ситуациях:

• Дубликаты контента — страницы фильтров, параметров сортировки, теги, категории с минимальным уникальным содержимым
• Тестовые и служебные страницы — staging-среды, страницы админпанели, временные лендинги
• Страницы с тонким контентом — менее 300 слов, без уникальной ценности для пользователя
• Персональные и юридические данные — страницы с личной информацией, которая не должна быть публичной
• Устаревший или ошибочный контент — статьи, факты в которых устарели и не подлежат обновлению
• Страницы после миграции — старые URL после редизайна, на которые уже настроен 301-редирект

Ненамеренная деиндексация: основные причины

Ненамеренная деиндексация — один из самых опасных технических SEO-инцидентов, потому что часто остаётся незамеченной неделями.

• Ошибка в robots.txt — Disallow: / или некорректный путь, закрывающий весь сайт или важные разделы
• Случайно добавленный noindex — плагин кеширования, шаблон или CMS при обновлении добавил мета-тег ко всем страницам
• Ошибки сервера — если страница возвращает 5xx или 404 несколько недель подряд, Google удаляет её из индекса
• Ручные действия Google — санкция за нарушение правил для вебмастеров (thin content, spam links, cloaking)
• Удаление алгоритмическим фильтром — после обновлений алгоритма (Panda, HCU) слабые страницы могут массово деиндексироваться
• Истечение срока хостинга или домена — сайт возвращает ошибку, Google прекращает краулинг и со временем деиндексирует

Что должно быть в robots.txt

Файл robots.txt — это текстовый файл в корне сайта, который сообщает поисковым роботам, какие страницы обходить, а какие — нет. Он не гарантирует деиндексацию, но контролирует расход краулингового бюджета.

Обязательные директивы в robots.txt

• User-agent — для кого действует правило. User-agent: * означает всех роботов; User-agent: Googlebot — только Google
• Disallow — пути, закрытые от краулинга. Например: Disallow: /admin/
• Allow — исключения внутри закрытых папок. Например, если /admin/ закрыт, но /admin/public-page должна быть доступна
• Sitemap — ссылка на XML-карту сайта. Пример: Sitemap: https://yourdomain.com/sitemap.xml

Пример корректного robots.txt

User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search/
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image
Disallow: /wp-content/uploads/private/

Sitemap: https://yourdomain.com/sitemap.xml

Что НЕ стоит закрывать через robots.txt

• CSS и JS файлы — Google нужны они для рендеринга и оценки страницы
• Изображения товаров или статей — они дают трафик через Google Картинки
• Главная страница и ключевые посадочные — очевидно, но бывает и такое
• Страницы категорий и тегов — закрытие обвалит видимость, если они получают трафик

Важно: robots.txt vs noindex

Если ваша цель — убрать страницу из индекса, используйте тег noindex, а не Disallow в robots.txt. Причина: если страница закрыта через Disallow, но на неё есть внешние ссылки, Google может сохранить URL в индексе (без описания/сниппета) — просто потому что видит ссылки, но не может проверить содержимое. Тег noindex Google прочитает при краулинге и гарантированно удалит страницу.

Методы деиндексации: сравнение

1. Тег noindex (рекомендованный)

Добавьте в <head> страницы: <meta name="robots" content="noindex, follow">

Или через HTTP-заголовок: X-Robots-Tag: noindex (подходит для PDF и других не-HTML ресурсов)

• Гарантированно удаляет страницу из индекса после следующего краулинга
• Сохраняет ссылочный вес (если используется follow)
• Googlebot всё равно заходит на страницу — не экономит краулинговый бюджет

2. Disallow в robots.txt

Блокирует краулинг, но не гарантирует деиндексацию. Если на страницу есть внешние ссылки, Google может сохранить URL в индексе без контента.

Используйте для: сохранения краулингового бюджета, блокировки служебных разделов без внешних ссылок.

3. URL Removal Tool в Google Search Console

Временное решение. Страница исчезает из индекса примерно на 6 месяцев, после чего снова появляется (если не добавлен noindex). Полезен для срочного удаления конфиденциальных данных.

Путь: Google Search Console → Удаление → Временное удаление.

4. Тег canonical (косвенная деиндексация)

Укажите rel="canonical" с дублирующей страницы на основную. Google постепенно передаст ранжирующую силу на каноническую URL и перестанет показывать дублирующую в поиске.

Влияние деиндексации на SEO

Деиндексация отдельных страниц — штатная процедура для здоровья сайта. Но массовая или ненамеренная деиндексация может вызвать:

• Резкое падение трафика — все ключевые запросы деиндексированных страниц исчезают из поиска
• Снижение авторитета домена — если деиндексируются страницы с беклинками
• Ухудшение охвата индексирования — в отчёте GSC «Покрытие» появляются новые ошибки
• Потеря позиций — даже после реиндексации позиции могут восстанавливаться 2–12 недель

Как проверить деиндексацию

Google Search Console

Отчёт «Индексирование страниц» (ранее «Покрытие») — наиболее полный инструмент. Он разделяет все URL сайта на: проиндексированные, исключённые, с ошибками и предупреждениями. Резкий скачок в категории «Исключено» — первый сигнал ненамеренной деиндексации.

Поисковый оператор site:

Введите в Google: site:yourdomain.com. Покажет количество проиндексированных страниц. Резкое сокращение по сравнению с предыдущей неделей — повод для детального аудита.

Инструмент проверки URL в GSC

Введите конкретный URL и получите его статус: «Страница проиндексирована» или «Страница не проиндексирована» с объяснением причины.

Как восстановить деиндексированную страницу

1. Определите причину — проверьте GSC, robots.txt, мета-теги noindex, статус-код страницы
2. Устраните причину — уберите noindex, исправьте robots.txt, верните статус 200
3. Отправьте на реиндексацию — через инструмент проверки URL в GSC → «Запрос индексации»
4. Проверьте через 1–14 дней — страница должна появиться в индексе и постепенно восстановить позиции

Профилактика ненамеренной деиндексации

• Проверяйте robots.txt после каждого обновления CMS или плагинов
• Настройте алерты в GSC на ошибки индексирования
• Еженедельно мониторьте количество проиндексированных страниц (Screaming Frog, GSC)
• Тестируйте staging-среду с закрытым robots.txt и убедитесь, что он не попадает на прод
• Проверяйте noindex-теги после каждого деплоя новой версии сайта

Чек-лист контроля индексирования сайта

• Проверен robots.txt: нет нежелательных Disallow для важных страниц
• Проверены noindex-теги на всех ключевых страницах
• GSC: отчёт «Индексирование» просмотрен, нет аномального роста исключений
• Количество проиндексированных страниц соответствует ожидаемому
• Для страниц к деиндексации: добавлен noindex или canonical
• Служебные разделы (/admin/, /cart/, /checkout/) закрыты в robots.txt
• sitemap.xml содержит только проиндексированные страницы (без noindex URL)
• Настроены алерты GSC на новые ошибки индексирования
• Проверены статус-коды: все важные страницы возвращают 200
• robots.txt и noindex-теги проверяются после каждого деплоя

Часто задаваемые вопросы о деиндексации

Что такое деиндексация сайта?

Деиндексация — это удаление страницы или всего сайта из индекса поисковой системы. Деиндексированная страница не появляется в результатах поиска Google и не может привлекать органический трафик. Деиндексация бывает намеренной (настроена владельцем сайта) и ненамеренной (вызвана техническими ошибками или нарушениями политики качества).

Чем отличается robots.txt от тега noindex?

robots.txt закрывает страницу от краулинга — Googlebot не заходит на неё и не видит её содержимое. Но страница может остаться в индексе (как URL без описания), если на неё есть внешние ссылки. Тег noindex позволяет Googlebot зайти на страницу, но запрещает включать её в индекс. Для надёжного удаления из поиска используйте noindex, а не Disallow в robots.txt.

Сколько времени занимает деиндексация после добавления noindex?

Обычно Google обрабатывает тег noindex в течение 1–14 дней после следующего краулинга страницы. Для ускорения — отправьте URL на переобход через Google Search Console (инструмент проверки URL → «Запрос индексации»). Срочное удаление — через URL Removal Tool в GSC, эффект наступает через несколько часов.

Что происходит с SEO после деиндексации страницы?

Деиндексированная страница теряет весь органический трафик из Google. Внутренние ссылки на неё становятся ‘мёртвыми’ с точки зрения передачи веса. Для здоровья SEO: либо настройте 301-редирект на релевантную страницу (если контент переехал), либо закройте через noindex (если контент никому не нужен).

Как проверить, проиндексирована ли страница?

Самый простой способ — ввести в Google: site:yourdomain.com/your-page. Если страница появляется в результатах — она в индексе. Детальный анализ — через Google Search Console: отчёт «Покрытие» или инструмент проверки URL (нажмите на конкретный URL и посмотрите статус).

Случайно деиндексировали важные страницы или хотите правильно закрыть ненужные? Spilno Agency проводит технический SEO-аудит и настраивает индексирование сайта.