Деіндексація сайту: що це таке і на що впливає

Деіндексація сайту — це процес, при якому пошукова система (найчастіше Google) видаляє одну або кілька сторінок із свого індексу. Проіндексована сторінка з’являється в пошуковій видачі — деіндексована зникає з неї повністю. Деіндексація може бути навмисною (ви самі закриваєте сторінку від пошуку) або ненавмисною (Google видаляє її через технічні проблеми, порушення якості або помилки в конфігурації сайту).

Деіндексована сторінка не приносить жодного органічного трафіку з Google — незалежно від якості її контенту та кількості зворотних посилань.

Що таке деіндексація сайту

Пошуковий індекс — це база даних усіх сторінок, які Google відвідав, проаналізував і вважає гідними показу в пошуковій видачі. Коли сторінка потрапляє в індекс, вона може ранжуватися за відповідними запитами. Коли вона виходить з індексу — вона зникає з пошуку повністю.

Деіндексація стосується конкретних URL, а не всього домену (якщо тільки ви не закриваєте весь сайт). Один сайт може мати тисячі проіндексованих сторінок і кілька деіндексованих — це нормальна ситуація для великих ресурсів.

Навмисна деіндексація: коли і навіщо

Власники сайтів навмисно деіндексують сторінки у таких ситуаціях:

• Дублікати контенту — сторінки фільтрів, параметрів сортування, теги, категорії з низьким унікальним вмістом
• Тестові та службові сторінки — staging-середовища, сторінки адмінпанелі, тимчасові лендінги
• Сторінки з тонким контентом — менше 300 слів, без унікальної цінності для користувача
• Особисті та юридичні дані — сторінки з персональною інформацією, яка не повинна бути публічною
• Застарілий або помилковий контент — статті, факти в яких застаріли і не підлягають оновленню
• Сторінки після міграції — старі URL після редизайну, на які вже налаштовано 301-редирект

Ненавмисна деіндексація: основні причини

Ненавмисна деіндексація — один із найнебезпечніших технічних SEO-інцидентів, бо часто лишається непоміченою тижнями.

• Помилка в robots.txt — Disallow: / або некоректний шлях, що закриває весь сайт або важливі розділи
• Випадково доданий noindex — плагін кешування, шаблон або CMS при оновленні додав мета-тег до всіх сторінок
• Помилки сервера — якщо сторінка повертає 5xx або 404 протягом кількох тижнів поспіль, Google видаляє її з індексу
• Ручні дії Google — санкція за порушення вебмайстерських правил (thin content, spam links, cloaking)
• Видалення через алгоритмічний фільтр — після оновлень алгоритму (Panda, HCU) слабкі сторінки можуть масово деіндексуватися
• Закінчення дії сайту — хостинг або домен прострочено, і сайт повертає помилку

Що повинно бути в robots.txt

Файл robots.txt — це текстовий файл у корені сайту, який повідомляє пошуковим роботам, які сторінки краулити, а які — ні. Він не гарантує деіндексацію, але контролює витрату краулінгового бюджету.

Обов’язкові директиви в robots.txt

• User-agent — для кого діє правило. User-agent: * означає всі роботи; User-agent: Googlebot — тільки Google
• Disallow — шляхи, які закриті від краулінгу. Наприклад: Disallow: /admin/
• Allow — винятки всередині закритих папок. Наприклад, якщо /admin/ закрита, але /admin/public-page потрібна
• Sitemap — посилання на XML-карту сайту. Приклад: Sitemap: https://yourdomain.com/sitemap.xml

Приклад правильного robots.txt

User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search/
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image
Disallow: /wp-content/uploads/private/

Sitemap: https://yourdomain.com/sitemap.xml

Що НЕ варто закривати через robots.txt

• CSS і JS файли — Google потребує їх для рендерингу і оцінки сторінки
• Зображення товарів або статей — вони дають трафік через Google Images
• Головна сторінка та ключові посадкові — очевидно, але буває й таке
• Сторінки категорій і тегів — якщо вони мають трафік, закриття обвалить видимість

Важливо: robots.txt vs noindex

Якщо ваша мета — прибрати сторінку з індексу, використовуйте noindex-тег, а не Disallow в robots.txt. Причина: якщо сторінка закрита через Disallow, але на неї є зовнішні посилання, Google може зберегти URL в індексі (без опису/сніпету) — просто тому що бачить посилання, але не може перевірити вміст. Тег noindex Google прочитає при краулінгу і гарантовано видалить сторінку.

Методи деіндексації: порівняння

1. Тег noindex (рекомендований)

Додайте в <head> сторінки: <meta name="robots" content="noindex, follow">

Або через HTTP-заголовок: X-Robots-Tag: noindex (підходить для PDF та інших не-HTML ресурсів)

• Гарантовано видаляє сторінку з індексу після наступного краулінгу
• Зберігає посилальний вес (якщо використовується follow)
• Googlebot все одно заходить на сторінку — не блокує краулінговий бюджет

2. Disallow в robots.txt

Блокує краулінг, але не гарантує деіндексацію. Якщо на сторінку є зовнішні посилання, Google може зберегти URL в індексі без контенту.

Використовуйте для: збереження краулінгового бюджету, блокування службових розділів, які точно не мають зовнішніх посилань.

3. URL Removal Tool у Google Search Console

Тимчасове рішення. Сторінка зникає з індексу приблизно на 6 місяців, після чого знову з’являється (якщо не додано noindex). Корисний для термінового видалення конфіденційних даних.

Шлях: Google Search Console → Видалення → Тимчасове видалення.

4. Canonical-тег (непряма деіндексація)

Вкажіть rel="canonical" з дублювальної сторінки на основну. Google поступово передасть ранжувальну силу на канонічну URL та перестане показувати дублювальну в пошуку.

Вплив деіндексації на SEO

Деіндексація окремих сторінок — штатна процедура для здоров’я сайту. Але масова або ненавмисна деіндексація може спричинити:

• Різке падіння трафіку — всі ключові запити деіндексованих сторінок зникають з пошуку
• Зниження авторитету домену — якщо деіндексуються сторінки з беклінками
• Погіршення охоплення індексування — у звіті GSC «Покриття» з’являються помилки
• Втрата позицій — навіть після реіндексації позиції можуть відновлюватися 2–12 тижнів

Як перевірити деіндексацію

Google Search Console

Звіт «Індексування сторінок» (раніше «Покриття») — найповніший інструмент. Він поділяє всі URL сайту на: проіндексовані, виключені, з помилками та попередженнями. Раптовий стрибок у категорії «Виключено» — перший сигнал ненавмисної деіндексації.

Пошуковий оператор site:

Введіть у Google: site:yourdomain.com. Покаже кількість проіндексованих сторінок. Різке скорочення порівняно з попереднім тижнем — привід для детального аудиту.

Інструмент перевірки URL в GSC

Введіть конкретний URL і отримайте статус: «Сторінка проіндексована» або «Сторінка не проіндексована» з поясненням причини.

Як відновити деіндексовану сторінку

1. Визначте причину — перевірте GSC, robots.txt, мета-теги noindex, статус-код сторінки
2. Усуньте причину — приберіть noindex, виправте robots.txt, поверніть 200-статус
3. Надішліть на реіндексацію — через інструмент перевірки URL у GSC → «Запит на індексацію»
4. Перевірте через 1–14 днів — сторінка повинна з’явитися в індексі та поступово відновити позиції

Профілактика ненавмисної деіндексації

• Перевіряйте robots.txt після кожного оновлення CMS або плагінів
• Налаштуйте алерти в GSC на помилки індексування
• Моніторте кількість проіндексованих сторінок щотижня (Screaming Frog, GSC)
• Тестуйте staging-середовище з закритим robots.txt і переконайтеся, що він не потрапляє на прод
• Перевіряйте noindex-теги після деплою нової версії сайту

Чек-ліст контролю індексування сайту

• Перевірено robots.txt: немає небажаних Disallow для важливих сторінок
• Перевірено noindex-теги на всіх ключових сторінках (title, content, H1)
• GSC: звіт «Індексування» переглянуто, немає аномального зростання виключень
• Кількість проіндексованих сторінок відповідає очікуваній кількості
• Для сторінок, які треба деіндексувати: додано noindex або canonical
• Службові розділи (/admin/, /cart/, /checkout/) закриті в robots.txt
• Sitemap.xml містить тільки проіндексовані сторінки (без noindex URL)
• Налаштовані алерти GSC на нові помилки індексування
• Перевірено статус-коди: всі важливі сторінки повертають 200
• Після кожного деплою перевіряється robots.txt та noindex-теги

Поширені питання про деіндексацію

Що таке деіндексація сайту?

Деіндексація — це видалення сторінки або всього сайту з індексу пошукової системи. Деіндексована сторінка не з’являється в результатах пошуку Google і не може залучати органічний трафік. Деіндексація буває навмисною (налаштована власником сайту) та ненавмисною (спричинена технічними помилками або порушеннями якості).

Чим відрізняється robots.txt від тегу noindex?

robots.txt закриває сторінку від краулінгу — Googlebot не заходить на неї і не бачить її вміст. Але сторінка може залишитися в індексі (як URL без опису), якщо на неї є зовнішні посилання. Тег noindex дозволяє Googlebot зайти на сторінку, але забороняє включати її в індекс. Для надійного видалення з пошуку використовуйте noindex, а не robots.txt.

Скільки часу займає деіндексація після додавання noindex?

Зазвичай Google обробляє noindex-тег протягом 1–14 днів після наступного краулінгу сторінки. Для прискорення — надішліть URL на переперевірку через Google Search Console (інструмент перевірки URL → «Запит на індексацію»). Термінове видалення — через URL Removal Tool у GSC, ефект настає за кілька годин.

Що буде з SEO після деіндексації сторінки?

Деіндексована сторінка втрачає весь органічний трафік з Google. Якщо на неї вели внутрішні посилання — вони стають ‘мертвими’ з точки зору передачі ваги. Для SEO здоров’я сайту важливо: або налаштувати 301-редирект на релевантну сторінку (якщо контент переїхав), або закрити через noindex (якщо контент не потрібен нікому).

Як перевірити, чи проіндексована сторінка?

Найпростіший спосіб — ввести в Google: site:yourdomain.com/your-page. Якщо сторінка з’являється в результатах — вона в індексі. Детальніший аналіз — через Google Search Console: звіт «Покриття» або інструмент перевірки URL (натисніть на конкретний URL і подивіться статус).

Ненавмисно деіндексували важливі сторінки або хочете правильно закрити непотрібні? Spilno Agency проведе технічний SEO-аудит і налаштує індексування сайту.