Как я удалил 55% сайта и что из этого вышло

Провел небольшой эксперимент. Сайт на 1000+ страниц. Я удалил 600+ страниц (около 55% от его объема). Ниже расскажу, зачем я это сделал, как сделал и к чему это привело.

С чего началось или немного про Zombie-страницы

Наверняка, вы уже слышали про Zombie Pages или Зомби-Страницы. Этот термин пришел к нам недавно из западного SEO. В него я вкладываю не только мусорные страницы, которые не должны быть в индексе (по типу архивов, календаря и т. п.), но и документы, которые лежат "мертвым грузом" (русскоязычная интерпретация понятия термина ). То есть находятся в индексе, но их никто не посещает (либо посещают, но очень редко).

Еще с былых времен sape в вебмастерской среде была простая формула: больше страниц = больше дохода. Потом в обиход вошло понятие "масштаб проекта" — чем больше документов по тематике запроса, тем релевантнее должен быть сайт. Логика в этом, безусловно, была.

Правила игры постоянно меняются. Интернет разрастается быстрыми темпами и поисковым системам нужно огромное количество серверов, чтобы держать все это в индексе. Стратегия однозапросных страниц (1 страниц = 1 запрос) канула в Лету. Теперь лучше 1 качественный материал, чем 10 посредственных.

Западные коллеги проверяли гипотезу, удаляя из индекса зомби-страницы. В большинстве случаях это приводило к росту органической посещаемости из Google. Я решил проверить, как дела обстоят в Рунете. Кому не интересны детали, можете пролистать вниз до результатов эксперимента.

Если соберетесь проводить похожий эксперимент, то делайте все на свой страх и риск. Результаты в прошлом не гарантируют таких же результатов в будущем. На всякий случай предупредил .

Как найти "зомби" на сайте?

Здесь я не буду рассказывать, как искать дублированный контент (если интересно, можете почитать пост в блоге по дублям) или классические мусорные страницы (служебные файлы, архивы и т.д.). Суть моего эксперимента именно в удалении зомби-страниц. Найти их не совсем сложно (на примере Яндекс.Метрики и Microsoft Excel).

Шаг 1. Определяем список страниц сайта.

Предположу, что у каждого проекта есть sitemap.xml с полным перечнем полезных страниц (те, которые должны быть в индексе).

1. Заходим на https://site.ru/sitemap.xml.

2. Выделяем и копируем URL's.

В зависимости от формата вывода копироваться будут лишние элементы. Нам нужны только урлы без дополнительной информации. Удаление "мусора" будет зависеть от конкретной ситуации. На скриншоте пример вывода sitemap.xml с помощью плагина All in One SEO Pack. Для того чтобы удалить ненужную информацию, я копирую выделенное, затем вставляю его в обычный текстовый документ, далее выделяю все содержимое и вставляю уже в Excel. Так очиститься форматирование (можно также очистить формат непосредственно в Excel).

3. Создаем файл Excel, вставляем в него полученные данные из 2-го пункта, удаляем ненужные столбцы — оставляем только урлы.

Шаг 2. Определяем список страниц сайта, отсортированных по просмотрам/посетителям.

1. Заходим в Отчеты -> Стандартные отчеты -> Содержание -> Популярное.

2. Выбираем нужный период.

Для несезонного сайта я рекомендую выбирать последние 2 месяца.

3. Скачиваем список URL's с количеством просмотров/посещений ("Данные таблицы").

4. Открываем скачанный файл, прокручиваем вправо до конца. Там будут столбцы со списком URL и количеством просмотров/посещений. Вот они как раз и нужны.

Выделяем и копируем УРЛы, которые больше определенной цифры. Я ставлю ориентир 3-4 просмотра за 2 последних месяца. Можно делать поправку на тематику.

5. Добавляем полученный список в наш Excel-файл.

Шаг 3. Определяем zombie-страницы.

1. Выделяем урлы в 2-х столбцах. Далее "Условное форматирование" -> "Правила выделения ячеек" -> "Повторяющиеся значения". Потом "Ок".

Получаем URL's, которые есть и в первом и во втором столбцах.

2. Сортируем первый столбец по цвету и удаляем все URL с красным фоном.

3. Ура ! Конечный список страниц и будет считаться зомби (документы с посещаемостью от 3-4 просмотров и ниже). Их-то и можно удалять — в любом случае прямая посещаемость от их удаления серьезно не пострадает.

Как правильно удалять?

Удалять нужно тоже с умом. Я буду рассматривать вариант для WordPress. Полагаю, что в других CMS будет примерно также. Какие есть варианты:

1. Просто удаление. Страницы будут отдавать 404-ошибку. Не лучший способ, когда больше половины сайта будет под 404.
2. 301-редирект. Уже лучше, но не идеально. URL, с которых будет стоять редирект в любом случае будут фигурировать на сайте, например, в плагине похожих статей.
3. <meta name="robots" content="noindex, nofollow"/>. Аналогично 2-му пункту.

Я сделал комбо из 2-х вариантах. Сначала удалил (точнее добавил в черновик) и поставил 301-редирект на главную страницу. 301-редирект в .htaccess, самый простой:

Redirect 301 /page-1/ https://site.ru/

Придется каждый URL добавлять вручную. Есть способы немного ускорить процесс, но они уже за рамками этого поста. Скорее всего, зомби-страниц будет много, и вы не сможете их удалить за короткий период. Поэтому советую удалять и настраивать редиректы блоками, чтобы поисковые системы не успели зайти на удаленные документы с 404-ошибками.

В идеале после удаления страниц, удалить и внутренние ссылки на них (при наличии). Если проект небольшой, то это не займет много времени. Если большой, то не трудно или недорого создать/заказать скрипт или плагин, который удалит внутренние ссылки на URL определенного списка.

Ход и результаты эксперимента

Что имеем:

1. Сайт на 1000+ страниц.
2. Более-менее стабильная поисковая посещаемость на протяжении последних 6-7 месяцев без резких взлетов и падений.
3. До и во время эксперимента дополнительно с проектом ничего не проводилось.

С 10 июля по 16 августа примерно через равные промежутки времени (11 отрезков) и равное количество страниц за раз было удалено около 55% контента сайта (+ добавлен 301-редирект). Посещаемость с Google:

В начале октября трафик с гугла поднялся примерно на 50%. Можно было предположить, что это именно результат от удаления зомби-страниц. Сделали ресурс более качественным — получили больше трафика. Но 24 сентября было анонсировано обновление основного алгоритма — Google September 2019 Core Update. Первая "шапка" была получена сразу после него (25 числа). Пик — 30 сентября (возможно, отголоски апдейта). Вот данные по силе обновлений выдачи:

Для себя буду считать, что новый алгоритм положительно воспринял изменения на сайте и улучшил ранжирование .

А что с Яндексом?

Яндексу, скорее, такой эксперимент не понравился. Примерно через 10 дней после окончательного удаления зомби-документов посещаемость с него упала примерно на те же 50%. Сейчас она практически восстановилась.

Буду считать, что эксперимент удался — общая поисковая посещаемость подросла. Но необходимо делать поправки на:

1. Один сайт — не показатель. Проведение эксперимента занимает довольно большое количество времени. Реализовать его на 1000, 100 или хотя бы на 10 проектах будет не просто.
2. Резкий рост посещаемости с Google не совпал, но был рядом с September 2019 Core Update. Возможно, это влияние обновления алгоритма, а не удаления зомби-страниц.

А вы проводили похожие эксперименты? Если да, то что получилось в итоге? Ваши мысли и отзывы с нетерпением жду в комментариях !

Результаты конкурса на 10-летие блога

Большое спасибо за поздравления с днем рождения блога! Очень приятно, что среди читателей есть "старички" и те, кто подключился недавно. Спасибо тем, кто принял участие в разгадывании кроссворда. Правильный ответ - "десяточка" .

Поздравляю пятерку призеров:

1. Василий;
2. Лилия;
3. Andrew;
4. Владислав;
5. Александр.

А вот те, кто стал призером в конкурсе комментаторов:

• Руслан;
• Людмила;
• Александр;
• Zorbasmedia.

Жду ваши WMZ на почту с тех же e-mail, которые были указаны в опубликованных комментариях.