Нужно ли закрывать пагинацию от индексации? Часть №2 — универсального ответа нет!

Тема настолько популярная и противоречивая, что к моему относительно недавнему посту публикую новый. Надеюсь, что совместными силами нам удастся добиться оптимального результата. Ни Яндекс, ни Google, ни SEO-сообщество не дает однозначных ответов.

Почему тот же вопрос?

Буквально год назад я был уверен в том, что в индексе пагинация не нужна. Теперь уверен не на 100%. Но и ее индексация вызывает много противоречий. Добавляем сюда советы от разных поисковых систем (Яндекс и Google) и получаем полный SEO-коктейль . Ниже все, что накопилось у меня на этот счет. Возможно, вместе докопаемся до истины .

Началось все с того, что несколько месяцев назад у довольно авторитетного SEO-специалиста я увидел мнение противоположное моему — "Пагинацию закрывать не нужно". Продолжилось тем, что Google официально заявил, что rel="next" и rel="prev" больше не учитываются.

Подумал, что нужно спросить мнение у других. Сначала создал опрос в твиттере, потом в блоге. Получил следующие результаты.

Оказывается, незакрывающих больше, чем закрывающих. Давайте, переубедите меня, почему не закрывать лучше, чем закрывать . Просьба проголосовать в опросе тех, кто это еще не сделал.

 Загрузка ...

Почему стоит закрыть?

Мои доводы в пользу закрытия:

1. Посетители попадают всегда на главную страницу категории. Как правило, на ней отображен подготовленный ассортимент (именно его видит посетитель при переходе из меню). Какой ассортимент отобразится пользователю на 6 или 10 странице пагинации (мой опыт показывает, что это не редкость)? Может быть, он и вовсе попадет на товары, которых нет в наличии.
2. Постоянно меняющиеся целевые страницы. Алгоритмам поисковых систем сегодня понравилась главная категория, завтра 4 страница, послезавтра 10 (при отсутствии дополнительного контента на главной странице раздела отличия документов незначительные). На мой взгляд, периодически "пляшущие" посадочные это не очень хорошо.
3. В индексе образуется большое количество некачественных документов. Во-первых, это статус "Некачественная страница" в Яндекс.Вебмастере. Во-вторых, в Google существует практика, когда при удалении из индекса низкокачественных документов, не приносящих трафика, общая поисковая посещаемость ресурса подрастала.

Почему стоит открыть?

Открытая пагинация мне импонирует по 2 пунктам (первый больше всего):

1. Поисковая система может определить глубину ассортимента (используется в качестве коммерческого фактора ранжирования). И снова "Я спросил у Яндекса". Мой вопрос:

Подскажите, пожалуйста, в случае использования с пагинации rel="canonical" на первую страницу категории или конструкцию meta name robots noindex, follow будет ли поисковый алгоритм Яндекса видеть весь ассортимент раздела?

Например, в разделе "Шины" представлено 100 товаров, которые разделены на 10 страниц пагинации (включая первую). В случае использования rel="canonical" на первую страницу категории или конструкцию meta name robots noindex, follow будет ли алгоритм "видеть" то, что ассортимент состоит из 100 товаров, а не только из 10?

Ответ:

Если документы будут запрещены к индексированию, то робот не сможет загрузить в поисковую базу данные о том, какой именно контент они содержат, он только сможет перейти по ссылкам с этой страницы.

Если страницы содержат какой-то контент, который должен быть проиндексирован и загружен в базу поиска, который вы считаете полезным и нужным для пользователей, возможно, такие документы не стоит ограничивать к индексированию, чтобы у пользователей поисковой системы также была возможность обнаружить их по соответствующим запросам.

Действительно, могут быть проблемы с ассортиментом при закрытой пагинации.

2. Если в качестве целевой поисковая система выбрала "нумерованный документ", то это может свидетельствовать о фильтрах на главную страницу категории (например, постраничный Баден-Баден). Но это не точно . Как диагностировать фильтр, если никакого дополнительно текста нет, а с Title, Description и h1 все в порядке? Вопрос остается открытым.

Позиция Яндекса

Вроде поисковая система — точная математическая формула, а точного решения нет:

1. Ставьте canonical на основную категорию. Google считает ошибкой + видео в этом пункте).

Мне стало интересна актуальная позиция Яндекса и будут ли известны индексирующему роботу ссылки на товары, если используется не тег rel canonical, а тег meta name robots со значением noindex, follow? Ответ от службы поддержки ниже:

Если страницы будут ограничены при помощи мета-тега noindex, follow, то робот сможет получать данные о ссылках на таких запрещенных документах.

Что же касается наших рекомендаций, в целом мы рекомендуем оценить, могут ли быть полезны такие страницы пользователям и смогут ли они появиться в поиске по релевантным запросам. Если документы по таким адресам содержат контент, который может быть полезен, то, возможно, такие страницы не стоит ограничивать, а оставить доступными для поискового робота. Если же нет, а содержимое данных страниц уже представлено в поиске на других документах, вы можете ограничить их индексирование при помощи атрибута rel="canonical", либо мета-тег noindex.

2. Ставьте canonical на страницу со всем ассортиментом. Это крайне неуниверсальный метод. Для сайтов с большой номенклатурой страницы будут очень сильно грузиться. В меню тоже не дашь такую ссылку посетителю. Дополнительно получится большое количество внутренних ссылок на неканонические документы.

3. Не ставить canonical на страницу со всем ассортиментом .

Итоговый совет от Яндекса — делайте, как хотите . Собственно, на beru.ru (маркетплейс Яндекса и Сбербанка) есть и canonical и meta name robots, и rel prev/next (прошу прощение за "масштаб").

В Яндекс.Маркете есть canonical и meta name robots (правда, не уверен, что они обрабатываются - выводятся не классическим методом: через функцию или скрипт).

Вероятно, ассортимент должен быть во всем. Методы запрета индексирования — не исключение .

Позиция Google

1. В справке, которая сейчас недоступна первым пунктом был как раз совет Яндекса (по типу Google сам разберется).
2. Canonical на страницу с общим ассортиментом.

Здесь Google полностью солидарен с Яндексом — никакого конкретного совета.

С сервисами Гугла найти страницы пагинации было намного сложнее: в основном на них используется "бесконечная прокрутка" без смены URL. Но одну систему с нумерацией страниц я нашел — форум поддержки.

Форум разбивается на продукты: Chrome, Android, Вебмастеры и так далее. В каждом продукте есть сообщество с категориями. Так вот с пагинации стоит, там-та-ра-рам, canonical на общий листинг тем по продукту (в сообществе).

Ай-яй-яй, а говорят, ошибка-ошибка . Из-за этого canonical в индексе только сами топики и главная страница сообщества, без каких-либо разделов, категорий и страниц со всеми топиками (пример ниже на разных языках).

Обновление. Кстати, Google с августа 2021 года в метатеге robots больше не поддерживает директиву follow.

Как делают крупные агрегаторы/справочники?

У них, как ни у кого, большая база продуктов и вопрос индексации пагинации стоит остро. Ниже таблица по 10 крупным русскоязычным справочникам и их методы.

Все кроме blizko.ru закрывают пагинацию в основном с помощью canonical — подстраиваются под Яндекс. И это правильно, агрегаторы и справочники любит больше именно он .

А что по интернет-магазинам?

Ой, а тут у всех единое мнение.

Как поступать в итоге и что буду делать я?

Поисковые системы не дают четких рекомендаций, вебмастера и SEO-сообщество в разногласиях. Меня еще никто так и не переубедил не закрывать пагинацию. Может быть, это сделаете вы в комментариях ?

Единственное, на некоторых проектах я попробую вместо meta name robots noindex follow использовать canonical. На паре — попробую в принципе открыть ее. Посмотрю, что из этого выйдет. Если результаты будут интересными, то опубликую их в блоге.

Как, на мой взгляд, поступать оптимально? Сначала анализируйте ТОП 5-10 своих самых крупных конкурентов. Смотрите, как настроено у них. Делаете также. Но не забывайте "Что дозволено Юпитеру, не дозволено быку" .

Советы по закрытию с помощью canonical:

1. Не закрывайте пагинацию в robots.txt.
2. Ставьте абсолютный URL на главную страницу категории/раздела.

Рекомендации, если будете оставлять открытой:

1. В случае наличия описания у категории, убирайте его со страниц пагинации.
2. Уникализируйте Title и Description. Можно просто в конце добавить, например, "Страница 2".
3. Ставьте 301-редирект с первого документа пагинации на главную категорию.

"Пустяковый" момент, а снова больше чем на 7 страниц А4. Жду ваши отзывы, комментарии и вопросы !