Нужно ли закрывать пагинацию от индексации? Часть №2 — универсального ответа нет!

Тема настолько популярная и противоречивая, что к моему относительно недавнему посту публикую новый. Надеюсь, что совместными силами нам удастся добиться оптимального результата. Ни Яндекс, ни Google, ни SEO-сообщество не дает однозначных ответов.

пагинация

Почему тот же вопрос?

Буквально год назад я был уверен в том, что в индексе пагинация не нужна. Теперь уверен не на 100%. Но и ее индексация вызывает много противоречий. Добавляем сюда советы от разных поисковых систем (Яндекс и Google) и получаем полный SEO-коктейль :smile:. Ниже все, что накопилось у меня на этот счет. Возможно, вместе докопаемся до истины ;-).

Началось все с того, что несколько месяцев назад у довольно авторитетного SEO-специалиста я увидел мнение противоположное моему — "Пагинацию закрывать не нужно". Продолжилось тем, что Google официально заявил, что rel="next" и rel="prev" больше не учитываются.

Подумал, что нужно спросить мнение у других. Сначала создал опрос в твиттере, потом в блоге. Получил следующие результаты.

опрос в твиттере

опрос в блоге

Оказывается, незакрывающих больше, чем закрывающих. Давайте, переубедите меня, почему не закрывать лучше, чем закрывать :smile:. Просьба проголосовать в опросе тех, кто это еще не сделал.

Закрывать ли пагинацию в интернет-магазинах от индексации?

Загрузка ... Загрузка ...

Почему стоит закрыть?

Мои доводы в пользу закрытия:

  1. Посетители попадают всегда на главную страницу категории. Как правило, на ней отображен подготовленный ассортимент (именно его видит посетитель при переходе из меню). Какой ассортимент отобразится пользователю на 6 или 10 странице пагинации (мой опыт показывает, что это не редкость)? Может быть, он и вовсе попадет на товары, которых нет в наличии.
  2. Постоянно меняющиеся целевые страницы. Алгоритмам поисковых систем сегодня понравилась главная категория, завтра 4 страница, послезавтра 10 (при отсутствии дополнительного контента на главной странице раздела отличия документов незначительные). На мой взгляд, периодически "пляшущие" посадочные это не очень хорошо.
  3. В индексе образуется большое количество некачественных документов. Во-первых, это статус "Некачественная страница" в Яндекс.Вебмастере. Во-вторых, в Google существует практика, когда при удалении из индекса низкокачественных документов, не приносящих трафика, общая поисковая посещаемость ресурса подрастала.

Почему стоит открыть?

Открытая пагинация мне импонирует по 2 пунктам (первый больше всего):

1. Поисковая система может определить глубину ассортимента (используется в качестве коммерческого фактора ранжирования). И снова "Я спросил у Яндекса". Мой вопрос:

Подскажите, пожалуйста, в случае использования с пагинации rel="canonical" на первую страницу категории или конструкцию meta name robots noindex, follow будет ли поисковый алгоритм Яндекса видеть весь ассортимент раздела?

Например, в разделе "Шины" представлено 100 товаров, которые разделены на 10 страниц пагинации (включая первую). В случае использования rel="canonical" на первую страницу категории или конструкцию meta name robots noindex, follow будет ли алгоритм "видеть" то, что ассортимент состоит из 100 товаров, а не только из 10?

Ответ:

Если документы будут запрещены к индексированию, то робот не сможет загрузить в поисковую базу данные о том, какой именно контент они содержат, он только сможет перейти по ссылкам с этой страницы.

Если страницы содержат какой-то контент, который должен быть проиндексирован и загружен в базу поиска, который вы считаете полезным и нужным для пользователей, возможно, такие документы не стоит ограничивать к индексированию, чтобы у пользователей поисковой системы также была возможность обнаружить их по соответствующим запросам.

Действительно, могут быть проблемы с ассортиментом при закрытой пагинации.

2. Если в качестве целевой поисковая система выбрала "нумерованный документ", то это может свидетельствовать о фильтрах на главную страницу категории (например, постраничный Баден-Баден). Но это не точно :smile:. Как диагностировать фильтр, если никакого дополнительно текста нет, а с Title, Description и h1 все в порядке? Вопрос остается открытым.

Позиция Яндекса

Вроде поисковая система — точная математическая формула, а точного решения нет:

1. Ставьте canonical на основную категорию. Google считает ошибкой + видео в этом пункте).

использование canonical в яндексе

Мне стало интересна актуальная позиция Яндекса и будут ли известны индексирующему роботу ссылки на товары, если используется не тег rel canonical, а тег meta name robots со значением noindex, follow? Ответ от службы поддержки ниже:

Если страницы будут ограничены при помощи мета-тега noindex, follow, то робот сможет получать данные о ссылках на таких запрещенных документах.

Что же касается наших рекомендаций, в целом мы рекомендуем оценить, могут ли быть полезны такие страницы пользователям и смогут ли они появиться в поиске по релевантным запросам. Если документы по таким адресам содержат контент, который может быть полезен, то, возможно, такие страницы не стоит ограничивать, а оставить доступными для поискового робота. Если же нет, а содержимое данных страниц уже представлено в поиске на других документах, вы можете ограничить их индексирование при помощи атрибута rel="canonical", либо мета-тег noindex.

2. Ставьте canonical на страницу со всем ассортиментом. Это крайне неуниверсальный метод. Для сайтов с большой номенклатурой страницы будут очень сильно грузиться. В меню тоже не дашь такую ссылку посетителю. Дополнительно получится большое количество внутренних ссылок на неканонические документы.

каноникал на общую страницу

3. Не ставить canonical на страницу со всем ассортиментом :smile:.

canonical можно и не ставить

Итоговый совет от Яндекса — делайте, как хотите :smile:. Собственно, на beru.ru (маркетплейс Яндекса и Сбербанка) есть и canonical и meta name robots, и rel prev/next (прошу прощение за "масштаб").

В Яндекс.Маркете есть canonical и meta name robots (правда, не уверен, что они обрабатываются - выводятся не классическим методом: через функцию или скрипт).

Вероятно, ассортимент должен быть во всем. Методы запрета индексирования — не исключение :smile:.

Позиция Google

  1. В справке, которая сейчас недоступна первым пунктом был как раз совет Яндекса (по типу Google сам разберется).
  2. Canonical на страницу с общим ассортиментом.

Здесь Google полностью солидарен с Яндексом — никакого конкретного совета.

С сервисами Гугла найти страницы пагинации было намного сложнее: в основном на них используется "бесконечная прокрутка" без смены URL. Но одну систему с нумерацией страниц я нашел — форум поддержки.

Форум разбивается на продукты: Chrome, Android, Вебмастеры и так далее. В каждом продукте есть сообщество с категориями. Так вот с пагинации стоит, там-та-ра-рам, canonical на общий листинг тем по продукту (в сообществе).

каноникал в гугле

Ай-яй-яй, а говорят, ошибка-ошибка :smile:. Из-за этого canonical в индексе только сами топики и главная страница сообщества, без каких-либо разделов, категорий и страниц со всеми топиками (пример ниже на разных языках).

Как делают крупные агрегаторы/справочники?

У них, как ни у кого, большая база продуктов и вопрос индексации пагинации стоит остро. Ниже таблица по 10 крупным русскоязычным справочникам и их методы.

Сайт Что используют
Flamp.ru Каноникал на главную категорию
Zoon.ru Бесконечная прокрутка без смены URL
Spr.ru Нет пагинации за счет углубленной разбивки по геолокациям
Spravker.ru Каноникал на относительный URL, что является ошибкой (в качестве каноникал необходимо указывать абсолютный URL)
Yell.ru Каноникал на главную категорию
Pulscen.ru Каноникал на главную категорию
Blizko.ru Каноникал на страницу пагинации + prev/next, в robots.txt запрета нет (зато есть директива host =) ). В Title добавляется номер страницы, description дублируется.
Price.ru Каноникал на главную категорию + prev/next.
Regmarkets.ru Каноникал на страницу пагинации, но meta name noindex nofollow.
Satom.ru Каноникал на главную категорию + prev/next

Все кроме blizko.ru закрывают пагинацию в основном с помощью canonical — подстраиваются под Яндекс. И это правильно, агрегаторы и справочники любит больше именно он :smile:.

А что по интернет-магазинам?

Сайт Что используют
Wildberries.ru Canonical на главную раздела
Lamoda.ru Canonical на главную раздела
Citilink.ru Canonical на главную раздела
Mvideo.ru Canonical на главную раздела
Eldorado.ru Canonical на главную раздела
Dns-shop.ru Canonical на главную раздела

Ой, а тут у всех единое мнение.

Как поступать в итоге и что буду делать я?

Поисковые системы не дают четких рекомендаций, вебмастера и SEO-сообщество в разногласиях. Меня еще никто так и не переубедил не закрывать пагинацию. Может быть, это сделаете вы в комментариях ;-)?

Единственное, на некоторых проектах я попробую вместо meta name robots noindex follow использовать canonical. На паре — попробую в принципе открыть ее. Посмотрю, что из этого выйдет. Если результаты будут интересными, то опубликую их в блоге.

Как, на мой взгляд, поступать оптимально? Сначала анализируйте ТОП 5-10 своих самых крупных конкурентов. Смотрите, как настроено у них. Делаете также. Но не забывайте "Что дозволено Юпитеру, не дозволено быку" :smile:.

Советы по закрытию с помощью canonical:

  1. Не закрывайте пагинацию в robots.txt.
  2. Ставьте абсолютный URL на главную страницу категории/раздела.

Рекомендации, если будете оставлять открытой:

  1. В случае наличия описания у категории, убирайте его со страниц пагинации.
  2. Уникализируйте Title и Description. Можно просто в конце добавить, например, "Страница 2".
  3. Ставьте 301-редирект с первого документа пагинации на главную категорию.

"Пустяковый" момент, а снова больше чем на 7 страниц А4. Жду ваши отзывы, комментарии и вопросы ;-)!

Рейтинг
1 звезда2 звезды3 звезды4 звезды5 звезд (10 голос., в среднем: 4,60 из 5)
Загрузка...
Аудит сайта

Найду причины, мешающие продвижению сайта. Подготовлю рекомендации, которые позволят увеличить трафик и конверсию. Составлю стратегию развития. Помогу с внедрением.

От 9900 руб.
Продвижение

Комплексное развитие проектов по актуальным направлениям в SEO. Используются методики, имеющие стабильный долгосрочный эффект (без накруток и спама).

От 20000 руб.
Консультации

Консультирую по вопросам поисковой оптимизации, продвижения сайтов. Лучший способ узнать мое подробное мнение по волнующей задаче/проблеме. Конкретные ответы на конкретные вопросы.

От 3000 руб.
Отзывов уже 19:
Написать комментарий
  1. 1. sven-top

    Как по мне по коммерческим запросам с ассортиментом не закрывать, а на информационных запросах, эти страницы не нужны, есть XML карта сайта, где поисковики найдут нужную статью.

    • 2. Sosnovskij

      У интернет-магазинов тоже есть свои XML-карты :)

  2. 3. seoonly.ru

    Я закрываю)) все ок

  3. 4. Эмиль

    Как сказал оратор выше, для коммерции — не закрывать. Для инофрмационки, лучше закрыть.
    Для коммерции нужно показывать роботу всю товарную матрицу, чтобы дать понять о важности раздела. Вы можете закрыть пагинацию, но тогда Яндекс не сможет достаточно хорошо выстроить связь между определенными товарами и определенными категориями. Чем больше качественных товаров в категории, тем значит категория более значимая. По опыту своего интернет магазина говорю. Еще из-за открытой пагинации канибализируют страницы категорий между собой, что не может привести к положительном эффекту. Мое мнение.

    • 5. Eugene

      «Яндекс не сможет достаточно хорошо выстроить связь между определенными товарами и определенными категориями» — на что тогда хлебные крошки?

      Понятно, что товар может быть присвоен нескольким категориям, но тогда, возможно есть смысл выводить эти категории в карточках, чтобы развесовку нормальную сделать

      «Еще из-за открытой пагинации канибализируют страницы категорий между собой, что не может привести к положительном эффекту» — так все-таки закрывать или нет?

      Лично я придерживаюсь мнения, что для коммерции лучше закрывать. Не нужно уповать на то, что алгоритм корректно обработает релевантную страницу. Лучше сразу показать, что вот эту страницу нужно ранжировать.

  4. 6. Илья

    В днсе и вайлдберисе при этом пагинация закрыта в роботсе… А, например, 220 вольт закрыли пагинацию только для мобильного гугла. В общем, все следуют рекомендациям поисковиков — кто во что горазд.

    • 7. Sosnovskij

      Вот и я про тоже :)

  5. 8. Ахмад

    Почему не блокировать индекс пагинации в роботс.тхт? Чем это грозит?

    • 9. Sosnovskij

      Запрет в robots.txt плохо отрабатывает Google. Для него лучше canonical или meta name robots. Также запрет в роботсе может ухудшить индексацию карточек товаров.

  6. 10. Алик

    Есть мысли продвигать страницы пагинации под разные запросы.
    Закрывать от индекса в интернет-магазине не стоит однозначно, максимум canonical

    • 11. Андрей WPM

      Если контент регулярно пополняется на сайте (статьи, товары), то продвигать страницы пагинации под запросы физически не получится. Это динамические страницы, они не способны отвечать постоянно на один и тот же запрос.

      Закрывать от индекса считаю бредом, как для контентников, так и для коммерции. Каноникал вполне нормально справляется со своими обязанностями, так что ноуиндекс считаю уже критической ошибкой.

    • 12. Sosnovskij

      Как продвигать под разные запросы? Видел всего несколько примеров и то с автоматическим спамом в пагинации.

      А с каноникал страницы разве индексируются? :)

  7. 13. Антон Шабан

    Собственно в ответе Яндекса нет ничего о неучете ассортимента. Ассортимент можно без проблем оценить и без пагинации, товары-то есть в индексе. Много сайтов, к примеру, с бесконечным скроллом (а кстати Гугл теперь тоже за это топит) — там уж тем более Яндекс не видит то, что подгружается Аяксом. И ничего, ранжируются.
    В общем, мысль о том, что Яндекс оценивает ассортимент ТОЛЬКО по наличию карточек на страницах пагинации мне кажется неверной.

    • 14. Sosnovskij

      Да, также заметил, что в Google практически везде подгрузка без смены URL. В Яндекс.блогах также, кстати.
      Я не утверждаю, что ассортимент определяется только по страницам пагинации. Это предположение. Возможно, как один из факторов, а может и вообще не используется. :)

  8. 15. dimka1109

    Очевидно, что закрывать от индексации канониклом. Куча дублей создает она. Много аудитов делал, где это реально большая проблема у сайтов была. Ну и краул лимит тоже на забывайте)

  9. 16. Андрей WPM

    Сереж, мне кажется слово «закрывать» тут очень размытое. Для меня к примеру, закрывать значит тег ноуиндекс — ноуфолоу. Но в контексте вижу что понятие «закрывать» и к каноникалу ты относишь. Каноникал не закрывает, а перенаправляет «важность», «вес», при этом всё остальное индексируется. Может это я просто, так прочитал…

    • 17. Sosnovskij

      Использование canonical также исключает страницы из выдаче — закрывает ее. Тут как не называй — результат один и тот же :)

  10. 18. Sosnovskij

    Все, кто за использование каноникал, как вам позиция Google о том, что это ошибка?

  11. 19. Сергей

    Ответ на Ваши три «нет»
    1. Посетитель всегда попадает на релевантную своему запросу страницу. Отдайте релевантность определять поисковой системе, если пользователь попадает на нерелевантную страницу — то Вы зашли не с той стороны. Дело в этом случае не в пагинации, а в том, что Вы оптимизировали таким образом, что релевантной страницей для запроса может быть отличной от той которая должна быть )
    2. Постоянно меняющиеся целевые страницы — см. пункт первый — по какой-то причине релевантность меняется. Кстати по этой же причине может происходить каннибализация запросов
    3. В Ваших силах сделать мусорные страницы полезными. К примеру, по опыту с прошлой работы — можно разные страницы точить под разные регионы (упоминание топонимов), можно под разные запросы схожие и т.д.

Добавить комментарий

 

* Нажимая на кнопку "Добавить комментарий" я соглашаюсь с Политикой конфиденциальности.