Profitner - Personal Payday Loans Affiliate Program

Страницы пагинации: закрывать или не закрывать от индексации? Популярные ошибки, мифы и заблуждения

Закрывать или не закрывать страницы пагинации? Вот в чем вопрос! Столько мифов и заблуждений вокруг индексации листинга товаров, что даже опытные оптимизаторы и seo-студии начинают путаться. Давайте окончательно разберемся, стоит ли запрещать индексировать пагинацию? Если да, то как?

пример блока пагинации

Для тех, кто в танке :smile:.

Страницы пагинации (или листинга) — это навигационный элемент сайта, разбивающий большой объем контента на более мелкие части. Так, например, в категории интернет-магазина аккуратно и быстро показываются 20-30 товаров вместо всех 3564 штук. Или в блоге симпатично выводится 7-10 постов раздела вместо всех мыслей автора за последнюю дюжину лет.

Главная задача блока — облегчить и ускорить навигацию посетителя на сайте. Естественно, такой элемент есть и в моем блоге. Он же присутствует практически на каждом сайте. Именно поэтому вопрос носит массовый характер.

пример

Сегодня я буду говорить про Рунет, где оптимизаторам приходится налаживать отношения не только с "отечественным зеркалом" (Яндексом), но и зарубежным big brother (Гуглом). В примеры буду ставить интернет-магазины, но правила также справедливы и для всех остальных типов ресурсов.

Проблема в том, что до сих пор нет универсального правила, которое бы отражало волю поисковых систем и решала задачи по SEO. Чтобы прийти к решению, которое устраивало бы всех, нужно ухищряться и прибегать к здравому смыслу. Забегу немного вперед — одно из них, на самом деле, очень простое ;-).

Что рекомендует Яндекс?

Платон в своем посте (пункт №2) советует ставить атрибут rel="canonical" со всех страниц пагинации на первую.

...советую настраивать атрибут rel="canonical" тега <link> на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими, а в качестве канонического (главного) адреса указывать первую страницу каталога, только она будет участвовать в результатах поиска.

Особенности:

  1. Карточки товаров будут индексироваться как обычно.
  2. Предотвращает возможное дублирование.
  3. Помогает поисковику определить корректную посадочную страницу.
  4. Для Яндекса rel="canonical" не является строгой директивой. По опыту могу судить, что Яндекс иногда не учитывает или пропускает указания каноникала.
  5. rel="canonical" позволяет передать на основную страницу "некоторые показатели неканонических адресов".
  6. В комментариях Платон ответил, что оказывается можно ссылаться не на первую страницу пагинации, а на документ со всем количеством товаров (если таковой имеется). Возникает вопрос - почему эту информацию не вывели в содержание записи?
  7. В марте 2018 года Платон ответил в комментариях фразой "Если страницы со всеми товарами нет, на страницах пагинации атрибут rel="canonical" можно не устанавливать". :lol: Ставьте каноникал на первую страницу. Хотя нет, на документ с общим ассортимент. Но если его нет, то вообще не ставьте. Так, ставить или не ставить, и куда? :twisted:.

...в то время как атрибут rel="canonical" указывает на каноническую страницу и позволяет передавать ей некоторые показатели неканонических адресов (источник - все тот же пост).

Вы правы, момент с наличием страницы, на которой собран весь товар раздела, я упустил. Если такая страница присутствует на сайте, действительно, лучше указывать в качестве канонической именно её (источник - комментарии к посту).

Робот считает ссылку с атрибутом rel="canonical" не строгой директивой, а предлагаемым вариантом, который учитывается, но может быть проигнорирован (источник).

Получается, что идеальный вариант для Яндекса — rel="canonical" на отдельную страницу со всем ассортиментом продукции категории. Почему это не подходит для большинства сайтов?

canonical на общий документ

  • Во-первых, на многих сайтах нет подобного функционала.
  • Во-вторых, такая страница должна быть основным документом категории и быть прописана в меню. Иначе ее внутренний вес будет минимальным. Или ставить дополнительно rel="canonical" со стандартной категории на документ со всем ассортиментом раздела. Сюда же ее оптимизация: Title, Description, h1. На мой взгляд, много сомнительных манипуляций. Непонятно, как на это еще отреагируют поисковые системы.
  • В-третьих, самое главное — теряется значение пагинации: посетители с поисковиков будут переходить на большую страницу с общим ассортиментом.
  • В-четвертых, документ будет "тяжелее". От этого будет страдать скорость загрузки, которая, в свою очередь, влияет на ранжирование. Получается, ловим одно, но топим другое :smile:.

Как велит поступать Google?

Гугл с присущей ему демократичностью дает больше вариантов:

  1. Оставить как есть. Гениальный совет — распечатать и поставить на полку к "Развивайте сайт" :smile:.
  2. Добавить страницу "Показать все". Аналог идеального решения Яндекса, но которое не вяжется с реальным положением дел.
  3. Использовать атрибуты rel="next" и rel="prev". Они указывают связь между документами пагинации (подробнее по ссылке выше). Удобно, но есть одно "но" — атрибуты не поддерживаются Яндексом.

Важно! Google считает вариант Яндекса с rel="canonical" на первую страницу категории ошибкой. Подтверждение тому видео (начинает показываться с нужного момента).

Закрывать или не закрывать?

Мнение Яндекса — закрывать (из комментариев к той же записи):

Для пользователей сайта, несомненно, страницы пагинации нужны, но посетителям сайта из поисковой выдачи удобнее попадать сразу в начало каталога - как раз на первую страницу, поэтому я советую оставлять для робота только её.

Мнение Google - не закрывать. Либо поисковик сам разберется, что лучше держать в индексе и ранжировать, либо создайте для него отдельную страницу, либо добавьте атрибуты rel="next" и rel="prev".

Основной вывод один — я бы крайне не советовал оставлять все на волю поисковых систем. Приведу несколько причин:

  1. Мигающая индексация. Яндекс любит, то добавлять пагинацию в индекс, то исключать (статус "некачественная страница").
  2. Постоянно меняются посадочные в связи со схожей релевантностью и пунктом №1. Посетители из ПС постоянно попадают на разные документы. В поисковой выдаче они конкурируют с основной категорией (особенно если на ней нет дополнительного контента).
  3. Пользователи не попадают на нужный набор товаров. Например, вы сделали наиболее привлекательную сортировку. В начале листинга показываются товары в наличие или по скидке, но потенциальный клиент может попасть на любую из страниц пагинации с распроданным ассортиментом.

Простой способ для новичков

Итак, что же делать в итоге? Самый простой вариант, который подойдет для большинства сайтов в Рунете — добавить на страницы листинга в рамках тега head строчку:

<meta name="robots" content="noindex, follow" />

Поисковые роботы не будут индексировать пагинацию - noindex, но будут следовать по ссылкам на ней - follow (например, чтобы лучше индексировать карточки товаров).

Все :smile:! Единственное "но". Джон Мюллер из Google в конце прошлого года в видео-встрече с вебмастерами сообщил, что со временем noindex follow алгоритмами могут восприниматься как noindex nofollow. Когда же это случается - осталось тайной.

Продвинутый метод для профессионалов

Если вы профессионально занимаетесь продвижение сайтов, то должны знать не только подходящий для большинства сайтов вариант, но еще и самый подходящий ;-).

Схема тоже довольно простая, но, как правило, требующая доработки CMS:

  1. Запрещаем индексацию пагинации только для робота Яндекса — в тег head добавляем <meta name="yandex" content="noindex, follow" />. Уверен, что скоро отечественный поисковик также начнет понимать rel="next" и rel="prev" (как это было с rel="canonical", 301-редиректом вместо директивы host и т.д.). В таком случае потом просто убрать строчку.
  2. Используем атрибуты rel="next" и rel="prev" для Google. Но важно знать, что поисковая система понимает их как вспомогательный сигнал, а не правило.
  3. Так как пагинация в гугле все же будет индексироваться, то для них нужно прописать уникальные Title (например, просто добавив к каждой "Страница №" или "Часть №"), Description и по желанию h1 (можно аналогично тегу Title).

Ничего сложно, но необходимо немного поработать над сайтом.

Популярные ошибки

А теперь несколько распространенных ошибок, которые нередко мешают продвижению:

  1. Запрет индексации пагинации в robots.txt. Так делать неправильно. Во-первых, может пострадать индексация карточек товаров. Во-вторых, Google не особо любит правила в этом файле.
  2. Дубли дополнительного контента на странице основной категории и листинга. Например, вы написали текст на продвигаемый раздел, а он также показывается на всех документах пагинации. Если она закрыта к индексированию, то еще ничего страшного, но если открыта, то получаются внутренние дубли.
  3. Первая страница листинга доступна по адресу https://site.ru/nazvanie-categorii/page-1 и дублирует содержание основного документа категории https://site.ru/nazvanie-categorii/ . Нужен 301-редирект.
  4. Добавление пагинации в sitemap. Делать такое не нужно. Не настолько это важные документы, несмотря на то, что они могут быть открыты для Гугла.
  5. Одинаковые теги Title (опционально description). Даже если листинг запретили индексировать, то по-хорошему к тайтлам необходимо добавить номер страницы (его все-таки видит посетитель).
  6. Все оставить на усмотрение поисковой системы (не запрещать индексировать). Выше написал, почему это может быть плохо. Потенциальное увеличение статического веса карточек товаров не перекроет проблем с дублями и мигающей индексацией. Некоторые даже советуют оптимизировать документы листинга под разные запросы и писать на каждую свой уникальный текст. Если вам нечем заняться и все задачи по сайту выполнены, то можете поэкспериментировать в данном направлении. Но зачастую это сомнительное и неэффективное мероприятие с элементами манипуляции над поисковой выдачей (спамом).

Пагинация через Javascript и "бесконечная" прокрутка

Есть и такой вариант вывода дополнительных карточек товаров - через javascript. Это либо динамическая "бесконечная прокрутка" (новые товары автоматически появляются сразу, как только посетитель прокручивает до конца списка), либо кнопка "Показать еще".

"бесконечный" листинг - показать еще

Главный плюс — нет проблем с пагинацией. Ее, по сути, просто нет. Главный минус - возможные проблемы с индексацией карточек товаров. Также у поисковой системы пропадает возможность оценить широту ассортимента категории, а это один из коммерческих факторов ранжирования.

Если у вас товары выводятся с помощью javascript, то Яндекс советует следующее:

Часто вместо пагинации сайты используют динамическую прокрутку, когда для посетителя, пролиставшего каталог до определённого момента, с помощью JavaScripts загружаются другие товары в данной категории. В такой ситуации необходимо проследить, чтобы весь контент таких страниц отдавался индексирующему роботу, либо чтобы роботу становилась доступна статическая пагинация товаров.

Здесь 2 варианта:

  1. К динамической прокрутке добавлять обычную систему пагинации и действовать по общему алгоритму. Советую этот пункт.
  2. Следить за объемом карточек товаров в sitemap.xml и перелинковкой, чтобы страницы продуктов индексировались максимально полно. Совет полезен и для всех остальных сайтов :smile:.

Тема вроде узкая, а получилась на 10.000 символов. Много нюансов, которыми нельзя пренебрегать.

А к чему склоняетесь вы? Закрываете ли пагинацию? Если да, то как? С нетерпением жду ваши отзывы и буду рад вопросам в комментариях ;-).

Рейтинг
1 звезда2 звезды3 звезды4 звезды5 звезд (8 голос., в среднем: 5,00 из 5)
Загрузка...
Отзывов уже 22:
Написать комментарий
  1. 1. Сергей

    Сергей, подскажи. Можно ли вместо meta name robots использовать серверный запрет в X-Robots-Tag?

  2. 2. Calculon

    Каноникал на первую страницу+rel next/prev отлично работают

  3. 3. seoonly.ru

    Спасибо!

  4. 4. Sosnovskij

    Сергей, можно, но под формат noindex follow не уверен, что подходит. Везде, где видел разрешенные директивы для X-Robots-Tag не было FOLLOW. Вероятно, если стоит NOINDEX, то поисковый бот в принципе не будет сканировать документ, а значит не пойдет по ссылкам.
    seoonly.ru, для тебя всегда, пожалуйста :)

  5. 5. Sosnovskij

    Calculon, если ставится canonical, то зачем тогда указывать next prev?

  6. 6. Сергей

    Sosnovskij, спасибо. Да, может быть так и есть.
    По поводу вопроса к Calculon. Гуг здесь пишет support.google.com/webmasters/answer/1663744?hl=ru что rel=»next» «prev» совместимы с rel=»canonical».

  7. 7. Егор

    После обновления wordpress в этом месяце перестала работать бесконечная прокрутка страниц. Нажимаешь на кнопку «загрузить ещё» и ничего не происходит.
    При проверке сайта через Xenu страницы категорий типа site/category/page2 выделяются красным «server error»

    Вообще обновление в августе получилось глючное. Перестали работать таблицы tablepress. Не знаю что делать.

  8. 8. Calculon

    Sosnovskij, ? prev next указывают на предыдущую и следующую страницу в пагинации, каноникал же указывает на каноническую (на первую)

  9. 9. Денди

    Sosnovskij, Спасибо большое за статью.

    Но что с поведенческими факторами? Если закрыть пагинацию через , поведенческие факторы не учитываются?

    Если пользователь перейдет на /page/2 через пагинацию — робот посчитает, что пользователь закрыл сайт?

    Пока юзаю инструкцию Гугла. С Prev/Next, Canonical на себя, все открыто для индексации. Проблем пока нет.

    И для информационных сайтов — лучше всего делать асинхронную подгрузку без пагинации? Там не тысячи товаров, как в магазинах..

    Надеюсь на ответы. Еще раз спасибо за статью!

  10. 10. m.marketologoff

    Где то я уже это читал… а точно у них)
    1ps.ru/blog/dirs/2018/texnicheskaya-optimizacziya-stranicz-paginaczii/
    seoprofy.ua/blog/optimizaciya-sajtov/pagination-for-seo

  11. 11. Sosnovskij

    Сергей, что-то мне подсказывает, что каноникал имеется сам на себя. То есть там ошибка: не prev, а next. Нужно уточнить этот момент.
    Егор, обычно если баги массовые, то в ближайшем обновлении должны исправить. Пока же можно продублировать динамическую пагинацию стандартной статической. По tablepress, скорее всего, нужно узнавать у разработчиков. Либо опять же ждать обновления (может быть не самого WP, а плагина).
    Calculon, это я понимаю. Вопрос в целесообразности. Не логичное применение получается.
    Денди,
    1. код «съелся». Укажите, пожалуйста, его образно :)
    2. Нет.
    3. Не обязательно. На информационниках страницы категорий не так важны. Они в основном трафик не собирают.
    m.marketologoff, спасибо за ссылки, но, к сожалению, оптимального способа на них нет.

  12. 12. Sosnovskij

    Calculon, Сергей, ответили на google форуме productforums.google.com/forum/#!topic/webmaster-ru/MsGphscxM3c;context-place=forum/webmaster-ru . Как я и предполагал — у них там ошибка. Canonical можно только на саму страницу + prev/next.

  13. 13. Елена Калинина

    Спасибо за полезную информацию. Я веду свой блог и для меня это очень важно.

  14. 14. Борис

    Здравствуйте!
    У меня вопрос по динамической прокрутке.
    Вы пишите, цитирую:

    «К динамической прокрутке добавлять обычную систему пагинации и действовать по общему алгоритму. Советую этот пункт.»

    Я хочу реализовать динамическую прокрутку вместе с пагинацией так, как это сделано на Яндекс.Маркете: market.yandex.ru/catalog/55324/list?hid=191211&onstock=1&local-offers-first=0

    Когда пользователь кликает по номеру страницы, страница не перезагружается, список товаров меняется и обновляется URL страницы. Не будет ли ошибкой SEO, если я не буду менять URL? Т.е. пользователь останется на странице, в урле ничего не меняется, список товаров поменяется в зависимости от фильтров и/или пагинации. При этом, если открыть URL типа site.com/products/?page=2 будут доступен соответствующий листинг товаров. И сами ссылки в пагинации тоже будут вести на ?page=2,3 и т.д., но повторюсь, при клике на них пользователь останется на главной странице категории и URL не поменяется.

  15. 15. Sosnovskij

    Борис, ничего страшного не вижу в этом, если страницы пагинации будут стандартно доступны для поисковых роботов.

  16. 16. Борис

    Sosnovskij, спасибо за ответ! Да, ссылки пагинации будут доступны для роботов, но если включен js, то перехода по ссылке не будет.

  17. 17. Sosnovskij

    Борис, обычно js у поисковых роботов не включен :)

  18. 18. Борис

    Sosnovskij, так-то оно так, но ведь для анализа сайта поисковики используют JS, взять тот же PageInsights, например.

  19. 19. Борис

    В разделе «Продвинутый метод для профессионалов» вы пишите:

    «Так как пагинация в гугле все же будет индексироваться, то для них нужно прописать уникальные Title (например, просто добавив к каждой «Страница №» или «Часть №»), Description и по желанию h1 (можно аналогично тегу Title).»

    Стоит ли в таком случае убирать дублирующийся контент (SEO-текст) на страницах пагинации?

  20. 20. Борис

    И всё-таки, нужно ли ставить canonical со страницы пагинации на главную страницу категории?

  21. 21. Sosnovskij

    Борис, тогда, чтобы быть уверенным, что все будет ок делайте как на Яндекс.Маркете :)
    Борис, это делается по-умолчанию. Контент только на главной странице категории.
    Борис, нет.

  22. 22. Борис

    Sosnovskij, понял, спасибо! Я посмотрел видео, которое вы указали в статье по поводу Canonical, там получается что canonical не надо указывать вообще, даже на главной странице категории.

Добавить комментарий

* Нажимая на кнопку "Добавить комментарий" я соглашаюсь с Политикой конфиденциальности.

css.php