Страницы пагинации: закрывать или не закрывать от индексации? Популярные ошибки, мифы и заблуждения

Закрывать или не закрывать страницы пагинации? Вот в чем вопрос! Столько мифов и заблуждений вокруг индексации листинга товаров, что даже опытные оптимизаторы и seo-студии начинают путаться. Давайте окончательно разберемся, стоит ли запрещать индексировать пагинацию? Если да, то как?

Для тех, кто в танке .

Страницы пагинации (или листинга) — это навигационный элемент сайта, разбивающий большой объем контента на более мелкие части. Так, например, в категории интернет-магазина аккуратно и быстро показываются 20-30 товаров вместо всех 3564 штук. Или в блоге симпатично выводится 7-10 постов раздела вместо всех мыслей автора за последнюю дюжину лет.

Главная задача блока — облегчить и ускорить навигацию посетителя на сайте. Естественно, такой элемент есть и в моем блоге. Он же присутствует практически на каждом сайте. Именно поэтому вопрос носит массовый характер.

Сегодня я буду говорить про Рунет, где оптимизаторам приходится налаживать отношения не только с "отечественным зеркалом" (Яндексом), но и зарубежным big brother (Гуглом). В примеры буду ставить интернет-магазины, но правила также справедливы и для всех остальных типов ресурсов.

Проблема в том, что до сих пор нет универсального правила, которое бы отражало волю поисковых систем и решала задачи по SEO. Чтобы прийти к решению, которое устраивало бы всех, нужно ухищряться и прибегать к здравому смыслу. Забегу немного вперед — одно из них, на самом деле, очень простое .

Что рекомендует Яндекс?

Платон в своем посте (пункт №2) советует ставить атрибут rel="canonical" со всех страниц пагинации на первую.

...советую настраивать атрибут rel="canonical" тега <link> на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими, а в качестве канонического (главного) адреса указывать первую страницу каталога, только она будет участвовать в результатах поиска.

Особенности:

1. Карточки товаров будут индексироваться как обычно.
2. Предотвращает возможное дублирование.
3. Помогает поисковику определить корректную посадочную страницу.
4. Для Яндекса rel="canonical" не является строгой директивой. По опыту могу судить, что Яндекс иногда не учитывает или пропускает указания каноникала.
5. rel="canonical" позволяет передать на основную страницу "некоторые показатели неканонических адресов".
6. В комментариях Платон ответил, что оказывается можно ссылаться не на первую страницу пагинации, а на документ со всем количеством товаров (если таковой имеется). Возникает вопрос - почему эту информацию не вывели в содержание записи?
7. В марте 2018 года Платон ответил в комментариях фразой "Если страницы со всеми товарами нет, на страницах пагинации атрибут rel="canonical" можно не устанавливать".  Ставьте каноникал на первую страницу. Хотя нет, на документ с общим ассортимент. Но если его нет, то вообще не ставьте. Так, ставить или не ставить, и куда? .

...в то время как атрибут rel="canonical" указывает на каноническую страницу и позволяет передавать ей некоторые показатели неканонических адресов (источник - все тот же пост).

Вы правы, момент с наличием страницы, на которой собран весь товар раздела, я упустил. Если такая страница присутствует на сайте, действительно, лучше указывать в качестве канонической именно её (источник - комментарии к посту).

Робот считает ссылку с атрибутом rel="canonical" не строгой директивой, а предлагаемым вариантом, который учитывается, но может быть проигнорирован (источник).

Получается, что идеальный вариант для Яндекса — rel="canonical" на отдельную страницу со всем ассортиментом продукции категории. Почему это не подходит для большинства сайтов?

• Во-первых, на многих сайтах нет подобного функционала.
• Во-вторых, такая страница должна быть основным документом категории и быть прописана в меню. Иначе ее внутренний вес будет минимальным. Или ставить дополнительно rel="canonical" со стандартной категории на документ со всем ассортиментом раздела. Сюда же ее оптимизация: Title, Description, h1. На мой взгляд, много сомнительных манипуляций. Непонятно, как на это еще отреагируют поисковые системы.
• В-третьих, самое главное — теряется значение пагинации: посетители с поисковиков будут переходить на большую страницу с общим ассортиментом.
• В-четвертых, документ будет "тяжелее". От этого будет страдать скорость загрузки, которая, в свою очередь, влияет на ранжирование. Получается, ловим одно, но топим другое .

Как велит поступать Google?

Гугл с присущей ему демократичностью дает больше вариантов:

1. Оставить как есть. Гениальный совет — распечатать и поставить на полку к "Развивайте сайт" .
2. Добавить страницу "Показать все". Аналог идеального решения Яндекса, но которое не вяжется с реальным положением дел.
3. UPD. Google перестал учитывать rel="next" и rel="prev". Использовать атрибуты rel="next" и rel="prev". Они указывают связь между документами пагинации (подробнее по ссылке выше). Удобно, но есть одно "но" — атрибуты не поддерживаются Яндексом.

Важно! Google считает вариант Яндекса с rel="canonical" на первую страницу категории ошибкой.

Закрывать или не закрывать?

Мнение Яндекса — закрывать (из комментариев к той же записи):

Для пользователей сайта, несомненно, страницы пагинации нужны, но посетителям сайта из поисковой выдачи удобнее попадать сразу в начало каталога - как раз на первую страницу, поэтому я советую оставлять для робота только её.

Мнение Google - не закрывать. Либо поисковик сам разберется, что лучше держать в индексе и ранжировать, либо создайте для него отдельную страницу.

Основной вывод один — я бы крайне не советовал оставлять все на волю поисковых систем. Приведу несколько причин:

1. Мигающая индексация. Яндекс любит, то добавлять пагинацию в индекс, то исключать (статус "некачественная страница").
2. Постоянно меняются посадочные в связи со схожей релевантностью и пунктом №1. Посетители из ПС постоянно попадают на разные документы. В поисковой выдаче они конкурируют с основной категорией (особенно если на ней нет дополнительного контента).
3. Пользователи не попадают на нужный набор товаров. Например, вы сделали наиболее привлекательную сортировку. В начале листинга показываются товары в наличие или по скидке, но потенциальный клиент может попасть на любую из страниц пагинации с распроданным ассортиментом.

Простой способ для новичков

Итак, что же делать в итоге? Самый простой вариант, который подойдет для большинства сайтов в Рунете — добавить на страницы листинга в рамках тега head строчку:

<meta name="robots" content="noindex, follow" />

Обновление. Данная методика больше не работает (с августа 2021 года): Google перестал учитывать директиву follow в метатеге robots.

Поисковые роботы не будут индексировать пагинацию - noindex, но будут следовать по ссылкам на ней - follow (например, чтобы лучше индексировать карточки товаров).

Все ! Единственное "но". Джон Мюллер из Google в конце прошлого года в видео-встрече с вебмастерами сообщил, что со временем noindex follow алгоритмами могут восприниматься как noindex nofollow. Когда же это случается - осталось тайной.

Популярные ошибки

А теперь несколько распространенных ошибок, которые нередко мешают продвижению:

1. Запрет индексации пагинации в robots.txt. Так делать неправильно. Во-первых, может пострадать индексация карточек товаров. Во-вторых, Google не особо любит правила в этом файле.
2. Дубли дополнительного контента на странице основной категории и листинга. Например, вы написали текст на продвигаемый раздел, а он также показывается на всех документах пагинации. Если она закрыта к индексированию, то еще ничего страшного, но если открыта, то получаются внутренние дубли.
3. Первая страница листинга доступна по адресу https://site.ru/nazvanie-categorii/page-1 и дублирует содержание основного документа категории https://site.ru/nazvanie-categorii/ . Нужен 301-редирект.
4. Добавление пагинации в sitemap. Делать такое не нужно. Не настолько это важные документы.
5. Одинаковые теги Title (опционально description). Даже если листинг запретили индексировать, то по-хорошему к тайтлам необходимо добавить номер страницы (его все-таки видит посетитель).
6. Все оставить на усмотрение поисковой системы (не запрещать индексировать). Выше написал, почему это может быть плохо. Потенциальное увеличение статического веса карточек товаров не перекроет проблем с дублями и мигающей индексацией. Некоторые даже советуют оптимизировать документы листинга под разные запросы и писать на каждую свой уникальный текст. Если вам нечем заняться и все задачи по сайту выполнены, то можете поэкспериментировать в данном направлении. Но зачастую это сомнительное и неэффективное мероприятие с элементами манипуляции над поисковой выдачей (спамом).

Пагинация через Javascript и "бесконечная" прокрутка

Есть и такой вариант вывода дополнительных карточек товаров - через javascript. Это либо динамическая "бесконечная прокрутка" (новые товары автоматически появляются сразу, как только посетитель прокручивает до конца списка), либо кнопка "Показать еще".

Главный плюс — нет проблем с пагинацией. Ее, по сути, просто нет. Главный минус - возможные проблемы с индексацией карточек товаров. Также у поисковой системы пропадает возможность оценить широту ассортимента категории, а это один из коммерческих факторов ранжирования.

Если у вас товары выводятся с помощью javascript, то Яндекс советует следующее:

Часто вместо пагинации сайты используют динамическую прокрутку, когда для посетителя, пролиставшего каталог до определённого момента, с помощью JavaScripts загружаются другие товары в данной категории. В такой ситуации необходимо проследить, чтобы весь контент таких страниц отдавался индексирующему роботу, либо чтобы роботу становилась доступна статическая пагинация товаров.

Здесь 2 варианта:

1. К динамической прокрутке добавлять обычную систему пагинации и действовать по общему алгоритму. Советую этот пункт.
2. Следить за объемом карточек товаров в sitemap.xml и перелинковкой, чтобы страницы продуктов индексировались максимально полно. Совет полезен и для всех остальных сайтов .

Тема вроде узкая, а получилась на 10.000 символов. Много нюансов, которыми нельзя пренебрегать.

А к чему склоняетесь вы? Закрываете ли пагинацию? Если да, то как? С нетерпением жду ваши отзывы и буду рад вопросам в комментариях .