Популярные ошибки и недочеты, которые мешают продвижению сайта
Спонсор месяца: в моем недавнем посте вы можете прочитать про сеть партнерских программ gdeslon.ru, которая предоставляет эффективные инструменты для заработка.
Привет, друзья! За последние годы мною было проанализировано достаточно много сайтов. В итоге сложился небольшой костяк популярных ошибок и недочетов, которые мешают поисковому продвижению ресурса. О них и пойдет речь в этой статье.
Большинство из них, конечно, не критичны, но их устранение в любом случае поможет сайту в оптимизации под поисковые системы. У меня получилось 10 пунктов.
Содержание:
- 1. Сайт доступен с www и без www
- 2. Дубли страниц внутри домена и не настроенный robots.txt
- 3. Смена структуры URL без 301 редиректа
- 4. Контекстная перелинковка
- 5. Отсутствие желания развивать веб-проект
- 6. Нецелевое семантическое ядро
- 7. Фокусировка на одном источнике ссылок
- 8. Неэффективные ключевые слова
- 9. Непоследовательность в продвижении
- 10. Быстрая раскрутка
1. Сайт доступен с www и без www
Это, по-моему, самое распространенное явление, когда страницы ресурса доступны как с www, так и без www. Здесь же можно отметить про то, что многие забывают в robots.txt выделять главное зеркало.
Как определить главное зеркало для сайта? Для этого нужно посмотреть, какое из зеркал участвует в поисковой выдаче, то и выбирать. Если проект находится на стадии разработки, то выбирать можно любое на ваш вкус. Итак, в robots.txt для Яндекса прописываем главное зеркало (случай для без www):
User-agent: Yandex Тут могут стоять ваши различные условия Disallow или Allow Host: domen.ru |
Для настройки редиректа с www на без www нужно прописать в вашем файле .htaccess следующее:
Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^www.domen\.ru$ [NC] RewriteRule ^(.*)$ http://domen.ru/$1 [R=301,L] |
Для редиректа с без www на www:
Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^domen\.ru$ [NC] RewriteRule ^(.*)$ http://www.domen.ru/$1 [R=301,L] |
Примечание: domen.ru изменить на имя вашего домена.
2. Дубли страниц внутри домена и не настроенный robots.txt
Любая система управления контентом (CMS) не совершенна. Зачастую популярные движки, на которых делают сайты, создают дубли страниц по разным URL-ам. Во-первых, некоторые из них оказываются в поисковой выдаче выше, чем продвигаемые целевые страницы. Во-вторых, дубли страниц даже внутри сайта - это не очень хорошо.
Также если вообще забыть про robots.txt, то в индексе может оказаться множество ненужных и бесполезных страниц. Подобные документы и дубли можно найти, проанализировав проиндексированные страницы поисковыми системами. Для этого можно задать такой запрос:
site:domen.ru |
К сожалению, универсального файла robots.txt не существует. Его необходимо создавать с учетом специфики вашей системы управления контентом. Зачастую грамотный robots.txt можно составить только в связке оптимизатор и программист, так как последний будет лучше разбираться в особенностях CMS.
3. Смена структуры URL без 301 редиректа
Не раз попадались проекты, которые меняли CMS или структуру URL и не ставили редирект со старых страниц на аналогичные новые. Тем самым получалось, что все ссылки, которые до этого ставили на внутренние документы ресурса, начали ссылаться на несуществующие страницы. Это был первый отрицательный момент. Второй - это то, что у страницы терялась история индексации и возраст. В общем, ни к чему хорошему это не приводит.
Если вы планируете поменять структуру URL (например, перейти на ЧПУ), то заранее задумайтесь о возможности настройки грамотного 301-редиректа. Если урлы планируется поменять на молодом проекте без ссылочной массы, то тогда в принципе редирект не обязателен.
4. Контекстная перелинковка
Многие вебмастера, оптимизаторы и владельцы сайтов забывают про внутреннюю перелинковку, довольствуясь лишь сквозным меню и системой пагинации. Контекстные ссылки на внутренние страницы проекта полезны как для пользователя, так и для всей внутренней оптимизации. Не стоит забывать про это.
5. Отсутствие желания развивать веб-проект
Некоторые заказчики на SEO полагают, что вся обязанность по увеличению посещаемости с поисковиков лежит на оптимизаторе. К сожалению, это не так. Грамотный seo-специалист должен подготовить ряд рекомендаций и советов по развитию ресурса, но внедрять их, как правило, может только заказчик, так как полного доступа к его ресурсу у исполнителя нет.
Получается следующая картина. Заказчик не выполняет рекомендации, и посещаемость не увеличивается. Виноват кто? Правильно! Seoшник 
.
6. Нецелевое семантическое ядро
Для охвата как можно большего семантического ядра, в него иногда добавляются нецелевые ключевые слова. Например, для коммерческого проекта добавляются некоммерческие запросы и закупаются ссылки на них. Просто создать страницу, заточенную под некоммерческий ключевик можно (дополнительный тематический контент никогда не повредит), но продвигать его зачастую нецелесообразно и неэффективно.
В посте "целевой и мусорный трафик" я уже высказывался по этому поводу. В общем, необходимо концентрироваться на ключевых словах или запросах, которые действительно могут принести выгоду.
7. Фокусировка на одном источнике ссылок
Источников ссылок великое множество. Не стоит зацикливаться на каком-то одном. Хорошо, когда на веб-проект ссылаются множество различных по типу и характеру ресурсов. Во-первых, для полезного сайта - это более естественно. Во-вторых, при увеличении или снижении влияния определенного источника, общая ссылочная масса останется практически на прежнем уровне. Получили достаточное количество ссылок с одного источника, можно переходить на другой .
8. Неэффективные ключевые слова
Стоит ли сразу при создании ресурса стараться продвинуться по высококонкурентному запросу? Стоит ли продвигать ключевое слово, по которому нет потенциального трафика или он не соизмерим с затратами на продвижение. Ответ на вопросы очевиден - "нет". В связи с этим нужно тщательнее подходить к анализу семантического ядра, удаляя запросы-пустышки и концентрируясь на трафикогенерирующих ключевых словах.
9. Непоследовательность в продвижении
Бывают такие ситуации, когда оптимизатор (или владелец ресурса) начинает метаться из стороны в сторону, от одного метода продвижения к другому. Например, клиент от 1-го человека услышал о каком-то новом направлении раскрутки, начинает развиваться в этой сфере. Через короткое время 2-ой говорит, что это все неэффективно и бессмысленно, а вот его методы работают. Владелец проекта бросает первый вариант и переходит на второй. Это, как правило, плохо сказывается на самом сайте.
Параллель можно привести и в ситуациях, когда происходит метание от одного ссылочного агрегатора к другому. В итоге у ресурса получается нестабильная ссылочная масса. Большой пользы она не принесет. Поэтому нужно быть последовательным в вопросах продвижения.
10. Быстрая раскрутка
Многие заказчики хотят получить результат как можно быстрее, но не всегда скорость бывает полезна. Проводить внутреннюю оптимизацию можно и сразу, а вот создавать ссылочную массу лучше постепенно. Не лучшим вариант для недавно созданного проекта будет закупка тысячи арендуемых ссылок с площадок сомнительного качества.
Какие бы вы еще отметили ошибки при продвижении сайтов, которые вам часто встречаются? Есть ли среди перечисленных те, которые совершали вы? Буду рад вашим отзывам в комментариях 
.
(4 голос., в среднем: 4,25 из 5)
Загрузка...
Загрузка ...
Эксперимент по продвижению статьями: результаты 
Megaindex — сервис автоматического продвижения + партнерская программа и 300 рублей на счет. 
Как устроена индексация сайтов в Google 
не настроенный robots.txt наверно самая большая и частая ошибка, список хороший
Не сказал бы что дубли большая ошибка, как показывает практика дубли практически не учитываются. Ваш пост про аякс. Сайт бар постоянно же дублировался, при его закрытии ПС не отреагировали.
Часто считают за дубли — страницы категорий и тэгов. Однако, недавно, саппорт Яндекса мне ответил что это для их ПС — не дубли. Дубли — это полностью идентичный контент, т.е. страница категорий с одним постом.
Однако, я предпочитаю тэги и категории закрывать в роботсе.
Еще в качестве ошибки — закрытие всех ссылок с сайта атрибутом nofollow. Или наоборот — все ссылки оказываются открытыми, передающими вес.
сначало по заголовку подумал, что данный пост написан на основе топэксперт.рф, но оказалось кое-что добавлено от себя
Спасибо за информацию. По опыту, главная ошибка, это когда поисковики проиндексируют страницу с неправильным контентом, потом их оптимизация не учитывается долгое время…
Как угадал =) У меня как раз на 2-х проектах не настроен робот, а тут инструкция ) Спасибо!
Пренебрежение парой качественных каталогов, а прогонка по тысячам «левых».
Понятно, что нет универсальной настройки robots.txt, но все-таки, чтобы ты мог посоветовать по настройке файла для СДЛ на WP?
С проблемой 301 редиректа я сталкивался, на самом деле не приятная ситуация. Менял тогда на блоге ЧПУ, быстренько все поменял, а про редирект совсем забыл. В итоге страницы вылетели из индекса постепенно, а потом блог попал под АГС. Поставил редирект, написал Платону, объяснил все, что это просто небольшая оплошность и через месяц блог полностью вернулся в индекс уже с новыми страницами.
host для User-agent: Yandex можно не прописывать, в настройках вебмастера можно поменять
А так спасибо, все собрали в кучу, думаю начинающим самое то
Привет Сергей
Хотел кое-что прояснить для себя
Пока проект не проиндексировался, я использую покупку ссылок с сайтов из як с высоким тИЦ. Как ты уже сказал, что не стоит гнаться за скоростью. А, если я хочу продвинуть ВЧ-НК, бюджет по seopult и rooke(200-300 рублей). Стоит ли сразу брать на продвижение нескольких статей — (бюджет 100 рублей на 1 запрос). Но эти сервисы на эти деньги накупят действительно много ссылок
В общем вопрос заключается вот в чем: стоит ли использовать автоматические сервисы продвижения на начальной раскрутке сайта? Как продвигать НК Вч запросы на начальном этапе и стоит ли вообще за них цепляться? (желательно расширенный ответ).
«системой пагинации» это как?
хм…вот зачем на блоге такая статья для нубов???:(
Как показали наблюдения, некоторые так же недооценивают проверку текстов, а ведь беря сайт на продвижение совсем нелишним будет проверить тексты как на переспам, так и вообще на разметку тегами, вхождение ключей в текст. Не забываем так же проверить кейворды и тайтлы с дескрипшинами. Зачастую это элементарно отсутствует. Встречается так же и злоупотребление ключей в мета тегах
Сайт в выдаче с WWW или без, нужно указывать в панеле вебмастера яндекс. Эти настройки для поисковика будут приорететнее чем в robots.txt
доминик_х, но менее приоритетно, чем редирект 301
Сергей отличный пост! Действительно это жесткие ошибки. Провожу анализы блогов и постоянно вижу первые 2 ошибки у людей.
Я бы еще 11 ошибку добавил. Люди не проводят конкурсы
Конкурсы — это мощь!
Александр Борисов, Эй, стопэ товарищь
Как конкурсы влияют на оптимизацию сайта? И вообще, если смотреть получше, то видно что затронута в основном техническая составляющая… И при чем тут конкурсы?
AdverTrash, Отсутствие желания развивать веб-проект — это техническая составляющая?
Вы знаете как сказывается возврат одного и того же посетителя на раскрутке? То есть то, когда человек возвращается на ресурс снова и снова?
Если не знаете, то надо начать учиться…
Александр Борисов, Хоть и не сеошник, но знаю, что пользователей на сайт не конкурсами возвращать надо, а качеством контента, качеством услуг. А конкурсы…хм, ну закончится конкурс и все, кто придет если сайт говно? Да и врятли мне будет интересен конкурс, если я например ищу услуги или товар. Нашел в поиске то что подходит, и забыл. Когда снова появится потребность, я в поиск полезу, а не вспоминать, кто ж там такой грамотный сео специалист придумал мне конкурс, выиграть стопицот призов. И коли уж про конкурсы начали, то это не сео а маркетинг (тут чувствуем разницу). Да, для повышения лояльности клиентов можно и конкурс, но для продвижения…хм, не ко всем подходит. Для блогов возможно, но и то не ко всем. А вот вы мч провели уже конкурс? А блог есть? Хотелось бы почитать
AdverTrash, заходите в гости посмотрите
И советую еще пост сегодняшний почитать! Скоро выйдет!
Сергей прости за рекламу!
Отличные советы, но лично сам лишь 1 ошибку делаю из 10’и.
Сергей, благодарю тебя за существование твоего блога.
Я бы добавил ещё два очевидных для всех просчёта:
1) Неуникальный контент — копипаст. Как ни странно, для Яндекса это не всегда проблема, а для google — сколько угодно ссылок закупай — страница никуда не вылезет
2) Внезапный обвал ссылочной массы — после чего тратить на ссылки придется намного больше
Александр Борисов, Ну, вот по вашему совету устроил конкурс и что?
Пообещал 200 рублей на телефон.Посетителей вроде достаточно, но не участвуют в конкурсе. Может зря пообещал на мобильник, а надо было яндекс деньги обещать?
AdverTrash, У Александра, один из лучших блогов про заработок на блоге. Дизайн, мне правда не нравится, но содержание очень качественное и главное честное, свое.
guard, у меня порой, такое бывает: Внезапный обвал ссылочной массы
Дмитрий, Да, судя по тому сколько людей посещают его блог, он действительно хорош, хотя дизайн да, не прям супер. Не скажу что у меня суперский дизайн, но то, что если на его блоге поставить оригинальный качественный диз, как у Сергея например, то будет супер, однозначно!!!
Сергей! Спасибо большое! у меня помимо проблем с главным зеркалом еще ошибки в robots.txt обнаружились. Теперь все поправила — что бы я без вас делала:)
Про 301 редирект, можно подробнее плиз! Блогу 2 месяца, позавчера было 750 уников, с поисковиков не больше 30. Это нормально в 2 мес 30 человеков с Яндекса и Гугла? Явно в чем-то ошибку допустил, только понять не могу в чем!
AdverTrash, Что реально у меня дизайн хреновый? Не знаю почему все говорят что плохой. Мне нравится. Мож завидуют?
Спасибо огромное за список. Для себя вынес полезного из данной статьи. Улыбнуло, что всегда виноват сеошник
SANO, я имел в виду полные дубли страниц, находящиеся по разным адресам. Да и частичные дубли основного контента (не сквозного) тоже не будут на руку.
Станислав, а почему закрытие всех ссылок с сайта может навредить ему?
dachnik, скидывайте ссылку на страницу. Еще в день публикации поста на почту пришла рассылка от сеопульта по ошибкам внутренней оптимизации :).
Алексей, https://sosnovskij.ru/robots.txt .
utb, думаю, что лишним не будет указать. Тем более это займет не более минуты :).
WebNetc, для молодого сайта автоматические биржи не советовал был. Если запрос низкоконкурентный, то почему бы и нет. Как продвигать? Качественный, тематический, слегка оптимизированный контент. Через 2-3 месяца можно ссылки начать закупать.
Серега, это постраничная навигация. Например, если зайти на главную страницу блога https://sosnovskij.ru/ , то это внизу циферки 1,2,3 и так далее. То же самое на страницах категорий.
kickboxer, многие не нубы допускают такие ошибки. Я не позиционирую свой блог только для гуру.
AdverTrash, верно!
Руслан, 2 месяца это малый срок для высокой посещаемости с поисковиков.
Александр Борисов, Ну честно говоря да, жаль у сереги ругаться нельзя, как я люблю в интернете, а то высказал бы в паре «емких» слов по поводу дизайна. Однако что интересно, в данной ситуации дизайн играет далеко не лидирующую роль, что так же может стать инфо-поводом. Однако думаю не зазорно и сменить его будет, тем более с тем учетом, что другим советы раздаешь) Тут что значит, нужно держать марку! Так что с удовольствием попаду на блог с новым дизом.
Да уж, мне многому придется еще научиться, спасибо за статью
Статья конечно хорошая, спору нет, но подскажите на мою ошибку, что я делаю не так… В общем суть в том, что совсем недавно(дней 10 как..) я сделал блог на WP, гугл его успешно проиндексировал, но после добавлений трех постов, проверяю вот так: «site:aimblog.ru» он выдает мне в выдачи 23 стр. из них три стр. с ошибкой 404. На серче получил один ответ, что я что-то с ЧПУ намутил. Подскажите что не так. В CEO только окунулся, уже крыша едет…..
А моя самая большая ошибка — недавно повесил копию уже имеющегося у меня сайта под другим доменом, чтобы быстро заполнить абсолютно другими данными, но неправильно закрыл его от индексации. И теперь старый сайт упал с 1 на 16 место в яндексе, а новый исключен из индекса и не индексируется, чтобы обновить неуникальный контент на новый!:/ Теперь не знаю что и делать и сколько это будет в таком состоянии? Называется попал!:)
Димм, закрыть к индексации дублирующий домен и ждать.
Валерий, а в чем проблема-то?
Sosnovskij, Так в том и проблема, что индексирует статьи с 404 ошибкой, уже и не знаю где собака зарыта и что не так сделал
Валерий, вообще поисковый робот не индексирует страницы, которые отдают 404 ошибку. Сейчас такая ситуация. Например, когда-то была страница aimblog.ru/sample-page . Google ее проиндексировал. Потом вы изменили ее адрес или удалили, но google об этом еще не знает. Поэтому в индексе эта страница есть (посмотрите сохраненную копию), а когда переходишь по ссылке, то открывается страница с 404 ошибкой. Нужно просто подождать и гугл удалит из индекса все страницы, которые отдают 404 ошибку.
Спасибо за статью! С 301 редиректом сам недавно мучался, пока всё настроил — сейчас вроде работает
Конкурсы это УГ, если их проводит такой человек как Александр Борисов.
По теме: самой главной ошибкой на начальных этапах является кража контента, из-за чего на сайт налаживаются санкции..
AdverTrash, скоро будет! Уже давно думаю, да все как-то руки не доходят или боязно как-то. Мало ли что перекосится и т.д…. Да и привык уже к нему…
Александр Борисов, на мороз как бы ушел, не делай так
AdverTrash, сайт у парня офигенный
SmotruOnline, Полностью с тобой согласен. Нужно сразу об этом думать. Потом ооооочень геморойно все индексируется.
После того, как я загружаю robots.txt в корень у меня блог по главному ключу вылетает из индекса или блог из индекса вовсе вылетает. С чем это может быть связано? Или robots.txt неправильный?
Булат Максеев, проблем в вашем robots.txt я не нашел (его удалил, так как из-за размера комментария, он криво отображается). После установки этого роботса попробуйте проверить будут ли индексироваться страницы блога этим сервисом от яндекса webmaster.yandex.ru/robots.xml
Спасибо большое. Сделаю. Сейчас блог не работает пока. Его хостинг-провайдер закрыл на время DDOS-атаки. Вот такие дела.
Сервис от Яндекса не всегда правильно показывает статистику.
Сергей, научите правильно покупать ссылки тематические, как находить сайты. Это ж целая статья получится… Только практики бы побольше.
Мужчины, ответьте даме,
в пункте первом про редирект оба кусочка кода вставлять в файл, там где с www и без www или какой-то один, тогда как понять какой.
И второй вопрос про отказы. Какой процент отказов считается нормальным? А то что-то беспокоюсь я.
Автору удачи и спасибо за полезные материалы!
Сергей, https://sosnovskij.ru/vybor-kachestvennyh-ploshhadok-dlya-razmeshheniya-ssylok/
Oksana, я же там все расписал подробно. 2 кусочка вставляются в разные файлы: robots.txt и .htaccess.
«тогда как понять какой» — там написаны условия. Выбирайте, какой вам нужен. Зависит от главного зеркала.
Средний показатель отказов для каждой группы сайтов (например, по тематике) разный.
Согласен с мнением многих, что не настроенный robots.txt первая проблема, особенно для молодых блогов. Многие уходят под АГС наверное из за этого.
Отличная статья, Сергей!
Следует так же проследить за внешним видом сайта и как уже отмечалось выше — это качество контента, конечно. Если сайт будет нелепо смотреться — то на нем и оставаться то не захочеться) Давно
Добавь себе опрос на блог, и узнаешь))Александр Борисов,
Sosnovskij, спасибо за ответ! Я не могу найти файл .htaccess, мне его нужно создать?
Oksana, да.
Хороший пост, согласен ошибок совершают много и многие, ну без этого ни как. я например все никак не могу сделать нормальный редирект 301.
в роботсе прописано основное зеркало, однако при анализе сайта (например в rookee.ru) мне выдается инфа что редирект не настроен. Прописывал в .htaccess
и Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.domen\.ru$ [NC]
RewriteRule ^(.*)$ domen.ru/$1 [R=301,L] (изменяя domen на реальный адрес)
и
Redirect 301 / site.com/index.htm
что то у меня не получается(. так и не могу понять что не так делаю.
Но гугл надеюсьдаст ответ)).
Отсутствие желание, наверно самая большая ошибка
Levikov,
Причем по жизни).
Евгений,
И все таки я его сделал.
Весь вопрос оказался в месте установки кода))). Большинство мнений в сети что разницы нет, где именно прописывать код, просто в файл .htaccess и все. Ан нет. в моем случае его пришлось прописать последним.
после строчек #END WORDPRESS.
Где бы найти информацию по достоверней о том, как корректней (а то сайт и так уже ошибался в глазах поисковика) сделать 301 редирект для всего 10 страниц, причем различия во вложенности (к сожалению не удается на другом компоненте сделать) из site.ru/all/page в site.ru/home/all/page.
Димм,
здесь хорошая инфа sb-money.ru/article.php?a=75
но стоит пробовать устанавливать по-разному. сам перепробовал много вариантов а оказалось что место установки кода в самом файле надо было поменять
Александр Борисов, извини, но фиговые цвета какие-то, мрачные, сделай посветлее и посетителям будет приятней на нем, и дольше будут оставаться.
Спасибо за очень интересный пост. Настроила robots.txt, пока ничего лишнего в индекс не попало
Начал разбираться с индексируемым, и в статистике pr-cy.ru выдало, что у некоторых внутренних ссылок заголовок как правильное название, а у некоторых надпись «Подробнее»:
«Информация о… » (_http://ссылка….), «Подробнее» (_http://ссылка….). Это я делал намного ниже заголовка дополнительную ссылку с аналогичным адресом, на вроде, «читать далее», вот теперь что лучше сделать «nofollow» или другой адрес, типа перенаправления на место на странице?
Эндрю, сделайте в качестве ссылки «Подробнее» перенаправление на место контента на странице или в том место, где есть тег more.
Спасибо за статью! очень полезно!
Да! статья действительно интересная! кратко, четко и понятно! Вот только наткнулся на нее довольно позновато прошел уже мондраж, когда метаешся со стороны в сторону и не знаешь, что делать и с чего лучше начать пока четкий план действий не написал на клочке бумаги и не приколотил его большим гвоздем к монитору!))) Я думаю все через это прошли!!! Бегло пробежался по статье вроде бы все мне известно и я об этом знаю! Вчитался оказывается НЕ ВСЕ!!! Еще раз спасибо автору!!!
Если у меня есть некая написанная и проиндексированная статья с тайтлом (например:как создать сайт), но по неким причинам я захотел переименовать тайтл на (как создать свой сайт бесплатно). Если в вордпрессе настроеные ЧПУ, то адрес ссылки поменяется? Старая ссылка на такую-статью в кэше поисковой системы то останеться…? не будет ли это дублем контента? и вообще, как относятся поисковые системы к редактированию тайтлов? и просто к редактированию содержимого статьи в плане СЕО и дублей контента?
Владислав, URL не поменяется, если вы его сами не поменяете.
Ну и вот полезное https://sosnovskij.ru/otvety-na-voprosy-8/#8-vopros-11
Sosnovskij, Спасибо!
Извини, конечно, но я как увидел заголовок в почте решил, что обязательно прочитаю, так как наверняка будет полезно, а выяснилось, что советы многие совсем не стоят внимания, а остальные для новичков только полезны или же КО-шные. Просто я думаю следовало бы назвать популярные ошибки новичков в SEO.
Андрей ЕГО, многие не новички тоже допускают такие ошибки. А гуру так вообще не должны совершать ошибок
.
Подскажите, мучаюсь, как закрыть в robots.txt
sitename.ru/allpage
но, чтобы не закрывались
sitenamename.ru/allpage/1-statya
sitenamename.ru/allpage/2-statya
Эндрю, попробуйте
Disallow: /allpage$
Не забывайте проверять здесь webmaster.yandex.ru/robots.xml , чтобы случайно не запретить нужные страницы.
Да, спасибо! Только пришлось запрещать со слешем и без «Disallow: /1-vse/$» и «Disallow: /1-vse$». В вебмастере всё проверил — статьи не закрываются.
С Яндексом какие-то непонятки. Сначала он проиндексировал страницу, потом эта страница исчезла из индекса, причем содержимое страницы никак не менялось. Чтобы это значило?
land_driver, возможно ошибка робота, возможно она перестала ему нравится, возможно она вскоре будет опять проиндексирована.
Спасибо. Только начал познавать все это. Сразу посмотрел на robots.txt — и вот они первые ошибки )).
Наткнулся на систему экспрес аудита сайта auditme.ru
Выдает такой косяк: Страницы с произвольными параметрами обрабатываются некорректно, при запросе подобных адресов site-name.ru/?qwerty123456 сервер отдает ответ HTTP/1.1 200 OK. Необходимо настроить ответ сервера HTTP/1.1 404 Not Found для подобных страниц.
Как побороть и на сколько критично? На многих сайтах такая штука срабатывает.
Алексей, нужно проверить, есть ли у вас на сайте страница с 404 ошибкой. Страниц, которых нет должны отдавать 404 ошибку. Возможно, еще, что сервер не правильно работает.
Sosnovskij,
404 страница есть. Про сервер не знаю. В инете искал как забороть эту гадость, не нашел.
У вас на сайте тоже такая штука проскакивает : https://sosnovskij.ru/?qwerty12345
Я вот думаю влияет оно или нет? На том сервисе пишут, что не очень хорошо.
Алексей, да, действительно так. Я проверял всегда без ? или подобных символов. В таком случае отдается 404 страница. Это из-за особенностей движка видимо.
Sosnovskij,
У вас вордпресс, у меня джумла.
Есть мысли как убрать? И стоит ли заморачиваться?
Алексей, убрать — это, скорее всего, на уровне программирования CMS. Думаю, что не особо стоит заморачиваться. У того же яндекса такая же песня :). Попробуйте.
Sosnovskij,
Им то чего боятся -)
Я сайт только делаю, не знаю, будет ли это дубли порождать.
Вопрос: В индексе у поисковиков такие ссылки появляются?
Если нет, то не понятно зачем в той проге аудиторской это указано как недостаток. Если оно дубли не порождает.
/?qwerty12345
На сайте созданным 10 лет назад из одних .html страниц, та же песня.
Это не только в CMS
Нужна ли категория в поиске? Если нет, то обоснуйте ответ.
Arthur, я оставляю категории в поиске. На них идет трафик с ПС + они дают дополнительный статический вес другим внутренним страницам.