Почему страницы выпадают из индекса или ответы на вопросы №14

Всем привет! Пока я выбираю фотографии для следующего поста с моего отпуска, решил разбавить "отдыхательный" контент новым выпуском вопросов от читателей и моими ответами на них.

Сегодня будет 12 вопросов по темам индексации, обхода негативных отзывов, обратных ссылок, внутренней оптимизации и так далее. Приглашаю к прочтению.

Ответы на вопросы. Выпуск №14

Кликайте по понравившемуся вопросу и попадете на его полную версию с моим ответом. В общем, как обычно :smile:.

  1. Нужно ли закрывать всплывающие окна тегом noindex?
  2. Как получить ссылку с "черного" каталога, не размещая обратную?
  3. Как увеличить количество страниц в основной выдаче Google?
  4. Может ли исправление ошибок и улучшение перелинковки навредить веб-проекту?
  5. Как проверить сайт на вирусы?
  6. 5000 уников в сутки на 5-ти месячном сайте. Не рано ли ставить контекстную рекламу?
  7. Сколько в индексе будет держаться размноженный текст?
  8. Передают ли вес ссылки с площадок другого региона?
  9. Как шаблон проекта влияет на ранжирование?
  10. Как из выдачи убрать негативные отзывы о компании?
  11. Можно ли ссылками из твиттера вернуть страницу в индекс?
  12. Почему страницы выпадают из индекса?

1. На сайте имеется несколько всплывающих окон, которые реализованы на чистом CSS: окно регистрации, авторизации, окно сообщения об ошибках. К примеру, чтобы проголосовать необходимо авторизоваться через всплывающее окно. Подскажите, необходимо ли закрывать данные окна в noindex?

Содержание данных всплывающих окон можно закрыть тегом noindex, чтобы содержащийся в них текст, не учитывался при ранжировании в Яндексе, а также не выводился в сниппете поисковой выдачи. Полезную информацию для поисковиков данные элементы не содержат.

Вверх к вопросам

2. Мы с одним моим знакомым примерно в одно время создали сайты. После последнего апдейта у него ТИЦ поднялся до 20-ти. Я решил посмотреть обратные ссылки на его сайт и увидел, что он зарегистрирован во множестве говнокаталогов. Я попробовал зарегистрироваться в парочке из них. В некоторых пишут прямо сразу, что нужно оставить код обратного линка еще до регистрации и дальше не пропускают из-за этого. Это конечно, 100% черные каталоги, но как он в них смог зарегистрироваться без обратки? Я смотрел его проект, там нет никаких ссылок на страницах.  Искал "помойку линков" через закрытые от индексации страницы в Роботс, но и там ничего нет.

С каталогами я плотно никогда не работал, а с "черными" тем более, но причины такой ситуации могу объяснить несколькими вариантами:

  • в данных каталогах есть "дыры", которые позволяют обходить проверку;
  • возможно, обратную ссылку на директорию сайтов нужно поставить 1 раз только для акта проверки;
  • обратный линк отдается только роботу каталога, который проверяет его наличие.
  • возможно, он недавно снял ссылки или удалил страницу с ними, а директории еще не успели проверить их наличие.

Может быть, есть еще какие-то причины.

Вверх к вопросам

3. На главной порядка 30 ссылок на внутренние публикации. В Гугле при запросе site:domain.ru показывается достаточно большое количество страниц. При запросе site:domain.ru/& показываются только те страницы, ссылки на которые есть с главной. То есть получается, что у меня в основном индексе всего 30 документов, а остальные в дополнительном, который учитывается в меньшей степени. Подскажите, в чем можете быть причина? Что-то закрыл лишнее в robots?

Robots.txt здесь точно не причем :smile:. Если бы проблема была в нем, то гугл в принципе не смог бы проиндексировать страницы. На количество документов в дополнительном индексе Google влияют несколько факторов:

  • Качество документа;
  • Качество сайта/уровень доверия со стороны гугла;
  • PageRank (совокупность внутренней и внешней важности страницы)

Если, например, страница имеет внутренние или внешние дубли и на нее практически не ведут внутренние и внешние ссылки, то с большой долей вероятности можно утверждать, что она попадет в так называемые "сопли".

В приведенном примере 30 документов, которые находятся в основном индексе, скорее всего, существуют там за счет линков с главной. Я, кстати, как-то проводил эксперимент по выводу страниц из Google Supplemental Index. Вернуть в основной индекс большинство документов мне как раз помогли внутренние ссылки.

Улучшение качества контента, удаление дублей, корректная внутренняя структура проекта, качественная обратная ссылочная масса - все это поможет значительно увеличить количество документов в основном индексе Google.

Вверх к вопросам

4. У меня есть блог. Возраст - 4 месяца. Показатели практически нулевые. На нем размещено 100 статей. Только они с грамматическими ошибками. У меня возникло желание исправить все ошибки, и улучшить внутреннюю перелинковку. Вопрос: "Можно редактировать все страницы или такие действия могут навредить?"

В большинстве случаев мероприятия, связанные с улучшением веб-проектов, сказываются положительно (как со стороны пользователей, так и со стороны поисковых систем). Исправление грамматических ошибок, улучшение внутренней перелинковки ресурсу не навредят.

Вверх к вопросам

5. Ты как сайт на вирусы проверяешь? Сегодня пришло письмо, что на ресурсе обнаружен опасный код, хотя на нем уже с месяц ничего не делал. Теперь даже и не знаю, как его найти и удалить.

UPD. Специально для проверки сайтов на вирусы существует бесплатный скрипт для поиска вирусов, троянов, backdoor, хакерских активностей на хостинге - AI-bolit.

Вообще, на хостинге должен стоять штатный антивирус. Если он как-то пропустил вредоносный код, то можно скачать весь проект к себе на компьютер и проверить его уже своим проверенным десктопным антивирусом.

Также можно походить по сайту и антивирус должен "ругаться" на наличие вредоносного кода. Как правило, указывается тип вируса и объект, который его вызывает. В этом объекте и стОит искать вирус. Примерно тоже самое выдают и Яндекс.Вебмастер с Google Webmaster.

Для проверки сайта на наличие вируса дополнительно можно использовать специализированные онлайн-сервисы:

Обязательно нужно будет поменять пароли (на сложные) от доступов к хостингу, административной панели, базы данных. Если используется мелкий и непопулярный хостинг, то, возможно, проблема в нем.

Вверх к вопросам

6. У меня есть сайт с такими показателями: возраст 5 месяцев, Тиц=10, траст по xtool=6. Посещаемость 5 000 уникальных посетителей  в сутки. Но после создания из-за ошибок Яндекса он попадал 2 раза под фильтры. Стоит ставить на него контекстную рекламу или еще рано?

Несмотря на юный возраст ресурса, его посещаемость позволит неплохо зарабатывать на контекстной рекламе. Я считаю, что ставить уже не рано. Единственное, нужно аккуратно вписать рекламные объявления и не делать рекламу агрессивной. В таком случае, можно не переживать за ее нахождение на проекте :smile:.

Вверх к вопросам

7. Я размножил статью: тираж 100, шингл 5. Не знаете ли, сколько  в среднем ссылок останется в индексе через полгода-год?

По этим данным сложно назвать какую-то определенную цифру. Собственно, даже и примерную. Многое будет зависеть от качества размноженного контента, самого размножения и площадок, на которых он будет размещаться.

Вверх к вопросам

8. Я продвигаю проект московского региона. Если закупать ссылки с ресурсов других регионов, они будут давать вес?

Существуют такое предположение, что ссылки с "местных" площадок положительнее влияют на ранжирование, чем линки с ресурсов других регионов при прочих равных условиях. Оно в принципе логично. Другое дело, что линки с проектов других регионов также будут давать вес. Качество ссылки во многом зависит не от региона, а от качества площадки, на которой она опубликована.

Вверх к вопросам

9. Сделал себе блог. Он еще молодой. Поставил немного нестандартный шаблон.  Хотел бы узнать, как такой шаблон влияет на индексацию? И в плане поисковых машин, будет нормальным использовать такой шаблон?

По моему опыту, шаблон для блога не сильно влияет на ранжирование. Главное, чтобы была соблюдена основная структура, связывающая все страницы проекта, чтобы он был без вредоносного кода и не содержал серьезные ошибки. В некоторое подтверждение можно привести результаты эксперимента "как влияет уникальный дизайн на ранжирование в поисковых системах".

Вверх к вопросам

10. Есть такая неоригинальная задачка. На нескольких сайтах отзывов о работодателях появились заказные негативные отзывы на фирму, в которой я работаю. Самый главный негатив идет с проекта orabote.net. Но и еще на паре ресурсах запросы вылезли в топ 10, несмотря на их низкое качество.

Эти отзывы находятся в Яндексе в топ 1 по запросу "название компании отзыв" и в топ 4 по запросу "название компании". Поставлена задача за 2 месяца убрать эти отзывы из ТОП 20 во всех поисковиках. В гугле и бинге эти отзывы тоже в топе. Как такое организовать в такие сроки?

Как вариант это размещение 30-40 статей, пресс-релизов, исследований и так далее на авторитетных площадках этой же тематики или, например, на крупных новостных проектах. Контент постараться сделать релевантным запросам, по которым "плохие" ресурсы вылезают в ТОП 20. За счет траста площадок данные публикации должны занять хорошие позиции во всех поисковых системах (2 месяца должно хватить) и потеснить "плохие" страницы вниз. Возможно, на некоторые публикации будет необходимо приобрести небольшое количество ссылок.

Вверх к вопросам

11. Если ссылки из гогетлинкс выпали из индекса яндекса, можно ли их вернуть в индекс с помощью твитера? Или яндекс запоминает то, что он выкидывал?

Яндекс, конечно, запоминает, когда страница была в индексе, и когда ее не было. Выпадение веб-документов из индекса происходит по разным причинам. В данном случае, твиттер сможет послужить ускорителем для того, чтобы робот яндекса быстрее снова посетил страницу. В некоторых ситуациях это сможет помочь ее возврату в индекс. Еще важным критерием будет качество твиттер-аккаунта.

Вверх к вопросам

12. Какие могут быть причины выпадения страниц из выдачи? Яндекс может проиндексировать страницу, а ссылку нет? Как мне это проверить?

Причин выпадения документов из индекса поисковых систем, на самом деле, несколько:

  • плохое качество контента;
  • снижение доверия поисковой системы к ресурсу в целом;
  • продажные ссылки;
  • недоступность сайта;
  • ошибки: некорректность в robots.txt, в мета-теге robots, некорректные редиректы.

Проверить проиндексировалась ли ссылка поисковой системой или нет можно, посмотрев кэшированную версию страницу. Если она там есть, то значит поисковик знает о ней.

Вверх к вопросам

Вот и все! Жду ваши отзывы, мысли и дополнения ;-).

Рейтинг
1 звезда2 звезды3 звезды4 звезды5 звезд (4 голос., в среднем: 5,00 из 5)
Загрузка...
Аудит сайта

Найду причины, мешающие продвижению сайта. Подготовлю рекомендации, которые позволят увеличить трафик и конверсию. Составлю стратегию развития. Помогу с внедрением.

От 19000 руб.
Продвижение

Комплексное развитие проектов по актуальным направлениям в SEO. Используются методики, имеющие стабильный долгосрочный эффект (без накруток и спама).

От 25000 руб.
Консультации

Консультирую по вопросам поисковой оптимизации, продвижения сайтов. Лучший способ узнать мое подробное мнение по волнующей задаче/проблеме. Конкретные ответы на конкретные вопросы.

От 5000 руб.
Отзывов уже 42:
Написать комментарий
  1. 1. имя

    Что касается 6 вопроса, а можно еще и баннеры размещать так, чтобы не мешать посетителю читать основной контент. Ну например, как у вас.

  2. 2. Александр

    Вопросы с каждым разом проще и проще

  3. 3. Алекс Золотарев

    Спасибо за советы, кое, что узнал для себя новенького! :shock:

  4. 4. Sosnovskij

    Александр, задайте сложный :)

  5. 5. Михаил

    По 5 вопросу. Весьма вероятно, что предложенный вами способ вообще не даст результатов. Вредоносный код надо искать по признакам «@base64_decode», «preg_replace», файлы index.php не в корне сайта и т.п. Есть даже тулзы для поиска вредоносного кода на сайте. А штатные антивирусные программы, как правило, бесполезны.

  6. 6. Татьяна

    «Яндекс, конечно, запоминает, когда страница была в индексе, и когда ее не было.»
    Из недавней переписки с Платоном (в индексе долгое время была только главная, поэтому написала в саппорт):
    «В настоящее время невозможно­ выяснить, почему Ваш сайт отсутствов­ал в поиске, так как мы не храним подобную информацию­. В ближайшее время он должен начать индексиров­аться и затем сможет появиться в поиске.»
    Хранят когда и не хранят почему? Или как это понимать?

  7. 7. Константин

    Спасибо! Хорошая статья особенно пункт 10 очень понравился.

  8. 8. xppx

    на сайт с яши 1500 посетителей в сутки идет, а с гугла и сотни нет, в чем причина?

  9. 9. Sosnovskij

    Михаил, видел бесплатный скрипт, который ищет вирусы конкретно на сайтах. Он совершенно вылетел из головы. О каких тулзах вы говорите?
    Татьяна, странный на самом деле ответ. Возможно, это не хранится в доступном для Платонов виде. Алгоритм яндекса обучается на своем опыте и, не храня такие данные, он лишается большого костяка полезной для него информации.
    xppx, тяжело дать ответ, не видя сайта. Сейчас с гуглом становится все интересней.

  10. 10. xppx

    xppx.org

  11. 11. Михаил

    revisium.com/ai/ вот ссылка. не сочтите за рекламу

  12. 12. Sosnovskij

    xppx, вообще, для таких ответов нужно проводить детальное исследование. Домен с историей (использовался до сегодняшнего проекта). Как вариант, гуглу что-то не нравилось в прошлом ресурсе.

  13. 13. Sosnovskij

    Михаил, оно! Спасибо :) Добавил в пост.

  14. 14. Вячеслав

    не понял

  15. 15. guz

    познавательно, но читать пост жутко не удобно. Или я старомоден.

  16. 16. Sosnovskij

    Вячеслав, что не понятно?
    guz, почему не удобно?

  17. 17. Алексей

    Не зря потратил время. Все понятно изложено. Спасибо за статью. :???:

  18. 18. Babenko

    имя, А вот баннеры добавлять я бы не советовал. Так как к РСЯ поисковики относятся совершенно нормально, а к баннерам отношение жестче.

  19. 19. Дмитрий

    Пункт 5, про вирусы, очень актуален!

  20. 20. Костя

    Михаил, поддерживаю. Недавно была заражена уйма сайтов на WP — проблема была в том, что во время движок не обновил, и появилась на всех сайтах странная тема — mycinema — проблема была в ней — тема была сплошной ШЕЛ. спалил все это дело после того как все сайты стали перенаправлять на порно… а спалил — unix функцией find, зашел на хостинг через putty по ssh
    а именно, может кому пригодится:
    find . -type f -name «*.php*» -exec grep -i -H «base64_decode(» {} \; > find_vir.txt

    так что теперь пару полезных уроков для себя усвоил) всегда обновляйся, никогда не используй простые пароли и особенно логин администратора admin!

  21. 21. Алексей

    А мне про твитер понравилось. Тоже думал заняться продвижением именно через соц. сети, а не оставлять ссылки в каталогах не по теме.

  22. 22. Тамара

    У меня индексируется только главная страница. но я не переживаю. Все статьи у меня на главной. А статические страницы не обязательны. Или я не права?

  23. 23. Sosnovskij

    Тамара, важно, чтобы у сайта индексировались все (или как можно больше) страниц, если он не состоит только из одной главной.

  24. 24. Никита

    У меня тоже с сайтом прям беда какая то, количество страниц вечно прыгает, и не поднимается больше 1000 страниц (на сайте 10.000 страниц) гугл всё кушает без проблем, но яндекс… это качели — 300, 600, 1000 и опять 300. Подскажите пожалуйста что это может быть?

  25. 25. Sosnovskij

    Никита, попробуйте добавить сайт в Яндекс.Вебмастер. Он сможет показать проблемы с индексацией ресурса. Также положительно на индексацию может повлиять карта сайта, хорошая внутренняя перелинковка, качество контента, внешние ссылки.

  26. 26. Никита

    Спасибо за советы, внутренняя перелинковка вроде нормальная (стандартная DLE) Карта сайта html есть, качество контента вроде бы нормальное, но на сейте не только я пишу статьи, но и журналисты (часто копипаст мелькает) внешние ссылки вроде есть пока пытался улучшить индексацию сайта получил Тиц 20.
    Скажите, а нет ли фильтра какого такого?
    Помню раньше была и индексация нормальная (хотя был чистый копипаст) и посещаемость была более менее. Но после того как я установил «тизернет» резко упала посещаемость и индексация остановилась. (новые страницы входят в индекс а старые вылетают)
    Заранее спасибо за ответ.

  27. 27. Sosnovskij

    Никита, тизеры редко, но бывают, что косвенно влияют на ранжирование. Попробуйте снять их и посмотреть через 1-2 месяца на индексацию и динамику посещаемости.

  28. 28. Никита

    Вот снял, жду Апа, а он что то задерживается…

  29. 29. Павел

    По поводу карты сайта. Серёж, подскажи пожалуйста, какого вида ссылку нужно располагать для карты сайта — xml или html? почему спрашиваю за html — вижу что на очень многих сайтах sitemap именно с расширением html (или php) — это даёт оформить карту стилями css. (здесь sitemaps.org ничё похожего не нашёл).
    или как вариант — держать с двумя расширениями…
    спасибо.

  30. 30. Sosnovskij

    Павел, поисковыми системами приветствуются карты в формате .xml. Как дополнение можно сделать html-карту.

  31. 31. Сергей

    Скажите, Сергей, а не опасно ли закупать большое кол-во ссылок с твиттер-аккаунтов? Пусть даже с качественных?

  32. 32. Sosnovskij

    Сергей, не опасно, но, на мой взгляд, лучше плавно.

  33. 33. Лилия Зарипова

    Пытаюсь поднять свою группу вк в поисковых системах Яндекс и Google. Вывести из соплей группу вк.
    Так вот вопрос для группы вконтакте характерно такое понятие как page rank и ТИЦ ? Есть ли смысл покупать жирные ссылки для поднятия в поисковике google и яндекс группы вк? Плохо ли если внешние ссылки сайтов по тематике отличающихся от тем вашей группы? Нужно ли делать перелинковку внутри группы? Вообще хотелось бы от вас статейку на этот счет.

  34. 34. Sosnovskij

    Лилия Зарипова, page rank характерен для страницы. ТИЦ характерен для домена в целом.
    Внешние ссылки на страницу группы могут быть полезны. Желательно придерживаться тематики, но могут подойти и нетематичные ссылки. Внутреннюю перелинковку делайте для пользователей.

  35. 35. Лилия Зарипова

    Спасибо теперь все понятно ;-)

  36. 36. DINM

    Почему страницы выпадают из индекса?

    -потому что Яндекс мартышками делался.

    Для своего маленького сайта делал группу вконтакте, потом забросил полностью,

    яндекс стабильно мертвую группу ставит по некоторым запросам выше сайта.

  37. 37. Алексей

    По поводу 12 вопроса. Что значит фраза некорректные редиректы? И можно ли где- нибудь проверить сайт на снижение доверия со стороны поисковой системы?

  38. 38. Sosnovskij

    Алексей, некорректные редиректы, это, например, когда редирект ведет на несуществующую страницу.
    Снижение доверия со стороны поисковых систем можно наблюдать по снижению позиций (иногда резкому), снижению количество переходов с них.

  39. 39. Алексей

    А снижение позиций или количества переходов должно быть резким или бывает и плавным? Прогнал по куче разных сервисов проверки, все пишут, что все ок… Тем не менее четверть проиндексированных страниц выпало из индекса.

  40. 40. Sosnovskij

    Алексей, по-разному. Какие-то санкции показывают себя сразу, какие-то более хитрые постепенно.

  41. 41. Артем

    Возникла такая проблема, в google вебмастере показывает что 70+к страниц в индексе, а если смотреть саму выдачу тогда 1,4к страниц.
    Хотя раньше все было нормально и показывало верно.
    Может глюк какой то, в яндексе все отлично.

    • 42. Sosnovskij

      Google в поисковой выдаче часто показывает рандомные значения. Доверять больше нужно данным в search console.

Добавить комментарий

 

* Нажимая на кнопку "Добавить комментарий" я соглашаюсь с Политикой конфиденциальности.

Привет! А еще у меня есть телеграм-канал @sosnovskij. Туда я публикую чаще =).
Это короткие, но емкие посты по SEO: эксперименты, наблюдения, личный опыт. Заходите, читайте, подписывайтесь ;-) .