Почему страницы выпадают из индекса или ответы на вопросы №14
Всем привет! Пока я выбираю фотографии для следующего поста с моего отпуска, решил разбавить "отдыхательный" контент новым выпуском вопросов от читателей и моими ответами на них.
Сегодня будет 12 вопросов по темам индексации, обхода негативных отзывов, обратных ссылок, внутренней оптимизации и так далее. Приглашаю к прочтению.
Кликайте по понравившемуся вопросу и попадете на его полную версию с моим ответом. В общем, как обычно .
- Нужно ли закрывать всплывающие окна тегом noindex?
- Как получить ссылку с "черного" каталога, не размещая обратную?
- Как увеличить количество страниц в основной выдаче Google?
- Может ли исправление ошибок и улучшение перелинковки навредить веб-проекту?
- Как проверить сайт на вирусы?
- 5000 уников в сутки на 5-ти месячном сайте. Не рано ли ставить контекстную рекламу?
- Сколько в индексе будет держаться размноженный текст?
- Передают ли вес ссылки с площадок другого региона?
- Как шаблон проекта влияет на ранжирование?
- Как из выдачи убрать негативные отзывы о компании?
- Можно ли ссылками из твиттера вернуть страницу в индекс?
- Почему страницы выпадают из индекса?
1. На сайте имеется несколько всплывающих окон, которые реализованы на чистом CSS: окно регистрации, авторизации, окно сообщения об ошибках. К примеру, чтобы проголосовать необходимо авторизоваться через всплывающее окно. Подскажите, необходимо ли закрывать данные окна в noindex?
Содержание данных всплывающих окон можно закрыть тегом noindex, чтобы содержащийся в них текст, не учитывался при ранжировании в Яндексе, а также не выводился в сниппете поисковой выдачи. Полезную информацию для поисковиков данные элементы не содержат.
2. Мы с одним моим знакомым примерно в одно время создали сайты. После последнего апдейта у него ТИЦ поднялся до 20-ти. Я решил посмотреть обратные ссылки на его сайт и увидел, что он зарегистрирован во множестве говнокаталогов. Я попробовал зарегистрироваться в парочке из них. В некоторых пишут прямо сразу, что нужно оставить код обратного линка еще до регистрации и дальше не пропускают из-за этого. Это конечно, 100% черные каталоги, но как он в них смог зарегистрироваться без обратки? Я смотрел его проект, там нет никаких ссылок на страницах. Искал "помойку линков" через закрытые от индексации страницы в Роботс, но и там ничего нет.
С каталогами я плотно никогда не работал, а с "черными" тем более, но причины такой ситуации могу объяснить несколькими вариантами:
- в данных каталогах есть "дыры", которые позволяют обходить проверку;
- возможно, обратную ссылку на директорию сайтов нужно поставить 1 раз только для акта проверки;
- обратный линк отдается только роботу каталога, который проверяет его наличие.
- возможно, он недавно снял ссылки или удалил страницу с ними, а директории еще не успели проверить их наличие.
Может быть, есть еще какие-то причины.
3. На главной порядка 30 ссылок на внутренние публикации. В Гугле при запросе site:domain.ru показывается достаточно большое количество страниц. При запросе site:domain.ru/& показываются только те страницы, ссылки на которые есть с главной. То есть получается, что у меня в основном индексе всего 30 документов, а остальные в дополнительном, который учитывается в меньшей степени. Подскажите, в чем можете быть причина? Что-то закрыл лишнее в robots?
Robots.txt здесь точно не причем . Если бы проблема была в нем, то гугл в принципе не смог бы проиндексировать страницы. На количество документов в дополнительном индексе Google влияют несколько факторов:
- Качество документа;
- Качество сайта/уровень доверия со стороны гугла;
- PageRank (совокупность внутренней и внешней важности страницы)
Если, например, страница имеет внутренние или внешние дубли и на нее практически не ведут внутренние и внешние ссылки, то с большой долей вероятности можно утверждать, что она попадет в так называемые "сопли".
В приведенном примере 30 документов, которые находятся в основном индексе, скорее всего, существуют там за счет линков с главной. Я, кстати, как-то проводил эксперимент по выводу страниц из Google Supplemental Index. Вернуть в основной индекс большинство документов мне как раз помогли внутренние ссылки.
Улучшение качества контента, удаление дублей, корректная внутренняя структура проекта, качественная обратная ссылочная масса - все это поможет значительно увеличить количество документов в основном индексе Google.
4. У меня есть блог. Возраст - 4 месяца. Показатели практически нулевые. На нем размещено 100 статей. Только они с грамматическими ошибками. У меня возникло желание исправить все ошибки, и улучшить внутреннюю перелинковку. Вопрос: "Можно редактировать все страницы или такие действия могут навредить?"
В большинстве случаев мероприятия, связанные с улучшением веб-проектов, сказываются положительно (как со стороны пользователей, так и со стороны поисковых систем). Исправление грамматических ошибок, улучшение внутренней перелинковки ресурсу не навредят.
5. Ты как сайт на вирусы проверяешь? Сегодня пришло письмо, что на ресурсе обнаружен опасный код, хотя на нем уже с месяц ничего не делал. Теперь даже и не знаю, как его найти и удалить.
UPD. Специально для проверки сайтов на вирусы существует бесплатный скрипт для поиска вирусов, троянов, backdoor, хакерских активностей на хостинге - AI-bolit.
Вообще, на хостинге должен стоять штатный антивирус. Если он как-то пропустил вредоносный код, то можно скачать весь проект к себе на компьютер и проверить его уже своим проверенным десктопным антивирусом.
Также можно походить по сайту и антивирус должен "ругаться" на наличие вредоносного кода. Как правило, указывается тип вируса и объект, который его вызывает. В этом объекте и стОит искать вирус. Примерно тоже самое выдают и Яндекс.Вебмастер с Google Webmaster.
Для проверки сайта на наличие вируса дополнительно можно использовать специализированные онлайн-сервисы:
Обязательно нужно будет поменять пароли (на сложные) от доступов к хостингу, административной панели, базы данных. Если используется мелкий и непопулярный хостинг, то, возможно, проблема в нем.
6. У меня есть сайт с такими показателями: возраст 5 месяцев, Тиц=10, траст по xtool=6. Посещаемость 5 000 уникальных посетителей в сутки. Но после создания из-за ошибок Яндекса он попадал 2 раза под фильтры. Стоит ставить на него контекстную рекламу или еще рано?
Несмотря на юный возраст ресурса, его посещаемость позволит неплохо зарабатывать на контекстной рекламе. Я считаю, что ставить уже не рано. Единственное, нужно аккуратно вписать рекламные объявления и не делать рекламу агрессивной. В таком случае, можно не переживать за ее нахождение на проекте .
7. Я размножил статью: тираж 100, шингл 5. Не знаете ли, сколько в среднем ссылок останется в индексе через полгода-год?
По этим данным сложно назвать какую-то определенную цифру. Собственно, даже и примерную. Многое будет зависеть от качества размноженного контента, самого размножения и площадок, на которых он будет размещаться.
8. Я продвигаю проект московского региона. Если закупать ссылки с ресурсов других регионов, они будут давать вес?
Существуют такое предположение, что ссылки с "местных" площадок положительнее влияют на ранжирование, чем линки с ресурсов других регионов при прочих равных условиях. Оно в принципе логично. Другое дело, что линки с проектов других регионов также будут давать вес. Качество ссылки во многом зависит не от региона, а от качества площадки, на которой она опубликована.
9. Сделал себе блог. Он еще молодой. Поставил немного нестандартный шаблон. Хотел бы узнать, как такой шаблон влияет на индексацию? И в плане поисковых машин, будет нормальным использовать такой шаблон?
По моему опыту, шаблон для блога не сильно влияет на ранжирование. Главное, чтобы была соблюдена основная структура, связывающая все страницы проекта, чтобы он был без вредоносного кода и не содержал серьезные ошибки. В некоторое подтверждение можно привести результаты эксперимента "как влияет уникальный дизайн на ранжирование в поисковых системах".
10. Есть такая неоригинальная задачка. На нескольких сайтах отзывов о работодателях появились заказные негативные отзывы на фирму, в которой я работаю. Самый главный негатив идет с проекта orabote.net. Но и еще на паре ресурсах запросы вылезли в топ 10, несмотря на их низкое качество.
Эти отзывы находятся в Яндексе в топ 1 по запросу "название компании отзыв" и в топ 4 по запросу "название компании". Поставлена задача за 2 месяца убрать эти отзывы из ТОП 20 во всех поисковиках. В гугле и бинге эти отзывы тоже в топе. Как такое организовать в такие сроки?
Как вариант это размещение 30-40 статей, пресс-релизов, исследований и так далее на авторитетных площадках этой же тематики или, например, на крупных новостных проектах. Контент постараться сделать релевантным запросам, по которым "плохие" ресурсы вылезают в ТОП 20. За счет траста площадок данные публикации должны занять хорошие позиции во всех поисковых системах (2 месяца должно хватить) и потеснить "плохие" страницы вниз. Возможно, на некоторые публикации будет необходимо приобрести небольшое количество ссылок.
11. Если ссылки из гогетлинкс выпали из индекса яндекса, можно ли их вернуть в индекс с помощью твитера? Или яндекс запоминает то, что он выкидывал?
Яндекс, конечно, запоминает, когда страница была в индексе, и когда ее не было. Выпадение веб-документов из индекса происходит по разным причинам. В данном случае, твиттер сможет послужить ускорителем для того, чтобы робот яндекса быстрее снова посетил страницу. В некоторых ситуациях это сможет помочь ее возврату в индекс. Еще важным критерием будет качество твиттер-аккаунта.
12. Какие могут быть причины выпадения страниц из выдачи? Яндекс может проиндексировать страницу, а ссылку нет? Как мне это проверить?
Причин выпадения документов из индекса поисковых систем, на самом деле, несколько:
- плохое качество контента;
- снижение доверия поисковой системы к ресурсу в целом;
- продажные ссылки;
- недоступность сайта;
- ошибки: некорректность в robots.txt, в мета-теге robots, некорректные редиректы.
Проверить проиндексировалась ли ссылка поисковой системой или нет можно, посмотрев кэшированную версию страницу. Если она там есть, то значит поисковик знает о ней.
Вот и все! Жду ваши отзывы, мысли и дополнения .
Что касается 6 вопроса, а можно еще и баннеры размещать так, чтобы не мешать посетителю читать основной контент. Ну например, как у вас.
Вопросы с каждым разом проще и проще
Спасибо за советы, кое, что узнал для себя новенького!
Александр, задайте сложный
По 5 вопросу. Весьма вероятно, что предложенный вами способ вообще не даст результатов. Вредоносный код надо искать по признакам «@base64_decode», «preg_replace», файлы index.php не в корне сайта и т.п. Есть даже тулзы для поиска вредоносного кода на сайте. А штатные антивирусные программы, как правило, бесполезны.
«Яндекс, конечно, запоминает, когда страница была в индексе, и когда ее не было.»
Из недавней переписки с Платоном (в индексе долгое время была только главная, поэтому написала в саппорт):
«В настоящее время невозможно выяснить, почему Ваш сайт отсутствовал в поиске, так как мы не храним подобную информацию. В ближайшее время он должен начать индексироваться и затем сможет появиться в поиске.»
Хранят когда и не хранят почему? Или как это понимать?
Спасибо! Хорошая статья особенно пункт 10 очень понравился.
на сайт с яши 1500 посетителей в сутки идет, а с гугла и сотни нет, в чем причина?
Михаил, видел бесплатный скрипт, который ищет вирусы конкретно на сайтах. Он совершенно вылетел из головы. О каких тулзах вы говорите?
Татьяна, странный на самом деле ответ. Возможно, это не хранится в доступном для Платонов виде. Алгоритм яндекса обучается на своем опыте и, не храня такие данные, он лишается большого костяка полезной для него информации.
xppx, тяжело дать ответ, не видя сайта. Сейчас с гуглом становится все интересней.
xppx.org
revisium.com/ai/ вот ссылка. не сочтите за рекламу
xppx, вообще, для таких ответов нужно проводить детальное исследование. Домен с историей (использовался до сегодняшнего проекта). Как вариант, гуглу что-то не нравилось в прошлом ресурсе.
Михаил, оно! Спасибо Добавил в пост.
не понял
познавательно, но читать пост жутко не удобно. Или я старомоден.
Вячеслав, что не понятно?
guz, почему не удобно?
Не зря потратил время. Все понятно изложено. Спасибо за статью.
имя, А вот баннеры добавлять я бы не советовал. Так как к РСЯ поисковики относятся совершенно нормально, а к баннерам отношение жестче.
Пункт 5, про вирусы, очень актуален!
Михаил, поддерживаю. Недавно была заражена уйма сайтов на WP — проблема была в том, что во время движок не обновил, и появилась на всех сайтах странная тема — mycinema — проблема была в ней — тема была сплошной ШЕЛ. спалил все это дело после того как все сайты стали перенаправлять на порно… а спалил — unix функцией find, зашел на хостинг через putty по ssh
а именно, может кому пригодится:
find . -type f -name «*.php*» -exec grep -i -H «base64_decode(» {} \; > find_vir.txt
так что теперь пару полезных уроков для себя усвоил) всегда обновляйся, никогда не используй простые пароли и особенно логин администратора admin!
А мне про твитер понравилось. Тоже думал заняться продвижением именно через соц. сети, а не оставлять ссылки в каталогах не по теме.
У меня индексируется только главная страница. но я не переживаю. Все статьи у меня на главной. А статические страницы не обязательны. Или я не права?
Тамара, важно, чтобы у сайта индексировались все (или как можно больше) страниц, если он не состоит только из одной главной.
У меня тоже с сайтом прям беда какая то, количество страниц вечно прыгает, и не поднимается больше 1000 страниц (на сайте 10.000 страниц) гугл всё кушает без проблем, но яндекс… это качели — 300, 600, 1000 и опять 300. Подскажите пожалуйста что это может быть?
Никита, попробуйте добавить сайт в Яндекс.Вебмастер. Он сможет показать проблемы с индексацией ресурса. Также положительно на индексацию может повлиять карта сайта, хорошая внутренняя перелинковка, качество контента, внешние ссылки.
Спасибо за советы, внутренняя перелинковка вроде нормальная (стандартная DLE) Карта сайта html есть, качество контента вроде бы нормальное, но на сейте не только я пишу статьи, но и журналисты (часто копипаст мелькает) внешние ссылки вроде есть пока пытался улучшить индексацию сайта получил Тиц 20.
Скажите, а нет ли фильтра какого такого?
Помню раньше была и индексация нормальная (хотя был чистый копипаст) и посещаемость была более менее. Но после того как я установил «тизернет» резко упала посещаемость и индексация остановилась. (новые страницы входят в индекс а старые вылетают)
Заранее спасибо за ответ.
Никита, тизеры редко, но бывают, что косвенно влияют на ранжирование. Попробуйте снять их и посмотреть через 1-2 месяца на индексацию и динамику посещаемости.
Вот снял, жду Апа, а он что то задерживается…
По поводу карты сайта. Серёж, подскажи пожалуйста, какого вида ссылку нужно располагать для карты сайта — xml или html? почему спрашиваю за html — вижу что на очень многих сайтах sitemap именно с расширением html (или php) — это даёт оформить карту стилями css. (здесь sitemaps.org ничё похожего не нашёл).
или как вариант — держать с двумя расширениями…
спасибо.
Павел, поисковыми системами приветствуются карты в формате .xml. Как дополнение можно сделать html-карту.
Скажите, Сергей, а не опасно ли закупать большое кол-во ссылок с твиттер-аккаунтов? Пусть даже с качественных?
Сергей, не опасно, но, на мой взгляд, лучше плавно.
Пытаюсь поднять свою группу вк в поисковых системах Яндекс и Google. Вывести из соплей группу вк.
Так вот вопрос для группы вконтакте характерно такое понятие как page rank и ТИЦ ? Есть ли смысл покупать жирные ссылки для поднятия в поисковике google и яндекс группы вк? Плохо ли если внешние ссылки сайтов по тематике отличающихся от тем вашей группы? Нужно ли делать перелинковку внутри группы? Вообще хотелось бы от вас статейку на этот счет.
Лилия Зарипова, page rank характерен для страницы. ТИЦ характерен для домена в целом.
Внешние ссылки на страницу группы могут быть полезны. Желательно придерживаться тематики, но могут подойти и нетематичные ссылки. Внутреннюю перелинковку делайте для пользователей.
Спасибо теперь все понятно
Почему страницы выпадают из индекса?
-потому что Яндекс мартышками делался.
Для своего маленького сайта делал группу вконтакте, потом забросил полностью,
яндекс стабильно мертвую группу ставит по некоторым запросам выше сайта.
По поводу 12 вопроса. Что значит фраза некорректные редиректы? И можно ли где- нибудь проверить сайт на снижение доверия со стороны поисковой системы?
Алексей, некорректные редиректы, это, например, когда редирект ведет на несуществующую страницу.
Снижение доверия со стороны поисковых систем можно наблюдать по снижению позиций (иногда резкому), снижению количество переходов с них.
А снижение позиций или количества переходов должно быть резким или бывает и плавным? Прогнал по куче разных сервисов проверки, все пишут, что все ок… Тем не менее четверть проиндексированных страниц выпало из индекса.
Алексей, по-разному. Какие-то санкции показывают себя сразу, какие-то более хитрые постепенно.
Возникла такая проблема, в google вебмастере показывает что 70+к страниц в индексе, а если смотреть саму выдачу тогда 1,4к страниц.
Хотя раньше все было нормально и показывало верно.
Может глюк какой то, в яндексе все отлично.
Google в поисковой выдаче часто показывает рандомные значения. Доверять больше нужно данным в search console.