Как скрыть информацию от поисковой системы и можно ли аякс (ajax) считать клоакингом?

Всем привет! В недавнем посте про оптимизацию html-кода на блоге среди комментаторов появилось мнение, что вывод сайдбара через технологию ajax является обманом поисковой системы (им выдается контент отличный от того, что видит пользователь). Хотелось бы поподробнее на этом остановиться. Сегодня разберу методы "скрытия" информации от поисковых систем, которые мне известны, а также выскажу свое мнения насчет ajax и мнение Яндекса.

скрытие

Не все элементы на сайте являются полезными для поисковиков. В связи с уменьшением влияния ссылок на поисковую выдачу, появилась тенденция, когда взамен очередной закупки постовых, статей и так далее, ведутся работы на сайте (оптимизируется html-код, убираются неважные для поисковых систем элементы). Это в принципе полезно. Но появляется вопрос: "как безопасно скрыть или спрятать такие элементы?".

Методы скрытия информации от поисковых систем

1) Тег <noindex>. Его понимает только Яндекс, и он используется только для текста. Не универсальный метод.

2) Атрибут rel="nofollow" тега a. Используется только для ссылок. Ссылка с таким атрибутом не должна учитываться поисковой системой. Но тут получается такая картина. Ссылка не учитывается поисковиком, по ней вес не перетекает, но этот вес растворяется впустую. То есть для внутренних ссылок rel=nofollow использовать смысла нет. Только для внешних.

3) Flash. Сейчас эту технологию постепенно начинают понимать поисковые системы. Хотя сложные варианты еще не индексируются. Не универсальный метод, сложный и, как правило, flash много весит.

4) Javascript. Простые яваскрипты (или джава скрипты - не знаю, как правильно произносится и пишется) сейчас индексирует Google. Сложный javasript - хороший метод для того, чтобы что-то скрыть от поисковой системы. На всякий случай папки вызова скрипта необходимо закрыть от индексации в robots.txt.

5) Ajax. Как я понял, по сути аякс - это и есть сложный javascript, который работает еще и с XML. Поисковые системы не умеют индексировать Ajax.

Таким образом, получается, что универсальным методом скрытия каких-то элементов от поисковиков является сложный javasript или ajax. Я ничего не пропустил :smile:?

Возникает другой вопрос: "А не является ли все это клоакингом? Пользователю и поисковой системе показывается разный контент."

Ajax и клоакинг

ajaxОтвет на этот вопрос является немного философским ;-). Что является клоакингом? Это когда мы пользователю и поисковой системе отдаем разный контент. Вычисление поисковых систем может быть по ip или по user agent. То есть какой-то скрипт или еще что-то из общего числа посетителей выбирает поисковых роботов и пауков, выдавая им "выгодный код (контент)".

В случае с аяксом или сложными javascript дело обстоит совершенно по-другому. И пользователю, и поисковой системе выдается один и тот же контент и код. Другой момент, что аякс поисковые системы проиндексировать не могут. Видна разница? В одном случае мы специально выискиваем и подсовываем, в другом - выводим одно и то же для всех без исключения.

Это мое понимание. Чтобы убедиться в своих мыслях, я отправил сообщение в службу поддержки Яндекса.

Здравствуйте. У меня возник вопрос по использованию аякса (ajax) на сайте. Дело в том, что на одном ресурсе планируется вывод боковых колонок через ajax. В них находятся элементы, которые интересны пользователям, но для поисковых систем имеют посредственное значение. Яндекс еще не умеет индексировать ajax.

Будет ли использование ajax расценено Яндексом, как клоакинг, когда пользователю показывается одно, а поисковая система видит другое? Или же это безобидный способ немного облегчить сайт для поискового робота?

Буду признателен за ответ. С уважением, Сергей.

Довольно быстро получил ответ.

Не беспокойтесь, Сергей, если ничего плохого в этих блоках нет, то никаких санкций к сайту применяться не будет.

Категории, опросы, ссылки на внутренние страницы - все это не считаю за блоки, в которых есть что-то плохое :smile:. Какие у вас мысли на этот счет?

Рейтинг
1 звезда2 звезды3 звезды4 звезды5 звезд (11 голос., в среднем: 3,91 из 5)
Загрузка...
Аудит сайта

Найду причины, мешающие продвижению сайта. Подготовлю рекомендации, которые позволят увеличить трафик и конверсию. Составлю стратегию развития. Помогу с внедрением.

От 19000 руб.
Продвижение

Комплексное развитие проектов по актуальным направлениям в SEO. Используются методики, имеющие стабильный долгосрочный эффект (без накруток и спама).

От 25000 руб.
Консультации

Консультирую по вопросам поисковой оптимизации, продвижения сайтов. Лучший способ узнать мое подробное мнение по волнующей задаче/проблеме. Конкретные ответы на конкретные вопросы.

От 5000 руб.
Отзывов уже 50:
Написать комментарий
  1. 1. Владелец seo-блогалища

    Ага, можно, а как жеж?.. :/

  2. 2. Владелец seo-блогалища

    А руки-то у пари волосатые.

  3. 3. acsession

    Сергей, когда же будет реализация кода на аякс для народа???

  4. 4. Webliberty

    Теперь осталось только узнать техническую сторону этого вопроса — как именно исполнить данную технологию скрытия части кода от поисковых систем :smile: С моральной разобрались, Яндекс утешил)

  5. 5. Anton

    Так все просто же. JS-вызовы можно сразу увидеть на сайте. То, что возвращает ajax-запрос тоже можно увидеть сразу. Остается написать backend-скрипты, которые будут выводить меню.

    Элементарно!)

  6. 6. Антон

    дело ясное что дело темное, одной четкой системы для поисковиков еще нет

  7. 7. Anton

    Например, если посмотреть JS-код то видно, что сайдбар находится по адресу sosnovskij.ru/sidebar/, откуда и достается через вызов $.load().

  8. 8. Дмитрий

    Не, ну санкций то не будет, а вот будет ли толк? Вот в чем вопрос? Мне так кажется, что поисковики и так используют в своем алгоритме отделение зерен от плевел, т.к. ранжируют тексты статей без обвеса (шапки, футера и сайдбара). Ну или учитывают обвес, но с очень малым коэффициентом влияния. Это чистое ИМХО, но вот, почему то сложилось у меня такое мнение.

  9. 9. BlogerMen

    Поисковым системам нужно придумать какой либо универсальный метод, так как пока этого не будет, все равно будут идти громкие споры и разногласия

  10. 10. Станислав

    Правильно вы написали — клоакинг — вычисление роботов ПС по ip, а аякс ничего общего с этим не имеет. Кроме того, и поддержка яндекса ответила, что плохого ничего нет.

  11. 11. Андрей

    А как же блок новостей (для продажи ссылок) в сайдбаре, которые не выводятся на главной. Не замедлит ли это индексацию?

  12. 12. Антон

    думаю ничего страшного….

  13. 13. Bulat

    Спасибо, что уточнил у яндексоидов :)

  14. 14. UT3Player

    «Но тут получается такая картина. Ссылка не учитывается поисковиком, по ней вес не перетекает, но этот вес растворяется впустую.» — так зачем ссылки тогда скрывать вообще? Типа, если не мне, то никому?

  15. 15. natkalin

    Когда нужно было скрыть меню, я отправилась читать официальные хелпы Яндекса и Гугла. Нашла только один вариант, который они обещают не индексировать ни при каких обстоятельствах, даже когда научатся читать сложные скрипты — метатег noindex. Меню вынесла на отдельную страницу, закрыла метатегом, вставила ее фреймом в шаблон. ПС не проиндексировали. Нарушением это не может быть так как они сами рекомендуют испольковать метатег для страниц, которые я не хочу показывать ботам.

    Но Аякс — звучит красивше. ;-)

  16. 16. Вит

    А как на счёт контента в display:none?
    То же меню или переключатели любые с формами, местами и текстами, которые могут повлиять на ранжирвоание?

  17. 17. Хайпер

    Что ж, раз тут ИМХИ выслушиваются.. :)
    Аякс (Жаваскрипт), размышляя логически, не будет клоакингом. Как правильно замечено, отдаваемый контент не зависит ни от юзерагента, ни от IP или других качеств посетителя. А уж если стоит запрет на индексирование — это полное право администратора сайта.
    Но для запрета индексации не стоит углубляться в сложность скриптов — даже самые сложные скрипты когда-нибудь обработают поисковые боты, и вылезет в выдачу всё то, что явно не закрыто от индексации.
    Вердикт. Для сокрытия информации кладём её в папку secret, закрываем от индексации в robots.txt или meta, и вызываем любым удобным способом: JS, Ajax, jQuery, iframe.. За исключением, конечно, include :)

  18. 18. Дмитрий

    Был у меня один забавный случай, разрабатывал я как-то сайт для одной газеты. Ничего особенного — взял готовый шаблон, разработал логотипы, немного подчистил, немного изменил и готово.
    Никаких действий по раскрутке сайта не делал, то есть вообще, ни одной ссылки не было закуплено, даже по каталогам сайт не проганял, а через пару месяцев зашел на сайт и был приятно удивлен — гугл на ровном месте выдал сайту pr=3.
    Так это я к чему, тут 2 варианта — либо гугл так раздобрел из-за того, что сайт представляет реальное СМИ, либо из-за того, что сайтбар там был на ajax’e и внутренняя перелинковка шла без лишнего распыления.
    Других вариантов я не вижу, так что думаю теперь на всех своих проектах тоже такое проделать, а вдруг действительно сработает.

  19. 19. TiamatInc

    Хм… а вам не показался странным ответ от Платонов? Ведь из него следует, что Яша может разобрать, что есть в закрытом Аяксом контенте. ;-)

  20. 20. Sosnovskij

    acsession, Dimox вроде обещал. Я писал, что сам это не умею :smile: .
    UT3Player, внутренние ссылки смысла нет. Внешние — чтобы не было внешних ссылок.
    natkalin, страница с меню, которая содержит метатег noindex просто инклюдом подключается? Интересный вариант. Я думал, что метатег noindex только для конечных страниц :smile: .
    Вит, не совсем понял вопроса.
    Андрей, на главной странице сайдбар не выводится через аякс.

  21. 21. Антон

    у гугла есть какой-то стандарт индексации сайтов с аяксом и вообще гугл индексирует текст, выводимый джаваскриптом.
    А яндекс такой яндекс

  22. 22. Sosnovskij

    Антон, не знаю, мой сайдбар google не проиндексировал.

  23. 23. Kartograff

    Ajax вроде даже гуглом пока не индексируется. Спасибо за статью, было интересно. :idea:

  24. 24. SEO-Дилетант’ка

    Хотела ещё к прошлой статье комментарий оставить по поводу клоакинга с точки зрения Google, да оставлю здесь. Хоть уже и ответ известен :smile: . В любом случае, надеюсь, будет полезно. В руководстве по поисковой оптимизации Google, если его внимательно читать, сам Google пишет, что вы можете скрыть от поискового робота любую информацию, которую считаете бесполезной для поисковика, но запрещено что-либо скрывать от пользователей.

  25. 25. LaLa

    Из-за того, что левый блок теперь грузиться отдельно у вас сейчас он начал вылазить в поиске как отдельная страница.

    на 5 месте ссылка sosnovskij.ru/sidebar/

  26. 26. getlife

    Sosnovskij, в данном виде полезность статьи очень мала. Ты бы лучше провел полномасштабный эксперимент (на нескольких сайтах) по скрытию меню несколькими способами и с анализом результатов через неделю-две-месяц.

  27. 27. mifist_666

    Сейчас ПС AJax не индексируют. Может в будущем смогут) Идея хороша, надо подумать над ее реализацией)

  28. 28. Железный Арни

    :razz: пошел писать шабы для пандоры с аяксом ;-)

  29. 29. Музыкант

    Ajax вроде даже гуглом пока не индексируется. Спасибо за статью, было интересно.

    ДА пока. Но время идёт и эти поисковые машины скушают весь сайт) Даже где Ajax

  30. 30. Анатолий

    да, флэш закрывает, а вот ноиндекс уже неизвестно даже

  31. 31. Sosnovskij

    LaLa, спасибо. Забыл его в robots.txt закрыть :smile: .

  32. 32. Денис

    Довольно не плохой этот аджакс на Dle,только клоакинг раскусил молодец.

  33. 33. Elena

    Мы от них закрываем, а поисковики еще что-нибудь придумают.
    Но тема очень нужная, спасибо.

  34. 34. Интернет двигатель

    кто нибудь видел прикольное видео как яндекс рассказывает что такое файл роботс)) :x

  35. 35. Shestov

    5) Ajax. Как я понял, по сути аякс – это и есть сложный javascript, который работает еще и с XML. Поисковые системы не умеют индексировать Ajax.

    Гугл с недавних пор уже умеет и индексирует.

  36. 36. Sosnovskij

    Shestov, у меня пока не индексирует. :smile:

  37. 37. Shestov

    Sosnovskij, Пока идут тесты в Америке. Скоро и до нас доберется.
    сама новость goo.gl/SFgCz

  38. 38. Dimox

    Написал статью, для тех, кто хочет сделать AJAX-загрузку на своем WordPress-сайте — dimox.name/downloading-of-the-content-on-wordpress-with-ajax/

  39. 39. Свой

    :grin: у меня клиентский сайт на аяксе … он конечно индексируется поисковиками … но очень медленно … и как-то непонятно … 10 страниц в яше и 9 в гугле ..хотя на нём 297 страниц по карте … и ссылок на него уже понаставленно … короче аякс гадость … себе делать сайт на аяксе не стал бы … ужасно для сео

  40. 40. Sosnovskij

    Свой, в статье я говорю о реализации вывода некоторых частей сайта на аяксе, а не всей страницы :smile: .

  41. 41. Алькор

    Ну с Яндексом понятно, а как к этому относится Гугл?

  42. 42. Sosnovskij

    Алькор, большая вероятность того, что также как и Яндекс.

  43. 43. Валодя

    Хайпер, Полностью согласен!

  44. 44. oskvernitel

    А где сама процедура «спрятывания» :twisted:
    Как это сделать, где информация?

  45. 45. Sosnovskij

    oskvernitel, в комментариях написано dimox.name/downloading-of-the-content-on-wordpress-with-ajax/

  46. 46. oskvernitel

    Sosnovskij, я уже нашёл у него и опробовал, спасибо! :mrgreen:

  47. 47. Любомир

    Статья про то как закрыть, а информации нету…

  48. 48. Sosnovskij

    Любомир, это почему же? :) Аж 5 пунктов.

  49. 49. Pavel587

    Вот вы активно обсуждаете Ajax клоакинг, а про маскировку при помощи php совсем в расчет не берете. А ведь, было бы интересно изучить опыт применения php клоакинга, скажем, при торговле ссылками в биржах. Вот ещё нашел кое-какие мысли по поводу клоакинга — artinblog.ru/seo/39-kloaking-legalnaya-maskirovka-ili-chernoe-seo.html

  50. 50. Sosnovskij

    Pavel587, в данном случае ajax — это не клоакинг. В основном, все случаи с клоакингом, когда-нибудь да раскрываются, поэтому данный метод не дальновиден.

Добавить комментарий

 

* Нажимая на кнопку "Добавить комментарий" я соглашаюсь с Политикой конфиденциальности.

Привет! А еще у меня есть телеграм-канал @sosnovskij. Туда я публикую чаще =).
Это короткие, но емкие посты по SEO: эксперименты, наблюдения, личный опыт. Заходите, читайте, подписывайтесь ;-) .