Как скрыть информацию от поисковой системы и можно ли аякс (ajax) считать клоакингом?
Всем привет! В недавнем посте про оптимизацию html-кода на блоге среди комментаторов появилось мнение, что вывод сайдбара через технологию ajax является обманом поисковой системы (им выдается контент отличный от того, что видит пользователь). Хотелось бы поподробнее на этом остановиться. Сегодня разберу методы "скрытия" информации от поисковых систем, которые мне известны, а также выскажу свое мнения насчет ajax и мнение Яндекса.
Не все элементы на сайте являются полезными для поисковиков. В связи с уменьшением влияния ссылок на поисковую выдачу, появилась тенденция, когда взамен очередной закупки постовых, статей и так далее, ведутся работы на сайте (оптимизируется html-код, убираются неважные для поисковых систем элементы). Это в принципе полезно. Но появляется вопрос: "как безопасно скрыть или спрятать такие элементы?".
Методы скрытия информации от поисковых систем
1) Тег <noindex>. Его понимает только Яндекс, и он используется только для текста. Не универсальный метод.
2) Атрибут rel="nofollow" тега a. Используется только для ссылок. Ссылка с таким атрибутом не должна учитываться поисковой системой. Но тут получается такая картина. Ссылка не учитывается поисковиком, по ней вес не перетекает, но этот вес растворяется впустую. То есть для внутренних ссылок rel=nofollow использовать смысла нет. Только для внешних.
3) Flash. Сейчас эту технологию постепенно начинают понимать поисковые системы. Хотя сложные варианты еще не индексируются. Не универсальный метод, сложный и, как правило, flash много весит.
4) Javascript. Простые яваскрипты (или джава скрипты - не знаю, как правильно произносится и пишется) сейчас индексирует Google. Сложный javasript - хороший метод для того, чтобы что-то скрыть от поисковой системы. На всякий случай папки вызова скрипта необходимо закрыть от индексации в robots.txt.
5) Ajax. Как я понял, по сути аякс - это и есть сложный javascript, который работает еще и с XML. Поисковые системы не умеют индексировать Ajax.
Таким образом, получается, что универсальным методом скрытия каких-то элементов от поисковиков является сложный javasript или ajax. Я ничего не пропустил 
?
Возникает другой вопрос: "А не является ли все это клоакингом? Пользователю и поисковой системе показывается разный контент."
Ajax и клоакинг
Ответ на этот вопрос является немного философским 
. Что является клоакингом? Это когда мы пользователю и поисковой системе отдаем разный контент. Вычисление поисковых систем может быть по ip или по user agent. То есть какой-то скрипт или еще что-то из общего числа посетителей выбирает поисковых роботов и пауков, выдавая им "выгодный код (контент)".
В случае с аяксом или сложными javascript дело обстоит совершенно по-другому. И пользователю, и поисковой системе выдается один и тот же контент и код. Другой момент, что аякс поисковые системы проиндексировать не могут. Видна разница? В одном случае мы специально выискиваем и подсовываем, в другом - выводим одно и то же для всех без исключения.
Это мое понимание. Чтобы убедиться в своих мыслях, я отправил сообщение в службу поддержки Яндекса.
Здравствуйте. У меня возник вопрос по использованию аякса (ajax) на сайте. Дело в том, что на одном ресурсе планируется вывод боковых колонок через ajax. В них находятся элементы, которые интересны пользователям, но для поисковых систем имеют посредственное значение. Яндекс еще не умеет индексировать ajax.
Будет ли использование ajax расценено Яндексом, как клоакинг, когда пользователю показывается одно, а поисковая система видит другое? Или же это безобидный способ немного облегчить сайт для поискового робота?
Буду признателен за ответ. С уважением, Сергей.
Довольно быстро получил ответ.
Не беспокойтесь, Сергей, если ничего плохого в этих блоках нет, то никаких санкций к сайту применяться не будет.
Категории, опросы, ссылки на внутренние страницы - все это не считаю за блоки, в которых есть что-то плохое . Какие у вас мысли на этот счет?
(11 голос., в среднем: 3,91 из 5)
Загрузка...
Загрузка ...
Продвижение статьями в бирже Miralinks: подробно и с примерами 
50 справочников компаний для бесплатного получения ссылок с общим ИКС 257000+ 
Чек-лист (60+ параметров) по анализу сайтов конкурентов: таблица и пример 
Ага, можно, а как жеж?.. :/
А руки-то у пари волосатые.
Сергей, когда же будет реализация кода на аякс для народа???
Теперь осталось только узнать техническую сторону этого вопроса — как именно исполнить данную технологию скрытия части кода от поисковых систем
С моральной разобрались, Яндекс утешил)
Так все просто же. JS-вызовы можно сразу увидеть на сайте. То, что возвращает ajax-запрос тоже можно увидеть сразу. Остается написать backend-скрипты, которые будут выводить меню.
Элементарно!)
дело ясное что дело темное, одной четкой системы для поисковиков еще нет
Например, если посмотреть JS-код то видно, что сайдбар находится по адресу https://sosnovskij.ru/sidebar/, откуда и достается через вызов $.load().
Не, ну санкций то не будет, а вот будет ли толк? Вот в чем вопрос? Мне так кажется, что поисковики и так используют в своем алгоритме отделение зерен от плевел, т.к. ранжируют тексты статей без обвеса (шапки, футера и сайдбара). Ну или учитывают обвес, но с очень малым коэффициентом влияния. Это чистое ИМХО, но вот, почему то сложилось у меня такое мнение.
Поисковым системам нужно придумать какой либо универсальный метод, так как пока этого не будет, все равно будут идти громкие споры и разногласия
Правильно вы написали — клоакинг — вычисление роботов ПС по ip, а аякс ничего общего с этим не имеет. Кроме того, и поддержка яндекса ответила, что плохого ничего нет.
А как же блок новостей (для продажи ссылок) в сайдбаре, которые не выводятся на главной. Не замедлит ли это индексацию?
думаю ничего страшного….
Спасибо, что уточнил у яндексоидов
«Но тут получается такая картина. Ссылка не учитывается поисковиком, по ней вес не перетекает, но этот вес растворяется впустую.» — так зачем ссылки тогда скрывать вообще? Типа, если не мне, то никому?
Когда нужно было скрыть меню, я отправилась читать официальные хелпы Яндекса и Гугла. Нашла только один вариант, который они обещают не индексировать ни при каких обстоятельствах, даже когда научатся читать сложные скрипты — метатег noindex. Меню вынесла на отдельную страницу, закрыла метатегом, вставила ее фреймом в шаблон. ПС не проиндексировали. Нарушением это не может быть так как они сами рекомендуют испольковать метатег для страниц, которые я не хочу показывать ботам.
Но Аякс — звучит красивше.
А как на счёт контента в display:none?
То же меню или переключатели любые с формами, местами и текстами, которые могут повлиять на ранжирвоание?
Что ж, раз тут ИМХИ выслушиваются..
Аякс (Жаваскрипт), размышляя логически, не будет клоакингом. Как правильно замечено, отдаваемый контент не зависит ни от юзерагента, ни от IP или других качеств посетителя. А уж если стоит запрет на индексирование — это полное право администратора сайта.
Но для запрета индексации не стоит углубляться в сложность скриптов — даже самые сложные скрипты когда-нибудь обработают поисковые боты, и вылезет в выдачу всё то, что явно не закрыто от индексации.
Вердикт. Для сокрытия информации кладём её в папку secret, закрываем от индексации в robots.txt или meta, и вызываем любым удобным способом: JS, Ajax, jQuery, iframe.. За исключением, конечно, include
Был у меня один забавный случай, разрабатывал я как-то сайт для одной газеты. Ничего особенного — взял готовый шаблон, разработал логотипы, немного подчистил, немного изменил и готово.
Никаких действий по раскрутке сайта не делал, то есть вообще, ни одной ссылки не было закуплено, даже по каталогам сайт не проганял, а через пару месяцев зашел на сайт и был приятно удивлен — гугл на ровном месте выдал сайту pr=3.
Так это я к чему, тут 2 варианта — либо гугл так раздобрел из-за того, что сайт представляет реальное СМИ, либо из-за того, что сайтбар там был на ajax’e и внутренняя перелинковка шла без лишнего распыления.
Других вариантов я не вижу, так что думаю теперь на всех своих проектах тоже такое проделать, а вдруг действительно сработает.
Хм… а вам не показался странным ответ от Платонов? Ведь из него следует, что Яша может разобрать, что есть в закрытом Аяксом контенте.
acsession, Dimox вроде обещал. Я писал, что сам это не умею
.
.
UT3Player, внутренние ссылки смысла нет. Внешние — чтобы не было внешних ссылок.
natkalin, страница с меню, которая содержит метатег noindex просто инклюдом подключается? Интересный вариант. Я думал, что метатег noindex только для конечных страниц
Вит, не совсем понял вопроса.
Андрей, на главной странице сайдбар не выводится через аякс.
у гугла есть какой-то стандарт индексации сайтов с аяксом и вообще гугл индексирует текст, выводимый джаваскриптом.
А яндекс такой яндекс
Антон, не знаю, мой сайдбар google не проиндексировал.
Ajax вроде даже гуглом пока не индексируется. Спасибо за статью, было интересно.
Хотела ещё к прошлой статье комментарий оставить по поводу клоакинга с точки зрения Google, да оставлю здесь. Хоть уже и ответ известен
. В любом случае, надеюсь, будет полезно. В руководстве по поисковой оптимизации Google, если его внимательно читать, сам Google пишет, что вы можете скрыть от поискового робота любую информацию, которую считаете бесполезной для поисковика, но запрещено что-либо скрывать от пользователей.
Из-за того, что левый блок теперь грузиться отдельно у вас сейчас он начал вылазить в поиске как отдельная страница.
yandex.ru/yandsearch?date=&text=%D0%A3%D0%B2%D0%B5%D0%BB%D0%B8%D1%87%D0%B8%D0%B2%D0%B0%D0%B5%D0%BC+%D0%BF%D1%80%D0%B8%D0%B1%D1%8B%D0%BB%D1%8C+%D0%BE%D1%82+Google+Adsense&site=&rstr=&zone=all&wordforms=all&lang=all&within=2&from_day=14&from_month=8&from_year=2011&to_day=14&to_month=9&to_year=2011&mime=all&numdoc=50&lr=213
на 5 месте ссылка https://sosnovskij.ru/sidebar/
Sosnovskij, в данном виде полезность статьи очень мала. Ты бы лучше провел полномасштабный эксперимент (на нескольких сайтах) по скрытию меню несколькими способами и с анализом результатов через неделю-две-месяц.
Сейчас ПС AJax не индексируют. Может в будущем смогут) Идея хороша, надо подумать над ее реализацией)
ДА пока. Но время идёт и эти поисковые машины скушают весь сайт) Даже где Ajax
да, флэш закрывает, а вот ноиндекс уже неизвестно даже
LaLa, спасибо. Забыл его в robots.txt закрыть
.
Довольно не плохой этот аджакс на Dle,только клоакинг раскусил молодец.
Мы от них закрываем, а поисковики еще что-нибудь придумают.
Но тема очень нужная, спасибо.
кто нибудь видел прикольное видео как яндекс рассказывает что такое файл роботс))
5) Ajax. Как я понял, по сути аякс – это и есть сложный javascript, который работает еще и с XML. Поисковые системы не умеют индексировать Ajax.
Гугл с недавних пор уже умеет и индексирует.
Shestov, у меня пока не индексирует.
Sosnovskij, Пока идут тесты в Америке. Скоро и до нас доберется.
сама новость goo.gl/SFgCz
Написал статью, для тех, кто хочет сделать AJAX-загрузку на своем WordPress-сайте — dimox.name/downloading-of-the-content-on-wordpress-with-ajax/
Свой, в статье я говорю о реализации вывода некоторых частей сайта на аяксе, а не всей страницы
.
Ну с Яндексом понятно, а как к этому относится Гугл?
Алькор, большая вероятность того, что также как и Яндекс.
Хайпер, Полностью согласен!
А где сама процедура «спрятывания»
Как это сделать, где информация?
oskvernitel, в комментариях написано dimox.name/downloading-of-the-content-on-wordpress-with-ajax/
Sosnovskij, я уже нашёл у него и опробовал, спасибо!
Статья про то как закрыть, а информации нету…
Любомир, это почему же?
Аж 5 пунктов.
Вот вы активно обсуждаете Ajax клоакинг, а про маскировку при помощи php совсем в расчет не берете. А ведь, было бы интересно изучить опыт применения php клоакинга, скажем, при торговле ссылками в биржах. Вот ещё нашел кое-какие мысли по поводу клоакинга — artinblog.ru/seo/39-kloaking-legalnaya-maskirovka-ili-chernoe-seo.html
Pavel587, в данном случае ajax — это не клоакинг. В основном, все случаи с клоакингом, когда-нибудь да раскрываются, поэтому данный метод не дальновиден.