Странный трафик в liveinternet
Привет, друзья! Все бывает в первый раз. Вот и я в первый раз пишу пост, находясь в поезде из Украины в Москву, где с девушкой провел отпуск. Но об этом в следующей статье. Сегодня же хочу поделиться странной историей с не менее странным трафиком, который уже не первый месяц "атакует" мой блог.
В конце ноября 2013 года в статистике liveinternet я заметил резкий рост посещаемости.
Но рост этот был обусловлен не увеличением переходов с поисковых систем или других сайтов. Резко увеличилась посещаемость переходов без ссылок и с закладок.
В liveinternet суть этих переходов следующая. Например, я нахожусь на сайт Яндекса, потом вбиваю в адресную строку google.ru и нажимаю Enter. Это и будет считаться переходом без ссылки или закладочным трафиком.
Посещаемость растет и надо бы радоваться. Но вот незадача. Обратите внимание, с каких сайтов увеличилось количество переходов. Среди них:
- mtoys.ua;
- breezfm.ru;
- столичный-мастер.рф;
- l2-home.ru.
Можно заметить, что это, мягко говоря, нетематические ресурсы. Да и тот же трафик с VK в естественных условиях не может так быстро подниматься. Посещаемость с закладок/без ссылки обычно происходит постепенно. Она является показателем популярности проекта среди реальных пользователей, а не, например, отражает любовь к сайту поисковых систем.
Появилось 3 вопроса:
- Что? В чем суть этого трафика, и как он может повлиять на сайт?
- Зачем? Кто этим промышляет и зачем эму нужно?
- Как избавиться от такой посещаемости?
Создав пару тем на форуме, к сожалению, не были точно установлены причины появления такого трафика и методы борьбы с ним. Пообщавшись с другом, также не были даны ответы на вопросы. Нашли только то, что это может быть так называемым реф. спамом, который использовался несколько лет назад. Суть его сводилась к тому, чтобы накрутить переходы с определенного сайта (как правило, они были краткосрочны или сводились только к запросу ресурса). Внутренние скрипты статистики (например, webstat) регистрировали их и выводили на определенной странице, которая могла индексироваться поисковыми системами (соответственно, активные и открытые ссылки индексировались). Данный момент поисковики довольно быстро прикрыли, да и папка webstat у меня давно запрещена к индексации.
Я решил начать копать дальше и написал письмо разработчику статистики liveinternet (Максиму Зотову), а также создал запрос в службу поддержки Яндекса о варианте негативного влияния данного трафика на ранжирование блога и способах борьбы с ним. Пока ждал ответ, стал анализировать структуру "новой посещаемости". Нашел некоторые примечательные факты:
1. Переходы были только на главную страницу блога.
2. Преимущественно трафик составляют женщины 35-44 г.
3. Увеличились возвраты. Это означает, что переходы делали одни и те же.
4. Преимущественно использовался Internet Explorer.
5. Упало количество просмотров на посетителя и время пребывания на сайте.
Средний портрет этого трафика – женщина 35-44, которая использует Internet Explorer 8, периодически заходит на главную страницу блога по вводу URL в адресную строку и быстро закрывает вкладку. Очень сильно напоминает автоматические переходы.
Пока я анализировал структуру посещаемости, пришел не менее странный ответ от Максима Зотова.
Максим почему-то решил, что этот трафик моих рук дело. Ну да ладно, спорить я не стал. Тем более я получил ответ, что фильтровать такую посещаемость нельзя.
Через несколько дней пришел ответ от Яндекса.
Что же получается? Трафик этот фильтровать нельзя, но негативно он на блог не влияет. Негативно он влияет только на восприятие статистики - искаженные данные.
Кто же это решил мне так оригинально насолить 
? Эта история без конца, потому что на данный момент так и не удалось избавиться от этой посещаемости. Пост создавался с целью описания ситуации и обращения к вам с несколькими вопросами. Кто-нибудь сталкивался с подобным? Смогли ли вы устранить последствия и понять, кто и зачем это делает? Буду признателен за ваши идеи, мысли и комментарии, которые, надеюсь, помогут для дальнейшего расследования 
.
(10 голос., в среднем: 5,00 из 5)
Загрузка...
Загрузка ...
Жида, как ты остох%ел или об адекватности людей в интернете и за его пределами 
От сложного к простому. Итоги уходящего 2016 года и планы на 2017 
Более 90% сайтов попадают под ФЗ №152. Как избежать штрафов? 
Траффик однозначно с ботов, видел такое неоднократно. Можно попробовать зафильтровать в статистике по совокупности параметров (источник, страница входа, поведение, регион и т.п.). В Метрике и Аналитиксе прокатит точно.
Мои мысли таковы — однозначно кто-то нагоняет ботовский траф, хотят понизить твой сайт в выдаче или вообще, школололо ддосом балуется…
Как бороться, ХЗ… Мне, однажды, когда ДДОСили мой сайт, помог сервис Clouflare… Там удобно все, можно банить по айпи, плюс система сама прогоняет траф через файерволл… Удобная панель упоавления, куча дополнений…
Пост конечно километровый по такой теме вышел.
Вкратце — это спам ботом. Делается выборка по IP и закрываются доступы через серверые настройки. PROFIT
Яндекс хоть и пишет что это не влияет, но и на домены под АГС он отвечает что «продолжайте развивать». Так что я бы рекомендовал делать выборку и блочить — делов на час.
У меня тоже несколько дней на блоге подобное было, можешь посмотрнеть на стату, открыта liveinternet.ru/stat/dimaberg.ru/
Ответ от Яндекса аналогичный.
Есть предположение, что это последствия тех самых технологий, которые используются для накрутки поведенческих факторов, одни сайты топятся за счёт получения таких вот заходов, а другие подымаются… у меня тоже есть куча заходов продолжительностью в 0 секунд и это далеко не боты ПС.
Интересное расследование, многих пугает отсутствие трафика, а Вас, Сергей, его излишки, правда, не качественные.
Чем на Украине занимались, в Крыму отдыхали или в столицу ездили на Евромайдан взглянуть? Зимой очень красиво на Западной Украине, на лыжах покататься, к природе поближе, красота….
Ключевое слово, «не должны повлиять»…
Здравствуйте, Сергей. думаю использовали что-то подобное livesurf.ru/
Страшная вещь, переход один стоит меньше копейки
Может кто-то таким образом тестирует влияние своего ботнета на общий траст в поисковиках, он ведь у твоего блога весьма неплохой, судя по посещалке.
Если вдруг твоему блогу заплохеет в яндексе или гугле, значит, негативное влияние есть, можно продавать услугу заваливания сайтов в выдаче)) И наоборот)
Получается, из ответа Яндекса, что накрутка трафика не является запрещенным методом?
У меня есть туристический сайт, так вот, некоторое время назад было что-то подобное. Продолжался скачек переходов в течение недели, теперь затихло.
Сергей, периодически наблюдаю подобные всплески трафика на некоторых своих сайтах. Обычно накрутка идет по 2-3 запросам-пустышкам.
Льют трафик в течение 3-4 суток, потом затишье на 1-2 месяца, потом опять повторяется то же самое. Уже раз 8 такое было, на обычный трафик это никак не повлияло, все осталось по прежнему.
Полагаю, что это сервисы, типа мовебо и подобных ему тестят на выборках как работает накрутка поведенческих.
Я бы поинтересовался у Максима Зотова, в какой именно системе участвует сайт. По его ответам складывается впечатление, что он знает, в какой конкретно системе участвует сайт.
А еще было бы интересно проследить по юзер-агентам, установлен ли в атакующих браузерах яндекс.бар. Насчет того, что переходы по запросу имени домена считаются закладочными впервые слышу, если честно, но точно могу сказать, то имя домена отлично откладывается в лирушке в поисковых запросах, когда сайт ищут по имени домена. Так что самый верный вариант накормить яндекс пустым поведенческим — это все-таки бар.
Поддерживаю, что используется это сервис, тестировал его сам когда то. там как раз аудитория женщины 35-50.
Скорее всего кто-то хотел опустить ваш сайт в выдаче за счёт большого некачественного трафа и отказов.
Попробуйте им написать, может они дают информацию, какие сайты у них откручивают, хотя сомневаюсь, что ответят.
Сергей, тебя кто-то невзлюбил!
Ты человек позитивный, поэтому кроме Арбайтена некому. Так что это он!
Ключевая фраза твоего поста — это ответ от Яндекса: «… такие переходы не должны негативно повлиять …». Прогнозирую, что сейчас «порча» прекратится (для Арбеитена нет смысла — Яндекс не на его стороне). Будь добр, если это действительно будет так , напиши здесь: «сканет, ты был прав».
странно, что ты вообще обращаешь на это такое большое влияние
я такие скачки наблюдаю регулярно на многих сайтах
к тому же кроме ливинтеренета, есть ли подтверждения в других статистиках? может это глюк?
завалить трафиком конкурента — это глупо должно быть.
Хотя может эксперименты кто-то и проводит.
Наверное: «внимание» — но не суть важно. Главное, что нецелевой трафик бъёт по поведенческим. Конечно, в пределах сайта, но и они влияют на корреляцию данных как минимум в Яндекс, если установлен счетчик метрики.
Дмитрий, поддерживаю. Именно так бы я и боролся. Смотрим с каких ip-сетей заходят, еще пригодится то, что все заходят из IE. Для блокировки создаем запрещающее правило в htaccess тем, кто имеет указанные ip и useragent одновременно.
Владимир, плюс добавить блокировку входа именно на главную страницу. То есть будут блокироваться посетители если есть три совпадения: посетитель заходит из указанного диапазона ip, из под браузера IE и на главную страницу. Плюс дополнительно можно заблокировать переходы с определенных сайтов (HTTP_REFERER), опять таки через тот же htaccess.
Анастасия, а с чего вдруг это станут запрещать? Какой смысл в накрутке трафика, кроме как в заработке на показах рекламы? Не трафик накручивают обычно, а поведенческие. В данном случае происходит их ухудшение.
Встречал несколько похожих тем в инете, Яндекс всем отвечает, чтобы не парились по этому поводу
Интересненько, а я думал у вас посещаемость поднялась… Кому-то видимо совсем делать нечего и скорее всего они на это и деньги тратят =)
SLANET, А почему так категорично, есть какие то соображения?
Да уж… с каждым днём всё интересней.
Евгений, чуйка!
Я полагаю что вы не одни сталкиваетесь так сказать с такой аномалией. Давеча у меня тоже наблюдались такие скачки и через неделю исчезли.
ip удалось отследить?
Такая же ерунда была сразу после Нового года. Ни с того, ни с сего вдруг увеличилась посещаемость. Причём, не с конкретных сайтов, а именно с поисковиков. Увеличилась синхронно (одновременно и с Гугла, и с Яндекса).
Насторожила как раз синхронность. Просто так точно и слаженно не бывает
Продолжалось это до прошлой недели. Потом также одновременно посещаемость снизилась.
Я думаю, что это кто-то тестирует поведенческие. Пару лет назад такой же тест привёл к серьёзным проблемам с сайтом. Сейчас проблемы есть (упали позиции некоторых ключевиков, незначительно, но упали), но не такие серьёзные.
У меня было несколько случаев подобных, но один из них похож на твой, если принять во внимание слова Максима Зотова.
Честно говоря не помню точно в чем причина была, но такую реакцию давала то ли одна из партнерок, то ли скрипт какой то установленный за день до этого.
Проанализировала, что меняла в последние пару дней — и устранила. Так что поищи:) Удачи!
Страшно неудобно задавать вопрос по теме «… трафиком, … МОЙ блог», но всё-таки задам:
«МОЙ блог» — это https://sosnovskij.ru
Если я смотрю статистику блога https://sosnovskij.ru:
liveinternet.ru/stat/sosnovskij.ru/index.html?period=week
то вижу совсем другие цифры посещаемости (ниже примерно раз так в 6-8, чем на скринах здесь.
Или это только я вижу?
был на одном из сайтов скачок по посещаемости в два раза. Держался с месяц, потом повалил вниз. Тоже в основном единичные просмотры
По идеи, пс никак не должны оценивать такие переходы, как и к примеру внешние ссылки, ведь это могут быть проделки конкурентов..
Статистика не всегда реально отображает реальный трафик, да и расхождения у разных сервисов ощутимые, тоже замечал непонятные переходы по несуществущим запросам. Сергей, а что GA, тоже регистрирует этот трафик?
Опубликуй какой-нибудь кулинарный рецепт. Эти женщины 35-44 из IE заинтересуются, и ПФ улучшится)
В этом январе ночью за несколько минут с закладок прошёл почти суточный трафик. Было всего 1 раз. Читала, что подобное происходило в прошлом году и с другими молодыми блогами.
Если тестируют новую программы/услугу, то мы об этом скоро узнаем.
Думаю, что Ваш случай — это спам бот-сетью. В начале года по всех моих сайтах на одном IP был такой же всплеск — где-то дня три колбасило, по логам было видно, что айпишники повторяются, но их очень много.
Соглашусь с одним из комментов, что тестируется или софт, или сервис. Если на Ваш блог присели, возможно ожидают какого-либо негативного эффекта. Проблема в том, что сильно падают поведенческие, и чтобы не отписывал Платон, алгоритмы ПС отрабатывают автоматически, так что возможен просев по многих ключевиках. Имхо.
Спасибо всем за ваши мнения и комментарии!
Михаил, как зафильтровать в liveinternet?
Дмитрий, пост большой только из-за картинок. В серверных журналах нет данных по этим заходам.
Николай, на днях будет пост об отпуске.
Анастасия, они заявляют, что умеют определять вещи, которые делает сам владелец сайта от деяний конкурентов в сфере влияния на поведенческие факторы ранжирования.
Андрей, я понял, что Максим не совсем желал мне помочь. Иначе беседа была бы конструктивнее. Здесь не имеется в виду поисковые запросы. URL сайта вбивается не в поисковую строку, а в адресную строку браузера.
Вариант с баром логичный, но как определить, я не знаю. Вероятно, что средствами статистики это определить нельзя.
Nikolaos, на странице техподдержки я почему-то не могу отправить сообщение.
SLANET, я не могу подозревать кого-то конкретного.
Тони, а как не обращать внимание, когда искажается вся статистика в сервисе, которым я привык пользоваться?
Поставил аналитикс для теста. В нем этот трафик не фиксируется. Скорее всего, глюк не длился бы несколько месяцев
Владимир, этих данных на сервере нет.
Владимир, как заблокировать переходы с определенных сайтов? Этот вариант masterwebs.ru/topic/18129-zapretit-perehodi-s-opredelennih-saitov/ не помог.
Станислав, нет.
Оксана, что-то подобного не устанавливал
SLANET, на скриншотах недельная статистика.
Эдуард, как выяснилось — нет.
Павлуха, и закрепить на главной странице. Неплохой вариант )))
Ты регистрировался? Я им как то писал по поводу их трафика из кабинета, так всё отправилось, правда ответ получил через три дня, не быстрая поддержка
Попробуй через пару дней может просто глюк.
Ещё узнай в этом сервисе, тож похож на предыдущий redsurf.ru
Постоянно проверял свою почту и всё не мог дождаться новых постов от вас, Сергей! Я подписан на обновления по е-майл. Думал когда же появится новый пост у Сосновского? Решил зайти с закладки и что я вижу, новый пост был опубликован уже 5 дней назад! Оказывается мой почтовик «необоснованно» отправил вас в спам!
По поводу детективного поста. Вот уж действительно сложно разобраться, дело ли это рук злоумышленников, либо чья-та ошибка, приведшая к таким результатам. В любом случае, я считаю, что это не есть хорошо! К сожалению, моих знаний и навыков не хватит, чтобы помочь вам в «расследовании». Надеюсь, что вы разрешите данную «проблему»!
Олег, кстати, в последние 2-3 недели письма с комментариями, на которые я подписана, стали часто попадать в спам.
А сам блог я читаю через rss и смотрю анонсы в Твиттере.
Nikolaos, отправлял без регистрации через форму обратной связи на сайте. Попробую через кабинет.
Олег, Ирина Жигалова, к сожалению, бывает, что письма приходят в спам. Если их оттуда их вытаскивать (кнопка «Не спам», то они потом могут приходить стандартно во «Входящие»).
С рабочими сайтами такое же недавно случилось пока не докопался до сути, но есть предположение что это попытка сбросить сайт с топа. Я тоже отписывал платону и мне как и вам пришел такой же ответ. Если у вас будет время советую проверить сервисы по накрутке пф. Так же существует не помню какой сервис, но там идет заход на сайты конкурентов (с отказом они заходят на пару секунд), а потом на продвигаемый сайт ( больше 15 и можно устанавливать глубину). Так как у вас так и у моих сайтов много запросов в топе возможно именно такой вариант ( но у вас сео тематика у меня же строительная коммерческая тема). НО используя этот сервис по идее такие заходы с отказами должны быть на разные страницы сайта. Извините за ошибки пишу в темноте набираю на ощупь. Удачи всем.
Похожая атака на одном из моих блогов
Вчера был АП Яндекса, но не думаю, что из-за него увеличилась посещаемость сайта в 2 раза.
Раньше с закладок приходило 60-80 человек, сейчас +1200 (более 60% всего трафика). Время нахождения не увеличилось, а вот глубина просмотров увеличилась в 2 раза. Основные заходы на главную (по ЛИ).
Метрика:
Вебвизор показывает, что чаще всего страницу прокручивают вверх и вниз, типа читают. Есть регистрации, но не пользуются. Спама тоже нету. Пол и возраст обычный в процентном соотношении. Основной браузер Google Chrome и ОС Windows 7.
По карте кликов — беспорядочные переходы без достижения конечных результатов. Будто имитация заинтересованности. Траф никогда не покупал.
Переживаю за санкции от ПС.
Что можно сделать?
Макс, я решил свою проблему таким образом https://sosnovskij.ru/yandex-domen-trafik-liveinternet/ .
Сейчас так много этих контор развелось, неужели во всех регистрироваться и искать свой сайт?
С чем это связанно, меня пытаются потопить или эти конторы ставят эксперименты?
Доход РСЯ не увеличился, а вот с Адсенс в 3 раза. У кого-то читал, что писал в их поддержку, дабы учли скликивание, итог — в Адсенсе его отправили в бан!
Метрика показывает 52% не оределённых роботов.
По IP в ЛИ вижу часто такую картину. Заход с закладки на главную, регистрация, просмотр статьи — всё. Подобных неадекватных движений большинство.
Я не специалист в этих отслеживаниях. Год стоит метрика и только сейчас стал «глубоко» изучать её функционал из-за этих проблем.
Мне важно, чтобы не было санкций со стороны ПС, а то траф «плавно» упал в Яше в 2 раза за 2 месяца и тут больше чем был на пике посетителей. Я писал в тех. поддрежку Яндекса — тогда было всё нормально, никакой пессимизации, а вдруг Яндексойды решат, что я таким способом решаю проблему улучшения ранжирования сайта?
Сколько можно терпеть, типа само пройдёт, прежде чем бить тревогу?
Может стоит на время забанить IP закладок с глупыми переходами?
Макс, на все вопросы я, к сожалению, не могу дать ответы. Если есть возможность фильтровать ip-адреса, с которых идут эти переходы, то фильтруйте
В любом случае, если трафик пустой, то пользы он не принесет.
Кто-то просто решил насолить. Но он наверное забыл что сеенье и жатва не прекратило своё дело. «Что посеет человек то и пожнет» Так что посеет ветер пожнет бурю.
Я вообще не парюсь по такому поводу и не вижу никаких отрицательных сторон данных манипуляций спам ботов. На выдаче в поисковиках это никак не отразится. Если вам «глаза мозолит» этот трафик, то при формировании отчета ЛИ просто выключите вкладку «закладки» и все
Здравствуйте! У меня появились подобные «посетители из закладок». Заходят на определенную страницу сайта, я меняю урл, они заходят на новую спустя некоторое время.
Проблема в том, что эти посетители еще и по рекламе адсенса кликают. У меня за это сайт в адсенсе не забанят? Никто с таким не сталкивался?
Олег, по поводу adsense лучше сообщить о странной активности.
Здравствуйте! смотрю уже в 2014 году проблема возникала та, которая у меня сейчас. Так нашли решение отсечь эту шушеру или нет?
Стас, скорее всего, кто-то добавил сайт в livesurf. Я им написал, чтобы удалили. Потом странный трафик прекратился.
Sosnovskij, Спасибо, написал туда, а как понять точно ли сайт в этом агрегаторе добавлен или в каком другом?
Стас, я просто написал в службу поддержки. Не уверен, что можно как-то самостоятельно определить
Стас, Попробуйте проанализировать при помощи LI статистики (экспресс-аудит), с каких ip адресов заходят, если их мало, то заблокируйте через htaccess. Проанализируйте источники трафика, сайты с которых заходят, возможно, среди них и будет какой-нибудь сервис накрутки трафика.
Изучите страницы, на которые заходят. Если это одна или несколько статей, то можно закрыть доступ к данным урл, а сами статьи перекинуть на другие, при этом удалите старые урл в гугл и яндекс вебмастерах, чтобы переиндексация прошла нормально и не было дублей контента.
Попробуйте настроить сервис cloudflare на своем сайте, помогает от мусорного трафика.
При помощи Яндекс метрики в вебвизоре изучите действия посетителей, которые к вам заходят.
Также можно поблокировать ненужных ботов в htaccess.
Вроде все написал, удачи!
Стас, вспомнил еще момент. Ресурсы, с которых идет трафик можно посмотреть по alexa или similarweb. Возможно, что-то там будет интересное
Так и не смог этот паразитный трафик убить, сервис накрутки не вычислил, как выше писал прут с разных апи с разных браузеров, может кто читать будет и платно подскажет как убрать этих паразитов? Если кто знает пишите.
Стас, У меня такая же ситуация третий день, и знаете, надо смотреть страны… ведь там не Россия.. у меня добавились Вьетнам, Индия, Пакистан и другие. Я вот обдумываю установить фильтрацию по ГЕОIP. У вас из каких стран траффик шел?
Хотелось бы узнать метод борьбы с подобными хулиганами… Не понимаю почему, но у меня как бы изменилась ключевая фраза по которой заходят на ту же страницу, по которой нормальный запрос в тот же день пропал
В моем случае была кампания в одной из серфинг-систем (САР, букс). Получилось удалить кампанию и трафик прекратился.
Приветствую, в данном случае ответ службы поддержки яндекса не только некорректен, но и вообще ошибочен. Ибо такой трафик вас понизит в поисковой выдаче
Ребят, а у меня такая ситуация. В статистике liveinternet показывает много переходов с разных сайтов — тематических и не тематических, много сайтов всего с 1 переходом, но есть и такие откуда от 10 до 50 переходов. У кого такое было ? что это?
Если 10-50 переходов с нетематических сайтов, то может быть ситуация, описанная в данной статьей.
Накрутка пф. Поставили антибот, закладчиков на 70% где-то срезало
Какой антибот ставили?
А как можно открыть эти самые закладки, ну чтоб буквально посмотреть откуда шли пользователи?
К сожалению, не подскажу