Вебмастер «украл» сайт — что делать? 10-ка лучших вопросов от читателей

Сегодня 10 лучших вопросов от читателей блога и мои ответы на них. Садитесь поудобнее, выбирайте понравившийся вопрос и кликайте на него — автоматически попадете на ответ. Внизу же опубликую результаты мини-конкурса и буду ждать от вас отзывы и комментарии ;).

1. Использует ли Google "*" по-умолчанию в правилах robots.txt?

В справке Яндекса написано, что в robots.txt в правилах Disallow и Allow используется знак "*" (звездочка) по-умолчанию. Грубо говоря, чтобы запретить URL's, которые начинаются с musor, достаточно написать Disallow: /musor, а не Disallow: /musor*.

А как у Google?

Это легко проверить, хотя ответ напрашивается сам собой. Заходим в Google Search Console, далее "Инструмент проверки robots.txt" и, к примеру, проверяем такой URL.

Получается, что в Google, также как и в Яндексе на конце правил в robots.txt "*" ставится по умолчанию.

2. Как приручить быстроробота?

Добрый день, у нас новостной сайт с уникальным контентом. Есть проблема с быстроботом, который перестал забирать в свой индекс новые новости как раньше. Сейчас он также забирает, но не более 10% от того сколько забирал раньше.

Новости пишут блогеры, все уникальны и проходят дополнительную проверку на плагиат. Помогите решить эту интересную проблему. В яндексе пишут, что все ок, улучшайте сайт.

Вопрос, действительно, интересный . Я бы обратил внимание на следующее:

1. Закрытие от индексации дублей, мусорных страниц, чтобы сэкономить краулинговый бюджет.
2. Настройка Last-Modified и If-Modified-Since по той же причине.
3. Грамотная перелинковка: ссылки на новости с главной, линки друг на друга из свежих новостей.
4. Создание страницы/категории/раздела со всеми свежими материалами (обязательно сослаться с главной).
5. Можно попробовать создать sitemap.xml только со ссылками на последние непроиндексированные новости.
6. Следить за уникальностью и разнообразностью не только самих новостей, но и тегов: Title, Description, H1.

В общем, необходимо убрать все, что могло бы помешать роботу индексировать, действительно, нужный контент (дубли, мусор) и дать максимальное количество свежих URL с минимальным уровнем вложенности.

3. Рекомендации по оптимальной длине Title/Description с пробелами или без?

Привет, Сергей! Практически во всех мануалах и советах по SEO пишут об оптимальной длине тегов Title и Description. Но никто не пишет с пробелами ли считать или без них? Подскажи, пожалуйста.

Если контент мы привыкли считать в знаках без пробелов, то в подсчете символов для Title и Description необходимо ориентироваться и на пробелы в том числе.

4. Можно ли одновременно использовать canonical и meta name="robots"?

Здравствуйте, Сергей. У меня интернет-магазин сантехники, много сортировок и фильтров. Мой сеошник говорит, что их нужно закрывать в meta name="robots" и ставить rel=canonical на основные страницы. Прав ли он?

Не совсем корректно сразу применять эти 2 правила. Например, если в meta name="robots" вы пропишете noindex и nofollow, то поисковый робот может не узнать о том, что у вас в документе стоит rel=canonical (так как страницу запрещено индексировать). Лучше оставить что-то одно.

5. Сколько нужно держать 301-редирект при переезде на другой домен?

У меня следующий вопрос. Недавно перевел сайт на новое доменное имя. Все переклеилось в принципе без потери посещаемости с Яндекса и Google. Но старый домен скоро заканчивается. Что делать дальше: продлевать его или можно сэкономить? Сколько вообще нужно делать 301-редирект, если, например, переезжаешь на другое доменное имя или меняешь внутреннюю структуру урлов?

Самый короткий ответ - 301-редирект делать всегда/вечно. Почему? Во-первых, по редиректу передается внутренний вес старых страниц. Во-вторых, он передает вес по внешним ссылкам. Это относится как к случаям переезда на новый домен, так и к случаям по смене урлов, например, на ЧПУ.

Если же сайт нулевой (до полугода, без ссылочной массы), то при переводе на новое доменное имя редирект можно держать несколько месяцев.

6. Вебмастер "украл" сайт, который сам же и разработал. Что делать?

Добрый день! Около года назад на одном из фриланс-сайтов был найден разработчик для создания довольно простой визитки. Сайт был создан, все понравилось. Согласились на техобслуживание по абонентской плате (2000 рублей в месяц). Поначалу в рамках техподдержки просили реализовывать мелкие правки, а последние 3 месяца с сайтом ничего не делалось.

Я написал разработчику, мол, спасибо за сотрудничество, но дальше мы сами и попросил предоставить все доступы. А в ответ тишина... Выше уже написал, что долгое время доработок не было, и писать ему было незачем. Договоров мы не заключали, суммы были небольшие. Только сейчас сайт стал ценным источников клиентов. Он вроде бы работает, но по факту сделать с ним ничего нельзя, ни цены поменять, ни новость разместить.

Подскажите, как поступить в данной ситуации?

Сначала я бы постарался все-таки выйти на исполнителя по другим контактным данным и социальным сетям. Если бы и оттуда не было ответа, можно написать на биржу фриланса и описать ситуацию (чтобы они постарались связаться с ним). Также можно выйти на его друзей и спросить, как с ним связаться (может он бросил все и ушел в кругосветку на катамаране — случаи бывают разные). То есть я бы посоветовал решить все вопросы сначала по обоюдным договоренностям. Это должно быть быстрее и дешевле.

Если на связь в течение 7 дней исполнитель не вышел, то самое время вспомнить на кого был зарегистрирован домен и оформлен хостинг . В зависимости от ситуации несколько вариантов решения:

1. Все Ваше — можно даже было не искать дополнительные контакты с исполнителем, а через хостера/регистратора восстановить логины/пароли к аккаунтам. После восстановления поменять все пароли.
2. Все не Ваше. Самый тяжелый случай. Результат крайне не предсказуем. Изначально такие вещи, как домен и хостинг лучше регистрировать самостоятельно и на реальные данные, а разработчикам предоставлять только доступы с определенными правами. Нужно связаться с хостером и регистратором доменного имени, предоставив максимально подробную информацию о случившемся: переписку с исполнителем, оплату работы, учредительные документы и так далее. Узнать у них, как нужно поступить. Возможно, потребуется нотариус, адвокат, полиция и суд. В таком случае необходимо взвесить все "за" и "против".
3. Домен Ваш, хостинг не Ваш. Ситуация уже попроще. Если хостер быстро не помогает, то можно заказать копию сайта, разместить его уже у себя и переключить домен туда. Копирование будет, скорее всего, даже дешевле, чем создание нового ресурса.
4. Хостинг ваш, доменное имя не ваше. Если регистратор быстро не помогает, а дальнейшие разбирательства долгие и затратные, то можно перенести сайт на новый домен и настроить 301-редирект, надеясь, что старый быстро не удалят.

7. Основной регион на поддомене или на главном домене?

Дилемма, которую никак не могу решить. Есть основной регион работы организации (Краснодар). Также хотим подключить дополнительные регионы с помощью создания и продвижения поддоменов. Вопрос в следующем - где размещать Краснодар: на domen.ru или на kransodar.domen.ru?

Если в ближайшем будущем краснодарский регион будет главным, то я бы советовал оставить его на domen.ru. У федеральных сайтов, которые имеют поддомены на domen.ru обычно "Москва". Когда начнете завоевывать всю Россию (реальные офисы в крупных городах), то тогда можно будет поменять регион основного домена.

8. Стоит ли ориентироваться на ИКС? Как его использовать на практике?

Привет, Сергей. Сейчас только ленивый не пишет про икс, но по факту, какая от него польза? Как его использовать на практике?

Если Вы потихоньку создаете и развиваете свои сайты без оглядки на конкурентов и без покупки ссылок, то можете и не думать о новом показателе. В других же ситуациях данные по ИКСу можно использовать:

1. при анализе конкурентов и для понимания, насколько до них далеко (или насколько они далеко от Вас).
2. Для быстрой оценки раскрученности площадки в Яндексе, например, для решения о покупке ссылки.
3. Для анализа факторов ранжирования Яндекса через динамику изменения ИКС.

Конечно, сейчас о данном показателе говорят больше, чем он может быть полезным. Но между тем необходимо понимать его работу. Дополнительный открытый показатель от Яндекса - почему бы его не использовать в своей работе ?

9. Как улучшить индексацию в Google?

Есть сайт под медицинскую партнерскую программу. Уже на протяжении 8-9 месяцев постоянно изменяется число проиндексированных страниц в индексе google. Если понаблюдать за числом 1 день, то цифра будет меняться от 12300 до 44000 страниц (при 132000 в sitemap).

Смотрю по данным поисковой выдачи. Непонятно, что google хочет этим показать. У yandex такого не замечал. Почему прыгает индексация и как ее улучшить?

Смотреть количество проиндексированных страниц в Google лучше не через выдачу (там постоянно скачут значения), а в Search Console.

Неполная индексация, скорее всего, из-за недостаточно качественных страниц, основу которых составляет неуникальный партнерский контент (некоторые документы состоят только из него), который может публиковаться на десятках других ресурсов. Можно попробовать следующее:

1. Партнерский контент выводить через скрипт, чтобы он не индексировался.
2. Добавить на страницу полезный, уникальный и нужный контент.
3. Уникализировать вывод Title, Description (сейчас они выводятся через шаблоны, которые отличаются друг от друга 1-2 словами).
4. Попробовать пункты из ответа на 2-й вопрос в этом посте.

Поисковые системы не особо любят сайты, созданные только на партнерском контенте. Даже если и индексируют его, то ранжируют не сильно высоко.

10. Насколько плохо, когда один и тот же товар находится в разных категориях?

Здравствуйте! Интернет-магазин, URL карточек товаров вида site.ru/category/tovar/. Некоторые товары подходят для нескольких категорий. В связи с этим они находятся в разных категориях с разными ссылками. Насколько это плохо и как исправить ситуацию, если очень плохо?

Если товары находятся в разных категориях под разными URL, то это полное дублирование страниц, что, конечно же, не есть хорошо:

• лишние документы в поисковой выдаче;
• размытие веса;
• смена целевых страниц.

Как исправить? Есть 2 довольно простых варианта:

1. простановка rel=canonical у дублирующих карточек на основную (например, на самую старую) - предпочтительный вариант;
2. запрет к индексации дублирующих карточек товара meta name="robots" noindex, follow.

Вот в принципе и все! Делитесь своим мнением в комментариях, задавайте вопросы .

Результаты мини-конкурса угадай максимальный Net gaming

Подвожу итоги мини-конкурса. Конечная таблица по net gaming выглядит так:

Поздравляю победителей:

• 1 место - Александр и 500 WMR (ответ 5484441 - невероятно, но практически угадал );
• 2 место - Инстагро и 300 WMR (5 000 000);
• 3 место - Роман Лихтин и 200 WMR (3800000).

Жду ваши WMR кошельки у себя в почте .