The Blogging of McConnell 308

Зеркала сайта. Что, как и п




Очень часто зеркала сайта мешают продвижению. В этой статье попытаемся с ними разобраться и навести порядок на своем сайте.


Зеркала сайта – это полное или частичное (около восьмидесяти процентов) совпадение контента на двух и более сайтах.


Причины возникновения зеркал сайта



  • переезд на новый хостинг;

  • наличие нескольких нескленных доменных имен;

  • внесение кодировок на подмену;

  • создаются для облегчения работы высоко посещаемых сайтов;

  • создаются для разгрузки основного сайта;

  • изменение имени домена.


Индексировать такие сайты поисковым машинам достаточно неудобно, ведь они засоряют память, расходуют краулинговый бюджет. Конечно, нерезонно и  по одному запросу выдавать несколько одинаковых сайтов. Поэтому поисковики зеркала обычно не индексируют. Все современные поисковые системы имеют свои варианты распознавания страниц-дублеров.


Если вы дублируете материал на своем сайте, то лучше его немного изменить: разбить на части или отредактировать, а также проследить, чтобы в тексте не было ссылки на дублируемую страницу.


Как высчитывается индекс цитирования зеркал?


Индексы цитирования зеркал объединяются, и все неповторяемые, уникальные ссылки на зеркальных адресах складываются под самым главным адресом. Главный адрес назначается автоматически и не может быть подвержен изменениям (без прямого на то указания поисковой машине со стороны вебмастера — владельца ресурса).


Методы борьбы с зеркалами


Как сказано выше, зеркальные сайты засоряют сеть. Поэтому если не следить за появлением зеркал, поисковая машина вполне может заблокировать не зеркало, а основной ресурс. Отсюда возникают вполне резонные вопросы, о том, как этого избежать, исправить и самостоятельно найти зеркала сайта.


Решения данной проблемы



  1. Нужно удалить все существующие зеркала сайта.

  2. Изменение кода главной страницы неглавного зеркала таким образом, чтобы все ссылки на сайте были абсолютными и вели на основное зеркало.

  3. Запретить индексацию всех зеркал, используя файл robots.txt.

  4. Разместить на неглавном зеркале тег

    <meta name="robots" content="noindex, nofollow">

    который запретит роботу индексирование и переход по ссылкам.




Как указать системе главное зеркало


Директива Host в robots.txt.


Данная опция – это нестандартное расширение, которое способно указывать поисковику на основное зеркало.


Если www.doman.ru – главное зеркало, то robots.txt должен выглядеть примерно следующим образом:


User-Agent: *

Disalow:/admin/

Host: www.doman.ru


Но не стоит забывать, о том, что данные методы, ищут зеркальные сайты, только в рамках одного сервера. То есть если основной сайт находится на одном сервере, а зеркало этого сайта — на другом, данное решение ничего не даст.


Абсолютные ссылки.


Если вы на своем сайте начнете ссылаться со страницы на страницу с указанием полного адреса главного зеркала, например,



<a href="http://www.site.ru/page.html">Текст ссылки</a>

а не



<a href="/page.html">Текст ссылки</a>

Поисковые машины смогут правильно и корректно определить главное зеркало.


Серверный редирект


Предлагаемый метод является наиболее корректным и эффективным, но также в свою очередь, требует поддержки mod_rewrte (в большинстве предоставляется платными хостингами).


Просто в .htaccess в корне вашего сайта напишите:



RewriteEngine On
RewriteBase /
RewriteCond %HTTP_HOST !^www.mainsite.ru$
RewriteRule ^ http://www.mainsite.ru/%REQUEST_URI [R=301,L]

Вывод


Если вы решили перенести свой сайт на другой домен (или перенесли на другой хостинг, но не настроили его), то популярность и посещаемость сайта, которую вы копили длительное время, сохранить можно только в поисковой машине Яндекс.


Выходом из данной ситуации будет поддержание первоначального сайта, особенно при условии того, что вы работаете с поисковыми машинами иностранного происхождения.


Далее необходимо установить серверный редирект. Впоследствии новый домен станет главным, а старый со временем автоматически уходит из поисковой базы. А если при внеочередной переиндексации поисковая система обнаружит отличия в содержимом нескольких зеркал, она примет их за абсолютно разные сайты, никак абсолютно не связанные между собой. С этими проблемами может помочь справиться ускоренная индексация Линкбокс.


Учитывайте, что гонясь за данным обманом системы, вы можете потерять значительное количество как постоянных, так и новых пользователей.


Также очень важным является корректность редиректов для того, чтобы поисковая система смогла идентифицироватьь главное зеркало сайта.