Фильтр Google на дублирование контента заслужил дурную славу. По этому поводу написано много статей, на форумах эта тема не раз обсуждалась, породив массу различных домыслов. Но явно недостает обсуждения того, применяют ли другие поисковые системы фильтры на дублирование контента при формировании своих поисковых результатов, подобно знаменитому Google. Зачем это надо? Да хотя бы потому, что Google делает все неправильно, по крайней мере так считают те, кого наказали за дублирование контента. В самом деле, есть примеры, когда наказание получают создатели контента, и их нельзя найти в результатах поиска. Эти вебмастера создают новый продукт, который приобретает популярность, и его клоны начинают появляться там и тут. Поначалу это льстит, но потом один из конкурентов, который скопировал идею, выдает ее за свою собственную. Оскорбление возводится в квадрат, когда настоящий создатель продукта штрафуется при попытке доказать, что это его идея. Последнему остается только признать: «Обманули дурака на четыре кулака…» Но если серьезно, то подобные ситуации выглядят несправедливо. Можно ли назвать это читингом? Да, отчасти. Но у этой игры такие правила, по крайней мере, Google в настоящий момент играет по ним.

Похоже, большинство поисковых систем применяют тот или иной фильтр, но только Yahoo и MSN обладают технологией, которая может анализировать историю возникновения контента. И вы не слышите жалоб на работу их фильтров, потому что фильтры эти работают так, как они должны работать. Люди обычно не жалуются на то, что функционирует должным образом. Жалобы начинаются, когда что-то работает неправильно – и жалобы эти зачастую звучат слишком громко.

Эксперимент.

Я решила поближе познакомиться с данным вопросом, проведя несложный эксперимент. Недавно я протестировала работу фильтров на дублирование контента в некоторых поисковиках. Если честно, результаты удивили меня.

Сначала я опубликовала статью на своем вебсайте, и затем начала продвигать ее через сайты сабмита статей. Я наблюдала за результатами поиска в течение 6 месяцев, регистрируя результаты. Анализировались все три основные поисковые системы: Google, Yahoo и MSN. Затем я заново опубликовала статью через сайты сабмита статей, и продолжала отмечать результаты. Вот что у меня получилось:

Google

Поначалу, было 14 сайтов, на которых помещалась статья, включая мой собственный сайт. Через несколько недель, этот показатель вырос до примерно 19 000 сайтов, в число которых по-прежнему входил мой сайт - источник контента. Затем, по прошествии 5-6 недель, число сайтов, содержащих статью, упало до 46. Обиднее всего, что моего сайта не было видно нигде в поисковых результатах по заголовку этой статьи.

Возможно, здесь просто какое-то недоразумение – подумала я. И засабмитила статью повторно. Количество выросло снова, но на этот раз до 1560 сайтов, и затем опять упало до прежнего показателя - 46.Моего сайта снова в окончательных результатах поиска не было.

Итак, похоже, эта поисковая система выдает только те результаты, которые считает релевантными, не учитывая источник контента. Это крайне настораживает, принимая во внимание то, что Google гордо заявляет о своих объективных листингах.

Yahoo

В этой поисковой системе, похоже, действует подобный фильтр контента. Результаты теста примерно такие же, однако Yahoo учитывает оригинальный источник контента. В настоящий момент в листинге по заголовку моей статьи числится 114 результатов. Мой вебсайт стоит первым в этом листинге, но в течение периода наблюдения он иногда опускался, как будто Yahoo пытался определить, является ли мой сайт первоисточником статьи. Но, в конечном счете, все встало на свои места.

MSN

Я была крайне и на 100% впечатлена, как MSN выдержала эксперимент. Видимо, в MSN установили нужный фильтр на дублирование контента. Сначала было около 10 результатов по поисковому запросу с заголовком тестовой статьи. Через две недели, этот показатель вырос до 1244, затем, после четырех недель, прыгнул до 11 000 или около того. К неделе №6, общее количество результатов поиска по запросу уменьшилось до 16. Стоит отметить, что это число на 86% меньше, чем у Yahoo, и на 66% ниже, чем у Google.

В результатах MSN, на 1, 2 и местах стоит мой вебсайт: страница со статьей идет первой, страница со списком статей и анонсами следует за ней, и затем выдается страница с архивом. В качестве первоисточника статьи, в общем листинге из 16 позиций, мой сайт считается наиболее релевантным. На мой взгляд, так и должно быть.

Вместо того, чтобы выбирать и подбирать, какие сайты кажутся наиболее релевантными, - как, по всей видимости, делает Google, MSN и Yahoo пытаются применять фильтр с учетом фактического первоисточника контента.