Особая благодарность представителю Google Матту Катсу (Matt Cutts)

Где-то в январе-феврале нынешнего года, некоторые вебмастера начали замечать, что Google странным образом «терял» значительные части их вебсайтов. Ссылки на сайты, в основном на заглавные страницы и будто случайным образом отобранные внутренние страницы, выдавались в листингах Google. Однако страницы, которые раньше обеспечивали большое количество трафика, как будто канули в Лету. За февралем пришел март, а на форумах и блогах появлялось все большее количество постингов от расстроенных вебмастеров, которые отмечали значительное уменьшение количества страниц сайтов в индексе Google.

Многие SEO-фирмы получили запросы и задания от своих клиентов, с целью разобраться в ситуации. Уж мы старались, как могли. Но, учитывая сложность апдейта и недостаточное количество информации со стороны Google, наши рекомендации напоминали стрельбу вслепую по движущимся мишеням. Хотя обычно мы предлагаем клиентам лазерное прицеливание и точно в яблочко чтобы.

Как и после большинства крупных апдейтов, расследование ситуации привело к возникновению еще большего количества вопросов.

Матт Катс, который рулит качеством поиска в Google, и по совместительству является самым общительным специалистом компании, ответил на многие из вопросов в открытом и широком обсуждении под названием «Распорядок индексирования» (Indexing Timeline).

В его ответе описывается, как персонал Google внимательно изучил и проникся запросами и жалобами вебмастеров, возникшими после апдейта BigDaddy. По ходу были затронуты еще несколько вопросов: страницы сайтов, исчезнувшие из результатов поиска; качество как входящих, так и исходящих ссылок; нерелевантные схемы взаимных ссылок; а также дублированный текст при вертикальных связях и в партнерских сайтах.

13 марта Googleguy в постинге на WebmasterWorld попросил вебмастеров предоставить пробные сайты для публичного анализа со стороны Google. Комментируя сайты, предоставленные для исследования, Катс пишет:

«После того, как я посмотрел на предоставленные сайты, я могу прояснить ситуацию. Сайты, которые попали под критерии «без страниц после Bigdaddy», относятся к определенному типу. Наши алгоритмы имеют крайне низкую степень доверия ко входящим или исходящим ссылкам подобных сайтов. Причиной этого могут стать чрезмерное количество взаимных ссылок, залинковка на спамовые ресурсы в сети, или покупка/продажа ссылок. Апдейт Bigdaddy действует независимо от наших дополнительных результатов. Поэтому если Bigdaddy не выбрал страниц на сайте, это дает возможность сайту получить больше дополнительных результатов.»

Эта цитата проясняет многое, при этом становится понятнее и поведение Google после Bigdaddy.

Алгоритмы ранжирования Google основаны на доверии. Для несведущего это может показаться наивным, но не стоит забывать, что речь идет об одной из самых информированных электронных структур, которая когда-либо существовала. Кроме того, Google аккумулирует данные по каждой записи в своем индексе. Да, его мнение складывается на основе доверия, однако информационная база для формирования этого мнения крайне велика.

Чтобы постоянно оставаться в курсе всех дел, Google спайдерит все, что возможно, и сортирует данные позже. Поисковик поддерживает большое количество индексов, включая так называемый дополнительный индекс.

Дополнительный индекс хранит значительно более подробное представление документов, найденных в Сети, чем то, которое включается в основной индекс Google.

«Мы можем предъявлять к сайтам менее жесткие требования при кроулинге для этого дополнительного индекса, в сравнении с кроулингом для нашего основного индекса. К примеру, сайт может быть исключен из кроулинга для нашего основного индекса, на основании определенных параметров в URL. Однако он может быть включен в наш дополнительный индекс». (Источник: Google Help Center)