Какие критерии используются для определения страниц, которые регулярно просматриваются поисковыми системами?
Поисковые системы используют автоматические кроулеры, известные также как роботы или пауки, задача которых состоит в анализе интернет-контента и добавлении его в индексы поисковых систем. Как только страницы вебсайта попадают в индекс, они могут появиться в результатах поисковых запросов. Сайты посещаются на регулярной основе, чтобы отследить добавление нового контента, или значительные изменения в уже проиндексированном контенте. Пауки заходят на сайт с частотой, зависящей от многих факторов – включая частоту обновления контента, или даже команду в коде страницы, которая просит спайдер заходить каждые «Х» дней. Однако, за редкими исключениями, спайдеры не пересматривают сайт целиком.
В недавней ветке на Cre8asite Forums, был задан вопрос: «Как они это делают?» Вебмастер анализировал свои лог-файлы, и обратил внимание на различную активность робота. Во и захотелось ему узнать, как роботы решают, насколько глубоко им сегодня копать.
Модератор softplus высказал несколько неплохих идей, закончив ответ следующим образом:
В конечном счете, основным показателем для определения частоты кроулинга, является «ценность» страницы. Более ценная страница просматривается чаще, чем страница с низкой ценностью… Даже статическая ценная страница просматривается часто – что в моем представлении не имеет особого смысла. Однако объяснение этому найти можно. Возможно, частота была бы еще выше, если бы контент изменялся чаще?
Участник форума, задавший исходный вопрос, затем изложил теорию, что здесь может влиять Google Toolbar, который направляет паука на страницы, на которых посетители проводят больше времени. Затем дискуссия плавно перетекла в обсуждение принципов работы Google Sitemaps в разрезе кроулинга и индексации страниц. Вы уверены, что знаете, почему одни страницы просматриваются пауками, а другие нет?
Обсуждение на
Cre8asite Forums
Не стоит кликать рекламные ссылки на вашем собственном сайте
Google AdSense предоставляет владельцам сайтов возможность размещать объявления из системы AdWords. Уже не секрет, что это послужило причиной создания множества сайтов, специально «сделанных-для-AdSense». Некоторым привиделось, что они заработают себе на жизнь, просто кликая на собственных объявлениях. У Google, несомненно, есть наработки для борьбы с подобными махинациями, основанные на привязке к вашему IP-адресу(сам). Однако находятся еще люди, которые случайно нажимают на свои объявления.
Недавняя ветка на Digital Point Forums предлагает некоторые советы для того, чтобы избежать кликов на собственных объявлениях, и не подвергать себя опасности быть исключенным из порграммы AdSense за мошенничество с кликами.
Добавьте несколько строк PHP-кода, чтобы определить IP-адрес посетителя. Если это ваш собственный адрес, прикажите AdSense показывать объявления для другого аккаунта (пусть это будет аккаунт одного их ваших друзей, или просто случайный аккаунт). Тогда, если вы даже кликнете на объявлении, ваш аккаунт не зарегистрирует этот клик.
Далее следует неплохая дискуссия, с примерами кодов, которые помогут избежать этой редкой и неизлечимой проблемы. Ответ номер один, естественно – «просто не жми на свои объявления, брателло». Однако в ответ была рассказана страшная история о том, как некоторые ноутбуки автоматически нажимают на ссылку, если помахать над ней курсором мыши (упаси бог когда-нибудь заиметь подобную технику).
Дискуссия на
Digital Point Forums
