Brett: Без должного вклада со стороны вебмастеров, изменение стандартов файла robots.txt только поощряет других к экспериментам со стандартом. Большинство из офлайновых браузеров, которые я просмотрел на Tucows, имеет опцию игнорирования файла robots.txt. Если стандарт не был одобрен, утвержден и принят к исполнению поисковыми системами, почему его должны придерживаться офлайновые браузеры и создатели сайтокачалок? Поисковые системы выпестовали эпоху неуважения к файлу robots.txt

Поисковые системы изменяли стандарт, исходя из собственных нужд. Подобно тому, как Netscape и Microsoft играли с HTML-стандартами в эпоху браузерных войн. Только принимая и придерживаясь принятых стандартов, мы совместными усилиями можем удержать Сеть от погружения в хаос, которое мы сейчас наблюдаем. Масса вещей, которые необходимо знать вебмастеру, уже является чрезмерной нагрузкой для одного человека. Меньше всего Интернет нуждается в том, чтобы каждая поисковая система предлагала собственный стандарт файла robots.txt. Необходимо, чтобы они поддерживали единый стандарт, или создали открытую группу, состоящую из их и наших представителей, для разработки нового стандарта (Эту позицию я отстаиваю уже на протяжении 5 лет).

Учитывая сказанное, и на правах автора первого валидатора файла robots.txt, написанного еще в 1998 году, я настаиваю на крайней важности этого стандарта. Дня не проходит, чтобы я не получал от кого-нибудь письмо с вопросом, почему их файл robots.txt со строкой «Allow» был помечен, как bad валидатором robots.txt

Barry: Благодаря тому, что ты являешься экспертом в области SEO, многие начали высказывать безумные теории, почему на самом деле ты сделал это. Некоторые утверждали, что ты был забанен за клоакинг. Другие говорили, что ты затевал немыслимый фокус с PR. Один из таких фокусов с PR – это предположение, что поисковые системы готовили унифицированный инструмент для сабмита сайтов, и ты хотел быть первым, кто воспользуется этим инструментом. Некоторые предположили, что ты хотел показать поисковым системам, что ты в них не нуждаешься. Уверен, что ты слышал много других предположений. Какое из них, на твой взгляд, самое забавное? Какое самое оскорбительное? И как ты ответишь на эти выпады?

Brett: Я часто забываю, насколько масштабным стал WW, и насколько много людей наблюдают за нами, принимая это лидерство. Я перестал переубеждать людей, объясняя, почему мы делаем то или иное. Не каждая шляпа сделана из фольги, и не каждый вертолет черного цвета.

> Некоторые утверждали, что ты был забанен за клоакинг.

Чтобы управляться с большим количеством случаев мошеннических выкачиваний сайта, мы открыто использовали клоакинг некоторых вещей на уровне агента. Мы должны иметь возможность определять, что является хорошим поисковым ботом, а что - нет. Если мы случайным образом размещаем отравленные ссылки, которые ведут к автоматическому бану, даже не зная, что это за боты – тогда мы должны банить поисковые боты налево и направо. Мы используем этот прием, также, чтобы спрятать от показа на странице рекламный контент, выбираемый случайным образом – единственным отличием здесь будет название файла с изображением. В противном случае, это повлечет за собой массовые попытки респайдеринга. Мы делаем все возможное, чтобы попытаться выследить мошеннические боты. Поисковым ботам всегда отдавался тот же контент, что и пользователям, и мы никогда не пользовались IP-клоакингом, поэтому всем должно быть ясно, что мы делаем. Ситуацию всегда можно проверить, просто сменив имя агента на slurp. Иногда мы наступаем на грабли и делаем ошибки, поскольку несколько тысяч строк кода посвящены решению только этих проблем.

Количество вопросов, которые нужно решать в связи с мошенническими ботами, доходит до абсурда. Когда я пытался привести в порядок бан-лист htaccess, состоящий из нескольких тысяч IP, а количество хитов достигло 12 миллионов просмотров страниц в неделю, я воздел руки к небу и принял решение ввести обязательный логин и заблокировать все боты. Это не было спонтанным решением, но это было спонтанной реакцией. Если бы мне нужно было сделать это по-новой, то единственное, что я бы изменил – это протестировал и подготовил к запуску новую поисковую систему сайта.