Добавлено: 13/05/04 в 13:11

Я тут зашел на www.scrubtheweb.com, чтобы узнать насколько мой фришник оптимизирован для СЕ. Так вот мне рекомендовали использовать robots.txt. У меня пока слишком мало опыта, чтобы писать какие-то дельные указания роботам. Я могу конечно написать что-нибудь типа:

User-agent: *
Disallow:

мол всем все позволено, но будет ли это правильно и есть ли в этом вообще какой-то смысл? Не подскажете, что можно написать в robots.txt? Может нужно отсечь каких-то ненужных роботов? Или закрыть от них какие-нибудь папки или типы файлов? Буду признателен за любые советы.

На домене бывают следующие роботы:
Wget
Lycos
MSIECrawler
Googlebot (Google)
MSNBot
IBM_Planetwide
CMC/0.01
Internet Shinchakubin
BSpider
Unknown robot (identified by 'crawl')
Pioneer
JustView

На всякий случай вот два моих фришника:
http://www.antivirgins.com/ftis/
http://www.antivirgins.com/fpt/

Добавлено: 13/05/04 в 13:27

robots.txt в данном случае не нужен, пустая трата времени.
В основном он применяется для закрытия от индексирования не нужных папок, для больших проектов. Ограничивать действия пауков смысла нет.

Добавлено: 13/05/04 в 13:29

спасибо, заморачиваться не буду