Выкладываем свои robots.txt

создал вот топик в стиле CyberDesire

думаю будет полезно для всех, разобрать данный вопрос.

Я не использую robots.txt, но размеры логов на сервере меня начинают напрягать, да и есть один момент, я не пойму как закрыть индексацию поиска по блогу

Юзаю довольно обычную схему - исключены фиды, админка, логин/регистер, + отдельное разрешение для гугл-имэйджес и путь до сайтмепа. Где-то с вариациями, где-то не юзаю вообще и особой разницы пока не вижу. Порой кажется, что боты глубоко забивают на роботс, т.к. не только индексят, но ещё и в выдачу пихают (несколько раз даже логин/регистр страницы вылазили).

Вот тут неплохой конфиг собран, можно кусками растащить по необходимости: http://www.askapache.com/seo/wordpress-robotstxt-seo.html

Цитата:

как закрыть индексацию поиска по блогу

Синтаксически вот так должно работать: Disallow: /*?s=*

Многим поисковикам пофигу этот robots.txt Тот же гугл его тупо игнорирует, единственное что не показывает запрещенные странице в результате поиска. Но тем не менее сканит их.

Corex: Stek: Спасибо, вот поэтому и не юзал, что google вообще до фоноря помойму, но изи того что у меня нет robots.txt растут логи, да и в какойто мере это ошибка, тоесть бот запросил а ему хуй, он может и обидеться, вот к чему я клоню

P.S. кстати многим совет, смотрите почаще domen.com-error_log - иногда открывается много чего интересного
наприер недавно обнаружил около 1К траффа идущего в топку, немного подрехтавал, результат был получен через пару дней

andreich: сделай проще, найди любой похожий блог и посмотри его роботс.тхт.
Вот у мастера к примеру такой https://www.master-x.com/robots.txt ^)

Цитата:

Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: */trackback/ Disallow: */feed/ Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$

Robots.txt для Wordpress

Я не слишком верю в дубликат, но robots.txt использую. На нетпонде недавно поднимал этот вопрос:

http://www.netpond.com/blogging-forum/143155-wordpress-duplicate-co…s-txt.html

Конечно мой вариант далеко не идеален, поэтому интересно посмотреть, как делают другие.

что то я установил этот robots.txt что в примере выше и хуяк счетчик гугл аналитикс траф перестал показывать... Че за байда? вроде больше я нигде не рылся....

Так что, может вообще удалить robots.txt ?