Роботс для блога

Ребят, гляньте плиз, для блога на WP такой роботс подойдет?!

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /tag
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Спасибо за ответы

Да, только гуглу уже пох на роботс помоему, только яша на него обращает внимание.

гуглу не пох. проверенно 100500раз. по сабжу, карту сайта добавь

Касательно WP ему уже достаточно пох... но лишним роботс точно не будет.

Код:

Sitemap: http://www.example.com/sitemap.xml

Про карту абсолютно верно, не заметил.

Semen_ssr писал:

Касательно WP ему уже достаточно пох...

ну конечно. закрой джипеги и думай потом: почему картинки не индексит...

karbonv: я имел в виду если его нет, он распознает структуру и не делает даблы, по умничал ты как то не умно, ты бы еще домен закрыл

я бы еще добавил директиву

Код: [развернуть]

Crawl-delay: 3

Semen_ssr: Домен? это ты к чему? человек роботс сделал, спросил правильно или нет, а ты говоришь что пох.... вот и не пох что внутри, и ты вводишь в заблуждение

он ведь не спрашивал ставить его вообще или нет!

karbonv: главное что теперь все буквально понятно, без заблуждений
Оффтопик: и тебе - доброе утро

никогда не закрывал ни на одном блоге ничего, вообще, все блоги живут прекрасно

гуглу похуй на роботс, проверил не однократно, он все равно урлы индексит те кторые закрыты в роботсе

у меня тоже без всяких роботс текст вордпрессы нормально живут

а вообще у яндекса есть в вебмастерской проверить что у сайта проиндексируется что нет

я мля ставил скрипт магазина и роботс текст не проверил
он отказался индексирвать сайт мол запрещено
после исправления почти месяц ждал когда проиндексирует

Hamradio писал:

после исправления почти месяц ждал когда проиндексирует

Это просто мгновение ока!
У гугла такой подход не всегда вобще на номальное русо становится. Ему некогда возиться с такими проебами..

Спасибо всем за ответы, всех оценил

если гуглу пох. то почему гугл не только настоятельно рекомендует его юзать, но и в вебмастер тулз подсказывает как?

Чтобы знать из первых рук, кто сильно жаждет вылезти в его топ!
А вобще сильно ли в интересах гугла рассказывать что-то, что может хоть как-то повлиять на выдачу?

а покажите мне в выдаче урлы, которые закрыты в роботсе?

Gossha: на заборе тоже написано...

на самом деле все не так, на примере наших сиджей, я заблочил папку cgi-bin он периодически индексит эти урлы, я их удаляю с ГВТ и он их опять в индекс включает

Последний раз редактировалось: Sergeyka (01/09/11 в 15:03), всего редактировалось 1 раз

ibiz: в выдаче по кеям их не будет но будет если набрать site:www.domain.com

Sergeyka писал:

ibiz: в выдаче по кеям их не будет но будет если набрать site:www.domain.com

можешь пример показать, можно в личку

скинул в личку, просьба более не светить не кому

Sergeyka писал:

я заблочил папку cgi-bin он периодически индексит эти урлы

Как там по Станиславскому? НЕВЕРЮ !!!

Gossha: не верь, Ибиз может подтвердить если что, но ты и тогда не поверишь

Sergeyka писал:

гуглу похуй на роботс

Sergeyka писал:

в выдаче по кеям их не будет но будет если набрать site:www.domain.com

если набрать site:www.domain.com - то будет только домен, что в общем то логично, так как ты запрещаешь индексировать сайт на домене domain.com

Получается гуглу совсем не пох на роботс.тхт

Гуглу не похуй на robots, он с удовольствием закрывает часть контента. Я лично просто считаю, что им проще навредить сайту, чем сделать что-то полезное.

Gossha: если закрытые страницы в индексе, то пох

или у нас разные понятия по индексу?

роботс для запрета индексации, но гугл все равно индексит, значит пох