Проблемы с robots.txt

Здравствуйте, возникла проблема внутри акка в гугле. По каждому сайту выдает "Невозможно получить доступ к файлу robots.txt", выпадают все страницы сайтов, даже главный урл пропадает из выдачи, скажите в чем может быть дело? прям вирус какойто. С файлом роботс.тхт все ок,
User-agent: *
Disallow:

Whitedragon писал:

User-agent: * Disallow:

такое содержание robots.txt равносильно его отсутствию, я бы попробовал тупо удалить

Whitedragon: а хостинг какой ?

Последний раз редактировалось: adultdream (08/08/08 в 02:41), всего редактировалось 1 раз

лучше заменить на
User-Agent: *
Allow: /

гугл любит, когда robots.txt отдает код 200

ibiz: это не поможет, у него гугл не может до файла robots.txt добраться, так что хоть там ромашку нарисуй - ситуация не изменится

хм... возможно в htaccess какие-то замуты все портят...

всем спасибо, за ответы..
Действительно все эти сайты висят на виртуальном хосте, сайты которые на дедике такой заразой не болеют, роботс.тхт у всех одинаковый, c htaccess тоже все ок. Возник вопрос, может это так пеналь выглядит или бан, т.к. это сеть сайтов на одном хосте под одним айпи? Проблемы начались с апдейтом гугла.. сначала начал выдавать ошибки в сайтмап, удалили мапы, теперь роботс и выпадают из индекса..

+ еще вопрос задам здесь, чтбы новый топик не создавать..
На одном сайте наростает НЕ НАЙДЕНО, и они формируются сами по себе, таких страниц не было никогда, вот так: http://domen.com/domen.com/stranica.html - не найдено, когда сайт
просто выглядит http://domen.com/stranica.html. Получается он сам как то клеит

вероятнее всего бан подсетки ip, в результате гуглбот не доходит до твоего сайта, а пишет что недоступен robots.txt (так как это первое к чему он обращается)
дай угадаю, хостинг - 3FN, последний успешный заход гуглбота примерно 14-17 июля?

Последний раз редактировалось: adultdream (08/08/08 в 08:57), всего редактировалось 1 раз

по второму вопросу скорее всего или ошибка внутренней перелинковки (смотри в <a href= где то мог написать не http://домен.com/страница.html, а просто домен.com/страница.html) , или извне ссылки идут на несуществующие страницы. Сам он клеить не будет.

adultdream писал:

дай угадаю, хостинг - 3FN, последний успешный заход гуглбота примерно 14-17 июля?

ибануться я весь мозг вчера сломал почему сайт вылетил из выдаче и нет в кеше его, суппорту 3FN бля доказывал что хуйни они понаворотили с сервером

и на мой сайт с 16 июля больше не было захода гуглбота,
на вскидку с суппортом проверили 20 сайтов с этого же сервера, и ни одного в выдаче и с датой кеша после 17 июля

я даже выснять ничего не стал, просто перевез все сайты, когда бот ходить перестал и все... А то ответ один всегда - с нашей стороны все в полном порядке

Skat писал:

ибануться я весь мозг вчера сломал почему сайт вылетил из выдаче и нет в кеше его, суппорту 3FN бля доказывал что хуйни они понаворотили с сервером и на мой сайт с 16 июля больше не было захода гуглбота, на вскидку с суппортом проверили 20 сайтов с этого же сервера, и ни одного в выдаче и с датой кеша после 17 июля

да 3fn, и все сайты кого бот посещал после 14 уже не в индексе, которых еще не посещал - висят пока, вот бля пора переезжать, спасибо за инфу

adultdream писал:

я даже выснять ничего не стал, просто перевез все сайты, когда бот ходить перестал и все... А то ответ один всегда - с нашей стороны все в полном порядке

да я две недели мотался, времени не было особо, все думал глюки гугла, тут как раз в топиках писали, что пенальти надавал, думал попал под раздачу и особо выяснять не стал, вчера решил посмотреть и обалдел..

В случае таких проблем я бы первым делом смотрел, какой ответ дает сервер по проверяемому урлу.
Прочекать можно 4seo.biz/tools/31
а дальше уже в зависимости от того, какой ответ сервак выдаст.