Robots.txt и 404 ошибка

Стоит ли как-то ограничивать доступ поисковых систем к индексации страниц с инфой о 404 ошибке. И как это сделать?

ты сам то понял что сказал ? их не только не надо ограничивать а надо, наоборот давать им знать - google тут больше это странички нет, так что ты больше сюда не ходи, ходи туда где у меня новый контент ...
у google кстати есть там какаято спец заглушка на 404, там их поисковая форма - типа попал юзер на 404 а ему говорят чувак старницы нет, но вот тебе форма можешь по это сайту другое поискать

Текст этого сообщения доступен только зарегистрированным пользователям.

Последний раз редактировалось: arma (06/08/15 в 21:58), всего редактировалось 1 раз

andreich писал:

у google кстати есть там какаято спец заглушка на 404, там их поисковая форма - типа попал юзер на 404 а ему говорят чувак старницы нет, но вот тебе форма можешь по это сайту другое поискать

Что за заглушка?
Можно поподробнее?

http://www.google.com/support/webmasters/bin/answer.py?answer=136085