С нами с 09.08.06
Сообщения: 663
Рейтинг: 126
|
Добавлено: 19/02/07 в 04:38 |
Как я полагаю, сотрудники Гугла модерируют/банят/просматривают с определенных подсетей ip. Мне кажется, если взять статистику уникальных ip за все время проходящую через десятки-сотни-тысячи забаненных доров, то можно было бы выделить этих "посетителей" и выдавать им "правильный контент" без редиректа или иммитировать попадание на страницу 404 (или "страница устарела") с последующей переадресацией в корень домена для придания "чистоты" ресурса. Может есть наработки в этой области?
ЗЫ. Просто мысля вслух.
|
|
|
|
С нами с 06.02.06
Сообщения: 103
Рейтинг: 160
|
Добавлено: 19/02/07 в 04:58 |
Плохие новости о гуглботе
Цитата: | Сегодня изучал логи, некоторую приватную информацию и тестировал некоторые инсайдеровские возможности.
Выяснил весьма неприятную вещь.
К примеру, IP 64.233.172.24 принадлежит гуглу, используется для индексации (т.е. это чисто рабочий сервер и на нем работает краулер).
А теперь собстно ахтунг.
В логе за месяц накопилась сотня запросов с этого IP.., при этом используются РАЗНЫЕ юзер агенты (чаще всего маскируется под файрфокс и ИЕ6) и при этом передаются ВСЕ соответствующие этим браузерам хедеры, загружаются ВСЕ включенные файлы (иногда неправильно отрабатывает base href) и отрабатываются ВСЕ редиректы. Т.е. вычислить то, что это гуглбот уже не представляется возможным.
Можно конечно использовать базы ип гугла, но ходят слухи что гугл заключил договор с несколькими ISP о аренде ип адресов. В купе с маскировкой юзерагента это убивает возможность клоакинга на корню. |
|
|
|
|
V.V.V.V.V.
С нами с 28.10.05
Сообщения: 2604
Рейтинг: 873
|
Добавлено: 19/02/07 в 05:13 |
Но идея все же красива :-)
Только, если б это было так просто, то давно бы уже на хитрую жопу нашли хуй с резьбой..., а на него, как известно, имеется жопа с обратной резьбой. Хе-х...
|
|
|
|
Z
С нами с 15.05.05
Сообщения: 55189
Рейтинг: 7770
|
Добавлено: 19/02/07 в 12:26 |
Achtwan писал: | Но идея все же красива :-) |
этой идеи уже столет в обед, а тем кому она нужна, давно реализовали идею в инструменты
|
|
|
|
+ + +
С нами с 30.01.07
Сообщения: 131
Рейтинг: 72
|
Добавлено: 19/02/07 в 13:46 |
А может клоакинг делать средствами css+dom+ajax ?
Вот гугл что то делает, новые фитчи внедряет а в выдаче по многим коммерческим запросам все равно одни доры
|
|
|
|
Текстовая реклама в форме ответа Заголовок и до четырех строчек текста Длина текста до 350 символов Купить рекламу в этом месте! |