SexBlogs.Name
С нами с 13.10.03
Сообщения: 3159
Рейтинг: 962
|
 Добавлено: 09/01/06 в 10:37 |
Привет всем!
С новым годом! (первый пост в новом году  )
Собственно вопрос возник... может кто чего подскажет...
Скрипт у меня работает - парсит гугль - выбирает урлы.
Только что-то последнее время - перестал работать - немогу понять в чем причина - прокси есть (постоянно обновляются) запросы есть - гугль вроде все отдает - но скрипт крутится на одном месте 
В пока общем немогу пока разобраться сам ... ну и вопрос соответственно может гугль изменил алгоритм выдачи ну например недает больше 60 резов в период времени... или еще что нить
Кто нить что-нить замечал?
|
|
|
|
Submit your blog to the sex blogs list. PR=3 Quickly approve! 10 posts min. Ping every 6 hour!
|
0
|
|
| |
С нами с 10.04.04
Сообщения: 1320
Рейтинг: 353
|
| Добавлено: 09/01/06 в 11:29 |
Он счас по многим запросам больше 100 резалтов не даёт.
Но это обходиться..
|
|
|
|
| |
SexBlogs.Name
С нами с 13.10.03
Сообщения: 3159
Рейтинг: 962
|
| Добавлено: 09/01/06 в 11:52 |
ага это знаю... заметил когда перед новым годом ковыряться с тем же самым начал. Запрос тогда видоизменил - всеравно фиг...
а как обходится если не секрет?
я обошелся видоизменением - выкидыванием ключевого слова, ну всмысле слова на которое он ругается
|
|
|
|
Submit your blog to the sex blogs list. PR=3 Quickly approve! 10 posts min. Ping every 6 hour!
|
0
|
|
| |
SexBlogs.Name
С нами с 13.10.03
Сообщения: 3159
Рейтинг: 962
|
| Добавлено: 09/01/06 в 11:58 |
а кстати - это я отследил же это и добавил обработку такой ошибки - так что точно не оно..
|
|
|
|
Submit your blog to the sex blogs list. PR=3 Quickly approve! 10 posts min. Ping every 6 hour!
|
0
|
|
| |
С нами с 30.05.03
Сообщения: 2173
Рейтинг: 1141
|
| Добавлено: 09/01/06 в 13:30 |
yx0: | Цитата: | | Но это обходиться.. |
на умаксфоруме тож читал, что обходится, и многие как-то обходят. я пока не допер временно переключился на парсинг мсн, правда и он, сцуко, больше 250 результатов не выдает (
|
|
|
|
| |
С нами с 29.11.05
Сообщения: 42
Рейтинг: 64
|
| Добавлено: 10/01/06 в 10:53 |
Если ты используешь в парсере запросы inurl, intitle и тому подобные, то гугля тебе ничего не отдаст. А напишет, что с твоего компа какой-то шпион посылает кучу запросов. И все. Гугля защищает себя от таких парсеров. Это естественно. Попробуй поменять запросы.
|
|
|
|
| |
ya-ya
С нами с 27.08.03
Сообщения: 982
Рейтинг: 315
|
| Добавлено: 10/01/06 в 11:37 |
При видоизменённых запросах теряется и часть нужных результатов.
|
|
|
|
| |
С нами с 29.11.05
Сообщения: 42
Рейтинг: 64
|
| Добавлено: 10/01/06 в 11:42 |
Так теряется часть результатов, а при старом запросе результатов нет вообще!
|
|
|
|
| |
С нами с 30.05.03
Сообщения: 2173
Рейтинг: 1141
|
| Добавлено: 10/01/06 в 12:25 |
иногда не теряется, а наоборот куча хлама выдается ненужного, типа внутренних страниц гестбуков и т.д. выход: парсить вместе с этими ненужными страницами, а потом дополнительно производить отсев.
p.s. седня еще одно заблокированное слово нашел: powered... писец, круг сужается...
|
|
|
|
| |
SexBlogs.Name
С нами с 13.10.03
Сообщения: 3159
Рейтинг: 962
|
| Добавлено: 10/01/06 в 12:34 |
| sotiris писал: | | p.s. седня еще одно заблокированное слово нашел: powered... писец, круг сужается... |
я это слово первым узнал ... после уже искать начал ...
Ну придется просеивать кучи мусора, а что делать... зато наградой будет жемчужина
|
|
|
|
Submit your blog to the sex blogs list. PR=3 Quickly approve! 10 posts min. Ping every 6 hour!
|
0
|
|
| |
SexBlogs.Name
С нами с 13.10.03
Сообщения: 3159
Рейтинг: 962
|
| Добавлено: 10/01/06 в 12:36 |
да кстати по поводу сабджа... вопрос снят - ошибку нашел
|
|
|
|
Submit your blog to the sex blogs list. PR=3 Quickly approve! 10 posts min. Ping every 6 hour!
|
0
|
|
| |
С нами с 24.10.04
Сообщения: 18881
Рейтинг: 9010
 
|
| Добавлено: 10/01/06 в 17:42 |
Блокирование слов происходит автоматически.
Эту "гадость" можно использовать, чтоб "убить" конкурентов за соткой (хотя смысла ноль).
Вообщем потестировал я слова различные, и на некоторых адалтных словах тоже есть блокировка.
Для примера запрос allinurl:test
|
|
|
|
| |
С нами с 24.10.04
Сообщения: 18881
Рейтинг: 9010
|
| Добавлено: 10/01/06 в 17:46 |
Это была информация к размышлению... но самое интересное, что через некоторый промежуток времени, и некоторых действиях заблокированные слова "оживают"
|
|
|
|
| |
С нами с 30.05.03
Сообщения: 2173
Рейтинг: 1141
|
| Добавлено: 10/01/06 в 22:38 |
ibiz: | Цитата: | | и некоторых действиях заблокированные слова "оживают" |
ты не томи, сказал А, говори Б;)))
хотябы направление б указал, куда копать
|
|
|
|
| |
С нами с 24.10.04
Сообщения: 18881
Рейтинг: 9010
|
| Добавлено: 11/01/06 в 02:38 |
sotiris: ну это тебе врятли кто скажет, может это "очередной глюк гугля". Но такие запросы, как, например, "inurl:addguestbook", врятли возможно вытащить из поля зрения гугли.
|
|
|
|
| |
