Multi-Search Parser

Наконец таки написал, как мне кажется, вполне профессиональный парсер сразу нескольких поисковых систем(google,msn,yahoo)
Основной упор был сделан на создании такого алгоритма, которому бы соответствовало максимально возможное качество парсинга и одновременно высокая его скорость.
Скрипт может парсить выдачу сразу нескольких поисковых систем под различными прокси адресами, различными зонами, на любую(уместную) глубину запроса.
Также введен алгоритм, благодаря которому можно определить с высокой долей вероятности, будет ли являться результат следующего запроса аналогичным(на сколько близким вы задаете сами – параметр “эпсилон окрестность”) к результату текущего запроса. На основании этих данных парсер сам решает парсить ли ему этот киворд дальше, и если да, - то по каким параметрам, чтобы получившийся результат был максимально отличен от текущего, а значит наиболее результативным.
Встроен чекер прокси, благодаря которому, парсинг может пройтись всего лишь при использовании нескольких проксей. Скрипт считает любого рода погрешности для каждого из соединений, а дальше циклическим методом "ищет выход" - подбирает работоспособные параметры для текущего киворда опять же, с целью достижения максимальной результативности.

Еще одна приятная вещь: процесс парсинга запускается в фон , то есть вы можете подготовить интересующие вас киворды, нажать на кнопку “Поехали))” и отправляться спать.Параллельно этому будет вестись подробный лог файл. При желании можно указать свой почтовый ящик. На него будут сразу же посланы результаты парсинга .

Вообщем я перечислил одни из основных возможностей парсера, которые вы можете и сами в принципе заметить. Дальше идет жестокая мат. часть.

Посмотреть на сам парсер вы можете пока здесь
– там же описание и характеристики.
Тестовый логин: lynx
Пароль: demo
(Поставил некоторые ограничения в demo версии, чтобы любители халявы не повесили мне сервер)


Ps.Золотое правило: скорость парсинга прямо пропорциональна качеству проксей – не забывайте об этом!
И еще,если часто появляется надпись may be repeit - то просто поставьте эпсилон поменьше.

Итак окончательная цена парсера: 20 $

ася здесь:262-948-112

так он парсит только урлы... а тайтлы, дескрипшны где?

А нужны? Для меня написать это не проблема-добавить пару строчек,просто изначально цель была другая.

Lуnx писал:

А нужны? Для меня написать это не проблема-добавить пару строчек,просто изначально цель была другая.

А в чем тогда его привлекательность по сравнению с другими?

ibiz писал:

А в чем тогда его привлекательность по сравнению с другими?

Я что зря распинался тут
На самом деле я не видел других парсеров,поэтому затрудняюсь тебе ответить на этот вопрос.
Могу лишь привести итог его работы.Через 20 или 30 минут по почте получил 21713 уникальных урл на три кейворда.Собственно ради этого и старался.

ibiz писал:

так он парсит только урлы... а тайтлы, дескрипшны где?

А зачем?

потерто

NoBoDy писал:

А зачем?

Да вот тоже думаю зачем...это же не дор.генератор)

а для чего он ???

шутки не уместны

---------------------------------
если нужен парсер мета тегов и заголовков...пожалуйста,но за отдельную плату

http://bestsearchpro.com/paxil/bin/pars/yahoo/parsed_02-25-14-57.txt
Смотрим этот отчет. Запросы были "знакомста" и "asian porn"
я нифига не пойму... почему в отчете есть google.com, adobe.com, cars.com и другие
это баг или что?

Нет ни баг. На Рунет парсер не заточен, тобишь кириллицу свою подальше)

А вообще выдача улыбнула

Lуnx писал:

Нет ни баг. На Рунет парсер не заточен, тобишь кириллицу свою подальше) А вообще выдача улыбнула

А в чем проблемы кирилицу передать гуглю?

ibiz писал:

А в чем проблемы кирилицу передать гуглю?

Он расчитан на енг работу, видимо.
Ру кейворды парсить в Яше лучше...

Я никому не собираюсь ничего доказывать,те кому надо - уже купили скрипт.
Спасибо,тему можно считать закрытой!

Оффтопик: ...тоже чтоль начать всякую куйню продавать по 20 баков

ibiz писал:

Оффтопик: ...тоже чтоль начать всякую куйню продавать по 20 баков

не флуди: для тебя КУЙНЯ, а для другого полезная вещь в хозяйстве

Lуnx писал:

Нет ни баг. На Рунет парсер не заточен, тобишь кириллицу свою подальше) А вообще выдача улыбнула

уже догадался, но яху на кириллические киворды ничего не выводит. Следовательно, ничего и скрипт не должен парсить, а парсит остальное. Только каким раком туда попали cars.com, adobe.com и пр.?
Вот сам введи в яху "asian porn", и там такого не будет

Andryxa писал:

уже догадался, но яху на кириллические киворды ничего не выводит. Следовательно, ничего и скрипт не должен парсить, а парсит остальное. Только каким раком туда попали cars.com, adobe.com и пр.? Вот сам введи в яху "asian porn", и там такого не будет

Ты какие параметры вводил.Я только что пропарсил яху на 800 ссылок по самым порнушным кивордам,какие только могли прийти мне вголову,никаких белых сайтов там и близко не было! Проверь внимательно,плиз,настройки

Not Found

я не упрекаю в том, что что-то не так. Просто обрати внимание. На тот момент было 2 киворда: "знакомства" и "asian porn". И выдал такие результаты