Парсинг любых сайтов на php/curl, nodejs/phantomjs

Пишу парсеры/грабберы сайтов на php/curl и nodejs/phantomjs с веб-интерфейсом и без.

Возможности:

пасринг открытых сайтов и требующих авторизации в т.ч.
решение капчи через anti-captcha.com(1$ за 1000 капч)
phantomjs выполняет любые js скрипты и редиректы как нативный браузер, сайт не поймет что его парсят.
работа через прокси, мультипоточность.
cron like настройка периодичности парсинга.
выгрузка видео, аудио, картинок
веб интерфейс
данные сохраняются в mysql/sqlite/mongodb/txt etc.
api для ваших приложений, выдаем данные в json/xml etc.
экспорт данных в сторонние сервисы по api.
email/sms уведомления.
запуск на сервере или локально.


а так же автопостинг, авторегеры и т.д.

подробности в л.с.

Последний раз редактировалось: dizziness (16/01/17 в 22:42), всего редактировалось 2 раз(а)

Простейший пример, скрипт сбора ключей с любых tube/tgp сайтов

Элементарная настройка, работает на любой платформе win/linux/mac.

нужны только три параметра:

1. начальная страница.
2. кнопка next page
3. xpath элемента содержащего keyword

видео с забойной музыкой(проверьте уровень громкости)

Заказал у ТС несложный парсер. Впечатления только положительные. Работу выполнил очень быстро, все в итоге работает так, как я хотел.

все сделал хорошо как нужно, даже лучше.
ставлю лайк

Заказал парсер, все сделано как заказывал и работает как надо, советую