A-Parser - продвинутый парсер ПС, PR, WS, более 35 парсеров!

Что такое A-Parser?

Это быстрый парсер с уклоном на универсальность, удобность и производительность.
На данный момент умеет парсить:

Поисковые системы

• Google
  
• Bing
  
• Yahoo
  
• Yandex
  
• QIP - парсинг яндекса через search.qip.ru с выдачей до 5000 результатов с одного запроса
  
• AOL - парсер search.aol.com, этот поисковик использует американскую выдачу Google
  

Каждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц

Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу

Для Яндекса есть возможность распознавания каптчи через сервис AntiGate(или любой другой с поддержкой их API)

Парсеры кейвордов

Сервисы поиска ключевых слов

• Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики. Может сам подставляет найденные ключевые слова в запросы до указанного уровня. Поддерживает распознавание каптчи через АнтиКаптчу.
  

Подсказки поисковых систем

• Подсказки и релейтед кеи Google
  
• Подсказки и релейтед Bing
  
• Подсказки, релейтед и трендовые кеи Yahoo
  
• Подсказки и релейтед Yandex
  

Для подсказок Google и Yandex умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится

Параметры сайтов и доменов

• Rank::Alexa - парсер Alexa Rank, парсит глобальный рейтинг, топ рейтинг по стране, саму страну и количество бек-линков
  
• Rank::MajestiSEO - парсер количества беклинков с сервиса majesticseo.com, парсит количество ссылающихся страниц, количество уникальных IP-адресов, подсетей класса C и количество уникальных доменов
  
• Rank::SEMrush - проверяет рейтинг SEMrush, количество SE траффика и его стоимость, количество Ads траффика и его стоимость
  
• Rank::OpenSiteExplorer - проверяет рейтинг домена\страницы по OpenSiteExplorer, а так же количество беклинков и бекдоменов
  
• SE::Google::Position - проверка позиции домена по ключевому слову в Google
  
• SE::Yandex::Position - проверка позиции домена по ключевому слову в Yandex
  
• SE::QIP::Position - проверка позиции домена по ключевому слову в search.qip.ru
  
• SE::Google::PageRank - PR страниц и доменов
  
• SE::Google::SafeBrowsing - проверка домена в блеклисте гугла(подпись harm в выдачи)
  
• SE::Yandex::TIC - проверка тематического индекса цитирования домена в Яндексе(тИЦ)
  
• SE::DMOZ - наличие сайта в каталоге DMOZ
  
• SE::Google::TrustCheck - проверка сайта на траст(доверие) гугла(дополнительный блок ссылок в выдаче и т.п.)
  
• Net::Whois - определяет зарегистрирован домен или нет, а так же дату окончания регистрации
  
• SE::Bing::LangDetect - определение языка сайта через поисковик Bing
  
• Net::DNS - парсер резолвит домены в IP адреса
  
• Rank::Category - автоматически определяет категорию сайта на английском языке, категории такие же как в dmoz.org, например google.com - Computers/Internet/Searching
  
• Rank::CMS - определение около 200 видов CMS на основе признаков. Определяет все популярные форумы, блоги, CMS, гестбуки, вики и множество других типов движков
  

Парсеры различных сервисов

• SE::YouTube - полноценный парсер YouTube, парсит ссылку на ролик, титл, описание, длину ролика, дату добавления, имя пользователя и количество просмотров. Поддерживает все фильтры YouTube
  
• SE::Google::Maps - парсер ссылок в результатах выдачи в картах Гугла(Google Maps), позволяет искать сайты привязанные к определенной местности
  
• SE::Yandex::Direct - парсер direct.yandex.ru, парсит список всех объявлений(титл, текст, домен) и кол-во объявлений по определенному запросу
  
• SE::Google::Images - парсер Google Images, парсит прямые ссылки на картинки, сниппеты, разрешение и размер
  
• SE::Bing::Translator - переводчик через сервис bing.com/translator/, поддерживает все языки сервиса, включая автоопределение языка оригинала текста
  
• Util::AntiGate - распознавание каптчи через сервис AntiGate, служит для настройки и тестирования распознавания каптч
  

Парсинг контента

• HTML::LinkExtractor - парсит внешние и внутренние ссылки с указанного сайта, может ходить по внутренним ссылкам до выбранного уровня.
  
• Net::HTTP - скачивает указанную страницу, поддерживает многостраничный парсинг.
  

Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры.

Обработка и фильтрация результатов

• Фильтрация любого результата по вхождению строки, эквивалентности строк, регулярному выражению, больше, меньше, равно и т.п.
  
• Уникализация любого результата по строке, домену, главному домену, папке, строке без учета параметров.
  
• Парсинг любого результата с использованием регулярных выражений.
  

Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне:

• Полностью интерактивный мега-юзабильный веб интерфейс
  
  
  
  • Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты
    
  • Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д.
    
  • Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д.
    
  • Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе
    
  • Поддержка русского и английского языка
    
  
  
  
• Огромная скорость работы, подробнее тут: Производительность
  
• Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии
  
• User API - интеграция возможностей парсера в свои скрипты, подробнее тут: User API, взаимодействие с другими программами и скриптами
  
• Открытая разработка, багтрекер, выслушивание всех мнений и их реализация
  
• Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у
  
• Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki
  

Более подробное описание и скриншоты

Wiki - дополнительная информация, инструкции и т.д.

Скриншот интерфейса:


На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременная уникализация по домену всех результатов

Ценовая политика

На данный момент продается версия Pro(все парсеры) и Enterprise(все парсеры + API)

• Цена лицензии - 200$
  
  
• Первый год обновления бесплатны, после первого года использования абонентская плата за обновления - 15$ за каждые 3 месяца(возможность работы без обновлений сохраняется)
  
  
• Цена лицензии с API: +50$ к стоимости основной лицензии
  
  
• Всем клиентам кто имеет лицензию на A-Poster - цена всего 150$
  
  
• Комплект A-Parser + A-Poster всего за 300$!
  
  
• Специальное предложение - всем покупателям A-Parser'а предоставляются приватные прокси на 20 потоков на 2 недели!
  

Лицензия позволяет запускать A-Parser на одном сервере\компьютере(напоминаю поддерживается работа на всех версиях Windows и Linux). Переносить можно бесплатно, нельзя запускать на нескольких компьютерах одновременно.

Для покупки парсера зарегистрируйтесь на сайте http://a-parser.com и свяжитесь со мной по любому из следующих контактов:

• ICQ 777889
  
  
• Jabber/GoogleTalk forbidden2k@gmail.com
  
  
• Skype frb403
  

Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а также возможно обсуждение реализации недостающего вам функционала.

Долго же ты терпел

отличный парсер, кстати

Продукты у Forbidden-a отличные

Прошёл ровно год с выхода первой бета-версии парсера, за это время A-Parser вырос до стабильной версии и зарекомендовал себя с лучшей стороны среди SEO-гуру, оставив всех конкурентов далеко позади.

Всего за год была проделана огромная работа:

• Выпущено 39 обновлений
  
• Сделано 195 улучшений
  
• Закрыта 141 ошибка
  

Теперь A-Parser содержит в себе 40 полноценных парсеров поисковых систем и различных сервисов.

В честь такого праздника всем новым пользователям, которые приобретут A-Parser в период с 13.03.2013 до 20.03.2013, предоставляется 2 года бесплатных обновлений.

A-Parser - версия 0.9.389

Парсер SE::Google теперь поддерживает распознавание каптчи через сервис АнтиКаптча


В парсере Net::HTTP появилась возможность загружать только заголовки страницы, для увеличения скорости и экономии трафика

Парсер SE::Yandex теперь парсит время индексации страницы, с возможностью фильтрации результатов по этому параметру


Улучшен парсер Check::BackLink:

• Теперь можно определить был ли редирект на странице нахождения беклинка
  
• В результат можно вывести актуальные ссылки страницы беклинка и проверяемой ссылки, а так же анкор проверяемой ссылки
  
• Можно вывести весь список найденных ссылок(анкоров и nofollow) подпадающих под проверяемую ссылку
  

Добавлена кнопка выхода из парсера(повторный запрос пароля)

Исправлен парсер HTML::LinkExtractor - при использовании опции перехода по соседним ссылкам неверно добавлял дополнительные ссылки.

Связанные задачи:

Цитата:

Ошибка #427: Fix HTML::LinkExtractor parse to level option(wrong anchors adding to parsing queue) Улучшение #401: Подключение antigate.com к парсеру Google Улучшение #414: Сделать парсер http заголовков Улучшение #416: Яндекс - дата индекса ссылки Улучшение #422: сделать кнопку логаута Улучшение #423: Улучшение модуля Check::BackLink Улучшение #428: Normalize urls for HTML::LinkExtractor and Check::BackLink

Расширение функциональной части A-Parser'а подтолкнуло меня на изменение мажорной версии Встречайте версию 1.0.0!



Главное нововведение - конструктор запросов:



Конструктор запросов позволяет разделять исходный запрос на части и\или преобразовывать запросы. Основные возможности:

• Разделение запроса на части с помощью регулярного выражения
  
• Замена подстроки в запросе или замена регулярным выражением
  
• Выделение домена\главного домена из ссылки
  
• Добавление знака ! перед каждым словом в запросе(необходимо для парсера SE::Yandex::WordStat)
  
• Приведение запроса к верхнему\нижнему регистру
  

Более подробно и с примерами можно прочитать на странице документации: Query Builder - конструктор запросов

Забегая вперёд расскажу о ближайших планах расширения функциональности:

• Конструктор результатов - аналогично с запросами, только применимо к результатам, например будет возможно автоматически вырезать HTML теги из сниппетов
  
• Парсинг цепочками - многоэтапная обработка запросов, когда результат от одного парсера будет подаваться на вход другому. Позволит объединить несколько действий в одном задании, например сбор ключевых слов и одновременная проверка частоты и конкурентности
  

Это приоритетные направления, помимо этого в задачах ещё множество идей которые будут воплощены в жизнь

Другие изменения в этой версии:

• Число результатов в парсере SE::QIP автоматически преобразовывается из строк "миллионов" и "тысяч"
  
• Исправлен парсер Rank::Alexa в связи с изменением выдачи
  
• Исправлен парсер SE::Yandex - на некоторых запросах мог долго обрабатывать страницу что приводило к зависанию
  

Связанные задачи:

Цитата:

Ошибка #430: Fix Rank::OpenSiteExplorer crash when IP banned Ошибка #431: не правильный парсинг Алекса Ранк Ошибка #432: 2 запроса {query} Ошибка #437: Check::BackLink падает на некоторых ресурсах Ошибка #438: Fix long SE::Yandex regex Улучшение #380: Query builder Улучшение #433: Число страниц определенного сайта в индексе Qip выводить числом

A-Parser - версия 1.0.11

Обновилось API, добавлено 3 метода:

• addTask - полноценное добавление задания, со всеми настройками
  
• getTaskState - получение состояния задания(статистика выполнения, текущий статус)
  
• changeTaskStatus - изменение статуса задания(пауза\старт\стоп\удаление)
  

Подробнее на страницы руководства: User API, взаимодействие с другими программами и скриптами

В конструкторе запросов теперь возможно разделять запрос через произвольный разделитель

Парсер SE::YouTube теперь дополнительно парсит ссылку на превью ролика

Исправлено:

• Парсер SE::YouTube в связи с изменением верстки
  
• Парсер SE::Yandex - исправлено определение даты попадания в индекс
  

Связанные задачи:

Цитата:

Ошибка #412: Can't edit task created from quick task menu Ошибка #413: In quick task need to set unique queries for Parse to level with suggests Ошибка #440: Fix {origquery} macros(bug introduced in 1.0.0) Ошибка #445: Не работает парсер Youtube Ошибка #449: SE::Yandex: баги с поиском даты Улучшение #273: в API нету добавления задания Улучшение #439: Разделение запроса через произвольный разделитель Улучшение #441: сохранение прокси без указания типа(http://, socks://) Улучшение #444: Парсер Youtube - ссылка на превью ролика Улучшение #446: Get task state and change task status with API

A-Parser - версия 1.0.21

Улучшения:

• Парсер Rank::MajesticSEO теперь также парсит показатели Trust Flow и Citation Flow
  
• Возможность выбора языка результатов для парсеров SE::Yahoo и SE::Yahoo::Suggest
  
• В парсер SE::Yandex добавлена поддержка домена yandex.kz
  
• Теперь возможно вручную указать прокси для любого запроса, для этого необходимо создать результат {proxy} через Query Builder
  
• В парсер Net::HTTP добавлена опция Detect charset on content, позволяющая автоматически определять кодировку страницы
  
• В парсер Net::HTTP добавлен результат {proxy}, позволяющий отобразить использованный прокси при запросе
  
• В API теперь возможно добавлять задания на основе ранее сохранённого пресета из интерфейса
  

Исправления:

• SE::AOL в связи с изменениями в выдачи
  
• SE::Google - исправлен парсинг Related keywords
  
• Исправлено определение кодировки через тег <meta charset=
  

Цитата:

Ошибка #447: AOL parser not work again Ошибка #452: Fix charset detecting for <meta charset= tag Ошибка #460: Fix related keywords parsing in SE::Google Улучшение #450: Добавить в модуль Net::HTTP {proxy} Улучшение #451: Смена языка во всех парсерах yahoo(SE::Yahoo, SE::Yahoo::Suggest) Улучшение #453: Добавить в Rank::MajesticSEO парсинг показателей Trust Flow и Citation Flow Улучшение #454: API addTask брать настройки из Task preset Улучшение #455: Ability for select save good proxies with type or not Улучшение #456: Add yandex.kz domain for SE::Yandex Улучшение #457: Add 'Detect charset on content' for Net::HTTP - automaticaly detect charset of content if meta charset/charset-encoding not specified Улучшение #458: Now result {proxy} from Query Builder used as proxy for current query

A-Parser - версия 1.0.27

Results Builder - конструктор результатов, позволяет редактировать и создавать новые результаты, поддерживает:

• Поиск и извлечение данных по регулярному выражению
  
• Замена по регулярному выражению
  
• Разделение строки по произвольному разделителю
  
• Замена подстроки в строке
  
• Извлечение домена/главного домена из ссылки
  
• Приведение к верхнему\нижнему регистру
  
• Удаление HTML-тегов из текста
  
• Преобразование HTML-entities(спец-символов начинающихся с амперсанда &) в соответствующий UTF-8 текст
  

Новый парсер SE::Google::Compromised - проверка наличия надписи This site may be compromised в гугле

Исправлено:

• Обработка каптчи в парсере SE::Google
  
• Парсинг ссылок в SE::Yandex содержащих дополнительную информацию в виде превью к играм, а так же ссылок помеченных как "инфицированные"
  

A-Parser - полностью обновленный сайт

Несколько важных новостей:

• У нас полностью новый сайт, с полной интеграции с форумом. Все пользователи, новости и задачи были успешно перенесены
  
• Мы подключили мерчант InterKassa, теперь мы принимаем к оплате:
  
  
  Подробнее на странице покупки A-Parser'а: Купить A-Parser
  
• У нас новый саппорт: Viktoria (контакты)
  
• Ко всем существующим видам связи(ICQ, Skype, Jabber, GoogleTalk, E-mail) мы добавили онлайн-чат с оператором на сайте
  

Подписывайтесь на новости и общайтесь на форуме!

Оффтопик: Постинг ссылок разрешен только по достижению 30 постингов или 30 дней с момента регистрации
Оффтопик: Постинг ссылок разрешен только по достижению 30 постингов или 30 дней с момента регистрации
A-Parser - версия 1.0.37

Улучшения:

• При добавлении быстрого задания теперь количество попыток выполнить запрос(Request retries) установлено в 200
  

Исправления:

• Исправлен парсер SE::YouTube в связи с изменением в выдачи
  
• Исправлено импортирование заданий(ошибка появилась в предыдущей версии)
  
• Исправлена обработка каптчи у парсера SE::Google подсчет количества результатов(ошибка появилась в предыдущей версии)
  
• Исправлен подсчет количества результатов(ошибка появилась в предыдущей версии)
  

Связанные задачи:

Цитата:

Ошибка #516: SE::YouTube broken Ошибка #515: Bug when importing/loading tasks(introduced in 1.0.27) Ошибка #479: Fix again Google captcha Ошибка #478: Fix counting results from arrays(bug introduced in 1.0.27) Улучшение #523: Tasks added from Quick Task now have Request retries = 200 Улучшение #480: Validating parser/preset exists before adding task

A-Parser - версия 1.0.49

Улучшения в парсере гугла:

• CaptchaKiller - убийца каптчи для парсера SE::Google - теперь можно парсить inurl: даже на паблик проксях!
  
  В последнее время Google довольно сильно ужесточил парсинг с операторами(inurl:, site: и т.д.), постоянно показывая каптчу(проверочную картинку), что не позволяло спарсить результаты выдачи без использования хороших проксей или сервиса АнтиКаптча. Это улучшение позволяет A-Parser'у автоматически обходить каптчу без использования сервисов
  
  
  
  Сравнение парсинга с CaptchaKiller и без на форуме
  

• Теперь дополнительно парсятся рекламные блоки - ссылка, анкор и сниппет, что позволяет собрать список конкурентов в Google AdWords
  
• Также парсер SE::Google теперь сохраняет сессии что позволяет парсить еще быстрее, получая меньшее число ошибок
  

Улучшения в сохранении результатов:

• Теперь в имени файла результата можно использовать все макросы доступные в Result format, что позволяет в имени файла использовать любую часть результата или запроса(пример: при парсинге Google PR сохранять ссылки в файлы 0.txt - 10.txt, где цифра означает PageRank)
  
• Теперь возможно указать папку(с неограниченной вложенностью) для сохранения результата
  
• Комплексный пример: {date}_{time}/parser1({pr}).txt - будет создавать новую папку с текущей датой и временем и автоматически сортировать результаты по файлам
  

Остальные улучшения:

• В качестве запросов можно использовать файлы из папки с результатами
  
• В парсере SE::Yandex появился новый результат {misspell} определяющий посчитал ли Яндекс запрос опечаткой или нет
  
• В ProxyChecker изменена проверочная ссылка по умолчанию
  
• В API теперь возможно отключить ведение логов
  
• В парсерe SE::Yahoo убраны результаты {totalcount} и trending[] в связи с изменением в выдаче
  
• В ProxyChecker теперь возможно отключить проверку загруженных проксей - все прокси будут считаться живыми
  

Исправления парсеров в связи с изменением в выдаче:

• SE::Bing - не парсились релейтед кейворды
  
• SE::Yahoo - не парсилась основная выдача и релейтед кейворды
  
• SE::AOL - не парсилась выдача
  
• SE::Yandex::Suggest - в некоторых случаях не парсились кейворды
  
• SE::Yandex - исправлена логика при показе каптчи
  
• SE::Yandex::WordStat - исправлена логика при показе каптчи
  
• SE::YouTube - не учитывались параметры фильтров
  
• Rank::Alexa - не парсился основной рейтинг
  
• Rank::Ahrefs - не парсилось количество беклинков
  

Полный список изменений тут: 1.0.49

Оффтопик: Постинг ссылок разрешен только по достижению 30 постингов или 30 дней с момента регистрации
A-Parser - версия 1.0.60

Улучшения в CaptchaKiller для парсера SE::Google

Исправлена загрузка каптчи в SE::Yandex::WordStat и работа фильтров в SE::YouTube

A-Parser - версия 1.0.69

Новый парсер HTML::TextExtractor - парсит текстовые блоки с указанной страницы, можно использовать для парсинга огромного количества текста для наполнения своих сайтов и доров, можно настроить минимальную длину текстового блока для парсинга



В парсере Net::HTTP появилась возможность использовать POST и HEAD запросы, пример парсинга с POST запросом:



Другие улучшения:

• Теперь в формате результата есть возможность указать исходный запрос - {firstquery}, позволяет при парсинге в глубину сохранять результаты по файлам с именами изначальных запросов
  
• В парсер Net::Whois добавлен парсинг NS серверов и статусов доменов
  
• В парсере Net::Whois теперь используется единый формат даты регистрации и окончания регистрации - dd.mm.yyyy для всех зон
  
• Новые результаты для всех парсеров:
  
  
  
  • {retries} - использованное количество попыток на данный запрос
    
  • {querynum} - порядковый номер запроса
    
  • {lvl} - уровень вложенности запроса(при использовании опций Parse all results, Parse to level)
    
  
  
• Для парсера Net::HTTP добавлен параметр Max redirects count - определяет максимальное количество редиректов
  
• Для всех парсеров SE::Google::* добавлен домен www.google.by
  
• Теперь есть возможно указать задержку между запросами(актуально только при парсинге в 1 поток)
  

Исправления:

• Исправлен парсинг подсказок SE::Bing::Suggest
  
• Исправлено сохранение результатов с двоичными данными(изображения, видео и т.п.)
  

Подробнее тут: 1.0.69

A-Parser - версия 1.0.71

Мини-апдейт, исправляет ошибки:

• В предыдущей версии перестал работать Util::AntiGate, следствием чего перестала работать возможность распознавания каптчи(в парсерах Google, Yandex и т.п.)
  
• В конструкторе результатов(Results builder) не работала функция замены по регулярному выражению(Regex Replace)
  
• Парсер падал если не мог создать папку с результатами
  

Подробнее тут: 1.0.71

В данный момент ведется активный перенос парсера на обновленную платформу и сокращение времени выпуска новых версий(на данный момент компиляция всем пользователям занимает около 2ух дней)

A-Parser - версия 1.0.81

В этой версии только экстренные исправления в связи с изменением в выдаче:

• SE::YouTube
  
• Rank::Alexa
  
• Rank::MajesticSEO
  

Также исправлена некорректная работа парсера при использовании UTF-8 в регулярных выражениях

Подробнее тут: 1.0.81

Перенос парсера на новую платформу, начатый около 2ух недель назад, подходит к концу и в ближайшее время будет доступна бета-версия.

A-Parser - версия 1.0.91

Новый парсер SE::Yandex::WordStat::ByDate - парсит статистику показов ключевых слов Yandex WordStat по месяцам или неделям:


Новый парсер SE::Baidu - парсит поисковую систему baidu.com, популярную в китае и японии:


Теперь парсер гугла SE::Google может парсить по новостям и блогам:


Парсер Яндека SE::Yandex дополнительно парсит рекламные объявления в выдаче:


Другие улучшения:

• Можно выбрать несколько файлов для обработки - на каждый файл будет создано свое задание:
  

• Теперь в апарсере есть новости и подсказки на английском и русском:
  

• В парсере Net::HTTP появилась возможность указать Cookies
  
• В парсер HTML::TextExtractor добавлена возможность отключить парсинг анкоров у ссылок
  

Исправления:

• Исправлен парсер Rank::Ahrefs в связи с изменением в выдаче
  
• Исправлена ошибка при которой парсер мог упасть при большом числе файлов запросов
  
• Исправлена работа конструктора результатов Results builder при использовании макроса {query}
  
• Отсутствовала прокрутка в тестовом парсинге
  
• Иногда число активных заданий могло уменьшаться
  

Подробнее тут: 1.0.91

A-Parser - версия 1.0.95

Исправление парсера SE::Yandex::WordStat - Яндекс целиком изменил сервис и мы одни из первых исправили парсер
Версия с поддержкой каптчи выйдет немного позже.
Также исправлен парсинг ссылок объявлений в парсере SE::Yandex

Подробнее тут: 1.0.95

A-Parser - версия 1.0.99

Вновь исправлен SE::Yandex::WordStat в связи с изменением в выдаче, также возвращена поддержка работы с антигейтом и теперь автоматически сохраняются хорошие сессии для экономии прокси и каптч

Улучшения в Extract Top Domain(в Query Builders, Results Builders и в уникализации результатов) - теперь парсер корректно определяет все региональные поддомены вида *.org.ru, *.co.uk и др.

Обновлен список языков для всех парсеров гугла SE::Google::*

Исправления:

• В парсере HTML::LinkExtractor некорректно обрабатывались ссылки mailto: и javascript:, также теперь по умолчанию этот парсер не переходит по редиректам
  
• В парсере SE::Bing исправлена ошибка при которой A-Parser мог падать в некоторых случаях
  
• Исправлено зависание при парсинге SE::Baidu
  
• В интерфейсе иногда могли пропадать настройки парсеров
  
• Исправлен SE::YouTube в связи с изменением в выдаче
  

Подробнее тут: 1.0.99

A-Parser - версия 1.0.111

Расширение API:

• Новый метод info - получение информации о PID, версии парсера и количества заданий в очереди
  
• Новый метод getTaskConf - получение полных настроек задания по его ID
  
• AParser.pm - Perl модуль, реализует текущее API
  

Парсеры SE::Yandex::WordStat и SE::Yandex::WordStat::ByDate полностью исправлены после последних обновлений Яндекса. Средняя скорость проверки теперь составляет 5000 кейвордов в минуту без использования антигейта.

В парсеры SE::Bing::Suggest и SE::Yahoo::Suggest добавлена опция Parse to level позволяющая автоматически подставлять найденые подсказки опять в запросы, тем самым происходит парсинг вглубь до 10 уровней вложенности

В парсере Rank::MajesticSEO теперь можно проверить количество беклинков у конкретной страницы сайта

Исправлены:

• SE::DMOZ - в связи с изменение в выдаче
  
• Опция Match subdomains(проверка сабдоменов) во всех парсерах позиций сайта(Positions) - ошибка появилась в предыдущей версии
  

Подробнее тут: 1.0.111

A-Parser - версия 1.0.119

Новый метод уникализации DataBase - не использует оперативную память, 100% точность. Убраны старые методы Dynamic, DynamicHash, 16-64mb как неактуальные, подробности тут

Реализовано лимитирование потоков, в случае превышения потоков в задании парсер выдаст ошибку и не запустит задание. На Windows лимит установлен в 2000 потоков, на Linux в 10000(или меньше если ulimit -n меньше)

Исправлена обработка каптчи в парсере SE::Yandex. Также теперь можно указать регион поиска в цифровом формате через Extra query string, возможность выбора региона из списка сохраняется

В API добавлена возможность переопределить настройки пресета в методах oneRequest и bulkRequest. Добавлен новый метод getParserPreset - позволяет изучить доступные настройки для каждого парсера. Обновлен модуль AParser.pm

Добавлен парсер новой поисковой системы SE:: DuckDuckGo

Обновлен список доменов гугла в парсере SE::Google. Также теперь парсер гугла может определять ошибочно был введен запрос или нет(результат {misspell})

Исправления:

• Иногда ссылка на первый ролик в SE::YouTube парсилась некорректно
  
• Исправлено падение в некоторых случаях после постановки задания на паузу
  
• Исправлен двойной запуск задачи после паузы, баг появился в одной из предыдущих версий
  
• При дублировании задания частично пропадали настройки Results Builder
  

Подробнее тут: 1.0.119

A-Parser - версия 1.0.130

Важное улучшение - теперь все парсеры(а их 43) проходят ежедневное автоматическое тестирование, что позволяет оперативно реагировать на изменения в выдаче или работе всех сервисов, с которыми работает A-Parser.

Улучшения:

• Новый макрос результата {dump} - выводит в удобном виде все результаты получаемые парсером
  
• Улучшен парсинг SE::AOL - теперь необходимо гораздо меньше попыток для успешного парсинга
  
• Теперь парсер SE::Bing парсит до 1000 результатов с каждого запроса
  
• В парсере SE::Google:: PR если у домена или страницы нету PageRank то в результате выведет -1
  
• Парсер SE::DMOZ переименован в Rank::DMOZ
  

Исправления:

• Исправлена работа уникализации результатов в тесте A-Parser'а
  
• Исправлено автоматическое удаление временных файлов при работе уникализации
  
• Rank::Alexa в связи с изменением в выдаче
  
• SE::Google::Compromised в связи с изменением в выдаче
  
• SE::QIP в связи с изменением в выдаче
  
• SE::DuckDuckGo в связи с изменением в выдаче
  
• SE::Yandex::WordStat в связи с изменением в выдаче
  
• Rank::DMOZ ошибка при проверке домена с www.
  
• Rank::Ahrefs в связи с изменением в выдаче
  

Подробнее тут: 1.0.130

A-Parser - версия 1.0.148

Новый парсер SE::Yandex::Direct::Frequency - проверка частотности ключевых слов через Яндекс.Директ.
Без распознавания каптчи средняя скорость проверки 3000 ключевых слов в минуту при 500 потоках:


На хороших проксях и при большем числе потоков можно добиться скорости более 20000 кеев в минуту

В парсере HTML::TextExtractor теперь корректно обрабатываются списки(<select>)

Исправления в связи с изменением в выдаче:

• Rank::Alexa
  
• SE::Google - определение запросов по которым нет результатов
  

Другие исправления:

• Исправлена логика работы Parse all results(Parse to level) совместно с макросами перебора букв(или фраз из файла)
  
• При парсинге SE::YouTube в некоторых случаях некорректная обработка UTF-8 могла приводить к падению парсера
  
• При парсинге SE::Yandex::WordStat::ByDate с пустым запросом парсер падал с ошибкой
  
• В Perl-модуле AParser.pm исправлено добавление задания с запросами из файла(для пользователей с Enterprise лицензией)
  
• Парсер SE::Yandex мог прекратить парсинг запроса если прокси вернула некорректный редирект(актуально для паблик-прокси)
  
• Исправлено некорректное сохранение данных в UTF-8 во многих парсерах
  
• Редактирование задания в очереди приводило к невозможности запустить это задание(с ошибкой о несуществующем файле запросов)
  

A-Parser - версия 1.0.154

В связи с тем что WordStat теперь можно парсить только используя аккаунты появился новый парсер SE::Yandex::Register - автоматически регистрирует тысячи аккаунтов используя антигейт.


На скриншоте пример регистрации 1000 аккаунтов за 15 минут. Скорость ограничена возможностями антигейта.

Парсеры SE::Yandex::WordStat и SE::Yandex::WordStat::ByDate теперь поддерживают авторизацию и позволяют парсить миллионы кейвордов и проверять частотность без использования антигейта. Теперь затраты на каптчу только при регистрации аккаунтов!



Другие улучшения:

• Теперь A-Parser поддерживает неограниченное число вложенных запросов(при использовании опции Parse to level)
  
• Теперь все парсеры позиций сайтов по ключевым словам могут сравнивать искомую позицию по домену, по главному домену и по полной ссылке(опция Match type)
  
• В парсер SE::Yandex добавлен результат geo, который определяет является ли запрос гео-зависимым(предупреждение о показе результатов для конкретного региона)
  

Исправления:

• Исправлен парсер подсказок SE::Google::Suggest в связи с изменением в выдаче
  
• Исправлен парсер SE:: DuckDuckGo - в связи с изменением в выдаче некорректно определял последнюю страницу
  
• При использовании очень больших файлов запросов парсер мог вылетать при возобновлении работы задания после паузы
  

Подробнее тут: Версия 1.0.154

A-Parser - версия 1.0.180

Парсер Яндекса SE::Yandex:

• Добавлена опция Parse not found, определяющая парсить ли выдачу если по искомому запросу найдено ноль результатов и предложена выдача по другому запросу
  
• Теперь яндекс гораздо реже показывает каптчу
  
• Исправлена отправка каптчи в связи с изменением в выдачи
  
• В некоторых случаях неверно отправлялся запрос на антигейт о неправильной каптчи
  

Парсер Яндекс Вордстата SE::Yandex::WordStat:

• Улучшена работа с аккаунтами - неверно определялся заблокированный аккаунт
  
• Нельзя было использовать антигейт совместно с аккаунтами
  

Другие улучшения:

• Реализована статистика работы по каждому заданию, в текущей версии считает количество успешных запросов, использование проксей, попыток и HTTP-запросов
  
• Теперь при просмотре логов неудачные запросы выделяются красным цветом для удобства отладки
  
• Небольшие улучшения в скорости работы прокси
  

Исправления:

• Исправлен парсер SE::AOL в связи с изменением в выдачи
  
• Исправлен парсер Rank::Ahrefs в связи с изменением в выдачи
  
• Исправлен парсер SE::Google::TrustCheck в связи с изменением в выдачи
  
• Исправлено разделение логов по запросам
  

Подробнее тут: Изменения в версии 1.0.180