Альтернативный DLE Граббер

Добрый день. Предлагаю вашему вниманию DLE Grabber написанный на PHP.
Сразу скажу, что за его основу был взят другой популярный граббер, однако до 80% его кода было переписано, так что
данный скрипт является уникальным и до этого дня не распространяемым.

DLE порталы очень популярны в рунете, отсюда и актуальность данной темы.

Особенности скрипта:

• Скрипт полностью автономен и самодостаточен.
  Он легко устанавливается, имеет простой и интуитивный интерфейс.
  При покупке скрипта вы получаете, также, техническую поддержку!
  
  
• Скрипт не привязан к конкретному движку.
  Граббер позволяет получать контент с большинства DLE-сайтов (не используя RSS), а полученный контент
  можно использовать на любой CMS (подробнее о механизме ниже).
  
  
• Два режима работы.
  >>Классический режим:
  В этом режиме дистрибутив граббера копируется в директорию вашей CMS.
  Все что нужно - это указать в конфиге драйвер обработки полученного контента от вашей CMS.
  При этом полученные новости, после их подтверждения, автоматически размещаются у вас на сайте.
  
  >>Пакетный режим:
  Суть режима заключается в разделении процесса получения новостей от их добавления.
  При этом грабить новости вы можете на своем локальном сервере (для пользователей Windows отлично подойдет denwer),
  скрипт в этом режиме будет формировать специальные пакеты (.php файлы), которые впоследствии копируются
  в директорию вашего сайта, где обрабатываются пакетным драйвером вашей CMS.
  Преимущества данного режима:
  - Возможность грабить большое количество статей одновременно, если это не позволяет делать ваш хостинг;
  - Если вы грабите долгое время с одного сайта, рано или поздно, ваш IP на этом сайте может быть просто забанен,
  а если грабить с локального сервера - тут вам на помощь прокси и/или динамический IP.
  
  
• Универсальность.
  На некоторых DLE (да и не только) сайтах стоит анти-спам защита (ограничение количества обращений с одного IP в период времени), однако,
  почему-то авторы других грабберов об этом предпочитают не задумываться. Данный же скрипт имеет опцию ограничения количества одновременных запросов с указанием интервала для паузы. Что, конечно, увеличивает время граббинга, но все же оставляет его автоматизированным даже на сайтах с анти-спам защитой.
  Данная опция также может быть полезна, если на вашем хостинге отключена стандартная функция снятия ограничения времени выполнения скрипта.
  (на большинстве серверов она по понятным причинам как раз отключена). В этом случае, обычно, вылетает ошибка 403 (Forbidden).
  
  
• Оптимизация.
  Работа с граббером максимально нацелена на оптимизацию. Тут вам на помощь конфиги, расположенные в отдельной директории, где вы можете указать реквизиты пользователя (для граббинга с автозированной сессией) по умолчанию, перечень ваших категорий, куда вы добавляете новости и ряд других опций. По желанию, мы можем оптимизировать скрипт персонально для вас.
  
  
• Надеждый механизм работы.
  Весь полученный контент хранится в директориях скрипта и может быть использован при повторном запросе на получение тех же статей.
  Это очень полезно, если объем получаемого контента большой, - ведь в этом случае возобновление работы
  после любого сбоя не представляет проблем, достаточно заного указать начальную и конечную страницы,
  а скрипт сам определит какие из статей уже получены, а какие предстоит сграбить.
  
  
• Расширяемость.
  С граббером поставляется и документация к нему с описанием функций и структуры. Ключевые его элементы подробно закомментированы и
  расположены в отдельных библиотеках, что позволит оптимизировать или расширить
  функционал граббера даже начинающему программисту. В граббер, также, встроен простой, но удобный механизм подключения
  собственных модулей по обработке контента. В дистрибутив граббера включен модуль по загрузке
  картинок в указанную директорию (на ваш сервер) и, соответственно, изменение путей для этих картинок в самих новостях.
  
  
• Стоимость.
  Стоимость данного скрипта - 25 WMZ. Форма оплаты - WebMoney.
  При покупке вы получаете:
  
  
  
  • Полный дистрибутив скрипта, с оригинальным кодом и документацией;
    
  • Отсутствие ограничений по времени использования;
    
  • Отсутствие привязок (к домену/IP/....);
    
  • Бесплатную техническую поддержку по почте и ICQ в течении месяца;
    
  • Бесплатную услугу по написанию драйвера под вашу CMS в кратчайшие сроки;
    
    
  
  
  
• Итого
  По любым вопросам можете обращаться по ICQ: 494-897-304].
  Если вас заинтересовал граббер, я могу вам предоставить ссылку на демонстрационную онлайн версию,
  где вы можете протестировать его на сайтах, которые вам интересны. Пишите!
  

P.S. Изначально, данный скрипт писался для личных целей и ранее не распространялся. Большая просьба к покупателям - не спешите выкладывать его в паблик. Я сознательно отказался от кодирования и обсуфикации кода, а также привязки к домену / IP для удобства тех, кто им пользуется.

Как я уже писал выше, для использования полученного контента на какой-либо CMS (сайте, движке), необходим персональный драйвер.
Драйвера для пакетного и классического режимов различаются.
На данный момент драйвера написаны только для форума Invision Power Board v 2.3.x.
В дистрибутив, также, включен демонстрационный драйвер (классический), который просто показывает сграбленные новости (он же используется в демонстрационной он-лайн версии).

И еще раз повторюсь - каждому покупателю, в случае необходимости, будет написан драйвер для его CMS.

Готова новая версия.

- Улучшено ядро скрипта;
- Добавлена возможность рандомизации времени размещения новостей;
- Добавлена возможность проверки новостей на уникальность перед размещением;

В дистрибутив также входят:
- Драйвер для форума Simple Machines Russian;
- Драйвер для форума Invision Power Board
- Драйвер для DataLife Engine (DLE)
- Несколько новых опциональных модулей по обработке новостей

--------------------------------------------------------------------------------

Кого заинтересовало - пишите в ICQ: 494-897-304

Обновление:

- Добавлен драйвер для WordPress
- Добавлена возможность распределения импортируемых новостей по времени (поэтапное импортирование)
- добавлема система авторизации для доступа к скрипту
+ несколько других новых функций

Sergey Gr. писал:

- Добавлена возможность проверки новостей на уникальность перед размещением;

Имеется в виду уникальность для своём же сайте?
Или же с точки зрения SE?

kodek писал:

Имеется в виду уникальность для своём же сайте? Или же с точки зрения SE?

На своем сайте, разумеется. Т.е. проверка, не была ли эта новость уже добавлена, что очень полезно, если используется несколько источников.

Рад сообщить, что сегодня вышло обновление.
Просьбы клиентов учитываются и впоследствии выполняются.

Текущий функционал:

• Поддержка авторизаций на сайте-источнике для получения элементов, недоступных гостям;
  
• Возможнсоть получения новостей определенной категории или всех новостей, публекуемых на главной странице;
  
• Возможность ограничения количества одновременных запросов с указанием интервала для паузы;*
  
• Возможность добавления "случайных" дат при размещении новостей на Вашем сайте;
  
• Возможность проверки новости на уникальность перед добавлением;
  
• Возможность поэтапного добавления новостей на Ваш сайт;
  
• Возможность автоматического определения категории новости по её содержимому (с помощью шаблонов));
  
• Возможность автоматического добавления "подписей" в новости, где можно указать сайт, например, сайт-источник или ключевые слова;
  
• Возможность цензурирования новостей;
  
• Возможность "чистки" HTML-кода новости;
  
• Возможность синонимизации текста (в дистрибутив входит открытая база синонимов Абрамова);
  

Как и прежде, Вы можете написать мне в ICQ, чтобы протестировать демонстрационную онлайн версию граббера.

Появилась новая версия.
Добавлены новые компоненты:
- online-синонимизатор (с поддержкой неограниченного количества баз)
- редактор новостей (в визуальном RTE-редакторе или на уровне HTML-кода)

Цена граббера увеличивается до 35 wmz.

В новой версии появилась возможность добавлять потоковые видео (IMBd) в нескольких режимах (в том числе и с полной загрузкой FLV-видео)

Вышла новая версия.

В связи с большим наплывом вопросов по работе с потоковым видео, опишу возможные варианты работы:
- FLV Flash проигрыватель замещается любым своим (в комплекте с дистрибутивом идет один)
- Сами FLV видео, по желанию, могут закачиваться на сервер. Делать это можно в двух режимах:

• Автоматический: все видео закачивается скриптом через cURL;
  
• Ручной: в конце парсинга страниц выводится список ссылок на видео, которое необходимо скачать и залить на сервер вручную;
  

---------------------------------------------
Также, я готов продать нескольким людям скрипт по старой цене (25 wmz), при условии написания объективного отзыва о продукте.

Итак, как и обещал, - выпускаю обновление. Постарался реализовать наиболее интересные предложения,
которые мне поступили)


- Добавлен универсальный конвертор формата текстовых баз синонимов;
- добавлена возможность автоматического наложения водяного знака на картинки, если они загружаются на сервер;
- добавлена возможность автоматического сохранения картинок в разные папки с сортировкой по дате (годам, месяцам)
- добавлена система удаления текстовых совпадений из содержания новости по шаблонам;
- добавлена возможность заключения всех ссылок новости в тег <noindex> ... </noindex>;
- добавлена возможность автоматического расшифровывания dle ссылок (./engine/go.php) на сайте-источнике;
+ также множество других нововведений;


Также, хочу еще раз прояснить некоторые моменты:
- Текущая цена граббера 35 wmz;
- Услуга бесплатной установки и настройки граббера действительна ТОЛЬКО для одного сайта.
- Для всех клиентов обновления в течении 6 месяцев - бесплатны!

Итак, сегодня вышла новая версия.

В ней серьезно переработано ядро.
Теперь скрипт работает гораздо быстрее, правильно читает бОльшее количество DLE сайтов, в том числе сайты с отключенным ЧПУ.


Кроме этого:
- Добавлена возможность уменьшения размера больших изображений на уровне самих файлов (при загрузке картинок на сервер)
- Значительно улучшена система адаптации скрипта к нечитаемым сайтам
- Упрощена работа с конфигами
- Добавлен универсальный модуль загрузки файлов: он может использоваться для загрузки любого типа файлов (будь-то .swf flash-ролики и/или .rar архивы)
- И многое другое...



В данной версии скрипта присутствуют механизмы защиты от распространения.
В случае обнаружения факта использования скрипта третьими лицами, лицензия
на данную копию теряет свою силу.

В этом случае, владелец скрипта лишается права получения бесплатной
технической поддержки, а также возможности получения обновлений.


-----------------------------------------------------------------------
Цена на скрипт составляет 35 wmz, обновления и техническая поддержка - бесплатны!

Итак, сегодня выпущен финальный релиз новой версии.
В ней большое количество изменений, отмечу только ряд инноваций:



- Добавлена возможность размещения новостей от случайного автора из списка;

- Добавлена поддержка мета-keywords и meta-description; заполнение этих полей возможно в трех режимах:
а) получение непосредственно с сайта-источника;
б) с помощью автоматической системы получения ключевых слов через анализ контента;
в) по собственным шаблонам;

- Добавлен универсальный драйвер удаленного импорта новостей для сайтов, на которых нельзя разместить свой сторонний php код (например, ucoz);
По умолчанию, в качестве примера, драйвер настроен на ucoz.

- Добавлена возможность пропуска всех дополнительных шагов (просмотра списка новостей, подтверждение добавления) в автоматическом режиме;

- А также множество других функций;





]Также... для моих клиентов я подготовил подарок...
В дистрибутив новой версии скрипта входит скрипт, позволяющий поставить граббер на CRON].
Данный инструмент закрыт Zend Guard и работает по лицензионным ключам, для получения которых обратитесь ко мне в ICQ.
Для каждого клиента доступно до 5 ключей на различные копии вашего граббера, расположенные на разных доменах.

Всвязи со спросом ввожу услугу - покупка дополнительных ключей для крона (стоимость зависит от количества).

На следующей недели будет выпущена новая версия.

До 25 марта цена граббера будет составлять 25 wmz

По просьбе клиентов описываю дополнительные услуги:

- написание драйвера для импорта контента на любой сайт (от 10 wmz)
- написание ядра для экспорта (парсинга) контента с любого типа сайта (от 10 wmz)
- продление технической поддержки на месяц (15 wmz)
- Продажа дополнительных ключей для крона (0,5 wmz за ключ)

До 25 мая - скидка 30%

Сегодня выпущено обещанное обновление скрипта. Текущая версия - 6.4 R1

Краткий лог изменений:

- Добавлена возможность фильтрации добавляемых новостей по их авторам на сайте-источнике;
- Исправлены проблемы совместимости скрипта с DLE 8.5;
- Исправлены проблемы с сервисами Google Translate;
- Добавлены новые модификаторы ссылок для SEO-оптимизации новостей;
- Добавлен собственный инструмент для кодирования ссылок по уникальному алгоритму для защиты собственных новостей от копирования;
- Добавлена возможность загрузки картинок на хостинги изображений imageshack и Radikal;
- Добавлена функция обновления новостей, ранее размещенных на сайте (замена новостей);
- Улучшена алгоритм чтения DLE сайтов;
- И многое другое...



Стоимость скрипта составляет 35 wmz или эквивалент в рублях.
Для клиентов предоставляются дополнительные платные услуги по расширению функционала граббера.
Обновления для клиентов в течении 6 месяцев - бесплатно.

Отпуск закончился. В настоящее время я собираю идеи для новой версии граббера, а также продаю текущую

Стоимость скрипта - 35 вмз. Чтобы ознакомиться с демо версией - напишите мне в ICQ.