В практике часто встречается необходимость обработки напарсенной базы ссылок. Обычно необходимо удалить дубли ссылок и ссылки с одинаковыми доменами.
Предлагаю вашему вниманию виндовую программу выполняющую вышеперечисленные и еще ряд других функций.
Программа написана на Visual С++, предназначена для использования на локальном компьютере. Испытывалась на файле размером 92,7 мегабайта, содержащем 1662034 строки. На компьютере с процессором Интел Пентиум 4 тактовой частотой 2,53 гигагерца и объемом ОЗУ 1 гигабайт время обработки тестовой базы составляло не более 10 минут в зависимости от исполняемой операции.
Такая скорость была достигнута благодаря использованию функции CRC32 совместно с технологией бинарного дерева.
Итак перейдем к тому, что же может данная программа.
1. Удаляет дубликаты ссылок, оставляя только одну из всех. Данная фукция позволяет уменьшить размер спам-базы и не дает переоценить её "крутость", то есть реальное количество имеющихся ресурсов.
2. Удаляет ссылки с одинаковым доменом в адресе. Оставляет только одну ссылку. Считается, что n (эн) ссылок с одного домена хуже чем такое же число ссылок с разных доменов. Бытует даже мнение, что все ссылки с одного домена эквивалентны одной единственной ссылке с данного домена. Таким образом данная функция для дорвейщика является более мощным эквивалентом функции "удаление дублей".
Тем не менее, для тех, у кого большиие базы ресурсов находящихся на субдоменах одного хоста (например на блогспоте) имеется функция удаления дубликатов доменов третьего уровня (типа vasya.blogspot.com).
3. Удаляет параметры в адресе (всё что после вопросительного знака и сам вопросительный знак). Пригодится для тех, у кого база разбита по типам скриптов. Например страница с сообщениями находится по адресу типа \guestbook.php?page=1, а страница с формой по адресу \guestbook.php?act=add. Удалив параметры получим \guestbook.php и теперь применив команду заменить .php на .php?act=add получим прямую ссылку на форму.
4. Добавляет http:// в случае отсутствия. Необходимо для тех, у кого спамилки сами эту функцию не исполняют. Применяется обычно совместно с другими командами.
5. Удаляет строки, содержащие некорректные символы. В результате парсинга могут попасться ссылки содержащие символы псевдографики, иероглифы, латинские буквы с диакритиками и прочие символы из расширенных кодировок. Большинство спамилок такие адреса не обрабатывают и их следует исключить из базы.
6. Добавляет в начало каждой строки заданный набор символов. Пригодится при парсинге по бэклинкам конкурентов. Сначала собираем сайты по запросу, скажем, phentermine, затем применяем команду "добавить в начало каждой строки link: или linkdomain:" и тперь уже парсим бэклинки конкурентов.
7. Заменяет одну подстроку на другую.
8. Удаляет из каждой строки заданную подстроку, можно задать сразу несколько значений. Обычно необходимо для удаления из адресов "http://" "https://" и "www.".
9. Сохраняет или удаляет адреса, содержащие определенные значения. Можно задать сразу несколько значений. Пригодится при разбивке общей базы на более мелкие базы по типам скриптов и доменам.
10. Подсчитывает количество строк в файле. Необходимо для определения количества ресурсов в базе.
Цена редактора баз - 20 WMZ (лицензия на один компьютер).
Заявку на покупку пишите в icq 204470961
