С нами с 28.08.07
Сообщения: 364
Рейтинг: 101
|
 Добавлено: 11/10/08 в 18:36 |
Есть какие либо автоматические грабберы ссылок со всего сайта?
И желательно с фильтром.
Спасибо
|
|
|
|
| |
С нами с 16.01.06
Сообщения: 268
Рейтинг: 460
|
| Добавлено: 11/10/08 в 18:54 |
wget
|
|
|
|
I am the master of my fate
I am the captain of my soul
|
3
|
|
| |
>100 сайтов вебкам. ссылки.
С нами с 31.03.08
Сообщения: 2372
Рейтинг: 3463
|
| Добавлено: 11/10/08 в 19:25 |
есть. как правило, самописные.
|
|
|
|
| |
С нами с 16.01.06
Сообщения: 268
Рейтинг: 460
|
| Добавлено: 11/10/08 в 20:30 |
проще всего выдрать wget-ом, а потом самостоятельно отфильтровать
тем или иным способом  например, perl-ом
|
|
|
|
I am the master of my fate
I am the captain of my soul
|
3
|
|
| |
С нами с 16.04.05
Сообщения: 754
Рейтинг: 352
|
| Добавлено: 11/10/08 в 21:27 |
wget не выдерет ссылки со всего сайта (потому как он только 1 страничку качает). Тебе нужен рекурсивный грабер + парсер. Рекомендую телепорт. Если есть деньги и желание - закажи у кого - нить. У меня что - то в этом роде было, но оно всё сложное и отдавать на халяву не буду. Программисту могу помочь советом нахаляву )
|
|
|
|
| |
Добрый ОС :=)
С нами с 12.04.04
Сообщения: 8342
Рейтинг: 3293
|
| Добавлено: 11/10/08 в 23:10 |
| Цитата: | | Мощная программа для извлечения данных с веб-страниц. Web Data Extractor извлекает URL адреса, метаданные (название, ключевые слова), основной текст, адреса электронной почты, номера телефонов, номера факсов из: веб-страниц , из результатов выдачи поисковых машин, таких как Google, Yahoo, Rambler и прочие, групп новостей или каталогов сайтов, а также списков ссылок. Особенностями программы являются - огромная скорость, многопоточность, точность в извлечении данных и сохранение данных на жесткий диск. Программа имеет множество настраиваемых фильтров, среди которых следующие: фильтр ограничения сессии, даты изменения, размера файла, и т.п. Это позволяет пользователю самостоятельно выбрать уровни рекурсии, поисковые тематики, блокировки по времени и прочее... |
http://rapidshare.com/files/108565225/wde.rar 
|
|
|
|
| |
мы, цари - народ работящий!
С нами с 11.06.05
Сообщения: 13121
Рейтинг: 4892
|
| Добавлено: 12/10/08 в 01:25 |
WASP: спасибо, netvampire теперь тяжко найти
|
|
|
|
| |
С нами с 28.08.07
Сообщения: 364
Рейтинг: 101
|
| Добавлено: 12/10/08 в 09:28 |
WASP: не знаю, что я неправильно делаю, но не грабит он то что нужно... 
З.Ы. Мне надо собрать базу rss с каталога сервиса субскрайб.ru.
|
|
|
|
| |
Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте! |
