Парсер html - есть вопросы :) (php)

Потребовалось выдрать из хтмл строчку накидал скриптик как мог, в пхп ньюб

Код:

<? $page=file_get_contents('http://siteA.com'); if (preg_match_all("~<code>(.*?)</code>~si",$page,$ok)){     for($i=0;$i<count($ok[0]);$i++){         echo "<br> <textarea cols=70 rows=30>".htmlspecialchars($ok[0][$i])."</textarea><p>";     } }else{    echo "нихуя нет"; } ?>

Трабла в том, что нужно парсить большое количество страниц, эдак под 1к.
Вопрос, как замутить file_get_contents, чтобы можно было вводить под 1k урлов.
С меня рейтинг по макс.

циклы использовать.
А вообще htp://phpclub.ru/talk/index.php - так много разобранного есть из подобных случаев.

Только оттуда, ничего не нашёл, наверное плохо искал

кури flush, file, for

и ищо set_time_limit(0)

а еще строку

for($i=0;$i<count($ok[0]);$i++)

корректнее заменить на

foreach($ok[0] as $k)

мда руки кривые, нихера не работает

Всем сенкс за посты

напиши в начале error_reporting (E_ALL);
и посмотри что пишет

Да ничего не пишет скрипт исполняетса в приведённом варианте, а вот как сделать завязку скажем чтобы брал урлы из файла и парсил незнаю немогу никак не ифну найти, а может уже и поподалась на глаза, но не могу сообразить. В общем я в пхп 0

$massive=file ('file.csv');

все урлы в файле должны с новой строчки начинаться!

Notice: Undefined variable: page in z:\home\localhost\www\pars.php on line 4

notice не страшен
бля, я так чуствую придется разжевывать...
Все-таки посмотри спецификацию file все понятно станет

pirate писал:

бля, я так чуствую придется разжевывать...

Правильно чувствуешь

Посмотрел, разницы то вроде нет, что я так юзаю, что fail буду

короче

Код:

set_time_limit(0); $massive=file('file.csv'); $vsego=count($massive); for ($i=0;$i<$vsego;$i++) { $page=file_get_contents(trim($massive[$i])); ...//tvoy kod flush(); }

примерно так.

С тебя фотка голой анжелины жолы 1024*800

Большое спасибо

А Бреда Пита можно ?

Всё клёва обрабатывает первый запрос и ошибка

Notice: Undefined offset: 1 in z:\home\localhost\www\pars.php on line 11

nedes писал:

Большое спасибо Всё клёва обрабатывает первый запрос и ошибка Notice: Undefined offset: 1 in z:\home\localhost\www\pars.php on line 11

можешь убрать error_reporting или сделай error_reporting(0)ж

нотис это не ошибка а ... нотис, короче.

Цитата:

А Бреда Пита можно ?

хачу анжилину!

pirate писал:

можешь убрать error_reporting или сделай error_reporting(0)ж нотис это не ошибка а ... нотис, короче. хачу анжилину!

да убирал ужо всё равно неработает

Код:

set_time_limit(0); $massive=file('file.csv'); $vsego=count($massive); for ($j=0;$j<$vsego;$j++) { $page=file_get_contents(trim($massive[$j])); ...//tvoy kod flush(); }

а так?

Работает

Щас разговаривал с её менеджером, она спит как проснётьса он сфоткает и замылит мне, выложув этом топике

nedes писал:

Щас разговаривал с её менеджером, она спит как проснётьса он сфоткает и замылит мне, выложув этом топике

Оффтопик: врешь поди

Я надеюсь вы так не гугл парсите?
Если да, то пожалейте хостера, вы же у него не одни

что верно то верно...

sleep в цикле поставь,
я когда парсил один сайтец он выдавал сообщение об ошибке если не делать интервалы между запросами потому как слишком быстро шли запросы к странице и хостингу это не нравилось, пришлось sleep ставить.

такие вещи лучше через прокси делать, а то можно и подсеть в бан загнать и абуз получить

Приветствую!

Мне недавно попался в руки один парсер, я уже несколько дней немогу понять как он работает (причем работает только на юних серверах?).
Вот чать начального кода, с моими комментрариями:

set_time_limit(0); // - время выполнения скрипта, почему 0?
$realdate = date("Y-m-d"); // получение даты
$realtime = gmdate("H:i:s"); // получение времени
$urls = "http://...../"; // адрес сайта который парсят

if (sizeof($urls)>0) // если есть ссылка то выполнять далее ...
{
for ($z=0;$z<sizeof($urls);$z++) // цикл от 0 до размера ссылки ?
{
$url = $urls[$z]; // берем первый символ ссылки - "h" ?
$handle = @fopen ($url, "r"); // считывает по ссылке "h" данные ?
if (!$handle){echo"Unknown error , check this url $url"; exit();} // если неполучилось выход
while (!@feof ($handle))
{
$a++; // увеличивает ранее не известную переменную на 1
$buffer = fgets($handle, 4096); //получаем строку читая по байту до адреса 4096

if (strpos($buffer,"title>")) // проверка, включает ли полученное "title>"
.......

Так вот непонятно, как оно получает данные , если ссылкой является только буква "h", и т.д. (везде где отсутсвует понимание поставил "?")
Помогите, пожалуйста!!!

nedes писал:

Потребовалось выдрать из хтмл строчку накидал скриптик как мог, в пхп ньюб Код: <? $page=file_get_contents('http://siteA.com'); if (preg_match_all("~<code>(.*?)</code>~si",$page,$ok)){     for($i=0;$i<count($ok[0]);$i++){         echo "<br> <textarea cols=70 rows=30>".htmlspecialchars($ok[0][$i])."</textarea><p>";     } }else{    echo "нихуя нет"; } ?> Трабла в том, что нужно парсить большое количество страниц, эдак под 1к. Вопрос, как замутить file_get_contents, чтобы можно было вводить под 1k урлов. С меня рейтинг по макс.

Код:

<? $sites = file("sites.txt"); // сюда урлы пихай, 1 строка - 1 урл foreach ($sites as $site) { $site=str_replace("\n", "", $site); $site=str_replace("\r", "", $site); $page=file_get_contents($site); if (preg_match_all("~<code>(.*?)</code>~si",$page,$ok)){     for($i=0;$i<count($ok[0]);$i++){         echo "<br> <textarea cols=70 rows=30>".htmlspecialchars($ok[0][$i])."</textarea><p>"; echo "<br>";     } }else{    echo "нихуя нет<br>"; } } ?>

так попробуй!

Последний раз редактировалось: Кот (29/07/06 в 13:07), всего редактировалось 1 раз