Глюки с курлом. Останавливается без причины.

глючит курл. суть такова:

Исходный код (подправил чтоб понятней):

$file=file("urls");
for($i=0;$i<count($file);$i++)
{
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $file[$i]);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_NOBODY, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_REFERER, "$url");
curl_setopt($ch, CURLOPT_USERAGENT, "User-Agent: Mozilla/4.0 (compatible; MSIE 5.01; Widows NT)");
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
unset($file_content);

$file_content = curl_exec($ch);

echo $i;
flush();
}


гоняю в цикле по массиву УРЛ
таймаут, как видите, стоит

а скрипт берёт и иногда останавливается,
т.е. не получает $file_content, что-то с ним происходит во время этого процесса...

возникает эта проблемма чаще всего на определённых урлах... НО если этот урл на другой позиции в массиве, то глюкает на каком-нибудь другом.

В чем трабл?

С fsockopen и fopen подобная хрень тоже происходит. На дедике аналогичная фигня. Почти всегда для файлов больших размеров, но не всегда.

Последний раз редактировалось: asgor (21/04/06 в 10:14), всего редактировалось 1 раз

хз, попробуй:

set_time_limit(6000);
ignore_user_abort(true);

Добавь CURLOPT_CONNECTTIMEOUT и выставь CURLOPT_FRESH_CONNECT, CURLOPT_FOLLOWLOCATION в 1.

Не знаю что с чем связано, но наблюдал такие-же глюки (рандомно) пока не прописал ВСЕ эти опции.

не помогло

http://www.php.net/manual/ru/ref.curl.php - вот дока. Там есть в комментариях рабочие варианты.

2Афтор

Как запускаешь скрипт ?
Какие объемы данных , может памяти не хватает?

из браузера, объемы файлов до 3мб. скорее всего что то с памятью, так как ломается только на больших файлах. Думаю не курл виноват. Буду думать.

гы , тогда все ясно , подсоветую :

1.Запуск из крона онли.
2.Не используй file() , вообще лучше забудь про эту чудесную функцию.
3.Обрабатывай большие файлы частями.

Тогда все у тебя будет работать.