Проверка урлов на валидность

Нужен скрипт или прога, которая могла бы прочекать список урлов, и всякие 404,403 из списка удалить. Кто подскажет?

Попроси знакомых программеров - скрипт 5 минут писать.
Ну или сам:
php + curl
perl + lwp

Adw писал:

Нужен скрипт или прога, которая могла бы прочекать список урлов, и всякие 404,403 из списка удалить. Кто подскажет?

http://www.kytoon.com/sutra/admin/help.html#ub

есть такая прога. назыаецца XENU, её травиш на какой то сайт и она чекает все урлы, которые на нём висят...

следующий код подойдет(пхп):

Код:

<? $fn="urls.txt"; $fp = fopen($fn, "r"); $ft=fread($fp, filesize($fn)); fclose($fp); $urls=explode("\n", $ft); $i=count($urls); while($i!=0) {   $c = curl_init();   curl_setopt($c, CURLOPT_URL,$urls[$i]);   curl_setopt($c, CURLOPT_FAILONERROR, 1);   curl_setopt($c, CURLOPT_FOLLOWLOCATION, 0);   curl_setopt($c, CURLOPT_RETURNTRANSFER,1);   curl_setopt($c, CURLOPT_TIMEOUT, 10);   curl_setopt($c, CURLOPT_POST, 0);   curl_setopt($c, CURLOPT_HEADER, 1);   curl_setopt($c, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.50");   $result = curl_exec($c);   curl_close($c);   if($result!="")   {echo $urls[$i]." OK";}   else{echo $urls[$i]." SUX";}   $i=$i-1; } ?>

urls.txt во второй строчке заменить на имя файла с урлами.
соответственно каждый урл должен быть в новой строчке (\n), если они разделены ,например, запятыми - в 6 строке заменить "\n" на ","



Оффтопик: мой наглый рекламный топик: Программер ищет заказчиков 8) php,mysql и прочее