С нами с 30.01.05
Сообщения: 21
|
Добавлено: 11/12/05 в 14:37 |
такое дело был скрипт собирал урлы с гулля вчера гугля на запрос скрипта начала выдавать ошибку 403
Warning: file(http://www.google.ru/search?q="guest"+"You+can+post+new+topics"+"viewforum.php?f="&num=100&hl=ru&lr=&as_qdr=all&filter=0&start=0): failed to open stream: HTTP request failed! HTTP/1.0 403 Forbidden
гугля перестала выдавать по 100 результатов на страницу
теперь код нужно переделать чтобы скрипт работал, нужно переделать скрипт чтобы гугля давала по 10 результатов и скрипт продолжал собирать урлы с выдачи со всех страниц ( уже и сам не пойму что написал)
в общем вот код сами поймете
$pay=true;
$all=' ';
$quest=str_replace(" ", "+", $_GET['q']);
$result=implode(file('http://www.google.ru/search?q='.$quest.'&num=100&hl=ru&lr=&as_qdr=all&filter=0&start=0'));
if($pay){
$a=explode('<a href=/search?q=', $result);
for($i=100; $i<=(100*(count($a)-3)); $i=$i+100){
$result.=implode(file('http://www.google.ru/search?q='.$quest.'&num=100&hl=ru&lr=&as_qdr=all&filter=0&start='.$i));
}
}
$l=explode('href="', $result);
for($i=1; $i<count($l); $i++){
$link=explode('"', $l[$i]);
if(!eregi("google", $link[0]) && !eregi("/search", $link[0])){
if(!eregi(substr($link[0],1, 20), $all) && !eregi(substr($link[0],1, 5), $bad)){
$host=explode("/", $link[0]);
if($pay){
@ $e.=$link[0]."\r\n";
}elseif(count(explode("<br>", $e))<26){
@ $e.=$link[0]."\r\n";
|
|
|
|
С нами с 05.12.99
Сообщения: 342
Рейтинг: 323
|
Добавлено: 11/12/05 в 14:52 |
если 403 говорит, то через прокси ходи
|
|
|
|
С нами с 05.07.05
Сообщения: 439
Рейтинг: 331
|
Добавлено: 11/12/05 в 14:52 |
shapic писал: | такое дело был скрипт собирал урлы с гулля вчера гугля на запрос скрипта начала выдавать ошибку 403
Warning: file(http://www.google.ru/search?q="guest"+"You+can+post+new+topics"+"viewforum.php?f="&num=100&hl=ru&lr=&as_qdr=all&filter=0&start=0): failed to open stream: HTTP request failed! HTTP/1.0 403 Forbidden
гугля перестала выдавать по 100 результатов на страницу
теперь код нужно переделать чтобы скрипт работал, нужно переделать скрипт чтобы гугля давала по 10 результатов и скрипт продолжал собирать урлы с выдачи со всех страниц ( уже и сам не пойму что написал)
в общем вот код сами поймете
$pay=true;
$all=' ';
$quest=str_replace(" ", "+", $_GET['q']);
$result=implode(file('http://www.google.ru/search?q='.$quest.'&num=100&hl=ru&lr=&as_qdr=all&filter=0&start=0'));
if($pay){
$a=explode('<a href=/search?q=', $result);
for($i=100; $i<=(100*(count($a)-3)); $i=$i+100){
$result.=implode(file('http://www.google.ru/search?q='.$quest.'&num=100&hl=ru&lr=&as_qdr=all&filter=0&start='.$i));
}
}
$l=explode('href="', $result);
for($i=1; $i<count($l); $i++){
$link=explode('"', $l[$i]);
if(!eregi("google", $link[0]) && !eregi("/search", $link[0])){
if(!eregi(substr($link[0],1, 20), $all) && !eregi(substr($link[0],1, 5), $bad)){
$host=explode("/", $link[0]);
if($pay){
@ $e.=$link[0]."\r\n";
}elseif(count(explode("<br>", $e))<26){
@ $e.=$link[0]."\r\n"; |
Скорее всего тебе надо закодировать передаваемые параметры гугле,
у меня есть хороший парсер, сам писал, стучись, договоримся.
|
|
|
|
С нами с 05.07.05
Сообщения: 439
Рейтинг: 331
|
Добавлено: 11/12/05 в 15:17 |
Оказывается гугл ещё кол-во запрашиваемых результатов банит по определённому запросу
|
|
|
|
С нами с 07.06.00
Сообщения: 3516
Рейтинг: 1802
|
Добавлено: 11/12/05 в 15:26 |
Цитата: | "guest"+"You+can+post+new+topics"+"viewforum.php?..." |
Вполне согласен с гуглом -- нефиг срать по форумам.
|
|
|
|
С нами с 05.12.99
Сообщения: 342
Рейтинг: 323
|
Добавлено: 11/12/05 в 15:37 |
гы, в самом деле на 10 результатов нормально а на 100 403 ...
|
|
|
|
С нами с 30.01.05
Сообщения: 21
|
Добавлено: 11/12/05 в 15:43 |
это с вчеращнего дня, приехали парсер здох
|
|
|
|
С нами с 19.11.03
Сообщения: 3973
Рейтинг: 2362
|
Добавлено: 11/12/05 в 22:44 |
афтору
не пиши чушь , 100 резалтов как отдавалось так и отдается, а код выше это полный бред.
|
|
|
|