Реклама на сайте Advertise with us

Парсер яндекс маркета на cURL

Расширенный поиск по форуму
 
Новая тема Новая тема   
Автор
Поиск в теме:

Люблю то, что делаю!

С нами с 22.10.06
Сообщения: 5053
Рейтинг: 4418


Передовик Master-X (16.12.2014) Передовик Master-X (16.02.2017) Передовик Master-X (01.03.2017) Передовик Master-X (16.03.2017) Передовик Master-X (01.09.2017) Ветеран трепа Master-X (16.09.2017)
Ссылка на сообщениеДобавлено: 06/10/15 в 11:21       Ответить с цитатойцитата 

Вчера потребовалось спарсить название одной категории товаров. Исключительно название товаров. Яндекс маркет разрешает папсить только 9-10 страниц, затем (302) снова примерно через 30 минут можно начать парсить, но вот если перезапускаю роутер (IP при этом остается), можно снова спарсить.
Возник вопрос, что именно может удаляться и тем самым позволяет снова парсить?

Код: [развернуть]


И еще один вопросик
Код:
curl_setopt($ch, CURLOPT_COOKIEFILE, 'COOKIE.txt');


как можно получить содержимое 'COOKIE.txt' ?

0
 



С нами с 20.09.15
Сообщения: 79
Рейтинг: 48

Ссылка на сообщениеДобавлено: 06/10/15 в 12:43       Ответить с цитатойцитата 

trollface.png unlink? перезапуск php скрипта?

0
 



С нами с 06.07.15
Сообщения: 110
Рейтинг: 171

Ссылка на сообщениеДобавлено: 06/10/15 в 14:15       Ответить с цитатойцитата 

А куда редиректит 302 ? что в Location ?
сколько парсил, капчами замучил но точно не банил.

8
 

Люблю то, что делаю!

С нами с 22.10.06
Сообщения: 5053
Рейтинг: 4418


Передовик Master-X (16.12.2014) Передовик Master-X (16.02.2017) Передовик Master-X (01.03.2017) Передовик Master-X (16.03.2017) Передовик Master-X (01.09.2017) Ветеран трепа Master-X (16.09.2017)
Ссылка на сообщениеДобавлено: 06/10/15 в 17:55       Ответить с цитатойцитата 

gcc писал:
А куда редиректит 302 ? что в Location ?
сколько парсил, капчами замучил но точно не банил.

Спасибо за наводку icon_smile.gif
Я тупанул, и не глянул в Location, а там вот это:
Код:
ocation: http://market.yandex.ru/showcaptcha?retpath=http%3A//market.yandex.…71616f611a

Получается он просит у ввести капчу.

1
 



С нами с 11.10.12
Сообщения: 428
Рейтинг: 1032


Передовик Master-X (16.11.2012)
Ссылка на сообщениеДобавлено: 07/10/15 в 01:12       Ответить с цитатойцитата 

Lexikon писал:


И еще один вопросик
Код:
curl_setopt($ch, CURLOPT_COOKIEFILE, 'COOKIE.txt');


как можно получить содержимое 'COOKIE.txt' ?


COOKIE.txt по настройкам (CURLOPT_COOKIEJAR,CURLOPT_COOKIEFILE) лежит в рабочем каталоге скрипта.

CURLOPT_COOKIEFILE = откуда читать куки
CURLOPT_COOKIEJAR = куда писать куки

apache, bash, css, elasticsearch, ffmpeg, html, js, mysql, mongo, nginx, php; *nix only

0
 
Новая тема Новая тема   

Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!


Перейти:  



Спонсор раздела Стань спонсором этого раздела!

Реклама на сайте Advertise with us

Опросы

Рецепт новогоднего блюда 2022



Обсудите на форуме обсудить (11)
все опросы »