Z
С нами с 15.05.05
Сообщения: 55059
Рейтинг: 7770
|
Добавлено: 28/06/13 в 19:47 |
сообственно сабж, может ктото поведует
как на своем сервере, с 16 IP поднять прокси, что бы юзать их для распаршивания yandex XML
|
|
|
|
С нами с 24.10.04
Сообщения: 18881
Рейтинг: 9010
|
Добавлено: 28/06/13 в 19:54 |
wget, curl в помощь
|
|
|
|
Z
С нами с 15.05.05
Сообщения: 55059
Рейтинг: 7770
|
Добавлено: 28/06/13 в 20:01 |
ibiz: а можно както по подробнее ?
что бы я задачу админу поставил
|
|
|
|
С нами с 24.10.04
Сообщения: 18881
Рейтинг: 9010
|
Добавлено: 28/06/13 в 20:39 |
вот кусок кода, только ключи свои надо вставить
Код: | $ua = "Mozilla/4.0 (compatible; MSIE 7.2; Windows NT 5.1)";
$urllen = strlen($domain);
$url2 = 'http:/'.'/xmlsearch.yandex.ru/xmlsearch?site='.$domain.'&user='.$user.'&key='.$key.'';
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, $url2);
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($curl, CURLOPT_HEADER, 0);
curl_setopt($curl, CURLOPT_TIMEOUT, 5);
curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 5);
curl_setopt($curl, CURLOPT_POST, 0);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_USERAGENT, $ua);
//curl_setopt($curl, CURLOPT_HTTPHEADER, array("Content-Type: text/xml; charset=koi-8r"));
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 0);
//curl_setopt($curl, CURLOPT_COOKIEFILE, $cookie_file);
//curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie_file);
ob_start();
$xml = curl_exec($curl);
ob_end_clean();
curl_close ($curl);
unset($curl); |
|
|
|
|
+ +
WP-Master
С нами с 17.01.13
Сообщения: 1922
Рейтинг: 1123
|
Добавлено: 28/06/13 в 21:16 |
andreich: 1) хитро за роутить или поставить софт типа squid.
2)Заказать написания парсера для этого.
|
|
|
|
Z
С нами с 15.05.05
Сообщения: 55059
Рейтинг: 7770
|
Добавлено: 28/06/13 в 22:21 |
Дартаньян: ты постоянно меня путаешь, причем тут парсер ?
у мен\ есть сервак с блоком IP я хочу через эти IP парсить yandex черз его XML, тоесть поднять прокси и через них работать, с учетом 1К запросов на IP? а у меня блок в 16 IP, я смогу делать 16000 запросов
|
|
|
|
С нами с 17.03.12
Сообщения: 335
Рейтинг: 790
|
Добавлено: 28/06/13 в 22:33 |
Так пусть парсер использует разные ипы. Настройки сервера тут не причем.
|
|
|
|
+ +
WP-Master
С нами с 17.01.13
Сообщения: 1922
Рейтинг: 1123
|
Добавлено: 28/06/13 в 22:51 |
andreich: ты просил что сказать админку, я тебе ответил. Или ищи админа.
|
|
|
|
С нами с 08.02.03
Сообщения: 10564
Рейтинг: 5962
|
Добавлено: 29/06/13 в 10:21 |
в ибизовский скрипт вставляй
curl_setopt($curl, CURLOPT_INTERFACE, $interface);
где $interface - один из твоих IP в цикле их меняй
|
|
|
|
Z
С нами с 15.05.05
Сообщения: 55059
Рейтинг: 7770
|
Добавлено: 29/06/13 в 11:20 |
JM: <hj ты издеваешься на домной ? я же в программинге и администрировании не в зуб ногой , придется когото нанимать
|
|
|
|
С нами с 17.07.09
Сообщения: 990
Рейтинг: 865
|
Добавлено: 29/06/13 в 13:49 |
Самое простое решение - поставить 16 socks-серверов, по одному на каждый IP-адрес.
Рекомендую http://www.inet.no/dante/, сами пользуемся им.
|
|
|
|
Z
С нами с 15.05.05
Сообщения: 55059
Рейтинг: 7770
|
Добавлено: 29/06/13 в 14:42 |
Господа я тут подумал, и вообще что-то запутался, перед тем как использовать yandex XML, тамже надо както порегать IP свой
тоесть сделать 16 аккаунтов и там прописать в каждом аккаунте по одному IP сервера, потом поставить софтину, на сервак
так чтоли ?
тогда предложение такое, краткое ТЗ
мне надо что бы я мог через свои 16 IP делать запросы к yandex XML
кто возмется настроить сервак под это дело, и сколько будет стоить
|
|
|
|
С нами с 08.02.03
Сообщения: 10564
Рейтинг: 5962
|
Добавлено: 29/06/13 в 16:27 |
ты парсить у себя на компе чтоли будешь?
|
|
|
|
С нами с 05.05.05
Сообщения: 470
Рейтинг: 426
|
Добавлено: 29/06/13 в 18:10 |
andreich писал: | а у меня блок в 16 IP, я смогу делать 16000 запросов |
не сможешь, ты их термсы читал вообще? http://legal.yandex.ru/xml/
Цитата: | Ограничение на количество XML-запросов устанавливается для каждого Пользователя по усмотрению Яндекса в зависимости от сайтов, зарегистрированных Пользователем в сервисе Яндекс.Вебмастер. |
откуда ты 1к запросов взял? мне всего 150 дали и больше одного ипа я добавить не могу
|
|
|
|
С нами с 08.02.03
Сообщения: 10564
Рейтинг: 5962
|
Добавлено: 29/06/13 в 18:48 |
Emperor: написали же один акк - 1 ip
т.е. предпологается что надо 16 акков
|
|
|
|
С нами с 24.10.04
Сообщения: 18881
Рейтинг: 9010
|
Добавлено: 29/06/13 в 19:24 |
Текст этого сообщения доступен только зарегистрированным пользователям.
|
|
|
|
Z
С нами с 15.05.05
Сообщения: 55059
Рейтинг: 7770
|
Добавлено: 29/06/13 в 20:25 |
ibiz: да я тоже полез смотреть и охуел немного
опять они там что то нагородили ебать копать
Вклад сайтов в лимит (начиная со следующих суток) 1520
тоесть есть смысл наклепать сайтов добавить их в один аккаунт и делов ?
так чтоли
бред, какойто
|
|
|
|
С нами с 24.10.04
Сообщения: 18881
Рейтинг: 9010
|
Добавлено: 29/06/13 в 21:13 |
andreich писал: |
тоесть есть смысл наклепать сайтов добавить их в один аккаунт и делов ?
так чтоли
бред, какойто |
мне думается, что нет, у меня там пачка сайтов с лимитом 0, другая пачка лимит по 490, причем прослеживается тенденция от показателей
|
|
|
|