С нами с 17.09.14
Сообщения: 4
Рейтинг: 3
|
Добавлено: 19/09/14 в 12:12 |
Здравствуйте!
Хочу посоветоваться. Мне надо спарсить несколько тубов, показать ембед и ссылку для загрузки. с ембедом проблем нет, он доступен на странице. на большинстве тубов download link я тоже взял без особых проблем.
Но осталось несколько сайтов, с которыми дружба не вяжется - они отправляют параметрами несколько хэшей которые я не могу опознать:
h2porn, hardsextube, pornhub - вот они.
Еще есть xhamster, там другой результат - линк есть. И если его запихнуть в локальный файл и просто открыть браузером то все будет прекрасно, загрузка пойдет. Но стоит его положить даже на локальный сервер (или remote), как вместо видео загрузится заглушка.
Я нашел ресурс tubeoffline, который парсит все эти 4 нужные мне туба и многие другие, но у них там своя тусовка
xhamster - requires java
hardsextube - requires java
pornhub - requires java
h2porn - java не нужна, линк я так и не нашел
И вот с java на выходе ресурс дает ссылку вида: 127.0.0.1: 432434/FFF.FLV
Я яву сосвем не знаю, поэтому даже приблизительно не представляю работу механизма.
Буду рад если кто-то наведет на умную мысль.
Спасибо.
p. s. Конечно, можно зарегистрироваться на ресурсе, и тогда все ссылки будут доступны, но я не уверен что это правильный вариант, т. к. загрузок будет много, а банхаммеры не дремлют
|
|
|
|
С нами с 22.05.04
Сообщения: 268
Рейтинг: 251
|
Добавлено: 19/09/14 в 15:19 |
ты удивишься, но большая часть этих сайтов дает аж рсс и дампы своих баз
потыкайся по форуму в поисках аналогичной темы
|
|
Нестандартные задачи. Кастом программинг на ПХП. Оптимизация стороннего кода. Недорого, недешево.
|
1
|
|
|
💀💀💀
С нами с 31.05.10
Сообщения: 4689
Рейтинг: 728
|
Добавлено: 19/09/14 в 16:42 |
порнохаб 100% парсится и тянется с помощью курла. (имею в виду загрузку себе на серв). Как с хотлинком временной ссылки - хуй его знает. Как вариант, убирай http_referer, имено по нему можно закрыться от хотлинка, по сути больше никак.
Ну и еще, посмотреть че там заголовках передается, и предварительно примерно такойже заголовок отправлять.
|
|
|
|
С нами с 17.09.14
Сообщения: 4
Рейтинг: 3
|
Добавлено: 25/09/14 в 16:28 |
|
|
|
|
С нами с 22.05.04
Сообщения: 268
Рейтинг: 251
|
Добавлено: 25/09/14 в 18:17 |
Предупреждение
Этот сайт был замечен в мошенничестве. Обмен критичными или конфиденциальными данными с этим сайтом сопряжен с риском кражи личных данных и/или финансового мошенничества.
|
|
Нестандартные задачи. Кастом программинг на ПХП. Оптимизация стороннего кода. Недорого, недешево.
|
1
|
|
|
💀💀💀
С нами с 31.05.10
Сообщения: 4689
Рейтинг: 728
|
Добавлено: 25/09/14 в 21:26 |
там плеер квс, наших ребят.
я бы делал так:
тащим курлом страницу, грузим ее в дом. потом вытаскиваем тег <param name="flashvars"> при помощи этого. затем вытаскиваем атрибут и уже регулярочкой достаем Код: [развернуть] | $video_url=http%3A%2F%2Fh2porn.com%2Fget_file%2F16%2F2a234a1115c685ee2e88b0b847a34aac%2F305000%2F305543%2F305543.flv |
которое в последствии декодим в нормальный вид.
|
|
|
|
С нами с 17.09.14
Сообщения: 4
Рейтинг: 3
|
Добавлено: 03/10/14 в 12:37 |
Alik, кагбе не очень-то работает метод твой.
Впрочем, вопрос с h2porn я решил, видео забираю нормально, могу сбросить код. Там параметры гет запроса к видео - хэши вроде (data+videoId) и прочая хрень.
А вот с pornhub ну вообще никак.
Да, он парсится и тянется нормально - с локальной машины.
А если залить на (тестовый) сервер, чтобы посмотреть, как парсер работает,
то ссылка, которую отдаст сервер, уже не будет валидна.
Получается так:
http://cdn2b.embed.pornhub.phncdn.com/videos/201408/26/31221152/480
56c6828081
В ссылке несложно увидеть параметр IP. Когда на локальном сервере я запускаю парсер, он отдает мне ссылку, сформированную на основе IP моего локального сервера. Соответственно, когда я по ней потом качаю, я захожу тоже с моего IP (сервер ведь и браузер физически в одном месте).
А когда я запускаю на тестовом - получаю ссылку с ip тестового. Открываю на локальной машине - pornhub смотрит, что ip не совпадают, и видео не дает. Поменять ip не получится, потому что там еще и хэши на основе его формируются
Если кто-то может помочь, буду благодарен
|
|
|
|
С нами с 18.10.02
Сообщения: 4165
Рейтинг: 3365
|
Добавлено: 03/10/14 в 14:31 |
btpy писал: | Я яву сосвем не знаю, поэтому даже приблизительно не представляю работу механизма. |
Джаву знать и не обязательно, чтобы представлять работу механизма.
btpy писал: | В ссылке несложно увидеть параметр IP. Когда на локальном сервере я запускаю парсер, он отдает мне ссылку, сформированную на основе IP моего локального сервера. Соответственно, когда я по ней потом качаю, я захожу тоже с моего IP (сервер ведь и браузер физически в одном месте).
А когда я запускаю на тестовом - получаю ссылку с ip тестового. Открываю на локальной машине - pornhub смотрит, что ip не совпадают, и видео не дает. Поменять ip не получится, потому что там еще и хэши на основе его формируются |
Джава нужна как раз, чтобы вот эту защиту обойти. Скорее всего на сайте предлагается установить java-applet, задача которого состоит лишь в том, чтобы сграбить страницу тюба с IP юзера и отправить эту страницу на распарсивание на сервер.
|
|
|
|
С нами с 17.09.14
Сообщения: 4
Рейтинг: 3
|
Добавлено: 03/10/14 в 16:07 |
Цитата: | Джава нужна как раз, чтобы вот эту защиту обойти. Скорее всего на сайте предлагается установить java-applet, задача которого состоит лишь в том, чтобы сграбить страницу тюба с IP юзера и отправить эту страницу на распарсивание на сервер. |
Вот тут-то я и зависаю. Потому что средствами, которые у меня есть (насколько я их знаю), я так сделать не могу.
Могу отправить header x-forwarded-for - но поможет это не сильно.
Если бы нужно было файл загрузить - сделал бы потоково с сервера (да или даже просто - на сервере-то все работает)
Но проблема в том, что на сервере мне нельзя ничего хранить.
Вот и ищу помощи.
|
|
|
|
💀💀💀
С нами с 31.05.10
Сообщения: 4689
Рейтинг: 728
|
Добавлено: 03/10/14 в 21:01 |
Выключаю флеш в хроме, лезу на порнохаб. Открываю страницу с видосом, смотрю сорцы. Ага, вот он урл, чистенький:
http://ic.b0d1d7ce.133aa9.6.c3605.d.rncdn3.com/videos/201408/06/304
d9986946cb
ок, копирую, запускаю в отдельном окне - хуй не работает. Ладно, удаляю реферера (при помощи расширения, т.е. редактирую посылаемый заголовок) и вуаля - пашет
П.С.
Стрим видео работает только для одного клиента, т.е. если на сайте будет идти, то в окне не отдаст, ну и если остановить просмотр, то в отдельном окне пашет.
Надеюсь поможет.
Смотри что в заголовках передается.
|
|
|
|