Парсинг

стал разбираться в сущности кодировки

Код: [развернуть]

nvb=20130328135423&nva=20130328145523&speed=752&hash=014b63ccd3a6835036c98 nvb=20130328135440&nva=20130328145540&speed=752&hash=0e281e7a35cb4eac050e9 nvb=20130328135459&nva=20130328145559&speed=752&hash=0b833bf7f482a7b9b0d15 nvb=20130328135518&nva=20130328145618&speed=752&hash=0e1a7112f6acf66d71270

все вроде понятно
nvb - это дата открытия страницы 2013 03 28 13:55:23 по серверному времени
nva - 2013 03 28 14:55:23
Видео активно всего 1 час
что то типа [begin] и [active] я это так расшифровал для себя.
все конечно заебись, но тут появляется одно НО, хэш, ебучий хеш
шифровка явно не MD5 и не SHA-1 и там и там длина больше этих ибо тут соответственно 33 и 41 знать бы чем это закодировали, хтя могли что то свое захерачить
при каждом новом парсинге меняются даты и хэш, так что смею предположить что закодировано там что то связаное с датой

Кстати нашел на некоторых сайтах есть видео которые воспроизводятся и похоже что на этих ресах парсится актуальный код при запросе видео.

Lexikon: не забывай про IP.

Дартаньян писал:

не забывай про IP.

судя по тому, что его ссылка открывается для других, в данном случае нет защиты по ип.

Stek: ссылка на что уточним, во вторых чаще и надежней хешь по IP.

Дартаньян писал:

Stek: ссылка на что уточним, во вторых чаще и надежней хешь по IP.

Я х.з. про что ты, а я про ссылки ТС, которые он парсит

Дартаньян писал:

Stek: ссылка на что уточним, во вторых чаще и надежней хешь по IP.

Я про хеш который вконце URL, речь о нем.
Ну думаю это нах ненужная затея, пытаться расшифровать что там скрыто ибо покавырявшись вчера понял что там могли свою херню шифрования ввести.

Другой вопрос, который был ранее, но потом отброшен.
Почему при парсинге актуальной ссылки будет жраться много бендвича?
Страница которую парсят 37Кб, и ролик будет тянуться не с моего сервера, а с сервера тьюба.

Lexikon: потому что из опыта тюбов которые дают уникальный хешь по IP.

а чей IP ?

если каждую загрузку хеш в данном случе меняется. У меня и у реса IP ведь не менялся.

Lexikon: если ты подсунешь хешь клиенту то у него будет 0, а бендвичь сгорит если ты будешь транслировать видео с тюба клиенту.

Дартаньян писал:

Lexikon: а бендвичь сгорит если ты будешь транслировать видео с тюба клиенту.

Т.е. если у меня будет мой эмбед в котором будет актуальная ссылка на ролик с тьюба и это будет влспроизводиться через мой плеер то сожрется мой бендвичь? И сожрется он в размере просмотра видео?

Я тогда непойму ситуацию когда спонсоры дают ссылки на видео, бендвичь то не мой жрется, а спонсорский.

Как то я не пойму ситуацию.

Lexikon: работает через них если код который они тебе дают, без привязки к IP.

Последний раз редактировалось: Дартаньян (29/03/13 в 14:07), всего редактировалось 1 раз

т.е. на тьюбах этот хэш как бы защита от хотлинка, но с условием что смотреть можно но вот бенвичь будет ждаться того кто воспроизводит видео, вернее тот через кого воспроизводят
так я понял?

Lexikon: не совсем, есть код который дают для вставки там реклама и т.д. он работает везде, а есть код который привязан к IP и видео можно транслировать с тюба через себя(скачка-передача). Я тебя запутал, в общем если вставить html код и оно работает то бендвичь твой не страдает.

ок
спасибо!

потерто

доделал код, проверил, работает со вчерашнего дня, парсит тьюб и выдает дамп по форме
ID | TITLE | IMG | CAT | TAG | CTR
Изображение скачиваются на сервер с размерами 240х180, CTR высчитываю из данных по видео
за сутки обработалось 56к рабочих URLs

Ну, выкладывай сюда или на гитхаб, порадуем тебя.

чем порадуете???
меня радует когда отвечаете на вопросы, за это спасибо!
А выкладывать думаю смысла нет
растянут или продадут за мульён

А какой тюб то парсил ?

Lexikon писал:

А выкладывать думаю смысла нет

Смысл такой же как у домашней работы в школе: не двойку тебе поставить, а показать правильное решение, в котором от твоего останется только тег <?php.

Lexikon: на питоне за 4 часа спрашивает 200к

Дартаньян писал:

Lexikon: на питоне за 4 часа спрашивает 200к

так еще же зависит от скорости подключения к нету
Сообщения прочел, завтра сделаю.

Stek писал:

А какой тюб то парсил ?

который RED

Lexikon: а зачем ты его парсил, если там есть готовое api http://api.redtube.com/docs/

Stek писал:

Lexikon: а зачем ты его парсил, если там есть готовое api http://api.redtube.com/docs/

Изучаю пхп, просто решил себя чем то занять