Smart CJ для тупых :)

в нормальном виде это как ? Я делал как в мануале написано было, называется все это новая ротация. Создались группы, прописались кеи и отметились тубы для парсинга, куда нормалнее ? Или я что-то упустил ?

В принципе я готов ждать сутки, главное чтобы работало, моя строка для шмелиновой сортировки правильна ?

Eddy: видимо надо пояснить как оно работает.

У туба есть видео
Есть 2 варианта их оттуда взять

1. туб сам дает вам текстовый файлик вида
урл тумбы|embed code
Это называется дамп

может быть еще rss как частный случай xml

вы это добавяете у себя и все работает без проблем тк формат, те то где находятся данные конкретно определно и всегда находится в одних и тех же местах.

периодический импорт новых видео в этом варианте - это import sets


Вариант 2. пишем скрипт под каждый туб который парсит страницы туба. Пытается найти там тумбу, ембед код и прочее.
если туб меняет дизайн - этот скрипт перестает работать потому что эти данные были в конкретных местах, а сейчас скрипт их не находит. Как конкретный пример - сейчас не парсит оттуда ембеды потому что когда писался парсер все было иначе в дизайне.


Когда писалась эта фича она была новой. Потому что на тот момент тубы в большинстве своем не давали дампы. Поддерживать эту фичу конечно еще тот гемор потому как тубов много и так можно только и заниматься тем, что каждый день переписывать какой то из парсеров.

Но потом тубы поняли что в их интересах получать траффик от мастеров и так же стали работать в этом направлении, а конкретно давать дампы в удобном для мастеров виде, дабы можно было работать по варианту 1.

Конкретно для указанного вами туба есть партнерка hubtraffic.com которая выдает вам дамп дабы не было проблем с парсингом.

Строка фильтрации - да, верная.

ок, а куда дамп вставлять ?

Eddy: rotation - import или rotation - import sets

в зависимостри от того в каком виде у вас данные

http://smartcj.com/wiki/doku.php?id=ru:import_sets

а группы как настроить, чтобы скрипт из дампа брал, и не парсил ?

В импорте поставить group = filter keywords и галера попадет туда если пройдет ваш фильтр который вы указали в первом сообщении

а что поставить в группе, чтобы не парсилось. Если поле : Tubes, comma separated
for example, tube1.com,tube2.com leave empty if you need all. оставить пустым, скрипт будет парсить тубы на прямую.

выключите tube import

LemonS: В общем все вбил, Groups есть, xml добавил через Set. Нажал Test и выбрал items, как emdeb, url, description,duration,tags и тд. Сохранил. Грабер сказал, что начинает работу.

Выдает теперь 2015-06-24 22:49:53 : Grabber: http://www.redtube.com/1137512 - Can not find any requested content type

и в группах Grab Error 11 (11)

Eddy: emdeb, url, description,duration,tags

тут в списке нет тумбы

LemonS: он мне ее и не предложил, было только

1138363
<iframe src="http://embed.redtube.com/?id=1138363&bgcolor=000000" frameborder="0" width="640" height="480" scrolling="no"></iframe>
http://www.redtube.com/1138363
Teen Crossdesser GFs and Hot Sissies!
Amateur,Shemale,Compilation
Shemale,Amateur,Compilation

3:03
2015-05-29

я это и распределил. Хотя в xml было еще 10 тумб

Eddy: тогда вам надо обратиться к их суппорту и сказать что вам надо тумбы в экспорте , что б было что показывать на сайте.

LemonS: Они есть в xml

<video><id>1138363</id><embed><iframe src="http://embed.redtube.com/?id=1138363&bgcolor=000000" frameborder="0" width="640" height="480" scrolling="no"></iframe></embed><thumbs><thumb>http://img.l3.cdn.redtubefiles.com/_thumbs/0001138/1138363/1138363_001b.jpg;http://img.l3.cdn.redtubefiles.com/_thumbs/0001138/1138363/1138363_002b.jpg;http://img.l3.cdn.redtubefiles.com/_thumbs/0001138/1138363/1138363_003b.jpg;http://img.l3.cdn.redtubefiles.com/_thumbs/0001138/1138363/1138363_004b.jpg;http://img.l3.cdn.redtubefiles.com/_thumbs/0001138/1138363/1138363_005b.jpg;http://img.l3.cdn.redtubefiles.com/_thumbs/0001138/1138363/1138363_006b.jpg;http://img.l3.cdn.redtubefiles.com/_thumbs/0001138/1138363/1138363_007b.jpg;http://img.l3.cdn.redtubefiles.com/_thumbs/0001138/1138363/1138363_008b.jpg;http://img.l3.cdn.redtubefiles.com/_thumbs/0001138/1138363/1138363_009b.jpg;http://img.l3.cdn.redtubefiles.com/_thumbs/0001138/1138363/1138363_010b.jpg;</thumb></thumbs><link>http://www.redtube.com/1138363</link><title>Teen Crossdesser GFs and Hot Sissies!</title><categories><category>Amateur</category><category>Shemale</category><category>Compilation</category></categories><tags><tag>Shemale</tag><tag>Amateur</tag><tag>Compilation</tag></tags><pornstars>
</pornstars><duration>3:03</duration><pubDate>2015-05-29</pubDate></video>

Тумбы предоставлены, скрипт их игнорит.

по какой то причине они решили упрятать в 2 тага <thumbs><thumb>

скиньте какой конкретно у вас урл xml - я попробую его добавить.

в личке

проведите апдейт и будут вдины тумбы и для такого xml

LemonS: Привет, спасибо за такую опиративность. Все сделал, тумбы были опознаны, ошибок при грабинге не выдает, но и не грабит. В list thumbs пусто.

ReGrab непомогает

Eddy: покажите плз что у вас в preload.log

LemonS: Вот небольшой кусок, файл здоровенный вообще :

2015-06-24 22:49 Trying http://www.redtube.com/348257 (6.8084290027618, 0.00040984153747559)
2015-06-24 22:49 Content-Type: text/html; charset=utf-8 (7.2376170158386, 0.42918801307678)
2015-06-24 22:49 Trying http://www.redtube.com/click.php?id=14853&videoid=1137512 (7.2380871772766, 0.00047016143798828)
2015-06-24 22:49 Content-Type: text/html; charset=iso-8859-1 (7.7432100772858, 0.50512290000916)
2015-06-24 22:49 Trying http://www.redtube.com/366109 (7.7451810836792, 0.0019710063934326)
2015-06-24 22:49 Content-Type: text/html; charset=utf-8 (8.1697452068329, 0.42456412315369)
2015-06-24 22:49 Trying http://www.redtube.com/522505 (8.1701350212097, 0.00038981437683105)
2015-06-24 22:49 Content-Type: text/html; charset=utf-8 (8.5605850219727, 0.39045000076294)
2015-06-24 22:49 Trying http://www.redtube.com/377807 (8.5609650611877, 0.00038003921508789)
2015-06-24 22:49 Content-Type: text/html; charset=utf-8 (9.0820231437683, 0.52105808258057)
2015-06-24 22:49 Trying http://www.redtube.com/560736 (9.0824100971222, 0.00038695335388184)
2015-06-24 22:49

Eddy: ну это явно старый лог когда вы патались грабить прямо урлы туба и вчерашнее число.
надо конец лога, давайте сегодня смотреть что было когда уже добавлено с тумбами

LemonS: Извеняюсь, вот, самые последние строки :

2015-06-25 07:55 Link 139 javascript:; 20568248 (1.1788220405579, 6.8902969360352E-5)
2015-06-25 07:55 Link 140 http://api.redtube.com/docs/ 20568832 (1.1788959503174, 7.3909759521484E-5)
2015-06-25 07:55 Link 141 /legal#TermsOfService 20569512 (1.1789591312408, 6.3180923461914E-5)
2015-06-25 07:55 Link 142 /legal#PrivacyPolicy 20570192 (1.17902302742, 6.3896179199219E-5)
2015-06-25 07:55 Link 143 /legal#DMCA 20570864 (1.179092168808, 6.9141387939453E-5)
2015-06-25 07:55 Link 144 /sitemap 20571536 (1.1791551113129, 6.2942504882812E-5)
2015-06-25 07:55 Link 145 /switch_mobile 20572216 (1.1792190074921, 6.3896179199219E-5)
2015-06-25 07:55 Link 146 /legal#RTA 20572880 (1.1792819499969, 6.2942504882812E-5)
2015-06-25 07:55 Link 147 http:\/\/www.macromedia.com\/go\/getflashplayer 20573592 (1.179347038269, 6.5088272094727E-5)
2015-06-25 07:55 Link 148 /profile/edit 20574256 (1.1794111728668, 6.413459777832E-5)
2015-06-25 07:55 get_flv_thumbs (1.2497110366821, 0.070299863815308)
2015-06-25 07:55 Trying http://www.redtube.com/redtube/mature (1.2631750106812, 0.013463973999023)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (1.5805630683899, 0.31738805770874)
2015-06-25 07:55 Trying http://www.redtube.com/redtube/teens (1.5809240341187, 0.00036096572875977)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (1.924957036972, 0.34403300285339)
2015-06-25 07:55 Trying http://www.redtube.com/redtube/amateur (1.9253070354462, 0.00034999847412109)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (2.2472910881042, 0.32198405265808)
2015-06-25 07:55 Trying http://www.redtube.com/redtube/lesbian (2.247682094574, 0.00039100646972656)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (2.569806098938, 0.32212400436401)
2015-06-25 07:55 Trying http://www.redtube.com/redtube/milf (2.5701470375061, 0.00034093856811523)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (2.883248090744, 0.31310105323792)
2015-06-25 07:55 Trying http://www.redtube.com/redtube/anal (2.8835949897766, 0.00034689903259277)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (3.1987509727478, 0.31515598297119)
2015-06-25 07:55 Trying http://www.redtube.com/redtube/bigtits (3.1990940570831, 0.00034308433532715)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (3.5139701366425, 0.31487607955933)
2015-06-25 07:55 Trying http://www.redtube.com/1137825 (3.5157041549683, 0.0017340183258057)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (3.8942630290985, 0.37855887413025)
2015-06-25 07:55 Trying http://www.redtube.com/569139 (3.894641160965, 0.00037813186645508)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (4.3019239902496, 0.40728282928467)
2015-06-25 07:55 Trying http://www.redtube.com/372989 (4.3022930622101, 0.00036907196044922)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (4.6990971565247, 0.39680409431458)
2015-06-25 07:55 Trying http://www.redtube.com/49150 (4.6994731426239, 0.00037598609924316)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (5.3650541305542, 0.6655809879303)
2015-06-25 07:55 Trying http://www.redtube.com/303116 (5.3654229640961, 0.00036883354187012)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (5.7748911380768, 0.40946817398071)
2015-06-25 07:55 Trying http://www.redtube.com/7439 (5.7752780914307, 0.00038695335388184)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (6.4596190452576, 0.6843409538269)
2015-06-25 07:55 Trying http://www.redtube.com/315237 (6.459997177124, 0.00037813186645508)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (6.8353409767151, 0.37534379959106)
2015-06-25 07:55 Trying http://www.redtube.com/463458 (6.8356971740723, 0.00035619735717773)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (7.2784631252289, 0.44276595115662)
2015-06-25 07:55 Trying http://www.redtube.com/690773 (7.278881072998, 0.00041794776916504)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (7.7033891677856, 0.4245080947876)
2015-06-25 07:55 Trying http://www.redtube.com/653670 (7.7037539482117, 0.00036478042602539)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (8.0956540107727, 0.39190006256104)
2015-06-25 07:55 Trying http://www.redtube.com/576827 (8.0975241661072, 0.0018701553344727)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (8.8625380992889, 0.76501393318176)
2015-06-25 07:55 Trying http://www.redtube.com/175187 (8.8629150390625, 0.00037693977355957)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (9.4965929985046, 0.63367795944214)
2015-06-25 07:55 Trying http://www.redtube.com/656759 (9.4969780445099, 0.00038504600524902)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (9.8805429935455, 0.38356494903564)
2015-06-25 07:55 Trying http://www.redtube.com/640129 (9.880891084671, 0.00034809112548828)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (10.389338970184, 0.50844788551331)
2015-06-25 07:55 Trying http://www.redtube.com/172100 (10.389769077301, 0.00043010711669922)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (10.775892019272, 0.38612294197083)
2015-06-25 07:55 Trying http://www.redtube.com/175188 (10.776276111603, 0.00038409233093262)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (11.448258161545, 0.67198204994202)
2015-06-25 07:55 Trying http://www.redtube.com/172094 (11.448645114899, 0.00038695335388184)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (11.843029022217, 0.39438390731812)
2015-06-25 07:55 Trying http://www.redtube.com/78959 (11.843376159668, 0.00034713745117188)
2015-06-25 07:55 Content-Type: text/html; charset=utf-8 (12.28297996521, 0.43960380554199)
2015-06-25 07:55 Total images 0 (12.284269094467, 0.0012891292572021)
2015-06-25 07:55 Grabber: http://www.redtube.com/1152373 - Can not find any requested content type (12.284476041794, 0.00020694732666016)

А вы случайно deep fetch не поставии ?

и content limit может тоже поставили ?

LemonS: Я даже же не знаю где это поставить можно. Делал все по мануалу из wiki, с минимумом самостоятельных движений. Хотел с начала запустить, а потом смотреть что к чему.

В list thumbs сейчас такое показывает 169 (0 new) 169, это stats current filter

Eddy: "В list thumbs пусто. "

"В list thumbs сейчас такое показывает 169 "

я видимо не понимаю в чем имено сейчас проблема.

Надпись про галеры есть, галер нет. Я доступ в личку скинул.