Как ускорить dtr ?

Вобщем грабится много ниш, стоит в настройках Period of grabing (in sec): 30 секунд.
Медленно, блять! В мануале написано про 10-20 секунд, но я так понимаю этой надписи много лет и писана она из расчёта серваков 2007 года ... А у меня там дура с вагоном памяти и не нагруженная ваще ... Кто-то пробовал ставить скажем 10 секунд при грабинге тумб и сохранении на локальном серваке ?

Попробовать мона, но я просто помню при перегрузе грабер допускал какие-то недорезанные-недокачанные картинки, кусками - не хочеца сидеть и чекать, нормальные там пиксы или нет рубает ...

не по теме влезу, я так понимаю проект не развивается, и саппорта нет?

Саппорт был вчера вечером, а развивать надо только то, что плохо работает - а дтр, блеать, это как в 9-й роте, красота и ничего лишнего

Woland: а, ну ок, по сабжу я не знаю, просто ДТР решил заюзать дето , лень в асю стучать, хороших людей от работы отвлекать

я ставил 10-15, но тумбы у меня грабились на сервак под статику.
При большом количестве тумб, была проблема, нехватало какой то памяти, та которая в апаче регулируется, непомню как она завется .
И вот когда ее нехватало вылетала ошибка при попытке зайти в "Testable galleries" но как только по просьбе, этот лимит увеличивали ошибка исчезала, у меня так было пару раз, подняли память до 120 или что то там в этом районе и проблем небыло.
НО
я на данный момент особо скрипт не загружаю, ну и сам сервак подзагружен.

А вобще небольшие доработки в ДТРе были бы не лишнии, а что то глобально менять нах ненужно.

Цитата:

нехватало какой то памяти, та которая в апаче регулируется, непомню как она завется

Памяти нехватало выделенной для php, memory_limit

Поставил 10 секунд, но всё равно медленно чё-та ...

Короче ...
Рядом с файлом /dtr/cron.php создаём (с аналогичным овнером и правами) файл dtr/fastgraber.php с кодом:

Код:

<?php require("./admin/config.php"); require_once($setup['files_path']."admin/fun.inc.php"); $graber_time = FileReadLine($setup['files_path']."data/grabertime.dat"); FileWrite($setup['files_path']."data/grabertime.dat",mktime()); include("parser.php"); include("graber.php"); ?>

Где-то на сервере создаём файл крона fastdtr.sh с кодом (как видно первая строка тут обычный крон и отдельно его прописывать НЕ надо):

Код:

#!/bin/sh cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q cron.php cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php cd /home/user/domain.com/dtr/ ; /usr/local/bin/php -q fastgraber.php

и в крон на сервере суём вызов этого файла раз в минуту:

Код:

* * * * * /bin/sh /home/user/cronfiles/fastdtr.sh

после чего скорость грабинга dtr на мощном серваке возрастает на 600-1000%
Прирост и нагрузку регулируем числом строк fastgraber.php, но больше 10 раз он всё равно выполница никак не успевает, так что регулируем в диапазоне 1-9 строк.


p.s. Ясное дело всю эту хуйню вы делаете на свой страх и риск, т.е. это я придумал и джой этого пока не видел

Последний раз редактировалось: Woland (12/05/12 в 22:56), всего редактировалось 1 раз

Прикольно, иногда нужно быстро сграбить пару к галер )
Спасибо

ого!

Рано я обрадовался Лучше больше 3-4 строк не прописывать, иначе возникает такой момент - галера от одной ниши, а тумбы - явно от другой Например у меня в big tits тумба от gay вылезла Чё-то там короче накладывается при ускоренном грабинге, оставил 4 строки вместо 10-ти, завтра может у джоя чё выясню ...

Оффтоп, но не обессудьте..
В ДТР не появилась возможность реализации наполнения нескольких доменов из 1 админки. Чтобы при добавлении на 1 грабилось на все сж в нише?

Не появилось

Woland писал:

Рано я обрадовался Лучше больше 3-4 строк не прописывать, иначе возникает такой момент - галера от одной ниши, а тумбы - явно от другой Например у меня в big tits тумба от gay вылезла Чё-то там короче накладывается при ускоренном грабинге, оставил 4 строки вместо 10-ти, завтра может у джоя чё выясню ...

член в жопе среди сисек легко увеличивает продуктивность сиджа))))

leotraff писал:

член в жопе среди сисек легко увеличивает продуктивность сиджа))))

Я не думаю, что JasonX серфит по моим сиджам

а я просто пишу такой крон:

Код: [развернуть]

*/1 * * * * cd /var/www/domains/domain.com/dtr/; /usr/bin/php -q cron.php; /bin/sleep 10; /usr/bin/php -q cron.php; /bin/sleep 10; /usr/bin/php -q cron.php

ставлю в настройках
Rerank time (in sec): 10
Period of grabing (in sec): 10

и дтр грабит в 3 раза быстрее. больше строк добавлять не стоит - будет глючить.

Dark404: Если у тебя одна группа в принципе не вопрос, но если групп много - каждый крон делает реранк, т.е. пересчитывает статсу и перегенеривает резалты и это нагрузка на сервак и риск глюка в файле базы какой-то группы или групп.

Кстати позже, когда я обсуждал это с джоем он ещё вот более просто вариант предложил, лог:

Код:

5/12/2012 22:04:30, Joy по граберу, можно попробывать подправить cron.php, вместо одного инклюда include("graber.php"); использовать несколько, чередуя с командой - sleep(10); т.е. include("graber.php");sleep(10);include("graber.php");sleep(10);include("graber.php"); таким образом при вызове крона, грабер отработает три раза.

по сути это те же яйца, что в моём случае, просто вызов грабера производится в одном кроне сразу.

Не мучайте ДТР! Скрипт моей молодости, а до сих пор работает как часы.
Вот бы ещё он умел генерить туб галереи из FLV дампов.

Vyacheslav: Мы не мучаем, просто я, случайно, сделал на дтре мультинишевые сиджы на 130 ниш. Всё бы заебись, но грабил он у меня по 1 гале в минуту ... 130 ниш по 200 тумб на морде = 26000 минут на заполнение сиджа, что равно 18 суткам С ускорением он сграбил за пару дней.

Vyacheslav писал:

Не мучайте ДТР! Скрипт моей молодости, а до сих пор работает как часы. Вот бы ещё он умел генерить туб галереи из FLV дампов.

Немного поизвращался, сделал скриптик который сам это всё генерит и ничего теперь делаю сиджитьюбы на дтр+кристал