Как грабит Stream Rotator !?

Проблема стреам очень медлено грабит тумбы !?? около 100 в час у кого такие же проблемы ? и как это решить ?

Последний раз редактировалось: Sem2 (03/12/10 в 03:55), всего редактировалось 1 раз

ну dtr побыстрее это делает

http://streamscripts.com....Время выполнения скрипта и количество выполненных операций граббера за один шаг рассчитывается таким образом, чтобы не перегрузить сервер с одной стороны, и создать максимально возможное количество тумб за единицу времени, с другой.

у самого была проблема.. медленного граббинга и тумбы наполовину сграбленные были. Проблема окозалась в хосте.. медленный уж очень был.

Поменял хост всё оки стало.

+1 за то что проблема в хосте. У меня где-то около 1к в час грабит.

Недавно было обнаружено что стрим при граббинге тумб ставит раком проц. 50% нагрузка на не самый слабый проц. Видимо нарезка тумб сделана собственным алгоритмом на php, а не пользует стандартные средства типа image magic или gdi lib, что и создает такой дикий загруз.

Соответственно если сервер слабый или уже сильно нагружен чем-то другим - он работает очень медленно или его вообще завалить может.

Простоая скачка пиксы с галеры - операция очень простая и на любом, даже самом говенном сервере проходит без проблем. Дело именно в нарезке тумбы.

грабил недавно, с одного споса грабил 2,5к галер 2-е суток, а потом с порнацесса за сутки стянул 5к галер, думаю больше зависит от сервера - откуда грабятся

около 10 стримов, все нишевые, на всех около 300к траффа на сервере , сервер хороший дуал хеон - 2 гига оперативки канал 100 мегабит. сервер грузится только стримом выключаю стрим все ок !

да может и имеет значение откуда берутся фотки но если я вирубил все стримы , почистил /tmp удалил все что весело, оставил два стрbма , и качает всеровно 100 в час !! и сервер подгружает !

Цитата:

Недавно было обнаружено что стрим при граббинге тумб ставит раком проц. 50% нагрузка на не самый слабый проц. Видимо нарезка тумб сделана собственным алгоритмом на php, а не пользует стандартные средства типа image magic или gdi lib, что и создает такой дикий загруз. Соответственно если сервер слабый или уже сильно нагружен чем-то другим - он работает очень медленно или его вообще завалить может. Простоая скачка пиксы с галеры - операция очень простая и на любом, даже самом говенном сервере проходит без проблем. Дело именно в нарезке тумбы.

+1 ... У меня это было на феникса сервере - стрим, именно во время граббинга и "кропанья" тумб безбожно грузил сервер ... Поэтому если сервер нагружен (не перегружен, а нормально нагружен рабочими процессами) - достаточно запустить стрим и камень начинает загибаться ...

Есть ещё второй момент ... я тестил стрим на виртуале у фокса (на федоре) ... Когда начал грабить гали - смотрю - намного медленнее, чем на сервере у феникса ... поинтересовался у фокса, что оно такое ? Он пояснил, что установленны некоторые ограничения, поэтому скорость граббинга стрима существенно меньше (соответственно нагрузка на сервер весомо меньше, т.к. виртуал, а при нынешней популярности стрима - там их и 20 может стоять, а 20 положат любой сервер, если не ограничить) ... У топикстартера прото может быть подобное ограничение, поэтому грабит медленно ... У админа поинтересуйся

Phoenix66 писал:

Недавно было обнаружено что стрим при граббинге тумб ставит раком проц. 50% нагрузка на не самый слабый проц. Видимо нарезка тумб сделана собственным алгоритмом на php, а не пользует стандартные средства типа image magic или gdi lib, что и создает такой дикий загруз.

Из рассказов автора: стрим использует IM почти для всего за исключением пары собственных алгоритмов под GD2 написанных на php

Да если не выставлать ограничания сарверу приходит п.....а за 15 минут :-( но ограничения стоят не на граб а на одновременую работу ротаторов тот же протон грабит по 1000-2000 в час легко больше не заливал просто

von Stoltz писал:

Из рассказов автора: стрим использует IM почти для всего за исключением пары собственных алгоритмов под GD2 написанных на php

Вполне возможно. "Пары алгоритмов" на php вполне достаточно чтобы раком поставить сервер. Много раз уже убеждались - сложная обработка массивов на php или perl дико ест ресурсы процессора, по сравнению с си разница раз в 1000, без преувеличения.

Кстати, "для всего" - слишком громко звучит, так как если не сильно гонятся за гламурностью тумб, кроппинг - это одна единственная команда на вызов одной из процедур IM с параметрами.

Но к сожалению с использованием только IM не возможно получить такие тумбы как, например, дает хиромакс. Действительно надо писать алгоритмы под GD2

всех оценил