Напишу парсер

Быстро и качественно пишу многопоточные парсеры. Результат могу складывать куда угодно (файлы/бд/etc.).

Предложения в личку.

так на каком языке программирования пишешь так и не рассказал.Догадываюсь что на дефолтном (ПХП) но всё же могёшь добавить

Я пишу на Python. Как известно, у php нет многопоточности.

если ты не умеешь, это совсем не значит что этого нет

http://bit.ly/SKtAGm

буть мужиком, признайся что кодить на редком мертвом языке банально выгодно - если рассказывать сказки и подсаживать на саппорт

rx писал:

если ты не умеешь, это совсем не значит что этого нет http://bit.ly/SKtAGm буть мужиком, признайся что кодить на редком мертвом языке банально выгодно - если рассказывать сказки и подсаживать на саппорт

вроде на том же хабре тестировали ускорение рнр-кода всякими акселераторами до скорости сопоставимой с сишным кодом

ibiz писал:

вроде на том же хабре тестировали ускорение рнр-кода всякими акселераторами до скорости сопоставимой с сишным кодом

возможно там писали про HipHop который Facebook выложил в общее пользование, ссылки не могу постить, но все легко гуглится

rx писал:

если ты не умеешь, это совсем не значит что этого нет http://bit.ly/SKtAGm буть мужиком, признайся что кодить на редком мертвом языке банально выгодно - если рассказывать сказки и подсаживать на саппорт

Я повторюсь, у php нет многопоточности.

AzaThread - это сторонняя библиотека, каких много. Она реализует надстройку для многопоточности но с оверхедом. В Python же многопоточность реализована на уровне языка (http://docs.python.org/2/library/threading.html).

А что касается "мёртвого языка" - боюсь, Вы всё перепутали. Это php умер, а Python как раз развивающийся язык, особенно в ветке web'а. Можете просмотреть тексткейсы и обзоры, но я Вам доказывать ничего не собираюсь, как и рассказывать сказки и "подсаживать на саппорт".

Спасибо.

quietadult писал:

Я повторюсь, у php нет многопоточности.

Что понимаем под "многопоточностью" ? Т.е. конкретный пример плиз.

quietadult писал:

Это php умер, а Python как раз развивающийся язык, особенно в ветке web'а.

Подскажи как установить mysql адаптер под 3.3 питон, а то везде 2.7 только решения. С мертвым языком у меня от смены версий проблем нет, а вот развивающийся питон доставляет

rx писал:

если ты не умеешь, это совсем не значит что этого нет http://bit.ly/SKtAGm буть мужиком, признайся что кодить на редком мертвом языке банально выгодно - если рассказывать сказки и подсаживать на саппорт

В PHP многозадачность реализована с помощью процессов, а то что по ссылке очередные костыли которые делают тоже самое только в асинхронном режиме.

Ты бы хоть читал, то что другим показываешь:

Цитата:

AzaThread предоставляет простой интерфейс для создания классов-потоков. Которые на самом деле используют отдельные процессы для асинхронной работы, но вас это не должно волновать.

В Python многозадачность реализована с помощью потоков , что дает значительный прирост в производительности и экономит ресурсы.

Stek писал:

Что понимаем под "многопоточностью" ? Т.е. конкретный пример плиз. Подскажи как установить mysql адаптер под 3.3 питон, а то везде 2.7 только решения. С мертвым языком у меня от смены версий проблем нет, а вот развивающийся питон доставляет

Моё мнение о многопоточности основано но общепринятом. Идея неплохо изложена на википедии.

Так же я чётко разделяю для себя понятия мультизадачность и многопоточность и нахожу разницу между потоком (thread) и процессом. По этому с уверенностью говорю, что в php многопоточности на сегодняшний день нет.

Что касается python 3.3 - то Ваш вопрос неуместен. Python 3 - это отдельный продукт от Python 2 и других веток. То есть - Python 3 не является "новой версией Python", как я осмелюсь предположить, Вы считаете.
Сравнивать их равносильно сравниванию яблока и груши. Они слишком разные.

P.S.
Я использую стабильную версию Python 2.7.

На этом хочу закрыть в этой теме этот холливар, т.к. к топику он не относится.

Холивар ты сам вообще то затеял, обосрав пхп. А на выходе ни одного примера, да и восхваляемый питон оказывается вообще не совместим по версиям.

Я лишь сказал, что php не поддерживает многопоточность. Больше с Вами ничего обсуждать не намерен да и вообще не знаю, что забыл здесь.

мда зря ты на пхп наехал
заказчику до одного места, многозадачность, многопоточность или как там еще ты это назовешь... особенно для парсеров!!! главное чтобы работало одновременно

к тому же не понимаю чего ты к azathread прицепился, или это модно теперь смотреть только первый результат в гуле

оверхед... умное слово какое-то... это значит что твои парсеры работают на 5 миллисекунд быстрее и на 5% легче по цпу чем пхпшные? ну круто, правда пинг до сайта который ты парсишь может занимать 1-2 сек, и все это время и пхп, и питон, и ява будут простаивать ожидая ответа.

в общем, не надо втирать ерунду всякую. пишешь на питоне - молодец, каждому исполнителю найдется свой заказчик.

Для начала отвечу на Ваш пост.

5 миллисекунд прироста скорости при тысячах запросов в секунду (у меня есть такие проекты) - это хороший результат. Но на самом деле производительность не сравнима. Я тоже считаю, что заказчику всё равно. Но меня спросили:

> так на каком языке программирования пишешь так и не рассказал.Догадываюсь что на дефолтном (ПХП) но всё же могёшь добавить

Я ответил.

Если я к кому то прицепился - прошу прощения. Я вовсе не хочу оскорбить чьи то вкусы или предпочтения. Я люблю Python и не люблю PHP. У меня есть аргументы, но я их даже не хочу озвучивать. В этом топике я лишь отвечал на вопросы и пытался развеять сомнения и неточности в высказываниях, что допускали коллеги.

Боюсь, я выбрал не то место для поиска клиентов. Мои представления о сотрудничестве и ведении диалога сильно отличаются от представлений моих собеседников.

Тему считаю закрытой.

quietadult писал:

5 миллисекунд прироста скорости при тысячах запросов в секунду (у меня есть такие проекты) - это хороший результат.

ну круто, че. ведь 1 тысяча запросов это 86млн запросов в сутки.

Цитата:

Я пишу на Python. Как известно, у php нет многопоточности.

на самом деле все взаимосвязано. это цепляние к словам как правило ни к чему хорошему не приводит и во время работы. так что такая мелочь вполне может сказаться и при выборе исполнителя, если заказчик знающий.

но вообще этот форум хорошее место для поиска работы, зря ты так нервно реагируешь)

> на самом деле все взаимосвязано. это цепляние к словам как правило ни к чему хорошему не приводит и во время работы. так что такая мелочь вполне может сказаться и при выборе исполнителя, если заказчик знающий.

Я согласен, но вовсе не хотел этим кого то оскорбить. Моя цель была аргументировать свой ответ, чтобы не быть голословным.

Что касается форума - впечатление, что у меня сложилось по сравнению с другими биржам и местами поиска клиентов - крайне негативное, даже если брать во внимание то, что это Россия.

Не хочу сказать, что кто то из людей на этом форуме этому виной, но исходя из слов и выражений, что были брошены в мой адрес на предложение услуг я сделал выводы - с такими клиентами работать я не хочу. Тем ни менее тема осталась, если кого то мои услуги заинтересуют - они всегда напишут. А захотят продолжать эту тему в том же духе - я просто не буду принимать в этом участие. Это не агрессия, это реакция на раздражение извне.

Прошу прощение за оффтоп.

xreload писал:

В PHP многозадачность реализована с помощью процессов, а то что по ссылке очередные костыли которые делают тоже самое только в асинхронном режиме. Ты бы хоть читал, то что другим показываешь: В Python многозадачность реализована с помощью потоков , что дает значительный прирост в производительности и экономит ресурсы.

я, внезапно, читаю все и в курсе подобных нюансов

даже если отбросить что питон никогда не был ни быстрым, ни экономным в памяти, в данном случае "значительный прирост в производительности и экономия ресурсов" притянуты, мягко скажем, за одно место. ибо правильный "парсер", как правило, юзает стороннюю C библиотеку где есть "истинная" многопоточность и плевать на то на чем оболочка и насколько "тру" там многопоточность

Развивая холивар если рассматривать чистые сокеты - питоноводы подскажите, а "многопоточный" питон уже пофиксил это?)

However, Python threads are serialized by the GIL when they enter interpreter core. This means that if two threads are crunching numbers, only one can run at any given moment. It also means that you can't take advantage of multi-core or multi-processor architectures.

или все еще

There are solutions like running multiple Python interpreters concurrently, using a C based threading library. This is not for the faint of heart and the benefits might not be worth the trouble. Let's hope for an all Python solution in a future release.


т.е. если другими словами, то охуенный многопоточный питон в современное время мультипроцессоров и мультитридинга НЕ ПОДДЕРЖИВАЕТ ни мультипроцессоры, ни треды




или цитируем одно коммунити:

****

Наверное всем, кто хоть раз интересовался Python, известно про GIL — его одновременно и сильное и слабое место. Не мешая однопоточным скриптам работать, он ставит изрядные палки в колеса при многопоточной работе на CPU-bound задачах (когда потоки выполняются, а не висят попеременно в ожидании I/O и т.п.).

GIL в любом случае не позволит многопоточному варианту выполняться быстрее, чем линейный. Однако, если реализация некоего функционала упрощается при введении поточности в код, то стоит хотя бы попытаться по возможности сократить это отставание.
*****

rx писал:

признайся что кодить на редком мертвом языке

упоротый чтоле ?
и что же ты считаешь перспективным языком будущего? Впрочем, признайся честно, похапэ - единственное, что осилил моск? (здесь тоже смайл улыбающегося тролля)
подобная оценка состояния современной ниши потребительского кодинга, только негативно сказывается на твоей сиге, пойми это ;)

rx писал:

если ты не умеешь, это совсем не значит что этого нет

на php многопоточности нет точка, все же прочие вариации, не более чем тот тип быдлохаков, которые дают чисто техническую возможность кодить на брэйнфаке под iOS

зы: кто такой ТС я понятия не имею... просто вопрос здесь политический! )

непонятный спор. на пхп легко и непринужденно пишутся парсеры. что вы там такое парсите что вам не хватает тупо 1 потока?

mr. snatch писал:

упоротый чтоле ? и что же ты считаешь перспективным языком будущего? Впрочем, признайся честно, похапэ - единственное, что осилил моск? (здесь тоже смайл улыбающегося тролля)

чет по лексике, аргументам и дате реги вижу что мой моск уже осилил в свое время кучку языков пока ты еще в школу ходил

язык это всего лишь инструмент. на чем то удобнее одно, на чем то другое. питон щас напоминает перл в свое время. чуток получше. так же есть энтузиасты, будет след в сети, но без огонька. и скорее всего закончит также

а за сигу не волнуйся. заказчику все равно "тру" или "не тру" многопоточность в самом пхп когда разработка на нем дешевле и суппорт доступнее при прочих равных, он легко при необходимости использует кучу "трумногопоточных" библиотек, установка проще, а скорость выполнения задачи скриптами и ресурсоемкость при прямых руках идентична или лучше

PS по поводу живости питона
http://w3techs.com/technologies/details/pl-python/all/all
http://trends.builtwith.com/framework/Python

чет мне подсказывает что когда ВСЕ такие графики идут вниз, ниша сужается, и язык умирает, не?

Nobody is right ASP

quietadult писал:

5 миллисекунд прироста скорости при тысячах запросов в секунду (у меня есть такие проекты) - это хороший результат.

1к запросов в секунду - это хороший повод получить бан в фаерволе и абузу за ддос

я буду настойчив и повторю вопрос: что вы такое парсите, на что не хватает 86к итераций в сутки? если исходить из того что на 1 итерацию - 1 секунда.

все ролики с ютуба?
с рутуба?
с хамстера?
всю выдачу гугла?
все картинки с интернета?
все сообщения всех пользователей вконтакте?

FXIX писал:

непонятный спор. на пхп легко и непринужденно пишутся парсеры. что вы там такое парсите что вам не хватает тупо 1 потока?

Я не желаю разглашать название проекта, где это необходимо. Сажу лишь - что это данные аккаунтов одного из крупных ресурсов. Естественно, используется не 1 адрес и не 1 сервер. Есть мастер-сервер, что раздаёт задания очередям по amqp. Очереди в свою очередь запускают парсинг в несколько потоков, используя списки прокси-листов.
В Мире очень много ресурсов, где нужно оперировать с таким объёмом данных.

Но весь этот спор затянулся в бессмысленную бесседу ни о чём, где кто то хочет кому то что то доказать.

Я вот не хочу ничего доказывать и заявляю, что больше и на вопросы не по теме отвечать не буду. Интересен мой опыт работы или у Вас есть ТЗ - пишите в личку.

окей, даже по обрывкам архитектуры я кажется понял почему приходится экономить 5мс на процессах которые в нормальном исполнении в масс парсерах идут быстрее

ну и суровая необходимость "многопоточного", однотредового питона чтобы каждая из отдельных очередей запустила пару потоков тоже стала понятна, в пхп такого нет, чо