Добрых Дел Мастер
С нами с 03.05.08
Сообщения: 3143
Рейтинг: 1227
|
 Добавлено: 10/11/12 в 18:58 |
| quietadult писал: |
Сажу лишь - что это данные аккаунтов одного из крупных ресурсов. Естественно, используется не 1 адрес и не 1 сервер. Есть мастер-сервер, что раздаёт задания очередям по amqp. Очереди в свою очередь запускают парсинг в несколько потоков, используя списки прокси-листов.
В Мире очень много ресурсов, где нужно оперировать с таким объёмом данных.
|
когда мне надо было многопоточность я решал это через лок-файл.
1. скрипт пустой файл лочит
2. идет в бд забирает строку
3. ставит ей флаг "не трогать"
4. файл разлочивает
5. и пошла работа скрипта
как только файл разлочился - его подхватывает другой экземпляр скрипта, идет забирать свободную строку, и работает. итд
запускаешь 100500 экземпляров(сколько оперативки и канала хватит) 1 скрипта. и наслаждаешься многопоточностью.
"раздать задачу" самое легкое место. и быстрое. наносекунды ). его и ставим в последовательное исполнение. все остальное параллельно.
может и хуже питона, зато без мутных-замутных пхп-либ. и без питона.
я к тому что поменьше максимализма.
|
|
|
|
пришел к победе коммунистического труда
|
0
|
|
| |
programmer
С нами с 08.12.02
Сообщения: 7613
Рейтинг: 5760
|
| Добавлено: 11/11/12 в 10:13 |
по такому принципу кодинг видео делал. Обратная связь по сути - через БД
|
|
|
|
| |
Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте! |
