Если указанный софт еще не закуплен и не обязательно под него писать - можно питоноводов озадачить: mechanize, selenium, spynner. Вот еще списочек: https://gist.github.com/evandrix/3694955
Все там нормально парсится, грабится. Многопоточность некоторых решений конечно под вопросом (даже на py если писать). Но вполне решаемо в общем.