Нужно научить ffmpeg либо любую другую консольную программу кодировать wmv3 в два прохода + найти наиболее оптимальные параметры.
Есть мнение, что с ffmpeg это невозможно (во всяком случае готового решения нету, нужно пробовать свое собирать), тогда нужна альтернативная программа. Но ffmpeg был бы идеальным по своему удобству решением.