Если бесплатный, то наверное лучше всего подойдет Handbreak. А если можно и платный, то Turbo.H264 от elegato или Permute. Я лично пользуюсь двумя последними
Давным давно для пакетной и беззаботной конвертации для win я пользовал XviD4PSP
бета для мака была сырая, но рабочая
Лучше я ни чего не видел
переделал более 5000 роликов различного качества назначения и длинны