Если бесплатный, то наверное лучше всего подойдет Handbreak. А если можно и платный, то Turbo.H264 от elegato или Permute. Я лично пользуюсь двумя последними