Самый оптимальный это Fraps просто мож настроил неправильно.
Ещё вариант camstudio.