byblik есть подозрение, что не хватает питалова, т.е при нагрузке рекомендую замерить напряжения, кроме того нет ли на видюхе дополн. разъёма для подвода питания? Если есть, то лучше использовать. Из твоих слов я так понял, что в обычном режиме всё работает норм., а вот когда юзаются доп. функции (аппаратное декодирование MPEG-2 и DirectX 3D) то потребление мощности возрастает (отсюда ещё и нагрев). Вообщем варианты:
1. БП не вытягивает по току.
2. Нагрев видюхи.
3. Плохой контакт видюхи в разъёме (посмотри не стоит ли она с перекосом, не подгорают ли некоторые контакты)
4. Ошибки в работе кодеков и DireсtX из-за драйверов видео + немаловажно драйверов материнки и биос материнки (попробуй обновить на последнюю версию).

PS стоит у меня такая видюха в ноуте - таких проблем не было...