Ну сделай матрицу глобальной(и тогда она будет размещена в куче) или увеличь как-нибудь размер стека, т.к. локальные переменные размещаются в стеке.