Приведенный мою код без ошибок и правильно работает.Я не знаю только как сделать файловый ввод/вывод.В текстовом файле должна быть введена расширенная матрица.Из нее надо взять матрицу А и вектор В, и записать ответ в другой текстовый файл.