проблема тут
mov ecx,100 ;O_CREAT
mov edx,777

константы O_CREAT и другие определяются в восьмеричной системе счисления, а у тебя идёт как десятичная, тоже и с правами на файл.
попробуй заменить на это

mov ecx,101o ;O_CREAT | O_WRONLY
mov edx,777o ;

o, h и b на конце числа означают систему счисления восьмеричная, 16-чная и двоичная соответственно