Ну если все байты начинаются с нуля, можно с большой вероятностью предположить, что это ASCII. Но это решение некрасивое.

Мне надо сделать заключение из заголовка. В том формате, с которым я имею дело, если буфер начинается с unsigned int то он содержит binary, а если с double, то он содержит ASCII.

Весь вопрос в том, как узнать был прочитан unsigned int или double.
Я думаю надо бит флаги использовать.