это текстовый файл был? больше всего на xor похоже.
частоты символов в данной ситуации (если неизвестно, какой язык файла и его кодировка) ничего не дадут.
можно попробовать перебор, но тогда точно надо знать фразу (слово) в исходном тексте.