В самописном двиге может быть и самописный алгоритм хэширования, отличный от имеющихся в движках. Если есть доступ к файлам, ищите алгоритм там