Я думаю, что подойдет тот дистриб, который ты осилишь))) MPICH тебе в помощь.
Лично я собирал кластер на арче - впринципе особо не пришлось мучаться - библиотека нормально подтянулась yaourt-ом.