Именно поэтому и надо ставить *box. Пакет fluxbox весит 3Мб и вообще не грузит систему. Конечно он другой - но графикой управлять позволит. Так что хорошо поставленый Debian netinstall c xorg будет работать очень легко. А если еще ядро пересобрать...