Смотря что ты понимаешь под драйвером. Тем более, что можно просто собрать монолитное ядро, а не подгружать "драйверы" в виде модулей.
Кстати проводил эксперимент: брал чистое ядро с морем модулей и настроенное то же ядро. Смотрел загрузку на своей машине. Разницы в скорости загрузки практически нет. Ядро с кучей лишних модулей разве что больше места на HDD занимает.
Чисто мой эксперимент, без запала на начало священной войны.