Вы должны занести в черный список модули, которые вы не хотите загружать. Это означает, что ядро не будет пытаться загрузить их при загрузке.
Я думаю, что вы делаете это на gentoo через файл /etc/modules.d/blacklist.conf . Откройте этот файл и добавьте имена модулей, которые не следует загружать, сохраняйте и перезагружайте.