Для взлома самого ядра Linux нужно не только знать его c верхней стороны, но ещё и с нижней. Нужно отличное низкоуровневое понимание работы этого ядра. Саму машину даже на Linux взломать тоже не очень просто. Нужно понимание работы железа на аппаратно-низком уровне. Я так понял, что ты не это имеешь ввиду, а просто похек серверов именно (почему-то) которые висят на .nix. Всё заключается в эксплуатировании уязвимостей в ОС или ядре. А по веб-приложениям я уже написал - OWASP.