1)Разработка Средств Безопасности и Эксплойтов - Джеймс К. Фостер. Винсент Лью
2)Хогланд Г. Мак-Гроу Г.Взлом программного обеспечения анализ и использование кода
3)Protection Against Exploitation of Stack And Heap Overflows - Yinrong Huang

Думаю для начала хватит :-)

Читай и гугли про:
Переполнение Буфера (Buffer Overflows)
Про ШЕЛКОДЫ (ShellCode)