Почитай Криса Касперски, он много чего написал на эту тему, правда со стороны защиты антивируса, в часности:

• *что-то совсем не найду - название статьи не соответсвует содержанию, внутри статьи с безобидным названием кроются гениальные идеи*
• Ввод в код незначимых "сложных" инструкций - SSE/MMX - по словам Криса, антивири их вообще не переваривают и встретив пропускают проверку. Желательно бы использовать много разных в зависимости какие может поддерживать процессор, а если ничего не может - то лажа - нам подсунули виртуальную машину антивируса и нужно просто "красиво" отработать и завершится. <-- Я бы именно на это обратил очень много внимания.. использовал бы всякие DirectX 9/10, Open GL навороченные функции , недокументированные но безобидные API - пусть виртуальная машина антивиря захлебнятся - с таким кодом вирус выловят нескоро - по крайней мере на много дольше ему будет жить чем обычному.
• Бронижелет для файрвола (Xakep январь)
  Это сдесь или в других статьях описывается что можно файрлом/антивирем управлять как скрипты управляют приложениями - т.е. появилось окошко "кряк - удалить/пропустить" - вирь его скрывает и сам нажимает. Правда он должен был запустится перед этим, поэтому необходимо писать два "виря" - один - тело которое только скрывает окошко "кря" - другой выполняет наш вредоносный код. Также можно себя добавить в исключения, а как только юзверь посмотрить исключения - убрать себя от туда
• Есть отличная статья про руткиты, там описан принцып действия руткита который невозможно выследить, но он убивался после перезагрузки + довольно сложно написать
• В одной статье он упомянул о вирусах которые скрываются от файлома и регмона - на самом деле - просто модифицируют их память - на предмет вывода данных.

Также могут помочь:

• Изменяем запретное - Подделка CRC16/32 - Крис Касперски
• Страница 30 Февральского хакера (не много, но кое-что можно злебнуть)
• Сырые сокеты (ХР, Крис Касперски) (Х январь) - нет про "скрытость" от антивируса - но, возможно, понадобится Х программе, а DDoS боту и подавно. (не пингами же валить )
• Интернет из нулевого кольца: программируем сеть в ядре Windows - X - Александр Эккерт - не знаю не читал

Собственные идеи и комментарии выделил жирным.

З.Ы. Вот если бы все такие темы были бы на ачате, я бы сдесь и днем и ночью пропадал, а то одни игрушки.. (пинчи, крипторы,... - разве для ХАКЕРА это не игрушки? не более)