Только Asio. Достаточной быстрый и простой асинхронный фреймворк для тех, кто не хочет заморачиваться и писать свои обертки над epoll/kqueue/winsock. Практически ничего лишнего, никаких HTTP, криптографии, работы с форматами и прочего хлама.

Компилятор от C++11. Если требование C++03 это вкусовщина а не доступный компилятор, то можно написать достаточно простые обертки.