поскольку на практике работа с памятью ограничивается стандартными функциями, будет все же проще перегружать стандартные функции работы с памятью, под юникс тут может пригодится библиотека типа dmalloc. но идея использования самого процессора в качестве детектора переполнений хорошая, вот только на каждый new делать VirtualAlloc() расточительно..