Вот тут я вряд ли помощник. Хотя 90% нужно идти в документацию Win32 API. Поройся в сторону отрисовки той же кнопки, учитывая стили Windows (так как по дефолту оно не юзает стили).
UPD: Не уверен, поможет ли, так как быстро пробежался глазами, но вот.
ты не знаешь как этот бордюр убрать? Появляется при потере фокуса после клика, но не всегда, магия какая то