тебе нужно рыть в сторону Hooks
т.е.устанавливаешь hook в системе например на API OpenFile и обрабатываешь его при вызове апишки (ет для виднуса)