С полноэкранными - беда, максимум "Оконный режим на весь экран". Если подходит - читай дальше.

Tkinter- built-in библиотека. С ней можно делать любые интерфейсы мульти-платформенно.
Вот пример оверлея: тык. Тут можно глянуть как сделать сам "оверлей".
Как сделать кнопки и т.д. - гуглится легко, тот же stackoverflow тебе расскажет из чего слепить конфету.
Делал оверлей для кастомки в доте с помощью этой либы, так что если есть вопросы - задавай, помогу.