Нет, windows.h - это включаемый файл, файл, который используется при разработке. В нём содержатся все типы данных, описания функций WINAPI и ссылки на множество других таких файлов. Библиотекой в среде разработчиков принято называть кое-что другое...