Такое делает только если собрана через py2exe и консольный вариант
Лично я - хз как убрать этот ворнинг. Могу посоветовать только поюзать PyInstaller -мб с ним такого не будет.

P.S. Хотя я и сомнительно отношусь к ксакепу как к журналу, но после гугления на тему собиралок в экзе я наткунулся именно на их статью о PyInstaller. Жирный плюс авторам, так как сегодня полтора часа пытался собрать приложение через py2exe который в упор не тянул бинарных зависимостей, а PyInstaller всё собрал с полпинка...