Напиши свой класс окна который наследует JDialog если нужны модальные окна, в противном случае используй наследование от JFrame.

Вот тут хороший туториал _http://java.sun.com/docs/books/tutorial/uiswing/