при написании хтмл кода поп-ап окна надо указать height и width в теге img тогда картинка будет не более этих размеров.

так же можно указать параметр resizable=0 при создании окна. тогда оно соответственно не будет менять размеры в зависимости от размера контента. а будет таким, каким вы зададите.