Постараюсь обяснить как сделать видео чат с помощью RED5(opensource) (есть еще Flash media Server.Но он платный.)
Качаем
Сервер RED
Скрипт Video Chat
Ну все остается устанавить Java,Сам сервер RED и скрипт Video chat.
И все-)дерзай