Разница есть. Допустим, в качестве форума ты выбрал очень надежный скрипт, один из последних версий со всеми заплатками и т.д. и расположил его в site/forum. Тогда, найдя баг на самом сайте (ту же xss), злоумышленник может увести куки и форума, так как и сайт и форум расположены на одном домене. В случае с поддоменом этот фокус не пройдет. Также было бы неплохо вместе с поддоменом сделать и переназначение, что-нить типа

RedirectMatch permanent ^/forum/(.*)$ http://forum.site.ru/$1