как установить относит. путь для extension_dir в php.ini?
 

extension_dir = "./ext" -- не работает
extension_dir = "C:\...\php5\ext" -- работает

как сделать относительный путь?

путь относительно чего?
текущей директории, из которой вызывается скрипт?
директории, в которой ллежит php.ini?
директории, в которой лежит исполняемый файл php?
www-директории веб-сервера?

откуда php знать, относительно чего ты указываешь относительный путь?
вот и не разрешает.

тем не менее, апач почему-то понимает относительные пути, которые исходят от места его нахождения

в конфиге апача ты указываешь относительно чего у тебя будут относительные пути, читаем внимательно документацию.
http://httpd.apache.org/docs/2.0/mod/core.html#serverroot