Поищи в полезных скриптах скрипт для сбора всех ссылок с сайта. Также поищи про многопоточность темы, пригодится при большом количестве страниц.