Пишешь робота-кравлера, который будет бегать по сайту, с помощбю регулярок вытаскивать линки и заносить их в базу. Далбше он должен перейти по ним и индексировать дальше. Главное чекать линки перед тем как переходить по ним, чтоб не уйти на внешние просторы.
Это имел в виду?