В первый раз слышу такое, предположим, что у вас ,как сказал ТС,500 файлов по 5000 строк,это примерно цикл:2500000, очень долго,главный недостаток php и есть в его медлительности(по сравнению с C и Java),а Вы тут еще хотите использовать txt,извините,но это глупость, Субд на то и СУБД, как раз при работе с БД всю "грязную работу" берет на себя именно СУБД,тем самым ускоряя процесс поиска,плюс ко всему не перегружает процессор,хотя при современных компьютерах это не существенно,но все же