При грамотной реализации...

В первый раз слышу такое, предположим, что у вас ,как сказал ТС,500 файлов по 5000 строк,это примерно цикл:2500000, очень долго,главный недостаток php и есть в его медлительности(по сравнению с C и Java),а Вы тут еще хотите использовать txt,извините,но это глупость, Субд на то и СУБД, как раз при работе с БД всю "грязную работу" берет на себя именно СУБД,тем самым ускоряя процесс поиска,плюс ко всему не перегружает процессор,хотя при современных компьютерах это не существенно,но все же

Если проект маленький,то данным способом будет быстрее,но при больший нагрузках БД будет справляться с данной функцией гораздо лучше, быстрее и предоставит гораздо больше возможностей,ну в любом случае,если было бы так как говорите Вы,зачем тогда БД?Здесь я с Вами не согласен