Добавлю одну хотелку и один способ исправления логики парсера.

1) Хотелка по сохранению.

Сейчас сохраняется автоматом по заданому интервалу множество файлов. В принципе соединять и чистить от повторов научился и так. Можно ли будет кардинально переделать механизм сохранения по такому алгоритму?:

В начале сканирования создаем файл, периодически пишем результаты во временный файл, по заданному интервалу переносим (копируем) содержимое временного файла в исходный файл.

В результате получим один файл результата за один запуск сканирования и бекап по интервалу на случай сбоя.