duplicate и sort критичны к оперативной памяти, если памяти 4 гига то 3 гига могли и не влезть.... во время поиска дубликатов уникальные слова хранятся в памяти, что бы можно было сравнивать их с вновь считанными, т.е. в память помещается очищенный словарь, дубликаты же отбрасываются... другого алгоритма я пока не придумал...

remove и trim работают "на сквозь", эти операции должны проходить без падений...попробуйте.