Безвозратно стереть данные быстро не получится так что:

1) в винде юзай шифрованные контейнеры с portable софтом
2) в никсоподобных - шифруй /home/<юзер> (тут хистори/кэш браузера, настройки программ etc.). Монтируй контейнеры во время загрузки ОС (есстественно пароль будешь вводить при каждой загрузке).

Ну если есть флэшка, контейнер можно сохранять на ней. Правда - флэшки ненадежны, прийдется время от времени бэкапится.

Рекомендую TrueCrypt.