Давным давно пытался создать для себя нечто подобное, только спомощью Google API, так проще, но без соединения с интернетом работать будет только на английском или не будет вообще (все зависит от автора). А вообще, уже готовых исходных кодов с тем-же гугл апи для линукса в интернете уйма, например James McClain speech recognition, Palaver, Simon, Julian, Sphinx и т.д.
посмотрим что внутри у Джарвиса )