Сомнительная идея, по следующим причинам:
1) с нуля написать собственный протокол и написать клиента к нему. Ну это предположим просто всё.
2) если свой протокол, то придется писать и свое серверное ПО. Которое будет обслуживать клиентов
3) Следовательно нужен будет и свой сервер на котором всё это будет храниться.
4) связь с аськой ты уже никак не обеспечишь нормальными методами.
А по этому вывод: Не страдай фигнёй.
Вот и посчитай Написать протокол, исправить JIMM, написать производительное серверное ПО - только за это придется выложить минимум от 500$ (в лучшем случае), а еще будет за сервак(и) платить в месяц по 50$ в месяц, потому что серверное ПО просто так не расположись на бесплатном хостинге.

Если нужен проще протокол, то юзай жабер. Для которого есть и серверное ПО и клиентское, протокол открытый и есть серваки бесплатные типа talk.google.com и jabber.com, jabber.ru

Для примера можешь просто измени дизайн того же bombus'a.
Пашет также как и аська на j2me. Дизайн подобный. Возможность практически теже самые что и у аськи.
И скачать любой сервер жабера, и подправить как нужно, потому что есть исходники.