Американско-израильская научная группа разработала искусственного червя Morris II, предназначенного для работы с приложениями, созданными на основе генеративного искусственного интеллекта (ИИ), и использовала его для тестирования на собственном продвинутом электронном ассистенте. Этот эксперимент выявил потенциальные угрозы в экосистемах, основанных на GenAI. В процессе испытаний, автоматизированный ассистент электронной почты самостоятельно пересылал полученные сообщения на анализ в сервис, работающий на основе искусственного интеллекта, включая такие системы, как ChatGPT 4.0, Google Gemini Pro и открытый проект LLaVA. В ходе атак, совершаемых червем Morris II, применялись вредоносные, способные к самовоспроизведению стимулы, вызывающие цепочку запросов и ответов.

Два различных метода были применены в качестве методов нападения: отправка текстовых сообщений и сообщений, содержащих изображения в виде вложений. В обстоятельствах, когда атака осуществляется с помощью текстовых сообщений, встраиваемый вредоносный код "заражает" систему управления электронной почтой, заставляя её обращаться к внешним ресурсам для уточнения и повышения достоверности ответов, предоставляемых сервисом GenAI.

В результате, атака возникает приводит к джейлбрейку, что позволяет похитить секретные данные, включая личные и финансовые сведения, такие как имена, номера телефонов, детали банковских счетов, номера социального страхования и прочее, содержащиеся в переписке. Когда появляются новые сообщения в сети, автоматически созданные ответы, содержащие подобную информацию, распространяются между различными узлами и сохраняются в их базах данных.