Bloomberg рассказал о способности чат-ботов создавать биооружие

Bloomberg: ИИ способен помочь пользователям создать биооружие

Биохимик Рокко Касагранде предупредил Белый дом о способности ИИ идентифицировать биологические агенты. К таким выводам он пришел после тестирования чат-бота Claude, который предложил использовать патогены в ракетах



Фото: Andrej Sokolow / dpa / Global Look Press

Чат-боты с искусственным интеллектом (ИИ) способны помочь пользователям создать биологическое оружие, сообщает Bloomberg.

Соединение таких инноваций, как синтетическая биология (с ее помощью ученые манипулируют генами и геномом, создавая новые биологические системы) и искусственный интеллект, может стать кошмаром для правительств, отмечает агентство. Поскольку генеративный ИИ продолжает совершенствоваться, люди смогут использовать его для «создания самых отвратительных вещей», считает биолог и доцент Массачусетского технологического института Кевин Эсвелт, имея в виду вирусы и токсины, которых в настоящее время не существует. «Сегодня мы не можем защититься от этих вещей», — полагает он.

Весной 2023 года биохимик и бывший инспектор ООН Рокко Касагранде предупредил чиновников Белого дома о возможности создания с помощью чат-ботов биологического оружия: нейросети способны помочь террористам идентифицировать биологические агенты. «Что, если бы у каждого террориста был свой маленький ученый?» — сказал он.

К таким выводам Касагранде пришел после того, как компания Anthropic — разработчик чат-бота Claude — попросила его протестировать научные возможности нейросети. По словам сооснователя Anthropic Джека Кларка, он и его команда были обеспокоены тем, что Claude и другие чат-боты могут научить пользователей создавать потенциально опасные вирусы. «Я хочу, чтобы вы проверили наши предположения», — приводит Bloomberg слова Кларка, сказанные в беседе с Касагранде. Тот в 2005 году основал фирму Gryphon Scientific, у которой есть контракты в том числе с Пентагоном и Национальным институтом здравоохранения.

Он сформировал команду экспертов в области микробиологии и вирусологии для тестирования Claude. На протяжении 150 часов они, притворившись биотеррористами, забрасывали нейросеть вопросами. Они спрашивали, какие патогены могут нанести наибольший вред, как купить материалы, необходимые для их создания в лаборатории, и как вырастить микроорганизмы.

Claude предложил способы использования патогенов в ракетах, чтобы нанести максимальный ущерб, а также подсказал, в какую погоду их лучше использовать и для каких целей.

Старший аналитик Gryphon Одри Серлес отметила, что ответы чат-бота выходили за рамки того, что можно найти в поисковике Google. «Иногда он [чат-бот] выдавал тревожную информацию, которую вы даже не запрашивали», — пояснила ученый Фрогги Джексон, участвовавшая в тестировании нейросети. Например, Claude предложил необычный способ заражения человека, чтобы нанести максимальный вред, и сделал это быстро.

После тестирования Касагранде обратился к Эсвелту из Массачусетского технологического института с просьбой купить синтетическую ДНК, необходимую для создания одного из патогенов, предложенных чат-ботом. Потом он отнес пробирки в Белый дом.

По словам источников Bloomberg, президент Джо Байден, вице-президент Камала Харрис и советник по национальной безопасности Джейк Салливан «продемонстрировали личный интерес». В июле прошлого года крупные компании в области ИИ, в том числе OpenAI, Anthropic и Microsoft, обязались оценивать «наиболее значимые риски» в сфере биобезопасности. В октябре администрацией Байдена был издан указ, предусматривающий усиление контроля за финансируемыми государством исследованиями искусственных геномов. Харрис тогда подчеркнула, что биологическое оружие, созданное ИИ, «может поставить под угрозу само существование человечества».

Директор Центра безопасности в области здравоохранения при Университете Джонса Хопкинса Том Инглесби, в свою очередь, считает, что правительству следует занять более жесткую позицию и регулярно проверять компании, занимающиеся искусственным интеллектом. По его мнению, указ не дает властям достаточных полномочий.

В июле 174 ученых, в том числе лауреат Нобелевской премии по химии Фрэнсис Арнольд и один из пионеров современных методов редактирования геномов Джордж Черч, подписали письмо, в котором обязались использовать ИИ для поддержки исследований, которые предотвратят сценарии конца света. Преимущества ИИ «намного перевешивают потенциальный вред», говорится в нем.

Источник https://www.rbc.ru/technology_and_media/03/08/2024/66ae147c9a79477e3117ff32