Руководители OpenAI, Anthropic и Hugging Face выступили на заседании Совета Безопасности ООН, посвященном влиянию искусственного интеллекта на международную безопасность. Представители технологических компаний предупредили о растущей автономности ИИ, рисках кибератак и возможной утрате контроля над наиболее мощными системами.

Заседание состоялось 23 сентября. В нем приняли участие генеральный директор OpenAI Сэм Альтман, глава Anthropic Дарио Амодеи, руководитель Hugging Face Клеман Деланг и ученый Йошуа Бенжио.

Сэм Альтман заявил, что ИИ-системы становятся более самостоятельными, а их развитие может опередить способность государственных институтов контролировать эту технологию. По его словам, отрасль приближается к созданию моделей, способных помогать в совершенствовании собственных будущих версий.

Глава OpenAI подчеркнул, что такое рекурсивное самосовершенствование может ускорить технологический прогресс, однако при слишком высоких темпах возникает риск утраты человеком возможности следить за действиями системы и своевременно вмешиваться. Альтман отметил, что разработчики не должны обучать новые модели без достаточных оснований считать, что они останутся под человеческим контролем.

Дарио Амодеи разделил угрозы, связанные с передовыми моделями, на две категории. Первая касается использования ИИ злоумышленниками — в частности, для разработки биологического оружия и проведения масштабных кибератак. Вторая связана с возможной потерей контроля, если способности систем будут расти быстрее, чем возможности разработчиков обеспечивать их безопасность.

Руководитель Anthropic предупредил, что при неправильном управлении искусственный интеллект может стать угрозой для человечества. Компания, по его словам, готова замедлять выпуск новых моделей, если тестирование выявит неприемлемые риски. Амодеи также призвал разработать международные стандарты безопасности ИИ.

Глава Hugging Face сделал акцент на другой проблеме — неравномерном распределении возможностей мощного ИИ. Клеман Деланг считает, что основной риск заключается в технологическом разрыве между атакующими и защищающимися сторонами, крупнейшими корпорациями и остальным рынком, а также отдельными государствами и другими странами.

Деланг сообщил, что Hugging Face уже столкнулась с кибератакой с использованием автономных ИИ-агентов. Для снижения подобных угроз он предложил повысить прозрачность отрасли, публиковать сведения об инцидентах и расширять доступ к открытым защитным инструментам. При этом глава Hugging Face предостерег от чрезмерно алармистского подхода к развитию технологии.

Таким образом, участники заседания по-разному оценили главные угрозы ИИ. OpenAI и Anthropic сосредоточились на возможной утрате контроля над быстро развивающимися моделями, тогда как Hugging Face назвала ключевыми проблемами кибербезопасность и концентрацию передовых технологий в руках ограниченного числа компаний и государств.

Представители отрасли сошлись во мнении, что развитие наиболее мощных систем требует международной координации, независимого тестирования, обмена информацией об инцидентах и обязательного сохранения человеческого контроля.