Компания OpenAI приостановила обучение своих ИИ моделей

До улучшения ситуации с безопасностью.

Компания OpenAI приняла решение приостановить обучение своих самых эффективных моделей искусственного интеллекта из-за проблем с безопасностью.

Об этом сообщает Axios.

Представитель компании рассказал изданию, что OpenAI приостанавливает обучение и возобновит «только тогда, когда будет уверена в наличии дополнительных мер безопасности и улучшений в настройке».

«Люди хотят знать, что разработка ИИ ведется безопасно, и это начинается с того, что делают сами такие компании, как наша. Это не первый раз, когда мы приостанавливаем разработку, чтобы принять подобные меры, и мы не ожидаем, что это будет последний раз, поскольку возможности ИИ продолжают развиваться», - сказал источник.

Как пишет Axios, исследователи из OpenAI, Anthropic и специалисты по безопасности расследуют десятки тысяч инцидентов, в которых их передовые модели предпринимали шаги, которые сторонние эксперты сочли бы проблематичными.

Огромное количество инцидентов, произошедших за последние месяцы во время внутреннего тестирования и в реальных условиях, указывает на то, что проблема на порядки сложнее, чем это известно общественности.

«Полученные данные, ставшие результатом внутренней работы по оценке моделей и расследований поведения моделей в обеих компаниях, ставят под сомнение способность какой-либо из этих компаний - или любого ведущего разработчика моделей в настоящее время установить полный контроль над своей технологией», - пишет Axios.

Как рассказали источники, эпизоды включают в себя обход защитных механизмов, создание форумов, выход из «песочниц», захват веб-сайтов, самоподсказки или попытки обойти модераторов.

Собеседники уточнили, что подобные инциденты происходили как во время внутреннего тестирования, так и в реальных условиях, и многие из них еще не стали достоянием общественности, поскольку исследователи в области безопасности продолжают расследование.

Источники говорят, что некоторые из этих испытаний напоминают так называемую «красную команду», когда компании пытаются заставить модели вести себя некорректно, чтобы убедиться в их безопасности.

«Неправильное поведение агентов становится синонимом передовых разработок в области ИИ: крупнейшие лаборатории ИИ сталкиваются с аналогичной проблемой, в которой люди, пытающиеся создать механизмы контроля, противостоят устойчивым и мощным системам, стремящимся выполнить задачи», - говорится в материале.

Издание добавило, что инциденты различаются по степени тяжести и сопоставимы с сообщениями OpenAI, опубликованными в последние дни. Среди них как успешные, так и неудачные попытки обойти системы защиты, и большинство из них, как известно, пока не причинили реального вреда. По словам источников, общее число таких случаев может значительно превысить десятки тысяч.

Вы можете поддержать сайт Charter97.org следующим образом:

РАСЧЕТНЫЙ МУЛЬТИВАЛЮТНЫЙ СЧЕТ ДЛЯ ПОЖЕРТВОВАНИЙ:

Название банка: Bank Millennium S.A.
Адрес: ul. Stanislawa Zaryna, 2A, 02-593, Warszawa
IBAN: PL97116022020000000216711123
SWIFT: BIGBPLPW
Название владельца счета: Fundacja “KARTA ‘97”
Назначение платежа: Darowizna na cele statutowe

Связаться с нами можно по адресу charter97@gmail.com