Что, по мнению «крестного отца ИИ», должно сделать человечество?

Мы приближаемся к созданию сверхразума.

Лауреат Нобелевской премии Джеффри Хинтон, которого называют «крестным отцом искусственного интеллекта», призвал власти срочно усилить контроль над развитием передовых ИИ-систем. По его мнению, человечество приближается к созданию сверхразума, пишет The Atlantic (перевод — сайт Charter97.org).

Хинтон особенно обеспокоен недавним инцидентом с ИИ-агентами, которые во время тестирования взломали сервер компании Hugging Face и пытались скрыть свои действия. Ученый считает, что этот случай показал, что автономные системы способны находить собственные способы достижения поставленных задач и действовать вопреки ожиданиям разработчиков.

«Эти системы очень умны. Они становятся умнее, учатся выходить из-под контроля и взаимодействовать друг с другом», — заявил Хинтон.

При этом ученый не призывает полностью остановить развитие ИИ. Он считает, что технология может дать огромные преимущества — от роста производительности до улучшения медицины и образования. Главная задача, по его мнению, заключается в том, чтобы получить эти преимущества и не допустить катастрофических последствий.

Хинтон предложил регулировать ИИ по модели фармацевтической отрасли. Перед выпуском новых лекарств компании должны доказать их безопасность независимому государственному регулятору. Аналогичную систему, считает ученый, необходимо создать и для ИИ.

«Нам нужен независимый государственный орган, который будет проверять эти системы до их выпуска», — сказал он.

Хинтон также призвал США и Китай договариваться о правилах безопасности, поскольку обе страны заинтересованы в развитии ИИ и одновременно несут риски, связанные с созданием сверхразума.

По его оценке, времени на выработку таких правил немного. На вопрос о сроках он ответил: «Может быть, год, но не намного больше».

При этом Хинтон подчеркивает, что вероятность глобальной катастрофы невозможно точно посчитать. По его словам, оценки вроде 10–20% — это скорее выражение экспертной интуиции, чем научная статистика.

Вы можете поддержать сайт Charter97.org следующим образом:

РАСЧЕТНЫЙ МУЛЬТИВАЛЮТНЫЙ СЧЕТ ДЛЯ ПОЖЕРТВОВАНИЙ:

Название банка: Bank Millennium S.A.
Адрес: ul. Stanislawa Zaryna, 2A, 02-593, Warszawa
IBAN: PL97116022020000000216711123
SWIFT: BIGBPLPW
Название владельца счета: Fundacja “KARTA ‘97”
Назначение платежа: Darowizna na cele statutowe

Связаться с нами можно по адресу charter97@gmail.com