OpenAI формирует команду для изучения ‘катастрофических’ рисков ИИ, включая ядерные угрозы

OpenAI объявила, что создала новую команду для оценки моделей ИИ для защиты от того, что она называет “катастрофическими рисками”.

Команду под названием “Готовность” возглавит Александр Мадри, директор Центра развертываемого машинного обучения Массачусетского технологического института. (Мэдри присоединился к OpenAI в мае в качестве “главы по обеспечению готовности”, согласно LinkedIn.) Основными обязанностями “Готовности” будут отслеживание, прогнозирование и защита от опасностей будущих систем искусственного интеллекта, начиная от их способности убеждать и дурачить людей (например, при фишинговых атаках) и заканчивая возможностями генерации вредоносного кода.

Некоторые категории рисков, изучение которых поручено Preparity, кажутся более … надуманными, чем другие. Например, в сообщении в блоге OpenAI перечисляет “химические, биологические, радиологические и ядерные” угрозы в качестве областей, вызывающих наибольшую озабоченность, когда речь идет о моделях ИИ.

Генеральный директор OpenAI Сэм Олтман является известным предсказателем судьбы ИИ, часто высказывающим опасения — будь то из соображений оптики или из личной убежденности — что ИИ “может привести к вымиранию человечества”. Но, честно говоря, сообщение о том, что OpenAI может на самом деле выделить ресурсы на изучение сценариев, взятых прямо из научно-фантастических романов-антиутопий, – это шаг дальше, чем ожидал автор.

Компания также открыта для изучения ”менее очевидных” — и более обоснованных — областей риска ИИ, говорится в сообщении. В связи с запуском команды по обеспечению готовности OpenAI запрашивает у сообщества идеи для исследований рисков. Приз в размере 25 000 долларов и работа в Preparity в очереди за десятку лучших заявок.

“Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (транскрипция), Voice (преобразование текста в речь), GPT-4V и DALLE · 3, а вы были злоумышленником”, – говорится в одном из вопросов в конкурсной заявке. “Рассмотрим наиболее уникальное, хотя и все еще вероятное, потенциально катастрофическое неправильное использование модели”.

OpenAI заявляет, что команде по обеспечению готовности также будет поручено сформулировать “политику разработки с учетом рисков”, в которой будет подробно описан подход OpenAI к построению оценок моделей ИИ и инструментария мониторинга, действия компании по снижению рисков и ее структура управления для надзора за процессом разработки моделей. По словам компании, это призвано дополнить другую работу OpenAI в области безопасности ИИ, уделяя особое внимание как этапам до, так и после развертывания модели.

“Мы считаем, что … модели ИИ, которые превысят возможности, имеющиеся в настоящее время в самых передовых существующих моделях, потенциально могут принести пользу всему человечеству”, – пишет OpenAI в вышеупомянутом сообщении в блоге. “Но они также представляют собой все более серьезные риски . , , Нам нужно убедиться, что у нас есть понимание и инфраструктура, необходимые для безопасности высокопроизводительных систем ИИ”.

Объявление о готовности — не случайно, во время крупного правительственного саммита по безопасности искусственного интеллекта в Великобритании — произошло после того, как OpenAI объявила, что сформирует команду для изучения, управления возникающими формами “сверхразумного” искусственного интеллекта. Альтман убежден — наряду с верой Ильи Суцкевера, главного научного сотрудника OpenAI и соучредителя, — что ИИ с интеллектом, превосходящим человеческий, может появиться в течение десятилетия, и что этот ИИ не обязательно будет доброжелательным, что требует исследования способов его ограничения.