OpenAI представляет рамочную программу безопасности для сильного ИИ: Новый этап в обеспечении безопасности передовых технологий

OpenAI недавно представила свою рамочную программу безопасности для разработки и использования сильного искусственного интеллекта (ИИ). Эта программа, обновленная 18 декабря 2023 года, направлена на систематизацию подходов к безопасности и предотвращение катастрофических рисков, связанных с развитием все более мощных моделей ИИ.

Вот основные моменты этой программы:

1. Многопрофильные команды по безопасности: В OpenAI работают несколько команд, занимающихся вопросами безопасности ИИ. Команда по безопасности систем фокусируется на предотвращении неправомерного использования текущих моделей и продуктов, таких как ChatGPT. Команда по выравниванию сверхразума занимается разработкой основ для безопасности потенциально суперинтеллектуальных моделей в будущем.
2. Научно-обоснованный подход: OpenAI акцентирует внимание на научном подходе к безопасности, включая проведение строгих оценок способностей и прогнозирование для лучшего выявления возникающих рисков. Компания стремится к конкретным измерениям и прогнозам, основанным на данных, а не только на гипотетических сценариях.
3. Рамочная программа безопасности (Бета-версия): Программа включает в себя следующие ключевые аспекты:
   • Проведение оценок и обновление “карточек” рисков моделей.
   • Определение порогов риска для активации мер безопасности.
   • Создание специализированной команды для технической работы и принятия решений по безопасности.
   • Разработка протоколов для дополнительной безопасности и внешней ответственности.
   • Сотрудничество для уменьшения известных и неизвестных рисков безопасности.
4. Оценка невыпущенных моделей ИИ: OpenAI будет оценивать свои невыпущенные модели ИИ в трех категориях рисков: низкие, средние, высокие/критические. Это позволит компании лучше понимать и управлять потенциальными рисками, связанными с развитием ИИ.

Эта рамочная программа безопасности является частью усилий OpenAI по обеспечению безопасного и ответственного развития ИИ. Она представляет собой живой документ, который будет регулярно обновляться на основе новых знаний и обратной связи.