OpenAI сотрудничает с Институтом безопасности искусственного интеллекта США в преддверии новых инициатив

OpenAI попыталась заверить законодателей США в том, что она привержена строгим протоколам безопасности и ответственной разработке искусственного интеллекта.

Это заявление прозвучало после того, как пять сенаторов, включая сенатора Брайана Шатца от Гавайев, выразили опасения по поводу мер безопасности компании.

Обязательства и действия OpenAI и Института безопасности искусственного интеллекта США

Директор по стратегии OpenAI Джейсон Квон ответил на недавнее письмо, адресованное генеральному директору компании Сэму Олтману пятью сенаторами США о политике OpenAI. Он подчеркнул, что OpenAI “стремится внедрять строгие протоколы безопасности на каждом этапе нашего процесса”, подчеркивая свои комплексные протоколы и инициативы в области безопасности.

Генеральный директор Сэм Альтман также объявил в X post, что OpenAI тесно сотрудничает с Институтом безопасности искусственного интеллекта США. Целью сотрудничества является предоставление раннего доступа к модели next foundation от OpenAI, которая поможет продвинуть науку оценки искусственного интеллекта.

несколько кратких обновлений о безопасности в openai:

как мы говорили в июле прошлого года, мы намерены выделять не менее 20% вычислительных ресурсов на мероприятия по обеспечению безопасности во всей компании.

наша команда работает с Институтом безопасности искусственного интеллекта США над соглашением, в котором мы будем предоставлять…

— Сэм Альтман (@sama) 1 августа 2024 г.

Эта последняя разработка вызвала критику после того, как OpenAI распустила команду, занимавшуюся созданием средств защиты от потенциально опасных “сверхразумных” систем искусственного интеллекта. Это привело к уходу руководителей высшего звена Яна Лейке и Ильи Суцкевера.

В ответ на критику OpenAI недавно отменила соглашения о недопустимости пренебрежительного отношения к нынешним и бывшим сотрудникам, что направлено на повышение прозрачности и решение проблем, связанных с ограничительной внутренней политикой. OpenAI пообещала выделить 20% своих вычислительных ресурсов на исследования, связанные с безопасностью, в ближайшие годы.

Примечательно, что OpenAI учредила комитет по охране труда, которому поручено проанализировать процессы и политику компании. Этот комитет является частью более широкой инициативы по разрешению разногласий относительно приверженности OpenAI обеспечению безопасности, включая инциденты, когда сотрудники не могли выразить озабоченность. Формирование этого комитета последовало за роспуском команды руководителей OpenAI ранее в этом году, что вызвало вопросы о приоритетности безопасности в компании.

Ранее в этом году Национальный институт стандартов и технологий (NIST) официально учредил Институт безопасности искусственного интеллекта США после объявления о нем вице-президентом Камалой Харрис на Саммите по безопасности искусственного интеллекта Великобритании в 2023 году.

Этот консорциум, описанный NIST как необходимый для разработки научно обоснованных руководств по безопасности искусственного интеллекта, предполагает сотрудничество с такими компаниями, как Anthropic, Google, Microsoft, Meta, Apple, Amazon и Nvidia

OpenAI сталкивается с критикой, несмотря на сотрудничество отрасли и правительства

Несмотря на заверения OpenAI, сохраняются опасения относительно культуры безопасности компании.

Агентство Bloomberg сообщило о растущем беспокойстве в отрасли по поводу внимания OpenAI к безопасности, особенно в связи с тем, что компания занимается разработкой более мощных моделей искусственного интеллекта.

Это беспокойство перекликается со спорами, возникшими, когда Альтман был ненадолго отстранен от должности генерального директора, что, как первоначально предполагалось, было вызвано соображениями безопасности, но позже было объяснено “сбоем в коммуникации”.

Примечательно, что Альтман входит в Совет по охране и защите искусственного интеллекта Министерства внутренней безопасности США, предоставляя рекомендации по безопасной разработке и внедрению искусственного интеллекта в критически важных инфраструктурах США.

OpenAI также значительно активизировала свои федеральные лоббистские усилия, потратив 800 000 долларов в первой половине 2024 года по сравнению с 260 000 долларов за весь 2023 год.

Институт безопасности искусственного интеллекта США, расположенный в рамках NIST Министерства торговли, также сотрудничает с консорциумом ведущих технологических компаний.

Эта группа отвечает за реализацию действий, предусмотренных указом президента Байдена об искусственном интеллекте, включая разработку руководящих принципов по методам обеспечения безопасности искусственного интеллекта, таким как объединение в группы, оценка возможностей, управление рисками и создание искусственных водяных знаков на контенте.