Закон ЕС об искусственном интеллекте, NIST США нацелены на кибератаки на системы ИИ —рекомендации и обязательства по отчетности

Европейский союз опубликовал 12 июля 2024 года окончательный текст своего Закона об искусственном интеллекте (ИИ), вступающего в силу с 1 августа 2024 года, который, среди прочих требований, введет требования к материальной кибербезопасности и отчетности об инцидентах для компаний в ответ на участившиеся кибератаки на системы и модели искусственного интеллекта. Эти нормативные обязательства отражают инициативы, предпринятые другими правительствами для борьбы с кибератаками на системы искусственного интеллекта, в частности, Национальный институт стандартов и технологий США (NIST), выпустивший ранее в этом году руководящие принципы по предотвращению и смягчению последствий таких инцидентов. По мере того, как правительства активизируют свои усилия по борьбе с этими атаками, организациям следует рассмотреть возможность поддержания надежной политики управления информацией и безопасности и оценки нормативных обязательств и юридических рисков, связанных с кибератаками на системы и модели искусственного интеллекта.

По мере того, как системы и модели искусственного интеллекта и машинного обучения (совместно именуемые ИИ) становятся все более распространенными на рынке, они все чаще становятся мишенью кибератак. Эти технологии могут быть прибыльными целями, поскольку они часто содержат огромные массивы данных, некоторые из которых могут быть коммерчески чувствительными или личными. Злоумышленники могут нацеливаться на модели искусственного интеллекта, чтобы получить доступ к базовой информации или нарушить процессы модели. Многие ведущие разработчики систем и моделей искусственного интеллекта серьезно относятся к этим рискам.

Примечательно, что OpenAI Inc. объявила 13 июня 2024 г. что американский генерал Пол Накасоне, бывший руководитель киберкомандования США и бывший директор Агентства национальной безопасности США, присоединяется к ее совету директоров, что “подчеркивает растущее значение кибербезопасности, поскольку влияние технологий искусственного интеллекта продолжает расти”.

Чтобы начать решать проблемы кибербезопасности, связанные с искусственным интеллектом, Национальный институт стандартов и технологий Министерства торговли США (NIST) опубликовал руководство от 4 января 2024 года, в котором определены четыре конкретных типа кибератак и предложены способы для компаний предотвратить или смягчить последствия этих атак. В этом законе основное внимание уделяется этому руководству в дополнение к обязательствам по кибербезопасности и отчетности об инцидентах в соответствии с новым Законом ЕС об искусственном интеллекте, который вступает в силу 1 августа 2024 года. Окончательный текст закона был опубликован 12 июля 2024 года.

Указ президента США и система искусственного интеллекта NIST

30 октября 2023 года президент Джозеф Байден издал распоряжение об установлении стандартов использования искусственного интеллекта.[1] Распоряжение, озаглавленное “О безопасной и заслуживающей доверия разработке и использовании искусственного интеллекта”, среди прочего, предписывало NIST разработать руководящие принципы и лучшие практики, которым компании должны следовать для смягчения или предотвращения кибератак, с заявленной целью продвижения “согласованных отраслевых стандартов” для защиты систем искусственного интеллекта.

В начале 2024 года NIST опубликовал “Состязательное машинное обучение: таксономия и терминология атак и средств их устранения”, в котором были определены четыре основные области атак с использованием состязательного машинного обучения (ML): (1) атаки с “отравлением” данных, (2) атаки со “злоупотреблением” данными, (3) атаки на конфиденциальность и (4) атаки с “уклонением”.[2] Как отметил NIST, “спектр эффективных атак против ML широк, быстро развивается и охватывает все фазы жизненного цикла ML”, но эти четыре атаки в настоящее время распространены и важны для понимания.

• Атаки с отравлением данных: Эти атаки происходят на этапе обучения алгоритма ML, в результате чего злоумышленник искажает данные, которые вводятся в алгоритм, чтобы модель искусственного интеллекта обучалась на “отравленных” данных. NIST описал атаки с отравлением как “наиболее критическую уязвимость” в системах ML.
• Атаки со злоупотреблением данными: Эти атаки связаны с предоставлением неверной информации из законного, но скомпрометированного источника. В ходе этих атак злоумышленник может перепрофилировать предполагаемое использование системы для достижения своих собственных целей, используя косвенное оперативное внедрение. Например, поисковым чат-ботам на веб-сайте организации может быть предложено генерировать дезинформацию или скрывать определенную информацию или источники от пользователей, так что ответы будут неточными или неполными.
• Атаки на конфиденциальность: Эти атаки включают обратное проектирование информации из модели искусственного интеллекта для получения конфиденциальной информации об отдельных пользователях, что в случае успеха может иметь последствия для конфиденциальности в зависимости от типа раскрываемой информации. Эти атаки также могут включать данные обратного проектирования для изучения чувствительной критической архитектуры, что может привести к реконструкции модели искусственного интеллекта для незаконных целей.
• Атаки с целью уклонения: После развертывания модели искусственного интеллекта злоумышленник может изменить входные данные модели, чтобы изменить ее реакцию. Это может включать цифровую модификацию изображения, чтобы его невозможно было идентифицировать, или физическую модификацию возражения. Примером последнего может быть изменение злоумышленником классификатора обнаружения дорожных знаков беспилотного транспортного средства путем добавления черно-белых наклеек на знак остановки, в результате чего транспортное средство игнорирует знак и не останавливается.

Каждую из этих атак может быть легко организовать. NIST предупреждает, что атаки с отравлением, например, можно организовать, контролируя несколько десятков обучающих выборок — небольшой процент от всего обучающего набора данных. В дальнейшем компании, занимающиеся разработкой или внедрением систем искусственного интеллекта, могут пожелать рассмотреть возможность мониторинга этих типов кибератак, а также возникающих новых атак, поскольку кибератаки в сфере искусственного интеллекта и ОД постоянно развиваются.

Новый Закон ЕС об искусственном интеллекте: обязательства по кибербезопасности и отчетности об инцидентах

Отражая серьезность рисков, выявленных NIST, Закон ЕС об искусственном интеллекте конкретно признает определенные из этих рисков, включая “отравление данными”, “уклонение от модели” и “состязательные” атаки (статья 77; статья 15 (5)) – и последствия возникновения этих рисков (статья 110). Это может включать потерю контроля со стороны человека, вмешательство в критически важную инфраструктуру, дезинформацию, вредную предвзятость и дискриминацию, а также социальные риски. В свою очередь, как и Общий регламент ЕС по защите данных (GDPR), Закон об искусственном интеллекте налагает обязательства по кибербезопасности и отчетности об инцидентах; эти обязательства отличаются и действуют параллельно GDPR и отраслевым законам ЕС.

Обязательства по кибербезопасности в соответствии с Законом об искусственном интеллекте

Примечательно, что Закон об искусственном интеллекте требует от “поставщиков” “систем искусственного интеллекта высокого риска” и моделей “искусственного интеллекта общего назначения” (GPAI) внедрения мер безопасности и устойчивости, в том числе описанных ниже:

• Системы искусственного интеллекта высокого риска: Примечательно, что системы искусственного интеллекта высокого риска должны быть “спроектированы и развиты” таким образом, чтобы они достигали “надлежащего уровня точности, надежности и кибербезопасности и чтобы они стабильно выполняли эти функции на протяжении всего своего жизненного цикла” (статья 15 (1)). Европейская комиссия обязана “поощрять” разработку (в сотрудничестве с “соответствующими заинтересованными сторонами и организациями”) ”контрольных показателей и методологий измерения” в соответствии с этими требованиями (статья 15 (2)).
  • Системы высокого риска также должны быть максимально “устойчивыми к ошибкам, сбоям или несоответствиям, которые могут возникать в системе или среде, в которой система работает”, в том числе при “взаимодействии с физическими лицами или другими системами” (статья 15 (4)) и “к попыткам несанкционированных третьих сторон изменить их использование, выходные данные или производительность путем использования системных уязвимостей” (статья 15 (5)). Поставщики систем искусственного интеллекта высокого риска также обязаны раскрывать “разработчикам” таких систем “характеристики, возможности и ограничения” этих систем, в том числе в отношении “любых известных и предсказуемых обстоятельств, которые могут повлиять на ожидаемый уровень точности, надежности и кибербезопасности” (статья 13(3)(b)(ii)).
• Модели GPAI: Закон признает, что киберугрозы для моделей GPAI с “системными рисками” включают “случайную утечку модели, несанкционированный выпуск, обход мер безопасности и защиту от кибератак, несанкционированного доступа или кражи модели” (статья 115). В свою очередь, поставщики таких моделей GPAI должны “обеспечивать надлежащий уровень кибербезопасности” и “физическую инфраструктуру модели” (статья 55(1)(d)). Примечательно, что обязательства по кибербезопасности применимы к таким поставщикам, “независимо от того, предоставляется ли [модель] как отдельная модель или встроена в систему искусственного интеллекта или продукт” (статья 114). В законе также говорится, что “он должен требовать” от поставщиков таких моделей GPAI “выполнять необходимые оценки моделей” для документирования “состязательного тестирования” и “постоянной оценки и снижения системных рисков”, включая “политику управления рисками” (статья 114).

Обязательства по сообщению об инцидентах В соответствии с Законом об искусственном интеллекте

Закон об искусственном интеллекте также налагает обязательства по сообщению об инцидентах как на поставщиков, так и на “развертывателей” систем искусственного интеллекта и моделей GPAI, даже при определенных обстоятельствах, когда системы искусственного интеллекта тестируются (статья 60 (7)). Примечательно, что поставщики (а при определенных обстоятельствах и развертыватели) систем искусственного интеллекта высокого риска и моделей GPAI (которые представляют системные риски) должны сообщать о “серьезных инцидентах” соответствующим государственным органам и, при определенных обстоятельствах, соответствующим участникам цепочки искусственного интеллекта (статья 55 (1) (c); 73; 26(5)). Серьезные инциденты могут включать смерть или серьезный вред человеку, серьезные и необратимые нарушения в критически важной инфраструктуре, серьезный ущерб собственности или окружающей среде или нарушение законов об основных правах (статья 3 (49)).

Важно отметить, что временные рамки для сообщения об инцидентах в соответствии с Законом ЕС об искусственном интеллекте жесткие, даже по сравнению с теми, которые предусмотрены GDPR. Однако временные рамки будут зависеть от обстоятельств. Например, если установлена причинно-следственная связь между системой искусственного интеллекта и серьезным инцидентом, об инциденте необходимо сообщить немедленно.

Важно отметить, что закон содержит конкретные временные ограничения на сроки представления отчетности, которые зависят от серьезности и последствий инцидента. Например, о серьезном инциденте с “широкомасштабным нарушением” (который может повлечь трансграничное воздействие или воздействие на критическую инфраструктуру) должно быть сообщено “немедленно”, но не позднее, чем через два дня после “информирования” (статья 73 (3)). Аналогично сообщению о “утечках персональных данных” в соответствии с GDPR, первоначальный отчет может быть “неполным”, за которым впоследствии последует “полный отчет” (статья 73 (5)).

Ключевые выводы: снижение технических, нормативных и юридических рисков

Хотя, согласно NIST, защита от кибератак на модели искусственного интеллекта “в лучшем случае неполная”,[3] организации могут пожелать рассмотреть возможность принятия — в дополнение к своим существующим планам и политикам информационной безопасности — таких мер, как следующее:

• Сохраняйте контроль над обучающими наборами данных: Когда в модели искусственного интеллекта используются наборы данных, неподконтрольные организации, качество входных данных может пострадать и может увеличить риск искажения данных. В зависимости от обстоятельств организация может быть в состоянии лучше отслеживать происхождение внутренних наборов данных и более эффективно их очищать. В той мере, в какой набор данных сторонних производителей используется для обучения искусственному интеллекту, организация может пожелать рассмотреть возможность проведения надлежащей проверки.
• Регулярно тестируйте модели искусственного интеллекта: целостность набора данных можно поддерживать путем регулярного тестирования и обучения моделей искусственного интеллекта, в идеале с помощью обратной связи с человеком, а не ИИ. Такое обучение может смягчить атаки с отравлением и уклонением.
• Поддерживайте строгую политику и план управления информацией и безопасности: Регулярно документируйте процессы, анализ и решения, принимаемые для систем искусственного интеллекта. Даже если атака произойдет, эта документация может помочь продемонстрировать, что организация предприняла соответствующие шаги для защиты своей информации и систем искусственного интеллекта.

Закон ЕС об искусственном интеллекте также устанавливает (иллюстративно) меры информационной безопасности, которые могут быть предприняты. Например, Закон об искусственном интеллекте предлагает в отношении моделей GPAI с системными рисками “обеспечивать веса моделей, алгоритмы, серверы и наборы данных, например, с помощью оперативных мер информационной безопасности, конкретных политик кибербезопасности, адекватных технических и устоявшихся решений, а также средств контроля кибер- и физического доступа, соответствующих соответствующим обстоятельствам и связанным с ними рискам” (статья 115).

Организации могут пожелать тщательно рассмотреть нормативные и юридические риски, которые могут включать как правоприменение регулирующих органов, так и частные судебные разбирательства, — от успешных и неуспешных кибератак до систем и моделей искусственного интеллекта, включая те, которые возникают из:

• Ответственность за продукт, конфиденциальность данных, кибербезопасность и другие регулирующие законы (такие как Закон об искусственном интеллекте и GDPR)
• Договорная и неправомерная ответственность
• Риски интеллектуальной собственности (такие как коммерческая тайна и риски, связанные с авторским правом)

Кроме того, на организации могут распространяться существенные обязательства по отчетности о киберинцидентах, связанных с искусственным интеллектом, вытекающие из давних законов, таких как GDPR и более новых законов об искусственном интеллекте. В свою очередь, организациям может потребоваться обновить свои существующие планы информационной безопасности и реагирования на инциденты, а также провести “настольные учения” по кибербезопасности, ориентированные на искусственный интеллект, чтобы отразить уникальные риски кибербезопасности, связанные с системами и моделями искусственного интеллекта.