Отчет о безопасности AI NIST: 3 ключевых вывода для технических специалистов

Интерес к искусственному интеллекту и, в частности, к генеративному искусственному интеллекту продолжает расти, поскольку такие платформы, как ChatGPT от OpenAI и Google Bard, в ближайшие несколько лет, похоже, перевернут многие отрасли. В недавнем отчете исследовательской фирмы IDC говорится, что расходы на генеративный искусственный интеллект превысили 19 миллиардов долларов в 2023 году; ожидается, что расходы на искусственный интеллект удвоятся в этом году и достигнут 151 миллиарда долларов к 2027 году.

выгодные возможности для карьерного роста предлагает эта развивающаяся областьДля технических специалистов, которые хотят воспользоваться преимуществами , понимание того, как работают эти модели искусственного интеллекта, имеет важное значение. Хотя многие из этих бесед посвящены тому, как эти платформы могут автоматизировать ручные процессы и оптимизировать операции, растет озабоченность по поводу того, как искусственный интеллект может быть поврежден и им манипулируют … и почему также важно знать эти аспекты технологий.

Чтобы пролить дополнительный свет на эти проблемы, Национальный институт стандартов и технологий (NIST) выпустил новый документ под названием “Состязательное машинное обучение: таксономия и терминология атак и средств их устранения”, в котором рассматриваются проблемы безопасности и конфиденциальности, с которыми организации могут столкнуться при внедрении технологий искусственного интеллекта и машинного обучения (ML). В документе подробно описывается несколько вызывающих беспокойство проблем безопасности, включая такие сценарии, как повреждение или манипулирование данными, используемыми для обучения больших языковых моделей (также известные как “отравление”), уязвимости в цепочке поставок и нарушения, связанные с личными или корпоративными данными.

“Несмотря на значительный прогресс, достигнутый искусственным интеллектом и машинным обучением (ML) в ряде различных областей применения, эти технологии также уязвимы для атак, которые могут вызвать впечатляющие сбои с тяжелыми последствиями”, – предупреждает отчет NIST во введении.

Хотя отчет NIST в первую очередь написан для разработчиков искусственного интеллекта, другие специалисты в области технологий и кибербезопасности могут извлечь пользу из прочтения документа и включения его уроков в свои наборы навыков, особенно по мере того, как искусственный интеллект становится большей частью их повседневных обязанностей.

“Понимание меняющегося ландшафта угроз и методов, которые противники используют для манипулирования искусственным интеллектом, является ключевым для того, чтобы защитники могли протестировать эти варианты использования на своих собственных моделях для эффективной защиты своих систем искусственного интеллекта и от атак с использованием искусственного интеллекта”, – сказала Николь Кариньян, вице-президент по стратегическому кибер-искусственному интеллекту в охранной фирме Darktrace.

Отчет NIST предлагает рекомендации по подходу технических специалистов к искусственному интеллекту, которые могут сделать их более ценными для их нынешней организации или потенциальных работодателей. Несколько экспертов по безопасности и инсайдеров отрасли поделились своим мнением о трех ключевых выводах из документа.

А.И. Безопасность важна прямо сейчас

В документе NIST описывается несколько важных проблем безопасности, к которым уязвимы искусственный интеллект и генеративные технологии искусственного интеллекта, будь то со стороны злоумышленника или использования неверных данных для программирования моделей.

К четырем основным угрозам, которые NIST определяет, относятся:
 

• Атаки с целью уклонения: Этот метод предназначен для создания вредоносного контента или кода после развертывания модели искусственного интеллекта.
• Ядовитая атака: Этот метод использует поврежденные или вредоносные данные для повреждения — или отравления — модели перед развертыванием.
• Атаки на конфиденциальность: Эти инциденты связаны со сбором личных данных или конфиденциальной информации компании путем использования слабых мест в модели.
• Атаки со стороны злоумышленников: В этом сценарии вставка неверной или сомнительной информации в источник (например, веб-страницу или онлайн-документ), которую искусственный интеллект затем усваивает в рамках своего обучения.

“У злоумышленников есть много возможностей испортить эти данные — как в период обучения системы искусственного интеллекта, так и после, пока искусственный интеллект продолжает совершенствовать свое поведение, взаимодействуя с физическим миром”, – отмечают авторы NIST. “Это может привести к нежелательной работе искусственного интеллекта. Чат-боты, например, могут научиться отвечать оскорбительными или расистскими высказываниями, когда их барьеры обходят с помощью тщательно продуманных вредоносных подсказок ”.

Быстрое появление различных инструментов искусственного интеллекта за последний год демонстрирует, как быстро все может измениться для сотрудников по кибербезопасности и почему технические специалисты должны оставаться в курсе событий, особенно в том, что касается безопасности, сказал Дин Уэбб, инженер по решениям в области кибербезопасности в Merlin Cyber.

“В то время как инструменты защиты от искусственного интеллекта помогут уравновесить большинство атак, управляемых искусственным интеллектом, фишинговые и другие атаки социальной инженерии, улучшенные искусственным интеллектом, направлены непосредственно против зачастую неподготовленных людей”, – сказал Уэбб Dice. “Нам придется найти лучшие средства автоматизации защиты корпоративной, а также личной электронной почты, текстовых сообщений и чат-ботов, которые помогут нам удерживать оборону, когда дело дойдет до социальной инженерии с использованием искусственного интеллекта”.

В то время как крупные компании, такие как OpenAI и Microsoft, могут задействовать специализированные red teams для тестирования своих продуктов искусственного интеллекта на наличие уязвимостей, у других организаций нет для этого опыта или ресурсов. Тем не менее, поскольку генеративный искусственный интеллект становится все более популярным, предприятиям понадобятся команды безопасности, разбирающиеся в технологиях и их уязвимостях.

“Поскольку искусственный интеллект используется во все большем количестве программных систем, задача защиты искусственного интеллекта от атак с использованием состязательного машинного обучения (AML) может все чаще попадать под ответственность отделов организационной безопасности”, – сказал Теус Хоссман, директор по науке о данных в Ontinue. “В преддверии этих изменений важно, чтобы CISO и эксперты по безопасности ознакомились с этими возникающими угрозами и интегрировали эти знания в свои более широкие стратегии безопасности”.

Создание безопасного искусственного интеллекта и приложений

В отчете NIST подробно описывается, как генеративные AI LLM могут быть повреждены в процессе обучения.

Коррупция в процессе разработки также демонстрирует, что специалистам в области технологий, разработчикам и даже работникам кибербезопасности необходимо применять тот же подход к искусственному интеллекту, что и при создании защищенного кода для других типов приложений.

“А.И. безопасность и А.И. инновации идут рука об руку. Исторически безопасность была второстепенной задачей при разработке моделей искусственного интеллекта, что приводило к разрыву в навыках между специалистами по безопасности и разработчиками искусственного интеллекта ”, – сказал Кариньян из Darktrace в интервью Dice. “Поскольку мы продолжаем революцию в области искусственного интеллекта, инновационные исследования и обмен информацией по всей отрасли необходимы как разработчикам искусственного интеллекта, так и специалистам-практикам в области безопасности для расширения своих знаний”.

По мере того, как технологии все больше внедряются в инфраструктуру организаций, разработка моделей искусственного интеллекта и прогнозирование того, как они могут быть повреждены, станут важным навыком для разработчиков и команд безопасности, ищущих уязвимости, отметил Михаил Каздагли, руководитель отдела искусственного интеллекта в Symmetry Systems.

“Когда алгоритмы искусственного интеллекта обучаются на данных, которые неверны, предвзяты или нерепрезентативны, они могут выработать ошибочные шаблоны и предвзятость. Это может привести к неточным прогнозам или решениям, увековечивая существующие предубеждения или создавая новые ”, – сказал Каздагли в интервью Dice. “В крайних случаях, если данные подделаны злонамеренно, это может привести к непредсказуемому или вредоносному поведению в системах искусственного интеллекта. Это особенно важно, когда искусственный интеллект используется в процессах принятия решений. Таким образом, целостность и качество данных имеют решающее значение для обеспечения того, чтобы системы искусственного интеллекта функционировали должным образом и давали справедливые и надежные результаты. ”

Противники понимают искусственный интеллект … и технические специалисты тоже должны понимать

С момента выхода ChatGPT в ноябре 2022 года исследователи предупреждали, как злоумышленники — будь то киберпреступники или искушенные субъекты национальных государств — могут воспользоваться преимуществами этих новых платформ.

Уже фишинг и другие киберугрозы были связаны со злонамеренным использованием генеративных технологий искусственного интеллекта, и эти тенденции, вероятно, будут усиливаться, отмечается в документе NIST. Это означает, что специалисты в области технологий и кибербезопасности должны знать об уязвимостях, присущих моделям искусственного интеллекта, и о том, как злоумышленники используют эти недостатки.

“Субъекты угроз и противники не только стремятся использовать искусственный интеллект для оптимизации своих операций, но и субъекты геополитических угроз стремятся заполучить ценную интеллектуальную собственность искусственного интеллекта. Злоумышленники ищут уязвимости, чтобы получить ценные IP—модели или веса, используемые в моделях, или возможность извлечь конфиденциальные данные, на которых модель была обучена ”, — объяснил Кариньян. “Злоумышленники могут преследовать различные цели в области противодействия отмыванию денег, например, отравить конкуренцию, снизить точность, чтобы превзойти конкурентов, или контролировать обработку или выходные данные системы машинного обучения для злонамеренного использования, или повлиять на критические варианты использования искусственного интеллекта”.

Поскольку приложения искусственного интеллекта и машинного обучения становятся все более распространенными, специалистам в области технологий и кибербезопасности необходимо не только понимать, что они могут и чего не могут делать, но и распространять эти знания по всей организации, отметил Гал Рингел, генеральный директор Mine, фирмы по управлению конфиденциальностью данных.

Для этого потребуется знать, как злоумышленники используют технологию и какие средства защиты могут предотвратить выход угроз из-под контроля.

“Для тех, кто не знает о всех масштабах новых методов атак, создание инфраструктуры, достаточно гибкой, чтобы противостоять им, будет практически невозможно”, – сказал Рингел Dice. “Учитывая эволюцию глубоких подделок и клонирования аудио, среди прочего, базовый уровень грамотности искусственного интеллекта через несколько лет станет обязательным для всех, кто пользуется Интернетом, и такие платформы, как обновленный NIST, могут обеспечить базовый уровень для первой волны людей, обучающихся этой теме”.