Защита открытых исходных текстов ИИ

NB Defense, ModelScan и Rebuff обнаруживают уязвимости в ноутбуках Jupyter, моделях машинного обучения и пользовательских подсказках LLM

Компания Protect AI, ведущая компания в области обеспечения безопасности искусственного интеллекта (ИИ) и машинного обучения (ML), сегодня анонсировала набор инструментов программного обеспечения с открытым исходным кодом (OSS), призванных помочь организациям защитить свои среды ИИ и ML от угроз безопасности. Компания является лидером в области безопасности для ИИ / ML, разрабатывая и поддерживая три инструмента OSS – NB Defense, ModelScan и Rebuff, – которые обнаруживают уязвимости в системах ML и свободно доступны через лицензии Apache 2.0 для специалистов по обработке данных, инженеров ML и профессионалов AppSec.

OSS стала одним из важнейших компонентов, помогающих компаниям быстро внедрять инновации и поддерживать конкурентное преимущество. Она лежит в основе большей части программного обеспечения, используемого организациями в своих приложениях, особенно для приложений ИИ и ML. Хотя OSS предлагает очевидные преимущества, она также создает неотъемлемые риски для безопасности. Хотя были предприняты широкомасштабные усилия по обеспечению безопасности цепочки поставок программного обеспечения, основное внимание уделялось безопасности ИИ / ML. Компания Protect AI стремится помогать строить более безопасный мир на базе ИИ и при этом предприняла значительные шаги по обеспечению безопасности цепочки поставок ИИ / ОД.

В дополнение к недавнему анонсу Protect AI’s Huntr, первой в мире платформы для поиска ошибок в ИИ / ML, ориентированной на устранение уязвимостей ИИ / ML в операционных системах, компания также активно содействует этим усилиям, разрабатывая, поддерживая и выпуская первые в своем роде инструменты OSS, ориентированные на безопасность ИИ / ML. К этим инструментам относятся NB Defense для защиты ноутбуков Jupyter, ModelScan для обнаружения артефактов моделей и Rebuff для атак с использованием LLM Prompt Injection. Все три могут использоваться как автономные инструменты или могут быть интегрированы в платформу Protect AI, которая обеспечивает наглядность, проверяемость и безопасность систем ML. Платформа Protect AI впервые в отрасли знакомит с поверхностью атаки ML, создавая спецификацию ML (MLBOM), которая помогает организациям обнаруживать уникальные угрозы безопасности ML и устранять уязвимости.

“Большинство организаций не знают, с чего начать, когда дело доходит до защиты своих систем ML и приложений ИИ”, – сказал Иэн Свенсон, генеральный директор Protect AI. “Делая NB Defense, Rebuff и ModelScan доступными для всех в качестве разрешенных проектов с открытым исходным кодом, наша цель – повысить осведомленность о необходимости сделать ИИ более безопасным и предоставить инструменты, которые организации могут немедленно начать использовать для защиты своих приложений ИИ / ML”.

NB Defense – Jupyter Notebooks Security

Записные книжки Jupyter – это интерактивное веб-приложение для создания вычислительных документов и обмена ими, а также отправная точка для экспериментов с моделями для большинства специалистов по обработке данных. Ноутбуки позволяют быстро писать и выполнять код, могут использовать обширную экосистему проектов с открытым исходным кодом, ориентированных на ML, упрощают интерактивное изучение данных или моделей и предоставляют возможности для совместного использования результатов работы с коллегами. Создавая вектор угроз для злоумышленников, записные книжки часто можно найти в реальных средах с доступом к конфиденциальным данным. Поскольку на рынке нет коммерческих предложений по обеспечению безопасности, которые могли бы сканировать ноутбук на наличие угроз, Protect AI создала NB Defense в качестве первого решения для обеспечения безопасности ноутбуков Jupyter.

NB Defense – это расширение JupyterLab, а также инструмент командной строки, который сканирует ноутбуки и / или проекты в поисках проблем. Он обнаруживает утечку учетных данных, раскрытие личной информации (PII), проблемы с лицензированием и уязвимости в системе безопасности. NB Defense улучшает уровень безопасности методов обработки данных и помогает защитить данные и активы ОД. Перейдите по этой ссылке, чтобы начать работу с NB Defense.

ModelScan – сканер безопасности модели ML

Модели ML распространяются через Интернет между командами и используются для принятия важных решений. Однако они не проверяются на наличие уязвимостей в коде. Процесс экспорта модели называется сериализацией и включает упаковку ее в определенные файлы для использования другими. При атаке с сериализацией модели в содержимое модели во время сериализации добавляется вредоносный код — современная версия троянского коня. Они создают уязвимости, которые могут быть использованы для выполнения нескольких типов атак. Первый – это кража учетных данных, которая позволяет записывать и считывать данные в другие системы среды. Второй – вывод о краже данных, которая проникает в запросы к модели. Третий – это отравление модели, которое изменяет результаты самой модели, и, наконец, атака с повышением привилегий, которая загружает модель для атаки на другие ресурсы, такие как данные обучения.

ModelScan используется для определения того, содержат ли модели небезопасный код, и поддерживает несколько форматов, включая H5, Pickle и SavedModel. Это защищает пользователей при использовании PyTorch, TensorFlow, Keras, Sklearn, XGBoost и других в будущем. Перейдите по этой ссылке, чтобы начать работу с ModelScan.

Rebuff – обнаружение атак с использованием LLM Prompt Injection

В июле 2023 года Protect AI приобрела и начала поддерживать проект Rebuff, чтобы помочь удовлетворить потребность в дополнительном уровне защиты при использовании LLMS. Атаки с быстрым внедрением (PI) – это вредоносные входные данные, нацеленные на приложения, построенные на моделях большого языка (LLM), и могут манипулировать выходными данными моделей, раскрывать конфиденциальные данные и позволять злоумышленникам совершать несанкционированные действия. Rebuff – это самозатвердевающая платформа быстрого обнаружения внедрений с открытым исходным кодом, которая помогает защитить приложения ИИ от атак PI. Решение использует четыре уровня защиты для защиты приложений LLM. Во-первых, эвристика для фильтрации потенциально вредоносных входных данных до того, как они попадут в модель. Во-вторых, специализированный LLM для анализа входящих запросов и выявления потенциальных атак. В-третьих, база данных известных атак, позволяющая ИТ-отделу распознавать и предотвращать подобные атаки в будущем. В-четвертых, токены canary, которые изменяют запросы для обнаружения утечек, что позволяет платформе сохранять новые вложения для идентифицированного вредоносного запроса обратно в базу данных vector для предотвращения будущих атак. Перейдите по этой ссылке, чтобы начать работу с Rebuff.

О защите ИИ

Защита ИИ обеспечивает более безопасные приложения ИИ, предоставляя организациям возможность видеть, знать и управлять своими средами ML. Платформа Protect AI обеспечивает видимость поверхности атаки ML, создавая спецификацию ML (MLBOM), обнаруживает уникальные угрозы безопасности ML и устраняет уязвимости. Основанная лидерами в области ИИ из Amazon и Oracle, программа Protect AI финансируется Acrew Capital, boldstart ventures, Evolution Equity Partners, Knollwood Capital, Pelion Ventures и Salesforce Ventures. Штаб-квартира компании находится в Сиэтле, офисы – в Далласе и Роли.