Генеративный ИИ: Палка о двух концах для финансовых учреждений

В современном цифровом мире финансовые учреждения (ФУ) сталкиваются как с возможностями, так и с рисками, связанными с Генеративным Искусственным Интеллектом (ГенИИ). Недавний информационный документ, опубликованный в июле 2024 года ведущим финансовым регулятором, проливает свет на киберриски, связанные с ГенИИ, предлагая insights и рекомендации для ФУ по навигации в этом сложном ландшафте.

Рост ГенИИ и его последствия

ГенИИ, примером которого являются инструменты вроде ChatGPT, получил значительное распространение с начала 2023 года. В отличие от традиционного ИИ, который фокусируется на анализе данных и распознавании паттернов, ГенИИ может создавать новый контент в различных форматах, включая текст, изображения, видео и аудио. Хотя эта технология предлагает ФУ потенциальные выгоды в производительности, эффективности и клиентском опыте, она также вводит ряд новых проблем кибербезопасности.

Ключевые угрозы, связанные с ГенИИ

1. Дипфейки и фишинг с использованием ГенИИ

В отчете подчеркивается, как дипфейки – созданные ИИ копии человеческого видео, изображения или аудио – могут повысить эффективность атак социальной инженерии. Недавние инциденты включают:

• Мошенничество на $25 миллионов в Гонконге с использованием дипфейк-видеоконференции.
• Кредитные мошенничества в Гонконге с использованием сгенерированных ИИ изображений, приведшие к $25,000 мошеннических займов.

Для противодействия этим угрозам ФУ рекомендуется внедрять методы обнаружения живости, проводить кампании по повышению осведомленности, включать дополнительную верификацию для высокорисковых транзакций и включать сценарии с дипфейками в планы реагирования на инциденты.

2. Генерация и усовершенствование вредоносного ПО

Инструменты ГенИИ, такие как WormGPT и DarkBard, могут генерировать вредоносные скрипты и разрабатывать коды вредоносного ПО, потенциально позволяя менее технически подкованным злоумышленникам создавать сложное вредоносное ПО. Примеры включают:

• BlackMamba: Полиморфное вредоносное ПО, нацеленное на европейские ФУ.
• DeepLocker: Вредоносное ПО, скрытое с помощью ИИ, которое активируется при определенных условиях.

ФУ рекомендуется принять многоуровневые стратегии киберзащиты, включить инструменты ИИ для обнаружения вредоносного ПО и интегрировать разведку угроз в системы мониторинга логов.

Угрозы, нацеленные на развертывание ГенИИ

1. Утечка данных при развертывании ГенИИ

ФУ сталкиваются с рисками утечки данных, когда сотрудники используют публичные инструменты ГенИИ или через несанкционированные действия инсайдеров. Недавние инциденты включают:

• Уязвимости безопасности в браузерных плагинах ГенИИ, раскрывающие пользовательские данные.
• Ошибка в системе кэширования ChatGPT, раскрывающая личную информацию пользователей.

Для снижения этих рисков ФУ следует установить четкие политики использования, проводить кампании по повышению осведомленности сотрудников, принять подходы безопасности по дизайну при разработке внутренних моделей и внедрить надежные меры предотвращения потери данных.

2. Манипуляция моделью ГенИИ и ее выводами

Злоумышленники могут манипулировать моделями ГенИИ и их выводами через атаки отравления данных на этапах обучения или использования. Хотя в финансовом секторе не было зарегистрировано инцидентов, исследователи продемонстрировали потенциал таких атак в системах медицинской диагностики и ИИ-помощниках кодирования.

ФУ рекомендуется внедрить надлежащее управление моделями и данными, обеспечить надежный контроль доступа, непрерывно отслеживать и валидировать модели ГенИИ, а также включить меры на случай непредвиденных обстоятельств в планы обеспечения непрерывности бизнеса.

Заключение и перспективы на будущее

По мере быстрого развития технологии ГенИИ, ФУ должны оставаться бдительными в отношении развивающихся киберрисков, которые она представляет. В отчете подчеркиваются четыре ключевые области беспокойства: дипфейки и фишинг с использованием ГенИИ, генерация и усовершенствование вредоносного ПО, утечка данных при развертывании ГенИИ, а также манипуляция моделью ГенИИ и ее выводами.

Чтобы безопасно использовать преимущества ГенИИ, ФУ рекомендуется оставаться в курсе лучших отраслевых практик, внедрять надежные меры безопасности и активно участвовать в обмене информацией в финансовом сообществе. Поскольку ландшафт продолжает развиваться, проактивный и совместный подход к кибербезопасности будет иметь решающее значение для ФУ в навигации по вызовам и возможностям, представляемым ГенИИ.