По мере того, как ИИ-инструменты эволюционируют от изолированных чат-ботов к автономным, гиперподключенным системам, они создают обширную новую поверхность атаки. Узнайте, как управлять этим риском, уделяя особое внимание прозрачности, агентности и семантической безопасности, чтобы защитить все более сложную инфраструктуру агентных ИИ-систем вашей организации.
Основные моменты
- Организации перешли от изолированных чат-ботов на базе ИИ к автономным, гиперподключенным агентам, способным выполнять действия и получать доступ к конфиденциальным внутренним хранилищам данных, что приводит к экспоненциальному росту киберрисков.
- Возникает серьезная проблема безопасности, поскольку агентам ИИ часто предоставляются возможности, значительно превышающие их предполагаемые задачи, что создает неоправданно обширную и опасную зону поражения.
- Обеспечение безопасности агентного ИИ требует перехода от реактивного обнаружения нарушений к проактивной стратегии, основанной на управление поверхностью атаки и сосредоточенной на полной видимости, корректировке состояния безопасности и мониторинге семантических векторов атак.
Вот типичная ситуация, с которой сегодня часто сталкиваются организации: команда — будь то финансовый отдел, отдел кадров или отдел маркетинга — настраивает ИИ-агента для выполнения, казалось бы, простой задачи, например, для сбора сведений о задаче и отправки их по электронной почте соответствующим адресатам.
Но так ли безобиден этот ИИ-агент, как кажется? При более внимательном рассмотрении становится очевидным значительный потенциал рисков, связанных с автономным ИИ. Этому, казалось бы, безобидному ИИ-агенту предоставлено право подключаться к хранилищу конфиденциальных данных и выводить эти данные. Безопасно ли это? Был ли он настроен надлежащим образом?
А теперь представьте себе, что этот сценарий повторяется тысячу раз — или даже больше. Процесс запуска автономных ИИ-агентов становится повседневной рутиной, поскольку поставщики ИИ-решений все больше упрощают их настройку. Таким образом, стремясь автоматизировать процессы и повысить производительность, типичная современная организация может иметь в своем распоряжении тысячи автономно работающих ИИ-агентов.
Для специалистов по кибербезопасности широкое распространение ИИ-агентов представляет собой серьезную новую проблему. Как обеспечить безопасность тысяч ИИ-агентов, способных действовать самостоятельно и тесно взаимосвязанных друг с другом, а также с бесчисленными внутренними и внешними системами и хранилищами данных?
В этой статье подробно рассмотрим этот рискованный сценарий и обозначим правильный подход к защите этой новой поверхности атаки, образовавшейся в результате стремительного распространения ИИ-агентов.
Проблема безопасности агентного ИИ имеет три аспекта
Первая волна инструментов ИИ, которые организации начали внедрять еще в 2022 году, в основном представляла собой изолированные чат-боты, которые работали практически без интеграции с другими корпоративными системами. Таким образом, они имели ограниченный доступ к внутренним базам данных или не имели его вовсе и не могли выполнять действия во внутренних системах.
Как многое может измениться за несколько лет. Сегодня организации буквально завалены инструментами ИИ с автономными функциями, потенциал которых в плане киберрисков растет в геометрической прогрессии благодаря трем ключевым факторам: гиперсвязанности, автономности и семантике.
Давайте подробнее рассмотрим, как каждая из этих характеристик инструментов ИИ способствует формированию обширной поверхности атаки, которую должны защищать специалисты по кибербезопасности.
Гиперсвязанность
Вам необходимо проанализировать ландшафт автономных инструментов ИИ в вашей организации и рассматривать его не как набор отдельных ресурсов, а как систему, состоящую из множества взаимосвязанных компонентов.
Некоторые из этих компонентов являются внутренними, а другие — внешними. Некоторые были разработаны собственными силами, а другие — сторонними поставщиками. Некоторые размещены в облаке, другие — на конечных устройствах, а третьи — на платформах искусственного интеллекта.
Специалисты по кибербезопасности должны не только выявлять все эти компоненты ИИ, где бы они ни находились, но и понимать, как они связаны между собой и как взаимодействуют.
Например, в организации может быть установлен ИИ-агент Copilot Studio, предназначенный для обобщения информации, полученной из Интернета. Однако в этой гипотетической конфигурации этот агент также взаимодействует с другим агентом, построенным на базе AWS Bedrock, который обеспечивает выполнение некоторых ваших критически важных процессов в облаке.
Что, если агент Copilot Studio получит косвенную подсказку из Интернета, которая, в свою очередь, откроет злоумышленнику возможность вмешаться в критически важные облачные операции, к которым имеет доступ агент AWS Bedrock? И вот то, что, казалось простым внедрением агентного ИИ, вдруг превратилось в опасную комбинацию с потенциально катастрофическими последствиями.
Кроме того, среда настройки инструментов ИИ становится все более сложной. Это означает, что специалистам по кибербезопасности нельзя ограничиваться лишь проверкой и одобрением продуктов ИИ, таких как Anysphere’s Cursor, Anthropic’s Claude Code или Microsoft’s Copilot, в отрыве от реального контекста.
Как только организация дает добро на использование инструмента искусственного интеллекта, ИТ-отдел приступает к его настройке различными способами и интеграции с внутренними системами, что создает риск неправильной настройки и небезопасных подключений. Задайте себе вопрос: куда отправляется код, сгенерированный инструментом искусственного интеллекта?
Кроме того, знаете ли вы, что такие инструменты, как Claude Code и Cursor, можно настроить на работу в «режиме агента», что позволяет им выполнять команды на конечных устройствах, фактически действуя как полноценные автономные агенты?
Наконец, условия использования этих инструментов искусственного интеллекта быстро и постоянно меняются, поскольку они обрабатывают всё большее количество разнообразных данных, что может сделать их уязвимыми для злонамеренных манипуляций.
Автономность
Вот суровая реальность: мы создаем системы, способные действовать автономно, но обеспечиваем их безопасность так, как будто они к этому не способны. И это проблема, поскольку люди уже практически не участвуют в процессе принятия решений, когда речь идет об ИИ. К тому же системы ИИ — это не детерминированные системы, как традиционное ИТ-оборудование, а вероятностные, а это означает, что их результаты трудно предсказать. Для команд по кибербезопасности это означает кардинальные изменения.
Скорее всего, следующий крупный инцидент в сфере кибербезопасности ИИ, с которым вам придётся столкнуться, будет вызван не взломом, а действием, которое было разрешено выполнить одной из ваших систем ИИ.
Рассмотрим это подробнее. Существует три основных компонента агентства ИИ:
- Цель: Создание ИИ-агента для составления кратких сводок новостей, электронных писем или задач.
- Возможности: Зачастую ИИ-агент способен выполнять определенные действия, выходящие за рамки, необходимые для достижения поставленной цели.
- Сфера воздействия: Это все, что может пойти не так, если возможности ИИ-агента окажутся под угрозой.
Проблема заключается в том, что довольно часто возможности ИИ-агента — то есть задачи, которые он способен выполнять — превосходят те цели, для достижения которых он был создан. Иными словами, большинство ИИ-агентов обладают слишком широкими полномочиями. Этот разрыв между возможностями и целями приводит к чрезмерному росту киберрисков.
Проблема усугубляется тем, что организации склонны доверять ИИ, в результате чего контроль со стороны человека над этими системами, как правило, минимален.
Семантика
Хотя в сфере кибербезопасности традиционно полагаются на точное совпадение данных, чтобы убедиться в том, что система не подвергалась взлому, этот подход не работает в случае с системами искусственного интеллекта, которые опираются на смысл, а не на строгий синтаксис.
Именно поэтому злоумышленнику легко обойти традиционные меры защиты, изменяя входные данные, обрабатываемые инструментом ИИ, с помощью синонимов, опечаток, перефразировок и других подобных лингвистических уловок. Крайне сложно отслеживать этот обширный и постоянно расширяющийся семантический вектор атак и предотвращать отравление моделей, манипуляции с результатами и атаки с использованием подстановки в командной строке.
Другими словами, злоумышленникам больше не нужно обходить средства защиты. Им достаточно обойти их, используя семантические приемы.
Как обеспечить безопасность агентного ИИ?
Исторически сложилось так, что стратегии кибербезопасности были сосредоточены на реактивном обнаружении нарушений и реагировании на них. Однако для защиты ваших ИИ-агентов крайне важно перейти к превентивному, проактивному подходу, основанному на управлении рисками. Таким образом, вы сможете понять динамику работы ИИ-агентов и их возможности во время выполнения, а также устранить ошибки в настройках и уязвимости до того, как злоумышленники воспользуются ими.
Для обеспечения эффективного управления и безопасности агентного ИИ необходимо основывать свою стратегию управления рисками на трех основополагающих принципах:
Видимость
Вам необходимо провести инвентаризацию всех ИИ-агентов в вашей среде, а также их отдельных компонентов, независимо от того, где они находятся — на конечных устройствах, в облаке, на ИИ-платформах или в локальной инфраструктуре.
Но этого недостаточно. Вам также необходимо знать следующее о каждом агенте:
- Данные, на которых он был обучен, база знаний, из которой он черпает информацию, и хранилища данных, к которым он подключен.
- Возможности, которыми он обладает, такие как действия, которые он может выполнять, и протоколы поведения, регулирующие его работу.
- Связи, которые он имеет с другими системами как внутри вашей организации, так и за ее пределами; с другими ИИ-агентами; а также с ИИ-пользователями и пользователями, не использующими ИИ.
- Его намерения, такие как его цели, а также радиус воздействия
Позиция
Вам необходимо понимать, что именно может делать ИИ-агент в рамках более широкой динамической системы, а также в чем его возможности выходят за рамки поставленных целей, чтобы вы могли корректировать круг его полномочий без ущерба для его эффективности.
Предположим, у вас есть несколько ИИ-агентов, которые интегрированы друг с другом и взаимодействуют между собой, и эти агенты могут, например, подключаться к Интернету и к вашей наиболее уязвимой облачной среде. Крайне важно понимать, на что способна эта динамическая мультиагентная система в реальных условиях, чтобы выявить любые потенциально опасные комбинации среди ее компонентов.
Благодаря этим данным вы сможете точно определить меры по устранению уязвимостей в системе безопасности, вызванных опасными комбинациями ИИ.
Обнаружение угроз
Как только вы поймете, на что способен этот динамический кластер из множества агентов, вам необходимо научиться выявлять тревожные сигналы в вашей среде выполнения, чтобы постоянно снижать уязвимость системы.
Заключение
Безопасность ИИ должна быть обеспечена повсеместно в вашей среде, а добиться этого можно путем внедрения платформы управления рисками и соответствующей стратегии.
Вкратце, управление рисками позволяет специалистам по кибербезопасности выявлять все ресурсы в вашей среде — не только системы искусственного интеллекта, но и ИТ-решения, облачные сервисы, системы управления идентификацией и оборудование операционных технологий. На этой основе оно помогает оценивать, расставлять приоритеты и координировать меры по устранению уязвимостей по всей поверхности атаки ИИ, обеспечивая вам контроль над этой новой средой, в которой в вашей инфраструктуре появляются все больше агентов ИИ.
Источник: Mastering agentic AI security through exposure management
