Пентест AI-компонентов: prompt injection

Разбор новинки простыми словами. что это, кому нужно и брать ли.

AI-помощник с сервисной учёткой становится обходным путём к данным, проверять надо не модель, а её права, источники и точки подключения инструментов.

Связанные услуги: Чат-бот для бизнеса, AI Boost Team, стать клиентом.

Помощник с ключами от всего

В корпоративный портал добавили умный поиск. В CRM появился помощник. Служба поддержки начала закрывать обращения автоматически. Сотрудники видят удобство, а ИБ видит другое. Между пользователем и приложением встала языковая модель, которая не просто обрабатывает текст, а интерпретирует его содержимое.

Теперь между пользователем и приложением появилась языковая модель, которая не просто обрабатывает полученную информацию, но и интерпретирует ее содержимое.

Разбор уязвимостей AI-компонентов опубликовали специалисты АБП2Б. Автор материала, тимлид компании Юрий Гришаев, сертифицированный специалист OSCP+ и участник Топ75 Standoff 365 по найденным уязвимостям, разбирает сценарии атак и то, на что смотреть CISO. Читателю это занимает около 13 минут, охват публикации составил 5.9K. Нам важнее не цифры, а вывод, который ломает привычную схему защиты.

Три компонента, три уровня риска

Под AI-компонентом скрываются совершенно разные решения, и риск зависит от возможностей, а не от названия. Чат-бот получает сообщение и формирует ответ. Если у него нет подключений и доступа к закрытой информации, манипуляции с ответами ограничены самим ботом. RAG добавляет поиск по внешним источникам. Сотрудник спрашивает про внутренний регламент, система находит документ в базе знаний, передает содержимое модели, та формулирует ответ. Здесь уже появляются данные, недоступные части пользователей. AI-агент идет дальше и выполняет действия через инструменты. Создает задачу в CRM, меняет запись в календаре, готовит письмо, обращается к внутреннему API.

Возможности часто комбинируются. Один агент одновременно работает с документами, читает инструкции и выполняет операции. Отсюда практическое правило для оценки. Полезнее выяснить, какие данные доступны AI и что ему разрешено делать, чем сравнивать языковые модели между собой. Один и тот же AI может обслуживать поиск по открытому справочнику или работать с инфраструктурой, где цена ошибки совсем другая.

Утечка через RAG, когда авторизация исправна

Классическая ошибка выглядит так. Помощник ищет информацию во внутренних документах, поиск работает от сервисной учетной записи с широкими правами. Сотрудник не имеет доступа к финансовой отчетности, при прямом обращении к файлу портал возвращает отказ, авторизация хранилища работает корректно. Но пользователь получает содержимое через ответ модели.

Пользователь не может открыть файл самостоятельно, но способен узнать его содержимое через ответ AI.

На пентесте этого не поймаешь проверкой обычного API. Нужно выяснить, какие файлы способен найти RAG-компонент и проверяются ли права пользователя до передачи информации модели. Иначе помощник становится обходным путем к данным, которые при прямом обращении недоступны. Права модели, а не права человека, и есть точка контроля.

Prompt injection приходит через данные

Второй класс атак ломает логику доставки. Вместе с полезной информацией модель получает любой текст из найденного документа, и среди него могут быть инструкции, не имеющие отношения к запросу. Злоумышленник меняет один документ в базе знаний и добавляет фразу, которую человек прочтет как мусор, а модель может воспринять как команду. Это prompt injection, внедрение инструкций через обрабатываемые данные.

Ключевая деталь. Атакующему не нужно обращаться к AI напрямую. Достаточно изменить то, что помощник прочитает сам. Это документ, письмо, веб-страница или ответ внешнего сервиса. В классическом веб-пентесте ищут ввод в формах, параметрах запросов, загружаемых файлах. Здесь контролируемый текст лежит далеко от интерфейса, но через промежуточные компоненты попадает в контекст модели. При этом успешный injection еще не дает доступ к закрытым данным. Реальные возможности зависят от подключенных источников, настроек доступа и логики приложения.

XSS, где AI звено цепочки

Третий сюжет старый, но с новым посредником. Ответ модели содержит HTML или JS, интерфейс вставляет его на страницу без обработки, и AI становится промежуточным звеном XSS-цепочки. Модель не злая, она просто передала текст дальше. Вывод нельзя считать доверенным даже в закрытом контуре.

Даже если модель работает в закрытой корпоративной инфраструктуре, ее вывод нельзя автоматически считать доверенным.

Факт и что он меняет

Брать или подождать

Брать, но не модель, а её окружение. Прежде чем запускать помощника, выпишите три вещи. Какие данные он читает, с какими правами ищет и какие инструменты может дергать. Если ответ уходит на страницу без обработки, это XSS в перспективе. Если поиск читает всё от сервисной учётки, это утечка в перспективе. Если в контекст попадает чужой текст из базы знаний, это injection в перспективе. Проверяйте не умность модели, а её ключи, источники и точки подключения. Иначе удобный поиск завтра станет самым коротким путем к закрытым файлам.

Артём Волков, репортёр.