Комплексный анализ защищённости
приложений, использующих AI

Внедрение генеративного ИИ и LLM-агентов вносит фундаментальные изменения в архитектуру приложений, которые требуют принципиально нового подхода к тестированию безопасности. Традиционные методы и инструменты не показывают ожидаемую эффективность для AI-систем. Мы находим то, что другие пропускают.

Обсудить проект Подробнее об услуге

Почему AI-системам нужен специализированный анализ

AI-компоненты отличаются от классических приложений по трём ключевым характеристикам, каждая из которых создаёт новые вызовы для безопасности.

Вероятностное поведение

LLM генерируют разные ответы на одинаковые запросы — выход недетерминирован и может меняться для одинаковых входных данных. Это делает типичные детерминированные тесты неприменимыми и требует адаптивных методик проверки, учитывающих вероятностную природу AI.

Специфические классы угроз

Prompt Injection, Jailbreak, раскрытие данных, ошибки интеграции и избыточные полномочия агентов — угрозы специфичны для систем с AI и требуют специализированных методик, выходящих за рамки классического OWASP Top 10 для веб-приложений.

Расширенная поверхность атаки

AI-агент становится самостоятельной исполнительной единицей со своими привилегиями. Дополнительно формируются системы из нескольких агентов — каждый новый инструмент может стать точкой воздействия для злоумышленника, каждый агент с подключением к внутренним службам — точкой повышения привилегий. Значительно расширяется поверхность атаки, которая не может быть покрыта классическими сканерами уязвимостей и защищена WAF.

Реальные угрозы для AI-приложений

Каждая из этих угроз может привести к компрометации данных, нарушению работы бизнеса или репутационным потерям.

Prompt Injection

Злоумышленники могут перехватить управление AI-агентом через специально сконструированные запросы, получив доступ к данным и действиям от имени системы.

Утечка конфиденциальных данных

LLM может раскрыть в ответах чувствительную информацию — данные пользователей, внутренние документы, API-ключи или детали инфраструктуры, включая содержимое базы данных для RAG.

Обход бизнес-ограничений

Контекст агента может не учитывать различные особенности заложенной бизнес-логики, чем может воспользоваться злоумышленник для обхода ограничений даже без использования специализированных полезных нагрузок (например, для атаки через prompt injection).

Избыточные привилегии агентов

AI-агенты с чрезмерными правами доступа к инструментам и сервисам создают возможности для масштабных атак, включая использование интегрированных инструментов для получения доступа во внутреннюю инфраструктуру, проведения спам-атак и фишинга.

Чрезмерное потребление ресурсов

Целенаправленная перегрузка ресурсов системы через AI-компоненты.

Кому необходим анализ AI-систем

Финтех и банки

AI-чатботы, скоринг, антифрод — защита от манипуляций и утечек данных клиентов

SaaS и продуктовые компании

AI-ассистенты, генерация контента, автоматизация — защита от злоупотреблений функциональностью

E-commerce

AI-рекомендации, чатботы поддержки — предотвращение утечек клиентских данных

Здравоохранение

AI-диагностика, обработка медицинских данных — строжайшие требования к конфиденциальности

Государственные структуры

AI-системы обработки обращений, аналитика — защита особо ценной информации

Телеком и промышленность

AI для управления сетями и инфраструктурой — безопасность критических систем

Что мы анализируем

Наша методика охватывает все уровни приложений, использующих AI — от пользовательского интерфейса до внутренних интеграций агентов. Приведённые ниже списки проверок являются ориентировочными, и конкретный состав работ определяется в зависимости от объекта анализа. Мы также проводим аудит классических ML-систем, беря за основу методику OWASP Top 10 for Machine Learning и включая в рассмотрение все этапы жизненного цикла - от формирования данных до эксплуатации в продуктовой среде

Архитектура

Анализ архитектуры и поверхности атаки

Комплексное исследование от пользовательского интерфейса и API до конкретных агентов в мультиагентных системах, включая LLM, интеграции и защитные механизмы.

  • Определение компонентов агента и входных точек для прямой и косвенной инъекции промпта
  • Понимание бизнес-логики агента: целей, ограничений и используемых средств
  • Анализ потоков данных между пользователями, LLM и инструментами
  • Выявление реализованных защитных механизмов
  • Идентификация критических путей в мультиагентных системах
OWASP LLM

Анализ на специфические уязвимости

Тестирование в соответствии с рекомендациями и методиками OWASP для AI-систем, включая OWASP Top 10 for LLM Applications, OWASP Top 10 for Agentic Applications, OWASP MCP Top 10, а также MITRE ATLAS и Google SAIF.

  • Prompt Injection (прямой и косвенный)
  • Небезопасная обработка выходных данных
  • Утечка конфиденциальных данных
  • Чрезмерное потребление ресурсов и т.д.
Интеграции

Анализ подключённых интеграций и прав доступа

Проверка подключённых интеграций (ресурсы, инструменты, RAG-системы, другие агенты), а также привилегий, которыми обладают агенты.

  • Аудит прав доступа к инструментам и API, включая OWASP API Top 10
  • Поиск известных классов веб-уязвимостей API и возможности формирования полезных нагрузок с помощью LLM
  • Анализ RAG-систем на предмет специфических уязвимостей
  • Проверка механизмов авторизации при вызове внешних сервисов
  • Анализ возможности горизонтальной и вертикальной эскалации привилегий
  • Оценка изоляции между пользовательскими сессиями
  • Проверка возможности извлечения системных промптов и конфигурации
  • Анализ архитектуры и иерархии среди агентов (при наличии мультиагентной системы)
  • Попытка эксплуатации цепочек доверия между агентами (при наличии мультиагентной системы)
Защитные меры

Анализ реализованных защитных механизмов

Анализ компонентов AI-системы на скрытые возможности, потенциально опасные действия или другие чрезмерные полномочия.

  • Jailbreak и обход фильтров контента
  • Анализ ограничений агентов
  • Формирование и тестирование сценариев злоупотребления агентом
  • Тестирование сценариев по обходу ограничений бизнес-логики, в том числе состоящих из цепочек запросов
Бизнес-логика

Злоупотребление GenAI-функциональностью

Поиск возможностей злоупотребления реализованной AI-функциональностью с целью нарушения бизнес-логики приложения.

  • Манипуляция поведением агентов за счёт использования особенностей и недостатков системы, обнаруженных на предыдущих этапах анализа
  • Эксплуатация логических ошибок в цепочках агентов

Этапы проведения анализа

Структурированный процесс, обеспечивающий полноту анализа и прозрачность на каждом шаге.

01

Определение границ

Согласование объёма работ, идентификация AI-компонентов, анализ документации и архитектуры системы.

02

Анализ архитектуры

Определение поверхности атаки: LLM-модели, агенты, интеграции, API, пользовательские интерфейсы и потоки данных.

03

Анализ реализации

Активный поиск уязвимостей в соответствии с рекомендациями и методиками OWASP для AI-систем, MITRE ATLAS и Google SAIF, тестирование интеграций, проверка эффективности защиты.

04

Демонстрация уязвимостей и анализ рисков

Демонстрация реальных последствий найденных уязвимостей, оценка критичности и влияния на бизнес.

05

Отчёт и рекомендации

Подготовка подробного отчёта с техническими деталями, оценками критичности и конкретными рекомендациями по устранению.

Что вы получаете

Подробный отчёт по идентифицированным рискам, найденным недостаткам и их критичности, а также рекомендации по устранению недостатков и повышению общего уровня защищённости.

Резюме для руководства

Краткий обзор результатов, ключевых рисков и общая оценка уровня защищённости AI-системы — для принятия принципиальных высокоуровневых решений.

Технический отчёт

Детальное описание каждой найденной уязвимости: первопричина уязвимости, шаги для её демонстрации, доказательства эксплуатации (PoC), оценка критичности с учётом CVSS и специфики AI-уязвимостей.

Рекомендации по устранению

Конкретные и практичные инструкции для разработчиков и DevOps по исправлению каждой уязвимости и повышению общего уровня защиты.

✓Повторный тест после исправлений
✓Консультации по устранению найденных недостатков

Почему СолидЛаб

Наша группа компаний более 15 лет на рынке информационной безопасности. Команда ведёт исследования на факультете ВМК МГУ, результаты представлены на ведущих конференциях — OWASP AppSec, DEF CON, Black Hat, Hack in the Box, Positive Hack Days, OffZone, ZeroNights.

Исследовательская экспертиза

Ключевые сотрудники занимаются исследованиями безопасности, публикуются и выступают на ведущих конференциях.

Подтверждённые результаты

Множество опубликованных CVE в продуктах Apple, Google Chrome, VMware vCenter, MySQL2. Более 100 принятых отчётов в программах Bug Bounty ведущих мировых компаний.

Собственные технологии

Собственные инструменты и экспертиза позволяют анализировать сложные приложения и API с интеллектуальной валидацией результатов.

Полный спектр услуг

Помимо тестирования на проникновение AI-систем, предлагаем: SolidWall AI Security Gateway, SolidPoint DAST, SolidWall WAF, анализ безопасности IT-инфраструктуры, анализ защищённости мобильных приложений, обучение безопасной разработке, защиту от DDoS и бот-атак и другие продукты и решения.

Конфиденциальность

Перед началом работ подписывается NDA. Строгое соблюдение всех пунктов соглашения. Безопасное удаление всей информации по завершении проекта.

Признание индустрии

Благодарности от Alibaba, Amazon, Apple, Google, IBM, PlayStation, Mail.ru и других компаний за ответственное раскрытие уязвимостей.

Критические уязвимости, выявленные нашей командой

Apple

CVE-2025-24192

Google Chrome

CVE-2023-5480 · CVE-2024-10229 · CVE-2025-4664

MySQL2 для Node.js

CVE-2024-21507 · CVE-2024-21508 · CVE-2024-21509

Вопросы и ответы

Чем анализ AI-систем отличается от обычного анализа веб-приложений или теста на проникновение?

Анализ AI-систем требует учёта специфики недетерминированности работы компонентов системы: для одних и тех же входных данных LLM может формировать разные ответы. Анализ AI-систем может включать поиск известных классов уязвимостей веб-приложений (межсайтовый скриптинг (XSS), SQL-инъекции и пр.), но в первую очередь направлен на поиск специфических уязвимостей, проверку механизмов ограничения LLM, анализ прав AI-агентов и поиск способов обхода бизнес-логики через AI-компоненты. Это требует особой экспертизы и актуальных для предметной области методик.

Какие типы AI-систем вы тестируете?

Мы анализируем широкий спектр систем: веб-приложения с интеграцией LLM (ChatGPT, Claude, Gemini и др.), мультиагентные системы, RAG-системы, AI-чатботы и ассистенты, системы автоматизации на базе AI-агентов, а также кастомные решения на базе открытых моделей.

Нужен ли доступ к исходному коду?

Анализ возможен в режимах Black Box, Grey Box и White Box. Для максимальной полноты рекомендуем Grey/White Box. Однако даже в режиме Black Box мы выявляем критичные уязвимости на уровне пользовательского интерфейса и внешних API.

Как обеспечивается безопасность наших данных?

Перед началом работ подписывается NDA. Мы гарантируем полную защиту переданных данных, строгое соблюдение соглашения о конфиденциальности и безопасное удаление всей информации по завершении проекта. Тестирование может проводиться в изолированной среде.

Что происходит после получения отчёта?

Мы предоставляем консультации по устранению найденных уязвимостей и проводим повторный тест после внесения исправлений, чтобы подтвердить их эффективность. При необходимости возможно консультационное сопровождение процесса исправления найденных недостатков.

Найдите уязвимости в вашем AI-приложении раньше злоумышленников

Напишите нам, чтобы обсудить анализ безопасности вашей системы с AI. Мы оценим объём работ и предложим оптимальный план тестирования.

Обсудить проект