Интерактивный маршрут от реестра ИИ-систем и модели угроз до защитных ограничений, контроля агентов, наблюдения и реагирования. Для руководителей, команд разработки, ИБ и владельцев данных.
OWASP: топ-10 рисков LLM и агентовNIST AI RMF · MITRE ATLASАрхитектура и точки уязвимостиАктуализировано 12.08.2026
Цена небезопасного ИИ
Это уже произошло
Только случаи, где организация сама внедрила или использовала ИИ без достаточной проверки и контроля. Каждый риск ниже напрямую закрывается мерами из этого путеводителя.
2024 · КанадаC$812,02 по решению
Чат-бот Air Canada сообщил неверные правила
Корпоративный чат-бот утверждал, что льготный тариф в связи с утратой близкого можно оформить после перелёта. Клиент доверился ответу, но компания отказала в возврате.
Проблема
Ответ пользовательской ИИ-системы расходился с официальной политикой, а компания не обеспечила его точность.
Последствие
Трибунал признал небрежное введение в заблуждение и обязал Air Canada выплатить C$812,02, включая C$650,88 ущерба.
Что снижает риск
Владелец системы, доверенная база знаний, тестирование ответов, мониторинг и перевод спорных запросов человеку.
Система распознавания лиц выдала тысячи ложных совпадений. По данным FTC, охрана досматривала, выдворяла и публично обвиняла людей; непропорционально часто страдали темнокожие, азиатские и латиноамериканские покупатели.
Проблема
Некачественные изображения, отсутствие проверок точности, мониторинга и процедуры для пострадавших.
Последствие
Запрет на применение технологии наблюдения на пять лет и обязательная программа управления рисками.
Что снижает риск
Оценка качества и смещений до запуска, пороги ошибок, подтверждение человеком, журнал решений и процедура обжалования.
По иску EEOC программное обеспечение iTutorGroup автоматически отклоняло женщин от 55 лет и мужчин от 60 лет. Было отклонено более 200 квалифицированных кандидатов.
Проблема
Дискриминационное правило автоматизированного отбора без эффективного контроля.
Последствие
Урегулирование на $365 000, пересмотр антидискриминационной политики и обучение сотрудников.
Что снижает риск
Владелец решения, проверка данных и правил на дискриминацию, измерение по группам, проверка человеком и регулярный аудит.
В деле Mata v. Avianca юристы подали документ с несуществующими решениями, вымышленными цитатами и ссылками, созданными ИИ, а затем не раскрыли ошибку вовремя.
Проблема
Генеративный ответ использовали в профессиональном процессе как юридический источник без проверки первичных материалов.
Последствие
Судебные санкции $5 000, уведомление затронутых судей и репутационный ущерб.
Что снижает риск
Политика допустимого применения, проверка фактов по первоисточникам, обязательная проверка человеком и аудит использования.
Суммы и меры приведены в валюте и формулировках источников. Урегулирование и предписания регуляторов не тождественны признанию всех заявленных обвинений судом.
Защищайте не модель. Защищайте систему.
Модель можно обмануть. Поэтому безопасность строится так, чтобы даже ошибочный или атакованный ИИ не получил возможности причинить критический ущерб.
Единичный сканер, межсетевой экран или защитное ограничение закрывает только часть поверхности. Нужны управление, инженерные барьеры, проверка перед выпуском и наблюдаемая эксплуатация.
Практическая последовательность: управление → модель угроз → безопасные данные и цепочка поставок → проверка → защитный шлюз и ограничения → изолированная среда и подтверждение человеком → наблюдение и откат.
Маршрут внедрения
Пять контрольных ворот
Выберите роль: подсветка покажет, где именно вы несёте основную ответственность. Каждый этап завершается проверяемым артефактом, а не обещанием.
01 · Идея и закупка
Определить цену ошибки
Владелец, цель, пользователи, данные, автономность, критичность, поставщик и запрещённые сценарии.
Контрольные доказательстваКарточка сценария · уровень риска · матрица ответственности · решение о размещении
02 · Данные и RAG
Сделать знания доверенными
Происхождение данных, лицензии, маскирование, разграничение доступа при поиске, версии корпуса и тесты отравления/внедрения инструкций.
Контрольные доказательстваВерсия базы знаний · тест доступа · отчёт проверки отравления
03 · Разработка
Ограничить возможности
Модель угроз, перечень компонентов ИИ (AI-BOM), отдельные идентификаторы, минимальные привилегии, схемы инструментов, изолированная среда и лимиты бюджета.
Контрольные доказательстваМодель угроз · перечень компонентов SBOM/AI-BOM · матрица прав
04 · Тестирование
Проверить отказоустойчивость
Проверка атакующей командой, многоязычные и скрытые внедрения инструкций, межклиентский доступ и RAG, злоупотребление инструментами, отказ в обслуживании, подтверждение человеком и учение по откату.
Журнал аудита с учётом конфиденциальности, SIEM, дрейф, всплески расходов, аварийное отключение, непрерывные проверки атакующей командой и планы реагирования.
Контрольные доказательстваЖурналы · оповещения · план реагирования · учение
Каталог рисков
Что может пойти не так
OWASP — удобный проверочный список, но не полная модель угроз. Используйте его вместе с инвентаризацией активов, архитектурой и фактическими путями атаки.
LLM01вход
Внедрение инструкций
Прямая или скрытая инструкция меняет поведение системы и заставляет игнорировать доверенный контекст.
Контроль: разделение данных и инструкций, недоверенный контент, ограничители действий, изолированная среда, подтверждение человеком.
LLM02 · LLM08данные
Утечка и скрытый контекст
ПДн, тайны, системные правила, память или контекст становятся доступны не тому пользователю.
Контроль: минимизация данных, маскирование, изоляция клиентов, разграничение доступа, обезличенные журналы.
LLM04 · LLM05цепочка поставок
Компрометация поставки
Вредоносная модель, адаптер, набор данных, библиотека или отравление меняют поведение системы.
Контроль: происхождение, подписи и контрольные суммы, AI-BOM, доверенный реестр, оценка и откат.
LLM06 · LLM10выход
Ресурсы и небезопасный вывод
Отказ в обслуживании, неконтролируемые циклы либо сырой вывод LLM превращается в команду оболочки, SQL, HTML или программного интерфейса.
Контроль: квоты, тайм-аут, автоматическое прерывание, строгие схемы, кодирование и проверка в последующих системах.
LLM03 · LLM07решения
Избыточная автономность и ошибки
ИИ действует шире полномочий или уверенно выдаёт недостоверный результат, которому доверяет человек.
Контроль: минимальные привилегии, проверка фактов, правила уверенности, контекстное подтверждение человеком.
LLM09RAG
Уязвимости векторного поиска
Манипуляции поиском, межклиентская утечка и обратное восстановление данных раскрывают или подменяют знания.
Контроль: разграничение доступа при поиске, доверенная загрузка, версии индекса, повторное ранжирование и выявление аномалий.
ASI01–03агент
Цель, инструменты и полномочия
Подмена цели, опасное использование инструментов и злоупотребление идентификаторами превращают текст в действие.
Контроль: отдельный идентификатор каждого инструмента, список разрешённого, область полномочий, проверка параметров и подтверждение.
ASI04–06агент
Цепочка поставок, выполнение кода и память
Вредоносный MCP-инструмент, неожиданное выполнение кода или отравление памяти сохраняют атаку между сеансами.
Контроль: фиксация версий и подписи, изолированная среда, запрет исходящих соединений, происхождение записей памяти и сброс.
ASI07–08многоагентная система
Межагентный каскад
Недоверенные сообщения, выдача себя за другого агента и ошибочные делегации распространяют ущерб по системе.
Контроль: взаимная аутентификация и идентификаторы, зоны доверия, ограниченное делегирование, автоматическое прерывание.
ASI09–10человек
Избыточное доверие и несанкционированный агент
Человек делегирует слишком много, интерфейс скрывает последствия, агент меняет цель или избегает контроля.
Контроль: прозрачность действия, понятный интерфейс оператора, аварийное отключение, неизменяемые правила и аудит.
Архитектура и точки атаки
ИИ-агенты: поверхность атак
Эталонная топология из предоставленного draw.io: внешние источники, агентная платформа, целевые системы и действия, сквозные меры защиты и точки проявления рисков OWASP 2026.
Архитектурная схемаНажмите на узел или код угрозы · на телефоне прокручивайте →
Выберите элемент схемы мышью, касанием или клавишей Tab — пояснение появится ниже.
Эталонная схема импортирована из предоставленного draw.io без изменения геометрии, узлов и связей. Коды L01–L10 относятся к модельному и прикладному слою, A01–A10 — к автономным агентам. Все узлы и коды интерактивны.
Эшелонированная защита
Восемь слоёв защиты
Шлюз ИИ полезен, но не заменяет безопасность данных, эксплуатацию моделей, управление доступом, изолированную среду, контроль действий и управление риском.
01 · Управление
Реестр и политика
владелец и уровень риска
запрещённые сценарии применения
проверка поставщика
02 · Данные
Данные и конфиденциальность
происхождение и лицензии
Предотвращение утечек / маскирование
разграничение доступа и изоляция клиентов
03 · Поставка
Модель и компоненты
AI-BOM и подписи
доверенные реестры
управление версиями и откат
04 · Шлюз
Вход и выход
аутентификация, лимиты, маршрутизация
правила входа и выхода
аудит и маскирование
05 · Агент
Инструменты и идентификаторы
минимальные привилегии
список разрешённого и схемы
краткоживущие секреты
06 · Исполнение
Изолированная среда и бюджет
исходящие соединения запрещены по умолчанию
лимиты шагов, токенов и стоимости
тайм-аут и автоматическое прерывание
07 · Проверка
Оценка и проверка атакующей командой
доля успешных атак
ложные срабатывания и пропуски, задержка, стоимость
многоязычные и мультимодальные сценарии
08 · Эксплуатация
SIEM и реагирование
дрейф и аномальные инструменты
аварийное отключение
расследование и извлечённые уроки
Карта стандартов
Что для чего использовать
Сначала — российские отраслевые и инженерные источники, затем международные методики управления, моделирования угроз и безопасной разработки.
