Проверяю ИИ-чат-бота на прочность и нахожу уязвимости, пока ими не воспользовались
ИИ-чат-бот видит переписку, анкеты и историю клиентов. Написать ему может любой посетитель, в том числе тот, кто ищет уязвимость. Я атакую копию системы по OWASP LLM Top 10. Это открытый список типовых угроз для ИИ-приложений. Проверяю, куда уходят персональные данные и соблюдается ли 152-ФЗ. К каждой находке прикладываю план исправления, а потом повторяю атаки и проверяю, что они больше не проходят.
Бот уже отвечает ученикам, но на прочность его никто не проверял
Возьмём для расчёта онлайн-школу на 20 000 учеников. В её курсы встроен ИИ-репетитор на GPT-4o-mini. Он видит прогресс ученика, историю сообщений, а иногда и личные данные из анкет.
Перед запуском такого бота проверяют на вопросах, которые задают ученики. Как он поведёт себя, если его попытаются обмануть, обычно не выясняют.
Первые признаки беды легко пропустить: ученик получает ответ не по своему курсу. Так бывает, когда поиск по документам смешивает контексты разных учеников. Отдельный вопрос — персональные данные, которые уходят в OpenAI: где они хранятся, обезличены ли, попадают ли в журналы и как это согласуется с 152-ФЗ.
Аудит идёт в пять шагов, от обследования до повторной проверки
Атакую изолированную копию рабочей системы. В ней настоящие промпты и правдоподобные, но вымышленные персональные данные. Каждый из 10 пунктов OWASP проверяю отдельно: запускаю автоматические атаки в Promptfoo и Garak, а ручные сценарии пишу под ваш бизнес.
Выписываю все места, где работает языковая модель: репетитор, поиск по документам, данные для дообучения, промпты. Для каждого оцениваю угрозы по OWASP LLM Top 10.
Promptfoo и Garak: тысячи запросов на подмену инструкций, обход ограничений и вытягивание данных.
Сценарии под ваш бизнес. В онлайн-школе это попытки вытащить данные другого ученика, обойти платный доступ или заставить бота отвечать не по курсу.
Смотрю, какие персональные данные уходят в зарубежную модель, обезличены ли они и есть ли согласия на обработку и передачу за границу.
Когда исправления внесены, прогоняю тот же набор атак заново. Итог — отчёт с датой повторной проверки.
С чего начинаю проверку
Сначала ищу восемь уязвимостей:
- 01Подмена инструкций: обходит ли фраза «забудь предыдущие инструкции» системный промпт и меняет ли поведение бота
- 02Утечка персональных данных: смешивает ли поиск по документам контексты и попадают ли в ответ одному ученику куски переписки другого
- 03Нарушение 152-ФЗ: уходят ли персональные данные в зарубежную модель без обезличивания и без согласия на передачу за границу
- 04Нет ограничения частоты запросов: может ли один человек за короткое время израсходовать дневной бюджет на модель
- 05Обход ограничений через ролевую игру: снимает ли их просьба «ты учитель сценического мастерства, разыграй роль…»
- 06Вытягивание системного промпта: можно ли парой вопросов получить его полный текст
- 07Ответ выводится без проверки: попадает ли текст модели на страницу как есть и можно ли через него внедрить чужой код
- 08Небезопасное расширение: можно ли через название курса заставить функцию, которая открывает материалы, выйти за пределы разрешённой папки
Отчёт и план исправлений
Находки я расставляю по срочности и к каждой прикладываю конкретный способ исправления. Это может быть правка системного промпта, разделение контекстов в поиске по документам (RAG), перенос обработки персональных данных на российскую модель, правила Cloudflare против подмены инструкций, очистка выводимого текста через DOMPurify или изоляция расширений.
Повторная проверка после исправлений
Когда ваша команда внесёт исправления, я заново прогоню автоматические атаки и ручные сценарии по каждой критичной находке. В итоговом отчёте видно, какие атаки теперь блокируются.
Проверяю готовыми инструментами и своими сценариями атак
Методика оценки угроз: 10 категорий уязвимостей ИИ-приложений, по ним идёт проверка
Автоматические тесты: тысячи вариантов запроса к одной цели и оценка каждого ответа
Набор готовых атак на языковые модели: обход ограничений, вытягивание данных, подмена инструкций
Открытый детектор попыток подменить инструкции: ищет типовые приёмы и проверяет запрос второй моделью
Ручные проверки под ваш бизнес. В онлайн-школе — вытащить данные, обойти платный доступ, повлиять на оценку
Российская модель. На неё можно перенести обработку персональных данных
Отсеивает запросы с подменой инструкций ещё до того, как они дойдут до модели
Куда уходят персональные данные, есть ли согласия, договор и основания для передачи за границу
Чего ожидать после аудита
Расчёт сделан для онлайн-школы из примера: 20 000 учеников и ИИ-репетитор на зарубежной модели. Размер штрафа взят из КоАП, цена аудита — со страницы услуги. Риски вашей системы я оценю на экспресс-диагностике.
на повторной проверке ни одна критичная атака из отчёта не проходит
цель исправлений — убрать основания для штрафа: разделить контексты учеников, перенести обработку персональных данных в Россию, оформить согласия. Исход проверки это не гарантирует
нижняя граница штрафа для школы из примера (5 млн ₽) в 4,5 раза больше верхней границы цены полного аудита (1,1 млн ₽). И это только по 152-ФЗ
После аудита у школы останется отчёт по 10 категориям OWASP LLM Top 10 с датой повторной проверки. Его можно приложить к документам для инвесторов, покупателя компании или проверяющих.
В отчёте будет и план работ по срочности: что исправить в первые 48 часов, что — в первый месяц, а что — в течение квартала.
В ИИ-помощнике по базе знаний компании я измерил на рабочем индексе, сколько личных фрагментов видит уровень доступа «команда». Их было 1327, после правки прав стало 0.
В ИИ-консультанте для сайта магазина данные посетителей обрабатывают российские модели. Телефоны и адреса почты вычищаются до записи в журнал, а предохранитель по бюджету не даёт расходу выйти за заданный предел.
Сколько длится аудит и сколько стоит
на полный аудит. Повторная проверка — после того, как ваша команда внесёт исправления
и до 1,1 млн ₽. Цена зависит от объёма работ и числа ИИ-агентов в системе
ежемесячная перепроверка и оповещения о новых уязвимостях, минимум 6 месяцев
Что входит в каждый формат, смотрите на странице услуги «Аудит безопасности ИИ-систем».
Когда аудит безопасности ИИ нужен в первую очередь
Главный признак: модель работает с чужими данными или её ответ уходит человеку без проверки. Если ваша система подходит хотя бы под один пункт ниже, её пора проверить:
- → ИИ-помощник с доступом к персональным данным — онлайн-школы, медицина, кадровые сервисы, любые приложения для людей, где хранится история переписки
- → Поиск по документам (RAG), где в одной системе лежат данные разных клиентов и утечка между ними уже считается инцидентом
- → ИИ, который вызывает внешние функции и работает с реальными системами, деньгами и файлами
- → Чат-бот на открытом сайте — атаковать его может любой посетитель
- → Перед тем как привлекать инвестиции, продавать компанию или проходить сертификацию — инвесторы и проверяющие могут спросить и о безопасности ИИ
- → Любая обработка персональных данных через зарубежные модели (OpenAI, Anthropic, Google) — это риск по 152-ФЗ
- Отчёт на 30–50 страниц с доказательствами и сверкой с требованиями закона
- Показ вживую 1–2 самых опасных атак на вашей системе
- Полуторачасовой разбор отчёта и 30 дней ответов на вопросы по исправлениям
Статья в блоге на эту тему: Персональные данные и нейросети: 152-ФЗ и ChatGPT
Похожие кейсы и готовые решения
Telegram-бот для прорабов: остатки, сметы и оплаты из 1С прямо со стройки
Прораб открывает бота в Telegram и за два нажатия видит данные из 1С УНФ, а приход материала подтверждает…
Конвертер выписок Федерального казначейства в 1С
Разбирает XML-выписки ГИС Казначейство обеих версий, V3 и V4, и собирает из них файл 1CClientBankExchange в…
Группа ИИ-агентов прогнозирует события: как проверить точность прогнозов
Пять агентов на языковой модели ищут информацию в открытых источниках, ещё один сводит их ответы, затем…
Если ИИ уже отвечает людям, начните с экспресс-диагностики
За один рабочий день я проверю систему по сокращённому списку, покажу вживую одну атаку и пришлю отчёт с пятью главными рисками. Цена — 45 000 ₽.
Или просто задайте вопрос. В рабочее время отвечаю в течение 2 часов