Это самая полезная глава. Если вы технический директор, основатель или руководитель,
который собирается потратить на ИИ заметные деньги, прочитайте хотя бы её. Здесь собраны
неудобные вещи, о которых лучше знать до того, как платить.
1. ИИ-агент не работает сам по себе. Ему
нужна продуманная система вокруг, в которой он только помогает. «Автономные агенты», которые
я видел в работе в 2025–2026 годах, в основном состоят из обычного кода с предсказуемым
поведением: проверка данных, повторные попытки, запасной сценарий, журналы. Обращения
к языковой модели занимают меньшую часть. Если у вас соотношение обратное, это пока демонстрация.
2. Слово «ИИ-агент» размылось.
Сейчас так называют почти всё, что обращается к языковой модели, включая обычную
роботизацию процессов (RPA) и чат-ботов. Gartner относит ИИ-агентов к пику завышенных
ожиданий и в июне 2025 года предсказал, что больше 40% таких проектов отменят к концу
2027 года. Поэтому при выборе смотрите на результаты проверок качества и на структуру расходов.
3. Что действительно важно, когда ИИ работает с живыми пользователями:
- a. Проверки качества (evals). Воспроизводимые тесты на эталонном наборе примеров. Без них вы летите вслепую.
- b. Полные журналы. Каждое
обращение к модели записывается: запрос, ответ, стоимость, время ответа. Иначе не разобраться,
почему агент сегодня сделал глупость.
- c. Потолок расходов. Бывают
атаки, которые нарочно раздувают расход. Без потолка трат счёт за одну ночь может
оказаться больше месячного бюджета.
- d. Закон о персональных данных и требования к КИИ.
Если вы российская компания, посмотрите статью 13.11 КоАП в действующей редакции. За утечку —
от 3 до 15 млн ₽ в зависимости от числа людей в базе, за то, что не сообщили в Роскомнадзор, —
1–3 млн ₽. При повторной утечке — от 1 до 3% выручки, но не меньше 20 млн ₽. Разбор со ссылками
на статьи закона —
в статье о персональных данных и нейросетях.
О запрете иностранных программ важно говорить точно. Его ввёл Указ
Президента № 166 от 30.03.2022, а 187-ФЗ описывает безопасность критической информационной
инфраструктуры (КИИ). С 31 марта 2022 года заказчики по 223-ФЗ покупают иностранные
программы для значимых объектов КИИ только по согласованию с уполномоченным органом.
С 1 января 2025 года органам власти и тем же заказчикам запрещено использовать такие
программы на своих значимых объектах. С апреля 2025 года запрет действует с оговоркой
«если иное не установлено федеральным законом»
(Указ № 166 в редакции от 07.04.2025).
Запрет касается владельца значимого объекта КИИ, всю отрасль он не охватывает. В самом
187-ФЗ обязанность применять на значимых объектах российские программы из реестра появилась
с 1 сентября 2025 года
(Федеральный закон от 07.04.2025 № 58-ФЗ),
а сроки перехода по отраслям Правительство устанавливает отдельными актами. Если ваш объект
под это подпадает, Cursor, Claude и сервисы OpenAI на нём — формальное нарушение. Если нет,
ссылаться на «запрет с 2026 года» не нужно: такой нормы нет.
4. Прочитайте OWASP LLM Top 10 в редакции 2025 года.
Это общепринятый перечень главных рисков для систем на языковых моделях. Если ваш ИИ работает
с живыми пользователями, а последнюю редакцию вы не читали, отложите дела и прочитайте.
Подмена инструкций (LLM01), утечка системного промпта (LLM07), лишние полномочия агента (LLM06),
искусственное раздувание расхода (LLM10) — реальные атаки 2025–2026 годов. Уязвимость EchoLeak
(CVE-2025-32711) получила 9,3 балла по шкале опасности CVSS, удалённое выполнение кода через
GitHub Copilot (CVE-2025-53773) — 7,8.
5. Подмена инструкций приходит из неожиданных мест.
Из RSS-лент, которые попадают в поиск по документам. Из подписей в письмах, которые оказываются
в контексте модели. Из комментариев к правкам кода, которые читает помощник программиста.
Если агент читает любые данные от пользователей, его можно атаковать.
Если у вас работает ИИ-агент и по этим пяти пунктам вам пока нечего ответить,
это нормально: так бывает у многих команд. Значит, вам
нужен взгляд со стороны — человек, который придёт и покажет уязвимости. Такую проверку я и предлагаю.
Форматы и цены — на странице услуги
«Проверка безопасности ИИ-систем».
Все шаги расписаны в готовом решении
«Аудит безопасности ИИ-чат-бота».
Цифры в нём посчитаны для типичной онлайн-школы.