Бот отвечает на вопросы о продажах цифрами: шесть метрик, и расчёты перепроверили ИИ-агенты

Почему языковая модель не считает цифры

Эта часть бота ценна тем, что его цифрам верят. Модель со свободным доступом к данным рано или поздно выдаёт правдоподобное число из воздуха. Один такой случай в переписке с владельцем подорвёт доверие ко всем остальным отчётам. Поэтому решение принимает код: ключевые слова на двух языках, фиксированный набор метрик, вызов ядра.

Если вопрос не распознан, модуль метрик молчит, и бот отвечает из базы знаний. Я сознательно выбрал точность: бот называет цифру только там, где её можно проверить.

Чтобы метрики добавлялись по реальному спросу, вопросы, на которые не нашлось цифры, складываются в журнал. Там хранится только текст вопроса, очищенный от секретов, без имени, логина и номера чата. Сводка за две недели показывает, чего боту не хватает.

Бот различает три вида сбоев

Если модуля метрик нет, бот отвечает из базы знаний. Если модуль есть, но Shopify недоступен, бот прямо пишет: «не смог достать живые данные». Если модуль и ядро перестали понимать друг друга, потому что формат данных разошёлся, пользователь тоже видит сообщение. Тихий сбой однажды уже погубил функцию: модуль ждал данные в формате, которого на деле не было, молча уходил в базу знаний и выглядел рабочим. Ошибка, которую никто не видит, может жить годами.

География: заказ без адреса остаётся в общем итоге

Страна берётся из адреса доставки — туда на самом деле везли товар. Заказы без адреса (цифровые товары, самовывоз) входят в общий итог, но ни одной стране не приписываются. Иначе они незаметно попали бы в США и исказили картину. Годы бот распознаёт раньше дней, поэтому «за 2025» даёт календарный год, а «кроме США и Канады» убирает две страны из ответа.

Теперь бот отвечает ровно на то, что спросил владелец: заказы, выручка и число стран по каждому году, отдельной строкой — продажи за рубеж. В 2025 году заказы ушли в 21 страну, 19 из них — за пределами США и Канады.

Топ товаров: деньги и штуки рядом

В этом бизнесе две метрики сильно расходятся: аксессуары дают около 22% денег и около 63% штук. Одна колонка подтолкнула бы к неверному выводу об ассортименте. Поэтому у каждой позиции показаны обе доли, а отдельный блок называет товары, которых продают много, хотя в денежный топ они не входят.

Товары группируются по идентификатору из каталога. Название у одного товара бывает разным, а артикул пуст примерно у 87% позиций. Проверку топа я поставил раньше проверки выручки — это первое из двух исправлений порядка.

Штаты США по каналам продаж

Владелец попросил чистые продажи по штатам, общие и отдельно по маркетплейсу, за вычетом возвратов и скидок. Чистые продажи здесь — позиции заказа после скидок минус возвраты, без доставки и налогов. Ядро сверяет по тому же правилу, поэтому сумма по штатам обязана сходиться с общим отчётом.

Канала продажи в данных ядра раньше не было. Я добавил в запрос источник заказа и теги и сбросил старый кэш. Владелец получает таблицу CSV и ответ бота, собранные из одних и тех же чисел.

Вопрос «по штатам США» содержит слово «США», и при неправильном порядке бот уводил его в разбивку по странам. Второе исправление порядка: штаты проверяются раньше стран.

Через час после выпуска: четыре агента, четыре ошибки

Свежий код проверили четыре ИИ-агента, каждый отдельно. Что они нашли:

• Топ товаров вообще не вычитал возвраты, и товарная выручка была завышена на 8,54%.
• У модуля-сборщика был свой список статусов оплаты, и два статуса ядра в него не попали. Отсюда 324 заказа в отчёте против 323 у метрик.
• Группировка шла по полю «тип товара», которого в позициях заказа нет: тип хранится в каталоге. Колонка типа всегда была пустой.
• География считала возвратом отмену предварительной авторизации платежа. Таких сумм тогда не было, и ошибка проявилась бы при первой отменённой авторизации.

У всех четырёх ошибок одна причина: сборщик считал сам. Теперь все расчёты идут через ядро: одно правило, какой заказ считать, возвраты по позициям, распределение скидок. География больше не делает собственный запрос: адрес доставки добавлен в данные ядра. Кэш пришлось сбросить, иначе шесть часов читались бы старые данные без этого поля. Сверка после исправлений на живых данных за 30 дней: 324 заказа в отчёте, географии и топе, расхождение по товарной выручке — 0,00.

Пять тестов закрепляют исправления

Цифру, посчитанную почти правильно, глазами не поймать. Поэтому совпадение с ядром закреплено тестами. География и топ считают ровно те же заказы, что ядро. Полностью возвращённый заказ не добавляет выручки. Отмена авторизации возвратом не считается. Отдельный тест разбирает исходный код и проверяет, что ни у одного сборщика нет собственного отбора по статусу оплаты. Если такой отбор появится, тесты при сборке не пройдут.

Перед отчётом по штатам: ещё четыре находки

Отчёт по штатам владелец попросил вечером и получил в тот же вечер. Перед отправкой цифры проверили пять раз, каждый раз с другой стороны:

• Черновик и маркетплейс — разные признаки. Фраза «заказы маркетплейса помечаются черновиками» подталкивала к отбору по черновику. Я проверил на данных за семь недель. В одном магазине из 106 черновиков к маркетплейсу относился 81. Во втором было 12 черновиков и ни одного заказа маркетплейса. Отбор по черновику приписал бы маркетплейсу 25 чужих заказов и придумал бы 12 там, где маркетплейса нет. Канал определяется тегом заказа, черновики показаны отдельной контрольной строкой.
• Подарки блогерам считались продажами. 264 заказа за два года со скидкой 100%, выставленной вручную: денег не поступало, но статус стоял «оплачен», и заказ попадал в счётчик каждого штата и каждой страны. Теперь оплаченные и бесплатные заказы разделены. Подарок, который с самого начала стоил ноль, отличается от продажи, которая обнулилась после возврата.
• Возврат хранится в Shopify в двух видах, и ни один не покрывает всё. Учитывался один — годовая выручка была завышена примерно на 2%. Второй вид исправлял США и Канаду, но ломал продажи за рубеж: там в платёж входят доставка и налог. Решение — по каждому заказу отдельно: есть платёж — берётся он, нет — позиции. Контрольный запрос подтвердил: продажи за рубеж сошлись до цента за оба года, итог года — в пределах 0,1%.
• Подпись «полный год» стояла на 7,6 месяцах. Shopify без ошибки принимает дату окончания в будущем. Рядом с полным прошлым годом рост на треть выглядел как падение на 17%. Теперь текущий год заканчивается сегодняшней датой.

27 новых тестов закрепляют ровно эти находки; полный прогон — 1312 пройденных тестов.

Что изменилось в работе

Владелец задаёт вопрос про продажи в мессенджере и получает живые числа из двух магазинов: страны, годы, топ по деньгам и по штукам, штаты и каналы. Отчёт по штатам ушёл ему в CSV и в ответе бота, и оба собраны из одних и тех же чисел. Вопросы без цифры копятся в журнале, и новые метрики добавляются по реальному спросу.