Группа ИИ-агентов прогнозирует события: как проверить точность прогнозов

Планка задана до первого прогноза

Показатель Брайера — квадрат разности между названной вероятностью и исходом (1 или 0). Ноль означает безошибочный прогноз, вечные 50% дают ровно 0,25, уверенная ошибка стоит почти единицу. Та же величина считается для цены рынка на момент прогноза, и это даёт естественный эталон: рынок тоже прогнозирует. Планка записана в коде отчёта раньше, чем появился первый прогноз:

• не меньше 30 рынков с известным исходом, и показатель Брайера у системы ниже, чем у рынка
• пока оба условия не выполнены, торговля реальными деньгами запрещена; система работает в режиме прогона без денег
• бумажный результат считается по цене покупки с полуспредом 0,015 (половиной разницы между ценами покупки и продажи), чтобы прогон без денег не приукрашивал результат
• геополитика выбрана в том числе потому, что комиссия площадки в этой категории нулевая: спред остаётся единственной издержкой в расчёте

Два способа получить прогноз

Полная версия на Python вызывает модель по API: пять агентов параллельно, потом супервизор. На сервере ключа к API не оказалось, поэтому рабочим стал второй способ. Сессия Claude Code с веб-поиском проводит исследование по рецепту, записанному в виде готовой инструкции. Скрипт записи получает от неё сырую вероятность, сам берёт живую цену рынка, применяет калибровку, считает расхождение и пишет строку в базу. Ежедневный прогон выглядит так: очередь из 13–14 рынков, 8–14 вспомогательных агентов на Claude Sonnet, затем решение агента-арбитра перед записью.

Роли разделены сознательно. Модель отвечает за рассуждение и поиск. Python отвечает за то, что должно пережить смену моделей и промптов: отбор рынков, базу, калибровку, сверку исходов и отчёт.

Счётчик исходов молчал семь недель

Первый серьёзный сбой случился в самом важном месте. Открытый API площадки перестал отдавать закрытые рынки по адресу, через который система сверяла исходы: ответ приходил пустым и без ошибки. Таблица исходов оставалась пустой с конца мая по 16 июля, отчёт честно писал «разрешившихся пока нет», и это выглядело как медленные рынки. Тот же тип отказа, что в кейсе про надёжность фоновых служб: процесс жив, данные не приходят, никто не жалуется.

Исправление: сверка переведена на другой адрес API. Там исход ищется по идентификатору условия, и у каждого исхода стоит явная отметка победителя. Запрос по адресу рынка остался запасным путём. Первый же запуск записал 4 исхода: показатель Брайера у системы 0,499, у рынка 0,235. Рынок оказался точнее с первых же записей, и с этого момента измерение стало ежедневным.

В строке хранится всё, что нужно для пересчёта

У каждого прогноза сохраняются сырая вероятность ансамбля, калиброванная, смешанная с ценой, сама цена, число агентов, мера их согласия, направление сигнала, рассуждение и версия модели. Позже это пригодилось. Когда возник вопрос, помогает ли поправка Платта, ответ посчитали по уже накопленным строкам, без повторных прогонов. Правила очереди появлялись после сбоев:

• рынок попадает в очередь, только если отбор видел его в последние 48 часов: майские рынки с застывшим сроком «1,6 дня» висели в очереди в июле
• расхождение считается только по живой цене: цена в очереди отличалась от реальной в 10 раз (0,04 при реальной 0,389)
• срок до исхода при отборе сокращён со 120 до 45 дней: короткие рынки быстрее дают пары «прогноз — исход»

Где именно теряется точность

Картина повторяется от замера к замеру: на большинстве рынков система точнее цены, но по сумме проигрывает. При n = 66 четыре промаха давали 84% всего отставания (3,646 из 4,322); без них получалось 0,068 у системы и 0,057 у рынка на 62 парах, почти вровень. Три из четырёх — уверенные расхождения с ценой больше чем на 75 процентных пунктов, и во всех четырёх прав оказался рынок. Два промаха — один и тот же тип вопроса о проходе военных кораблей через пролив: сырые 0,98 и 0,82 при цене 0,010 и 0,037, оба исхода «нет». Ещё в одном модель спутала один конфликт с другим: 0,03 при цене 0,895, исход «да». Разбивка по диапазонам цены на n = 203 показала, что потери распределены неравномерно:

• цена ниже 0,10 — n = 132, Брайер системы 0,042, рынка 0,022 при реальной частоте таких исходов 2,3%: редкие события система переоценивала
• середина 0,25–0,75 — n = 20, 0,297 и 0,220: единственный диапазон, где вред от несогласия системы с ценой статистически заметен
• цена выше 0,90 — n = 21, 0,048 и 0,047: здесь система наравне с рынком, исправлять нечего

Поправка из статьи ухудшала показатель

Поправка Платта растягивает вероятности к краям: логит умножается на 1,73. В статье она улучшала Брайер, потому что модели склонны жаться к 50%. На этой серии эффект оказался обратным, и это видно по тем же строкам, где сырая вероятность хранится отдельно: при n = 53 сырой Брайер 0,108, с поправкой 0,115, рыночный 0,048. На краях поправка переворачивает знак расхождения: сырые 0,13 при цене 0,07 означают «прогноз выше рынка», а после растяжения получается 0,036 и сигнал в обратную сторону. В одном пакете из 13 рынков знак перевернулся у 9.

Практический вывод: поле сигнала в базе для дешёвых и дорогих рынков недостоверно, расхождение читается только как «сырая вероятность минус цена». Общий урок для любой оценки качества ИИ: коэффициент из статьи нужно проверять на собственных исходах, а величину до поправки хранить отдельно.

Что изменили по итогам замеров

Каждое изменение рецепта записывалось с датой и проверялось на следующих замерах по той же таблице:

• Агенту не показывают цену рынка. Несмотря на прямой запрет в промпте, все пять прогнозов по одной серии рынков с разными датами легли в пределах 1,5 процентного пункта от цены, и в рассуждении так и было написано. С 23 августа агент получает только вопрос, условия определения исхода и срок
• Одно семейство рынков — один агент. Независимые агенты выдавали логически невозможные пары в таких сериях: 0,25 на «до 31 августа» и 0,15 на «до 15 сентября». Теперь серия считается целиком, одним расчётом, а арбитр проверяет, что вероятность не падает с ростом срока
• Проверка скептиком и арбитром. Если прогноз расходится с ценой на 15 пунктов и больше, второй агент пытается опровергнуть ключевые факты: 29 августа так переписаны 5 прогнозов из 14. При расхождении от 20 пунктов третий агент в роли «того, кто будет определять исход» проходит по условиям пункт за пунктом: 1 сентября он пересмотрел 3 крайних прогноза из 5 (0,94 → 0,33; 0,93 → 0,32; 0,78 → 0,55) и два подтвердил
• Базовые частоты по семействам из таблицы исходов. «Перемирие продержится до даты» — 14 из 14 «да» при среднем прогнозе системы 0,847; «захват населённого пункта к дате» — 0 из 4 при прогнозе 0,268 и цене 0,095; «снятие блокады к дате» — 10 из 10 «нет», прогноз 0,011 при цене 0,101, показатель Брайера 0,0003 у системы и 0,0161 у рынка. Это единственное семейство, где система уверенно точнее рынка

Эффект виден в тех же диапазонах. Дешёвый край перестал ухудшаться: с n = 183 до n = 203 в нём прибавилось 12 исходов, а суммарный разрыв изменился с 2,605 до 2,579; переоценка редких событий сократилась с 2,3 до 1,7 раза от реальной частоты. Середина 0,25–0,75 по-прежнему теряет: два новых исхода добавили 0,371 разрыва. Поэтому сейчас работа идёт над серединой: если цена рынка в этом диапазоне, прогноз записывается осторожнее, чем предлагают агенты.

Параллельный опыт: рынки на погоду

Параллельно тот же подход применялся к рынкам на дневную температуру, где вероятность считалась по набору численных прогнозов погоды (30–50 вариантов). Первый урок оттуда: доля выигрышей сама по себе ничего не значит. Бот с долей выигрышей 91,6% на 1089 рынках оставался в минусе: при покупке фаворитов по высокой цене один проигрыш съедает много выигрышей. Крайний диапазон показал это в чистом виде: при средней цене 0,995 точка безубыточности — 99,5%, а фактические 97,54% на 285 рынках до неё не дотягивали. Второй урок: бот выбирал фаворитов по цене и вообще не смотрел на прогноз погоды. Фильтр по прогнозу подключили 31 мая, сначала в режиме наблюдения: он только записывал своё решение в журнал. Рынки на минимальную температуру исключены, когда доля выигрышей на них оказалась 61%, в бумажный расчёт добавлена найденная комиссия площадки. 28 июля это направление закрыто по заранее заданному порогу A/B-сравнения: ожидаемый результат в проверенных вариантах отрицательный.