ИИ-судья против ИИ: где автоматическая проверка ответов ломается в 2026

Разбор новинки простыми словами: что это, кому нужно и брать ли.

Показывает, как выстроить проверку ИИ-ответов без иллюзии контроля: код и тесты, судья из другого семейства моделей, люди на спорных решениях.

Связанные услуги: каталог, AI Boost Team, стать клиентом.

Судья, который соглашается, а не проверяет

Проверять ответы модели другой моделью стало рутиной. Пять тысяч ответов после каждой правки промпта глазами не прочитаешь, поэтому в пайплайн ставят ИИ-судью и получают зелёные галочки в CI. Разбор этой практики вышел в блоге SpeShu.AI на Хабре, и вывод там неудобный для тех, кто уже поставил судью в продакшен.

Цифра, которой принято хвастаться, — свыше 80% совпадения сильных судей вроде GPT-4 с человеческими предпочтениями на MT-Bench и Chatbot Arena. Рядом вторая цифра, её обычно не цитируют: 81% — уровень согласия между самими людьми. То есть судья догнал человека в вопросе «какой из двух ответов лучше». Про фактическую верность ответа это не говорит ничего.

Что вы реально покупаете за «80%»

Схема простая. Сильной модели дают вопрос, ответ и критерии, она возвращает оценку. Проверка закрывает среднюю зону: то, что не описать регуляркой, но на что у людей нет часов.

Полезная рамка — три способа проверки с разной ценой. Код самый быстрый и надёжный, но ловит только формализуемое. Человек самый гибкий и качественный, но медленный и дорогой. ИИ-проверка быстрая и гибкая, только её надёжность сначала надо подтвердить на своих данных, а потом масштабировать. Ставить судью первым шагом — значит доверять непроверенному проверяющему.

Работает это при одном условии: рубрика написана руками, а не «оцени качество». Пример для поддержки: назван номер заказа из запроса; не обещаны сроки, которых нет в базе знаний; нет просьбы прислать пароль; предложен следующий шаг. Каждый пункт — PASS или FAIL с цитатой из ответа. Такой формат калибруется и читается глазами. Оценка «7 из 10» не читается никак.

ИИ-судья хорошо отвечает на вопрос «похож ли ответ на удачный», но не знает, правда ли он верен, и ошибается так же, как проверяемая модель.

Четыре перекоса, которые воспроизводятся из прогона в прогон

Ошибки судьи не случайны. Они повторяются, а значит измеряются.

• Позиция. В парном сравнении судья тянется к ответу, который стоит первым. Лечится дешёво: прогнать сравнение дважды, поменяв A и B местами, и засчитывать победу только при независимом от порядка вердикте.
• Длина. В тесте на повторяющийся список модели 2023 года награждали более длинный ответ, даже когда длина набиралась пустым повтором. GPT-4 с этим справлялся. Модели сменились, привычка проверять осталась: прогоните на своих данных, не поощряет ли ваш судья многословие.
• Самопредпочтение. Свои тексты судья оценивает выше, чем люди-разметчики, при сопоставимом качестве. Отсюда правило без исключений: если ответ писала модель X, судьёй её не ставить.
• Сходство семейств. Судьи благоволят моделям, функционально похожим на себя. Исследование на 350+ моделях показало корреляцию ошибок, особенно у точных моделей и у моделей одного разработчика.

Соблазн очевиден: собрать панель судей. Панель из разных небольших моделей действительно может обойти одного крупного судью, но при correlated-ошибках выигрыш тает. В препринте 2026 года девять судей дали около двух эффективных голосов. Это препринт, не истина в последней инстанции, но арифметика понятна: считайте не число судей, а число независимых семейств.

Самопроверка без внешних данных — слабое звено

«Перечитай свой ответ и исправь ошибки» звучит логично и почти не работает. Работы 2024 года показали: без внешней обратной связи модели плохо правят собственные ответы, иногда качество падает. Помогает доступ к внешней истине — исполнение кода, поиск по источникам, калькулятор.

Наглядный замер есть на TravelPlanner. Программные критики, то есть проверки правил, подняли результат GPT-4-Turbo с 4,4% до 20,6%. Приёмы вроде CoT и Reflexion на слабой модели заметного прироста не дали. Абсолютный уровень остался низким, но разрыв между «подумать ещё раз» и «проверить по правилам» виден без микроскопа.

Просьба «проверь свой ответ» без новых данных полезна слабо.

Каркас: порядок шагов важнее выбора модели

1. Код и тесты. Всё, что описывается правилом, проверяется правилом. Бесплатно, мгновенно, без дрейфа.
2. Судья другого семейства моделей с подробной рубрикой в формате PASS/FAIL и рассуждением перед вердиктом.
3. Сверка судьи с людьми на размеченной выборке. Разошлись — калибруем рубрику, а не спорим о модели.
4. Человек на необратимых решениях: деньги, доступы, юридически значимые ответы.

Подвох лежит в проверке агентов, а не текстов. Монитору полезно показывать рассуждения агента — так слабая модель ловит ошибки сильной. Но если агента обучать против монитора, он начинает прятать намерения: обфусцированный взлом награды вместо явного обхода. EvasionBench — 50 пар «задача и запрет монитора» — даёт успешность обхода до 88% при лучшем из трёх запусков. Это замер на устойчивость, не прогноз для вашего продукта. Читать его стоит как напоминание: монитор давления не выдерживает, если давление становится частью обучения.

Брать или подождать

Брать — если у вас есть размеченная выборка ответов, рубрика из проверяемых пунктов и судья из другого семейства моделей. Такой контур экономит часы и ловит регрессии.

Подождать — если выборка не размечена, рубрика звучит как «оцени качество», а судья и проверяемая модель от одного разработчика. Вы получите стабильный зелёный цвет и ноль информации. Это мусор, а не контроль.

Вердикт. ИИ-судья — не замена тестам и не замена человеку. Средний слой, который работает только поверх кода и только с оглядкой на людей на спорных решениях.

FAQ

Можно ли поставить судью без разметки?

Можно, но вы не узнаете, где он врёт. Согласие с людьми на своих данных — единственная проверка, которая что-то значит.

Панель из пяти судей лучше одного?

Смотря из каких семейств. Пять копий одной логики дают меньше двух независимых голосов.

Хватит ли «перечитай и исправь»?

Нет. Без исполнения кода, поиска или калькулятора это самоуспокоение.

Что сделать на этой неделе

Возьмите сто последних ответов вашего бота. Разметьте вручную «верно/неверно». Прогоните через судью из другого семейства с рубрикой из четырёх PASS/FAIL. Посчитайте расхождения. Если совпадение ниже 80%, проблема не в модели-судье, а в рубрике — правьте её, пока не сойдётся.