Модель с низким AUC заработала на 113 млн больше: отсечка по скору vs PD

Разбор новинки простыми словами: что это, кому нужно и брать ли.

Пороговая политика «одобряем лучшие x%» по скору проигрывает решению по ожидаемой величине на каждый кейс — значит, модель надо выбирать и калибровать под деньги, а не под AUC; это прямо переносится на лид-скоринг и ставки в рекламе.

Связанные услуги: каталог, AI Boost Team, стать клиентом.

113 млн на стороне модели, которая хуже ранжирует

Разбор на открытых данных Home Credit. Две модели кредитного скоринга, A и B. У A AUC выше, у B ниже. Дальше обычная пороговая политика «одобряем лучшие x%» — и B приносит на 113 млн больше.

Сумма выглядит как ошибка в расчётах. Проверили: B впереди в 200 из 200 бутстрэп-выборок. Устойчиво, не случайность, не один удачный срез портфеля.

При обычной отсечке «одобряем лучшие x %» B зарабатывает на 113 млн больше, и это не шум: B впереди в 200 из 200 бутстрэп-выборок.

Дальше интереснее. Как только решение принимают не порогом, а по каждому кредиту отдельно — ожидаемая величина на кейс, — разрыв исчезает. Обе модели начинают зарабатывать больше, чем при любой отсечке по скору.

Вывод, который стоит унести в свою кредитную политику, в лид-скоринг и в ставки: вы выбираете модель под метрику ранжирования, а платите за деньги на единицу решения. Это разные вещи, и вторая обычно считается в другом файле, другим человеком и в другой день.

Что именно сравнивали

Две модели на одном наборе данных. Обе выдают скор — число, по которому заявки можно выстроить в очередь от «скорее вернёт» к «скорее не вернёт». Метрика AUC измеряет качество этой очереди: насколько уверенно модель ставит случайного плохого заёмщика ниже случайного хорошего.

AUC — про порядок. Он ничего не говорит о том, сколько вы заработаете на первом в очереди и сколько потеряете на сотом.

Дальше — два способа превратить скор в решение:

• Порог по скору. Берём верхние x% очереди, остальным отказываем. Так работали и продолжают работать многие: объём выдачи預 предсказуем, нагрузка на операторов понятна, отчёт для руководства простой.
• Ожидаемая величина на кейс. Для каждой заявки считаем деньги: вероятность дефолта, сумма, срок. В разборе используется упрощённая формула — откалиброванная PD × сумма × срок. Одобряем там, где ожидание положительное, а не там, где скор выше линии.

Разница между этими двумя способами и съедает 113 млн. Не модель, а правило поверх модели.

Факт → что это значит

Читайте таблицу сверху вниз как последовательность: метрика, потом правило, потом деньги, потом устойчивость. Кто-то в вашей компании читает её снизу вверх — от «дайте нам модель получше».

Откуда взялась привычка спорить про AUC

Так исторически сложилось, и причина не в глупости. Ранжирующие метрики легко проверить: есть отложенная выборка, есть AUC и Gini, есть отчёт валидации. Модель можно сравнить с предыдущей версией, не поднимая экономику продукта и не согласовывая ставку резервирования.

Пороговая политика пришла из ручного андеррайтинга. Когда заявки разбирают люди, проще всего сказать: «берём верхние 30%, остальное — отказ». Объём выдачи контролируется одной цифрой, штат планируется от неё же. Отсечка по скору — прямой наследник этого способа думать, только скор теперь считает алгоритм.

Правило «ожидаемая величина на кейс» лет двадцать живёт в учебниках и в риск-подразделениях крупных банков. В сегменте SMB его редко доводят до продакшена: калибровка PD выглядит как отдельная сложная работа, а экономика продукта размазана по трём отделам. Проще держать порог.

Что изменилось к 2026: данные и вычисления перестали быть узким местом. Считать ожидание по каждой заявке —已经不是 инфраструктурный проект, а скрипт и таблица. Узким местом стало другое: договориться, кто в компании отвечает за формулу, по которой принимают решения.

Почему порог по скору теряет деньги

Модель выдаёт относительный порядок. Сто человек с высоким скором и сто человек с чуть ниже — внутри каждой сотни разброс по суммам и срокам может быть огромным. Отсечка смотрит на позицию в очереди. Деньги лежат в произведении вероятности на сумму и срок.

Отсюда три систематические потери.

Обрезается не риск, а объём

Порог отрезает хвост очереди целиком. В этом хвосте есть заявки с коротким сроком и небольшой суммой, где ожидание положительное. Их выбрасывают не потому, что они плохие, а потому что они оказались ниже линии.

Верхушка очереди не равна верхушке по прибыли

Первые 5% по скору могут быть мелкими и короткими: риск минимальный, заработок тоже. Крупный и длинный кредит с чуть более высокой PD способен принести больше. Порог этого не различает, ожидаемая величина — различает.

Сравнение моделей идёт не по тому параметру

Выбирая между A и B по AUC, вы выбираете сортировщика. Победитель в сортировке может проиграть в деньгах, и разбор это показывает в чистом виде: 113 млн в одну сторону, смена правила — и разрыв обнулился.

Как только решение принимается по каждому кредиту — откалиброванная PD × сумма × срок, — разрыв исчезает, а обе модели зарабатывают больше, чем при любой отсечке по скору.

Обратите внимание на порядок действий, который здесь зашит. Сначала меняется правило принятия решения, и только потом имеет смысл спорить, какая модель лучше. В обратном порядке вы обсудите метрики и всё равно вернётесь к порогу.

Кому это нужно и как применить

Владельцу SMB не нужен кредитный портфель, чтобы забрать отсюда логику. Нужно место, где вы принимаете решение по порогу, а платите за результат по деньгам.

1. Назовите целевую величину в деньгах. Не «конверсия», не «качество лида». Ожидаемая маржа на кейс, ожидаемый возврат, ожидаемая выручка за вычетом стоимости касания.
2. Откалибруйте вероятность. Скор должен читаться как вероятность: 0,7 значит 70%, а не «высокий». Без калибровки формула ожидания превращается в фантик — числа есть, смысла нет.
3. Умножьте на деньги. Вероятность × чек × маржинальность, минус стоимость действия. Для лида это стоимость звонка или письма, для кредита — сумма и срок.
4. Сделайте порог следствием. Одобряйте там, где ожидание положительное. Лимит по объёму, лимит по риску и лимит по штату накладывайте сверху, но не вместо.
5. Сравнивайте модели по деньгам. Прогоните обе на исторических данных с одинаковым правилом принятия решения и посчитайте результат в рублях. Разницу проверьте бутстрэпом: устойчива она или это один удачный месяц.

Лид-скоринг в отделе продаж

«Менеджеры звонят по топ-20% лидов» — это отсечка по скору в чистом виде. Решение по ожиданию звучит иначе: звоним туда, где вероятность сделки × чек × маржа выше стоимости касания. Иногда это означает звонить в третий дециль — там крупные сделки с долгим циклом, которые топ-20% просто не пропускает.

Ставки в рекламе

Ставка по средней конверсии кампании — та же отсечка, только порог задаёт алгоритм площадки. Ставка по ожидаемой ценности конкретного аукциона — решение по деньгам. Разница видна в CPL: он может остаться прежним, а выручка на рубль — вырасти. Или наоборот, и тогда это видно до того, как закончился бюджет.

Приоритизация заявок и дебиторки

Очередь на ручную проверку и очередь на обзвон по просрочке строятся по одному принципу: сортировка по скору даёт ровную загрузку, сортировка по ожидаемому результату даёт деньги. Если ресурс ограничен, второе важнее.

Где подвох

• Калибровка требует данных и ухода. Скор работает как вероятность только на той популяции, на которой его собирали. Сменился канал трафика или продукт — калибровка поехала, а формула ожидания вместе с ней.
• Ошибка в множителе дороже ошибки в метрике. Порог с плохим AUC просто отбирает неоптимально. Формула с завышенной маржой одобряет то, что не надо одобрять, и вы узнаёте об этом через цикл сделки.
• 113 млн не переносится. Это результат конкретного портфеля и конкретных данных Home Credit. У вас будет своя цифра, возможно со знаком минус — если экономика посчитана честно.
• 200 из 200 — про устойчивость, а не про превосходство. Бутстрэп подтверждает, что разрыв не случаен внутри выборки. Он не говорит, что модель B лучше вообще.
• Регуляторные и договорные рамки остаются. Решение по ожидаемой величине не отменяет лимитов, требований к резервам и внутренних ограничений по риску. Оно лишь ставит их сверху, а не вместо логики отбора.

Брать или подождать

Брать — если у вас уже есть скор и есть история решений. Даже грубая калибровка на своих данных за один вечер покажет, сколько стоит текущий порог. Часто ответ неприятный.

Подождать — если скор живёт в голове менеджера. Тогда сначала нужна хоть какая-то модель и размеченная история: без вероятностей формула ожидания превращается в интуицию с калькулятором.

Не делать вообще — если решение принимается по одной метрике в вакууме. Смена модели без смены правила даст ноль. Проверено дважды: сначала на A и B, потом на вашей следующей версии.

Вердикт

Критерий выбора модели — деньги на единицу решения, а не качество ранжирования. Метрика ранжирования остаётся санитарным минимумом: модель с AUC на уровне монетки в продакшен не идёт. Но выбирать между двумя рабочими моделями по AUC — то же самое, что выбирать сотрудника по скорости печати: полезно, недостаточно.

Главное в разборе — не сумма 113 млн. Главное — что разрыв исчез при смене правила. Значит, спор о моделях в вашей компании начинается не с того конца. Сначала формула, по которой вы принимаете решение, потом модель под неё. И бэктест в рублях, а не в AUC.

Вопросы, которые обычно задают

AUC теперь не нужен?

Нужен, как порог входа и как диагностика. Он отвечает на вопрос «модель вообще что-то различает». На вопрос «сколько мы заработаем» он не отвечает и не должен.

Можно ли ждать похожего эффекта у себя?

Эффект от смены правила — вероятно. Размер эффекта — неизвестен, пока не посчитаете на своей истории. Обещать перенос 113 млн на другой портфель нельзя.

Нужен ли дата-сайентист, чтобы это запустить?

Для калибровки и валидации — да, хотя бы на проект. Для расчёта ожидаемой величины по готовым вероятностям хватает таблицы и человека, который знает экономику продукта.

Что если данных мало?

Начните с одного сегмента и одного решения: приоритет обзвона, отбор заявок на ручную проверку. Маленькая выборка даёт широкий доверительный интервал — это повод не отказываться, а не строить на ней всю политику.

Почему вообще модель с худшим AUC оказалась впереди?

Потому что сравнение шло не между моделями, а между двумя связками «модель + правило». В связке с порогом B оказалась лучше. В связке с решением по деньгам обе вышли на один уровень. Победитель определялся правилом.

Что сделать на этой неделе

Возьмите последние сто решений, которые принимали по порогу. Посчитайте, что было бы, если бы вы смотрели на ожидаемую величину. Разница в рублях и будет ответом на вопрос, надо ли вам вообще менять модель. Часто выясняется, что модель менять не надо — надо менять строчку в регламенте, по которой одобряют.