ИИ-судья ломается на арифметике: 0,1% ложных совпадений и приговор невиновному

Разбор новинки простыми словами: что это, кому нужно и брать ли.

Для любого AI-продукта с высокой ценой ошибки точность модели вторична: без сужения выборки и понятной цены ложного срабатывания «умный» алгоритм масштабирует ошибки, а не справедливость.

Связанные услуги: каталог, AI Boost Team, стать клиентом.

Идея красивая, арифметика злая

Разговор начался с новости про камбоджийского застройщика, которого выдали Китаю. Друг впечатлился: вот бы такую жёсткость, да ещё с ИИ, который видит всё. Пусть машина сама считает, где человек был и что делал, и сама выносит приговор. Ни взяток, ни запуганных свидетелей, ни подставных.

Автор разбора — бэкендер и безопасник, последние месяцы пишет сканер, который ищет подвохи в MCP-серверах. У него на такие идеи профессиональный рефлекс: где тут можно сломать? Сломать получилось почти везде. Причём не хакерской атакой, а умножением из пятого класса.

Дальше — важное для владельца бизнеса. Всё, что ниже про распознавание лиц и приговоры, точно так же работает в антифроде, скоринге, модерации, отборе кандидатов и в любом месте, где вы ставите алгоритм на решение с дорогой ценой ошибки. Юстиция тут просто самый наглядный полигон.

Что именно посчитали

Возьмём систему распознавания лиц с долей ложных совпадений (FPR) 0,1%. Расшифровка простая: на тысячу проверок невиновных она в среднем один раз скажет «это он». Для алгоритма это хороший показатель. Для человека на выходе — приговор.

Допущение сразу в пользу системы: настоящего преступника она находит всегда, без пропусков. Дальше город на 10 миллионов человек, ищем одного конкретного преступника. Прогоняем через систему всё население, по одной проверке на человека.

Настоящее совпадение — одно. Невиновных — почти 10 миллионов, и на 0,1% из них система ошибается. Это примерно 10 000 ложных совпадений. Итого около 10 001 попадания в список, из которых верное одно. Если машина показала на конкретного человека, шанс, что он действительно преступник, около 0,01%.

Оказалось, ломается она уже на простой арифметике: система распознавания лиц с долей ложных совпадений 0,1% на городе в 10 миллионов почти всегда указывает на невиновного.

Это ошибка базовой частоты. Мы смотрим, как редко ошибается система, и забываем, насколько редко встречается то, что мы ищем. Каждый, кто настраивал IDS или антифрод, видел это вживую: правило, которое «почти не ошибается», на реальном трафике сыпет ложными срабатываниями так, что их перестают читать.

Как это выглядит в цифрах

Читать таблицу надо не по среднему столбцу, а по первому. Посредственная система с ошибкой в 1% на сотне подозреваемых даёт честные 50 на 50. Система в сто раз точнее на миллионной выборке выдаёт меньше процента. Вывод жёсткий: сузить круг подозреваемых обычной работой важнее, чем купить алгоритм поточнее.

Для слежки вывод неочевидный, но железный. Чем больше людей под наблюдением, тем больше невиновных попадает в список. Тотальная слежка не делает поиск точнее, она делает стог сена больше.

Тотальная слежка не делает поиск точнее, она делает стог сена больше. Иголка при этом одна.

Оговорка автора: модель упрощённая. В жизни один человек попадает на сотни камер, снимки разного качества, пороги настраиваются, повторные совпадения объединяются. Цифры поплывут, эффект базовой частоты — нет.

Чем это отличается от предыдущего поколения алгоритмов

Соблазн списать всё на «сырые модели» понятен. Но у этой истории есть предшественник, и он поучительнее любого свежего релиза.

COMPAS, алгоритм оценки риска рецидива, разобрали ещё в 2016 году. Точность предсказания оказалась почти равной: 59% для белых обвиняемых и 63% для чернокожих. Если смотреть только на неё, вопрос закрыт. А потом посмотрели на ошибки: ложный «высокий риск» выставлялся в 45% случаев для одной группы и в 23% для другой. Почти вдвое.

Вот тут и начинается то, что бизнесу полезно запомнить. Алгоритм оптимизировали под общую точность, и он честно её выдал. Цена ошибки при этом легла на разные группы по-разному. Математически невозможно одновременно удовлетворить все метрики справедливости — это не мнение, это результат. Значит, метрику выбирает тот, кто настраивает модель. Не модель выбирает, а человек с ноутбуком.

В разговорах про «честный ИИ-судья» это обычно пропускают. Требование «пусть будет объективно» невыполнимо, пока не названо, что вы минимизируете: пропуски или ложные срабатывания. Первое означает, что виновные иногда уходят. Второе — что невиновные иногда садятся. Третьего не дано, и никакая архитектура это не обойдёт.

С распознаванием лиц то же самое, только разрыв измерили отдельно. В 2019 году NIST прогнал 189 алгоритмов от 99 разработчиков. У большинства частота ложных совпадений различалась между демографическими группами, у отдельных — в 10–100 раз. В среднем больше ложных срабатываний приходилось на женщин, детей, пожилых и людей с тёмной кожей. Любопытная деталь: у ряда алгоритмов, сделанных в Азии, перекоса между азиатскими и европейскими лицами не было. Похоже, дело не в «сложных» лицах, а в том, на ком модель учили.

Три истории вместо цифр

Цифры забываются. Истории — нет.

Часы, которые Роберт Уильямс не крал

В 2018 году в Детройте из магазина украли часы. Камера записала вора. Запись прогнали через распознавание лиц, система выдала совпадение: Роберт Уильямс. В январе 2020 года его арестовали у собственного дома, при жене и двух маленьких дочерях. Тридцать часов в камере. Основанием послужило совпадение от алгоритма, которое потом «подтвердил» по фотографии сотрудник охранной компании магазина. Дальше выписали ордер. Алгоритм ошибся.

Уильямс подал в суд. В 2024 году город выплатил ему 300 000 долларов, запретил полиции арестовывать людей только по результату распознавания и обязался пересмотреть дела с 2017 года, где эта система использовалась. Один ложный матч — тридцать часов в камере, многолетний суд и новая инструкция для целого города.

Округ Бровард, Флорида

Здесь история не про отдельный сбой, а про систему. Оценки риска, аккуратно посчитанные и аккуратно применённые, распределили ошибки между людьми неравномерно. Формально всё правильно, по документам не придерёшься.

Китай: камеры есть, эффекта нет

По оценке IHS Markit, к 2020 году в Китае прогнозировали около 626 миллионов камер — примерно одна на двух жителей. Масштаб впечатляет. Только сравнение 120 крупных городов мира заметной связи между числом камер и уровнем преступности не показало. Камер больше, стог сена больше, иголка одна.

Кому это нужно и что делать на практике

Владельцу SMB это нужно ровно в одном случае: если у вас в контуре есть алгоритм, чья ошибка стоит денег, репутации или свободы. Скоринг заявок, антифрод, автоматическая модерация, отсев резюме, программа лояльности с блокировками.

Что сделать до того, как включать «умное» решение на поток:

1. Посчитать базу. Сколько в вашей выборке настоящих «плохих» событий на тысячу? Если один на десять тысяч, никакая точность модели вас не спасёт — нужен другой процесс.
2. Назвать цену ложного срабатывания в рублях. Не «плохо», а конкретно: звонок оператора, возврат, блокировка честного клиента, потеря контракта. Пока цифры нет, вы обсуждаете вкусы.
3. Сузить выборку до подачи в модель. Правила, белые и чёрные списки, ручной отсев явного мусора. Это дешевле и работает лучше, чем смена вендора.
4. Оставить человека на финальном решении. Не для красоты. Следователя можно спросить, почему он подозревает человека. Модель вам причину не предъявит, а если предъявит — это будет правдоподобная реконструкция, не объяснение.
5. Проверить ошибки по группам. Не только общую точность. Иначе средний показатель по базе скроет сегмент, которому достаётся втрое больше ложных блокировок.

Следователя можно спросить, почему он подозревает человека.

Подвох, который не решается покупкой модели получше

Главная ловушка — вера в то, что человеческий фактор уйдёт вместе с автоматизацией. Он не уходит, он меняет форму. Innocence Project к 2020 году насчитал 375 оправданных по ДНК в США, и в 29% этих дел было самопризнание. Люди признавались в том, чего не совершали. Машина, обученная на таких делах, аккуратно выучит эти признания как признак вины.

Второй подвох — сама идея «ИИ видит всё». Больше данных не повышает отношение сигнала к шуму. Оно повышает абсолютное число ложных совпадений, и если процесс не сужает круг, вы просто быстрее приходите к неверному выводу с большей уверенностью в голосе.

Третий — цена ошибки несимметрична. Ложное срабатывание в антифроде стоит вам одного звонка. Ложное срабатывание в системе, которая решает судьбу человека, стоит тридцати часов в камере и 300 000 долларов. Модель этого различия не видит. Его видит тот, кто настраивает порог.

Брать или подождать: вердикт за 30 секунд

Ждать. Если вам предлагают «умную» систему без расчёта базовой частоты и без названной цены ложного срабатывания — ждать и не платить. Это мусор в красивой обёртке: вы покупаете файл с моделью, а не решение.

Брать. Если вендор или ваш собственный инженер показывает: вот доля «плохих» событий в базе, вот FPR, вот что делает человек на выходе, вот сколько стоит каждая ошибка. Тогда да, брать и внедрять.

Вердикт

Идея «отдать правосудие ИИ» разбивается не об этику и не о регуляторов. Она разбивается о то, что доля ложных совпадений в 0,1% на большой выборке даёт почти гарантированную ошибку против невиновного. Улучшать модель в этой схеме бессмысленно: даже в сто раз более точная система на миллионе человек выдаёт меньше процента попаданий.

Для бизнеса вывод переносится один в один. Точность модели — вторичный параметр. Первичны два: насколько вы сузили выборку до того, как включили алгоритм, и сколько стоит ложное срабатывание. Без этого «умный» алгоритм масштабирует не справедливость, а ошибки — просто быстрее и с более уверенным тоном.

FAQ

Мой антифрод работает с точностью 99%. Этого достаточно?

Точность без базы ничего не значит. Если мошеннических заявок один на тысячу, то при FPR 0,1% вы получите примерно столько же ложных срабатываний, сколько настоящих. Считайте не точность, а сколько раз оператор пойдёт проверять честного клиента.

Может, просто взять модель получше и закрыть вопрос?

Нет. На десятимиллионной выборке разница между 0,1% и 0,01% меняет шанс с 0,01% до 0,10%. Это всё ещё провал. Сначала сужение круга, потом алгоритм.

А если поставить человека проверять решения модели?

Нужно, но это не отменяет арифметику. Человек склонен соглашаться с машиной, которая «видит всё». Плюс сам ошибается: 29% оправданных по ДНК в США когда-то признались в том, чего не делали.

Насколько всё это применимо в России?

Механика универсальная: она про отношение числа ложных срабатываний к числу настоящих событий в вашей базе. Юрисдикция меняет процедуру, не меняет математику.

Что сделать на этой неделе

Откройте выгрузку по своему самому «умному» алгоритму. Посчитайте три числа: сколько в базе настоящих целевых событий, сколько ложных срабатываний, сколько стоит разбор одного ложного. Если третье число вы не можете назвать — вы пока не управляете системой, вы на неё смотрите.

Дальше решайте не про модель, а про процесс: где сужается выборка, кто принимает финальное решение, что пишется в лог. Модель можно поменять за месяц. Процесс, в котором ложное срабатывание стоит человеку тридцати часов в камере, меняется годами и через суд.