GigaAM v3 против Whisper: минута речи за 2 секунды одного ядра

Разбор новинки простыми словами. что это, кому нужно и брать ли.

Открытая GigaAM v3 на обычном CPU делает приватную расшифровку речи почти бесплатной, self-hosted ASR становится рабочей альтернативой облачным API вроде SaluteSpeech и Whisper для ботов, созвонов и поддержки.

Связанные услуги: Чат-бот для бизнеса, AI Boost Team, стать клиентом.

Очередь, которая не держит вас за руку

Представьте кассу, где кассир обслуживает одного покупателя, пока тот не выкупит всю тележку. За ним встали с батоном хлеба. Вы стоите. Тележка у первого полна консервов, кассир честно работает, но вы не двигаетесь ни на шаг. Так устроена половина сервисов расшифровки голоса сегодня. Длинная запись занимает процессор, короткое голосовое ждет. А теперь представьте кассу, где кассир переключается между людьми, а не между корзинами. Один товар у каждого, потом следующий. Это не метафора для красоты. Именно так работает очередь в новом бесплатном боте @chisto_text_bot, который автор под ником kozliq собрал вокруг открытой модели GigaAM v3 от Сбера и опубликовал на Хабре.

Событие скромное по форме и большое по смыслу. Человек взял модель с лицензией MIT, запустил ее на одном ядре обычного арендованного сервера без видеокарты и получил расшифровку русской речи быстрее и точнее, чем Whisper на том же железе. Бот бесплатный, без рекламы и без подписки. Код открыт. Записи не уходят никуда, кроме вашего сервера, и удаляются сразу после ответа. Для бизнеса это не забава для Telegram. Это доказательство, что self-hosted ASR перестал быть игрушкой энтузиастов и стал рабочей альтернативой облачным API.

Что вышло и почему это событие

GigaAM v3 не новинка сама по себе, Сбер открыл модель раньше. Новое это независимые замеры на обычном процессоре и рабочий сервис вокруг модели, который держится на одном ядре. Автор замерил то, что редко кто замеряет честно. Не фреймворк в идеальных условиях, а живой подкаст с перебиваниями и жаргоном, плюс синтетическая речь с шумом. Итог прост. Минута русской речи стоит около двух секунд работы одного ядра. Час записи распознается примерно за две минуты. Памяти ест 521 мегабайт в версии e2e RNN-T.

Для сравнения, Whisper small на том же ядре ошибается в 14-18% слов и тратит от 14 до 30 секунд процессора на минуту звука. faster-whisper turbo почти догоняет по точности, 8,9% ошибок, но работает в 11 раз медленнее GigaAM и просит 2131 мегабайт памяти. В одно ядро он не влезает по скорости, а в бюджет небольшого сервера не влезает по памяти.

Минута русской речи, около 2 секунд работы одного ядра, 7,9% ошибок в словах на живом подкасте.

Whisper small на том же ядре ошибается в 14-18% слов и тратит 14-30 секунд на минуту звука.

Что это такое простыми словами

ASR, автоматическое распознавание речи, это механизм, который превращает звук в текст. Облачные API вроде SaluteSpeech берут ваш файл, уносят его на свои серверы, отдают текст и берут деньги за секунды аудио. Self-hosted ASR делает то же самое, но на вашем железе, в вашей сети, без счетов за минуты. GigaAM v3 от Сбера это модель с открытой лицензией MIT, то есть ее можно ставить к себе, модифицировать и использовать в коммерции без отчислений.

Версия e2e RNN-T важна отдельно. Она ставит пунктуацию и заглавные буквы сама, на выходе вы получаете не поток слов, а текст с запятыми, точками и предложениями. Отдельная модель восстановления пунктуации не нужна, а это минус одна нейросеть в памяти и минус одно место, где может сломаться.

Бот берет голосовые, кружки и файлы до трех часов и до двух гигабайт. Обычный Bot API отдает ботам файлы только до 20 мегабайт, этого хватает на голосовое, но не на запись созвона в WAV или видео лекции. Автор поднял локальный сервер Bot API, и тот отдает файлы до 2000 мегабайт. Это не фокус, это инженерное решение конкретной проблемы, из-за которой длинные записи раньше просто не доходили до бота.

Чем отличается от предшественников

Отличий три, и все они про деньги и надежность, а не про маркетинг.

Первое, нарезка длинных записей. GigaAM слушает куски не длиннее 20-30 секунд, а лекция или созвон идут часами. Нужно резать, но не посреди слова. Готовые VAD, голосовые детекторы активности вроде Silero, это еще одна модель и еще память. Автор пошел проще. Энергетический детектор на чистой математике. ffmpeg переводит запись в 16 кГц, моно, 16 бит, распакованный час занимает 115 мегабайт и читается через np.memmap, не грузясь в память целиком. Считается громкость кадров по 30 миллисекунд. Кадр считается паузой, если он тихий относительно этой конкретной записи, ниже десятого перцентиля плюс 8 дБ и ниже медианы минус 6 дБ, или просто тише минус 50 дБ. В окне от 10 до 20 секунд ищется самая длинная пауза, рез посередине. Если пауз нет вообще, музыка или сплошной разговор, режется место с минимальной сглаженной громкостью. Тишина короче 0,3 секунды выбрасывается, на ней модель только фантазирует.

Второе, склейка обратно. Заглавная буква на стыке кусков возвращается в строчную, если предыдущий кусок не кончился на точку, восклицательный или вопросительный знак. Абзацы ставятся по паузам, больше 1,5 секунды при абзаце от 80 знаков, больше 0,6 секунды при абзаце от 300 знаков, длиннее 550 знаков рез на ближайшем конце предложения. Часовая лекция приходит текстом с абзацами, а не одной простыней. Мелочь, но именно она отличает машинный шум от читаемого протокола.

Третье, языковой фильтр. GigaAM модель для русского. На английском или казахском она уверенно пишет ерунду латиницей или русскими буквами. Поэтому после первых 20 секунд бот проверяет текст. Если латиницы больше 40% или средний log-prob токенов ниже минус 0,25, подключается Whisper small, он определяет язык по первым 30 секундам. Не русский с уверенностью от 0,5, запись уходит целиком в Whisper. Whisper в шесть-семь раз медленнее, поэтому иностранная запись ограничена 15 минутами, а ее минута в лимитах считается за шесть. Модель Whisper примерно на полгигабайта грузится при первой нужде и выгружается после 15 минут простоя. Русские записи подавляющее большинство, Whisper большую часть времени даже не в памяти.

Замеры, которые можно проверить

Набор маленький, 22 файла подкаста "Подлодка" с эталонной расшифровкой плюс синтетическая речь, чистая и с шумом. Это не научный бенчмарк, автор прямо это говорит. Но для бизнес-решения такого набора достаточно, чтобы понять порядок цифр. Текст перед подсчетом приводится к нижнему регистру, ё меняется на е, пунктуация убирается.

Выводы из таблицы прямые. Whisper на русском на CPU проигрывает по обеим осям, точность и скорость. Turbo почти догоняет по точности, но в 11 раз медленнее и не влезает в память. RNN-T и CTC у GigaAM почти равны, взяли RNN-T, на чистой синтетике он ошибался чуть реже. Multilingual не подошла, при той же точности она в 2,5 раза медленнее, пишет без запятых, а английский выдает русскими буквами.

Кому это нужно и как применить

Сначала честный ответ. Если у вас Premium и короткие голосовые от друзей, встроенной кнопки Telegram хватит. Бот нужен в других случаях.

• Нет Premium. Без него Telegram дает только несколько пробных расшифровок в неделю.
• Групповые чаты. Админ включает /auto, бот сам расшифровывает все голосовые и кружки. Длинный текст сворачивается под "показать полностью", чтобы не занимать весь чат.
• Длинные записи. Лекция, созвон, интервью, до трех часов и до двух гигабайт одним файлом.
• Приватность. Запись не уходит ни в какое облако распознавания, все считается на вашем сервере и удаляется сразу после ответа.

Для малого бизнеса сценарии конкретные. Расшифровка созвонов с клиентами для CRM, протоколы встреч, транскрибация интервью при подборе, голосовые обращения в поддержку, которые превращаются в заявки. Есть и бот самого Сбера на SaluteSpeech, он хороший, но по описанию это витрина облачного API, запись уходит в облако Сбера. Здесь взята открытая модель того же Сбера, качество русского из той же семьи, а данные остаются на вашем сервере. Разница для компаний с персональными данными, медициной, финансами, юридическими консультациями.

Очередь устроена как round-robin по людям. Расшифровка сделана генератором, он распознает один кусок, 10-20 секунд звука, это меньше секунды работы, и отдает управление. Рабочий поток берет следующий кусок у следующего человека, а не следующей записи. Короткое голосовое ждет не дольше одного куска от каждого, кто сейчас в работе. Это та самая касса с переключением между людьми, а не между корзинами.

Это round-robin по людям. Короткое голосовое ждет не дольше одного куска от каждого, кто сейчас в работе.

Безопасность тоже продумана. ffmpeg ограничен whitelist форматов и читает только с диска, длина записи проверяется трижды, по данным Telegram, по ffprobe и по распакованному PCM. Это защита от подделки заголовков и от попыток подсунуть файл, который на деле длиннее заявленного.

Лимиты и подвох

Подвох есть, и он не в качестве модели. Он в границах.

• Одна запись до трех часов.
• Человек до 120 минут в час и до 360 минут в сутки.
• Группа до 180 минут в час.
• Пять записей в работе на человека, всего 100 записей или 8 часов.
• Иностранные записи не длиннее 15 минут, их минута считается за шесть.

GigaAM модель для русского. На других языках она уверенно пишет ерунду, и бот это чинит переключением на Whisper, но переключение стоит шестикратного налога по времени. Если у вас поток звонков на узбекском или английском, это не ваш инструмент, берите Whisper large или облачный API с нужным языком. Второе, замеры на 22 файлах подкаста. Это порядок цифр, а не гарантия для вашей записи. Если у вас диктофон с ветром, эхо в конференц-зале или сильный акцент, прогоните свой архив и посмотрите. Третье, одно ядро это про стоимость, а не про мгновенность. Час лекции распознается за две минуты, и это отлично. Но если у вас поток из сотни одновременных звонков, одно ядро не резиновое, нужно считать ядра под нагрузку.

Брать или подождать

Брать, если вам нужна приватная расшифровка русской речи и вы готовы поднять свое железо. GigaAM v3 на CPU сегодня быстрее и точнее Whisper small, ест полгигабайта памяти, ставит пунктуацию сама, код открыт под MIT. Это рабочая альтернатива облачным API, а не обещание на горизонте.

Подождать, если ваш поток мультиязычный или вам нужна расшифровка в реальном времени с задержкой меньше секунды. Бот это офлайн-транскрибация, а не стриминг. И подождать, если у вас нет человека, который поднимет сервер и разберется с очередью. Модель бесплатная, но настройка стоит времени.

FAQ

Нужна ли видеокарта

Нет. Все замеры шли на одном ядре процессора, без GPU. Модель работает через onnx-asr в режиме int8, это и дает укладку в полтора гигабайта памяти.

Можно ли использовать в коммерции

Можно. GigaAM v3 под лицензией MIT, разрешено коммерческое использование. Проверьте код бота на совместимость с вашей задачей, он тоже открыт.

Куда уходят записи

Никуда. Все считается на вашем сервере, файлы удаляются сразу после расшифровки. Облачного API распознавания в цепочке нет.

Что с пунктуацией

Версия e2e RNN-T ставит