125B-модель на AMD Strix Halo: 96 ток/с без дискретной видеокарты
PrimeCoder · 2026 · формат: tech
Разбор новинки простыми словами: что это, кому нужно и брать ли.
Локальный инференс крупных MoE-моделей перестаёт требовать дискретную GPU: один мини-ПК с унифицированной памятью закрывает агентские задачи с рабочим контекстом до 32k, что ломает экономику облачных API для чувствительных данных.
Связанные услуги: каталог, AI Boost Team, стать клиентом.
125 млрд параметров. Встроенная графика. 128 ГБ обычной памяти.
Автор под ником sN00b1 собрал на AMD Strix Halo локальный LLM-сервер: Qwen3.8-Flash-Next через движок HALOGEN, Fedora 43 Server, OpenAI-совместимый API с ключом доступа и четырьмя параллельными сессиями. И прогнал по живому эндпоинту LLMPerf, а не пересказал обещания из readme. Именно замеры тут и есть новость.
Скорость записи держится на уровне ~95–98 ток/с от 8k до 128k контекста. Раньше в таких обзорах главной болью была «просадка на длинном контексте». Оказалось, просадки нет.
Запись — константа ~95–98 ток/с на всём диапазоне контекстов. «Деградации от длины контекста» не существует — её имитировали паузы размышлений (разница до 36×).
Что собрали и на чём
Считает не одна большая плотная сеть, а смесь экспертов. Полная ёмкость 125 млрд параметров, на каждом токене активируется около 6 млрд. Внутри 48 слоёв, 512 routed-экспертов плюс один shared, из routed работает 10. Отдельно живёт N-gram embedding table примерно на 51 млрд параметров и MTP-head на 4 млрд — его используют как draft для ускорения генерации.
Нативный контекст 262 144 токена, через YaRN растягивается до миллиона. И вот здесь самый интересный поворот: миллион токенов укладывается примерно в 39 ГиБ памяти. Для владельца это значит, что «длинный контекст» перестаёт быть отдельной статьёй расходов.
Диск: основной checkpoint 62,1 GiB плюс N-gram-таблица 47,7 GiB, итого около 110 GiB. Свободного места закладывать 120–140 ГБ, с запасом на служебные файлы и обновления. Опциональная поддержка изображений добавляет 0,84 GiB, draft-head для стороннего GGUF — 1,42 GiB.
Снаружи торчит порт 9091, внутри контейнера — 8731. Ключ, четыре слота сессий, знакомый OpenAI-формат запросов. Всё.
Чем это отличается от «просто ещё одного inference-сервера»
Привычная схема: дискретная карта, десятки гигабайт VRAM, модель обязана влезть в этот объём целиком. Strix Halo устроен иначе — CPU и встроенный gfx1151 делят одну LPDDR5X. Отдельной VRAM физически нет. Поэтому HALOGEN пишет веса в собственный формат .hgn, не пытается скопировать весь комплект в «видеопамять» и держит N-gram-таблицу через memory mapping.
Широким инструментом это не делает. Движок заточен под одну архитектуру GPU и одну линейку моделей — универсальной заменой llama.cpp или vLLM он не будет. Зато на своём участке даёт то, чего от встроенной графики никто не ждал.
Первая грабля обнаруживается в BIOS. Параметр UMA Frame Buffer надо ставить в минимальное фиксированное значение, а не оставлять Auto. Большой статический резерв под iGPU просто съедает доступную RAM, а движку нужна обычная память хоста.
Факт → что это значит для бизнеса
| Факт | Что это значит |
|---|---|
| 125B всего, ~6B активных на токен | Ёмкость крупной модели при вычислительной нагрузке малой. Потолок по железу упирается в память, а не в такты |
| Запись 96,4 ток/с на 8k и 94,5 на 128k | Длина контекста перестаёт быть рычагом скорости. Планировать бюджет времени можно по одному числу |
| Чтение ~2 000 ток/с, TTFT от 4,2 с до 66 с | Узкое место — не генерация, а приём контекста. Оно и задаёт комфортную границу |
| Агентский шаг: ~6 с на 8k, ~18 с на 32k, ~68 с на 128k | Рабочий контекст для агентов — примерно до 32k. Дальше цикл разваливается по времени |
| При c=4 суммарно ~76 ток/с, +27% throughput, TTFT хуже в 2–5 раз | Четыре слота нужны для многоклиентного API, а не для ускорения одного запроса |
| Миллионный контекст через YaRN ≈ 39 ГиБ | Длинные документы и история переписки не требуют второго сервера |
| Веса ~110 GiB, на диске 120–140 ГБ | Порог входа — не видеокарта, а NVMe и терпение на первую загрузку |
Кому это нужно
Первый сценарий — данные, которые нельзя отправлять наружу. Договоры, выписки, внутренние регламенты, переписка с клиентами. Пока такой запрос идёт в облачный API, вы платите за токены и за юридический риск одновременно. Один мини-ПК в офисе снимает вторую часть уравнения; первая превращается в фиксированные амортизацию и электричество.
Второй — агентские пайплайны на потоке документов. Классификация, извлечение полей, черновики ответов, разбор тикетов. Здесь важно не «умнее всех», а предсказуемость шага: 18 секунд на 32k контекста — это уже проектируемая величина, под неё считается очередь и SLA.
Третий — внутренний API для команды. Четыре сессии и ключ доступа закрывают небольшую группу. Один поток быстрее, но четыре клиента в сумме дают больше при той же машине.
Где подвох
Стриминг придётся чинить руками. На длинных контекстах при c=4 поток молчит достаточно долго, прокси начинает слать keep-alive-пинги, и наивный SSE-парсер llmperf на них падает. Лечится игнорированием комментариев и разбором только строк data: — но знать это надо до того, как «сервер не отвечает».
Второе — модель думает перед ответом. Паузы размышлений искажают любые замеры. Свободная генерация на 128k показывала жалкие 2,6 ток/с, и это артефакт измерения, а не железо. Для замеров отключали штатным для Qwen3 параметром enable_thinking: false и добавляли ignore_eos: true, чтобы модель не останавливалась после пары сотен токенов.
Третье — масштаб. При c=16 сервер уже не переваривает нагрузку. Четыре слота это потолок, а не стартовая конфигурация. И длинные одиночные запросы выгоднее отправлять по одному: батчинг замедляет каждый из них по TTFT в 2–5 раз.
Брать или подождать
Берите, если у вас есть чувствительные данные, агентские задачи с контекстом до 32k и готовность один раз повозиться с BIOS, контейнером и парсером стрима. Экономика считается не по токенам, а по амортизации машины, и при стабильном потоке запросов она сходится.
Ждите, если нужен высокий параллелизм, работа с контекстом далеко за 32k в реальном времени или поддержка моделей на выбор. Здесь четыре слота и TTFT в 66 секунд на 128k ставят предел, который движком не обойти.
Вердикт
Событие не в том, что «завелось». Завелось и раньше, тихо и на двух tok/s. Событие в замерах: 96 ток/с записи, линейное чтение под 2000 ток/с, отсутствие деградации от длины контекста и миллион токенов в 39 ГиБ. Это первый случай, когда машина без дискретной GPU отчитывается цифрами, пригодными для проектирования сервиса.
Ставить её в продакшн «на всякий случай» смысла нет. Ставить под конкретный агентский контур с понятным потоком задач и контекстом до 32k — вполне.
FAQ
Нужна ли дискретная видеокарта?
Нет. Работает на встроенной графике gfx1151 с унифицированной памятью 128 ГБ. Отдельной VRAM в этой схеме не существует.
Почему 96 ток/с, а в обзорах пишут про 54?
Разные режимы. 54 ток/с — базовая генерация из документации, до 94 — благоприятный сценарий speculative decoding. Форсированный стрим в замерах стабильно дал ~96.
Можно ли отдать всей команде?
Можно, но аккуратно. Четыре параллельные сессии — предел; на c=16 сервер захлёбывается. Внутри четырёх суммарный throughput растёт примерно на 27%, а TTFT каждого запроса — в 2–5 раз.
Какой контекст считать рабочим?
До 32k. Агентский шаг там занимает около 18 секунд. На 128k это уже ~68 секунд, годится для пакетной обработки, не для диалога.
Что сделать на этой неделе
Возьмите один реальный процесс — разбор входящих договоров или сортировку тикетов — и посчитайте, сколько токенов контекста он реально требует. Если ответ укладывается в 32k, дальше имеет смысл считать не стоимость API, а стоимость машины, электричества и часа инженера на настройку. Если не укладывается — этот сервер вам пока не нужен, и лучше узнать об этом до покупки железа.