DiffusionGemma: 26B на одной карте и в разы быстрее

Google выложила DiffusionGemma — открытую модель, которая генерирует текст не по одному токену слева направо, а блоками сразу, через диффузию. Результат — скорость в разы выше обычных моделей. При этом она компактная: после сжатия помещается примерно в 18 гигабайт видеопамяти и работает на одной рабочей станции, без серверной стойки. Лицензия Apache 2.0, в коммерцию брать можно.

Краткое содержание

• архитектура Gemma 4, «смесь экспертов»: 26 млрд параметров всего, активны лишь 3,8 млрд;
• генерирует текст блоками по 256 токенов через диффузию, а не по одному токену подряд — отсюда скорость;
• свыше 1000 токенов в секунду на NVIDIA H100 и больше 700 на настольной RTX 5090;
• после сжатия около 18 ГБ видеопамяти, лицензия Apache 2.0 — хватает одной рабочей станции.

Чем диффузия отличается от обычной генерации

Привычные языковые модели пишут текст слева направо, по одному токену за шаг: каждое следующее слово опирается на предыдущее. DiffusionGemma устроена иначе. Она берёт «холст» на 256 токенов и заполняет его целиком, а потом за несколько проходов очищает от шума — как проявляющаяся фотография. Внутри блока внимание работает в обе стороны, и токены уточняют друг друга параллельно. Меньше последовательных шагов — выше пропускная способность.

• база — Gemma 4 на «смеси экспертов»: 26 млрд параметров, в работе одновременно 3,8 млрд;
• генерация блоками по 256 токенов с двусторонним вниманием вместо токена за токеном;
• по описанию Google понимает не только текст, но и изображения с видео; на выходе — текст.

Скорость и железо

Скорость и требования к железу — вот где модель выигрывает. На NVIDIA H100 она выдаёт больше тысячи токенов в секунду, на настольной RTX 5090 — за 700. После квантизации в 4-битный формат NVFP4 весит около 18 гигабайт, а значит влезает в одну видеокарту на 24 гигабайта. Никакой стойки и связки из нескольких ускорителей — обычная рабочая станция.

• после квантизации (4-битный NVFP4) — около 18 ГБ видеопамяти, хватает одной карты на 24 ГБ;
• запуск через vLLM, Transformers, llama.cpp и MLX; веса на Hugging Face, Kaggle и Vertex AI;
• заявленный прирост скорости — четырёхкратный против сопоставимых обычных моделей.

Где подвох

За скорость приходится платить точностью. На классических тестах вроде MMLU и в задачах на код DiffusionGemma уступает обычной Gemma 4 того же поколения — это размен качества на пропускную способность, а не бесплатный обед. Сама диффузионная генерация текста — технология свежая, инструментов вокруг неё пока меньше, чем вокруг привычных моделей. Но если задача не выжать максимум в бенчмарках, а быстро и дёшево обрабатывать поток на месте — чат, суммаризация, разбор документов, — то размен выглядит выгодным.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U