GigaChat 3.5 Ultra: открытые 432 млрд в своём контуре

Сбер выложил в открытый доступ GigaChat 3.5 Ultra — модель на 432 миллиарда параметров с лицензией MIT. Для бизнеса главное здесь: сильная русскоязычная модель, которую можно держать в своём контуре и дообучать под свои задачи, не отдавая данные в чужое облако. Остаётся привычный вопрос — какое железо её потянет. Считаем по видеопамяти.

Краткое содержание

• 432 млрд параметров всего, активны лишь 28 млрд — «смесь экспертов» (MoE) с гибридным вниманием;
• веса открыты на Hugging Face, лицензия MIT: FP8, BF16, GGUF и базовый чекпоинт под дообучение;
• по замерам Сбера — сильнее прежней 702-миллиардной версии и чуть выше DeepSeek V4 Flash;
• под запуск в FP8 нужно около 432 ГБ видеопамяти — это сервер с восемью ускорителями.

432 миллиарда по-новому: MoE и гибридное внимание

GigaChat 3.5 Ultra построена как «смесь экспертов» (MoE): всего 432 миллиарда параметров, на каждый токен активны лишь 28. Прежний флагман Сбера весил 702 миллиарда — новая версия на 40% компактнее и при этом, по замерам компании, сильнее: средний балл по набору тестов 72,3% против 69,6%, чуть выше DeepSeek V4 Flash. Инструктивная версия решает 42,6% задач SWE-Bench — у прошлого поколения было 8,6%. Поддержку языков программирования расширили с 16 до более чем 600.

Второй козырь — внимание. Часть слоёв заменена линейными (GatedDeltaNet), поэтому KV-кэша на токен уходит примерно вчетверо меньше, а генерация, по данным Сбера, ускорилась на 20%. Две MTP-головы добавляют спекулятивное декодирование — ещё до 2,2 раза. На длинных документах это прямая экономия видеопамяти.

Железный счёт: сколько видеопамяти

Веса лежат на Hugging Face в четырёх вариантах: рабочий FP8 (модель в нём и обучалась), BF16, GGUF-квантование и базовый чекпоинт под дообучение. Запуск — через vLLM или SGLang; в примерах Сбера модель разложена на восемь ускорителей. Прикидка по памяти такая:

• FP8 — около 432 ГБ только на веса; с KV-кэшем реальная планка — узел с восемью картами по 80–96 ГБ;
• GGUF в 4 бита — ориентировочно 220–250 ГБ: достаточно четырёх карт по 80–96 ГБ, с поправкой на потерю качества;
• BF16 — порядка 865 ГБ: вариант для дообучения и многоузловых конфигураций.

Ловушка прежняя: активны 28 миллиардов, но в памяти лежат все 432. Расчёт «раз активных мало, хватит одной карты» с MoE не работает.

Где подвох

Цифры выше — арифметика по числу параметров, а не замер: реальный аппетит зависит от длины контекста, батча и движка. Бенчмарки пока тоже только от самого Сбера, независимых прогонов нет. Главный практический барьер — сами карты: узел с 600–800 ГБ видеопамяти в России собирается параллельным импортом, под заказ и не за неделю. Есть и хорошая новость: экономный KV-кэш гибридного внимания означает, что длинный контекст не раздувает требования к памяти так, как у классических трансформеров.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U