d-Matrix Raptor: 3D-DRAM против HBM в ИИ-ускорителях

На Hot Chips 2026 d-Matrix показала ускоритель Raptor — карту, где логика стекирована прямо на кристалл 3D-DRAM, без единого чипа HBM. Заявленная пропускная способность — около 100 ТБ/с, а энергии на бит уходит в разы меньше, чем у HBM4. Для бизнеса это шанс обойти главный дефицит ИИ-инфраструктуры — нехватку и дороговизну HBM.

Краткое содержание

• 32 ГБ памяти 3D-DRAM на карту, логика стекирована прямо на кристалл памяти — без интерпозера и отдельных чипов HBM;
• пропускная способность около 100 ТБ/с, плотность на кристалле в 20 раз выше, чем у HBM4;
• энергоэффективность в 13,5 раза выше, чем у платформы NVIDIA Rubin R200;
• расчёт на фазу декодирования в LLM-инференсе — до 1000 токенов в секунду на пользователя для модели на 3 трлн параметров.

Проблема, которую решает Raptor

Raptor нацелен на стадию декодирования при инференсе больших языковых моделей. Именно она съедает основную часть времени: система построчно генерирует токены и всякий раз обращается к памяти за огромным объёмом данных модели и кэша. Пропускная способность памяти давно стала главным тормозом, а не вычислительная мощность самого процессора.

Обычный ответ на эту проблему — HBM: быстрая, но дорогая и дефицитная память, которая ставится рядом с логикой через интерпозер. d-Matrix пошла другим путём — стекировала логическое ядро (техпроцесс TSMC N4) напрямую на кристалл памяти, лицом к лицу, с шагом соединений всего 36 микрон. Интерпозер и отдельные чипы HBM просто не нужны.

• 32 ГБ памяти 3D-DRAM на одну карту, стекирование «1-Hi» лицом к лицу;
• пропускная способность — около 100 ТБ/с;
• плотность — 32,6 ГБ/с на квадратный миллиметр кристалла;
• до 1000 токенов в секунду на пользователя для модели на 3 трлн параметров с контекстом в 1 млн токенов;
• масштабирование — до 72 карт в одной стойке для самых крупных моделей.

Цифры против HBM4 и NVIDIA Rubin R200

По заявлению d-Matrix, Raptor даёт двадцатикратное преимущество в пропускной способности на квадратный миллиметр кристалла по сравнению с HBM4 и в 13,5 раза эффективнее по энергопотреблению, чем платформа NVIDIA Rubin R200: 2,96 милливатта на гигабайт в секунду против примерно 40 милливатт. Если цифры подтвердятся на реальном железе, для дата-центра это ощутимая разница в счетах за электричество и в тепловой нагрузке на стойку.

Компания показала и инженерные решения под капотом: Stream Blocking убирает до 33% потерь пропускной способности, Stream Flipping экономит около 20% энергии на вводе-выводе, а термически адаптивное обновление и коррекция ошибок держат чип в рабочем состоянии при температуре кристалла до 105 градусов. Отдельный механизм Bank Chaining отвечает за отказоустойчивость при сбое одного из банков DRAM.

Что настораживает: пока только доклад, не поставка

Raptor — это раскрытие архитектуры на конференции Hot Chips, а не анонс продукта с датой поставки и ценой. Компания не назвала ни сроков коммерческой доступности, ни партнёров по внедрению, ни независимых тестов производительности за пределами собственных презентаций. Путь предыдущего ускорителя d-Matrix, Corsair, от архитектурного анонса до реальных поставок занял больше года — с Raptor стоит ждать похожего графика.

Есть вопрос и к самой идее: логика и память на одном кристалле сложнее в производстве и ремонте, чем связка через интерпозер, — при выходе из строя одного элемента менять придётся всю сборку целиком. Для закупщика это повод не закладывать Raptor в бюджет прямо сейчас, а следить за независимыми тестами, когда появится реальное железо.

Rackstation AI

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Devbox AI

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Scale

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

HPC 4000

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

HPC 8000

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

HGX H200

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U