SanDisk HBF: флеш вместо HBM — до 16 раз больше памяти

SanDisk завершила проектирование первого чипа флеш-памяти HBF — многослойной NAND-структуры, которую разработчики прочат в компаньоны GPU вместо части дорогой HBM. Для бизнеса, который считает стоимость инференса больших языковых моделей, это разговор о капитальных затратах: меньше ускорителей ради того же объёма памяти.

Краткое содержание

• стек HBF первого поколения — 512 ГБ и 1,6 Тбайт/с на чтение;
• образцы — в 2027 году, серийное производство — в 2028-м;
• на весах Llama 3.1 405B чтение медленнее HBM всего на 2,2%;
• в консорциуме — Google, SK hynix, Tenstorrent и другие.

Что такое HBF и чем она отличается от HBM

HBM — это стек кристаллов DRAM: быстрая, но энергозависимая и дорогая память, которая обнуляется без питания. HBF (High Bandwidth Flash) устроена похоже: тот же принцип плотной укладки кристаллов рядом с ускорителем, только внутри лежит NAND-флеш. Отсюда две практические разницы: данные не теряются при отключении питания, а ёмкость на кристалл получается кратно выше, чем у DRAM. SanDisk использует запатентованную технологию снижения механических напряжений в стеке и улучшенного отвода тепла — она и позволяет уложить в один стек 16 кристаллов, не потеряв в надёжности.

Дорожная карта: три поколения HBF

• 1-е поколение: 512 ГБ на стек, 1,6 Тбайт/с на чтение;
• 2-е поколение: 1 ТБ на стек, свыше 2 Тбайт/с, энергопотребление ниже на 20%;
• 3-е поколение: 1,5 ТБ на стек, свыше 3,2 Тбайт/с, энергопотребление ниже на 36%.

По заявлению SanDisk, при сравнимой цене и близких габаритах и энергопотреблении HBF даёт в 8–16 раз больше ёмкости, чем HBM. Это не замена HBM целиком, а второй уровень памяти рядом с ускорителем — для данных, которым важнее объём, чем последняя микросекунда задержки.

Что это даёт бизнесу: капитальная эффективность инференса

Компания приводит расчёт: связка «один GPU плюс HBF» способна заменить по объёму памяти восемь GPU с HBM, с восьмикратной экономией на капитальных затратах. А связка из четырёх GPU с HBF выдаёт столько же токенов, сколько восемь GPU с HBM — кластер инференса можно вдвое сократить по числу ускорителей. Особенно это заметно там, где в объём HBM упираются раньше, чем в вычислительную мощность: инференс MoE-моделей с активной лишь частью параметров, длинный контекст, большие KV-кэши.

Сроки: серийных продуктов ждать до 2028 года

Пока это готовая топология кристалла, а не серийный продукт. Образцы SanDisk обещает в 2027 году, массовое производство — не раньше 2028-го. За это время конкуренцию составят следующие поколения самой HBM, а итоговая экономика будет зависеть от того, насколько дружно за HBF встанет консорциум — сейчас в нём заявлены Google, SK hynix, Tenstorrent и ряд других игроков. Закладывать HBF в бюджет закупок 2026–2027 годов преждевременно, но в дорожную карту инфраструктуры под ИИ-инференс на 2028 год эту технологию уже стоит внести отдельной строкой.

Rackstation AI

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Devbox AI

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Scale

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

HPC 4000

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

HPC 8000

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

HGX H200

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U