Замена HBM: SK Hynix и Sandisk анонсировали новый тип памяти HBF для нейросетей

Индустрия искусственного интеллекта столкнулась с серьёзной проблемой. Современным нейросетям катастрофически не хватает объёма сверхбыстрой памяти HBM, а её производство обходится компаниям слишком дорого. Инженеры SK Hynix и Sandisk решили разорвать этот замкнутый круг. Они объявили о создании совершенно нового стандарта памяти под названием High-Bandwidth Flash (HBF). Это нечто промежуточное между NAND (недорогая, много ёмкости, но умеренная скорость), а также многослойной HBM (дорогая, быстрая, но мало ёмкости).

Краткое содержание

• Компании SK Hynix и Sandisk разрабатывают новый стандарт памяти HBF для ИИ-ускорителей;
• Технология базируется на основе NAND-памяти, но распаивается как HBM прямо на кристалле GPU;
• Новый формат предложит ёмкость в 8–16 раз больше по сравнению с актуальной HBM;
• Пропускная способность первого поколения HBF достигнет внушительных 1,6 ТБ/с.

Золотая середина для нейросетей

Архитектура HBF занимает уникальное место в иерархии компьютерного железа. Она располагается ровно между сверхбыстрой, но тесной HBM-памятью и объёмными, но медленными SSD-накопителями. Инженеры Sandisk опираются на свою фирменную технологию пространственной компоновки чипов NAND. Это позволяет собирать высокие стеки из шестнадцати кристаллов.

Первое поколение HBF получит объём до 512 ГБ на один стек при скорости чтения около 1,6 ТБ/с. Для сравнения, габариты и энергопотребление новинки почти полностью совпадают со спецификациями будущей HBM4. Это значит, что производителям видеокарт не придётся кардинально переделывать компоновку своих графических процессоров. Главный плюс новинки заключается в энергонезависимости. Флеш-память не требует постоянной подачи питания для регенерации данных, что сильно снижает общее потребление энергии сервером.

Внутренние тесты Sandisk показывают отличные результаты. При работе с тяжёлой языковой моделью Llama 3.1 новая память уступает HBM всего на два процента. Это открывает дорогу к созданию относительно недорогих, но очень мощных систем для локального запуска нейросетей.

Если ты планируешь разворачивать корпоративные нейросети уже сегодня, тебе понадобится проверенное железо. Обрати внимание на наши GPU-серверы, которые легко справятся с круглосуточными нагрузками при инференсе и обучении моделей.

Взгляд в будущее

Компании уже передали спецификации HBF в консорциум Open Compute Project для стандартизации. Разработчики не планируют останавливаться на достигнутом. В дорожной карте инженеры уже прописали параметры второго и третьего поколений новой памяти. Скорость передачи данных в них вырастет до 2 и 3,2 ТБ/с соответственно, а максимальный объём одного стека достигнет невероятных 1,5 ТБ.

Появление таких чипов сильно снизит порог входа в сферу машинного обучения. Компании смогут закупать меньше физических серверов и получать ту же вычислительную мощность. Кроме того, раз память позиционируется как энергонезависимая, потенциально возможно её применение и в SSD-накопителях с невероятной скоростью передачи данных.