CXL: вторая жизнь старой памяти под ИИ-инференс

Дорогие ускорители всё чаще простаивают не из-за нехватки вычислений, а потому что упираются в память. Технология CXL предлагает обходной путь: подключать к серверу дополнительную память по линиям PCIe, в том числе недорогую DDR4. Корейская Panmnesia выпустила для таких пулов коммутатор стандарта CXL 3.2, а крупные операторы ЦОД уже экономят на этом серверы под инференс.

Краткое содержание

• CXL подключает к серверу дополнительную память по линиям PCIe — поверх локальных модулей и без замены платформы;
• Panmnesia выпустила первый коммутатор с полной поддержкой CXL 3.2 и задержкой в десятки наносекунд;
• через CXL в дело идёт даже старая память DDR4 со списанных серверов — как расширение рядом со свежей DDR5;
• по данным крупного гиперскейлера, приём дал до четверти меньше серверов под распределённый инференс.

В чём идея CXL

CXL (Compute Express Link) — это стандарт, который позволяет подключать память по линиям PCIe, а не только в слоты на материнской плате. Линии те же, что идут к видеокартам и накопителям. Для сервера такая память выглядит как ещё один большой пул: её добавляют сверх того, что влезает в обычные слоты DIMM, объединяют в общий ресурс на несколько машин или собирают из модулей разных поколений. Свежая версия стандарта, CXL 3.2, добавляет развитую коммутацию: память и ускорители можно связать в большую фабрику.

Коммутатор Panmnesia и память из старых модулей

Конкретики добавили сразу две новости. Корейская Panmnesia показала предсерийный коммутатор: один кристалл держит сразу PCIe и CXL и, по словам компании, первым полностью реализует спецификацию CXL 3.2. Через него в одну фабрику связываются видеокарты, процессоры, модули памяти и ИИ-ускорители, а каскадом — тысячи устройств в нескольких стойках. Заявленная задержка измеряется десятками наносекунд, скорость соответствует PCIe шестого поколения.

Вторая линия — экономика. Крупный американский гиперскейлер собрал собственный CXL-контроллер, чтобы дать вторую жизнь памяти DDR4 со списанных серверов: её подключают к новым машинам как расширение рядом со свежей DDR5. По опубликованным данным, приём дал до 25% меньше серверов под распределённый инференс, а задержку в кэшах снизил на 29%.

Что это даёт бизнесу

Память сегодня — дефицитный и дорогой ресурс, особенно быстрая HBM на ускорителях. CXL даёт ей разгрузку: объём, в который не помещается контекст модели или кэш, можно вынести на CXL-память, а не докупать ещё одну видеокарту ради гигабайтов. Для парка это ещё и про деньги: в дело идут уже оплаченные модули DDR4, а не новые закупки. На современных серверах с PCIe 5.0 (Intel Xeon и AMD EPYC последних поколений) поддержка CXL уже есть, а модули-расширители памяти выпускают Samsung, SK Hynix и Micron.

Где подвох

CXL-память — не замена локальной, а ярус ниже. Она заметно медленнее: пропускная способность на порядок ниже, а задержка выше, чем у модулей в обычных слотах. Поэтому горячие данные держат в локальной памяти, а на CXL выносят объёмные, но не самые требовательные к скорости нагрузки. Нужна и поддержка со стороны системы: операционная система должна сама раскладывать данные по ярусам. Самые продвинутые сценарии вроде общей фабрики на стандарте 3.2 и коммутаторов Panmnesia пока предсерийные и нацелены на крупные ЦОД, а не на отдельный сервер. В России свежие платформы под CXL едут параллельным импортом со своими сроками.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U