Parasail: инференс делят между NVIDIA и d-Matrix

Облако инференса Parasail разворачивает ускорители d-Matrix Corsair в паре с NVIDIA Hopper и Blackwell. Каждому чипу — своя фаза: видеокарты обрабатывают запрос, железо Corsair генерирует ответ. Результат впечатляет — до 10 раз быстрее выдача токенов. Гибридные связки перестают быть демо: это уже второе коммерческое внедрение такой схемы за неделю.

Краткое содержание

• Parasail ставит Corsair рядом с NVIDIA: видеокарты берут обработку запроса (prefill), Corsair — генерацию ответа (decode);
• заявлена генерация токенов до 10 раз быстрее, а также в три раза выросшая энергоэффективность — независимых тестов пока нет;
• Corsair — PCIe-карта с вычислениями прямо в памяти: 4 ГБ на кристалле со скоростью 300 ТБ/с и до 512 ГБ LPDDR5 на пару карт;
• масштаб внедрения — облако из более чем 40 дата-центров в 15 странах. Corsair пока продаёт оборудование избранным заказчикам.

Зачем инференсу два типа чипов

Запуск модели распадается на две непохожие фазы. Сначала система обрабатывает запрос и заполняет кэш — тут нужны плотные вычисления, и видеокарта на своём месте. Потом начинается генерация: ради каждого токена модель прогоняет через себя активные веса. Вычислений здесь немного, зато трафик памяти огромный — дорогая видеокарта в этой фазе загружена лишь на долю своих возможностей.

Parasail разводит фазы по разному железу: NVIDIA готовит запрос, Corsair выдаёт токены. Глава d-Matrix Сид Шет формулирует смысл этой связки так: будущее инференса — гетерогенное, видеокарты и специализированные ускорители не конкуренты, а дополнение друг к другу. Партнёры называют проект одним из первых коммерческих внедрений дезагрегированного инференса на разных типах чипов.

Corsair: вычисления внутри памяти

Ставка d-Matrix — цифровые вычисления в памяти (DIMC): матричные блоки встроены прямо в массивы SRAM на кристалле, и данные не приходится гонять между процессором и внешней памятью.

• пара карт несёт 4 ГБ набортной памяти с пропускной способностью 300 ТБ/с — на порядок быстрее HBM у современных ускорителей;
• рядом — до 512 ГБ ёмкостной LPDDR5 под веса крупных моделей;
• сервер на восемь карт: 16 ГБ быстрого слоя на 1,2 ПБ/с и до 2 ТБ ёмкостного;
• формат — PCIe-карта полной высоты, техпроцесс TSMC N6; для масштабирования на стойку есть фирменная сетевая карта JetStream;
• заявленный ориентир — 60 000 токенов в секунду на Llama3 8B при задержке 1 мс на токен.

Модели переносятся через софт-стек Aviator, совместимый с PyTorch. От его зрелости связка зависит не меньше, чем от кремния, — это вечное слабое место альтернатив NVIDIA.

Множители вендора и быстрый слой на гигабайты

Все цифры — это лишь заявления компаний. «До 10 раз» относится к интерактивному инференсу против чисто GPU-схемы, «до 3 раз» по энергоэффективности — к самой архитектуре DIMC. Независимых замеров пока нет. Есть и архитектурный нюанс: сверхбыстрой памяти в системе гигабайты, а веса крупных моделей лягут в LPDDR5, которая заметно медленнее HBM. Как связка ведёт себя на моделях, не помещающихся в быстрый слой, публично никто не показывал.

Карты продаются пока избранным заказчикам, о поставках в Россию речи нет. Показательна сама модель внедрения: GPU-парк не выбрасывают, его дополняют — порог входа для операторов с уже закупленными видеокартами получается низким.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U