SambaNova SN50: 763 токена в секунду в связке с H200

SambaNova показала гибридную схему ИИ-инференса: видеокарты NVIDIA и её собственные ускорители SN50 работают в одной связке, каждый тип чипа — на своей фазе. По замерам Artificial Analysis — 763 токена в секунду на модели MiniMax M2.7 в разы быстрее платформ на одних GPU. Инвесторы добавили веса: миллиард долларов первым траншем при оценке компании в 11 миллиардов.

Краткое содержание

• Дезагрегированный инференс: запрос обрабатывают четыре NVIDIA H200, ответ генерирует стойка SambaRack на 16 чипах SN50;
• По замерам Artificial Analysis — 763 токена в секунду на MiniMax M2.7, на длинном контексте — свыше 450;
• SN50 — реконфигурируемый потоковый процессор (RDU) под фазу генерации, где всё упирается в память; охлаждение воздушное;
• Раунд F: первый транш 1 миллиард долларов во главе с General Atlantic, оценка — 11 миллиардов; среди инвесторов есть такие гиганты, как Intel.

Две фазы инференса — два типа железа

Запуск большой языковой модели складывается из двух непохожих задач. Сначала модель читает запрос и строит кэш внимания — это массово-параллельные вычисления, в которых GPU сильны. Затем начинается генерация: токены выходят по одному, и на каждом шаге через память прогоняются активные веса модели. Вычислений здесь немного, зато пропускная способность памяти решает всё.

SambaNova разводит эти фазы по разному железу. Обработку запроса берут на себя четыре NVIDIA H200, а генерацию — стойка SambaRack с шестнадцатью чипами SN50. Это реконфигурируемые потоковые процессоры (RDU), спроектированные под задачи, которые упираются в память, а не в вычисления. Стойка охлаждается воздухом и встаёт в обычную серверную. Варианты на 128 и 256 ускорителей обещают показать в ближайшие месяцы.

Что показали замеры

Цифры снимала независимая лаборатория Artificial Analysis. На MiniMax M2.7 связка выдала 763 токена в секунду при входном запросе около 10 тысяч токенов, на длинном контексте держала свыше 450. Сама SambaNova говорит о пиковых 850 токенах в секунду. Провайдеры инференса на одних GPU, по тем же замерам, отстают в разы.

Интереснее сам прецедент. Стартапы обычно противопоставляют своё железо NVIDIA, но SambaNova поставила его с ним в пару: H200 занимаются тем, что у них получается лучше всего, а узкое место генерации закрывает специализированный чип. Заодно это способ продлить жизнь уже купленным GPU. Первым связку разворачивает облачный провайдер Vector Core Compute, месяцем раньше крупным заказчиком SambaNova стала Together AI.

Где подвох

Показ на конференции RAISE Summit 2026 — превью, а не серийный продукт. Замеры есть на одной модели: как связка поведёт себя на других архитектурах и в реальном потоке запросов, ещё предстоит проверить. Купить SN50 как карту в свой сервер нельзя — решение продаётся стойками, адресат — облачные провайдеры инференса и крупные ИИ-парки. Для России история и вовсе заочная: таких поставок нет даже по каналам параллельного импорта. Остаётся и вопрос экосистемы — это не CUDA, модель под потоковую архитектуру нужно портировать, а эксплуатация двух типов железа в одном конвейере сложнее однородного парка.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U