Ryzen AI Halo в тестах: инференс на уровне DGX Spark

ИИ-станция AMD Ryzen AI Halo добралась до независимых тестов. В инференсе коробка со 128 ГБ памяти за 3999 долларов идёт вровень с NVIDIA DGX Spark за 4699 долларов, а местами и обходит её. Зато на дообучении моделей отстаёт в два-три раза. Разбираем, что эти замеры значат при выборе станции под локальный ИИ.

Краткое содержание

• в инференсе, где всё упирается в память, Halo не уступает DGX Spark — при цене на 700 долларов ниже;
• на дообучении — в 2–3 раза медленнее: графике RDNA 3.5 не хватает вычислений и форматов FP8/FP4;
• сеть только 10 Гбит/с против 200 Гбит/с у Spark — кластер из нескольких станций не собрать;
• софт из коробки: ROCm 7.13, vLLM, ComfyUI и 19 готовых сценариев под типовые задачи.

Что показали замеры

Задачи локального ИИ делятся на два лагеря: одни упираются в память, другие — в вычисления. Инференс — история про память: модель должна целиком поместиться рядом с ускорителем, и здесь 128 ГБ общей LPDDR5X решают. В таких сценариях Halo держится наравне со Spark, а кое-где выходит вперёд.

С дообучением картина обратная. Тонкая настройка модели Granite 4.0 Micro на 3 миллиарда параметров в 16-битной точности заняла на Halo примерно вдвое больше времени, чем на Spark, а в среднем по вычислительным задачам разрыв — два-три раза.

Причина — в графике. RDNA 3.5 с 40 вычислительными блоками выдаёт около 56 терафлопс в FP16, но компактные форматы FP8 и FP4 не поддерживает — а именно на них ускоритель Spark набирает основную скорость.

Почему память решает

Главный аргумент Halo — не скорость, а объём памяти за разумные деньги. Настольная RTX 5090 быстрее по пропускной способности почти в семь раз — 1,7 ТБ/с против 256 ГБ/с, — но несёт всего 32 ГБ видеопамяти: большая модель в неё не поместится. Профессиональная RTX Pro 6000 с 96 ГБ стоит от 13 250 долларов, и это цена одной карты, без рабочей станции.

На этом фоне 128 ГБ единой памяти за 3999 долларов — самый дешёвый вход в локальный запуск больших моделей. Версию на 192 ГБ AMD уже готовит.

Софт из коробки

Станция продаётся как готовый инструмент: предустановлены ROCm 7.13, vLLM и ComfyUI, сервер Lemonade для запуска моделей и 19 готовых сценариев — от чат-бота до генерации изображений. Для команды без опыта работы с ROCm это заметно снижает порог входа. Претензии к документации при этом остаются: гайд по vLLM, к примеру, не подсказывает, какую модель выбрать под конкретную задачу.

Где подвох

Слабых мест три. Сеть — только порт на 10 Гбит/с: у Spark для объединения машин есть каналы на 200 Гбит/с, поэтому кластер из нескольких Halo — затея с оговорками. Платформа не новая: чипу Ryzen AI Max+ 395 уже больше года, и за четыре тысячи долларов покупатель получает прошлогоднюю разработку. Наконец, дефицит памяти продолжает разгонять цены на всё, где её много, — станции со 128 ГБ на борту дешеветь в ближайшее время не будут. В Россию такие системы едут параллельным импортом, с гарантией продавца, а не AMD.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U