Ryzen AI Halo в тестах: инференс на уровне DGX Spark

ИИ-станция AMD Ryzen AI Halo добралась до независимых тестов. В инференсе коробка со 128 ГБ памяти за 3999 долларов идёт вровень с NVIDIA DGX Spark за 4699 долларов, а местами и обходит её. Зато на дообучении моделей отстаёт в два-три раза. Разбираем, что эти замеры значат при выборе станции под локальный ИИ.

Краткое содержание

• в инференсе, где всё упирается в память, Halo не уступает DGX Spark — при цене на 700 долларов ниже;
• на дообучении — в 2–3 раза медленнее: графике RDNA 3.5 не хватает вычислений и форматов FP8/FP4;
• сеть только 10 Гбит/с против 200 Гбит/с у Spark — кластер из нескольких станций не собрать;
• софт из коробки: ROCm 7.13, vLLM, ComfyUI и 19 готовых сценариев под типовые задачи.

Что показали замеры

Задачи локального ИИ делятся на два лагеря: одни упираются в память, другие — в вычисления. Инференс — история про память: модель должна целиком поместиться рядом с ускорителем, и здесь 128 ГБ общей LPDDR5X решают. В таких сценариях Halo держится наравне со Spark, а кое-где выходит вперёд.

С дообучением картина обратная. Тонкая настройка модели Granite 4.0 Micro на 3 миллиарда параметров в 16-битной точности заняла на Halo примерно вдвое больше времени, чем на Spark, а в среднем по вычислительным задачам разрыв — два-три раза.

Причина — в графике. RDNA 3.5 с 40 вычислительными блоками выдаёт около 56 терафлопс в FP16, но компактные форматы FP8 и FP4 не поддерживает — а именно на них ускоритель Spark набирает основную скорость.

Почему память решает

Главный аргумент Halo — не скорость, а объём памяти за разумные деньги. Настольная RTX 5090 быстрее по пропускной способности почти в семь раз — 1,7 ТБ/с против 256 ГБ/с, — но несёт всего 32 ГБ видеопамяти: большая модель в неё не поместится. Профессиональная RTX Pro 6000 с 96 ГБ стоит от 13 250 долларов, и это цена одной карты, без рабочей станции.

На этом фоне 128 ГБ единой памяти за 3999 долларов — самый дешёвый вход в локальный запуск больших моделей. Версию на 192 ГБ AMD уже готовит.

Софт из коробки

Станция продаётся как готовый инструмент: предустановлены ROCm 7.13, vLLM и ComfyUI, сервер Lemonade для запуска моделей и 19 готовых сценариев — от чат-бота до генерации изображений. Для команды без опыта работы с ROCm это заметно снижает порог входа. Претензии к документации при этом остаются: гайд по vLLM, к примеру, не подсказывает, какую модель выбрать под конкретную задачу.

Где подвох

Слабых мест три. Сеть — только порт на 10 Гбит/с: у Spark для объединения машин есть каналы на 200 Гбит/с, поэтому кластер из нескольких Halo — затея с оговорками. Платформа не новая: чипу Ryzen AI Max+ 395 уже больше года, и за четыре тысячи долларов покупатель получает прошлогоднюю разработку. Наконец, дефицит памяти продолжает разгонять цены на всё, где её много, — станции со 128 ГБ на борту дешеветь в ближайшее время не будут. В Россию такие системы едут параллельным импортом, с гарантией продавца, а не AMD.

MS-S1 MAX · 64 ГБ

Для каких задач Запуск и дообучение больших языковых моделей до 200 млрд локально

Подробнее

Видеокарты

Radeon 8060S

Объем видеопамяти 64 ГБ

Процессоры

Ryzen AI Max+ 395

Количество ядер 16 Zen 5

RAM Объединена с VRAM

Форм-фактор SFF

MS-S1 MAX · 128 ГБ

Для каких задач Запуск и дообучение больших языковых моделей до 200 млрд локально

Подробнее

Видеокарты

Radeon 8060S

Объем видеопамяти 64 ГБ

Процессоры

Ryzen AI Max+ 395

Количество ядер 16 Zen 5

RAM Объединена с VRAM

Форм-фактор SFF