ASUS UGen300: ИИ на 40 TOPS в размере флешки

ASUS начала продажи UGen300 — внешнего ИИ-ускорителя размером с флешку: чип Hailo-10H на 40 TOPS, 8 гигабайт памяти LPDDR4 и разъём USB-C. За 300 долларов устройство даёт любому компьютеру локальный инференс без встроенного NPU, выделенного сервера и связи с облаком.

Краткое содержание

• чип Hailo-10H — до 40 TOPS на INT4 и 20 TOPS на INT8, память 8 ГБ LPDDR4-4266;
• подключение по USB-C 3.2 Gen1 (10 Гбит/с), поддержка Windows, Linux и Android на x86 и ARM;
• вес около 150 граммов, энергопотребление менее 2,5 Вт, есть версия M.2 за 260 долларов;
• инференс идёт на месте: данные не покидают устройство и офис.

Что внутри USB-модуля

UGen300 включается в обычный порт USB-C и берёт на себя часть нагрузки, которую иначе несёт процессор или встроенный NPU хост-машины. Из фреймворков заявлены Keras, TensorFlow, TensorFlow Lite, PyTorch и ONNX, так что готовую модель можно запустить без переписывания под экзотический стек.

• чип Hailo-10H, 40 TOPS (INT4) / 20 TOPS (INT8);
• 8 ГБ LPDDR4-4266 на борту — под веса модели и промежуточные вычисления;
• габариты 105×50×18 мм, масса около 150 г;
• цена 300 долларов за USB-версию, 260 долларов за модуль M.2 с той же начинкой;
• версия с 2 ГБ памяти в разработке, сроков ASUS пока не называет.

Кому это заменит целый ИИ-ПК

Такой модуль ждут не в дата-центре, а на периферии. Филиальные рабочие места, киоски, старые станции без своего NPU — там, где нужно быстро добавить распознавание образов или локальный запуск небольшой языковой модели. Парк компактных ИИ-ПК вроде станций на Ryzen AI Max стоит тысячи долларов за штуку и означает полную замену рабочего места. Воткнуть в существующий компьютер модуль за 300 долларов на порядок дешевле, если задача укладывается в его возможности.

Второй довод — данные остаются на площадке. Для видеоаналитики в торговом зале, распознавания брака на конвейере или обработки документов с персональными данными это снимает вопрос передачи информации во внешние облачные сервисы, которые на многих объектах и так под запретом.

Что упирается в память и канал USB

8 гигабайт делятся между весами модели и её рабочим состоянием. Хватит на компактную квантованную модель, но не на что-то крупнее нескольких миллиардов параметров. Канал USB 3.2 Gen1 на 10 гигабит в секунду тоже не резиновый: для одного потока видео или текста достаточно, а несколько камер высокого разрешения на одном модуле уже упрутся в скорость передачи.

40 TOPS на INT4 — это уровень NPU в современном смартфоне, а не ускорителя для промышленного инференса. Устройство закрывает узкую задачу и не заменяет GPU-сервер под нагрузку в масштабе цеха или сети филиалов. Официальных поставок в Россию у ASUS нет, так что модуль пойдёт через параллельный импорт, без локальной гарантии и сервиса.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U