Агентный ИИ: счёт идёт на ядра, а не на видеокарты

Принято считать, что искусственный интеллект — это видеокарты. У агентного ИИ есть и вторая половина, о которой говорят реже: сами агенты, их оркестровка, базы данных и веб-сервисы работают на обычных процессорах. Когда программных агентов в инфраструктуре становится больше, чем живых пользователей, узким местом становятся не видеокарты, а серверные ядра.

Краткое содержание

• инференс модели живёт на ускорителе, но всё вокруг агента — фреймворк, скрипты, базы, веб — это работа для процессора;
• запросов от программных агентов уже примерно столько же, сколько от людей, и счёт по ядрам растёт незаметно;
• рабочая лошадка под такой фронт — плотный двухсокетный узел: Dell PowerEdge R7725 несёт до 384 ядер EPYC Turin в 2U;
• парк считают по ядрам, памяти и питанию стойки, а не только по числу видеокарт.

Где у агента прячется работа для процессора

Разговор с языковой моделью и правда идёт на ускорителе — нередко вообще через чужой API. А вот всё вокруг этого вызова держит процессор. Фреймворк агента принимает задачу, режет её на шаги, дёргает инструменты, ходит в базы и очереди, поднимает веб-сервисы и песочницы под каждый запуск. Чем самостоятельнее агент, тем больше таких операций — и считаются они на ядрах, а не в видеопамяти.

Добавьте повторные попытки. Даже у сильных моделей часть ответов приходит в неверном формате, и примерно четверть рабочих цепочек уходит на повторный круг. Каждый круг — снова процессорное время: разобрать ответ, проверить, переформулировать, выполнить. А у агента ещё и тайм-аут: ответ нужен быстро, иначе сценарий рвётся.

Чем закрывают этот фронт: плотный узел на двух EPYC

Раз нагрузка ушла на ядра, под неё берут максимально плотные процессорные узлы. Типичная рабочая лошадка — двухсокетный сервер вроде Dell PowerEdge R7725 на процессорах AMD EPYC Turin. В корпусе высотой 2U помещается до 384 ядер — в полтора раза больше, чем у прошлого поколения той же платформы.

• два процессора AMD EPYC 9005 (Turin), до 192 ядер каждый — суммарно до 384 ядер в 2U;
• 24 слота под память, до 6 терабайт DDR5-6400 на сервер, по 12 каналов на сокет;
• 128 линий PCIe 5.0 на процессор, до восьми слотов расширения и до 40 накопителей NVMe формата E3.S;
• тепловой пакет до 500 ватт на сокет — это уже разговор про плотное охлаждение стойки.

Где подвох

Плотность по ядрам не бесплатна. Два процессора по 500 ватт плюс память и диски — это под киловатт на узел, и стойку из таких серверов считают по питанию и теплу заранее. Дальше — выбор самих чипов: под агентов нужны не редкие ядра с высокой частотой, а массовые и экономичные, где выигрывает число потоков на ватт. И главное — видеокарты никто не отменял. Это не «процессор вместо видеокарты», а трезвый расчёт обеих половин: сколько ускорителей под инференс и сколько ядер под всё остальное.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U