Лучшие процессоры для искусственного интеллекта: как выбрать CPU для ИИ-сервера

В ИИ-сервере процессор выбирают под GPU, а не наоборот. CPU должен дать ускорителям достаточно линий PCIe, пропускной способности памяти и ресурсов для подготовки данных, сети и хранилища. Поэтому процессор с большим числом ядер не всегда сделает GPU-систему быстрее — иногда он просто увеличит стоимость сервера.

Сложность в том, что требования меняются вместе с конфигурацией. Рабочей станции с одной-двумя GPU нужен один класс платформы, серверу на четыре-восемь ускорителей — другой. Для CPU-only инференса логика снова меняется: там уже сильнее влияют ядра, память и поддерживаемые инструкции.

В статье разберём, как выбирать процессор для искусственного интеллекта под эти сценарии. Сравним актуальные на август 2026 года Intel Xeon, AMD EPYC и AMD Threadripper PRO и покажем, где старший SKU даёт пользу, а где за него нет смысла переплачивать.

Роль CPU в ИИ-сервере: за что отвечает процессор

В обучении нейросетей и LLM-инференсе основную математику обычно выполняют GPU-ускорители. CPU управляет хостовой частью системы: ОС, процессами, вводом-выводом и этапами конвейера, которые не вынесены на GPU, DPU или отдельный узел.

Данные при этом не обязаны проходить через системную память CPU. GPUDirect Storage позволяет организовать DMA-путь между хранилищем и памятью GPU, а GPUDirect RDMA — прямой обмен между сетевой картой и GPU. CPU участвует в управлении передачей, но сам поток данных может идти между устройствами напрямую.

Главная задача CPU в GPU-системе — не стать узким местом. Если хостовая часть не успевает готовить задания, ускорители простаивают. Если справляется, более дорогой серверный процессор может почти не изменить скорость работы.

В CPU-only сценарии инференс модели выполняется на процессоре, поэтому на первый план выходят модель и квантизация, пропускная способность RAM, NUMA и набор инструкций — ISA.

CPU и GPU: как распределяется работа

При обучении CPU может читать датасет, декодировать медиаданные, запускать аугментации и собирать батчи. Это не жёсткое разделение: часть этапов можно перенести на GPU, а ввод-вывод — организовать через GPUDirect.

В LLM-инференсе GPU обычно хранит веса и считает токены. CPU может принимать запросы, токенизировать текст и обслуживать базы. В RAG добавляются векторный поиск, фильтрация и сбор контекста, в агентном ИИ — оркестрация API и инструментов.

Чтобы найти узкое место, сравните загрузку GPU на реальных данных и синтетическом входе. Если синтетика загружает ускоритель лучше, ограничение может быть в CPU, хранилище, сети или NUMA. Смотрите и на отдельные потоки: один перегруженный поток способен тормозить конвейер при низкой средней загрузке.

Чем серверный процессор отличается от десктопного

Аппаратная виртуализация сама по себе не делает процессор серверным: VT-x и VT-d поддерживают и многие клиентские CPU Intel. Главное отличие серверного класса — масштаб платформы. Такие системы поддерживают больше каналов и объёма памяти, серверную ECC-память, больше линий и устройств PCIe, а также расширенные функции RAS для обнаружения, исправления и изоляции аппаратных ошибок. Часть платформ поддерживает два и более процессора.

BMC, горячая замена накопителей и резервирование питания относятся уже не к CPU, а к серверу целиком. Поэтому при выборе важен не только процессор, но и возможности всей платформы: память, I/O, количество сокетов и средства отказоустойчивости.

У Intel Xeon используются разные варианты LGA в зависимости от семейства. AMD EPYC 9005 работает с сокетом SP5, EPYC 9006 — с SP7 или SP8, а Threadripper PRO 9000 WX — с sTR5. Для круглосуточной нагрузки также важны RAS, сервисное обслуживание и отказоустойчивость всей системы.

Подробнее различия серверных и пользовательских CPU разобраны в статье «Чем отличаются серверный и обычный пользовательский процессоры».

Что определяет выбор процессора

Серверный процессор для GPU-системы выбирают после ускорителей. Сначала проверяют топологию PCIe и NUMA, затем объём и пропускную способность памяти, нагрузку на CPU и нужные инструкции. В CPU-only задачах память и ISA выходят на первый план, а PCIe может перестать быть главным ограничением.

Число видеокарт, линии PCIe и топология

Для одной GPU обычно достаточно полноценного слота и запаса I/O под NVMe и сеть. С двумя ускорителями уже нужно смотреть фактический режим слотов и проверять, какие ресурсы они делят.

Поэтому характеристика вроде «128 линий PCIe» сама по себе не показывает oversubscription, расположение NIC и NVMe или NUMA-локальность устройств.

Для проверки нужна структурная схема платы или сервера: как подключены GPU, где стоят PCIe-свитчи, к какому CPU относятся сетевые карты и накопители. После запуска NVIDIA-системы фактическую топологию можно проверить командой nvidia-smi topo -m.

Связь между самими GPU рассматривают отдельно. В обычных multi-GPU системах обмен может идти по PCIe. В платформах HGX для связи ускорителей используются NVLink и NVSwitch. Само наличие нескольких GPU ещё не означает поддержку NVLink.

NUMA и распределение GPU между сокетами

NUMA делит систему на домены с локальными ядрами, памятью и PCIe-устройствами. В двухсокетном сервере GPU или NIC может быть подключён к другому CPU. Тогда часть трафика пойдёт через межпроцессорный интерфейс, что увеличивает задержки и усложняет настройку.

В nvidia-smi topo -m путь SYS как раз обозначает маршрут через PCIe и SMP-интерфейс между NUMA-узлами.

Второй процессор имеет смысл, если он добавляет нужные линии PCIe, каналы и объём памяти или требуется для CPU-вычислений. Если один сокет уже обслуживает все устройства, переход на 2P увеличит стоимость и энергопотребление, а также усложнит NUMA-настройку без гарантии ускорения GPU-задачи.

1P, 2P и многопроцессорные системы

Односокетная система проще по NUMA и обычно дешевле. Второй процессор оправдан, если он нужен для дополнительных I/O-корней, каналов и объёма памяти либо для самой CPU-нагрузки.

Поддержка четырёх и восьми сокетов встречается у отдельных серверных SKU, в том числе в линейке Xeon 6, поэтому её нужно проверять по конкретному процессору и платформе. Для GPU-серверов 4P и 8P остаются нишевыми конфигурациями: дополнительные сокеты увеличивают NUMA-сложность и имеют смысл только тогда, когда задаче действительно нужны их память, I/O или CPU-производительность.

Объём и пропускная способность памяти

CPU-хосту оперативная память нужна под ОС, файловый кэш, загрузчики данных, базы, контейнеры и сервисы. В CPU-only LLM к объёму добавляется ещё одно ограничение — пропускная способность памяти.

Поэтому важно смотреть не только на максимальный объём RAM, но и на число каналов памяти. Например, WRX90 поддерживает восемь каналов, Xeon 6980P — 12, EPYC 9005 — 12, EPYC 9006 в исполнении SP7 — 16, а SP8 — восемь.

На совместимых платформах MRDIMM позволяет повысить скорость памяти. Для Xeon 6980P заявлено до 8800 МТ/с, для EPYC 9006 SP7 — до 12 800 МТ/с с MRDIMM.

Однако паспортная скорость — только часть картины. На реальную пропускную способность влияют число установленных модулей, DPC — количество DIMM на канал, распределение модулей по каналам и объём памяти на канал.

У 96-ядерного Threadripper PRO 9995WX на четырёхканальной TRX50 часть нагрузок в LocalScore и llama.cpp упиралась в память. В тесте двух EPYC 9655 часть OpenVINO-нагрузок ускорялась при более полном заполнении каналов, а часть почти не меняла результат. Значит, одной характеристики памяти недостаточно: эффект нужно проверять на конкретной задаче.

Количество ядер и потоков

Универсального правила «N ядер на одну GPU» нет. В LLM-инференсе CPU может быть загружен умеренно, если основная работа уже подготовлена для ускорителя. В задачах с декодированием видео, тяжёлыми аугментациями или сложной подготовкой данных нагрузка на процессор бывает намного выше.

Поэтому число ядер подбирают по профилю нагрузки. Для загрузчика данных увеличивают число процессов до момента, когда GPU перестаёт ждать входные данные. В сервисе инференса отдельно измеряют токенизацию, планировщик запросов, API и работу баз.

Дополнительные ядра не помогут, если ограничение находится в пропускной способности памяти или в одном последовательном этапе.

Hyper-Threading у Intel и SMT у AMD позволяют одному физическому ядру обслуживать несколько потоков. Это может повысить производительность хорошо распараллеленного кода, но не удваивает вычислительные ресурсы ядра. Эффект зависит от конкретного приложения.

AVX-512 и AMX

Поддержка AVX-512 или AMX полезна только тогда, когда эти инструкции использует библиотека или движок.

AVX-512 поддерживают EPYC 9005 и Threadripper PRO 9000 WX. В тестах Phoronix EPYC 9655 показал геометрическое среднее 1,57× относительно той же системы с отключённым AVX-512. Этот результат относится к конкретному набору тестов и не означает такое же ускорение всех ИИ-нагрузок.

AMX (Advanced Matrix Extensions) поддерживают Xeon 6 с P-cores. В тестах Phoronix на двух Xeon 6980P AMX заметно ускорял обработку промпта.

При этом принадлежность к одному семейству не гарантирует одинаковый набор инструкций. Например, у Xeon 6+ Clearwater Forest 6990E+ в Intel ARK указан AVX2, но не заявлены AVX-512 и AMX.

Поэтому сначала проверяют ISA конкретного SKU, а затем тестируют ту же модель, квантизацию и версию движка, которые будут использоваться в продакшене.

TDP, охлаждение и энергоэффективность

TDP помогает понять требования процессора к охлаждению и питанию, но не показывает энергоэффективность сам по себе. Например, Xeon 6980P имеет TDP 500 Вт, а Threadripper PRO 9985WX — Default TDP 350 Вт. Для EPYC 9006 AMD использует термин Default CPU Power.

Процессор при этом нельзя рассматривать отдельно от остальных компонентов. Система охлаждения должна отводить тепло от CPU, GPU, DIMM, NVMe и NIC одновременно.

Для дата-центра важны лимит мощности стойки, возможности охлаждения и фактическое потребление всего узла под длительной нагрузкой. Именно эти показатели влияют на эксплуатационные расходы сильнее, чем паспортный TDP одного процессора.

Актуальные платформы 2026 года

Серверные процессоры Intel Xeon и серверные процессоры AMD EPYC различаются числом ядер, каналами памяти, PCIe, ISA и поддерживаемой многосокетностью. Threadripper PRO стоит отдельно: это односокетная платформа для рабочих станций с большим I/O-бюджетом.

Intel Xeon 6 и Xeon 6+

Характеристики Xeon 6 P-core заметно различаются между SKU. Xeon 6980P предлагает 128 ядер и 256 потоков, 504 МБ L3, 12 каналов памяти, 96 линий PCIe 5.0, AVX-512, AMX и поддержку 2S. У Xeon 6787P — 86 ядер и 172 потока, восемь каналов памяти, 88 линий PCIe 5.0 и поддержка 2S. Поэтому возможности платформы нужно проверять по спецификации конкретного процессора.

Xeon 6+ Clearwater Forest 6990E+ вышел во II квартале 2026 года. Он получил 288 E-ядер и 288 потоков, 12 каналов DDR5-8000 и 96 линий PCIe 5.0. Архитектура рассчитана на серверные задачи с большим объёмом параллельных вычислений, но в Intel ARK для этого SKU указан AVX2. CPU-инференс, который использует AVX-512 или AMX на Xeon с P-cores, здесь будет работать иначе.

AMD EPYC 9005 Turin

EPYC 9005 Turin для сокета SP5 включает модели до 192 ядер и поддерживает 12 каналов DDR5 и AVX-512. Односокетный EPYC 9555P имеет 64 ядра и 128 потоков, а также 128 внешних линий PCIe 5.0.

В конфигурации 2P часть физических соединений используется для xGMI между процессорами, поэтому доступный внешним устройствам I/O-бюджет зависит от схемы конкретной платформы.

В 1P система на EPYC 9005 может дать 12 каналов памяти и до 128 внешних линий PCIe 5.0. Этого во многих конфигурациях хватает для GPU, NVMe и сетевых карт без второго сокета. Если хостовой нагрузке достаточно 64 ядер, переход на 192-ядерный SKU сам по себе не ускорит работу GPU.

AMD EPYC 9006 Venice: уже запущен, доступность систем зависит от платформы

AMD представила EPYC 9006 Venice 23 июля 2026 года. Семейство включает варианты для SP7 и SP8, поэтому описывать всю линейку одним набором характеристик нельзя.

Например, EPYC 9G76 для SP7 имеет 96 ядер, 16 каналов памяти, поддержку DDR5-8000 и MRDIMM-12 800, а также 96 линий PCIe 6.0. EPYC 9376F для SP8 — 32 ядра, восемь каналов памяти и 128 линий PCIe 6.0.

AMD помечает семейные спецификации как изменяемые, а опубликованные таблицы уже расходились по числу линий. При закупке нужно сверять конкретный SKU с документацией выбранной платы, а не ориентироваться на одну цифру для всего семейства Venice.

OEM-платформы на SP7 уже появились: Supermicro представила линейку H15 для EPYC 9006.

AMD Threadripper PRO 9000 WX для рабочих станций

Threadripper PRO 9000 WX — односокетная платформа Zen 5. Флагманский 9995WX имеет 96 ядер и 192 потока, частоту до 5,4 ГГц, AVX-512 и TDP 350 Вт. Платформа WRX90 поддерживает восемь каналов DDR5-6400 ECC RDIMM и до 128 линий PCIe 5.0.

Такой набор ресурсов подходит для рабочих станций с одной-двумя GPU, несколькими NVMe и быстрым NIC без второго сокета. Более плотные конфигурации уже зависят не только от CPU: ограничения задают разводка платы, расстояние между слотами, питание и охлаждение.

ARM в ИИ-стойках: NVIDIA Grace и Vera

x86 — не единственный вариант. В NVIDIA GB200 NVL72 используются 36 Grace CPU и 72 Blackwell GPU в единой стоечной архитектуре. Здесь CPU нельзя выбирать отдельно от остальной системы: память, NVLink, сеть и охлаждение проектируются как один комплекс.

NVIDIA анонсировала процессор Vera 5 января 2026 года в составе платформы Rubin. Он получил 88 собственных ядер Olympus и NVLink-C2C с когерентной пропускной способностью между CPU и GPU до 1,8 ТБ/с. 31 мая NVIDIA сообщила, что Vera Rubin переходит к полномасштабному производству, а начало серийных поставок платформы запланировано на осень 2026 года. В Vera Rubin CPU и GPU соединяются через NVLink-C2C 1,8 ТБ/с. Наличие конкретной системы зависит от поставщика.

Сравнение платформ

Таблица показывает возможности платформ, а не их рейтинг производительности. EPYC 9006 для SP7 и SP8 разделены намеренно: у вариантов различаются конфигурация памяти и I/O. Характеристики Xeon также нельзя переносить с одного подсемейства или SKU на другое.

Какой процессор выбрать под свою задачу

Лучшие процессоры для искусственного интеллекта нельзя выбрать одним рейтингом. Для рабочей станции ограничения чаще задают слоты, память и периферия, для восьми GPU — топология сервера. В CPU-only системе серверный процессор уже сравнивают по памяти, ISA и результатам на нужной модели.

Рабочая станция с одной-двумя видеокартами

Для одной GPU Ryzen 9 или Core Ultra может быть достаточен, если платформе хватает полноценного x16, системной памяти и NVMe. Основной инференс модели выполняет ускоритель, а CPU обслуживает приложение и оставшиеся на процессоре этапы. Такой вариант дешевле workstation-платформы и не требует покупать лишний I/O с большим запасом.

С двумя профессиональными GPU, несколькими NVMe и быстрым NIC требования к платформе растут. Здесь уже полезен WRX90 с восемью каналами памяти и большим I/O-бюджетом. RackStation AI поддерживает до двух ускорителей и сейчас использует Threadripper PRO 7000, а не серию 9000 WX.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

2 x NVIDIA RTX 5080 16GB

Объем видеопамяти 32 ГБ

Процессоры

Threadripper PRO 7965WX

Количество ядер 24

RAM 256GB DDR5

Форм-фактор 4.5U

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

2 x NVIDIA RTX 5090 32GB

Объем видеопамяти 64 ГБ

Процессоры

Threadripper PRO 7975WX

Количество ядер 32

RAM 256GB DDR5

Форм-фактор 4.5U

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

NVIDIA RTX 6000 Ada 48GB

Объем видеопамяти 48 ГБ

Процессоры

Threadripper PRO 7975WX

Количество ядер 32

RAM 512GB DDR5

Форм-фактор 4.5U

Сервер с четырьмя-восемью ускорителями: обучение и тяжёлый инференс

Для четырёх GPU важна не только сумма линий PCIe, но и разводка всей платформы: слотов, свитчей, NIC, NVMe и NUMA. Для таких систем подходят EPYC 9005 и Xeon 6. Threadripper PRO тоже возможен, но только если производитель платформы подтвердил нужную топологию, питание и тепловой режим.

Восьми-GPU сервер проектируют уже как единый узел. PCIe-карты могут подключаться через свитчи, а платформы HGX используют NVSwitch для связи между ускорителями. Devbox AI рассчитан на четыре RTX 5090/H200 NVL или до шести профессиональных GPU. Scale поддерживает восемь GPU. У Scale есть конфигурации с разными процессорами, поэтому всей линейке нельзя приписывать один CPU.

Для каких задач Высокопроизводительный сервер инференса, локальная лаборатория для разработки AI, сервисная стойка под параллельные API-запросы.

Подробнее

Видеокарты

8 x NVIDIA RTX 5090 32GB

Объем видеопамяти 256 ГБ

Процессоры

2 x Xeon Gold 6430

Количество ядер 64

RAM 512GB DDR5

Форм-фактор 6U

Для каких задач Корпоративный AI-сервер, закрывающий полный цикл от обработки данных и векторного поиска до обучений специализированных LLM под задачи бизнеса.

Подробнее

Видеокарты

8 x NVIDIA RTX PRO 5000 72GB

Объем видеопамяти 576 ГБ

Процессоры

2 x Xeon Platinum 8558P

Количество ядер 96

RAM 1536GB DDR5

Форм-фактор 6U

Для каких задач Научно-исследовательские R&D лаборатории, Data Science кластеры, тяжелые мультимодальные генеративные задачи и масштабный Deep Learning.

Подробнее

Видеокарты

8 x NVIDIA RTX PRO 6000 96GB

Объем видеопамяти 768 ГБ

Процессоры

2 x Intel Xeon Platinum 8580

Количество ядер 120

RAM 1536GB DDR5

Форм-фактор 6U

Выбор ускорителей, объёма VRAM и класса системы подробнее разобран в материале «Как выбрать сервер для ИИ в 2026 году: GPU, память, конфигурации».

Инференс на процессоре, RAG и агентный ИИ

Инференс на процессоре используют для квантованных LLM, классификации, эмбеддингов, переранжирования и пакетной обработки. Здесь производительность зависит от объёма и пропускной способности RAM, ISA и движка. После упора в пропускную способность памяти дополнительные ядра могут почти не увеличить число токенов в секунду.

Пользу AVX-512 и AMX корректно сравнивать только на одной модели и версии движка. MLPerf Inference v6.0 можно использовать как системный ориентир, но не как чистый рейтинг процессоров. В проверенной выборке Closed Datacenter есть CPU-only результаты Xeon 6787P и 6980P, однако их нельзя переносить на все разделы MLPerf.

В RAG дополнительную нагрузку создают индекс, база, загрузка документов и поиск. В агентном бэкенде важны разные свойства CPU: высокая частота помогает последовательным этапам и задачам с низкой задержкой, а большее число ядер — при высокой параллельности запросов и инструментов.

Бюджетный старт

Б/у Xeon Scalable второго или третьего поколения может снизить стоимость входа, если проекту не нужен современный I/O. Компромиссы — более старое поколение PCIe, меньшая пропускная способность памяти, более высокие энергозатраты платформы и меньший запас под новые GPU и быстрые NIC.

Десктопный CPU обойдётся ещё дешевле, но раньше упрётся в число слотов, объём ECC-памяти и количество NVMe. Для пилотного проекта это допустимо, если заранее понятно, что система не будет масштабироваться на несколько ускорителей.

Для короткого пилота или нерегулярной пиковой нагрузки аренда GPU-сервера может быть рациональнее покупки: оборудование не простаивает после завершения проекта. Покупка становится интереснее при длительной загрузке, требованиях к собственной инфраструктуре или ограничениях на размещение данных. Сравнивать нужно TCO сервера целиком: оборудование, стойку, электричество, сеть, обслуживание и простой.

Для каких задач Для локального обучения LLM, генеративных моделей и R&D

Подробнее

Видеокарты

4 x NVIDIA RTX 5080 16GB

Объем видеопамяти 64 ГБ

Процессоры

Threadripper PRO 7985WX

Количество ядер 64

RAM 512GB DDR5

Форм-фактор 6.5U

Для каких задач Для локального обучения LLM, генеративных моделей и R&D

Подробнее

Видеокарты

4 x NVIDIA RTX 5090 32GB

Объем видеопамяти 128 ГБ

Процессоры

Threadripper PRO 7985WX

Количество ядер 64

RAM 512GB DDR5

Форм-фактор 6.5U

Для каких задач Для локального обучения LLM, генеративных моделей и R&D

Подробнее

Видеокарты

6 x NVIDIA RTX PRO 6000 96GB

Объем видеопамяти 576 ГБ

Процессоры

Threadripper PRO 7995WX

Количество ядер 96

RAM 1024GB DDR5

Форм-фактор 6.5U

Флагманские решения и конкретные SKU

Старший SKU полезен только тогда, когда нагрузка использует его дополнительные ресурсы. Threadripper PRO 9985WX даёт 64 ядра при восьмиканальной WRX90, Xeon 6980P — 128 ядер, 12 каналов и AMX. Если GPU уже полностью загружены на младшем CPU, переход на флагман не увеличит скорость модели.

SEP, 1KU и RCP — ориентиры производителя, а не розничная цена в России. Стоимость готового сервера дополнительно зависит от платы, памяти, охлаждения, поставки и региона.

Как подобрать CPU для ИИ-сервера под конкретную конфигурацию

Четыре проверки помогают перевести требования проекта в спецификацию закупки.

Зафиксировать ускорители и I/O. Составьте список GPU, NIC и NVMe и сверьте его со структурной схемой сервера. Нужно знать фактические режимы слотов, общие аплинки, PCIe-свитчи, привязку устройств к CPU и способ связи между GPU.

Определить тип задач. Для GPU-инференса оцените нагрузку на токенизацию, декодирование, загрузку данных и сервисы. Для систем без GPU-ускорителя сначала зафиксируйте модель, квантизацию и объём RAM, затем проверьте ISA и масштабирование по ядрам.

Согласовать память, накопители и сеть. Заполните каналы памяти по правилам платформы и проверьте, успевают ли хранилище и сеть подавать данные с нужной скоростью. Для RDMA и GPUDirect отдельно учитывайте локальность GPU и NIC. Масштабируемость сервера стоит закладывать под конкретный план расширения.

Посчитать бюджет и TCO. Сравнивайте процессоры только внутри полной конфигурации. Более слабый CPU невыгоден, если из-за него простаивают GPU. Более мощный не окупится, если производительность уже ограничена VRAM, сетью или межсоединением ускорителей.

Что выбрать в зависимости от задачи

Рабочая станция с одной-двумя GPU и несколькими NVMe — Threadripper PRO 9000 WX на WRX90. Платформа даёт много линий PCIe без перехода к серверной двухсокетной системе.

Односокетный сервер с несколькими GPU и большим числом PCIe-устройств — AMD EPYC 9005. Платформа SP5 поддерживает до 128 линий PCIe 5.0 и 12 каналов памяти.

Инференс непосредственно на CPU — Xeon 6787P или 6980P имеет смысл рассматривать, если используемый движок умеет эффективно задействовать AMX. Сначала стоит проверить результаты именно в целевом программном стеке.

Нужны PCIe 6.0 и максимальная пропускная способность памяти — EPYC 9006 на SP7: 16 каналов DDR5/MRDIMM и PCIe 6.0. Платформа новая, поэтому выбирать стоит среди валидированных OEM-систем.

Сервер с восемью GPU — сначала выбирают архитектуру сервера, расположение GPU, PCIe-свитчи или NVSwitch и NUMA-топологию. Процессор подбирают уже под эту платформу.

Пять ошибок при выборе процессора для ИИ-сервера

1. Ориентироваться только на число ядер. Xeon 6990E+ с 288 E-ядрами выглядит убедительнее 128-ядерного Xeon 6980P, если сравнивать только число ядер. Но у Xeon 6990E+ не заявлены AVX-512 и AMX. Для CPU-вычислений важны не только ядра, но и поддерживаемый программный путь, пропускная способность памяти и производительность конкретного движка.
2. Считать линии PCIe без схемы платформы. Даже 128 линий PCIe не показывают расположение свитчей, общие аплинки и локальность GPU, NIC и NVMe. Для multi-GPU системы структурная схема платы или сервера важнее одной цифры из спецификации CPU.
3. Игнорировать NUMA. В 2P-системе GPU, NIC и память могут относиться к разным сокетам. Неудачная привязка процессов и устройств добавляет межсокетный трафик и повышает задержки. В NVIDIA-системах после развёртывания топологию можно проверить через nvidia-smi topo -m и сопоставить её с привязкой процессов.
4. Экономить на пропускной способности памяти. Большое число ядер не компенсирует недостаточную полосу RAM. В CPU-инференсе, RAG и тяжёлой предобработке число каналов памяти и правильное заполнение DIMM могут дать больше пользы, чем переход на старший SKU с дополнительными ядрами.
5. Покупать второй процессор без конкретной необходимости. Конфигурация 2P оправдана, когда второй сокет нужен для дополнительного I/O, памяти или CPU-производительности. Если задачу закрывает один процессор, второй увеличит стоимость, энергопотребление и сложность NUMA-настройки, но сам по себе не ускорит GPU-нагрузку.

Готовые серверы с GPU вместо самостоятельной сборки

В системах на четыре-восемь GPU подбор компонентов превращается в проектирование всей платформы. Нужно заранее согласовать топологию PCIe, шасси, питание, охлаждение, память и сеть: ошибка в одном из этих элементов может потребовать замены нескольких компонентов.

Готовый ИИ-сервер позволяет начать с уже согласованной аппаратной платформы, а затем подобрать CPU, GPU, память и сеть под профиль нагрузки. В каталоге GPU-серверов DigitalRazor представлены RackStation AI, Devbox AI и Scale — подходящие сценарии для этих систем разобраны выше.

Для подбора достаточно заранее определить модели и число GPU, объём данных, требования к сети и характер нагрузки. Так ограничения платформы можно проверить до закупки оборудования.

Вопросы и ответы (FAQ)

Краткий итог

В GPU-системе процессор должен обеспечивать нужный режим работы ускорителей, памяти и I/O. Xeon 6 с P-cores поддерживает AMX и AVX-512. EPYC 9005 сочетает 12 каналов памяти с большим I/O-бюджетом в 1P. EPYC 9006 добавляет PCIe 6.0 и новые варианты памяти. Threadripper PRO 9000 WX предлагает большой I/O-бюджет в односокетной рабочей станции.

Для CPU-only инференса приоритеты другие: сначала модель, объём и пропускная способность RAM, затем ISA. Число ядер и частоту имеет смысл сравнивать уже после этих параметров.

Если нужна готовая конфигурация, можно начать с каталога GPU-серверов DigitalRazor и передать специалистам список GPU, требования к памяти и сети, объём данных и профиль нагрузки. Так проще отсеять платформы с неподходящей топологией и не переплачивать за серверный процессор или I/O, которые задача не использует.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U