Сколько видеокарт можно поставить в один сервер: что ограничивает раньше всего — слоты, линии, питание или охлаждение
Подберём сервер под задачи
Ответьте на несколько вопросов — подготовим предложение
Свободный слот ещё не означает, что сервер поддерживает дополнительную видеокарту. Ей нужны канал связи с процессором, питание и поток прохладного воздуха. А для ускорения одной задачи программе нужна поддержка нескольких GPU.
Разберём, сколько видеокарт можно поставить в сервер, как предварительно рассчитать нагрузку на электросеть и что проверить перед расширением или заказом нового узла.
Коротко: от чего зависит максимум видеокарт в сервере
Универсального числа нет. Максимум зависит от того, какое ограничение сработает первым. Восемь карт — один из вариантов, а не верхний предел для всех серверов.
| Ограничение | Что проверить | Где искать подтверждение |
|---|---|---|
| Размещение и совместимость | Исполнение GPU, зазоры, рейзеры, комплект дооснащения | Список совместимости GPU и руководство сервера |
| PCIe | Число подключённых линий, поколение, связь с CPU | Блок-схема платформы и таблица слотов |
| Питание | Потребление компонентов и доступную мощность при отказе | Спецификация блоков питания и схема резервирования |
| Охлаждение | Кулеры, воздушный поток корпуса и температуру на входе | Требования к шасси и испытание сборки |
При расширении начните с документации установленного сервера. Для нового узла сначала определите нагрузку и модели GPU, затем подберите совместимую платформу.
Далее считаем отдельные PCIe-платы. На одной плате может быть несколько GPU-чипов, поэтому в спецификации проверяйте оба значения.
Слоты, габариты и совместимость: сколько карт поддерживает сервер
Толщина карты, расстояние между слотами и рейзеры
Проверьте длину, высоту и толщину конкретного исполнения видеокарты. Двух свободных позиций расширения под двухслотовую плату недостаточно: нужны ещё место для силового кабеля и свободный забор воздуха. Соседний накопитель, сетевая плата или перегородка могут перекрыть пространство, которое на фотографии корпуса выглядит свободным.
Например, RTX 5090 Founders Edition имеет длину 304 мм, ширину 137 мм и занимает два слота. У другой RTX 5090 размеры и кулер могут отличаться. Поэтому подбирайте корпус под конкретную карту, а не только под название GPU.
Рейзер переносит или разворачивает разъём PCIe, позволяя расположить плату вдоль корпуса. Его крепление и кабели тоже занимают место. Обозначения 1U, 2U и 4U описывают высоту шасси в стойке. Число GPU определяют внутренняя компоновка и поддерживаемые комплекты расширения.
Разница видна на конкретных платформах:
| Сервер и исполнение | GPU | Количество | Существенные условия |
|---|---|---|---|
| Dell PowerEdge R760xa, 2U | NVIDIA L40S | До 4 | Штатная конфигурация Dell с подходящими рейзерами, кабелями и вентиляторами |
| Lenovo SR675 V3, 8-DW, 3U | ThinkSystem L40S | До 8 | Одинаковые GPU, соответствующие комплекты расширения, питания и обдува |
| Lenovo SR675 V3, 8-DW, 3U | RTX PRO 6000 Blackwell Server Edition | До 8 | Процессоры EPYC 9005 и вентиляторы C5WW. Эти условия действуют и при дооснащении существующей системы |
Даже у одного сервера бывают разные варианты GPU-подсистемы. В SR675 V3 исполнение 8-DW рассчитано на восемь двухслотовых плат. Вариант с четырьмя HGX H100/H200 SXM5 устроен иначе. SXM и OAM — форматы модулей для специализированных платформ, их количество нельзя переносить на обычные PCIe-слоты.
Проверяйте список поддерживаемых моделей, а не только разъёмы. Dell не поддерживает потребительские GPU в штатной конфигурации R760xa. GeForce можно использовать в специально спроектированном узле — такой проект DigitalRazor разберём ниже.
Линии PCIe: почему x16 в слоте не значит x16 на каждой карте
У слота есть физический размер, электрическая ширина и поколение интерфейса. Длинный разъём x16 может быть подключён восемью линиями. А карта PCIe 4.0 в слоте PCIe 5.0 работает в пределах своего поколения.
Линии PCIe распределяются между GPU, NVMe, сетью и другими устройствами. Их доступность зависит от CPU и разводки платы. В двухпроцессорной системе часть слотов подключена к первому процессору, часть — ко второму. У Dell R760xa четыре передние двухслотовые GPU-позиции с электрическим x16 распределены между CPU попарно. Поэтому состав процессоров проверяют вместе со схемой слотов.
Если GPU и накопитель или сетевая карта подключены к разным CPU, обмен между ними может проходить через межпроцессорное соединение. Чем чаще программе нужно передавать данные по этому пути, тем важнее его пропускная способность. Учитывайте схему подключений и привязку процессов и памяти программы к CPU.
Различайте три способа организовать подключения:
- обычный рейзер меняет расположение разъёмов;
- разделение линий (bifurcation) делит линии одного порта на несколько соединений при поддержке процессора, платы и BIOS;
- PCIe-коммутатор подключает несколько устройств через общие каналы к CPU.
Коммутатор может дать каждой GPU соединение x16, но общий канал к CPU ограничивает их одновременный обмен с процессором. У Lenovo SR675 V3 8-DW прямые рейзеры BR7R подключают карты по x8 с соотношением полос CPU и GPU 1:1. Рейзеры BR7S дают x16 к GPU через коммутаторы, а соотношение полос CPU и GPU составляет 1:2. То есть суммарная полоса соединений с картами вдвое шире общей полосы к процессорам.
Переход с x16 на x8 не означает двукратного замедления программы. Влияние зависит от поколения PCIe, объёма и частоты обмена. Задача, которая долго считает на данных в памяти GPU, меньше зависит от шины, чем задача с частыми передачами через CPU. Проверяйте нужный режим на своей нагрузке.
Проверьте прошивку и доступные ресурсы адресации. MMIO — области адресного пространства, через которые CPU обращается к устройствам. Above 4G Decoding позволяет размещать эти ресурсы выше границы 4 ГБ. ReBAR позволяет менять размер области видеопамяти, доступной CPU через BAR. Настройки и размер окна MMIO выбирайте по руководству платформы.
Питание: как рассчитать блоки питания и нагрузку на электросеть
Мощность компонентов, запас и пики нагрузки
Для предварительного расчёта сложите мощности GPU при выбранных лимитах, CPU и остальных компонентов: платы, памяти, накопителей, сети и вентиляторов. Получится оценка нагрузки на выходе блока питания, то есть мощности постоянного тока — DC.
Паспортные показатели описывают разные величины. Для референсной RTX 5090 NVIDIA указывает TGP 575 Вт — мощность графической платы. Для L40S заявлено максимальное потребление 350 Вт. TDP (ТДП) процессора служит ориентиром для расчёта охлаждения и не всегда равен максимальному электрическому потреблению. Поэтому мощность CPU уточняйте по его лимитам и режиму работы.
К базовой сумме добавьте запас на кратковременные пики и особенности платформы. Его величину выбирают по документации блока питания: учитывают допустимые переходные нагрузки, напряжение на входе и температуру. Единого процента для любой сборки нет. Программный мониторинг с редкими отсчётами может пропустить быстрые электрические пики.
Мощность, которую сервер берёт из электросети (AC), выше выходной мощности блока питания из-за потерь преобразования. Чтобы оценить её, разделите DC-мощность на КПД.
Нужна помощь с выбором сервера?
Специалисты помогут подобрать оборудование под нагрузку, бюджет и задачи
Резервирование 1+1 и работа при отказе
При полном резервировании 1+1 один блок питания должен выдерживать всю нагрузку после отказа второго. Поэтому два модуля по 2800 Вт дают 2800 Вт с резервированием, а не 5600 Вт. В этот бюджет должны укладываться система и необходимый запас.
Если два блока работают без полного резерва, доступная мощность может быть выше. Но отказ одного может привести к ограничению мощности или остановке системы. В схеме N+1 к необходимому числу рабочих модулей добавляют один резервный. Отдельно проверьте, сколько модулей потеряет питание при отказе одного ввода.
Доступная мощность зависит и от напряжения. Например, блок питания Dell на 2400 Вт в R760xa при 100–120 В выдаёт не более 1400 Вт. Вариант на 2800 Вт рассчитан на 200–240 В. Учитывайте эти условия при расчёте.
Разъёмы и кабели дополнительного питания GPU
Для выбранных GPU и блоков питания проверьте кабели, распиновку, допустимые токи и мощность, а также плату распределения питания. Одинаковая форма разъёма не гарантирует, что кабель подойдёт к другому блоку питания.
12V-2x6 сменил 12VHPWR в спецификации CEM 5.1. У разъёма на плате изменились силовые и сигнальные контакты, а также логика определения доступной мощности. Он допускает передачу до 600 Вт при соответствующем исполнении разъёма и кабеля. Оставьте место, чтобы полностью вставить штекер и проложить кабель по требованиям производителя.
Пример расчёта двух конфигураций на четыре видеокарты
Одинаковое число GPU даёт разную нагрузку. Сравним сервер на 4 видеокарты L40S с вариантом на четырёх RTX 5090.
Для первого примера возьмём Dell R760xa с четырьмя L40S и двумя Xeon Platinum 8470Q. Для второго — четыре RTX 5090 и Threadripper PRO 7975WX, как в проекте DigitalRazor. На каждый CPU условно заложим 350 Вт по TDP, ещё 250 Вт — на остальную платформу. Для RTX 5090 примем референсные 575 Вт.
Для расчёта нагрузки на сеть примем КПД 94%, коэффициент мощности PF 0,98 и напряжение 230 В.
| Параметр | 4 × L40S | 4 × RTX 5090 |
|---|---|---|
| GPU | 4 × 350 = 1400 Вт | 4 × 575 = 2300 Вт |
| CPU в принятом бюджете | 2 × 350 = 700 Вт | 350 Вт |
| Остальная платформа, допущение | 250 Вт | 250 Вт |
| Базовая нагрузка DC | 2350 Вт | 2900 Вт |
| Выходная мощность одного блока питания в примере | 2800 Вт, вариант Dell для 200–240 В | 3200 Вт на модуль — допущение |
| Разница между номиналом и базовой нагрузкой | 450 Вт | 300 Вт |
| Оценка AC при КПД 94% | ≈2500 Вт | ≈3085 Вт |
| Полная мощность при PF = 0,98 | ≈2551 ВА | ≈3148 ВА |
| Ток при 230 В | ≈11,1 А | ≈13,7 А |
Оставшиеся 450 и 300 Вт ещё нужно сопоставить с реальными лимитами CPU/GPU и переходными нагрузками. Только после этого можно оценить, достаточно ли запаса для выбранной сборки.
Нагрузка на ввод, PDU и ИБП
Коэффициент мощности PF — отношение активной мощности в ваттах к полной в вольт-амперах. Для однофазного ввода ток приблизительно равен AC-мощности, делённой на произведение напряжения и PF.
Помимо напряжения, проверьте допустимый ток цепи и разъёмов, другие подключённые нагрузки, PDU — блок распределения питания — и ИБП. ИБП должен выдерживать нагрузку и в ваттах, и в вольт-амперах, а также обеспечивать нужное время автономной работы.
Если сервер подключён к независимым вводам A/B, рассчитайте режим после потери целого ввода. В примере с RTX 5090 при равном распределении на каждый приходится около 1543 Вт. После потери A ввод B принимает примерно 3085 Вт. Его ИБП, PDU, кабели и разъёмы должны выдержать полную нагрузку. Уточните КПД и распределение мощности для обоих режимов.
Охлаждение: воздух, blower, пассивные карты и жидкость
Охлаждение GPU подбирают вместе с корпусом. Открытый активный кулер обдувает радиатор собственными вентиляторами, но значительная часть тепла остаётся внутри шасси. При плотной установке соседняя карта может перекрыть забор воздуха или получить уже нагретый поток.
Турбинный кулер, или blower, направляет воздух через радиатор к выпуску, часто через планку карты. Так проще организовать отвод горячего воздуха, но вход должен оставаться свободным, а поток — согласованным с вентиляторами корпуса.
У пассивной карты нет собственного вентилятора: воздушный поток создаёт сервер. Так устроена, например, L40S. Для неё нужны подходящие корпусные вентиляторы, воздуховоды и заглушки, которые направят поток через радиатор.
Проверяйте температуру воздуха на входе в узел. Прохладное помещение не исключает рециркуляцию: горячий выхлоп может возвращаться к воздухозабору. Кабели перед вентиляторами и перекрытые проходы мешают охлаждению, хотя настенный термометр этого не покажет.
Сверяйтесь с ограничениями выбранной конфигурации. Например, для SR675 V3 с H100 PCIe Lenovo указывает температуру окружающего воздуха не выше 30 °C. Допустимые мощности CPU, состав GPU и вентиляторы тоже проверяйте для конкретного исполнения.
Тепловыделение узла оценивают по потреблению, а не по сумме номиналов резервных блоков питания. Почти вся потреблённая электрическая мощность в итоге становится теплом. При воздушном охлаждении расчётные 2,50 и 3,09 кВт из примеров дают примерно такую же тепловую нагрузку на помещение, включая потери преобразования. Горячий воздух нужно вывести и из корпуса, и от стойки.
Жидкостное охлаждение переносит тепло к теплообменнику. Если радиатор нагревает воздух помещения, система охлаждения площадки должна отвести это тепло. Для внешнего жидкостного контура согласуют температуру, расход, давление и состав теплоносителя, а также мощность теплообменника. Компоненты вне контура, например память и накопители, продолжают нагревать воздух.
Универсального числа GPU для перехода на жидкость нет: выбор зависит от тепловыделения, плотности установки и возможностей площадки. Во время испытания записывайте нагрузку, показания датчиков, частоты и причины их ограничения. Это поможет выявить троттлинг — снижение частот из-за ограничений по температуре или мощности — и проверить работу узла под нагрузкой.
Как DigitalRazor собирает сервер на 4 видеокарты: разбор реального проекта
Для исследовательской организации мы собрали GPU-узел с четырьмя RTX 5090. Заказчику требовалась стоечная система для длительных вычислений с одновременной нагрузкой всех GPU. Поэтому корпус, питание и охлаждение подбирали с учётом плотного размещения четырёх видеокарт.
| Узел конфигурации | Реализация по данным DigitalRazor | Задача |
|---|---|---|
| GPU | 4 × RTX 5090 | Четыре ускорителя в одном вычислительном узле |
| Платформа и оперативная память (RAM) | Threadripper PRO 7975WX, 512 ГБ ECC | Подключение GPU и системная память для вычислительной нагрузки |
| Компоновка | Стоечный корпус Rack 6,5U | Размещение компонентов и организация воздушного потока |
| Питание | 3200 Вт 1+1 CRPS | Питание нескольких одновременно нагруженных GPU |
| Охлаждение | Воздушное, с проверкой собранного узла | Отвод тепла в выбранной компоновке |
При выборе платформы для нескольких GPU важны и ресурсы процессора, и схема подключения слотов PCIe на материнской плате. Корпус и охлаждение должны обеспечивать отвод тепла при совместной работе всех видеокарт. Поэтому после сборки мы проверили систему под нагрузкой.
Все четыре GPU одновременно нагружали в течение 30 минут. Получили следующие результаты:
| GPU | Установившаяся температура | Средняя мощность |
|---|---|---|
| 1 | 84 °C | ≈523 Вт |
| 2 | 72 °C | ≈522 Вт |
| 3 | 83 °C | ≈564 Вт |
| 4 | 86 °C | ≈551 Вт |
Температуры стабилизировались примерно за две минуты. Максимальная температура за время испытания составила 87 °C. Троттлинга не зафиксировали ни на одной видеокарте. Собранная система удерживала стабильный тепловой режим на протяжении получасового теста.
Сумма округлённых средних мощностей GPU — около 2,16 кВт. Примерно столько тепла нужно отвести только от видеокарт. При расчёте полного потребления сервера дополнительно учитывают остальные компоненты и потери в блоках питания. Приведённые выше 2900 Вт DC и около 3085 Вт AC — отдельный расчётный пример с принятыми в нём допущениями.
Испытание подтвердило, что выбранные корпус и воздушное охлаждение справляются с совместной нагрузкой четырёх RTX 5090. Для аналогичного узла нужно согласовать лимиты мощности GPU, температуру воздуха на входе, номинал каждого модуля CRPS и допустимую нагрузку после отказа одного из них. Тепловой режим в условиях заказчика проверяют на рабочей задаче.
Обсудим нагрузку и условия размещения, поможем подобрать GPU-сервер на 4–6 видеокарт с подходящими питанием и охлаждением.
Выберите GPU-сервер под свои задачи
Готовые конфигурации для инференса, машинного обучения и вычислений
Сколько карт брать под задачу: 1, 2, 4 или 8
Дополнительные GPU нужны по трём причинам: выполнять независимые задания, разместить одну большую модель или ускорить общую задачу. Каждый сценарий предъявляет свои требования к памяти и обмену данными.
| Сценарий | Зачем несколько GPU | Что проверить |
|---|---|---|
| 1 GPU: задача помещается в память и укладывается в нужное время | Расширение пока не требуется | Объём видеопамяти (VRAM) и фактическую скорость приложения |
| 2 GPU: независимые задания, сервисы или пользователи | Выполнять задания одновременно, выделив каждому свою GPU | Память каждой задачи и распределение нагрузки |
| 4 GPU: независимые задания или распределённая модель | Увеличить пропускную способность или разместить данные частями | Поддержку выбранного режима, объём памяти и связи между GPU |
| 8 GPU: крупная параллельная нагрузка | Обрабатывать больше заданий или распределять большую задачу | Масштабирование программы, топологию и ресурсы площадки |
Две карты по 32 ГБ не становятся устройством с общей памятью 64 ГБ. Если рендеру нужно 40 ГБ и он не поддерживает вынесение данных или объединение VRAM, одна карта на 48 ГБ может решить проблему ёмкости. Для работы с несколькими менее ёмкими GPU приложению нужен подходящий способ распределения данных.
Для больших языковых моделей (LLM) учитывайте память под веса, служебные данные и KV-кэш — сохранённые ключи и значения для уже обработанных токенов. Считайте потребность при нужной длине контекста и числе одновременных запросов. Тензорный параллелизм делит вычисления внутри слоёв модели между GPU, конвейерный распределяет слои по разным GPU. Реплики модели обслуживают независимые запросы, но не помогают разместить одну слишком большую копию.
Несколько GPU могут работать и без NVLink. У L40S и RTX 5090 его нет. Поддержку обмена через PCIe проверяйте для конкретных GPU, драйвера, платформы и программы. Для карт без NVLink документация vLLM рекомендует рассмотреть конвейерный параллелизм, чтобы сократить обмен между GPU. Режим выбирайте по результатам теста своей модели.
Ограничения приложения могут наступить раньше аппаратных. Chaos официально поддерживает четыре NVIDIA GPU в V-Ray GPU, хотя программа способна использовать больше распознанных устройств. В обычном режиме без объединения VRAM данные сцены нужны в памяти каждой участвующей карты. С V-Ray 6 Update 2 текстуры можно вынести в оперативную память, но память карт от этого не объединяется.
Поэтому сервер на 8 GPU выбирайте после проверки масштабирования программы. Если достаточно одной или двух карт, рассмотрите GPU-сервер на 1–2 видеокарты под ИИ — Rackstation AI.
Типичные ошибки при сборке сервера на несколько видеокарт
- Считать число GPU по свободным слотам. Карта может поместиться, но оказаться несовместимой с сервером. Сверьте модель GPU и комплект дооснащения со списком поддержки.
- Принимать x16 за выделенный канал к CPU. Если карты подключены через коммутатор, общий канал может ограничить одновременный обмен. Проверьте блок-схему подключений.
- Складывать мощности резервных блоков питания. После отказа одного оставшийся может не выдержать нагрузку. Рассчитайте этот режим отдельно.
- Выбирать кабель по форме разъёма. Неверная распиновка или перегрузка кабеля могут повредить оборудование. Используйте кабель, совместимый с выбранными GPU и блоком питания.
- Игнорировать рециркуляцию. Горячий воздух возвращается на вход и ухудшает охлаждение. Проверьте путь воздуха у сервера в стойке.
- Складывать VRAM без проверки программы. Несколько карт не помогут разместить задачу, если приложение не поддерживает нужный режим распределения данных. Уточните это до покупки GPU.
Чек-лист перед заказом
Чтобы поставщик мог подготовить конфигурацию, передайте исходные данные:
- программу, версию и рабочую задачу, требования ко времени расчёта или ответа;
- объём данных в памяти и число одновременно выполняемых заданий;
- модели GPU и желаемое количество, спецификацию существующего сервера или требования к новому;
- требования к линиям PCIe, сети, накопителям и дальнейшему расширению;
- лимиты CPU/GPU, мощность блоков питания и требуемый режим при отказе;
- напряжение, вводы A/B, доступную мощность PDU и ИБП;
- температуру воздуха на входе, допустимое тепловыделение, условия охлаждения и ограничения по шуму;
- критерии приёмки: рабочую нагрузку, длительность теста, запись мощности, температур, частот и причин их ограничения.
Согласуйте эти параметры до закупки компонентов.
Часто задаваемые вопросы
Заключение
GPU-сервер — мощный инструмент для бизнеса: он может ускорять расчёты и рендеринг, помогать выполнять больше заказов и приносить прибыль. Окупаемость зависит от загрузки и расходов на эксплуатацию. Поэтому вычислительную мощность, количество видеокарт и настройки системы важно подбирать под конкретное ПО и объём работы.
Мы в DigitalRazor более десяти лет разрабатываем и выпускаем рабочие станции и GPU-серверы. Подбираем конфигурацию под ваши задачи, бюджет и условия размещения, собираем и проверяем готовую систему.
Перед поставкой системы проходят стресс-тесты длительностью до 48 часов и финальную проверку качества. Предоставляем расширенную гарантию до трёх лет и поддержку собственного сервисного центра. Срок и состав обслуживания зависят от выбранного пакета.
Напишите нам в Telegram или MAX — обсудим вашу нагрузку и поможем подобрать GPU-сервер под задачи бизнеса.
