
Четыре RTX PRO 6000 Blackwell в одном сервере: как построить общую ИИ-платформу для нескольких команд
Есть проект? Напишите нам
Обсудим задачу и подберём оборудование
Референсный проект DigitalRazor Devbox: 384 ГБ суммарной видеопамяти, 128-ядерный AMD EPYC, 1 ТБ RAM и высокоскоростное NVMe-хранилище для параллельной разработки и эксплуатации ИИ-приложений.
Задача: объединить вычислительные ресурсы нескольких команд
Представим крупную компанию, которая разрабатывает корпоративное программное обеспечение и одновременно ведёт несколько проектов с использованием искусственного интеллекта.
Команда NLP адаптирует языковые модели для обработки корпоративных документов. Разработчики компьютерного зрения обучают модели на больших массивах изображений. Отдельная группа занимается RAG-сервисами, а продуктовые команды тестируют модели и разворачивают сервисы инференса.
Первоначально разработчики используют собственные GPU-станции и облачные ресурсы. По мере увеличения числа проектов такая инфраструктура становится неудобной.
Одни команды ожидают освобождения GPU, пока другие используют лишь часть доступной мощности. Датасеты приходится копировать между машинами, программные окружения различаются, а запуск крупных экспериментов требует ручного перераспределения оборудования.
Дополнительную сложность создаёт неоднородность вычислительных задач. Инференс языковых моделей требует большого объёма VRAM. Подготовка изображений активно использует CPU. Аналитические операции и обработка датасетов могут занимать сотни гигабайт оперативной памяти.
Для такого сценария рассмотрим консолидацию вычислительных ресурсов в одном сервере DigitalRazor Devbox с четырьмя профессиональными GPU. Платформа должна обеспечивать независимую работу нескольких команд, поддерживать распределённые вычисления и предоставлять общий доступ к локальным и корпоративным данным.
Архитектура: один сервер с четырьмя GPU
Для организации общей вычислительной инфраструктуры можно использовать несколько отдельных серверов либо объединить ускорители в одном вычислительном узле.
| Архитектура | Преимущества | Ограничения |
|---|---|---|
| Четыре сервера по одному GPU | Независимость узлов, возможность распределённого размещения | Дублирование CPU, RAM и других компонентов, межузловой обмен данными |
| Два сервера по два GPU | Баланс консолидации и независимости | Для задач на 3–4 GPU требуется межузловое взаимодействие |
| Один сервер с четырьмя GPU | Общие CPU, RAM и хранилище, централизованное управление | Единая точка отказа, повышенные требования к питанию и охлаждению |
Для рассматриваемого сценария выбрали архитектуру единого GPU-сервера. Четыре ускорителя можно использовать независимо либо объединять для выполнения одной ресурсоёмкой задачи.
Например, в рабочее время сервер обслуживает четыре проекта, каждому из которых выделяется собственный GPU. Для ночного обучения крупной модели планировщик может предоставить все четыре ускорителя одному заданию.
Такой подход позволяет гибко перераспределять вычислительные мощности без изменения аппаратной конфигурации.
Конфигурация DigitalRazor Devbox
| Компонент | Конфигурация |
|---|---|
| GPU | 4 × NVIDIA RTX PRO 6000 Blackwell |
| Видеопамять | 4 × 96 ГБ GDDR7 ECC |
| CPU | AMD EPYC 9745, 128 ядер / 256 потоков |
| RAM | 1 ТБ DDR5 ECC |
| Системное хранилище | 2 × 1,92 ТБ Enterprise SSD |
| Рабочее хранилище | 4 × 7,68 ТБ Enterprise NVMe |
| Полезная ёмкость рабочего массива | 15,36 ТБ, RAID 10 |
| Сетевой интерфейс | 25GbE |
| Подключение GPU | PCIe 5.0 |
| Исполнение | DigitalRazor Devbox, 6,5U |
| Назначение | AI/ML, LLM, Computer Vision, обработка данных |
Конфигурация хранилища рассчитана на несколько независимых рабочих процессов. Системные SSD размещены на совместимых с платформой внутренних интерфейсах, а четыре накопителя рабочего массива — в предусмотренных отсеках с необходимыми NVMe-подключениями.
GPU: 384 ГБ суммарной видеопамяти
NVIDIA RTX PRO 6000 Blackwell оснащается 96 ГБ GDDR7 ECC и использует интерфейс PCIe 5.0 x16. Большой объём видеопамяти позволяет размещать крупные модели, использовать длинный контекст и выполнять несколько независимых вычислительных задач.
Рассмотрим языковую модель с 70 млрд параметров.
| Формат весов | Объём памяти |
|---|---|
| BF16 / FP16 | ~140 ГБ |
| INT8 | ~70 ГБ |
| 4-bit | ~35 ГБ |
При запуске модели дополнительно требуется память под KV-cache, временные буферы и служебные структуры. В результате 70B-модель в BF16 потребует распределения между несколькими GPU, а квантованная версия может размещаться на одном ускорителе.
Четыре RTX PRO 6000 Blackwell позволяют организовать несколько режимов эксплуатации:
- независимый инференс на четырёх GPU;
- параллельное выполнение задач NLP и Computer Vision;
- распределение одной модели между двумя или четырьмя ускорителями;
- выделение части GPU под обучение, а остальных — под тестирование и инференс.
При работе с распределёнными моделями используются механизмы tensor parallelism, pipeline parallelism и другие инструменты, поддерживаемые программным стеком. Производительность зависит от характера вычислений, длины контекста, размера батча и интенсивности обмена данными между ускорителями.
Для оценки системы целесообразно измерять совокупный throughput, задержку первого токена и производительность при различном количестве одновременных запросов.
CPU: зачем четырём GPU 128-ядерный EPYC
В ИИ-системах процессор выполняет значительную часть операций по подготовке данных. Перед передачей информации на GPU могут выполняться токенизация текстов, декодирование изображений, фильтрация, преобразование форматов и формирование батчей. При недостаточной производительности этих операций ускорители ожидают поступления данных.
Как подготовка данных влияет на скорость обучения
В документации NVIDIA DALI есть пример измерения производительности конвейера загрузки данных:
Среднее время эпохи, миллисекунды
Время эпохи в тесте NVIDIA DALI. Источник: NVIDIA DALI, Data Loading Bottleneck Detection
Разница составляет 22,7 раза. Этот пример показывает, насколько существенным может быть влияние подсистемы подготовки данных на общую производительность обучения. Для платформы с четырьмя GPU задача усложняется: одновременно могут работать несколько независимых конвейеров обработки данных.
Распределение вычислительных ресурсов
AMD EPYC 9745 располагает 128 физическими ядрами, поддерживает 256 потоков и 12 каналов DDR5. В референсном сценарии ресурсы CPU можно распределить следующим образом.
| Нагрузка | Бюджет ядер |
|---|---|
| NLP: токенизация и подготовка текстов | 24 |
| Computer Vision: декодирование и аугментации | 32 |
| ETL и аналитические операции | 16 |
| Инференс и вспомогательные сервисы | 24 |
| Резерв | 32 |
| Всего | 128 |
Большое количество ядер позволяет обслуживать несколько CPU-интенсивных процессов и сохранять ресурсы для системных служб. При окончательном сайзинге учитываются фактическая загрузка CPU, пропускная способность памяти и интенсивность подготовки данных.
Для сравнения процессорных конфигураций полезно проводить испытания с ограничением доступных ресурсов до 32, 64, 96 и 128 ядер, контролируя скорость подготовки данных и загрузку GPU.
Оперативная память: 1 ТБ для параллельной обработки данных
Системная RAM используется для кеширования датасетов, промежуточных результатов, аналитических структур и рабочих наборов приложений. При одновременной работе нескольких команд потребление памяти складывается из потребностей всех активных процессов.
Одно декодированное изображение разрешением 1024 × 1024 пикселя в формате RGB uint8 занимает около 3 МиБ.
ГиБ памяти
Расчёт объёма пиксельных данных при размещении изображений в оперативной памяти.
Для обработки больших датасетов обычно применяются потоковая загрузка и кеширование. Размер необходимой RAM зависит от активного рабочего набора и количества параллельных процессов. В конфигурации Devbox предусмотрен 1 ТБ оперативной памяти.
Такой объём позволяет одновременно обслуживать несколько крупных рабочих наборов данных и уменьшать количество повторных обращений к накопителям. Для оценки эффективности конфигурации можно сравнить время выполнения задач при доступных объёмах памяти 256, 512 и 1024 ГБ.
Система хранения: быстрые рабочие данные и корпоративный архив
При проектировании ИИ-платформы важно учитывать характер обращения к данным. Обучение и подготовка датасетов создают интенсивную нагрузку на чтение. Во время экспериментов сохраняются чекпойнты, версии моделей и промежуточные результаты. При этом значительная часть корпоративных данных используется нерегулярно и может храниться отдельно от вычислительного сервера.
Для DigitalRazor Devbox предлагается двухуровневая архитектура хранения.
Системные накопители: 2 × 1,92 ТБ
Для операционной системы, контейнерных окружений, драйверов и служебных данных предусмотрены два Enterprise SSD объёмом 1,92 ТБ каждый. Накопители объединяются в RAID 1. Полезная ёмкость составляет 1,92 ТБ.
Зеркалирование обеспечивает сохранность системного раздела при отказе одного накопителя и упрощает восстановление работоспособности сервера. Для этой задачи достаточно качественных корпоративных SSD с поддержкой защиты данных при потере питания и соответствующим ресурсом записи.
Рабочий массив: 4 × 7,68 ТБ NVMe
Для активных датасетов, кешей, моделей и чекпойнтов предлагается массив из четырёх корпоративных NVMe SSD объёмом 7,68 ТБ. Накопители объединяются в RAID 10.
| Параметр | Значение |
|---|---|
| Количество накопителей | 4 |
| Ёмкость одного SSD | 7,68 ТБ |
| Суммарная физическая ёмкость | 30,72 ТБ |
| Организация массива | RAID 10 |
| Полезная ёмкость | 15,36 ТБ |
| Интерфейс | NVMe |
| Класс накопителей | Enterprise |
RAID 10 сочетает параллельный доступ к данным с зеркалированием накопителей. Для AI/ML-нагрузок такой массив удобен при одновременном чтении датасетов, записи промежуточных результатов и работе нескольких команд.
При выборе SSD предпочтение стоит отдавать корпоративным моделям с защитой от потери питания, стабильной производительностью при длительной нагрузке и ресурсом записи не ниже 1 DWPD. Для задач с интенсивной записью чекпойнтов и временных данных можно рассмотреть накопители класса Mixed Use с ресурсом 3 DWPD.
Почему выбран объём 15,36 ТБ
| Тип данных | Планируемый объём |
|---|---|
| Активные датасеты | 6 ТБ |
| Модели и веса | 2 ТБ |
| Чекпойнты и результаты экспериментов | 2 ТБ |
| Временные данные и кеши | 2 ТБ |
| Резерв свободного пространства | 3,36 ТБ |
| Всего | 15,36 ТБ |
Такой объём позволяет одновременно хранить несколько активных проектов, рабочие копии датасетов и промежуточные результаты. При необходимости конфигурацию можно адаптировать под другой профиль нагрузки: увеличить объём SSD, изменить организацию массива или перенести часть данных во внешнее хранилище.
Подключение внешнего хранилища по 25GbE
Devbox оснащается сетевым интерфейсом 25GbE с номинальной пропускной способностью 3,125 ГБ/с. Это позволяет использовать корпоративный NAS или другое сетевое хранилище для централизованного размещения датасетов, моделей и архивов.
В такой архитектуре локальный NVMe-массив выполняет роль высокоскоростного рабочего пространства. Типовой процесс выглядит следующим образом:
- Датасет хранится на корпоративном NAS или объектном хранилище.
- Перед запуском эксперимента активная версия данных переносится на локальный NVMe-массив Devbox.
- Обучение и обработка выполняются с использованием локальных данных.
- Чекпойнты и результаты сохраняются на локальном массиве.
- После завершения эксперимента необходимые данные передаются в корпоративное хранилище.
Такое разделение позволяет эффективно использовать локальные SSD и сохранять централизованное управление корпоративными данными. Для небольших датасетов и последовательных операций можно работать непосредственно с сетевым хранилищем. При интенсивном параллельном чтении локальный NVMe-массив обеспечивает дополнительный запас производительности.
Инженерная реализация DigitalRazor Devbox
Размещение четырёх GPU с энергопотреблением до 600 Вт каждый в одном сервере требует соответствующей аппаратной платформы. Для Devbox инженеры DigitalRazor выбрали и валидировали конструкцию с двухуровневой компоновкой, независимыми термозонами и серверной подсистемой питания.
Две независимые термозоны
Devbox выполнен в корпусе высотой 6,5U. Верхний отсек высотой 4,5U предназначен для графических ускорителей. Нижний отсек высотой 2U содержит материнскую плату, процессор, оперативную память и остальные системные компоненты.
Для каждого отсека предусмотрен отдельный воздушный тракт. GPU-зона обслуживается шестью высокопроизводительными вентиляторами, обеспечивающими направленный воздушный поток через ускорители. Системная зона использует три отдельных вентилятора для охлаждения процессора и компонентов материнской платы.
Разделение термозон уменьшает взаимное тепловое влияние компонентов и позволяет организовать охлаждение с учётом особенностей CPU и GPU. Для конфигурации с четырьмя RTX PRO 6000 Blackwell расчётное тепловыделение ускорителей может достигать 2,4 кВт.
PCIe 5.0 и размещение ускорителей
Инженеры DigitalRazor адаптировали платформу для подключения четырёх GPU через PCIe 5.0. В рамках подготовки Devbox выполнена замена штатных райзеров на совместимые с PCIe 5.0.
Такая конфигурация обеспечивает поддержку современного интерфейса подключения ускорителей и позволяет использовать возможности серверной платформы AMD EPYC. При валидации проверяются обнаружение всех GPU, согласованная скорость PCIe, топология соединений и стабильность обмена данными.
Подсистема питания
Devbox использует серверную подсистему питания мощностью 3200 Вт с эффективностью уровня 80 PLUS Titanium. Для четырёх GPU предусмотрены отдельные силовые подключения.
При проектировании учитывается совокупная нагрузка на блок питания, включая ускорители, процессор, оперативную память, накопители и систему охлаждения. Инженерная валидация включает проверку энергопотребления полной конфигурации, поведения системы при одновременной загрузке CPU и GPU и устойчивости питания во время длительных вычислений.
Первоначальная настройка и подготовка к эксплуатации
После сборки специалисты DigitalRazor выполняют первоначальную настройку вычислительного узла. Работы включают конфигурирование BIOS, проверку оперативной памяти, обнаружение GPU, настройку драйверов NVIDIA и проверку подсистемы хранения.
Отдельно контролируются:
- корректность работы всех четырёх GPU;
- согласованная скорость и топология PCIe;
- стабильность драйверов при параллельных вычислениях;
- доступность локального NVMe-массива;
- работоспособность сетевого подключения;
- аппаратный мониторинг и регистрация ошибок.
Конфигурация подготавливается с учётом предполагаемых ИИ-нагрузок: инференса, параллельной подготовки данных и длительных вычислений.
Программа и методика испытаний DigitalRazor
Для Devbox инженеры DigitalRazor разрабатывают индивидуальную программу и методику испытаний, учитывающую особенности аппаратной конфигурации. ПМИ охватывает проверку отдельных компонентов и комплексные нагрузочные испытания.
| Испытание | Контролируемые параметры |
|---|---|
| Одновременная нагрузка четырёх GPU | Температуры, частоты, энергопотребление, ошибки |
| Комбинированная нагрузка CPU и GPU | Стабильность питания, тепловой режим |
| Длительная GPU-нагрузка | Температурная стабилизация, изменение частот |
| Подсистема памяти | Стабильность RAM, ошибки ECC |
| NVMe-массив | Скорость чтения и записи, температуры, устойчивость |
| PCIe 5.0 | Скорость соединений, стабильность передачи данных |
| Сетевое подключение | Пропускная способность, ошибки передачи |
| Комплексная нагрузка | Поведение всей системы при одновременной работе компонентов |
В ходе испытаний фиксируются температуры, энергопотребление, рабочие частоты, сообщения аппаратного мониторинга и системные ошибки. Особое внимание уделяется длительной одновременной загрузке всех четырёх GPU и процессора. Результаты испытаний используются для подтверждения работоспособности конфигурации в заданных режимах эксплуатации.
Как оценивать эффективность консолидации
GPU-производительность: показатели throughput, latency, tokens/s, загрузка ускорителей и эффективность распределённых вычислений.
CPU-производительность: скорость подготовки данных, загрузка ядер и влияние параллельных процессов на GPU.
Память: объём активных данных, использование RAM, дисковые обращения и время выполнения задач.
Хранилище: пропускная способность локального NVMe-массива, скорость доступа к сетевым данным и время сохранения чекпойнтов.
Эксплуатация: температуры, энергопотребление, устойчивость работы и доступность аппаратного мониторинга.
Для многопользовательской платформы особенно важна совокупная производительность при одновременной работе нескольких команд. Она позволяет оценить, насколько эффективно используются общие вычислительные ресурсы и как изменяется производительность при увеличении количества параллельных задач.
Результат: общая вычислительная платформа для ИИ-разработки
DigitalRazor Devbox объединяет четыре профессиональных GPU, 128-ядерный AMD EPYC, 1 ТБ оперативной памяти и высокоскоростное локальное хранилище в одном вычислительном узле.
Архитектура рассчитана на несколько независимых команд с возможностью перераспределения ускорителей для крупных экспериментов.
Четыре RTX PRO 6000 Blackwell обеспечивают суммарно 384 ГБ видеопамяти. Процессор предоставляет ресурсы для параллельной подготовки данных и обслуживания вычислительных процессов. Терабайт RAM позволяет работать с большими активными наборами данных.
Локальный NVMe-массив обеспечивает высокоскоростное рабочее пространство, а подключение 25GbE позволяет интегрировать сервер с корпоративным хранилищем датасетов и результатов экспериментов.
Двухуровневая компоновка Devbox, независимые термозоны, адаптация PCIe 5.0 и инженерная валидация обеспечивают аппаратную основу для длительных ресурсоёмких вычислений.
Инженерная компетенция DigitalRazor
DigitalRazor проектирует и производит GPU-серверы и рабочие станции для задач искусственного интеллекта, машинного обучения и инженерных вычислений.
При разработке Devbox инженеры компании выполняют подбор и адаптацию аппаратной платформы, прорабатывают компоновку четырёх GPU, организацию охлаждения и питания, обеспечивают поддержку PCIe 5.0 и разрабатывают программу испытаний.
Каждую конфигурацию подбираем с учётом профиля вычислительных нагрузок, требований к памяти, производительности хранения и условий эксплуатации.
Планируете объединить GPU-ресурсы нескольких команд или создать локальную ИИ-платформу? Специалисты DigitalRazor помогут определить требования к вычислительной инфраструктуре, подобрать конфигурацию GPU-сервера и подготовить решение к эксплуатации.






