8 800 500-99-26 Для звонков по России
Четыре RTX PRO 6000 Blackwell в одном сервере: как построить общую ИИ-платформу для нескольких команд
Рабочие станции
9 мин

Четыре RTX PRO 6000 Blackwell в одном сервере: как построить общую ИИ-платформу для нескольких команд

DigitalRazor
DigitalRazor
Подписаться в Telegram
Содержание 14 разделов
Задача: объединить вычислительные ресурсы нескольких команд Архитектура: один сервер с четырьмя GPU Конфигурация DigitalRazor Devbox GPU: 384 ГБ суммарной видеопамяти CPU: зачем четырём GPU 128-ядерный EPYC Распределение вычислительных ресурсов Оперативная память: 1 ТБ для параллельной обработки данных Система хранения: быстрые рабочие данные и корпоративный архив Инженерная реализация DigitalRazor Devbox Первоначальная настройка и подготовка к эксплуатации Программа и методика испытаний DigitalRazor Как оценивать эффективность консолидации Результат: общая вычислительная платформа для ИИ-разработки Инженерная компетенция DigitalRazor
Подберём решение под ваш проект

Расскажите о задаче — предложим оптимальную конфигурацию и реализацию.

Обсудить проект
или свяжитесь с нами
Telegram Telegram WhatsApp WhatsApp ВКонтакте ВКонтакте MAX MAX

Есть проект? Напишите нам

Обсудим задачу и подберём оборудование

Обсудить проект

Референсный проект DigitalRazor Devbox: 384 ГБ суммарной видеопамяти, 128-ядерный AMD EPYC, 1 ТБ RAM и высокоскоростное NVMe-хранилище для параллельной разработки и эксплуатации ИИ-приложений.

Задача: объединить вычислительные ресурсы нескольких команд

Представим крупную компанию, которая разрабатывает корпоративное программное обеспечение и одновременно ведёт несколько проектов с использованием искусственного интеллекта.

Команда NLP адаптирует языковые модели для обработки корпоративных документов. Разработчики компьютерного зрения обучают модели на больших массивах изображений. Отдельная группа занимается RAG-сервисами, а продуктовые команды тестируют модели и разворачивают сервисы инференса.

Первоначально разработчики используют собственные GPU-станции и облачные ресурсы. По мере увеличения числа проектов такая инфраструктура становится неудобной.

Одни команды ожидают освобождения GPU, пока другие используют лишь часть доступной мощности. Датасеты приходится копировать между машинами, программные окружения различаются, а запуск крупных экспериментов требует ручного перераспределения оборудования.

Дополнительную сложность создаёт неоднородность вычислительных задач. Инференс языковых моделей требует большого объёма VRAM. Подготовка изображений активно использует CPU. Аналитические операции и обработка датасетов могут занимать сотни гигабайт оперативной памяти.

Для такого сценария рассмотрим консолидацию вычислительных ресурсов в одном сервере DigitalRazor Devbox с четырьмя профессиональными GPU. Платформа должна обеспечивать независимую работу нескольких команд, поддерживать распределённые вычисления и предоставлять общий доступ к локальным и корпоративным данным.

Архитектура: один сервер с четырьмя GPU

Для организации общей вычислительной инфраструктуры можно использовать несколько отдельных серверов либо объединить ускорители в одном вычислительном узле.

Архитектура Преимущества Ограничения
Четыре сервера по одному GPU Независимость узлов, возможность распределённого размещения Дублирование CPU, RAM и других компонентов, межузловой обмен данными
Два сервера по два GPU Баланс консолидации и независимости Для задач на 3–4 GPU требуется межузловое взаимодействие
Один сервер с четырьмя GPU Общие CPU, RAM и хранилище, централизованное управление Единая точка отказа, повышенные требования к питанию и охлаждению

Для рассматриваемого сценария выбрали архитектуру единого GPU-сервера. Четыре ускорителя можно использовать независимо либо объединять для выполнения одной ресурсоёмкой задачи.

Например, в рабочее время сервер обслуживает четыре проекта, каждому из которых выделяется собственный GPU. Для ночного обучения крупной модели планировщик может предоставить все четыре ускорителя одному заданию.

Такой подход позволяет гибко перераспределять вычислительные мощности без изменения аппаратной конфигурации.

Конфигурация DigitalRazor Devbox

Компонент Конфигурация
GPU 4 × NVIDIA RTX PRO 6000 Blackwell
Видеопамять 4 × 96 ГБ GDDR7 ECC
CPU AMD EPYC 9745, 128 ядер / 256 потоков
RAM 1 ТБ DDR5 ECC
Системное хранилище 2 × 1,92 ТБ Enterprise SSD
Рабочее хранилище 4 × 7,68 ТБ Enterprise NVMe
Полезная ёмкость рабочего массива 15,36 ТБ, RAID 10
Сетевой интерфейс 25GbE
Подключение GPU PCIe 5.0
Исполнение DigitalRazor Devbox, 6,5U
Назначение AI/ML, LLM, Computer Vision, обработка данных

Конфигурация хранилища рассчитана на несколько независимых рабочих процессов. Системные SSD размещены на совместимых с платформой внутренних интерфейсах, а четыре накопителя рабочего массива — в предусмотренных отсеках с необходимыми NVMe-подключениями.

GPU: 384 ГБ суммарной видеопамяти

NVIDIA RTX PRO 6000 Blackwell оснащается 96 ГБ GDDR7 ECC и использует интерфейс PCIe 5.0 x16. Большой объём видеопамяти позволяет размещать крупные модели, использовать длинный контекст и выполнять несколько независимых вычислительных задач.

Рассмотрим языковую модель с 70 млрд параметров.

Формат весов Объём памяти
BF16 / FP16 ~140 ГБ
INT8 ~70 ГБ
4-bit ~35 ГБ

При запуске модели дополнительно требуется память под KV-cache, временные буферы и служебные структуры. В результате 70B-модель в BF16 потребует распределения между несколькими GPU, а квантованная версия может размещаться на одном ускорителе.

Четыре RTX PRO 6000 Blackwell позволяют организовать несколько режимов эксплуатации:

  • независимый инференс на четырёх GPU;
  • параллельное выполнение задач NLP и Computer Vision;
  • распределение одной модели между двумя или четырьмя ускорителями;
  • выделение части GPU под обучение, а остальных — под тестирование и инференс.

При работе с распределёнными моделями используются механизмы tensor parallelism, pipeline parallelism и другие инструменты, поддерживаемые программным стеком. Производительность зависит от характера вычислений, длины контекста, размера батча и интенсивности обмена данными между ускорителями.

Для оценки системы целесообразно измерять совокупный throughput, задержку первого токена и производительность при различном количестве одновременных запросов.

CPU: зачем четырём GPU 128-ядерный EPYC

В ИИ-системах процессор выполняет значительную часть операций по подготовке данных. Перед передачей информации на GPU могут выполняться токенизация текстов, декодирование изображений, фильтрация, преобразование форматов и формирование батчей. При недостаточной производительности этих операций ускорители ожидают поступления данных.

Как подготовка данных влияет на скорость обучения

В документации NVIDIA DALI есть пример измерения производительности конвейера загрузки данных:

Влияние загрузки данных на скорость обучения
NVIDIA DALI / PyTorch Data Loader Evaluator
Стандартная загрузка
3 750
Кешированные батчи
170
0
375
750
1125
1500
1875
2250
2625
3000
3375
3750

Среднее время эпохи, миллисекунды

Время эпохи в тесте NVIDIA DALI. Источник: NVIDIA DALI, Data Loading Bottleneck Detection

Разница составляет 22,7 раза. Этот пример показывает, насколько существенным может быть влияние подсистемы подготовки данных на общую производительность обучения. Для платформы с четырьмя GPU задача усложняется: одновременно могут работать несколько независимых конвейеров обработки данных.

Распределение вычислительных ресурсов

AMD EPYC 9745 располагает 128 физическими ядрами, поддерживает 256 потоков и 12 каналов DDR5. В референсном сценарии ресурсы CPU можно распределить следующим образом.

Нагрузка Бюджет ядер
NLP: токенизация и подготовка текстов 24
Computer Vision: декодирование и аугментации 32
ETL и аналитические операции 16
Инференс и вспомогательные сервисы 24
Резерв 32
Всего 128

Большое количество ядер позволяет обслуживать несколько CPU-интенсивных процессов и сохранять ресурсы для системных служб. При окончательном сайзинге учитываются фактическая загрузка CPU, пропускная способность памяти и интенсивность подготовки данных.

Для сравнения процессорных конфигураций полезно проводить испытания с ограничением доступных ресурсов до 32, 64, 96 и 128 ядер, контролируя скорость подготовки данных и загрузку GPU.

Оперативная память: 1 ТБ для параллельной обработки данных

Системная RAM используется для кеширования датасетов, промежуточных результатов, аналитических структур и рабочих наборов приложений. При одновременной работе нескольких команд потребление памяти складывается из потребностей всех активных процессов.

Одно декодированное изображение разрешением 1024 × 1024 пикселя в формате RGB uint8 занимает около 3 МиБ.

Объём декодированных изображений в RAM.
Размер одного изображения: 1024 × 1024 / RGB uint8 / 3 МиБ
10 тыс. изображений
29
50 тыс. изображений
147
100 тыс. изображений
293
250 тыс. изображений
732
0
73.2
146.4
219.6
292.8
366
439.2
512.4
585.6
658.8

ГиБ памяти

Расчёт объёма пиксельных данных при размещении изображений в оперативной памяти.

Для обработки больших датасетов обычно применяются потоковая загрузка и кеширование. Размер необходимой RAM зависит от активного рабочего набора и количества параллельных процессов. В конфигурации Devbox предусмотрен 1 ТБ оперативной памяти.

Такой объём позволяет одновременно обслуживать несколько крупных рабочих наборов данных и уменьшать количество повторных обращений к накопителям. Для оценки эффективности конфигурации можно сравнить время выполнения задач при доступных объёмах памяти 256, 512 и 1024 ГБ.

Система хранения: быстрые рабочие данные и корпоративный архив

При проектировании ИИ-платформы важно учитывать характер обращения к данным. Обучение и подготовка датасетов создают интенсивную нагрузку на чтение. Во время экспериментов сохраняются чекпойнты, версии моделей и промежуточные результаты. При этом значительная часть корпоративных данных используется нерегулярно и может храниться отдельно от вычислительного сервера.

Для DigitalRazor Devbox предлагается двухуровневая архитектура хранения.

Системные накопители: 2 × 1,92 ТБ

Для операционной системы, контейнерных окружений, драйверов и служебных данных предусмотрены два Enterprise SSD объёмом 1,92 ТБ каждый. Накопители объединяются в RAID 1. Полезная ёмкость составляет 1,92 ТБ.

Зеркалирование обеспечивает сохранность системного раздела при отказе одного накопителя и упрощает восстановление работоспособности сервера. Для этой задачи достаточно качественных корпоративных SSD с поддержкой защиты данных при потере питания и соответствующим ресурсом записи.

Рабочий массив: 4 × 7,68 ТБ NVMe

Для активных датасетов, кешей, моделей и чекпойнтов предлагается массив из четырёх корпоративных NVMe SSD объёмом 7,68 ТБ. Накопители объединяются в RAID 10.

Параметр Значение
Количество накопителей 4
Ёмкость одного SSD 7,68 ТБ
Суммарная физическая ёмкость 30,72 ТБ
Организация массива RAID 10
Полезная ёмкость 15,36 ТБ
Интерфейс NVMe
Класс накопителей Enterprise

RAID 10 сочетает параллельный доступ к данным с зеркалированием накопителей. Для AI/ML-нагрузок такой массив удобен при одновременном чтении датасетов, записи промежуточных результатов и работе нескольких команд.

При выборе SSD предпочтение стоит отдавать корпоративным моделям с защитой от потери питания, стабильной производительностью при длительной нагрузке и ресурсом записи не ниже 1 DWPD. Для задач с интенсивной записью чекпойнтов и временных данных можно рассмотреть накопители класса Mixed Use с ресурсом 3 DWPD.

Почему выбран объём 15,36 ТБ

Тип данных Планируемый объём
Активные датасеты 6 ТБ
Модели и веса 2 ТБ
Чекпойнты и результаты экспериментов 2 ТБ
Временные данные и кеши 2 ТБ
Резерв свободного пространства 3,36 ТБ
Всего 15,36 ТБ

Такой объём позволяет одновременно хранить несколько активных проектов, рабочие копии датасетов и промежуточные результаты. При необходимости конфигурацию можно адаптировать под другой профиль нагрузки: увеличить объём SSD, изменить организацию массива или перенести часть данных во внешнее хранилище.

Подключение внешнего хранилища по 25GbE

Devbox оснащается сетевым интерфейсом 25GbE с номинальной пропускной способностью 3,125 ГБ/с. Это позволяет использовать корпоративный NAS или другое сетевое хранилище для централизованного размещения датасетов, моделей и архивов.

В такой архитектуре локальный NVMe-массив выполняет роль высокоскоростного рабочего пространства. Типовой процесс выглядит следующим образом:

  1. Датасет хранится на корпоративном NAS или объектном хранилище.
  2. Перед запуском эксперимента активная версия данных переносится на локальный NVMe-массив Devbox.
  3. Обучение и обработка выполняются с использованием локальных данных.
  4. Чекпойнты и результаты сохраняются на локальном массиве.
  5. После завершения эксперимента необходимые данные передаются в корпоративное хранилище.

Такое разделение позволяет эффективно использовать локальные SSD и сохранять централизованное управление корпоративными данными. Для небольших датасетов и последовательных операций можно работать непосредственно с сетевым хранилищем. При интенсивном параллельном чтении локальный NVMe-массив обеспечивает дополнительный запас производительности.

Инженерная реализация DigitalRazor Devbox

Размещение четырёх GPU с энергопотреблением до 600 Вт каждый в одном сервере требует соответствующей аппаратной платформы. Для Devbox инженеры DigitalRazor выбрали и валидировали конструкцию с двухуровневой компоновкой, независимыми термозонами и серверной подсистемой питания.

Две независимые термозоны

Devbox выполнен в корпусе высотой 6,5U. Верхний отсек высотой 4,5U предназначен для графических ускорителей. Нижний отсек высотой 2U содержит материнскую плату, процессор, оперативную память и остальные системные компоненты.

Для каждого отсека предусмотрен отдельный воздушный тракт. GPU-зона обслуживается шестью высокопроизводительными вентиляторами, обеспечивающими направленный воздушный поток через ускорители. Системная зона использует три отдельных вентилятора для охлаждения процессора и компонентов материнской платы.

Разделение термозон уменьшает взаимное тепловое влияние компонентов и позволяет организовать охлаждение с учётом особенностей CPU и GPU. Для конфигурации с четырьмя RTX PRO 6000 Blackwell расчётное тепловыделение ускорителей может достигать 2,4 кВт.

PCIe 5.0 и размещение ускорителей

Инженеры DigitalRazor адаптировали платформу для подключения четырёх GPU через PCIe 5.0. В рамках подготовки Devbox выполнена замена штатных райзеров на совместимые с PCIe 5.0.

Такая конфигурация обеспечивает поддержку современного интерфейса подключения ускорителей и позволяет использовать возможности серверной платформы AMD EPYC. При валидации проверяются обнаружение всех GPU, согласованная скорость PCIe, топология соединений и стабильность обмена данными.

Подсистема питания

Devbox использует серверную подсистему питания мощностью 3200 Вт с эффективностью уровня 80 PLUS Titanium. Для четырёх GPU предусмотрены отдельные силовые подключения.

При проектировании учитывается совокупная нагрузка на блок питания, включая ускорители, процессор, оперативную память, накопители и систему охлаждения. Инженерная валидация включает проверку энергопотребления полной конфигурации, поведения системы при одновременной загрузке CPU и GPU и устойчивости питания во время длительных вычислений.

Первоначальная настройка и подготовка к эксплуатации

После сборки специалисты DigitalRazor выполняют первоначальную настройку вычислительного узла. Работы включают конфигурирование BIOS, проверку оперативной памяти, обнаружение GPU, настройку драйверов NVIDIA и проверку подсистемы хранения.

Отдельно контролируются:

  • корректность работы всех четырёх GPU;
  • согласованная скорость и топология PCIe;
  • стабильность драйверов при параллельных вычислениях;
  • доступность локального NVMe-массива;
  • работоспособность сетевого подключения;
  • аппаратный мониторинг и регистрация ошибок.

Конфигурация подготавливается с учётом предполагаемых ИИ-нагрузок: инференса, параллельной подготовки данных и длительных вычислений.

Программа и методика испытаний DigitalRazor

Для Devbox инженеры DigitalRazor разрабатывают индивидуальную программу и методику испытаний, учитывающую особенности аппаратной конфигурации. ПМИ охватывает проверку отдельных компонентов и комплексные нагрузочные испытания.

Испытание Контролируемые параметры
Одновременная нагрузка четырёх GPU Температуры, частоты, энергопотребление, ошибки
Комбинированная нагрузка CPU и GPU Стабильность питания, тепловой режим
Длительная GPU-нагрузка Температурная стабилизация, изменение частот
Подсистема памяти Стабильность RAM, ошибки ECC
NVMe-массив Скорость чтения и записи, температуры, устойчивость
PCIe 5.0 Скорость соединений, стабильность передачи данных
Сетевое подключение Пропускная способность, ошибки передачи
Комплексная нагрузка Поведение всей системы при одновременной работе компонентов

В ходе испытаний фиксируются температуры, энергопотребление, рабочие частоты, сообщения аппаратного мониторинга и системные ошибки. Особое внимание уделяется длительной одновременной загрузке всех четырёх GPU и процессора. Результаты испытаний используются для подтверждения работоспособности конфигурации в заданных режимах эксплуатации.

Как оценивать эффективность консолидации

GPU-производительность: показатели throughput, latency, tokens/s, загрузка ускорителей и эффективность распределённых вычислений.

CPU-производительность: скорость подготовки данных, загрузка ядер и влияние параллельных процессов на GPU.

Память: объём активных данных, использование RAM, дисковые обращения и время выполнения задач.

Хранилище: пропускная способность локального NVMe-массива, скорость доступа к сетевым данным и время сохранения чекпойнтов.

Эксплуатация: температуры, энергопотребление, устойчивость работы и доступность аппаратного мониторинга.

Для многопользовательской платформы особенно важна совокупная производительность при одновременной работе нескольких команд. Она позволяет оценить, насколько эффективно используются общие вычислительные ресурсы и как изменяется производительность при увеличении количества параллельных задач.

Результат: общая вычислительная платформа для ИИ-разработки

DigitalRazor Devbox объединяет четыре профессиональных GPU, 128-ядерный AMD EPYC, 1 ТБ оперативной памяти и высокоскоростное локальное хранилище в одном вычислительном узле.

Архитектура рассчитана на несколько независимых команд с возможностью перераспределения ускорителей для крупных экспериментов.

Четыре RTX PRO 6000 Blackwell обеспечивают суммарно 384 ГБ видеопамяти. Процессор предоставляет ресурсы для параллельной подготовки данных и обслуживания вычислительных процессов. Терабайт RAM позволяет работать с большими активными наборами данных.

Локальный NVMe-массив обеспечивает высокоскоростное рабочее пространство, а подключение 25GbE позволяет интегрировать сервер с корпоративным хранилищем датасетов и результатов экспериментов.

Двухуровневая компоновка Devbox, независимые термозоны, адаптация PCIe 5.0 и инженерная валидация обеспечивают аппаратную основу для длительных ресурсоёмких вычислений.

Инженерная компетенция DigitalRazor

DigitalRazor проектирует и производит GPU-серверы и рабочие станции для задач искусственного интеллекта, машинного обучения и инженерных вычислений.

При разработке Devbox инженеры компании выполняют подбор и адаптацию аппаратной платформы, прорабатывают компоновку четырёх GPU, организацию охлаждения и питания, обеспечивают поддержку PCIe 5.0 и разрабатывают программу испытаний.

Каждую конфигурацию подбираем с учётом профиля вычислительных нагрузок, требований к памяти, производительности хранения и условий эксплуатации.

Планируете объединить GPU-ресурсы нескольких команд или создать локальную ИИ-платформу? Специалисты DigitalRazor помогут определить требования к вычислительной инфраструктуре, подобрать конфигурацию GPU-сервера и подготовить решение к эксплуатации.

DEVBOX AI DV64-64-512
Для каких задач Для локального обучения LLM, генеративных моделей и R&D
Подробнее
Видеокарты
4 x NVIDIA RTX 5080 16GB
Объем видеопамяти 64 ГБ
Процессоры
Threadripper PRO 9985WX
Количество ядер 64
RAM 512GB DDR5
Форм-фактор 6.5U
DEVBOX AI DV64-128-512
Для каких задач Для локального обучения LLM, генеративных моделей и R&D
Подробнее
Видеокарты
4 x NVIDIA RTX 5090 32GB
Объем видеопамяти 128 ГБ
Процессоры
Threadripper PRO 9985WX
Количество ядер 64
RAM 512GB DDR5
Форм-фактор 6.5U
DEVBOX AI DV96-576-1024
Для каких задач Для локального обучения LLM, генеративных моделей и R&D
Подробнее
Видеокарты
6 x NVIDIA RTX PRO 6000 96GB
Объем видеопамяти 576 ГБ
Процессоры
Threadripper PRO 9995WX
Количество ядер 96
RAM 1024GB DDR5
Форм-фактор 6.5U
Подберём решение под ваш проект

Расскажите о задаче — предложим оптимальную конфигурацию и реализацию.

Обсудить проект
или свяжитесь с нами
Telegram Telegram WhatsApp WhatsApp ВКонтакте ВКонтакте MAX MAX
39

Так же будет интересно почитать

Сайт использует cookies
Узнать подробнее