DigitalRazor Devbox AI: сервер для дообучения моделей и R&D-команды

Один ML-инженер может проводить эксперименты на рабочей станции или арендованной видеокарте. Но по мере роста команды появляются очереди: один специалист дообучает языковую модель, второй проверяет новую архитектуру, третий запускает обработку датасета, а четвёртый ждёт свободный GPU.

DigitalRazor Devbox AI решает эту проблему за счёт общей вычислительной платформы с четырьмя или шестью графическими ускорителями. GPU-сервер подходит для локального дообучения моделей, компьютерного зрения, анализа данных и других задач исследовательских подразделений.

Зачем R&D-команде отдельный GPU-сервер

DigitalRazor Devbox AI позволяет нескольким специалистам использовать одну централизованную систему вместо набора разрозненных рабочих станций и облачных аккаунтов.

На сервере можно:

• дообучать большие языковые модели на данных компании;
• запускать несколько экспериментов параллельно;
• готовить и очищать крупные датасеты;
• разрабатывать системы компьютерного зрения;
• обучать модели прогнозирования и обнаружения аномалий;
• запускать генеративные модели для текста, изображений и видео;
• тестировать разные версии модели перед внедрением.

Компания хранит датасеты и результаты экспериментов внутри собственной инфраструктуры. Это особенно важно при работе с внутренними документами, исходным кодом, техническими данными, клиентскими обращениями и другой информацией, которую нельзя бесконтрольно передавать внешним сервисам.

Локальный сервер не отменяет настройку прав доступа, резервного копирования и информационной безопасности. Зато бизнес контролирует, где хранятся данные, кто использует вычислительные ресурсы и какие модели запускает команда.

От четырёх RTX 5090 до шести RTX PRO 6000

DigitalRazor Devbox AI построен на платформе AMD Threadripper PRO 7000. Сервер поддерживает процессоры с числом ядер до 96, до 2 ТБ оперативной памяти DDR5 REG ECC и несколько вариантов графической подсистемы.

Суммарная видеопамять нескольких ускорителей не превращается автоматически в единый общий буфер. Чтобы использовать несколько GPU, программное обеспечение должно распределять между ними данные, вычисления или части модели. Для этого применяют параллельное обучение и соответствующие возможности PyTorch и других фреймворков.

Поэтому конфигурацию нужно подбирать не только по количеству видеокарт. Необходимо учитывать архитектуру модели, размер контекста, точность вычислений, метод дообучения и поддержку нескольких GPU выбранным программным стеком.

Для каких моделей подходит DigitalRazor Devbox AI

Сервер можно использовать как для полного дообучения, так и для более экономичных методов адаптации моделей.

Например, технологии LoRA и QLoRA изменяют ограниченный набор дополнительных параметров вместо обновления всех весов базовой модели. Это значительно сокращает требования к памяти и позволяет адаптировать более крупные модели на доступном оборудовании.

Практические сценарии включают:

• адаптацию LLM под юридические, медицинские или технические документы;
• обучение корпоративного чат-бота на примерах обращений;
• настройку модели для классификации и извлечения данных;
• дообучение систем распознавания дефектов;
• разработку видеоаналитики и отслеживания объектов;
• обучение моделей прогнозирования для производства, ритейла и финансов.

Четыре RTX 5090 подойдут командам, которым важна высокая производительность и которые готовы учитывать ограничения потребительских видеокарт. Конфигурации с RTX PRO 6000 предлагают значительно больше видеопамяти и лучше подходят для крупных моделей, длительной нагрузки и профессиональной эксплуатации.

Почему не несколько отдельных рабочих станций

Рабочая станция удобна для одного специалиста. Но при росте R&D-команды отдельные компьютеры сложнее загружать равномерно.

На одной системе видеокарта может простаивать, пока на другой эксперимент ждёт свободной памяти. Также команде приходится отдельно обновлять драйверы, библиотеки и окружение на каждом компьютере.

DigitalRazor Devbox AI создаёт общий вычислительный узел:

• инженеры подключаются к единой системе;
• команда централизованно управляет программным окружением;
• несколько GPU можно распределять между пользователями и задачами;
• датасеты не приходится копировать между рабочими местами;
• сервер проще интегрировать в корпоративную сеть и систему хранения.

Платформа выполнена в корпусе 6,5U, оснащается двумя сетевыми интерфейсами 10 Гбит/с и поддерживает до четырёх накопителей NVMe PCIe 5.0. Система питания мощностью 6400 Вт построена по резервируемой схеме 1+1.

Готовое программное окружение

GPU-сервер можно поставить с платформой DigitalRazor OneStack. Она предоставляет интерфейс для контроля загрузки CPU, GPU, оперативной и видеопамяти, а также управления программным окружением и контейнерами.

Это сокращает время между установкой оборудования и первым экспериментом. Команде не нужно начинать проект с ручной настройки драйверов, CUDA и базовой контейнерной инфраструктуры на пустом сервере.

DigitalRazor также предлагает тестирование Devbox AI перед покупкой. Компания может проверить собственную модель и датасет, оценить потребление видеопамяти и подобрать конфигурацию под реальную нагрузку, а не под максимальные характеристики в каталоге.

Когда нужен более мощный сервер

DigitalRazor Devbox AI занимает промежуточное положение между компактным сервером на одну-две видеокарты и платформами на восемь ускорителей.

Его стоит выбрать, когда:

• двух GPU уже недостаточно;
• несколько ML-инженеров работают одновременно;
• команда регулярно дообучает модели;
• требуется от 128 до 576 ГБ суммарной видеопамяти;
• облачные ресурсы используются постоянно;
• данные должны оставаться внутри компании.

Для пилотного проекта или одного внутреннего ИИ-ассистента возможностей Devbox AI может оказаться слишком много. В таком случае рациональнее начать с DigitalRazor Rackstation AI на одном или двух ускорителях.

Если же компания планирует обучать особенно крупные модели с нуля, строить кластер или использовать восемь GPU в одном узле, лучше рассмотреть DigitalRazor Scale либо серверы серии HPC.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U