DigitalRazor Scale на 8 GPU: когда компании нужен собственный сервер для обучения LLM

Первые эксперименты с большими языковыми моделями можно проводить в облаке или на рабочей станции с одной-двумя видеокартами. Но по мере роста модели, датасета и команды аренда вычислений дорожает, очереди растягиваются, а обучение всё чаще упирается в объём видеопамяти.

На этом этапе компании нужна уже не «мощная рабочая станция», а полноценная вычислительная инфраструктура. Сервер DigitalRazor Scale поддерживает до восьми графических ускорителей и рассчитан на обучение LLM, генеративные модели, исследования и работу в составе ИИ-кластера.

Краткое содержание

• Scale поддерживает до восьми видеокарт RTX 5090 или RTX PRO 6000 Blackwell.
• Суммарный объём установленной видеопамяти достигает 768 ГБ.
• Сервер рассчитан на обучение LLM, распределённые вычисления и исследования.
• Собственная инфраструктура оправдана при регулярной и предсказуемой загрузке GPU.
• Для разовых экспериментов и небольших моделей облако или младший сервер могут оказаться выгоднее.

Когда двух видеокарт уже недостаточно

Локальную LLM необязательно запускать на восьми ускорителях. Квантизированную модель для инференса можно разместить на обычном ПК, рабочей станции или компактном GPU-сервере. Мы подробно разбирали требования к таким системам в статье «Выбор оборудования для локального запуска LLM».

Но обучение и инференс — разные задачи.

При обучении сервер хранит не только веса модели, но и градиенты, состояния оптимизатора, активации и промежуточные данные. Поэтому требования к видеопамяти многократно возрастают. Чем крупнее модель, длиннее контекст и больше размер пакета, тем быстрее команда упирается в возможности одной или двух видеокарт.

Сервер на восемь GPU имеет смысл, когда компания:

• обучает или дообучает модели регулярно;
• работает с LLM класса 70B и крупнее;
• запускает несколько экспериментов параллельно;
• не может отправлять датасеты во внешнее облако;
• хочет контролировать сроки и приоритеты вычислений;
• планирует объединять серверы в кластер;
• постоянно оплачивает большой объём облачных GPU.

Scale рассчитан именно на такие сценарии.

Технические характеристики DigitalRazor Scale

Конкретную конфигурацию инженеры подбирают под конкретную модель, программный стек, объём данных и требования к масштабированию.

• Количество GPU: до восьми;
• Видеокарты: NVIDIA GeForce RTX 5090 32 ГБ или NVIDIA RTX PRO 6000 Blackwell 96 ГБ;
• Суммарная установленная видеопамять: до 256 ГБ с RTX 5090 до 768 ГБ с RTX PRO 6000;
• Процессоры: до двух AMD EPYC серии 9005;
• Количество процессорных ядер: от 128 до 256;
• Оперативная память: до 2 ТБ RDIMM ECC DDR5;
• Форм-фактор: стоечный корпус 19 дюймов, высота 6,5U;
• Назначение: обучение LLM, генеративный ИИ, исследования, инженерные симуляции и кластерные вычисления.

Суммарный объём памяти восьми ускорителей не следует воспринимать как один автоматически объединённый массив. Эффективность конфигурации зависит от того, поддерживает ли программный стек распределение модели, данных и вычислений между несколькими GPU.

Поэтому при проектировании сервера важны не только модели видеокарт, но и топология PCI Express, процессорная платформа, пропускная способность памяти, накопители и сеть.

RTX 5090 или RTX PRO 6000

Обе конфигурации дают восемь современных ускорителей, но решают задачи разного масштаба.

Восемь RTX 5090

Каждая GeForce RTX 5090 оснащена 32 ГБ видеопамяти. В восьмикарточной конфигурации сервер получает 256 ГБ суммарной установленной VRAM.

Такой вариант подходит для команд, которым нужна высокая вычислительная производительность и которые готовы строить распределённое обучение на потребительских ускорителях. Главное преимущество — более доступная стоимость вычислений.

Но у GeForce есть ограничения: меньший объём памяти на каждом GPU, потребительское позиционирование и менее удобная эксплуатация в некоторых корпоративных сценариях.

Восемь RTX PRO 6000 Blackwell

Каждая RTX PRO 6000 получила 96 ГБ памяти. В результате восемь ускорителей дают до 768 ГБ суммарной установленной VRAM.

Большой объём памяти на одном GPU упрощает работу с крупными фрагментами модели, длинным контекстом и тяжёлыми пакетами данных. Профессиональные ускорители также лучше подходят для инфраструктуры, которую компания планирует непрерывно загружать рабочими задачами.

Готовые варианты с восемью ускорителями собраны в разделе «GPU-серверы с 8 видеокартами».

Почему нельзя просто поставить восемь видеокарт в обычный сервер

Восемь GPU создают нагрузку не только на блоки питания.

Системе нужно одновременно обеспечить:

• достаточное количество линий PCI Express;
• питание всех ускорителей под длительной нагрузкой;
• равномерное охлаждение;
• быстрый доступ к датасетам;
• большой объём памяти с коррекцией ошибок;
• стабильную работу без перезагрузок на протяжении дней или недель;
• высокоскоростную сеть для объединения нескольких узлов.

Для восьмикарточных конфигураций особенно важны резервирование питания и память ECC. Ошибка или отключение в конце многодневного обучения обходится гораздо дороже экономии на серверной платформе. Эти требования мы подробнее разобрали в руководстве «Как выбрать сервер для ИИ в 2026 году».

Свой сервер или облако

Облако удобно на старте. Компания быстро получает доступ к ускорителям, не занимается стойками, электропитанием и охлаждением и платит только за использованное время.

Проблемы начинаются, когда загрузка становится постоянной.

Собственный Scale стоит рассматривать, если команда загружает GPU почти ежедневно, обучение регулярно занимает недели, а расходы на аренду превратились в постоянную крупную статью бюджета. Сервер также помогает зафиксировать вычислительные ресурсы за своей командой: никто не изменит тариф, не уберёт нужный тип ускорителя и не поставит эксперимент в очередь.

Второй аргумент — данные. При локальном размещении датасеты, веса моделей и результаты обучения остаются внутри инфраструктуры компании. Это важно для промышленности, финансового сектора, медицины, государственных организаций и разработчиков, которые работают с интеллектуальной собственностью.

Но покупать восемь GPU «на вырост» тоже не всегда рационально. Если команда только проверяет гипотезу, периодически запускает небольшие модели или не умеет эффективно распределять вычисления, разумнее начать с Rackstation AI либо Devbox AI. Они поддерживают меньше ускорителей и позволяют войти в локальный ИИ без избыточных затрат.

Scale нужен не всем — и в этом его смысл

DigitalRazor Scale — не универсальный сервер «для любых нейросетей». Это следующий уровень после пилотных проектов и небольших локальных моделей.

Он нужен компании, которая уже понимает:

• какие модели собирается обучать;
• сколько видеопамяти требуется;
• как часто будут загружены ускорители;
• где хранятся данные;
• как будет организовано распределённое обучение;
• планируется ли дальнейшее масштабирование.

Инженеры DigitalRazor проектируют конфигурацию под конкретную нагрузку: от восьми RTX 5090 с упором на стоимость вычислений до восьми RTX PRO 6000 с 768 ГБ установленной видеопамяти. Также мы проверяем совместимость компонентов, тестируем сервер под длительной нагрузкой и готовим систему к интеграции в инфраструктуру заказчика.

Подобрать конфигурацию и рассчитать стоимость проекта можно на странице DigitalRazor Scale.

Для каких задач Высокопроизводительный сервер инференса, локальная лаборатория для разработки AI, сервисная стойка под параллельные API-запросы.

Подробнее

Видеокарты

8 x NVIDIA RTX 5090 32GB

Объем видеопамяти 256 ГБ

Процессоры

2 x Xeon Gold 6430

Количество ядер 64

RAM 512GB DDR5

Форм-фактор 6U

Для каких задач Корпоративный AI-сервер, закрывающий полный цикл от обработки данных и векторного поиска до обучений специализированных LLM под задачи бизнеса.

Подробнее

Видеокарты

8 x NVIDIA RTX PRO 5000 72GB

Объем видеопамяти 576 ГБ

Процессоры

2 x Xeon Platinum 8558P

Количество ядер 96

RAM 1536GB DDR5

Форм-фактор 6U

Для каких задач Научно-исследовательские R&D лаборатории, Data Science кластеры, тяжелые мультимодальные генеративные задачи и масштабный Deep Learning.

Подробнее

Видеокарты

8 x NVIDIA RTX PRO 6000 96GB

Объем видеопамяти 768 ГБ

Процессоры

2 x Intel Xeon Platinum 8580

Количество ядер 120

RAM 1536GB DDR5

Форм-фактор 6U