DigitalRazor Rackstation AI: локальный GPU-сервер для закрытого корпоративного ИИ

Компании всё чаще используют нейросети для поиска по внутренним документам, подготовки ответов клиентам, анализа данных и автоматизации повторяющихся операций. Но вместе с пользой появляется вопрос: куда отправляется корпоративная информация и сколько будет стоить постоянная работа с облачными моделями?

DigitalRazor Rackstation AI позволяет развернуть ИИ-сервисы внутри инфраструктуры компании. Это компактный GPU-сервер на платформе AMD Threadripper PRO с поддержкой до двух графических ускорителей — от GeForce RTX 5090 до NVIDIA H200. Систему можно установить в серверную стойку или использовать в вертикальном положении.

Краткое содержание

• Rackstation AI подходит для локального запуска LLM, RAG и инференса;
• сервер поддерживает до двух GPU и до 1 ТБ оперативной памяти ECC;
• данные можно обрабатывать внутри корпоративного контура;
• решение рассчитано на отделы разработки, лаборатории и компании, которые начинают внедрять собственный ИИ;
• для масштабного обучения моделей и нагрузки на четыре–восемь GPU потребуются старшие серверные платформы.

Зачем бизнесу собственный ИИ-сервер

Публичное облако удобно для экспериментов: не нужно покупать оборудование, а ресурсы можно подключить за несколько минут. Но при регулярной эксплуатации возникают ограничения.

Компания зависит от тарифов и доступности внешнего сервиса, оплачивает каждое обращение к модели и должна отдельно контролировать, какие данные покидают её инфраструктуру.

Локальный сервер позволяет разместить модель и корпоративную базу знаний внутри собственного контура. При корректной настройке документы, клиентские обращения, техническая информация и другие чувствительные данные не требуется постоянно отправлять внешнему поставщику.

Это особенно важно для компаний, которые работают:

• с внутренней документацией;
• персональными и коммерческими данными;
• техническими регламентами;
• исходным кодом;
• договорами и финансовыми материалами;
• закрытыми базами знаний.

Локальная инфраструктура не отменяет необходимость настраивать права доступа, резервное копирование и информационную безопасность. Зато компания получает контроль над тем, где выполняются вычисления и хранятся данные.

Какие задачи можно запустить на Rackstation AI

Один из основных сценариев — корпоративный ИИ-ассистент с RAG. Он ищет информацию во внутренних документах и формирует ответ с учётом базы знаний компании.

Такой сервис можно использовать для:

• подготовки ответов клиентам;
• поиска по инструкциям и регламентам;
• помощи службе поддержки;
• быстрого составления коммерческих предложений;
• адаптации новых сотрудников;
• анализа большого массива документов.

Rackstation AI также подходит для локального инференса языковых моделей, генеративных нейросетей, компьютерного зрения, обработки датасетов и ограниченного дообучения моделей под данные компании. DigitalRazor позиционирует платформу в том числе для R&D-отделов, fine-tuning и запуска LLM без постоянных расходов на облачные GPU.

Что внутри

Rackstation AI построен на процессорах AMD Threadripper PRO 7000 WX. В зависимости от конфигурации доступны модели с 32–96 ядрами, до двух видеокарт и до 1 ТБ оперативной памяти DDR5 REG ECC. Сервер выполнен в корпусе форм-фактора 4,5U.

Выбор видеокарт зависит от размера модели и предполагаемой нагрузки.

RTX 5080 или RTX 5090 подойдут для пилотных проектов, разработки прототипов, генерации контента и запуска моделей, которые помещаются в доступный объём видеопамяти.

RTX 6000 Ada или RTX PRO 6000 рассчитаны на профессиональную нагрузку и конфигурации с увеличенным объёмом VRAM.

NVIDIA H200 NVL стоит рассматривать для более требовательных моделей и задач, где критичен объём памяти ускорителя.

Старшие конфигурации Rackstation AI предлагают до 192 ГБ суммарной видеопамяти на двух RTX PRO 6000 или до 282 ГБ при использовании двух H200 NVL. Однако максимальная конфигурация нужна далеко не каждому бизнесу: для внутреннего ассистента небольшой компании может оказаться достаточно значительно более доступной системы.

Когда Rackstation AI выгоднее облака

Собственный сервер имеет смысл, когда ИИ используется не разово, а становится постоянным рабочим инструментом.

Например, модель ежедневно обрабатывает обращения клиентов, индексирует новые документы или обслуживает сразу несколько подразделений. В этом случае бизнес получает предсказуемый вычислительный ресурс без оплаты каждого запроса внешнему сервису.

Перед покупкой стоит оценить:

• какую модель планируете запускать;
• сколько видеопамяти ей требуется;
• сколько сотрудников будут работать одновременно;
• нужна ли только генерация ответов или ещё и дообучение;
• как часто сервер будет находиться под нагрузкой;
• кто будет обслуживать программную инфраструктуру.

Серверы Rackstation AI поставляются с предустановленной программно-аппаратной платформой OneStack: окружение для работы с моделями, CUDA и контейнерами предварительно настраивается специалистами DigitalRazor. Вам остаётся только выбрать нужную ИИ-модель и начать работу.

Кому сервер не подойдёт

Rackstation AI — начальная ступень собственной ИИ-инфраструктуры, но не универсальная замена дата-центру.

Если компании нужно обучать крупные модели с нуля, одновременно загружать четыре–восемь GPU или строить вычислительный кластер, лучше рассмотреть Devbox AI, Scale либо серверы серии HPC. Rackstation AI ограничен двумя ускорителями, тогда как старшие платформы поддерживают от четырёх до восьми GPU.

Для короткого эксперимента также может быть рациональнее облако. Покупать собственный сервер только ради презентации руководству на следующей неделе — дорогой способ открыть чат с нейросетью.

Первая ступень корпоративного ИИ

Rackstation AI подойдёт компании, которая уже вышла за рамки экспериментов и хочет превратить нейросеть в постоянный внутренний сервис.

Сервер позволяет локально запускать LLM, подключать корпоративную базу знаний, автоматизировать работу с документами и масштабировать конфигурацию до двух профессиональных ускорителей.

Главное — начинать не с выбора самой дорогой видеокарты, а с тщательного изучения бизнес-задачи: какие операции должен ускорить ИИ, сколько сотрудников им воспользуются и какие данные нельзя передавать за пределы компании.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U