Локальная ИИ-станция для разработки и тестирования LLM

О клиенте

Оператор платёжной системы «Мир» и процессингового центра системы быстрых платежей. Компания работает с большим объёмом финансовых транзакций и развивает инфраструктуру безналичных платежей в России.

Для задач разработки и тестирования ИИ-моделей, анализа транзакционных данных и экспериментов с ML-алгоритмами клиенту была нужна мощная локальная вычислительная станция, способная работать с крупными моделями и массивами данных внутри защищённого контура, чтобы исключить утечку данных.

Задача

Клиенту нужна производительная ИИ-станция для локальной работы с моделями. Система должна решать несколько ключевых задач, которые необходимы разработчикам:

• запуск и тестирование больших языковых моделей;
• инференс и дообучение моделей;
• обработка больших массивов текстовых данных;
• быстрые эксперименты с ML-алгоритмами без обращения к облачной инфраструктуре.

Ключевым требованием была максимальная производительность GPU при локальном запуске моделей, чтобы исключить лишние задержки и обеспечить полный контроль над вычислительным контуром.

Клиенту важна именно локальная ИИ-инфраструктура без использования облачных решений:

• данные и модели остаются внутри защищённого контура;
• нет зависимости от внешних вычислительных сервисов;
• доступ к GPU-ресурсам всегда локальный, без сетевых задержек;
• эксперименты и тесты можно запускать в любой момент без ожидания внешней инфраструктуры.

В этом сценарии рабочая станция выступает как локальный ИИ-сервер, который доступен прямо в офисе и полностью контролируется командой разработки.

Решение

Систему изначально проектировали под локальную работу с ИИ-моделями среднего и большого размера. Собрали рабочую станцию DigitalRazor Performance PRO X3 в следующей конфигурации:

Две NVIDIA RTX PRO 6000 Blackwell по 96 ГБ дают большой запас по видеопамяти и позволяют:

• запускать крупные LLM;
• распределять модель между двумя GPU;
• ускорять инференс и тестирование.

AMD Threadripper PRO 7995WX обеспечивает высокую многопоточную производительность, которая важна для ML-пайплайнов, подготовки данных и сопутствующих вычислительных задач.

768 ГБ ECC-памяти с коррекцией ошибок дают запас под тяжёлые рабочие процессы, большие наборы данных и стабильную работу под длительной нагрузкой.

NVMe-хранилище на 12 ТБ обеспечивает высокую скорость доступа к данным и моделям, что критично при активной экспериментальной работе.

Результат

В результате клиент получил локальный AI-сервер уровня небольшого дата-центра, который можно использовать в офисном формате и адаптировать под реальные задачи разработки.

Поставленное решение позволяет:

• запускать LLM-модели без использования облачных ресурсов и утечек данных;
• ускорить цикл разработки ИИ-продуктов;
• повысить скорость экспериментов и тестирования моделей;
• снизить зависимость от внешних вычислительных сервисов.

До: для запуска крупных моделей и ML-экспериментов приходилось опираться на внешние вычислительные ресурсы или ограничиваться доступной локальной мощностью. Также под угрозой оказывались важные данные.

После: команда получила локальную ИИ-станцию, на которой можно запускать LLM, тестировать модели, работать с большими массивами данных и быстро проводить эксперименты прямо в офисе без угрозы утечек.

Эту систему мы создали не под абстрактную «максимальную мощность», а под конкретный рабочий сценарий: локальный запуск LLM, быстрые ML-эксперименты и работу с данными внутри защищённого контура для повышения безопасности и снижения зависимости от сторонних вычислительных сервисов.