GPU-станция для ИИ-видеоаналитики

О клиенте

К нам обратился разработчик систем интеллектуальной видеоаналитики. Компания создаёт решения на базе нейросетей: распознавание лиц и номерных знаков, аналитика присутствия объектов, людей и событий в кадре и другие сценарии обработки видеопотока.

Задача

Заказчику нужна была вычислительная платформа под собственное ПО. Не универсальная рабочая станция «на вырост», не сервер «по характеристикам в КП», а система, которая справится с реальными задачами видеоаналитики с помощью нейросетей.

Основные сценарии:

• обработка видеопотока;
• распознавание лиц;
• распознавание номерных знаков;
• аналитика присутствия;
• работа в режиме, близком к постоянной нагрузке;
• возможность дальнейшего масштабирования.

Главный риск был не в том, чтобы собрать конфигурацию с четырьмя видеокартами, а чтобы не промахнуться с архитектурой. В таких проектах ошибка выбора стоит дорого.

Если конфигурация окажется слабее, чем нужно, заказчик получит ограничение по производительности уже после внедрения. Это приведёт к повторным закупкам, простою, переработке архитектуры и потере времени.

Если выбрать конфигурацию с избыточным запасом, получится другая проблема: лишний бюджет уйдёт в компоненты, которые не дают практической пользы под текущую задачу.

Отдельным требованием была предсказуемость. Система должна не просто запускать тестовые задачи, а стабильно работать с реальной нагрузкой заказчика. Поэтому проект начался не с продажи железа, а с проверки.

Самый спорный вопрос был связан с процессором. Заказчик сомневался, хватит ли младшей модели CPU или стоит сразу переходить на старший вариант. Оценить это по обычным бенчмаркам сложно: синтетические тесты не показывают, как поведёт себя конкретное ПО видеоаналитики на конкретной системе.

Поэтому нужен был не красивый график производительности, а проверка на реальной задаче. Нельзя было просто выбрать «самую мощную» конфигурацию. Для нейросетевой видеоаналитики важна не только суммарная вычислительная мощность. Нужен баланс между GPU, CPU, оперативной памятью, накопителями, питанием и устойчивостью всей системы.

• GPU отвечают за нейросетевую обработку;
• CPU обслуживает прикладную логику, параллельные процессы и подготовку данных;
• RAM нужна для стабильной работы сервисов и обработки больших объёмов данных;
• Накопители влияют на скорость загрузки системы, данных и рабочих файлов;
• ИБП защищает систему от сбоев питания и даёт возможность корректно завершить работу.

Если один из элементов выбран неправильно, дорогая GPU-конфигурация не раскрывается полностью. Видеокарты могут ждать данные, система может упираться в процессор, а при проблемах с питанием появляется риск некорректного завершения работы. Поэтому решение проектировали по реальной нагрузке заказчика.

Решение

Как сняли риски до заключения сделки

Перед подписанием договора мы собрали тестовый стенд и предоставили заказчику удалённый доступ к реальному железу.

Это важная часть проекта. Клиент проверял не презентацию, не абстрактный бенчмарк и не усреднённые результаты из интернета. Он запускал своё ПО на нашей системе и оценивал, подходит ли конфигурация под его рабочие сценарии.

Такой подход снял главный риск покупки: заказчик увидел поведение платформы до оплаты.

По итогам тестирования стало понятно, что для его задач лучше использовать старший процессор. Это позволило выбрать конфигурацию под фактическую потребность, а не гадать между «возможно хватит» и «давайте возьмём с запасом».

Дополнительно мы предложили программу апгрейда с зачётом остаточной стоимости заменяемого компонента. Это снижает риск для клиента: систему можно развивать и масштабировать по мере роста нагрузки, не обнуляя предыдущие вложения.

Финальная конфигурация

Для проекта мы подготовили GPU-станцию DigitalRazor под задачи нейросетевой видеоаналитики.

Для настройки и тестирования использовали операционную систему Ubuntu 24.04 и драйвер NVIDIA 570.153.02.

Почему выбрали такую архитектуру

4 × RTX 5090. Видеоаналитика на нейросетях хорошо масштабируется на GPU. Четыре RTX 5090 позволяют обрабатывать несколько потоков и задач параллельно, не разносить нагрузку по разным машинам и держать вычислительный контур в одной системе. Для заказчика это проще в обслуживании и удобнее для интеграции с собственным ПО.

Threadripper PRO 7985WX. После тестирования на реальных задачах заказчик выбрал старший 64-ядерный процессор. В этой системе CPU нужен не «для галочки»: он обслуживает прикладную часть, параллельные процессы, подготовку данных и взаимодействие с GPU. Если процессор не успевает обслуживать нагрузку, даже четыре видеокарты не дают ожидаемого эффекта. Поэтому в финальной конфигурации CPU подобрали под реальный сценарий работы.

512 ГБ ECC-памяти. ECC-память нужна для устойчивой работы под длительной нагрузкой. Это не пользовательский ПК, а рабочая платформа для сервиса, который должен функционировать постоянно и на лету корректировать ошибки. Большой объём RAM даёт запас под параллельные процессы, данные, сервисную обвязку и работу самого ПО видеоаналитики.

Накопители под систему и данные. В конфигурации разделили системный NVMe SSD и отдельный накопитель под рабочие данные. NVMe на 2 ТБ используется для операционной системы, ПО и быстрой загрузки рабочих компонентов. SSD на 8 ТБ — для хранения данных и сопутствующих файлов. Это проще в обслуживании и надёжнее, чем держать всё в одном контуре.

Питание 3200 Вт и ИБП. Система с четырьмя GPU требует не только производительного блока питания, но и защиты от внешних сбоев. Поэтому в проект заложили питание 3200 Вт в формате 1+1 CRPS. Стоечный ИБП здесь нужен не для многочасовой автономной работы под полной нагрузкой. Его задача — защита от проблем с питанием и корректное завершение работы, если возникает внештатная ситуация. Для системы, которая работает близко к режиму 24/7, это важная часть общей устойчивости.

Контроль качества перед отгрузкой

Перед поставкой клиенту система прошла комплексный стресс-тест. Проверяли все ключевые подсистемы: GPU, CPU, память, накопители и питани

Результаты тестирования:

Во всех прогонах тестов ошибок не зафиксировали. Важно, что стресс-тестирование не заменяло проверку заказчика. Оно дополняло её. Сначала клиент сам протестировал систему на своём ПО через удалённый доступ, а перед отгрузкой мы провели комплексную проверку всей системы на предмет надёжности под экстремальными нагрузками.

Результат

Заказчик получил не просто «железо по списку» из коммерческого предложения, а проверенную платформу под собственную видеоаналитику.

Что изменилось:

• клиент протестировал систему на своих задачах до подписания договора;
• конфигурацию выбрали под реальную нагрузку, а не на основе догадок;
• спор по процессору закрыли практическим тестом;
• GPU-станция прошла многочасовое стресс-тестирование всех ключевых подсистем;
• заказчик получил ИБП для защиты питания и корректного завершения работы;
• у клиента есть возможность для дальнейшего масштабирования через программу апгрейда.

Главный итог проекта — снятие неопределённости перед дорогой покупкой. Заказчик не покупал «кота в мешке»: он сначала проверил платформу на своём ПО, убедился в выборе конфигурации и только после этого перешёл к договору и поставке.

В проектах под нейросетевую видеоаналитику нельзя выбирать систему только по характеристикам в спецификации. На бумаге две конфигурации могут выглядеть близко, но в реальной работе разница проявится в загрузке CPU, поведении GPU, стабильности под длительной нагрузкой и удобстве эксплуатации.