Машинное зрение на производстве: контроль дефектов без отправки видео в облако

О клиенте

К нам обратилась производственная компания, которой нужно автоматизировать контроль качества на автоматизированных линиях по выпуску металлических изделий. Но видео с цеха нельзя отдавать в облако — в кадр попадает оборудование, техпроцессы и параметры продукции.

Операторы проверяли качество визуально и выборочно. Такой контроль находил крупные повреждения, но мог пропускать небольшие трещины, сколы, царапины, нарушения геометрии и ошибки маркировки. Часть дефектов обнаруживали уже во время упаковки или после отгрузки заказчику.

Разберём на примере, как под такую задачу собирается локальный GPU-сервер и во что это обходится

Задача

Нужно было создать локальную систему машинного зрения, которая:

• принимает видео с 16 камер на четырёх линиях;
• проверяет каждое изделие, а не отдельные образцы;
• обнаруживает дефекты поверхности, формы и маркировки;
• передаёт результат в систему управления производством;
• сохраняет кадры с отклонениями для проверки технологом;
• работает без подключения к внешнему облаку;
• оставляет запас для подключения новых камер и дообучения моделей.

Существующая схема контроля обходилась компании примерно в 3,27 млн рублей в месяц:

• 1,8 млн рублей — брак, повторная обработка и утилизация;
• 900 тысяч рублей — рекламации, возвраты и повторная сортировка партий;
• 570 тысяч рублей — затраты на шесть сотрудников визуального контроля.

Решение

Для локального контура выбрали GPU-сервер DigitalRazor Rackstation AI RS32-192-512.

Конфигурация

• процессор: AMD Ryzen Threadripper PRO 7975WX, 32 ядра и 64 потока, частота до 5,3 ГГц;
• видеокарты: 2 × NVIDIA RTX PRO 6000 Blackwell;
• видеопамять: 96 ГБ GDDR7 ECC на каждой GPU;
• оперативная память: 512 ГБ DDR5 REG ECC;
• системное хранилище: 2 × NVMe SSD 4 ТБ, RAID 1;
• архив событий: 4 × серверных SATA SSD, RAID 10;
• сеть: 2 × 10Gb Ethernet;
• питание: 2000 Вт, CRPS 1+1, 80 PLUS Titanium;
• форм-фактор: 19", 4/5U;
• операционная система: Ubuntu.

Камеры подключаются к изолированному производственному сегменту сети. Сервер получает видеопотоки по RTSP, декодирует их, запускает модели детекции и сегментации, а затем передаёт в MES или систему управления линией только результат проверки: тип дефекта, время, номер линии и идентификатор изделия.

Исходное видео не покидает предприятие. В архив попадают только кадры с обнаруженными отклонениями и небольшой интервал до и после события. Это сокращает объём хранилища и упрощает разбор спорных случаев.

Почему две профессиональные GPU

Потоки с камер распределяются между двумя видеокартами. Это позволяет параллельно обрабатывать несколько линий и запускать разные модели: например, отдельно проверять поверхность, геометрию и маркировку.

Память двух карт не объединяется в единый пул. Каждая GPU получает свою группу камер и собственные процессы инференса. Это не минус, а способ изоляции: сбой или перегрузка на одной карте не задевает линии, висящие на второй.

RTX PRO 6000 выбрали вместо потребительских видеокарт из-за памяти с ECC, 96 ГБ VRAM на карту, аппаратного декодирования видео и расчёта на профессиональную длительную нагрузку. Каждая RTX PRO 6000 Blackwell несёт четыре выделенных аппаратных декодера видео (NVDEC) с поддержкой H.264, H.265 и AV1. Для системы, которая принимает 16 RTSP-потоков одновременно, это ключевой момент: декодирование снимается с процессора и не отнимает такты у подготовки кадров для инференса. Две карты дают восемь аппаратных декодеров — с большим запасом под 16 камер и рост числа потоков.

Почему нужен производительный CPU

Перед инференсом сервер должен принять и декодировать 16 потоков, подготовить кадры, синхронизировать данные и обслуживать интеграцию с производственными системами.

Threadripper PRO 7975WX сочетает 32 ядра с высокой частотой до 5,3 ГГц. Это важно для видеопайплайна: если процессор не успевает подготовить кадры, видеокарты простаивают независимо от своей вычислительной мощности.

Почему локально, а не в облаке

Локальная архитектура решает четыре задачи:

• видео с производственной линии остаётся внутри предприятия;
• система не зависит от интернет-канала и доступности внешнего сервиса;
• задержка не меняется из-за состояния сети;
• компания не оплачивает постоянную передачу и обработку видеопотоков в облаке.

Облако можно использовать для отдельных экспериментов, но постоянный контроль качества логичнее выполнять рядом с источником данных.

Результат

Перед внедрением компания рассчитала эффект на основе текущих затрат и консервативных целей проекта.

Было

• выборочная ручная проверка продукции;
• 1,8 млн рублей потерь на брак и повторную обработку ежемесячно;
• 900 тысяч рублей затрат на рекламации и повторную сортировку;
• шесть сотрудников на визуальном контроле;
• разбор причин дефекта уже после выпуска партии.

После внедрения

• автоматическая проверка каждого изделия;
• выявление отклонений непосредственно на производственной линии;
• снижение затрат на брак и повторную обработку на 18%;
• снижение расходов на рекламации и повторную сортировку на 30%;
• перевод двух контролёров на разбор сложных случаев и работу с причинами брака;
• сохранение видеоданных и моделей внутри предприятия.

Примечание: в расчёт заложили консервативные 18% и 30% — реальный эффект может быть больше. Всё зависит от множества факторов.

Расчёт ROI

Экономия в месяц:

• 24 тысячи рублей — снижение брака и повторной обработки;
• 270 тысяч рублей — снижение рекламаций и повторной сортировки;
• 190 тысяч рублей — высвобождение двух сотрудников от постоянного визуального контроля.

Общий эффект: около 784 тысяч рублей в месяц экономии.

В расчёт проекта заложили 6,8 млн рублей на сервер, камеры, освещение рабочих зон, интеграцию и запуск. При таком эффекте расчётный срок окупаемости составляет около 8,7 месяца.

С учётом примерно 700 тысяч рублей ежегодных расходов на электроэнергию, обслуживание и поддержку:

• валовая годовая экономия — около 8,7 млн рублей (после вычета операционных расходов, но до возврата инвестиций );
• ROI первого года после учёта инвестиций — около 28%;
• чистый эффект первого года после возврата инвестиций — около 1,9 млн рублей;
• чистый эффект за три года — около 19,3 млн рублей.

Фактические показатели зависят от исходного уровня брака, стоимости изделия и точности модели. Поэтому перед поставкой сервер необходимо проверить на реальных камерах, образцах продукции и производственном такте клиента.

Главный результат проекта — компания получила локальный контур, который проверяет всю продукцию, помогает быстрее находить причины брака и не передаёт производственное видео внешнему провайдеру.