Как охладить две RTX PRO 6000 в одной станции: дневник разработки

История о том, как конструкторский отдел DigitalRazor решал проблему охлаждения двух NVIDIA RTX PRO 6000 Blackwell Workstation Edition в одной настольной рабочей станции. Материал будет полезен инженерам, специалистам по ИИ и рендерингу, а также заказчикам, которым недостаточно увидеть перечень комплектующих. Мы покажем, почему две карты начали нагревать друг друга, как появился напечатанный на 3D-принтере воздуховод и почему его первая рабочая версия ещё не стала финальной конструкцией.

Проект оказался непростым. ОТК остановил отгрузку после перегрева верхней GPU. Команда проверила программную настройку, изготовила несколько прототипов и изменила маршрут воздуха. Повторная проверка подтвердила влияние отдельного притока, но выявила другое ограничение — отвод тепла от нижней видеокарты. Именно так выглядит работа над нестандартной системой до того, как отдел контроля качества разрешает передать её заказчику.

ВАЖНО: Это дневник первой инженерной итерации, а не завершённый кейс. Ревизия V2 подтвердила рабочую гипотезу по верхней GPU, но не прошла итоговую приёмку всей системы. Следующая ревизия должна решить отвод горячего воздуха от нижней карты и пройти повторяемые испытания по единой методике.

Исходное техническое задание

До начала разработки команда зафиксировала ограничения, которые нельзя было обойти простым снижением нагрузки:

1. две NVIDIA RTX PRO 6000 Blackwell Workstation Edition в одной закрытой настольной станции;
2. штатное значение Power Limit без искусственного ограничения мощности;
3. сохранение фронтального пылевого фильтра и нормального режима эксплуатации;
4. отсутствие температурного троттлинга при длительной одновременной нагрузке обеих GPU;
5. доступ к обслуживаемым компонентам, кабелям и креплениям;
6. корпус InWin Dubili, материнская плата ASUS Pro WS WRX90E‑SAGE SE, процессор AMD Ryzen Threadripper PRO 7995WX (96 ядер), оперативная память DDR5 96 ГБ, блок питания Thermaltake Toughpower i2000, 2000 Вт, 80+ Platinum;
7. порог троттлинга GPU 93 °C, порог троттлинга для GDDR7 105 °C;
8. рабочая станция нужна клиенту для работы с большими языковыми моделями и проверки пилотных сценариев. В этой инженерной итерации OctaneBench использовали только как воспроизводимую нагрузку на GPU и средство контроля температур и частот. Тест не оценивает производительность больших языковых моделей. Первичный критерий оценки — синтетический, сохранение частоты под нагрузкой. Вторичный критерий — фактическое повышение производительности, сокращение времени выполнения рендера (1–2%);
9. выход на температурное плато при такой длительности нагрузки не гарантирован, на прогрев текстолита отводят от получаса.

Участники процесса: ОТК выявляет отклонение и проводит повторные испытания; инженер формирует гипотезу и методику; конструктор проектирует деталь; производство изготавливает прототип; технический руководитель принимает решение о переходе между ревизиями.

Две видеокарты по 600 Вт — это уже тепловая система

Внутри станции установили две NVIDIA RTX PRO 6000 Blackwell Workstation Edition. Каждая карта получила 96 ГБ памяти GDDR7 с коррекцией ошибок, а её максимальное энергопотребление достигает 600 Вт. Два ускорителя способны потреблять до 1,2 кВт без учёта процессора, оперативной памяти, накопителей и других компонентов.

Во время совместной нагрузки две RTX PRO 6000 потребляют около 1 кВт в с реднем и превышают 1,1 кВт в пике, формируя основную тепловую нагрузку станции

Но суммарная мощность — только половина задачи. RTX PRO 6000 Workstation Edition использует схему охлаждения Double Flow Through. При установке двух карт друг над другом их воздушные потоки начинают пересекаться: нижняя видеокарта отправляет часть нагретого воздуха в область, откуда верхняя забирает поток для собственного радиатора.

Получается простая, но неприятная цепочка: нижняя GPU нагревает воздух → верхняя GPU получает подогретый поток → температура растёт → автоматика повышает обороты и при достижении лимитов начинает снижать частоты.

Почему не установить RTX PRO 6000 Max-Q

У технического читателя здесь возникает логичный вопрос: зачем бороться с охлаждением Workstation Edition, если NVIDIA выпускает RTX PRO 6000 Blackwell Max-Q Workstation Edition для плотных конфигураций с несколькими ускорителями?

Max-Q действительно упростила бы тепловую компоновку: её предельная мощность составляет 300 Вт, а NVIDIA допускает установку до четырёх таких GPU в одной рабочей станции. Workstation Edition рассчитана на мощность до 600 Вт и использует полноразмерную схему Double Flow Through.

В этом проекте команда сохранила Workstation Edition из-за доступности конкретных карт и требования не ограничивать их штатный Power Limit. Это не делает Workstation Edition универсально лучшим вариантом: для плотной рабочей станции с четырьмя GPU рациональнее рассматривать Max‑Q. А для стоечных серверных конфигураций NVIDIA выпускает RTX PRO 6000 Blackwell Server Edition.

ОТК остановил отгрузку

При первом испытании отдел контроля качества DigitalRazor обнаружил, что верхняя видеокарта примерно за пять минут доходит до перегрева и начинает снижать частоты. Станция запускалась и могла пройти короткую проверку, но не удерживала полную производительность под продолжительной профильной нагрузкой. Поэтому ОТК не разрешил передать её заказчику.

Инженеры также попробовали открыть боковую панель корпуса. Это не решило проблему. Картам не просто не хватало общего количества воздуха — нагретый поток двигался по неудачному маршруту и продолжал попадать от одной GPU к другой. После этого к проекту подключился конструкторский отдел.

БЫЛО. Верхняя GPU за несколько минут доходила до температурного ограничения и снижала частоты. К сожалению, исходный журнал не сохранился.

СТАЛО. Отдельный приток изменил тепловой баланс, но V2 не прошла итоговую приёмку: в некоторых режимах верхняя GPU всё ещё достигала 91 °C, а главным ограничением стала нижняя карта.

Сначала изменили программные настройки

Перед проектированием новых деталей инженеры настроили собственную кривую вентиляторов. Карты начали раньше повышать обороты и активнее реагировать на рост температуры. Но одна программная настройка не решила проблему: вентилятор верхней GPU вращался быстрее, однако по-прежнему получал воздух, который уже нагрела нижняя карта.

Обратный вариант тоже не дал достаточного результата. Сам воздуховод со штатной кривой вентиляторов помогал слабо: новый путь притока появился, но автоматика карты не всегда использовала его с нужной интенсивностью. Рабочее улучшение дала связка из двух решений — отдельного воздушного канала и изменённой кривой вентиляторов.

Начали с быстрых прототипов

Инженеры не стали сразу печатать сложную финальную деталь. Сначала они проверили идею на временных картонных макетах. Прототип должен был показать, можно ли отделить приток верхней GPU от выхлопа нижней, хватит ли места между ускорителями и боковой панелью, не помешает ли канал кабелям и можно ли закрепить деталь без нагрузки на видеокарту.

Такой макет не обязан выглядеть аккуратно. Его задача — быстро проверить геометрию и саму гипотезу, прежде чем конструктор потратит время на точную CAD-модель и многочасовую печать.

От замеров внутри корпуса к CAD-модели

Готовой подробной CAD-модели корпуса у конструктора не было. Часть размеров пришлось снимать непосредственно внутри станции: положение фронтальных вентиляторов и крепёжных точек, изгибы кабелей питания, зазор до боковой панели и расположение элементов материнской платы.

Первый комплект деталей проверял идею и основные размеры. После примерки инженеры обнаружили неточности и лишние зазоры, скорректировали геометрию и подготовили второй вариант.

Воздушные зазоры между вентиляторами, видеокартой и первой версией воздуховода

Конструктор должен был подвести холодный воздух непосредственно к верхней RTX PRO 6000, отделить приток от нагретого воздуха соседней карты, не перекрыть кабели питания, сохранить доступ к компонентам и передать механическую нагрузку на корпус. Основной канал перекрывал часть потока к вентилятору чипсета, поэтому в следующей версии появилось отдельное ответвление к материнской плате.

Процесс проектирования деталей и уточнения геометрии

История ревизий

Голубым контуром выделена площадь выходного сечения вентиляторов, разделённая пропорционально площадям сечения каналов воздуховода

Синим цветом выделена дефлекторная часть воздуховода. Она, насколько это возможно, предотвращает застой горячего воздуха от нижней видеокарты. Теоретически её можно заместить парой центробежных вентиляторов для выброса горячего воздуха через свободные заглушки

Габаритная модель впускного сечения вентилятора М.2. За ней виден соответствующий фрагмент канала воздуховода

Почему дополнительного вентилятора недостаточно

В тесной системе с двумя GPU количество вентиляторов не гарантирует правильного охлаждения. Вентилятор создаёт поток, но воздух движется по пути наименьшего сопротивления: рассеивается внутри корпуса, уходит в свободную зону или смешивается с горячим выхлопом соседней карты.

Воздуховод решает другую задачу — управляет маршрутом воздуха. В этой конструкции тракт выглядел так: фронтальный фильтр → вентилятор → входная часть канала → основной воздуховод → зона забора верхней GPU. Первая итерация показала и обратную сторону: изменение одного маршрута может ухудшить отвод тепла в соседней зоне.

Два варианта и около суток печати

Инженеры напечатали два комплекта воздуховодов в активной термокамере. Первый проверял концепцию и реальные размеры. Второй учитывал неточности, найденные при примерке. Печать каждой версии заняла около 12 часов. Команда сознательно не использовала максимальную скорость: экономия нескольких часов не оправдывала риск дефекта и повторного запуска всей печати.

Процесс 3D-печати воздуховодов

Почему выбрали ABS

Для прототипов использовали ABS‑пластик FDplast. Конструктор уменьшил площадь контакта воздуховода с системой охлаждения видеокарты и передал основную механическую нагрузку на корпус.

После монтажа распределение температуры по детали и контактным зонам проверили тепловизором.

Готовые детали после печати

Установка внутри станции

После печати инженеры смонтировали канал между фронтальными вентиляторами и верхней GPU. Нижнюю видеокарту установили в самом нижнем доступном положении, чтобы увеличить расстояние между ускорителями. Воздуховод получил конфузор за фронтальным вентилятором, манжету перехода между секциями, отдельное ответвление к вентилятору чипсета и крепления к корпусу.

Установленный воздуховод V2 в корпусе после устранения основных зазоров

Крепление конфузора на корпусной вентилятор с возможностью коррекции по горизонтали

Уплотнительная манжета на конфузоре, которая также выполняет роль поддержки для воздуховода

Цифрой 1 выделены выступы для уменьшения площади теплового контакта между воздуховодом и системой охлаждения. Благодаря разнице давлений между вентилятором СО видеокарты и корпусным, обдуваются воздухом из воздуховода, выход которого происходит благодаря создаваемому самим выступом зазору и разнице давления. Цифрой 2 выделена подвязка к стандартному креплению на системе охлаждения видеокарты. Она нужна для упрощения монтажа

Задняя часть кожуха крепится на комплектную заглушку слота ввода-вывода PCIe с использованием винтов и вплавляемых втулок

Как проводили предварительные испытания

ОТК тестировал станцию с закрытой боковой панелью. Открытый корпус часто создаёт результат, который нельзя повторить при обычной эксплуатации; в предварительной проверке снятие панели всё равно не устранило исходное ограничение.

Настройка Power Limit обеих видеокарт оставалась штатной — до 600 Вт по спецификации каждой GPU. Это означает только разрешённый предел, а не фактическое энергопотребление в конкретном прогоне.

Предварительный цикл состоял из трёх прогонов OctaneBench: нагрузка на обе GPU, только на верхнюю и только на нижнюю. Каждый прогон длился около 20 минут. Такой цикл полезен для диагностики взаимного нагрева, но сам по себе недостаточен для приёмки системы с тепловыделением такого класса.

Пиковые температуры и частоты взяли из сохранившихся журналов Libre Hardware Monitor. Полный журнал исходной конфигурации до установки воздуховода не сохранился, поэтому текущий материал не использует отдельные значения как строгое A/B-сравнение.

Температуру помещения отдельно не протоколировали. Оценка инженера — около 28 °C. Это значение нельзя считать лабораторным измерением. Частота обновления показателей сенсоров в приложении Libre Hardware Monitor — 1 Гц.

Предлагаемая методика приёмки: Не менее трёх повторов каждого режима. Одинаковая кривая вентиляторов и прогрев. Регистрация GPU Core, Hot Spot, Memory Junction, мощности, загрузки, частот, PerfCap Reason и производительности. Испытание — до выхода температуры на плато либо не менее 60 минут. Критерий плато и предельные значения необходимо утвердить до V3.

Кривые прогрева верхней и нижней RTX PRO 6000 в трёх режимах OctaneBench показывают, что после улучшения притока воздуха основным ограничением стала нижняя карта

Что именно показывает таблица

В таблице ниже воздуховод V2 установлен во всех режимах. Она не сравнивает систему «до» и «после», а показывает одну и ту же доработанную конфигурацию с фронтальным пылевым фильтром и без него.

Результаты проверки ОТК

Верхняя карта перестала быть главным узким местом

При совместной нагрузке в V2 верхняя GPU больше не была самым горячим ускорителем: с фильтром журнал показал 84 °C против 90 °C у нижней; без фильтра — 77 °C против 89 °C.

По наблюдениям инженера, в части предыдущих тестов пиковая температура верхней карты снизилась примерно на 7 °C. Но из-за отсутствия полного исходного журнала эту величину нельзя использовать как доказанное сравнение «до и после».

Что можно утверждать по сохранённым данным: отдельный воздушный канал вместе с изменённой кривой вентиляторов изменил тепловой баланс станции. При совместной нагрузке верхняя карта стала холоднее нижней. Однако при одиночной нагрузке верхней GPU с установленным фильтром журнал по-прежнему показал 91 °C. Поэтому команда не признала V2 финальной конструкцией.

Частоты сохранились, но производительность ещё не доказана

В наиболее тяжёлом зафиксированном режиме верхняя карта работала на 2767 МГц, нижняя — на 2722 МГц. В исходном черновике эти значения сравнивались с 2835 и 2745 МГц, но происхождение контрольных частот не было определено методикой. Поэтому проценты потери частоты и сравнение с паспортным Boost Clock из статьи исключены.

В логах обе видеокарты работали через PCIe 5.0 x16. Это исключает очевидную ошибку конфигурации ширины линий, но само по себе не доказывает отсутствие ограничения пропускной способности в конкретной задаче.

При этом итоговый Octane Score практически не изменился: 3486 баллов с фильтром против 3490 без него, разница около 0,1%. Один прогон без оценки воспроизводимости не позволяет считать эту разницу приростом производительности. Зато температурный эффект значительно крупнее и хорошо виден в телеметрии.

Итоговый Octane Score почти не изменился: разница между режимом с фильтром и без фильтра составила около 0,1%

Снятие фильтра снизило максимальную температуру верхней GPU на 14 °C, но средняя частота в коротком тесте изменилась менее чем на 0,5%. По одному прогону это нельзя считать доказанным приростом производительности

В предварительном цикле фильтр изменил показание верхней GPU до 14 °C

Самый наглядный результат текущего цикла связан с фронтальным фильтром. При одиночной нагрузке на верхнюю GPU журнал показал 91 °C с фильтром и 77 °C без него. При совместной нагрузке — 84 и 77 °C соответственно. Нижняя карта на снятие фильтра почти не реагировала: 90 °C в обоих одиночных прогонах и 90 против 89 °C при совместной нагрузке.

Это диагностический признак: фильтр ограничивает приток прежде всего в канал верхней GPU, тогда как причину высокой температуры нижней нужно искать в другом месте. Снимать фильтр навсегда нельзя считать полноценным решением — финальная конструкция должна сохранить и тепловой режим, и нормальную эксплуатацию станции.

Влияние фронтального фильтра на максимальную температуру GPU в предварительном цикле V2

Запас до температурного лимита показывает, что снятие фронтального фильтра радикально меняет условия для верхней GPU, но почти не влияет на нижнюю

Решили проблему притока верхней карты — обнаружили ограничение отвода у нижней

После доработки верхняя карта получила отдельный приток. Но нижняя GPU сильнее проявила собственное ограничение. По рабочей гипотезе инженера, до установки канала общий поток вокруг верхней карты помогал отводить часть нагретого воздуха из нижней зоны. После изменения маршрута нижняя GPU могла лишиться части этой протяжки.

Текущие наблюдения поддерживают гипотезу: нижняя карта достигает 90 °C под собственной нагрузкой, а снятие фильтра перед каналом верхней GPU почти не меняет результат. Кроме того, один ускоритель продолжает нагревать второй даже в простое: нижняя GPU достигает 38–40 °C при нагрузке верхней, а верхняя — 41–45 °C при работе нижней.

Две RTX PRO 6000 нельзя рассматривать как независимые устройства. Изменение потока у одной карты меняет режим всей системы. Но окончательный диагноз должен подтвердить V3 с одинаковой методикой и сохранёнными журналами.

Что команда проверит дальше

Первая итерация ответила на основной вопрос: отдельный приток способен разгрузить верхнюю RTX PRO 6000. Одновременно испытания показали, что одной подачей воздуха задачу не закрыть.

В ревизии V3 конструкторскому отделу предстоит:

1. организовать отвод горячего воздуха из зоны нижней GPU;
2. изменить входную часть верхнего канала и проверить фильтр без ухудшения притока;
3. зафиксировать одинаковые кривые и обороты всех вентиляторов;
4. провести повторяемые прогоны до температурного плато при штатном Power Limit;
5. протоколировать входную температуру воздуха, фактическую мощность, частоты, PerfCap Reason и производительность;
6. измерить уровень шума по согласованной методике;
7. проверить тепловизором распределение температуры по воздуховоду и контактным зонам;
8. передать финальную конфигурацию на полный цикл ОТК.

В этот раз команда сохранит журналы всех вариантов. Тогда во второй части можно будет показать чистое сравнение двух итераций при одинаковой нагрузке.

Почему мы показываем незавершённую работу

Готовую станцию легко сфотографировать после успешного испытания и рассказать только о результате. Но заказчик получает пользу не от красивого корпуса и не от напечатанного воздуховода как такового. Ценность создаёт процесс: ОТК обнаруживает проблему до отгрузки, инженер формирует проверяемую гипотезу, конструктор создаёт ревизию, производство изготавливает прототип, а решение возвращается на повторные испытания.

В этой итерации команда не стала скрывать перегрев снижением Power Limit, проверила несколько вариантов, устранила основные зазоры и увидела как улучшение верхнего контура, так и новое ограничение нижнего. Система не была признана готовой раньше времени.

Итог итерации 1. Подтверждено: геометрия приточного канала влияет на тепловой режим верхней GPU. Фронтальный фильтр существенно ограничивает этот канал. Не подтверждено: количественное улучшение относительно исходной конфигурации и сохранение производительности — для этого нет полной контрольной базы. Не решено: отвод тепла от нижней GPU. Решение ОТК: V2 отправилась на следующую ревизию.

Если проект требует нестандартной Multi-GPU-компоновки, инженеры DigitalRazor предварительно проверят питание, линии PCIe, механические ограничения и тепловой режим системы до согласования конфигурации.

[ PERFORMANCE PRO 750D ]

750D Tower

W5-3425X · RTX 5080 16ГБ · 128GB DDR5 ECC · 1 ТБ NVME 5.0

1 542 000 ₽

115 650 ₽ / мес Примерный ежемесячный платёж. Итоговая сумма рассчитывается индивидуально.

Подробнее

750D Tower

7965WX · RTX 5090 32ГБ · 256GB DDR5 ECC · 1 ТБ NVME 5.0

3 088 000 ₽

231 600 ₽ / мес Примерный ежемесячный платёж. Итоговая сумма рассчитывается индивидуально.

Подробнее

750D Tower

7975WX · RTX 5090 32ГБ · 256GB DDR5 ECC · 1 ТБ NVME 5.0

3 933 000 ₽

294 975 ₽ / мес Примерный ежемесячный платёж. Итоговая сумма рассчитывается индивидуально.

Подробнее