Локальная нейросеть для банка: собственный ИИ-сервер

Локальная нейросеть для банка развёртывается внутри инфраструктуры организации и может обрабатывать служебные документы, клиентские обращения и другие данные без передачи их содержимого во внешний API. В таком контуре банк контролирует хранение информации, доступ к модели и журналирование запросов.

В статье разберём, когда собственный ИИ-сервер оправдан, какие требования учитывать при работе с персональными и платёжными данными, как выбрать большую языковую модель (LLM), видеокарты и объём VRAM. Также рассмотрим инференс, дообучение, изоляцию контура, аудит и резервирование.

Что такое локальная нейросеть для банка и зачем она нужна

Локальная нейросеть — модель искусственного интеллекта, которая работает на GPU-сервере или вычислительном кластере под контролем организации. При локальном развёртывании, или on-premise, банковские системы обращаются к модели через внутренний программный интерфейс, а запросы и результаты обрабатываются в инфраструктуре банка.

Собственный ИИ-сервер подходит для работы с внутренними документами, базами знаний, обращениями клиентов и другими данными ограниченного доступа. Однако размещение модели в дата-центре банка само по себе не обеспечивает безопасность. Необходимы разграничение доступа, сегментация сети, контроль обновлений, резервирование и мониторинг всей системы.

Данные можно оставить внутри периметра банка

При обращении к облачной нейросети запрос, контекст и ответ обрабатываются на стороне поставщика сервиса. Локальное развёртывание позволяет сохранить этот обмен внутри банковского контура, если система не использует неконтролируемые внешние плагины, телеметрию, поиск в интернете или облачные хранилища.

Это сокращает количество внешних маршрутов передачи информации, но не исключает риски. Уязвимость может находиться в самой модели, программных библиотеках, драйверах или загруженных компонентах. Банк России рекомендует отдельно оценивать риски поставщиков и моделей с открытым исходным кодом, а также учитывать используемые плагины, интерфейсы и программные компоненты.

Независимость от внешних API и зарубежных облачных сервисов

Локальный инференс не требует отправлять каждый запрос во внешнюю инфраструктуру. Банк меньше зависит от доступности конкретного облачного сервиса, его лимитов, тарифов и изменений программного интерфейса. Модель можно интегрировать с внутренними системами и запускать в изолированном сегменте сети.

Зависимость от поставщиков при этом не исчезает полностью. Организации по-прежнему нужны совместимые видеокарты, драйверы, библиотеки и обновления безопасности. Для автономной работы следует заранее сформировать внутренний репозиторий проверенных пакетов и регламент их переноса в закрытый контур.

Локальный контур также упрощает проекты импортозамещения: банк может самостоятельно выбирать модель, серверную платформу и программный стек, но совместимость и доступность обновлений каждого компонента всё равно нужно проверять заранее.

Предсказуемые расходы вместо оплаты за токены и подписку

В облаке расходы зависят от числа запросов, объёма контекста, выбранной модели и тарифа поставщика. Собственный ИИ-сервер требует крупных первоначальных вложений, зато его вычислительная мощность остаётся в распоряжении банка.

При расчёте полной стоимости нужно учитывать не только GPU-сервер, но и накопители, сеть, резервное оборудование, электропитание, охлаждение, лицензии и работу специалистов. Поэтому локальная система не всегда дешевле облака. Сравнивать варианты следует по совокупным затратам за выбранный период и предполагаемой нагрузке.

Регулирование ИИ в банке — что нужно знать

Требования зависят от данных и процессов, с которыми работает система. Чат-бот по открытой базе знаний и модель, участвующая в платёжных операциях или кредитном скоринге, имеют разный уровень риска. До запуска нужно описать источники данных, пользователей, журналы запросов, внешние подключения и влияние ответов модели на банковские решения.

№ 152-ФЗ и обработка персональных данных клиентов

Федеральный закон № 152-ФЗ не устанавливает отдельные требования к видеокартам, LLM или ИИ-серверам. Он регулирует обработку персональных данных: цели, правовые основания, объём собираемой информации, сроки хранения и меры защиты.

Если персональные данные попадают в запросы, документы, векторную базу, набор для дообучения или журналы работы модели, соответствующие процессы нужно включить в действующую систему управления персональными данными. Локальное размещение не отменяет требований закона, поскольку доступ к информации могут получить сотрудники, администраторы и внутренние сервисы.

До запуска системы следует определить:

• какие персональные данные обрабатывает модель;
• на каком правовом основании выполняется обработка;
• какие сведения можно удалить, обезличить или заменить синтетическими;
• кто получает доступ к запросам и результатам;
• где и сколько времени хранятся журналы;
• как обнаруживаются и расследуются инциденты.

ГОСТ Р 57580 и Положения Банка России № 851-П и № 821-П

ГОСТ Р 57580.1-2017 определяет уровни защиты информации и базовый состав организационных и технических мер для финансовых организаций. Стандарт действует с 1 января 2018 года.

Положение Банка России № 851-П устанавливает обязательные требования к защите информации для кредитных организаций и филиалов иностранных банков при осуществлении банковской деятельности в целях противодействия переводам денежных средств без согласия клиента. Оно заменило ранее действовавшее Положение № 683-П.

Положение № 821-П устанавливает требования к защите информации при переводах денежных средств и порядок контроля Банка России за их соблюдением. Оно заменило Положение № 719-П.

Применимость этих требований к ИИ-системе зависит от её роли в банковской инфраструктуре и состава обрабатываемой информации. Если GPU-сервер, приложения, хранилища или сетевые компоненты входят в соответствующий защищаемый контур, меры защиты определяют для всей связанной системы.

Рекомендации Банка России по безопасному применению ИИ

В июне 2026 года Банк России выпустил методические рекомендации № 3-МР по информационной безопасности при разработке и применении ИИ на финансовом рынке. Это рекомендательный документ, поэтому его следует отделять от обязательных требований законов и положений.

Регулятор рекомендует финансовым организациям:

• разработать модель угроз для системы ИИ;
• включить работу с ИИ в политику информационной безопасности;
• оценивать риски моделей, поставщиков и компонентов с открытым исходным кодом;
• учитывать плагины, программные интерфейсы и источники данных;
• контролировать целостность моделей и наборов данных;
• проверять человеком результаты автоматических операций в критически важных процессах с высоким риском.

Рекомендации охватывают утечки данных, вредоносные запросы, «отравление» обучающих наборов, уязвимости цепочки поставок и некорректные ответы модели.

LLM для банковского контура

Для локального запуска подходят модели, веса и среду выполнения которых можно разместить на собственных серверах. Доступ к облачной модели через API поставщика, даже по защищённому каналу, остаётся обращением к внешней инфраструктуре. Локальную модель при этом также можно предоставить внутренним системам банка через собственный API.

GigaChat: открытая модель и облачный API

У GigaChat есть два разных сценария использования. В репозитории ai-sage опубликована модель GigaChat3-10B-A1.8B с 10 млрд общих и 1,8 млрд активных параметров. Её веса доступны для загрузки, а карточка содержит инструкции по локальному запуску через Transformers, vLLM и SGLang. Для модели указана лицензия MIT.

Отдельно работает GigaChat API. Согласно актуальной документации, организации подключаются к нему через api.giga.chat с доступом B2B или CORP. Запрос в этом случае обрабатывается внешним сервисом, поэтому такое подключение нельзя считать локальным инференсом.

Эти варианты неравнозначны. GigaChat3 с доступными весами позволяет построить собственный ИИ-сервер и контролировать среду выполнения. Облачный API снимает с банка обслуживание GPU-инфраструктуры, но требует оценки поставщика и маршрута передаваемых данных.

YandexGPT для бизнеса — облачный сервис

YandexGPT Pro 5.1 доступна через Yandex AI Studio как облачная модель. Для её применения с банковскими данными необходимо отдельно оценить договорную схему, состав передаваемой информации, сетевой маршрут и требования информационной безопасности. Для полностью локального контура нужна модель с доступными весами либо отдельное решение поставщика для размещения в инфраструктуре заказчика.

Модели с открытыми весами и условия лицензирования

Кроме GigaChat3, локальная нейросеть может работать на других моделях с открытыми весами. Например, Qwen3-32B распространяется по лицензии Apache 2.0, допускающей использование и изменение модели при соблюдении её условий.

Однако доступность файлов не означает отсутствие ограничений. Перед внедрением каждой версии нужно проверить:

• лицензию на коммерческое использование и модификацию;
• требования к указанию правообладателя;
• происхождение репозитория и контрольные суммы файлов;
• поддерживаемые форматы и средства инференса;
• качество работы с русским языком и банковской терминологией;
• устойчивость к вредоносным запросам и утечкам данных;
• порядок выпуска обновлений и исправлений безопасности.

Модель следует оценивать на обезличенном наборе банковских задач. В тесты нужно включить точность ответов, долю вымышленных фактов, корректность ссылок на документы, соблюдение ограничений доступа и реакцию на попытки извлечь закрытую информацию. Публичные рейтинги помогают сформировать список кандидатов, но не заменяют проверку на данных и сценариях конкретного банка.

Где ИИ уже применяется в банках: реальные кейсы

Банковский ИИ не сводится к большим языковым моделям. Кредитный скоринг и антифрод чаще работают на специализированных прогнозных алгоритмах, а генеративные модели обрабатывают тексты, документы и обращения клиентов. Это различие важно учитывать при проектировании ИИ-сервера: разные задачи требуют разных моделей и вычислительных ресурсов.

Кредитный скоринг

Скоринговая модель оценивает вероятность дефолта по кредитной истории, доходам, долговой нагрузке, транзакционным данным и другим признакам. В крупных банках такие системы уже встроены в кредитный конвейер и могут автоматически принимать решения по типовым продуктам.

По данным исследования Банка России за 2025 год, традиционный ИИ в кредитном скоринге применяют или тестируют 62% опрошенных банковских организаций. Использование генеративных моделей в этом сценарии не зафиксировано. Представители системно значимых кредитных организаций (СЗКО) также сообщили, что автоматизация скоринга физических лиц и малого бизнеса приближается к 100%, однако сложные продукты и крупные заявки по-прежнему рассматривает человек.

При автоматизации кредитных решений отдельно учитывают статью 16 № 152-ФЗ. Она ограничивает принятие решений исключительно на основании автоматизированной обработки персональных данных, если они порождают юридические последствия для клиента или затрагивают его права. Применимость исключений и необходимый порядок участия человека банк определяет для конкретного процесса.

Отдельно нужно учитывать банковскую тайну. Сведения об операциях, счетах и вкладах клиентов и корреспондентов защищаются статьёй 26 закона № 395-1 «О банках и банковской деятельности». Поэтому для ИИ-системы нужно определить не только режим обработки персональных данных, но и доступ к сведениям, составляющим банковскую тайну.

LLM может дополнять скоринговую систему: извлекать сведения из анкет и документов, проверять комплектность заявки, составлять резюме для риск-аналитика. Но итоговую оценку заёмщика лучше оставлять валидированной прогнозной модели с контролируемыми признаками и понятными метриками качества.

Антифрод и комплаенс

Антифрод-модели анализируют операции в реальном времени и ищут отклонения от обычного поведения: необычную сумму, новое устройство, нетипичную географию или последовательность переводов. По данным Банка России, ИИ для выявления мошенничества и обеспечения безопасности операций применяют или тестируют 44% банковских организаций, а генеративный ИИ — 9%.

В комплаенсе языковая модель может проверять документы по внутренним правилам, сопоставлять сведения из нескольких источников и готовить краткое описание подозрительной активности. Аналогичный подход применим в ПОД/ФТ: специализированный алгоритм формирует сигнал, а LLM собирает связанные данные и готовит черновик заключения для сотрудника.

Использовать ответ LLM как единственное основание для блокировки операции не следует. Если ИИ автоматически выполняет операции в критически важных процессах и риск информационной безопасности ИИ оценён как высокий, Банк России рекомендует проверять результат человеком с возможностью его изменить. Поэтому LLM целесообразно использовать как вспомогательный инструмент вместе с правилами антифрод-системы и профильными моделями.

Чат-боты и автоматизация обслуживания клиентов

Для генеративного ИИ наиболее естественны сценарии, связанные с языком. Банковский чат-бот может отвечать по базе знаний, объяснять условия продуктов, классифицировать обращения и переводить диалог нужному специалисту. Во внутреннем контуре та же модель помогает оператору: находит инструкции, резюмирует разговор и формирует черновик ответа.

Банк России отмечает, что ИИ уже используется для автоматизированных консультаций, выдачи выписок, обработки документов, персонализации программ лояльности и маршрутизации обращений. По данным опроса, ИИ применяют или тестируют в консультировании клиентов 42% банковских организаций, а генеративные модели — 27%.

Такой чат-бот лучше строить по схеме RAG: перед ответом модель получает актуальные фрагменты из утверждённой базы знаний. Для вопросов о тарифах, договорах и движении денежных средств нужны ссылки на источник, разграничение доступа и возможность немедленно перейти к оператору. Сам ИИ-сервер при этом остаётся внутри закрытого контура, а история диалогов не передаётся внешнему провайдеру.

Требования к железу: сколько GPU и VRAM нужно банку

Конфигурацию ИИ-сервера определяет не только размер модели. На расход видеопамяти (VRAM) влияют точность весов, длина контекста, число одновременных запросов и программный стек. Помимо весов, в памяти размещаются KV-кэш и служебные буферы. Поэтому сервер подбирают по результатам тестирования модели на реальной нагрузке, а не только по размеру файла.

Если нужно подробнее разобраться, как на конфигурацию влияют GPU, процессор, оперативная память и накопители, мы отдельно разобрали выбор оборудования для локального запуска LLM.

Инференс, обучение и дообучение

Для предварительной оценки памяти под веса можно использовать формулу:
Объём весов = количество параметров × разрядность / 8.

Это теоретический минимум без KV-кэша, служебных буферов и накладных расходов формата квантования. Например, для модели на 32 млрд параметров расчёт INT4 выглядит так: 32 млрд × 4 бита / 8 = 16 млрд байт, то есть около 16 ГБ в десятичном представлении.

Для пилота с моделью 8B в FP16/BF16 либо 8–14B с 8- или 4-битной квантизацией отправной точкой может быть одна GPU с 24 ГБ видеопамяти. Модель 30–32B в INT4 также может поместиться в 24 ГБ, но запас под длинный контекст и параллельные запросы будет ограничен. Для 70B в INT4 одни веса занимают около 35 ГБ, поэтому стоит ориентироваться минимум на класс 48 ГБ видеопамяти или несколько GPU.

Сам объём VRAM — только один из критериев: разные ускорители заметно отличаются по производительности, поддерживаемым форматам и назначению. Подробнее мы сравнили их в материале о выборе видеокарты для нейросетей.

Полное обучение или дообучение всех параметров требует намного больше памяти, чем инференс: кроме весов, в видеопамяти хранятся градиенты, состояния оптимизатора и активации. Для адаптации модели под банковские документы рациональнее начать с LoRA или QLoRA. LoRA замораживает основные веса и обучает небольшие дополнительные матрицы, а QLoRA использует для базовой модели 4-битное представление, дополнительно снижая требования к памяти.

Квантизация моделей INT4 и INT8

Квантизация уменьшает разрядность весов: по сравнению с FP16 переход к INT8 примерно вдвое сокращает их теоретический объём, а к INT4 — примерно в четыре раза. Общий расход видеопамяти уменьшается не в той же пропорции, поскольку остаются KV-кэш, служебные буферы и другие данные.

Качество после квантизации зависит от модели, метода и конкретной задачи. Поэтому сравнивать варианты нужно на собственном наборе примеров: ответах по внутренним регламентам, извлечении реквизитов, классификации обращений и подготовке документов.

Видеокарту NVIDIA для такого сервера выбирают не только по объёму видеопамяти. Нужно проверить поддержку требуемой точности, совместимость с CUDA, драйверами, движком инференса и самой моделью. Для нескольких ускорителей также важны пропускная способность соединений и топология PCIe.

Rackstation AI

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Devbox AI

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Scale

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Отказоустойчивость и резервирование для критичной инфраструктуры

Если к ИИ-сервису предъявляются требования по непрерывности, одиночный сервер становится единой точкой отказа. Для промышленной эксплуатации обычно предусматривают несколько независимых экземпляров сервиса, балансировку запросов и автоматическое исключение неисправного узла. Конкретную схему резервирования выбирают по допустимому времени простоя и требованиям конкретного процесса.

Резервировать нужно не только GPU, но и остальные компоненты:

• блоки питания и сетевые подключения;
• системные накопители;
• хранилище моделей, конфигураций и векторных индексов;
• контейнерные образы и версии зависимостей;
• журналы событий и данные мониторинга.

Отказоустойчивые схемы RAID, например RAID 1, 5, 6 или 10, позволяют пережить отказ одного или нескольких накопителей в пределах возможностей выбранного уровня, но не заменяют резервную копию.

Методические рекомендации Банка России относят к рискам ИИ нарушение операционной надёжности, способное прервать основные процессы организации. Поэтому для банковского контура заранее определяют допустимое время простоя, порядок переключения на резервную систему и сценарий работы без модели. Например, чат-бот может переводить обращения оператору, а скоринговый процесс — переходить на утверждённую резервную процедуру.

Безопасность и изоляция контура

Размещение модели внутри дата-центра не делает её автоматически безопасной. Защищать нужно весь контур: API, хранилище моделей, векторную базу, журналы, средства администрирования и канал загрузки обновлений. Архитектуру выбирают по модели угроз, критичности процесса и составу обрабатываемых данных.

Air-gap и сегментация сети

Физическая изоляция (Air-gap) означает отсутствие физического сетевого соединения с другими системами. Обмен данными через границу такого контура выполняется вручную и под контролем человека — это соответствует определению NIST. Обычный запрет доступа в интернет или отдельный VLAN не считается полноценной физической изоляцией.

Физическая изоляция подходит для систем с особо жёсткими требованиями, но усложняет обновление драйверов, контейнеров, моделей с открытым исходным кодом и баз уязвимостей. Для каждого пакета потребуется контролируемый перенос через промежуточную зону: проверка источника, лицензии, цифровой подписи или контрольной суммы, сканирование и регистрация импорта.

Если полностью физически изолированный контур не требуется по модели угроз, ИИ-сервер можно разместить в отдельном сетевом сегменте закрытого контура. Доступ к модели предоставляют через внутренний API-шлюз, а исходящие соединения запрещают по умолчанию. Отдельно изолируют:

• интерфейс инференса;
• векторную базу и исходные документы RAG;
• контур разработки и тестирования;
• средства администрирования;
• хранилище весов и резервных копий.

Пользователям и сервисным учётным записям выдают минимально необходимые права. Например, чат-бот для клиентов не должен получать доступ к документам сотрудников, а внутренний помощник — к данным подразделений вне роли пользователя.

Методические рекомендации Банка России предлагают учитывать угрозы хищения данных, подмены модели, вредоносных запросов и компрометации цепочки поставок. Среди возможных мер названы ограничение потоков данных, шифрование, контроль целостности моделей и кода, анализ уязвимостей и документирование изменений.

Логирование и аудит обращений к модели

Журналирование позволяет установить, кто обращался к модели, какая версия обработала запрос и на основании каких данных сформирован ответ. Банк России рекомендует регистрировать и контролировать идентификаторы запросов и результатов, время обработки, тип данных, пользователя и статус операции. Конкретный состав записей организация определяет самостоятельно.

Для воспроизводимого аудита полезно сохранять:

• идентификатор запроса и время его обработки;
• пользователя, сервис и назначенную роль;
• версию модели, адаптера и системного промпта;
• версии базы знаний и использованных документов;
• статус запроса, задержку и технические ошибки;
• срабатывания фильтров и перевод обращения сотруднику;
• изменения настроек, прав доступа и состава моделей.

Полные промпты и ответы могут содержать персональные данные, банковскую тайну или внутренние документы. Поэтому журнал нельзя превращать в неконтролируемую копию рабочих данных. Состав полей, срок хранения и круг доступа определяют совместно подразделения информационной безопасности, комплаенса и владельцы процесса. Там, где полный текст не нужен для расследования, применяют маскирование, обезличивание или хранение идентификатора вместо содержимого.

Логи передают в защищённую систему мониторинга с разграничением доступа. Администратор ИИ-платформы не должен иметь возможность незаметно изменить историю собственных действий. Отдельно контролируют частоту и размер запросов, ошибки авторизации, попытки вредоносного внедрения запроса, отклонения производительности и изменение распределения входных данных.

Готовые решения для локального ИИ-сервера банка

Готовая конфигурация начинается не с выбора видеокарты, а с профиля нагрузки. Нужно зафиксировать модель и формат весов, максимальный контекст, число параллельных запросов, допустимую задержку и требования к резервированию. После этого рассчитывают видеопамять, количество GPU, оперативную память, накопители, сеть и энергопотребление.

Для пилота можно использовать рабочую станцию, но промышленный банковский сервис лучше отделить от пользовательского рабочего места. Стоечное исполнение упрощает физический контроль доступа, резервирование питания, удалённое администрирование и интеграцию с инфраструктурой дата-центра. Подробнее различия таких платформ мы разбирали в сравнении сервера и обычного компьютера.

В каталоге DigitalRazor представлены рабочие станции и серверы для локальных LLM. Такой класс систем подходит для пилотирования RAG, проверки модели с открытым исходным кодом и разработки внутренних ассистентов без обращения к внешнему API.

Для промышленной эксплуатации доступны GPU-серверы для ИИ. Линейка включает RackStation AI с поддержкой до двух GPU, DevBox AI — до шести, Scale — до восьми, HPC 4000 — до четырёх и HPC 8000 — до восьми ускорителей, а также платформы HGX H200 на восьми GPU.

HPC 4000

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

HPC 8000

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

HGX H200

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U

Что проверить перед заказом

В техническое задание на ИИ-сервер стоит включить:

• название и точную версию модели;
• формат весов и метод квантизации;
• максимальную длину контекста;
• среднее и пиковое число одновременных запросов;
• целевую задержку и производительность в токенах в секунду;
• необходимость инференса, LoRA-дообучения или полного обучения;
• объём базы знаний и скорость обновления индекса;
• требования к отказоустойчивости и резервному узлу;
• ограничения по ОС, драйверам и контейнерной платформе;
• способ установки обновлений в закрытый контур;
• допустимые мощность, тепловыделение и форм-фактор.

Приёмочные испытания проводят на той модели, которая будет использоваться в банке. Синтетический тест GPU не показывает скорость всей системы: результат зависит от движка инференса, контекста, размера пакета, числа пользователей и скорости получения данных из RAG.

Кроме производительности, следует проверить восстановление после отказа, переключение на резервный узел, разграничение доступа, аудит запросов и установку обновлений без подключения к интернету. Для СЗКО и объектов критической информационной инфраструктуры (КИИ) дополнительно проверяют специальные требования, применимые к конкретной системе, а архитектуру согласуют с подразделениями информационной безопасности, юридической службой и комплаенсом.

Готовое оборудование сокращает время развёртывания, но само по себе не обеспечивает соответствие нормативным требованиям. Итоговая система включает сервер, программный стек, модель угроз, регламенты эксплуатации и контроль жизненного цикла моделей.

Часто задаваемые вопросы

Итоги

Локальный ИИ-сервер оправдан, когда банку нужен контроль над данными, моделью и вычислительной инфраструктурой. Начинать лучше с ограниченного пилота: выбрать сценарий и LLM, измерить качество, задержку и параллельность запросов, а затем рассчитать VRAM, количество GPU и резервирование.

Перед промышленным запуском архитектуру проверяют вместе с подразделениями информационной безопасности, юридической службой и комплаенсом.

Если конфигурацию локального ИИ-сервера ещё предстоит определить, можно выбрать готовую систему для локальных LLM в каталоге DigitalRazor или написать нашим специалистам. Поможем рассчитать количество GPU и объём VRAM под конкретную модель, нагрузку и требования к резервированию, а также подобрать платформу для пилота или промышленной эксплуатации.

Scale

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

HPC 8000

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

HGX H200

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U