Как обучить локальную нейросеть на своих данных

Разбираем, как обучить нейросеть отвечать в нужном формате, работать с корпоративными материалами и решать конкретные задачи. Объясняем, когда достаточно инструкции и поиска по документам, когда нужны адаптеры, как подготовить данные и подобрать оборудование. Речь прежде всего о локальных языковых моделях — LLM. Генераторы изображений и системы компьютерного зрения требуют других процессов обучения.

Зачем обучать нейросеть локально, а не в облаке

Локальное размещение и обучение — разные решения. Готовую модель можно запустить на собственном оборудовании без изменения её параметров. И наоборот, дообученную в облаке модель иногда можно перенести на свою инфраструктуру, если это позволяют условия сервиса и лицензия.

Сначала определите, где должны обрабатываться данные, а затем — нужно ли менять модель. Для помощника по внутренним инструкциям и классификатора обращений подходы могут различаться, даже если оба работают на одной станции.

Конфиденциальность данных и контроль над моделью

Локальная нейросеть позволяет построить систему без отправки запросов стороннему сервису. Но для этого внутри выбранного контура должны выполняться все нужные операции: подготовка документов, поиск, построение эмбеддингов и генерация ответа. Недостаточно разместить только LLM на своём компьютере, оставив вспомогательные функции в облаке.

Перед запуском полезно проверить:

• Сетевые обращения. Куда отправляются запросы, служебные данные и отчёты об ошибках.
• Права доступа. Какие документы доступны конкретному пользователю и сервисной учётной записи.
• Журналы и резервные копии. Не появляются ли в них пароли, персональные сведения и полные тексты закрытых документов.
• Обновления и восстановление. Кто отвечает за исправления, сохранность данных и возврат к рабочей версии.

Локальность даёт контроль над инфраструктурой, но не заменяет её защиту. Для изолированного запуска также нужно заранее подготовить модели, зависимости и другие необходимые файлы. Программные библиотеки могут поддерживать автономный режим, однако его требуется настроить.

Экономика: разовые затраты на железо против подписок

Покупка GPU — не единственная статья расходов. Стоимость обучения нейросети включает подготовку данных, работу с разметкой, эксперименты и проверку результата. После запуска остаются электричество, администрирование, хранение резервных копий и обслуживание.

Подписка на чат для сотрудников и аренда GPU для обучения — разные услуги. Сравнение только их ежемесячной стоимости ничего не скажет об экономике проекта.

Для первого пилота разумно оценить объём запросов, ограничения по данным и необходимое время ответа. После этого можно считать, насколько будет загружено собственное оборудование и какую часть работы выгоднее оставить в облаке.

Обучение с нуля, дообучение и RAG: в чём разница

Фраза «дать модели свои документы» скрывает несколько разных задач. Иногда нужно предоставить факты для ответа. Иногда — научить соблюдать формат или лучше различать категории обращений. Эти цели не требуют одинакового вмешательства в модель.

Поиск по документам и дообучение не исключают друг друга. Например, модель может получать актуальный регламент через поиск, а формат ответа — осваивать на размеченных примерах. При этом обучение адаптеров действительно отличается от изменения всей базовой модели.

Если уже понятно, что проект потребует локального запуска модели, дообучения или собственной базы знаний, конфигурацию лучше подбирать под конкретный сценарий и объём данных, а не просто по размеру видеопамяти.

Обучение с нуля — когда это действительно нужно

Обучение с нуля начинается не с корпоративной папки документов, а с проектирования всей системы: архитектуры, токенизации, корпуса текстов и оценки качества. Для универсальной языковой модели это значительно более широкая задача, чем адаптация готовой модели под обращения клиентов.

Такой путь стоит рассматривать, когда существующая основа принципиально не подходит под требования проекта. Но решение должно опираться на проверку альтернатив, а не на желание получить «полностью свою нейросеть».

Для корпоративного пилота практичнее сначала испытать готовую модель. Если она уже понимает язык и выполняет нужные операции, нет смысла заново решать задачи, которые можно унаследовать от готовой основы.

Fine-tuning и LoRA/QLoRA — дообучение готовой модели

Fine-tuning — адаптация предварительно обученной модели на дополнительном наборе данных. В полном варианте обновляются её основные веса. LoRA действует иначе: базовые матрицы остаются замороженными, а обучение затрагивает добавленные низкоранговые матрицы — адаптеры. Это уменьшает число обучаемых параметров и связанные с ними затраты памяти.

QLoRA сочетает адаптеры с хранением базовой модели в четырёхбитном представлении. При этом четырёхбитное хранение не означает, что все вычисления и обучаемые параметры имеют такую же точность. Для операций могут использоваться другие форматы, а квантование требует дополнительных служебных данных.

Дообучение нейросети имеет смысл оценивать по целевой задаче: стало ли меньше ошибок классификации, повысилась ли точность извлечения полей, соблюдается ли формат ответа. Сам факт успешного завершения обучения ничего из этого не гарантирует.

Запоминание фактов тоже возможно, но постоянно меняющиеся условия доставки или каталог товаров удобнее хранить отдельно. Тогда обновление документа не требует очередного запуска обучения.

RAG — подключение базы знаний без переобучения модели

В типовой системе документы очищают и разбивают на фрагменты — это называется chunking. Затем модель эмбеддингов переводит текст в числовые представления, а векторная база данных хранит их для поиска. По запросу система находит подходящие фрагменты и передаёт их LLM вместе с вопросом.

При необходимости результаты дополнительно пересортировываются по релевантности — reranking. На качество влияют границы фрагментов, модель эмбеддингов, число найденных отрывков и отбор контекста. Увеличение размера LLM не исправляет ситуацию, когда нужный документ вообще не найден.

Это распространённая, но не единственная архитектура. Поиск можно строить по ключевым словам или сочетать его с векторным. Главное отличие от дообучения — во время ответа найденные сведения поступают в контекст, а не записываются в веса языковой модели.

Практическую организацию такого помощника разобрали в руководстве по локальному поиску во внутренней документации.

Промпт-инжиниринг — когда обучение вообще не требуется

Прежде чем готовить датасет, стоит проверить базовую модель с ясной инструкцией и несколькими примерами. Например, вместо «разбери обращение клиента» задать категории, правила выбора и формат результата.

Это условная инструкция для проверки идеи, а не универсальный рецепт классификации. Если такой подход уже даёт приемлемое качество, следующий шаг — испытать его на новых обращениях. Дообучение нейросети понадобится не потому, что оно доступно, а если более простой вариант не проходит проверку.

Пошаговый процесс дообучения модели на своих данных

Ниже рассмотрен процесс адаптации по примерам «вход — ожидаемый ответ». Такой формат называют обучением с учителем. Для него нужна не просто коллекция текстов, а набор образцов желаемого поведения модели. Диалоговые данные обычно содержат роли участников и содержимое сообщений.

Шаг 1. Сбор и разметка данных

Начните с измеримой цели. Формулировка «улучшить ответы» слишком расплывчата. Гораздо полезнее задача «распределять обращения по утверждённым категориям» или «извлекать из документа заданные поля, не придумывая отсутствующие значения».

Для каждого примера нужны входные данные и проверенный эталон. Условный образец для классификации:

Разметка данных должна быть согласованной. Если одинаковые обращения попадают в разные категории без понятного правила, сначала нужно исправить правила, а не запускать обучение.

Полезно включать пограничные примеры: несколько проблем в одном сообщении, неполное описание, опечатки, запросы вне компетенции системы. Эталоны для них должны отражать выбранную бизнес-логику.

Дообучение нейросети на собственных данных также требует проверки их происхождения. Из рабочей выборки стоит удалить ненужные персональные сведения, пароли, API-ключи и внутренние комментарии, которые не должны появляться в ответах.

Шаг 2. Очистка и предобработка

Предобработка данных должна сохранять полезный смысл. Не стоит механически удалять все числа, таблицы или обозначения: в конкретной задаче они могут быть важнее остального текста.

Перед обучением проверяют дубликаты, пустые ответы, повреждённую кодировку, противоречивую разметку и слишком длинные записи. Для диалогов нужно сохранить границы сообщений и роли. Шаблон чата должен соответствовать модели: разные модели используют разные служебные обозначения сообщений.

Данные разделяют на три набора:

Разделение на train, validation и test нужно выполнить до этапов обработки, параметры которых подбираются по данным. Иначе информация из отложенной выборки может попасть в процесс настройки.

Для переписки разумно разделять выборку по обращениям, а для документов — по исходным документам. Фрагменты одного разговора, разложенные случайным образом между train и test, способны сделать проверку слишком лёгкой.

Универсальной пропорции разделения нет. Важнее, чтобы отложенная выборка покрывала реальные типы запросов и не состояла только из простых примеров.

Шаг 3. Выбор базовой модели

Базовую модель стоит испытать до любых изменений. Так появится исходный результат, с которым можно сравнить эффект дообучения.

Проверить нужно качество русского языка, понимание нужных документов, соблюдение формата и поведение при нехватке информации. Отдельно — лицензию, доступность весов и поддержку выбранной программной средой.

Для диалогового помощника логично начинать с версии, уже настроенной на выполнение инструкций. Но конкретный выбор всё равно должен пройти проверку на подготовленных примерах. Самая крупная модель из доступных не обязательно окажется лучшей основой проекта.

На этом этапе полезно оценить и будущий инференс. Если адаптация выполняется редко, а отвечать пользователям система должна ежедневно, требования к постоянной эксплуатации могут оказаться важнее скорости одного учебного запуска.

Обзор вариантов развёртывания есть в материале о локальных моделях для ПК и сервера.

Шаг 4. Дообучение и настройка гиперпараметров

Один из вариантов программного стека — Transformers для работы с моделью, PEFT для адаптеров и TRL для обучения по размеченным примерам. У выбранной комбинации должны быть совместимые версии библиотек, драйвера и модели. Для воспроизводимости нужно сохранять версии библиотек, конфигурацию обучения, идентификатор и точную ревизию базовой модели.

Основные гиперпараметры отвечают на разные вопросы:

Например, на одной GPU микропакет из двух примеров и накопление за восемь шагов дают эффективный пакет из 2 × 8 = 16 примеров. Это не означает, что все 16 примеров одновременно размещаются в памяти.

Gradient checkpointing решает другую проблему: часть промежуточных результатов не хранится постоянно, а пересчитывается при обратном проходе. Поэтому экономия VRAM сопровождается дополнительными вычислениями.

До полного запуска полезно проверить небольшой фрагмент:

1. Убедиться, что примеры читаются правильно и роли не перепутаны.
2. Проверить, какая часть диалога участвует в расчёте ошибки.
3. Выполнить короткий прогон и посмотреть расход памяти.

4. Сохранить адаптер, повторно загрузить его и проверить ответы.

Для диалогового обучения некоторые инструменты позволяют считать ошибку только по сообщениям ассистента. Но этот режим зависит от формата данных и поддержки шаблоном чата — его нельзя считать включённым автоматически.

Шаг 5. Валидация и тестирование

Падение training loss означает, что модель лучше подстраивается под обучающие примеры. Для решения о внедрении этого недостаточно. Нужна валидация модели на данных, которые не использовались для обновления параметров, а затем финальная проверка на тестовом наборе.

Базовую и адаптированную версии сравнивают при одинаковых инструкциях и настройках генерации. Иначе изменение промпта можно ошибочно принять за эффект дообучения.

Локальная нейросеть должна проверяться не только на удобных демонстрационных вопросах. Отдельную группу стоит составить из ошибок базовой версии и сложных случаев, не использованных при настройке.

Для помощника с поиском нужно различать две причины неудачного ответа: система не нашла нужный фрагмент или модель неправильно использовала найденное. Это разные проблемы, и исправляются они в разных частях системы.

Шаг 6. Развёртывание и мониторинг качества ответов

После обучения адаптер нельзя рассматривать как самостоятельную полную модель. Обычно для его загрузки нужны совместимая базовая модель и конфигурация адаптера. Поэтому вместе с результатом следует сохранять идентификатор и версию основы, токенизатор, шаблон диалога и параметры запуска.

Если после обучения меняется формат модели — например, выполняется посттренировочное квантование или совместимый LoRA-адаптер объединяется с базовыми весами, — результат нужно проверить заново. Возможность таких операций зависит от метода, формата и используемых инструментов.

Для первого внедрения полезен режим помощника: система предлагает ответ, а сотрудник подтверждает его. Затем можно определить, какие операции допустимо автоматизировать и как обрабатывать исключения.

Разделите мониторинг на техническую и содержательную части. Первая показывает ошибки сервиса, задержки и память. Вторая — неверные категории, неподтверждённые утверждения и случаи, когда понадобилось вмешательство человека.

Новую версию лучше вводить с возможностью отката. А обновление поискового индекса не путать с новым дообучением: в одном случае меняются доступные документы, в другом — параметры модели или адаптера.

Какое железо нужно для обучения и дообучения

Требования для запуска готовой модели нельзя напрямую переносить на её обучение. Во время обучения дополнительно нужны градиенты, состояния оптимизатора и промежуточные активации. Их объём зависит от метода, длины последовательностей и размера микропакета.

Поэтому подбор оборудования начинается с описания режима: какая модель, какие параметры обновляются и какой текст она обрабатывает за один шаг.

Требования к GPU и объёму VRAM в зависимости от размера модели

Для условной модели с ровно 8 млрд параметров это 16 ГБ при 16 битах или 4 ГБ при четырёхбитном представлении. Здесь используются десятичные гигабайты, а служебные данные и рабочая память не учтены.

Следовательно, 4 ГБ весов не означают возможность обучения на видеокарте с 4 ГБ VRAM.

Экономия от адаптеров возникает прежде всего за счёт уменьшения числа обучаемых параметров. QLoRA дополнительно сокращает память для хранения базы. Но активации и другие рабочие данные всё равно зависят от конкретной нагрузки.

Для практического расчёта лучше взять короткий прогон с нужной длиной текста и микропакетом, измерить пиковую память и проверить несколько самых длинных примеров. Тест на коротких сообщениях не подтверждает, что тот же режим выдержит длинные документы.

При сравнении оборудования полезно смотреть не только на TOPS, но и на поддержку программного стека, объём VRAM, скорость учебного шага и стабильность длительной нагрузки. Общие ориентиры разобраны в статье о выборе GPU для локального ИИ. Её рекомендации по запуску моделей не следует автоматически считать требованиями к обучению.

Для локальных экспериментов и регулярного дообучения важен не только объём VRAM. Нужно учитывать системную память, охлаждение, накопители и возможность долго держать GPU под нагрузкой.

[ PERFORMANCE PRO TOWER ]

350D Tower

i9-14900K · RTX 5090 32ГБ · 64GB DDR5 RGB · 1 ТБ

1 023 000 ₽

76 725 ₽ / мес Примерный ежемесячный платёж. Итоговая сумма рассчитывается индивидуально.

Подробнее

750D Tower

7965WX · RTX 5090 32ГБ · 256GB DDR5 ECC · 1 ТБ NVME 5.0

3 588 500 ₽

269 138 ₽ / мес Примерный ежемесячный платёж. Итоговая сумма рассчитывается индивидуально.

Подробнее

900D Tower

2 x EPYC 9534 · RTX PRO 5000 48GB · 512GB DDR5 ECC · 2 ТБ

6 774 000 ₽

508 050 ₽ / мес Примерный ежемесячный платёж. Итоговая сумма рассчитывается индивидуально.

Подробнее

Рабочая станция или GPU-сервер: когда что выбрать

Рабочая станция для ИИ удобна, когда один специалист готовит данные, запускает эксперименты и проверяет результат в одном окружении. Сервер стоит рассматривать, когда нужно централизованно распределять ресурсы между людьми и задачами.

Это ориентиры выбора, а не жёсткое разделение по числу GPU. Рабочая станция тоже может быть многокарточной, а сервер — использовать один ускоритель.

Для обучения нейросети на нескольких GPU отдельно проверяют способ распределения модели, обмен между картами, линии PCIe, системную память и питание. Сумма объёмов VRAM не превращается автоматически в единый доступный пул.

Различия форматов подробнее рассмотрены в материале «Рабочая станция или GPU-сервер: что выбрать для ИИ, рендера и расчётов».

Если модель должна обслуживать команду или обучение регулярно занимает несколько ускорителей, требования уже выходят за рамки обычного рабочего ПК. Здесь нужно проектировать всю систему — GPU, PCIe, питание, сеть, накопители и охлаждение.

Rackstation AI

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Devbox AI

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Scale

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

HPC 4000

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

HPC 8000

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

HGX H200

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U

Где локальная нейросеть уже применяется в бизнесе

Удобнее оценивать такие системы через конкретную операцию, а не обещание заменить целый отдел. Ниже — примеры задач для пилота. Их результат нужно проверять на материалах компании, а не переносить из чужой демонстрации.

Клиентская поддержка и обработка обращений

Для поддержки можно начать с классификации обращений, выделения номера заказа и подготовки черновика ответа. Информацию о правилах обслуживания система получает из утверждённых документов, а окончательное решение в спорном случае остаётся за сотрудником.

Если требуется устойчиво воспроизводить корпоративную структуру ответа, можно проверить дообучение нейросети на отредактированных диалогах. Архив всей переписки без отбора — не готовый датасет: в нём встречаются ошибки, устаревшие решения и лишние сведения.

Анализ документов и внутренний поиск по базе знаний

База знаний компании может включать инструкции, регламенты, техническую документацию и описания процессов. Для такого помощника полезно возвращать не только ответ, но и найденный документ или фрагмент, чтобы сотрудник мог проверить основание.

Права доступа должны учитываться до передачи текста модели. Не стоит выдавать всем пользователям общий закрытый корпус и рассчитывать, что инструкция в промпте надёжно скроет запрещённые сведения.

Генерация контента и черновиков документов

Для писем, описаний и внутренних документов сначала стоит проверить шаблон и несколько хороших примеров. Дообучение полезно рассматривать, если требуется устойчивый стиль или формат, который простой инструкцией воспроизводится недостаточно хорошо.

Факты для черновика нужно передавать явно. Нужный тон не делает автоматически верными суммы, сроки и условия. Документы с последствиями для клиента или бизнеса должны проходить проверку человеком.

Типичные ошибки при обучении нейросети на своих данных

• Начать с обучения, не проверив готовую модель. Без исходного результата трудно понять, что дала адаптация.
• Перепутать документы и учебные примеры. Корпус для поиска и набор образцов «запрос — ответ» решают разные задачи.
• Считать количество важнее качества. Дубликаты и противоречащие эталоны сначала нужно устранить.
• Допустить пересечение train и test. Похожие фрагменты одного документа могут испортить независимость оценки.
• Выбрать последнюю эпоху только потому, что она последняя. Версию для внедрения нужно выбирать по проверке качества.
• Подбирать GPU лишь по размеру весов. Обучение требует дополнительной памяти, а длинные примеры меняют её пик.
• Обновить модель без повторной проверки. Новый адаптер, квантование или шаблон диалога могут изменить поведение.
• Не предусмотреть откат и ответственного за сервис. После пилота система должна оставаться управляемой.

Если модель, метод обучения и предполагаемая нагрузка уже известны, дальше можно рассчитывать конфигурацию целиком — от объёма VRAM до числа GPU и требований к хранению данных.

Часто задаваемые вопросы (FAQ)

Заключение

Вопрос «как обучить нейросеть» лучше начинать с другого: что именно не устраивает в готовой модели? Если не хватает актуальных сведений, нужен доступ к документам. Если не соблюдаются правила ответа — сначала инструкция и примеры. Если этого недостаточно, появляется основание для адаптации.

Дообучение нейросети на своих данных стоит оценивать по изменению качества на независимой выборке. Хороший результат — не завершённый учебный запуск, а система, которая решает выбранную задачу, укладывается в требования по скорости и остаётся управляемой после обновлений.

Локальная нейросеть требует согласованного проекта: данных, модели, программной среды и оборудования. Для подбора рабочей станции DigitalRazor полезно заранее указать размер модели, метод обучения, длину последовательностей и число параллельных задач. Тогда конфигурацию можно выбирать под проверяемую нагрузку, а не под абстрактный «компьютер для ИИ».