NVIDIA представила ИИ-модель Nemotron-Cascade 2 с архитектурой MoE

NVIDIA официально представила новую открытую ИИ-модель Nemotron-Cascade 2. Разработчики базировали нейросеть на передовой архитектуре смешанных экспертов (MoE) и продвигают новинку как решение класса «плотного искусственного интеллекта». Алгоритм демонстрирует высочайшие результаты в ключевых профильных бенчмарках, несмотря на сравнительно небольшой объём параметров. Модель стала второй открытой большой языковой нейросетью, которая завоевала золотую медаль на Международной математической олимпиаде (IMO) 2025 года.

Краткое содержание

• Компания NVIDIA анонсировала открытую ИИ-модель Nemotron-Cascade 2;
• Алгоритм базируется на архитектуре MoE и имеет контекстное окно в 256 тысяч токенов;
• Нейросеть завоевала золотые медали на международных олимпиадах;
• Создатели применили инновационный метод последовательного обучения Cascade RL.

Характеристики и достижения модели

Архитектура Nemotron-Cascade 2 содержит 30 миллиардов общих параметров. Во время генерации ответа алгоритм задействует лишь 3 миллиарда активных параметров. Такое решение серьёзно снижает требования к вычислительной мощности оборудования при инференсе. Контекстное окно вмещает до 256 тысяч токенов, что позволяет загружать в память огромные массивы информации за один раз.

Реальные достижения алгоритма подтверждают эффективность выбранной архитектуры. Помимо успеха на олимпиаде по математике, нейросеть получила золото на престижной Международной олимпиаде по информатике (IOI) и отлично показала себя в финале соревнований по спортивному программированию ICPC. Алгоритм поддерживает функции глубокого рассуждения и обладает специализированными навыками для решения сложных логических задач.

Инновационный подход к обучению

Уникальная методика тренировки обеспечивает выдающиеся результаты модели. Инженеры NVIDIA взяли за основу базовую версию Nemotron-3-Nano-30B-A3B-Base и применили метод каскадного обучения с подкреплением (Cascade RL). Разработчики разделили процесс на строгие последовательные этапы, что отличает этот метод от классического подхода со смешиванием данных из разных областей в один массив.

На каждом этапе нейросеть последовательно усваивает знания из одной конкретной области, а специальная система верификаторов распределяет вознаграждения. Подобный подход повышает общую эффективность работы и предотвращает эффект катастрофического забывания. Последняя проблема часто преследует традиционные трансформеры при работе с длинным контекстом.

Дистилляция знаний и оптимизация

Финальным штрихом в процессе создания Nemotron-Cascade 2 стала дистилляция знаний по методу MOPD (Multi-Domain On-Policy Distillation). Эта схема использует промежуточные учительские модели для максимально плотной передачи информации. В результате нейросеть отлично справляется с написанием кода, решает математические уравнения и точно следует инструкциям. Дополнительно команда оптимизировала алгоритм методом SFT с использованием тщательно отобранных наборов данных.

Развёртывание локальных ИИ-моделей требует надёжного серверного оборудования. Компания DigitalRazor предлагает мощные GPU-серверы для задач машинного обучения и аналитики данных. В конфигураторе доступны передовые комплектующие и продвинутые системы жидкостного охлаждения для стабильной работы платформы под высокими нагрузками.

[ Рабочие станции DigitalRazor ]

Custom Hydro

7975WX · 2 x RTX 5090 32GB · 256GB DDR5 ECC · 1 ТБ NVME 5.0

3 441 000 ₽

258 075 ₽ / мес Примерный ежемесячный платёж. Итоговая сумма рассчитывается индивидуально.

Подробнее

750D Tower

7975WX · RTX 5090 32ГБ · 512GB DDR5 ECC · 1 ТБ NVME 5.0

5 430 000 ₽

407 250 ₽ / мес Примерный ежемесячный платёж. Итоговая сумма рассчитывается индивидуально.

Подробнее

Custom Hydro

7985WX · 4 x RTX 5090 32GB · 512GB DDR5 ECC · 1 ТБ NVME 5.0

6 970 000 ₽

522 750 ₽ / мес Примерный ежемесячный платёж. Итоговая сумма рассчитывается индивидуально.

Подробнее