NVIDIA представила открытую языковую модель Nemotron 3 Super со 120 млрд параметров

Компания NVIDIA продолжает активно развивать собственные технологии искусственного интеллекта. Разработчики официально выпустили новую открытую модель под названием Nemotron 3 Super. Этот мощный инструмент содержит 120 миллиардов параметров и ориентирован на выполнение сложных агентных задач.

Краткое содержание

• Компания NVIDIA выпустила открытую модель искусственного интеллекта Nemotron 3 Super;
• Нейросеть получила гибридную архитектуру с использованием 120 миллиардов параметров;
• Инновационный подход увеличил пропускную способность в пять раз по сравнению с прошлой версией;
• Модель поддерживает огромный контекст размером до одного миллиона токенов.

Гибридная архитектура для высокой скорости

Инженеры NVIDIA применили передовой подход при создании этой модели. Они объединили архитектуры Mamba и Transformer, создав эффективную гибридную систему. Во время логического вывода нейросеть активирует только 12 миллиардов параметров из общих 120 миллиардов. Это позволяет значительно снизить затраты на обслуживание серверов при сохранении выдающейся производительности.

Новые технологии предиктивности

Разработчики впервые внедрили в линейку Nemotron 3 сразу несколько инновационных решений. Модель объединяет слои многотокенового прогнозирования и предварительное обучение в формате NVFP4. Компания заявляет, что такой технологический стек не только ускоряет генерацию ответов, но и повышает точность работы почти в два раза по сравнению с предыдущим поколением.

Огромный контекст и открытость данных

Главной гордостью создателей стала поддержка колоссального размера контекста — до миллиона токенов. Это делает модель идеальным решением для анализа огромных документов и написания сложного программного кода. NVIDIA не ограничилась публикацией только весов модели. Компания выложила в открытый доступ контрольные точки, наборы данных и подробные инструкции по обучению.

Для комфортной работы с передовыми нейросетями локально тебе потребуется мощная рабочая станция. Инженеры компании DigitalRazor собирают ультимативные решения для бескомпромиссных вычислительных задач. Переходи в конфигуратор на нашем сайте и подбирай идеальные детали под свой бюджет, или посмотри готовые конфигурации рабочих станций.