Представлена открытая нейросеть daVinci-MagiHuman для генерации видео и звука

В Сети появилась новая открытая мультимодальная модель daVinci-MagiHuman. Проект объединяет генерацию реалистичного видео и синхронизированного звука в едином потоке. ИИ с 15 миллиардами параметров отличается высокой скоростью работы и нацелен на создание максимально реалистичных цифровых людей с точной мимикой и движениями.

Краткое содержание

• Представлена открытая модель daVinci-MagiHuman с 15 миллиардами параметров;
• Новинка генерирует 5-секундное видео со звуком всего за 2 секунды на одном чипе H100;
• В основе лежит архитектура однопоточного трансформера без сложных перекрёстных связей;
• Программный продукт отлично справляется с многоязычной речью и точной синхронизацией губ;
• Исходный код доступен для свободного скачивания по лицензии Apache 2.0;

Архитектура и возможности генерации

Проект базируется на простом, но крайне эффективном решении — однопоточном трансформере. Такой подход позволяет обрабатывать текст, видео и аудио в виде единой последовательности токенов, опираясь исключительно на механизм внутреннего внимания. 

Отказ от сложных перекрестных связей сильно упрощает процесс обучения и оптимизации. Основной упор сделан на генерацию человеческих образов. Модель выдает крайне выразительную мимику, естественные движения тела и точную синхронизацию речи с движением губ.

Невероятная скорость и оптимизация

Система поддерживает синтез речи на шести языках, включая английский, китайский, французский и немецкий. При этом обеспечивается феноменальная скорость работы. Благодаря продвинутой дистилляции, турбо-декодеру VAE и алгоритмам сверхразрешения в латентном пространстве, программный комплекс способен сгенерировать 5-секундный ролик в разрешении 256p всего за 2 секунды. Для таких результатов требуется всего один графический ускоритель H100. Подобные вычислительные мощности обычно предоставляют специализированные серверы для искусственного интеллекта, где устанавливаются флагманские графические чипы.

Открытый код и доминирование в тестах

Во время автоматического тестирования новинка продемонстрировала выдающиеся результаты. Уровень ошибок при распознавании сгенерированной речи составил всего 14,6%, что является лучшим показателем среди открытых решений. При попарном сравнении живыми людьми генератор выиграл в 80% случаев у Ovi 1.1 и обошел LTX 2.3. Исходный код, базовые и дистиллированные веса уже опубликованы под лицензией Apache 2.0. Это открывает путь к локальному запуску проекта. Для комфортной работы с подобными алгоритмами отлично подойдут мощные рабочие станции от компании DigitalRazor.

Рабочие станции DigitalRazor

Рабочая станция

Custom Hydro

3 583 500 ₽

   

В корзину •     Конфигурировать

Процессор 7975WX

Видеокарта 2 x RTX 5090 32GB

Оперативная память 256GB DDR5 ECC

NVME 1 ТБ NVME 5.0

NVME 2 4 ТБ NVMe 5.0

 

Рабочая станция

750D Tower

5 509 000 ₽

   

В корзину •     Конфигурировать

Процессор 7975WX

Видеокарта 2 x RTX 5090 32ГБ

Оперативная память 512GB DDR5 ECC

NVME 1 ТБ NVME 5.0

NVME 2 4 ТБ

 

Рабочая станция

Custom Hydro

7 112 500 ₽

   

В корзину •     Конфигурировать

Процессор 7985WX

Видеокарта 4 x RTX 5090 32GB

Оперативная память 512GB DDR5 ECC

NVME 1 ТБ NVME 5.0

NVME 2 4 ТБ NVMe 5.0