Представлена открытая нейросеть daVinci-MagiHuman для генерации видео и звука

В Сети появилась новая открытая мультимодальная модель daVinci-MagiHuman. Проект объединяет генерацию реалистичного видео и синхронизированного звука в едином потоке. ИИ с 15 миллиардами параметров отличается высокой скоростью работы и нацелен на создание максимально реалистичных цифровых людей с точной мимикой и движениями.

Краткое содержание

• Представлена открытая модель daVinci-MagiHuman с 15 миллиардами параметров;
• Новинка генерирует 5-секундное видео со звуком всего за 2 секунды на одном чипе H100;
• В основе лежит архитектура однопоточного трансформера без сложных перекрёстных связей;
• Программный продукт отлично справляется с многоязычной речью и точной синхронизацией губ;
• Исходный код доступен для свободного скачивания по лицензии Apache 2.0;

Архитектура и возможности генерации

Проект базируется на простом, но крайне эффективном решении — однопоточном трансформере. Такой подход позволяет обрабатывать текст, видео и аудио в виде единой последовательности токенов, опираясь исключительно на механизм внутреннего внимания. 

Отказ от сложных перекрестных связей сильно упрощает процесс обучения и оптимизации. Основной упор сделан на генерацию человеческих образов. Модель выдает крайне выразительную мимику, естественные движения тела и точную синхронизацию речи с движением губ.

Невероятная скорость и оптимизация

Система поддерживает синтез речи на шести языках, включая английский, китайский, французский и немецкий. При этом обеспечивается феноменальная скорость работы. Благодаря продвинутой дистилляции, турбо-декодеру VAE и алгоритмам сверхразрешения в латентном пространстве, программный комплекс способен сгенерировать 5-секундный ролик в разрешении 256p всего за 2 секунды. Для таких результатов требуется всего один графический ускоритель H100. Подобные вычислительные мощности обычно предоставляют специализированные серверы для искусственного интеллекта, где устанавливаются флагманские графические чипы.

Открытый код и доминирование в тестах

Во время автоматического тестирования новинка продемонстрировала выдающиеся результаты. Уровень ошибок при распознавании сгенерированной речи составил всего 14,6%, что является лучшим показателем среди открытых решений. При попарном сравнении живыми людьми генератор выиграл в 80% случаев у Ovi 1.1 и обошел LTX 2.3. Исходный код, базовые и дистиллированные веса уже опубликованы под лицензией Apache 2.0. Это открывает путь к локальному запуску проекта. Для комфортной работы с подобными алгоритмами отлично подойдут мощные рабочие станции от компании DigitalRazor.

[ Рабочие станции DigitalRazor ]

Custom Hydro

7975WX · 2 x RTX 5090 32GB · 256GB DDR5 ECC · 1 ТБ NVME 5.0

3 441 000 ₽

258 075 ₽ / мес Примерный ежемесячный платёж. Итоговая сумма рассчитывается индивидуально.

Подробнее

750D Tower

7975WX · RTX 5090 32ГБ · 512GB DDR5 ECC · 1 ТБ NVME 5.0

5 430 000 ₽

407 250 ₽ / мес Примерный ежемесячный платёж. Итоговая сумма рассчитывается индивидуально.

Подробнее

Custom Hydro

7985WX · 4 x RTX 5090 32GB · 512GB DDR5 ECC · 1 ТБ NVME 5.0

6 970 000 ₽

522 750 ₽ / мес Примерный ежемесячный платёж. Итоговая сумма рассчитывается индивидуально.

Подробнее