Представлена открытая нейросеть daVinci-MagiHuman для генерации видео и звука
Есть проект? Напишите нам
Обсудим задачу и подберём оборудование
В Сети появилась новая открытая мультимодальная модель daVinci-MagiHuman. Проект объединяет генерацию реалистичного видео и синхронизированного звука в едином потоке. ИИ с 15 миллиардами параметров отличается высокой скоростью работы и нацелен на создание максимально реалистичных цифровых людей с точной мимикой и движениями.
Краткое содержание
- Представлена открытая модель daVinci-MagiHuman с 15 миллиардами параметров;
- Новинка генерирует 5-секундное видео со звуком всего за 2 секунды на одном чипе H100;
- В основе лежит архитектура однопоточного трансформера без сложных перекрёстных связей;
- Программный продукт отлично справляется с многоязычной речью и точной синхронизацией губ;
- Исходный код доступен для свободного скачивания по лицензии Apache 2.0;
Архитектура и возможности генерации
Проект базируется на простом, но крайне эффективном решении — однопоточном трансформере. Такой подход позволяет обрабатывать текст, видео и аудио в виде единой последовательности токенов, опираясь исключительно на механизм внутреннего внимания.
Отказ от сложных перекрестных связей сильно упрощает процесс обучения и оптимизации. Основной упор сделан на генерацию человеческих образов. Модель выдает крайне выразительную мимику, естественные движения тела и точную синхронизацию речи с движением губ.
Невероятная скорость и оптимизация
Система поддерживает синтез речи на шести языках, включая английский, китайский, французский и немецкий. При этом обеспечивается феноменальная скорость работы. Благодаря продвинутой дистилляции, турбо-декодеру VAE и алгоритмам сверхразрешения в латентном пространстве, программный комплекс способен сгенерировать 5-секундный ролик в разрешении 256p всего за 2 секунды. Для таких результатов требуется всего один графический ускоритель H100. Подобные вычислительные мощности обычно предоставляют специализированные серверы для искусственного интеллекта, где устанавливаются флагманские графические чипы.
Открытый код и доминирование в тестах
Во время автоматического тестирования новинка продемонстрировала выдающиеся результаты. Уровень ошибок при распознавании сгенерированной речи составил всего 14,6%, что является лучшим показателем среди открытых решений. При попарном сравнении живыми людьми генератор выиграл в 80% случаев у Ovi 1.1 и обошел LTX 2.3. Исходный код, базовые и дистиллированные веса уже опубликованы под лицензией Apache 2.0. Это открывает путь к локальному запуску проекта. Для комфортной работы с подобными алгоритмами отлично подойдут мощные рабочие станции от компании DigitalRazor.
