Благотворительность от NVIDIA: технология Audio2Face стала полностью открытой

4 года назад NVIDIA представила технологию Audio2Face — один из инструментов, призванный облегчить разработчикам процесс создания видеоигр. Ранее технология была доступна только некоторым студиям и далеко не бесплатно, а теперь NVIDIA сделала подарок человечеству — Audio2Face стала полностью открытой и «за спасибо». NVIDIA выложила исходный код со свободной лицензией.

Краткое содержание

• Технология Audio2Face предназначена для ИИ-генерации лицевой анимации;
• Раньше она была платной и «для своих», теперь — для всех и бесплатно;
• Теперь даже небольшие разработчики могут улучшить свои проекты без серьёзных затрат.

Audio2Face

Audio2Face использует искусственный интеллект для генерации лицевой анимации в играх и не только. Технология анализирует речь, в том числе интонации и фонемы, и создаёт реалистичную мимику. При условии достаточной вычислительной мощности, для чего отлично подходят наши ИИ-серверы, Audio2Face может работать даже в режиме реального времени. К примеру, для создания интерактивных ИИ-персонажей.

Audio2Face не просто синхронизирует движение губ с текстом, а создаёт лицевую анимацию целиком. На основе интонаций голоса она автоматически определяет эмоциональный окрас фразы — злость, удивление, восторг и т. д. Задействуются брови, лоб и другие части лица. Наглядно всё продемонстрировано в этом видео.

NVIDIA открывает исходный код моделей Audio2Face и SDK, чтобы каждый разработчик игр и 3D-приложений мог создавать и использовать высококачественные персонажи с первоклассной анимацией. Мы также открываем исходный код учебной среды Audio2Face, чтобы любой мог настраивать и адаптировать наши существующие модели для конкретных случаев использования.

— пишет NVIDIA.

Примеры использования

Audio2Face в своих проектах использовали многие крупные издатели. Среди них Convai, Codemasters, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs, UneeQ Digital Humans.

Самый наглядный и крупный пример — S.T.A.L.K.E.R. 2: Heart of Chornobyl. Почти вся лицевая анимация в игре была сделана силами ИИ.

Что это меняет

Создание лицевой анимации вручную или с помощью технологий захвата мимики живого актёра — долгий, дорогой и сложный процесс. Подробнее об этом мы рассказывали в отдельной статье. Для небольших студий это просто неподъёмная задача, что приводит либо к «каменным» лицам, либо к «эффекту зловещей долины». Ну а теперь даже разработчики-одиночки с мощным оборудованием смогут оживить персонажей в своих проектах.