Что такое фотограмметрия: как технологию применяют в играх и кино

Фотограмметрия переносит объекты из реальной жизни в трёхмерные миры с поразительной точностью. Ландшафты локаций покрываются правдоподобными деталями, персонажи обретают лица голливудских актёров, а предметы интерьера — реалистичные текстуры. Разбираемся, как работает технология и чем она отличается от обычного 3D-сканирования. С примерами из Call of Duty, Star Wars: Battlefront и, внезапно, Forbidden Siren.

Немного истории

Фотограмметрия появилась в середине XIX века вместе с изобретением фотографии. Это научно-техническая дисциплина, которая занимается определением форм, положения и размеров по изображениям. В основном это фотографии одного статичного объекта, снятые с разных ракурсов и положений.

Дальше в дело вступает математика и алгоритмы. Объект, его симметрию и расстояние до камеры тщательно изучают и вычисляют пространственные координаты. Целей две: первая заключается в доскональном изучении именно объекта, а вторая – в возможности его реконструкции и реконструкции его окружения.

Стереокомпаратор Пульфриха — устройство для измерения положения объектов. Прибор использовали для измерения снимков звёздного неба и высот кратеров на Луне

Изначально фотограмметрию использовали для создания и уточнения топографических карт, фотодокументов, планов и проектов зданий, изучения природных явлений и даже мест преступлений во время полицейских расследований. В дисциплине существует два направления. Фототопография занимается созданием карт и планов Земли, а наземная или прикладная фотограмметрия решает задачи в архитектуре, медицине и криминалистике.

В криминалистике фотограмметрию используют для «сохранения» мест преступления в изначальном виде, включая положение улик

Во время пандемии COVID-19 Национальный музей американской истории в Вашингтоне и другие музеи по всему миру использовали фотограмметрию, чтобы сделать культурное наследие доступнее для изолированных людей.

Процесс обработки модели бюста в приложении RealityCapture

Скульптуры и картины сканировали, чтобы получить 3D-модели. Затем их объединяли в коллекции и выкладывали в публичный доступ. Любой желающий мог зайти и устроить себе виртуальную экскурсию не выходя из дома — крутить и рассматривать объекты искусства в браузере, фоном слушая аудиогид.

В разработке игр и кинопроизводстве фотограмметрию тоже используют. Она решает сразу две проблемы: делает итоговую картинку реалистичнее и экономит время на производство.

Протофотограмметрия в играх 2000-х

Работа с множеством фотографий не нова для видеоигр. В 90-х, когда компания Sony популяризировала 3D-графику и сделала её стандартом, разработчики начали пользоваться фототекстурами. Правда, в отличие от фотограмметрии, в результате которой получаются готовые модели, у художников 90-х получались плоские изображения, которые потом нужно было «натянуть» на модели, созданные вручную.

Silent Hill (1999)

Яркий пример — оригинальная Silent Hill. Японцы из Team Silent поехали в США за фотореференсами и текстурами. Полученные материалы использовали в качестве референсов для создания правильного настроения игры и накладывали фототекстуры на модели. Просто их переводили в разрешение 128x128 пикселей. «Королевские» 256х256 использовали только для текстур главных героев.

Подобный подход команда повторила при разработке Silent Hill 2 и Silent Hill 3. Фактурная пыль, ржавчина и потёртости рисовали не с нуля. Фототекстурами пользовались и другие разработчики. Авторы оригинальной Devil May Cry фотографировали готические замки в Европе, создатели Deadly Premonition перенесли по фото американский пригород, а разработчики S.T.A.L.K.E.R.: Shadow of Chernobyl — зону отчуждения Чернобыльской АЭС.  

S.T.A.L.K.E.R.: Shadow of Chernobyl (2007)

После успеха оригинальной Silent Hill руководитель разработки занялся новым ужастиком — Forbidden Siren. Его команда вновь отправилась в путешествие, но в этот раз по заброшенным деревням и опустевшим городам Японии. По итогу авторы не только наложили фототекстуры на тела персонажей и объекты окружения, но также использовали их для создания лиц героев и лицевой анимации.

Предметы, которыми пользуются герои Forbidden Siren, создавали вручную и переносили в игру по фото. Страницы из официального руководства Siren Maniacs

Разработчики фотографировали актёров на камеру с разрешением 2 мегапикселя и покадрово фиксировали мимику их лиц в движении. Позже из этих кадров создавали последовательности, которые накладывали на 3D-модели. Скудное качество изображений и сложная система эффектов придали Forbidden Siren уникальный и устрашающий визуальный стиль, который пугает игроков даже сегодня.

Процесс переноса актёрской игры в 3D-редактор. Страницы из официального руководства Siren Maniacs

Подобным подходом воспользовались авторы L.A. Noire в 2011-м. Только преследовали они другую цель. Вместо воссоздания реалистичного ужаса художники Team Bondi стремились передать мелкие детали послевоенной Америки 50-х. Авторы даже пригласили на главные роли голливудских актёров. Нюансы их мимики засняли с помощью технологии MotionScan и превратили в видеотекстуры.

Запись мимики L.A. Noire

Процесс был сложнее, чем в случае с Forbidden Siren. Мимику записывали в специальной комнате с ярким светом и множеством камер, которые располагались перед актёрами. Захват лиц происходил отдельно от захвата движений тела. Поэтому во время сеансов актёрам было запрещено сдвигаться с места, чтобы не испортить итоговую анимацию.

Как это работает?

Фотограмметрия в современном понимании — это техника, благодаря которой 3D-модели создают на основе множества фотографий одного и того же объекта с разных сторон. Сотни или даже тысячи снимков, которые специализированная программа соединяет в единый трёхмерный объект с помощью формирования облака точек.

Облака точек и фото, по которым они строятся. Слайд из презентации технического арт-директора DICE Кеннета Брауна

Далее ПО переносит собранные данные на 3D-модель из полигонов-треугольников. Их в трёхмерной графике используют как основу для создания моделей. Чем больше полигонов, тем модель детализированнее. Вместе с детализацией возрастает нагрузка на видеокарту. Поэтому перед тем, как попасть в игру, все модели проходят долгий этап оптимизации. Можно сказать, что их искусственно ухудшают.

Среднее количество полигонов для основных персонажей актуальных ААА-блокбастеров — около 400 000. Это уже оптимизированные модели, которые авторы используют в игровом процессе — драках, исследовании мира и постановочных сценах. Многочисленным противникам главных героев приходится довольствоваться меньшим. Им выделяют в среднем по 100 000 полигонов на человека.

Модели, созданные при помощи фотограмметрии, состоят из десятков миллионов полигонов. Всё дело в деталях — ПО переносит с фото все нюансы и неровности, делая их частью моделей. Далее авторы намеренно снижают количество полигонов, чтобы прийти к нужным 400 000 без потерь в качестве.

Фотоскан раздавленного автомобиля для Call of Duty: Modern Warfare (2019). Модель без оптимизации состоит из 10 000 000 полигонов

В киноиндустрии модели тоже проходят через процесс оптимизации, но более щадящий. Неровности и детали в больших количествах — огромный плюс для картинки, которую будет рендерить не один ПК среднего потребителя, а рендер-ферма со связками передовых видеокарт.

Отличия фотограмметрии от 3D-сканирования

В 2000-х 3D-сканирование было сложным и дорогостоящим процессом, в рамках которого крупные компании пользовались дорогими лазерными датчиками.

В 2008-м студия Treyarch во время разработки шутера 007: Quantum of Solace посвятила отдельный рекламный ролик дотошному сканированию Дэниела Крейга. Актёр не только подарил внешность агенту 007, но также позволил отсканировать «интимные части», что бы это ни значило.

Отсканированный Дэниел Крейг для 007: Quantum of Solace

3D-сканирование, как и фотограмметрия, преобразует объекты в облака точек, чтобы потом пересобрать их в 3D-редакторе. Разница в том, что для создания 3D-скана не нужны фотографии — датчики переносят математику без опоры на изображения. В итоге получается серая модель без текстур.

Иногда возникают погрешности. Особенно при сканировании больших объектов, вроде автомобилей или архитектурных объектов. Последние могут быть размером в десятки метров. Чтобы не допустить ошибок, авторы прибегают к фотореференсам. Они помогают уточнить масштабы, формы и рельефы на этапе доработки и оптимизации полученных сканов. Иногда готовый скан уточняют при помощи фотограмметрии.

Авторы автосимулятора Forza Motorsport 7 использовали систему Leica с технологией LiDAR. Это комбинация лазерного сканирования и фотограмметрии для переноса обширных территорий в открытый мир игры.

Ландшафт, снятый с помощью лазерного сканирования, отмечен жёлтым цветом. Ассеты и материалы, захваченные с помощью фотограмметрии отмечены красным и синим. Слайд из доклада художника Forza Horizon 7 Трэвиса Госнелла для GDC

Основной ландшафт захватывали сканером, а мелкие объекты — с помощью фотограмметрии. После авторы дорабатывали и оптимизировали полученные модели, чтобы затем расставить их в сцене согласно задуманному дизайну трассы.

Фотограмметрия в Call of Duty и Star Wars: Battlefront

Как и в играх 2000-х, в современных блокбастерах фотосканирование используют для повышения уровня реализма. Разница в том, что количество полигонов выросло до сотен тысяч, а разрешение текстур взлетело до 4096x4096 пикселей.

Авторы мрачного перезапуска Call of Duty: Modern Warfare (2019) сканировали разбитые автомобили, обмундирование и предметы окружения не только ради детализации, но и для ускорения разработки. У художников Infinity Ward уходило до 6 недель на «ручное» производство моделей с текстурами. Фотограмметрия и её последующая доработка, по их словам, занимала всего неделю.

Студийная установка художников Infinity Ward для фотограмметрии

Авторы актуальных Call of Duty, как и Team Silent в 90-х и 00-х, отправляются в путешествия по городам и странам, подходящим по сеттингу для их проектов, чтобы собрать материал. Только вместо простых фото получаются готовые 3D-модели с реалистичными текстурами.

Их объединяют в библиотеки ассетов, которые затем можно использовать сразу в нескольких проектах. Так элементы окружения и оружие из номерных Call of Duty впоследствии перекочевали в Warzone и Black Ops.

Пример готовой библиотеки ассетов

DICE, авторы дилогии Star Wars: Battlefront и актуальных Battlefield, также пользуются фотограмметрией. Она нужна для достоверного изображения ландшафтов и архитектуры даже в рамках фантастических вселенных. Художники Battlefront встраивают отснятые реальные объекты в окружение других планет.

Локация, которую художники отсканируют и перенесут в Star Wars: Battlefront почти точь-в-точь. Слайд из презентации технического арт-директора DICE Кеннета Брауна

Разработчики используют классическую фотосъёмку и дроны. Последние снимают локации в изометрической перспективе, чтобы получить монолитную модель всей сцены. Может показаться, что это — идеальное решение для быстрого создания большой карты с бесшовным окружением. Но мощности современных ПК и консолей не хватит, чтобы играть с настолько большим количеством полигонов и высоким разрешением текстур. Полученные в итоге модели снова нужно долго и упорно оптимизировать.

Основу для заснеженного ландшафта одной из карт Star Wars: Battlefront художники получили, отсканировав… кондитерскую муку. Слайд из презентации технического арт-директора DICE Кеннета Брауна

Фотограмметрия в кино

В кино масштабные куски отсканированной натуры используют с конца 90-х. Режиссёр Дэвид Финчер прибегал к фотограмметрии во время работы над «Бойцовским клубом» и «Комнатой страха», чтобы перенести «в цифру» декорации интерьеров и даже целые улицы.

Ведущие подкаста VFX Notes разбирают сцены с фотограмметрией в «Бойцовском клубе»

В «Бойцовском клубе» фотограмметрия помогла создать сцены с эффектными пролётами камеры сквозь здания, а в «Комнате страха» получилось воплотить на экране плавное скольжение по тёмным интерьерам дома. Вживую снять эти эпизоды было бы гораздо сложнее и затратнее. Благодаря фотограмметрии у Финчера было больше контроля над пространством и движениями виртуальной камеры.

С тех пор фотограмметрию чаще всего используют для создания окружения, которое сложно отличить от физических декораций или натурной съёмки. Актёров снимают на фоне хромакея, а после подкладывают на задний план доработанные фотосканы. Многие не заметили, что большая часть сцен довольно реалистичного четвёртого сезона «Настоящего детектива» снята на фоне хромакея. Интерьеры жилых домов и ночных улиц Аляски добавили уже на этапе пост-продакшена.

Кадры со съёмок сериала «Настоящий детектив: Страна ночи»

Подобным образом поступили и авторы фильма «Салют-7». Тут всё прямо как у Финчера. Перенос декораций космической орбитальной станции в цифровое пространство 3D-редактора дал больше возможностей для редактирования кадров и сцен, управления камерой, усиления эмоциональной составляющей.

Художники из съёмочной команды использовали геодезический лазерный сканер. С его помощью снимали крупные объекты, а мелкие захватывали с помощью ручных сканеров. После авторы пользовались фотограмметрией для уточнения масштабов и захвата текстур в высоком разрешении.

Примеры отсканированных материалов для фильма «Салют-7»

Процесс разделили на два этапа. На первом снимали сами объекты, а на втором их обрабатывали. По итогу у художников получились детализированные цифровые копии космического корабля «Союз», переходного отсека, спускаемого модуля и 30 предметов аутентичного инвентаря вроде скафандров, наушников и даже чайных ложек. Как и в случае с «Настоящим детективом», актёров снимали на фоне зелёного экрана, а окружение добавляли на пост-продакшене.

Работа с отсканированными фонами и детализированными 3D-объектами требует больших вычислительных мощностей. В ассортименте DigitalRazor есть рабочие станции и GPU-серверы, которые значительно сокращают время рендеринга и экономят бюджет. Поможем выбрать правильную конфигурацию и предоставим гарантию. В конце этого материала ищите промокод на скидку.

Фотограмметрия и видеостены

С приходом движка Unreal Engine в киноиндустрию пользоваться фотосканами стало проще. Художники используют их в качестве декораций во время съёмок, а не на поздних этапах, когда весь материал с актёрами уже готов. Движок Epic рендерит готовые фоны в реальном времени, затем их выводят на огромную видеостену из сотен или тысяч LED-мониторов. Получается закрытая круглая арена диаметром около 20 метров. Подробнее об этой технологии мы рассказывали здесь.

Фото со съёмок сериала «Мандалорец»

Массив из мониторов с проецируемой картинкой заменяет живые декорации. В отличие от съёмок на хромакее, актёрам не нужно ничего представлять или выдумывать, опираясь на сценарий. Можно вывести на фотостену убедительный взрыв и добиться вполне реалистичной реакции на происходящее.

Видеостены упрощают и работу режиссёра. Можно долго рассказывать, как выглядит локация текущей сцены (особенно если речь идёт о фантастическом фильме) и объяснять актёрам, куда воевать в пустом пространстве. Но лучше сразу показать им отсканированные 3D-декорации!

Для рендеринга картинки и вывода её на LED-панели голливудские студии используют «фермы» с профессиональными видеокартами. DigitalRazor более 10 лет собирает рабочие станции для киностудий. Одним из последних проектов стала мощная сборка на основе процессора Threadripper 9000-й серии и графического ускорителя RTX Pro 6000 c 96 ГБ видеопамяти. С её помощью можно взрывать космические корабли над головами актёров, не переживая о стабильности частоты кадров.

Профессиональный графический ускоритель NVIDIA RTX Pro 6000 способен выводить 4К-изображение на 8 экранов одновременно и рендерить сложные сцены в реальном времени

Процесс создания спецэффектов тоже становится проще. Художникам не нужно перерисовывать свет и убирать зелёные блики от хромакея. Работы над фонами тоже становится меньше — их не нужно создавать и интегрировать в картинку с нуля. В исходном съёмочном материале декорации уже есть, нужно лишь устранить «разрывы» между мониторами и другие визуальные артефакты.

Режиссёр сериала «Мандалорец» Джон Фавро говорил, что сцены, снятые на фоне LED-панелей, «практически не требовали доработки». Некоторые попали в финальный монтаж вообще без каких-либо изменений.

Фото со съёмок сериала «Мандалорец»

Что стоит учесть заранее

Для фотограмметрии нужно много качественных фотокамер. Часто их помещают в специальную конструкцию из штативов. Камеры устанавливают в форме круга, чтобы захватить сканируемый объект со всех сторон. Чем больше снимков они сделают, тем точнее получится модель.

Как надо и как не надо устанавливать камеры для фотограмметрии

Даже самым лучшим камерам нужно качественное и однородное освещение. Фотограмметрия требует установки единой цветовой температуры для всех сторон объекта. Если во время сканирования будет выставлен неравномерный свет или появятся лишние тени — готовая модель станет неестественной и «картонной». Встроенную в камеру вспышку тоже использовать не стоит — она даст лишние тени и блики.

Установка для фотограмметрии, собранная с соблюдением всех правил. Слайд из презентации технического художника State of Decay 2 Мэтта Хайнигера для GDC

Далеко не все объекты можно отсканировать в студии. Здания, деревья и большие природные ландшафты придётся «снимать на натуре». В таком случае однородный свет придётся выставлять искусственно, как и бороться с тенями. Если не получается, значит, придётся потратить больше времени на доработку скана в редакторе.

Также стоит заранее делить сканируемые объекты на части, если есть такая возможность. Например, создатели Call of Duty: Modern Warfare (2019) сканировали оружие частями, деталь за деталью. Потом художники «собирали» пушки в единое целое в 3D-редакторе.

Трудно с людьми работать

С помощью фотограмметрии легко переносить в игры и фильмы объекты интерьера и даже целые ландшафты, но сканирование живых людей — куда более сложная задача.

Процесс фотосканирования человека. Слайд из презентации ведущего художника по персонажам Blood & Truth Тоби Хайнса для GDC

Проблема заключается в том, что человек должен быть неподвижен, как актёры во время сеансов захвата мимики для L.A. Noire. Если он будет моргать, глубоко дышать или ёрзать во время фотограмметрии — на модели появятся видимые дефекты, которые будет сложно редактировать. Проще сделать съёмку заново.

Мастера из голливудских VFX-студий давно практикуют захват актёров в «оригинальном» масштабе с помощью фотограмметрии. Полученные модели помещают в сцены с обилием спецэффектов. Например, в эффектные сражения в фильмах Marvel. 3D-персонажей анимируют и комбинируют с реальными кадрами со съёмочной площадки, чтобы компьютерная анимация как можно меньше бросалась в глаза. В архиве ассетов Marvel хранятся цифровые копии Криса Эванса, Роберта Дауни-младшего, Пола Рада и других актёров.

Актёр Альфред Молина и его 3D-скан для сцен со спецэффектами «Человека Паука 2». Попробуйте угадать, кто из них настоящий

Подобные архивы есть и у других студий. Часто в актёрских контрактах на крупных проектах изначально прописан пункт про создание цифровой копии. Так компания страхуется от форс-мажоров и невыполнения обязательств. Если что-то идёт не так и это угрожает выходу фильма — все необходимые сцены доснимут или переснимут с цифровым двойником.

Копии могут также пригодиться для создания видеоигр по мотивам и фильмов-приквелов с омоложёнными версиями персонажей. Нечто подобное можно увидеть в фильмах «Терминатор: Да придёт спаситель», «Логан» и «Пираты Карибского моря: Мертвецы не рассказывают сказки».

3D-модель молодого Арнольда Шварценеггера из фильма «Терминатор: Да придёт спаситель»

Недостатки технологии

Помимо особенностей работы со светом и сложностей при сканировании людей, у фотограмметрии есть и другие недостатки. Например, точность. Она ниже, чем у среднего лазерного 3D-сканера.

К тому же нельзя сканировать всё подряд. Плоских объектов вроде листов бумаги, одноцветного пластика и листвы деревьев лучше избегать. Блестящих объектов и зеркальных поверхностей — тоже. Вместо моделей получатся «сломанные» облака точек, а вместо текстур — «мыльные» фотографии.

Пример дефектного фотоскана. Слайд из презентации технического художника State of Decay 2 Мэтта Хайнигера для GDC

Есть мнение, что самый важный недостаток технологии заключается в необходимости вкладывать в неё большие деньги. Для захвата качественной модели понадобится много дорогих камер, осветительные приборы и штативы. Дополнительно придётся потратиться на софт для обработки, «сшивания» и редактирования фотосканов.

Последнего этапа избежать не удастся. Исходник обязательно нужно дорабатывать, удалять лишние элементы, оптимизировать геометрию и количество полигонов. Понадобятся и навыки работы в графических редакторах вроде Photoshop. На захваченных текстурах часто встречаются артефакты.

Сканирование с низким бюджетом

Затраты на фотограмметрию можно сократить. Чтобы создать ассеты для инди-игры или некоммерческого фильма хватит простого смартфона с хорошей камерой и мобильного приложения. На iPhone 12 Pro и iPhone 12 Pro Max доступна технология LiDAR, которой пользовались авторы Forza Horizon 7.

Авторы VR-шутера Blood & Truth обошлись всего одним 3D-сканером и одной фотокамерой. Слайд из презентации ведущего художника по персонажам Тоби Хайнса для GDC

В магазинах мобильных приложений есть немало вариантов ПО, в том числе для смартфонов. Самое популярное и универсальное приложение — Polycam (версия для iOS и Android). С его помощью можно снимать, бесплатно обрабатывать фото и даже пользоваться LiDAR. В этой статье мы рассказывали, как самостоятельно создать свой 3D-аватар с помощью разных инструментов.

Авторы «выживастика» про зомби State of Decay 2 остались недовольны смартфонами, а на голливудский сетап для фотограмметрии не хватало ресурсов. Поэтому пришлось собрать свой собственный всего за 2360 долларов. Undead Labs обошлись одной камерой Sony A7ii, пятью лампами и держателями для них. Самым затратным пунктом была камера. Она стоила 2000 долларов.

Слайд из презентации технического художника State of Decay 2 Мэтта Хайнигера для GDC

Главное ухищрение заключалось в движении фотографа. Камера была всего одна, он снимал с рук и осторожно двигался вокруг объекта сканирования. По сути имитировал круговое расположение камер в дорогих установках. Из-за этого модели иногда получались с дефектами, а текстуры оказывались «мыльными». Undead Labs придумали элегантное решение проблемы — сканировать заново, пока не получится. Даже если нужно повторить процесс 6–8 раз.

Какие программы использовать

Помимо Polycam существует множество других программ. Процесс работы у всех одинаковый, но в каждой есть уникальные особенности.

Meshroom — идеальный выбор для новичков и тех, кто хочет освоить фотограмметрию с нуля. Приложение полностью бесплатное. Можно спокойно сканировать статичные объекты по урокам на YouTube, не заплатив при этом ни рубля. Единственный недостаток — ПО оптимизировано под видеокарты NVIDIA, поэтому с железом от AMD могут возникать проблемы. Их можно решить с помощью плагина MeshroomCL. Он адаптирует работу под другие видеочипы.

Рабочее окно Meshroom

Metashape — более продвинутая программа, за которую придётся заплатить после пробного 30-дневного периода. Помимо широких возможностей для создания и обработки моделей и текстур, инструмент поддерживает панорамные снимки в 360°. Правда, работает Metashade гораздо медленнее Meshroom.

3DF Zephyr — ещё более продвинутая программа, но с большим количеством ограничений. В бесплатную версию можно загружать всего 50 фотографий за одну сессию. А платная стоит до 4000 долларов. Для создания простых объектов хватит бесплатной, но для чего-то сложного придётся раскошелиться.

Рабочее окно 3DF Zephyr

В отличие от Metashape и 3DF Zephyr, у приложения RealityCapture нет пробного периода. Платить нужно за каждый загруженный снимок и его разрешение — чем оно выше, тем дороже стоит. За просмотр и редактирование готовой модели денег не берут. В понимании авторов такая система «позволяет более гибко управлять расходами».

Если денег на покупку дорогого ПО нет, а Meshroom по каким-то причинам не подходит, есть альтернативный вариант — Blender. Знаменитый 3D-редактор бесплатен, а количество его возможностей в направлении фотограмметрии не уступает Polycam и даже RealityScan, которая захватывает модели сразу под Unreal Engine.

Работа с фотограмметрией в Blender

Какой бы способ или программу вы ни выбрали, обработка большого количества снимков в высоком разрешении, генерация моделей и анализ облаков точек — задачи для мощных ПК. Присмотритесь к нашей линейке рабочих станций PERFORMANCE Pro. Она включает в себя доступные модели в средней ценовой категории. По промокоду WORKLOAD сделаем скидку 5% на весь ассортимент.

Но если нужно что-то по-настоящему мощное — обратите внимание на варианты сборок с несколькими ускорителями RTX Pro 6000 и до 768 ГБ оперативной памяти. Этого хватит, чтобы перенести в ваш 3D-проект небольшой город и его жителей. Главное, чтобы они согласились неподвижно стоять или сидеть во время сканирования.