Nová metóda umožní vypočítať pohyb herca v 3D zachytený iba z jednej 2D kamery

Hoci technológia 3D skenovania existuje v Hollywoode už desaťročia, zvyčajne si vyžadovala zložité a časovo náročné nastavenie: viacero kamier rozmiestnených okolo hercovho tela v rozsahu 360 stupňov alebo v prípade snímania pohybu použitie „značkovačov“ v podobe terčíkov umiestnených priamo na hercovi v tesne priliehajúcom oblečení. Teraz je tu však nová metóda. Výskumníci z Huawei a Huazhong University of Science and Technology v Číne upravili Gaussov splatting, sériu rovníc, ktorá sa používa na spracovanie statických 3D snímok z jednej 2D kamery, ktorá sa pohybuje v sekvencii okolo objektu, aby zachytila aj dynamický pohyb v 3D vrátane pohybov ľudského tela.

Ich metóda sa nazýva 4D Gaussov splatting, pretože čas ako štvrtý rozmer je novou funkciou, ktorá umožňuje, aby sa obraz v čase menil. 3D Gaussov splatting bol navrhnutý na skenovanie objektov pomocou laserov v roku 2001 výskumníkmi z MIT, ETH Zürich a Mitsubishi. Na reprezentáciu 3D scény používa kolekcie častíc, z ktorých každá má vlastnú polohu, rotáciu a ďalšie atribúty. Každému bodu je takisto priradená nepriehľadnosť a farba, ktoré sa môžu meniť v závislosti od smeru pohľadu.

Hlavnou výzvou je, že keď sa spojí viacero gaussovských splatterov v rôznych časových úsekoch, aby sa vytvoril pohyblivý obraz, každý bod sa „deformuje“ od obrazu k obrazu, čím sa vytvárajú nepresné reprezentácie tvarov a objemov objektov (a subjektov) na obrazoch. Výskumníci to však dokázali prekonať tým, že zachovali len jeden súbor 3D obrazov a použili prediktívnu analýzu na zmapovanie toho, kde a ako sa budú pohybovať od jednej časovej známky k druhej.

Výskumníkom sa podarilo dosiahnuť 3D rotačný efekt, ktorý umožňuje divákovi pohybovať „kamerou“ okolo objektov na scéne v 3D a vidieť ich z viacerých uhlov a pohľadov. Podľa výskumníkov ich metóda 4D Gaussov splatting „dosahuje vykresľovanie dynamických scén v reálnom čase, a to až 70 FPS pri rozlíšení 800 × 800 v prípade syntetických súborov údajov a 36 FPS pri rozlíšení 1352 × 1014 v prípade reálnych súborov údajov, pričom si zachováva porovnateľný alebo vyšší výkon ako predchádzajúce najmodernejšie metódy“.

Hoci sú prvé výsledky pôsobivé, scény pohybu zachytené výskumníkmi v 3D trvajú dovedna 20 minút, pričom každá trvá len niekoľko sekúnd, čo je ďaleko od času potrebného napríklad na pokrytie celovečerného filmu. Pre štúdiá, ktoré chcú zachytiť niekoľko pohybov herca a opätovne ich použiť, je to však skvelý začiatok. A táto technika bude užitočná aj pre dizajnérov videohier, XR/VR dizajnérov.

Zdroj: venturebeat.com.