Nový AI generátor môže revolučne zmeniť navrhovanie 3D modelov postáv

Výskumníci z Meta a Oxfordskej univerzity odhalili nový výkonný AI nástroj, ktorý dokáže transformovať textové výzvy na detailné 3D rendery. Volá sa VFusion3D a obchádza problém obmedzenej dostupnosti 3D údajov, pričom vytvára pôsobivé modely, ktoré majú potenciál revolučne zmeniť navrhovanie postáv.

Dokument s názvom Learning Scalable 3D Generative Models from Video Diffusion Models (Učenie škálovateľných 3D generatívnych modelov z difúznych modelov na video), ktorý vypracovali výskumníci Junlin Han, Filippos Kokkinos a Philip Torr, vysvetľuje, ako tento model dokáže vytvoriť škálovateľné 3D generatívne modely pomocou vopred natrénovaných difúznych modelov na video.

Tím vyladil model AI na video na vytváranie viacpohľadových videosekvencií, čo umožňuje zobrazenie objektov z rôznych uhlov. V článku sú prezentované obrazy transformované na 3D objekty s výnimočnou presnosťou. Na riešenie nedostatku 3D údajov výskumníci navrhujú využiť difúzny model na video, trénovaný s rozsiahlymi objemami textu, obrázkov a videí, ako zdroj znalostí pre 3D údaje.

VFusion3D, vycvičený na takmer 3 miliónoch syntetických viacpohľadových údajov, dokáže rýchlo vygenerovať 3D objekt z jedného obrazu a prekonáva súčasné najmodernejšie 3D generatívne modely. Na stránke Hugging Face je k dispozícii demo VFusion3D, s ktorým môžu používatelia experimentovať. Môžu vkladať vlastné obrázky alebo si vybrať z množstva už existujúcich obrázkov.

Zdroj: creativebloq.com.