MagicAnimate a Animate Anyone dokážu roztancovať kohokoľvej iba zo statickej fotky

Generatívna AI dokáže vytvárať fotorealistické obrázky, no objavili sa už aj modely, ktoré dokážu generovať videá. Čínske spoločnosti Bytedance a Alibaba teraz ukázali modely, ktoré vytvárajú fotorealistické videoklipy animovaných ľudí. Hoci spoločnosti používajú mierne odlišné architektúry, obe v podstate využívajú difúzne modely prispôsobujúce obrázky modelu, ktorý určuje polohy napríklad tanečnej sekvencie. MagicAnimate od spoločnosti Bytedance a Show Lab na Národnej univerzite v Singapure a Animate Anyone od spoločnosti Alibaba a Inštitútu pre inteligentné výpočty generujú krátke videoklipy tancujúcich ľudí alebo kreslených postavičiek z referenčného obrázka a tanečnej sekvencie. Pomocou metód, ako je ControlNet a technika časovej stability, dosahujú videá oveľa vyššiu konzistenciu ako iné modely na prevod textu na video alebo obrazu na video, pričom prekonávajú súčasný najlepší benchmark takmer o 40 percent. Obe metódy vyžadujú na generovanie videí iba jeden obrázok a jednu pohy ...