Robot dostal novú AI a začal komunikovať s človekom

Startup Figure AI zameraný na robotiku nedávno zverejnil video svojho robota Figure 01 s novým vizuálnym jazykovým modelom (VLM): 

Vo videu stojí Figure 01 za stolom s tanierom, jablkom a šálkou. Naľavo je cedidlo. Človek stojaci pred robotom sa ho pýta: „Figure 01, čo práve vidíš?“ Po niekoľkých sekundách Figure 01 odpovie pozoruhodne ľudsky znejúcim hlasom (robot nemá tvár, len animované svetlo, ktoré sa pohybuje synchronizovane s hlasom) a podrobne opíše všetko, čo je na stole, ako aj detaily človeka, ktorý stojí pred ním.

Potom sa muž spýtal: „Hej, môžem dostať niečo na jedenie?“ Figure 01 odpovie: „Jasná vec.“ A potom obratným plynulým pohybom zdvihne jablko a podá ho mužovi. Následne muž vysype pred Figure 01 z koša nejaké skrkvané odpadky a zároveň sa spýta: „Môžeš mi vysvetliť, prečo si urobil to, čo ste práve urobil, zatiaľ čo pozbieraš tieto odpadky?“ Figure 01 hneď začne vkladať papier späť do koša a vysvetľuje svoje dôvody: „Dal som ti to jablko, pretože je to jediný jedlý predmet, ktorý som ti mohol poskytnúť zo stola.“

Spoločnosť v tlačovej správe vysvetlila, že Figure 01 využíva uvažovanie typu „speech-to-speech“ pomocou vopred trénovaného multimodálneho modelu OpenAI VLM na pochopenie obrázkov a textov a pri vytváraní odpovedí sa celkom spolieha na hlasovú konverzáciu.

Používa takisto niečo, čo spoločnosť nazýva „naučená bimanuálna manipulácia na nízkej úrovni“. Systém spája presné kalibrácie obrazu (až na úroveň pixelov) s neurónovou sieťou na riadenie pohybu. Spoločnosť tvrdí, že každé správanie vo videu je založené na učení systému, nie na diaľkovom ovládaní Figure 01 niekým v zákulisí.

Zdroj: techradar.com.