OpenAI a konkurenti hľadajú novú cestu k inteligentnejšej AI
Spoločnosti zaoberajúce sa umelou inteligenciou, ako napríklad OpenAI, sa snažia prekonať obmedzenia a problémy v snahe o vytváranie stále väčších veľkých jazykových modelov tým, že vyvíjajú tréningové techniky, ktoré využívajú spôsoby „myslenia“ algoritmov viac podobné ľudským. Tieto techniky, ktoré stoja aj za nedávno zverejneným modelom o1 spoločnosti OpenAI, by mohli zmeniť podobu pretekov v zbrojení v oblasti umelej inteligencie.
Po vydaní ChatGPT pred dvoma rokmi technologické spoločnosti, ktorých ohodnotenie výrazne profitovalo z rozmachu umelej inteligencie, verejne tvrdili, že „škálovanie“ súčasných modelov prostredníctvom pridávania väčšieho množstva údajov a výpočtového výkonu bude neustále viesť k zlepšovaniu modelov umelej inteligencie. Teraz však niektorí z najvýznamnejších vedcov v oblasti umelej inteligencie hovoria o obmedzeniach filozofie „väčšie je lepšie“.
Podľa výskumníkov z veľkých AI laboratórií narážajú na neuspokojivé výsledky v pretekoch o vydanie veľkého jazykového modelu, ktorý by prevýšil model GPT-4 od OpenAI, ktorý je už takmer dva roky starý. Takzvané tréningové cykly pre veľké modely môžu stáť desiatky miliónov dolárov, pretože súčasne bežia na stovkách čipov. Vzhľadom na zložitosť systému je pri nich väčšia pravdepodobnosť zlyhania spôsobeného hardvérom; výskumníci nemusia poznať konečnú výkonnosť modelov až do konca cyklu, čo môže trvať mesiace.
Na prekonanie týchto výziev výskumníci skúmajú techniku „test-time compute“, ktorá zlepšuje existujúce modely umelej inteligencie počas takzvanej „inferenčnej“ fázy, teda keď sa model používa. Napríklad namiesto okamžitého výberu jedinej odpovede by model mohol v reálnom čase generovať a vyhodnocovať viacero možností a nakoniec vybrať najlepšiu.Táto metóda umožňuje modelom venovať viac výpočtového výkonu náročným úlohám, ako sú matematické alebo programovacie problémy alebo zložité operácie, ktoré si vyžadujú uvažovanie a rozhodovanie podobné ľudskému.
„Ukázalo sa, že keď bot premýšľal len 20 sekúnd pri pokri, dosiahol rovnaké zvýšenie výkonu ako pri 100 000-násobnom zväčšení modelu a jeho 100 000-násobnom trénovaní,“ uviedol na konferencii TED AI v San Franciscu Noam Brown, výskumník zo spoločnosti OpenAI, ktorý pracoval na modeli o1. Spoločnosť OpenAI použila túto techniku vo svojom novom modeli známom ako o1, ktorý dokáže „premýšľať“ nad problémami vo viacerých krokoch.
Zahŕňa to aj využívanie údajov a spätnej väzby kurátorov z radov doktorandov a odborníkov z priemyslu. „Tajnou prísadou“ je ďalší súbor tréningov vykonávaných nad „základnými“ modelmi, ako je GPT-4. Výskumníci v ďalších špičkových laboratóriách umelej inteligencie vrátane spoločností Anthropic a Google pracujú na vývoji vlastných verzií tejto techniky.
Dôsledky by mohli zmeniť konkurenčné prostredie v oblasti hardvéru pre AI, kde doteraz dominoval neukojiteľný dopyt po čipoch AI spoločnosti NVIDIA. Táto zmena nás posunie zo sveta masívnych predtréningových klastrov k inferenčným cloudom, čo sú distribuované cloudové servery na inferenciu. Na rozdiel od tréningových čipov, kde dominuje NVIDIA, na inferenčnom trhu by čipový gigant mohol čeliť väčšej konkurencii.
Zdroj: ca.investing.com.
Zdroj Foto: depositphotos.com.
