Technológia Hyena je omnoho lepšia ako GPT-4 a spol

V článku publikovanom v marci vedci z oblasti umelej inteligencie zo Stanfordovej univerzity a kanadského inštitútu MILA pre umelú inteligenciu navrhli technológiu, ktorá by mohla byť oveľa efektívnejšia ako GPT-4 pri preberaní obrovského množstva údajov a ich transformácii na odpoveď. Táto technológia, známa pod názvom Hyena, dokáže dosiahnuť rovnakú presnosť v porovnávacích testoch, pričom využíva len zlomok výpočtového výkonu. V niektorých prípadoch je kód Hyena schopný spracovať také množstvo textu, že technológia typu GPT jednoducho vyčerpá kapacitu pamäte a zlyhá. Základom pre každý z posledných veľkých jazykových modelov sa stal AI program Googlu Transformer. Ten však má veľkú chybu. Používa niečo, čo sa nazýva „pozornosť“ – počítačový program berie informácie v jednej skupine symbolov, napríklad slová, a presúva tieto informácie do novej skupiny symbolov, napríklad do odpovede, ktorú vidíte ako výstup ChatGPT. Táto operácia pozornosti, čo je základný nástroj všetkých veľkých j ... Zobrazit Galériu