AI zabila prompt inžinierstvo skôr, ako dostalo šancu

Prompt inžinierstvo ako disciplína v poslednom roku naberalo na obrátkach, nový výskum z laboratórií VMware však ukazuje, že modely AI sa oveľa lepšie hodia na generovanie vlastných zadaní. Na základe testov, ktoré porovnávali zadania „pozitívneho myslenia“ vytvorené ľuďmi so „systémovou optimalizáciou zadaní“ alebo zadaniami generovanými AI, výskumníci dospeli k záveru, že automatizované procesy priniesli lepšie výsledky.

Vedúci výskumníci Rick Battle a Teja Gollapudi zistili, že použitie „automatizovaného optimalizátora zadaní“ bolo najúčinnejšou metódou „zvyšovania výkonnosti“ bez ohľadu na veľkosť modelu. V štúdii sa tiež zistilo, že zadania optimalizované umelou inteligenciou, ktoré dosiahli najlepšie výsledky v ich testovacích metrikách, vykazovali aj neočakávaný „stupeň osobitosti“.

„Ako sa predpokladalo, zadania, ktoré prešli automatickou optimalizáciou, sa takmer vo všetkých prípadoch úplne vyrovnali alebo prekonali účinnosť našich ručne generovaných zadaní na "pozitívne myslenie",“ uvádza sa vo výskume. Výskumníci tiež tvrdia, že štúdia jasne ukazuje, že ľudské inžinierstvo promptov je „časovo neefektívne“. Podľa výskumníkov to platí najmä pri systematickom hodnotení všetkých úprav z vedeckého hľadiska.

Prípady, v ktorých ľudský inžiniersky prompt prekonal automatické zadania, boli obmedzené na niekoľko testov na modeloch Mistral-7B a Llama2-70B. Prompt inžinierstvo je mimoriadne dôležitý proces vo vývoji AI, pretože jemné ladenie vstupov pomáha modelom AI fungovať v plnom rozsahu a využívať potenciálne nevyužité aspekty ich údajov. Ako však naznačuje tento nový výskum, ide o úlohu, ktorá je čoraz viac ovplyvnená automatizáciou.

Podľa niektorých odborníkov v procese ľudského prompt inžinierstva sa stráca čas „vymýšľaním“ účinnej kombinácie slov a účinnejšie by bolo „vyvinúť bodovaciu metriku“ pre model, aby sa mohol trénovať sám. Ak sa AI dokáže trénovať na vytváranie vlastných zadaní, rola ľudského prompt inžiniera sa môže stať zbytočnou. To však neznamená, že v oblasti optimalizácie AI neexistujú ďalšie oblasti, v ktorých by sa ľudia mohli zapojiť. 

Zdroj: itpro.com.