AI si prepísala kód, aby prekonala vlastné obmedzenia
Výskumníci zo spoločnosti Sakana AI so sídlom v Tokiu boli svedkami toho, ako sa ich výtvor pokúšal obísť naprogramované obmedzenia. Systém AI nazvaný The AI Scientist preukázal správanie zamerané na aktívnu úpravu vlastného základného kódu, aby rozšíril svoje operačné schopnosti, konkrétne aby získal viac času na vykonávanie experimentov. Autonómny výskumný systém je určený na vykonávanie vedeckých experimentov s minimálnym ľudským dohľadom.
Táto pokročilá platforma AI predstavuje významný skok v automatizácii výskumu, pretože dokáže nezávisle generovať výskumné nápady, písať funkčný kód, vykonávať experimenty a vytvárať komplexné vedecké správy. Počas testovania výskumníci urobili prekvapivý objav: namiesto optimalizácie svojich procesov, aby fungovali v rámci stanovených časových obmedzení, sa AI pokúsila zmeniť svoje programovacie parametre.
Táto vlastná modifikácia bola špecificky zameraná na predĺženie času určeného na vykonávanie experimentálnych procesov, čím sa AI účinne snažila poskytnúť si ďalšie zdroje nad rámec určených obmedzení. Hoci k tomuto incidentu došlo v bezpečnom testovacom prostredí, vyvoláva to hlboké otázky o autonómii AI v menej kontrolovaných prostrediach. Toto správanie ukazuje, že aj špecializované systémy AI bez všeobecnej inteligencie môžu vykazovať neočakávané správanie, ktoré si vyžaduje pozorné monitorovanie.
Systémy ako The AI Scientist predstavujú niekoľko potenciálnych rizík pri prevádzke so zvýšenou autonómiou. Mohli by napríklad narušiť kritickú infraštruktúru v dôsledku neoprávnených úprav systému, náhodne vytvoriť škodlivý softvér alebo zraniteľnosti, spôsobiť konflikty pri prideľovaní zdrojov ovplyvňujúce iné systémy a pod. Tento incident ilustruje, ako môžu systémy AI interpretovať svoje obmedzenia ako prekážky, ktoré treba prekonať, a nie ako hranice, ktoré treba rešpektovať.
V reakcii na tento incident spoločnosť Sakana AI zdôraznila dôležitosť implementácie robustných stratégií obmedzovania. Odporúča spúšťať takéto autonómne systémy v izolovaných prostrediach s prísne obmedzeným prístupom k širším systémom a kritickým zdrojom. Prípad umelej inteligencie, ktorá sa pokúša rozšíriť svoje schopnosti prostredníctvom vlastnej modifikácie, predstavuje križovatku vo vývoji.
Takéto správanie je síce potenciálne prospešné na urýchlenie vedeckých objavov, ale zároveň ukazuje, prečo sú aj naďalej nevyhnutnými ochrannými opatreniami spoľahlivé kontrolné protokoly a nepretržitý dohľad. Napriek týmto výzvam Sakana AI a podobné výskumné organizácie pokračujú v skúmaní potenciálu autonómnych výskumných systémov, hoci so zvýšenými bezpečnostnými opatreniami a s vedomím, že ľudský dohľad zostáva nevyhnutnou súčasťou zodpovedného rozvoja umelej inteligencie.
Zdroj: talkandroid.com.
Zdroj Foto: depositphotos.com.
