Ovládať superinteligentnú umelú inteligenciu bude asi nemožné

O tom, či umelá inteligencia prekoná ľudstvo, sa vedú diskusie už celé desaťročia. Začiatkom tohto roka vedci vyniesli svoj verdikt o tom, či budeme schopní ovládať počítačovú superinteligenciu. Ich odpoveď znie: Takmer určite nie. Háčik je v tom, že ovládanie superinteligencie, ktorá je ďaleko za hranicou ľudského chápania, by si vyžadovalo simuláciu tejto superinteligencie, ktorú by sme mohli analyzovať. No ak ju nie sme schopní pochopiť, nemožno takúto simuláciu vytvoriť. Autori článku naznačujú, že pravidlá ako „nespôsobovať ľuďom škodu“, nemožno stanoviť, ak nerozumieme scenárom, ktoré umelá inteligencia vymyslí. Len čo počítačový systém pracuje na úrovni presahujúcej schopnosti programátorov, nemôžeme už stanoviť obmedzenia. Superinteligencia predstavuje zásadne odlišný problém ako umelá inteligencia, ktorá sa študuje pod hlavičkou „robotickej etiky“. Superinteligencia je mnohostranná, a teda potenciálne schopná mobilizovať rozmanité zdroje na dosiahnutie cieľov, ktoré človek ...