Rozvoj umělé inteligence (AI), zejména v oblasti obecné (AGI) a superinteligence (ASI), je jednou z nejvýznamnějších technologických výzev současnosti. Její potenciál přináší příslib jak transformativních přínosů, tak hlubokých rizik. V současné diskusi se střetávají dva základní pohledy: na jedné straně je obava z absence regulací, která by mohla vést k vývoji nekontrolované a nebezpečné AI, na straně druhé je strach z toho, že regulační opatření a předběžná opatrnost vyvolané obavami povedou k sebenaplňujícímu se proroctví a k zesílení rizik, jimž se snažíme zabránit. Tento článek se věnuje oběma přístupům, jejich důsledkům a nabízí výzvu k racionálnímu přístupu a globální spolupráci.

Rizika absence regulací

Bez jasně definovaných pravidel pro vývoj AI a AGI by mohla být technologie vyvíjena způsobem, který nebere v úvahu lidské potřeby, hodnoty, bezpečnostní protokoly a dlouhodobé důsledky. Vývojáři a organizace mohou z mnoha důvodů ignorovat bezpečnostní rizika a soustředit se pouze na technologické inovace. Tento přístup vytváří několik zásadních nebezpečí:

1. Nesladění cílů: Nesladěná AGI, tedy umělá inteligence, která není navržena s ohledem na lidské cíle, může jednat způsoby, které jsou v rozporu s našimi zájmy. Nick Bostrom v knize Superinteligence varuje, že nesladěná AGI může usilovat o maximalizaci určitých cílů, aniž by zohledňovala lidské potřeby, což by mohlo vést ke katastrofálním důsledkům, pokud by její cíle nebyly správně definovány.

2. Ztráta kontroly: Jakmile AGI dosáhne určité úrovně autonomie, může být extrémně obtížné nebo nemožné ji kontrolovat. Stephen Hawking v roce 2014 prohlásil, že „úplný vývoj umělé inteligence by mohl znamenat konec lidské rasy,“ pokud by se nepodařilo udržet kontrolu nad jejím vývojem.

3. Závody ve zbrojení: Pokud neexistují mezinárodní regulační rámce, mohou vzniknout „závody ve zbrojení“ v oblasti AI, kde budou státy či korporace usilovat o získání převahy nad ostatními. To může vést k překotnému vývoji, kde bude bezpečnostní výzkum upozaděn. Elon Musk varoval, že „AI představuje největší existenční riziko lidstva“ a že závody ve vývoji nekontrolované AGI by mohly vést k nechtěným důsledkům pro celou civilizaci.

Absence regulací tedy přináší riziko vzniku AI, která bude jednat mimo rámec lidské kontroly, čímž se naplní obavy z existenční hrozby. Současně umožňuje eskalaci globálního soupeření, což může urychlit technologický pokrok bez dostatečné reflexe jeho dlouhodobých dopadů.

Riziko sebenaplňujícího se proroctví

Na druhé straně je zde riziko, že strach z AGI a ASI, podpořený voláním po regulacích a předběžné opatrnosti, povede k sebenaplňujícímu se proroctví. Tento koncept vychází z toho, že naše reakce na obavy mohou samy způsobit naplnění těchto obav. Regulace a striktní opatření mohou mít řadu nečekaných důsledků:

1. Odrazení od inovací a výzkumu bezpečnosti: Přílišné regulace mohou zpomalit vývoj v oblastech, které jsou nezbytné pro zajištění bezpečnosti AI. Pokud se inovace zastaví, může se snížit i výzkum v oblasti bezpečnostních protokolů. Sam Altman, CEO OpenAI, argumentuje, že „otevřený výzkum a mezinárodní spolupráce jsou klíčové pro bezpečný vývoj AI,“ a že restrikce mohou oslabit naši schopnost reagovat na budoucí rizika.

2. Undergroundový vývoj: Regulační rámce mohou vést k tomu, že vývoj AI bude pokračovat mimo oficiální kontrolu, v „undergroundu“. Tímto způsobem se vývoj dostane mimo transparentní vědecký dohled, což zvýší pravděpodobnost vzniku nebezpečných nebo nesladěných technologií. V roce 2023 vyvolala iniciativa PauseAI diskuzi o tom, zda by pauza ve vývoji mohla vést k bezpečnějšímu vývoji AI.

3. Zesílení globálních závodů: Strach z toho, že jeden stát nebo organizace získá převahu v AI, může vést k urychlení vývoje v rámci konkurenčních mocností. Pokud se některé státy rozhodnou zpomalit vývoj na základě obav, jiné mohou tento čas využít k urychlení vlastního výzkumu, což může zvyšovat pravděpodobnost nekontrolovaného vývoje.

4. Ztráta důvěry v mezinárodní spolupráci: Pokud bude strach dominovat diskurzu, může se snížit ochota ke globální spolupráci a výměně informací, což může vést k fragmentaci výzkumu. To by mohlo eskalovat rizikové scénáře a vést k tomu, že se státy či organizace budou cítit nuceny jednat izolovaně a bez širší koordinace.

Rovnováha mezi regulací a inovací

Základním problémem je nalezení rovnováhy mezi předběžnou opatrností a inovací. Riziko sebenaplňujícího se proroctví vzniká tehdy, když strach z technologie začne určovat její vývoj. Na druhé straně, pokud seberegulace vývojářů zcela chybí, může být výsledkem nebezpečná a neřízená technologie. Vědecký přístup k problému vyžaduje transparentní a globálně koordinovaný přístup, kde jsou rizika zvažována na základě empirických důkazů, otevřené diskuse a vzájemně dobrovolné spolupráce nikoli strachu.

Stát se postará?

Dalším rizikovým přístupem může být ponechání zodpovědnosti v rukou státních institucí. Důvodem jsou neudržitelnost dobré správy a efektivního centrálního plánování vývoje AI s ohledem na lidské potřeby a etika mocenského přístupu jako takového. Na základě zkušeností s řízením vládních opatření během pandemie COVID-19 si dokážu představit hypotetické scénáře, kdy se politici, pod vlivem strachu ze ztráty postavení a moci i existenciálního rizika a pod tlakem vystrašené veřejnosti, rozhodnou pro radikální opatření. Mohli by přijmout politiky zahrnující intenzivní cenzuru, manipulaci informací nebo dokonce omezení přístupu k internetu, aby zabránili nejen inovacím, ale i šíření informací, které by mohly vést k sebenaplňujícímu se proroctví. Ve snaze „pomáhat a chránit“ by mohli neúmyslně vytvořit dystopickou společnost, připomínající Orwellův román 1984, kde strach z technologií vede k rozsáhlé kontrole a omezení svobody. Tento přístup by paradoxně realizoval právě ty možnosti, před nimiž se lidé snaží chránit také prostřednictvím technologií, které měli původně sloužit k osvobození od asymetrie moci – společnost ovládanou represí a strachem místo svobody, otevřeného dialogu a inovací.

Dynamický seberegulační rámec

Jedním z možných řešení je dynamický seberegulační rámec, který reaguje na technologický pokrok a současně podporuje inovace v oblasti bezpečnostních mechanismů. Tento rámec by byl vytvářen na bázi vzájemně dobrovolné globální spolupráce, kdy se lidé dohodnou na sdílených standardech a kontrolních mechanismech. Klíčová je otevřenost a sdílení znalostí, nikoliv jejich utajování.

Výzva ke globální spolupráci a dialogu

Nepodporuji vývoj AI bez předběžné opatrnosti, bez soucitu, na úkor ostatních, ani regulační kroky motivované mocí a strachem. Naopak volám po přístupu, který se opírá o poznatky, globální dialog a vzájemně dobrovolnou spolupráci.

Třeba je čas, abychom sdíleli obavy, ale současně začali AI vnímat jako příležitost k autonomii a většímu vlivu nad našimi životy. Abychom však tuto moc skutečně měli, možná bude třeba poprvé v historii lidstva skutečně spolupracovat a sdílet poznatky, nikoliv se izolovat a soupeřit.

Společným cílem může být možnost naplňování lidských biologických, psychických a emocionálních potřeb na základě zájmů jednotlivých lidí jejich vlastním tempem a prosperita.

Někteří lidé touží po rychlém dosažení AGI či ASI za každou cenu, i s vědomím rizika vyhynutí lidstva. Chtějí být u toho, být průkopníky nových technologií, nebo mají jiné motivace, které je k tomu vedou. Na druhé straně mnozí z nás, včetně mě, si přejí žít uspokojivý život bez neodvratitelného rizika, které může přijít s nekontrolovaným vývojem technologií. Ačkoliv respektuji potřebu každého jedince mít vlastní volbu, je těžké aplikovat zásadu “žít a nechat žít” v případě technologií, jejichž důsledky nelze omezit jen na ty, kteří se rozhodnou riskovat. Vývoj AGI či ASI je globální otázkou, jejíž dopady mohou zasáhnout každého, bez ohledu na jeho souhlas. Proto je pro mě zásadní najít rovnováhu, která umožní pokrok bez ohrožení života těch, kteří o tento risk nestojí.

Pokud nedokážeme tento dialog vést, riskujeme, že buď ze strachu podlehneme sebenaplňujícímu se proroctví nebo se staneme obětí nekontrolovaného vývoje technologie, kterou jsme (spolu)vytvořili.