Szőttesföldi tanyák

Az mesterségesintelligencia-ipar rémisztő nyílt titka jelenleg az, hogy meglehet, a végén lényegében egy új fajt hozunk létre, amely átveszi a hatalmat a világ felett – és 70% az esélye annak, hogy ez szörnyen sül el, akár az emberiség kihalásához vezetve.

Ez az egyik lehetőség, de sok más is létezik. – Elég ijesztő, amiket mondasz. – Igen, engem is lehangol néha. A feleségemnek konkrétan azt mondtam, hogy ne legyen több gyerekünk, mert túl nagy a bizonytalanság, és kétlem, hogy valaha is belépnének a munkaerőpiacra. Mindegyikünknek félnie kellene attól, hogy elveszíti a munkáját. Ezt onnan tudom, hogy 2022-ben az OpenAI-nál dolgoztam, ahol a feladatom a következő néhány év előrejelzése volt. Sajnos a világ nagy része még mindig alva vezet, és nem igazán fogja fel, mi történik az MI-vel. Úgyhogy felmondtam.

– Valahol azt olvastam, hogy 2 millió dollártól estél el, mert nem voltál hajlandó aláírni egy cégkritikát tiltó nyilatkozatot. – Így van, de ennek a részleteibe szívesen bemegyek. A legfontosabb viszont az, amit megtanultam: amikor elmegyek az Anthropic vagy az OpenAI szakembereivel beszélni az előrejelzésekről, ők azt mondják: „Nem fog az olyan sokáig tartani. Rövidítsd le a jóslatokat 2027-re vagy 2028-ra!” Mert ezek a befolyásos cégvezetők – Dario, Sam vagy Elon – egymással versenyeznek a leghatékonyabb MI feletti ellenőrzésért. Szó szerint attól rettegnek, hogy ha a másik ér oda előbb, akkor diktátorrá válhat. Az Anthropic jó úton halad afelé, hogy 2030-ra a teljes gazdaságot lefedje. Viszont ezen emberek közül egyiknek sem szabadna ekkora hatalmat adni a kezébe.

Ez a legfontosabb dolog, ami az életünkben – sőt, valószínűleg az egész történelemben – történik, és kulcsfontosságú, hogy jól alakuljon. Szerintem sokat tehetünk azért, hogy jobb irányba tereljük a dolgokat. Rengeteg előnye lehet az MI-nek, ha jól csináljuk, és ha megoldjuk a felmerülő problémákat, a dolgok mindenki számára fantasztikusan alakulhatnak.

– Nos, ez a 2021-es jelentés itt rendkívül pontos volt. És most publikáltad ezt az újat. – Igen, ez az új szcenáriónk. – Menjünk végig rajtuk lassan, egyesével. – Hihetetlenül boldog lennék, ha az összes jóslatom tévesnek bizonyulna.

(A műsorvezető üzenete a nézőknek) Ez szuper érdekes számomra. A csapatom odaadta ezt a kimutatást, ami megmutatja, hányan iratkoztak fel azok közül, akik nézik a műsort. Sokan mondtátok, hogy a rendszer néha magától leiratkoztat benneteket. Ezért egy szívességet szeretnék kérni tőletek: kérlek, ellenőrizzétek most, hogy megnyomtátok-e a feliratkozás gombot, ha rendszeres nézői vagytok a műsornak, és tetszik, amit csinálunk. Egy meglehetősen jelentős mérföldkőhöz közeledünk a csatorna életében a feliratkozószám tekintetében. Ha van egyetlen egyszerű, ingyenes dolog, amivel segíthettek nekünk és a csapatnak abban, hogy a műsor továbbra is ingyenes maradjon, és hétről hétre, évről évre fejlődjön, az az, ha megnyomjátok – vagy ellenőrzitek – a feliratkozás gombot. Ez az egyetlen dolog, amit valaha kérek tőletek. Áll az alkud? Cserébe én hétről hétre, hónapról hónapra egyre keményebben fogok küzdeni azért, hogy elhozzam nektek azokat a vendégeket és beszélgetéseket, akiket hallani szeretnétek. Ehhez az ígéretemhez a csatorna kezdete óta tartom magam, és nem foglak titeket cserbenhagyni. Kérlek, segítsetek nekünk, nagyon értékeljük! És most folytassuk a műsort!

Miért érinthet mindenkit az MI küldetése?

– Daniel Kokotajlo, mi a legfőbb küldetésed, és miért? – Mit tennél, ha úgy gondolnád, hogy néhány éven belül megérkezik a szuperintelligencia? – Valószínűleg attól függne, hogy mik lennének a következményei. – Beszéljünk róla! Szuperintelligencia alatt olyan MI-t értünk, amely mindenben jobb a legokosabb embernél is, miközben gyorsabb és olcsóbb. Képes olyan robotokat irányítani, amelyek a fizikai világban mindent meg tudnak tenni, amire az ember képes – csak jobban, gyorsabban és olcsóbban. Ha ez tényleg megérkezik néhány éven belül, akkor fel kell készülnünk, és át kell gondolnunk, hogyan érhetjük el, hogy ez jól süljön el ahelyett, hogy katasztrófába torkollna. Szóval ez a válaszom: a tőlem telhető legjobban ezen dolgozom.

– Szóval hiszed, hogy ez néhány éven belül eljön? – Igen. – Honnan vagy ebben ilyen biztos? – Rengeteg időt töltök az ilyen dolgok előrejelzésével. A medián becslésem – amire 50% esélyt látok – jelenleg 2029. Esetleg előrejön 2028-ra. Előfordulhat, hogy lényegesen tovább tart, mondjuk 10 évig vagy ilyesmi, de olyan okokból, amikre szívesen kitérek, úgy tűnik számomra, hogy az évtized végére valószínűleg bekövetkezik. De a közelség érzésénél is fontosabb a tendenciák üteme.

Az Anthropic tavaly ilyenkor körülbelül egymilliárd dolláros éves bevételt termelt, most pedig körülbelül 60 milliárdot. Ez hatvanszoros növekedés egyetlen év alatt, ami még egy egészen kicsi startup esetében is rendkívül lenyűgöző lenne, de egy ekkora cégcsoportnál valószínűleg a történelem leggyorsabb növekedése. Arra számítunk, hogy ez a növekedési ütem lelassul, de még ha jelentősen le is lassul, akkor is jó úton haladnak afelé, hogy 2030 körülre lényegében ők jelentsék a teljes gazdaságot.

Miért kellene az átlagembernek törődnie az MI-vel?

– Miért kellene, hogy ez érdekelje az átlagembert? – A lényeg az, hogy abszolút minden meg fog változni az egész világon, beleértve őket és a családjukat is. Változhat jobbra és változhat rosszabbá is, attól függően, hogyan hajtjuk ezt végre.

Például mindannyian meghalhatunk. Ez a klasszikus „irányításvesztési” szcenárió egyik verziója. Ha megépítjük ezeket a szuperintelligenciákat, és velük automatizáljuk az összes munkát, betesszük őket a hadseregbe, tőlük kérnek tanácsot a politikusok, akkor végül akkora valós hatalmat halmoznak majd fel, hogy többé nem lesz szükségük az emberekre. Okosabbak nálunk, jobb a stratégiai érzékük stb. Ezen a ponton már csak reménykedhetünk abban, hogy erényesek, és hogy megőrizték azokat a célokat és értékeket, amelyeket szántunk nekik.

És a mesterségesintelligencia-ipar rémisztő nyílt titka jelenleg az, hogy ez most még csak egy jámbor remény. Egyáltalán nem lehetünk biztosak benne. Sőt, rengeteg bizonyíték és érv mutat arra, hogy nem jó úton haladunk ennek elérésére. A jelenlegi MI-k például gyakran hazudnak az embereknek, vagy ha megmondod nekik, hogy csináljanak valamit, csinálnak valami teljesen mást, majd úgy tesznek, mintha jól csinálták volna. Szóval eredendően nehéz feladat valami olyat létrehozni, ami szuperintelligens, és közben megvannak benne azok az értékek és erények, amelyeket elvársz tőle. És nem úgy tűnik, hogy jó úton haladnánk a probléma megoldása felé. Ráadásul ez egy olyan típusú problémának tűnik, amiről azt hiheted, hogy megoldottad, miközben valójában nem. Ez az egyik fő oka annak, miért olyan ijesztő ez az egész.

Mindezek miatt meglehet, hogy a végén lényegében egy új fajt hozunk létre, amely átveszi a hatalmat a világ felett helyettünk. És aztán esetleg úgy járunk, mint a múltban más kihalt fajok, amelyeket az ember kiszorított. Ez az egyik lehetőség, de van még sok más is.

Még ha nem is aggódsz emiatt, és azt gondolod, hogy az MI teljes mértékben ellenőrzés alatt tartható, ott a kérdés: ki irányítja az MI-t? Amikor van pár vállalat, amely megépítette ezeket a szuperintelligenciákat, és az összes munkahely automatizálására használja őket, nos, az hatalmas hatalom. Óriási pénz és óriási politikai befolyás. Náluk lesznek a legjobb stratégák, a legjobb tanácsadók, katonai téren gyorsabban fognak gondolkodni – azok az országok, amelyek birtokolják ezeket az MI-ket, teljesen fel fogják söpörni a padlót az összes többi országgal.

Maguk az MI-k egyfajta központi vezérlőrendszert alkotnak. Az Anthropic vezérigazgatója, Dario alkotta meg a „zsenik országa az adatközpontban” kifejezést arra, amit megpróbálnak felépíteni. Szerintem ez egy kicsit félrevezető. Pontosabb lenne úgy leírni, mint „zsenik hadserege az adatközpontban”, mert ez nem úgy néz ki, mintha sokféle, különféle MI élne az adatközpont különböző részein. Mindegyik ugyanannak a nagy modellnek a másolata, a cég tulajdonában vannak, így mind a cég parancsait követik. Az embereknek fel kellene tenniük a kérdést: ki irányítja ezt a hadsereget vagy ezeket a hadseregeket, és mit fognak velük csinálni? Nagyon könnyen kiköthetünk egy olyan helyzetben, ahol az emberek egy egészen apró csoportja lényegében oligarchává vagy diktátorrá válik.

És ironikus módon mindkét kockázaton – az irányítás elvesztésén és a hatalom koncentrációján – már évtizedek óta gondolkodnak az iparágban dolgozók. Még az MI-ipar létezése előtt az erről gondolkodók már beszéltek és írtak ezekről a dolgokról. A DeepMind, az OpenAI és az Anthropic alapítási narratívájának vagy mítoszának része volt az, hogy „ezek a problémák valósak, ezért nekünk kell elsőként odaérnünk, hogy felelősségteljesen tudjuk kezelni őket”. Szerintem ez a két fő ok.

De folytathatnám, van még rengeteg más indok is. Ott van például a geopolitikai konfliktusok kérdése. Ha az MI valóban hihetetlenül hatékonnyá válik, az meg fogja változtatni a nemzetek közötti erőviszonyokat. Ez rengeteg mindent felborít, ami általánosságban is növeli a válságok kockázatát.

És mi lesz a munkákkal? Elveszíted a taxisofőri állásodat – de nem csak a taxisofőr, hanem szinte mindenki. Lehet néhány kivétel, például azok a munkák, amelyeket jogi okokból csak emberek végezhetnek, de nagyrészt mindenkinek félnie kellene attól, hogy elveszíti a munkáját, még akkor is, ha az összes többi problémát sikerül elkerülnünk.

Túlreagálnak az MI-szakértők, vagy vészharangot kongatnak?

– Ez a narratíva elkezdett kibontakozni, és már több olyan interjúm is volt ebben a műsorban, ahol olyan emberekkel beszélgettem, akik nagyon-nagyon megrémültek és szoronganak az MI miatt – pedig olyanokról van szó, akik néha már évtizedek óta ebben az iparágban dolgoznak. Ugyanakkor feltűnt a szembejövő ellennarratíva is, miszerint ez csak „módszeres riogatás” (doomerizmus), és ezek az emberek bármilyen okból csak rá akarnak ijeszteni a társadalomra, miközben nem is értik igazán, miről beszélnek. Hogyan válaszolsz erre az ellennarratívára? Biztosan te is láttad ennek a megjelenését, különösen azok részéről, akiknek – merem állítani – érdekük fűződik hozzá.

– Így van, pontosan. Ez az ellennarratíva meglehetősen új keletű, és azok terjesztik, akiknek érdekük származik belőle – és nem igaz. Ezek az aggodalmak már évtizedek óta jelen vannak, mielőtt az MI-ipar egyáltalán létezett volna. Valójában teljesen ésszerű felvetések. Ha komolyan vesszük a cégek szavait, és elképzeljük, hogy valóban felépítik a szuperintelligenciát, az rengeteg kérdést vet fel: Ki fogja irányítani? Fogja egyáltalán bárki irányítani? Mi lesz a munkahelyekkel? Ezek teljesen kézenfekvő következmények, amiken gondolkodni és aggódni lehet.

– Ki vagy te, és mi a történeted? – A nevem Dan Kokotajlo. Jelenleg az AI Futures Projectet vezetem, ami egy kis nonprofit szervezet, és főként az MI jövőjének előrejelzésére összpontosít. Ezt megelőzően az OpenAI-nál dolgoztam.

– MI-előrejelzéssel foglalkoztál? – Igen. Gondolj arra, ahogy a fedezeti alapoknak dolgozó iparági elemzők készítenek előrejelzéseket – például arról, hogy hány autót fog eladni a Tesla 5 év múlva, vagy mennyi lesz a villamos energia ára 2 év múlva. Ez az előrejelzés. Én is ezt csináltam, csak kifejezetten az MI-re fókuszálva. Azért csináltam, mert hihetetlenül fontos látni, hová tart mindez.

Miért csatlakozott az OpenAI-hoz – és mit látott odabent?

– Miért mentél az OpenAI-hoz, mit csináltál ott, mit tapasztaltál, és ez hogyan változtatta meg a szemléletedet az MI jövőjével, valamint az OpenAI-val mint céggel kapcsolatban? Azok kedvéért, akik nem tudnák: az OpenAI az a cég, amelyik a ChatGPT-t létrehozta.

– 2022-ben mentem az OpenAI-hoz. A munkám nagy része továbbra is előrejelzés volt. Az „AI 2027” egy olyan szcenárió, amiről talán már hallottál – én ezeknek a kisebb, belső használatra szánt változatait készítettem el a cégen belüli terjesztésre, amikben leírtam néhány tippet arról, hogyan nézhet ki a következő pár év. Emellett a veszélyes képességek értékelésén is dolgoztam: megpróbáltuk mérni az MI kibertérbeli képességeit, meggyőzőerejét vagy helyzetfelismerését. Egy rövid ideig tagja voltam egy fejlesztőcsapatnak is, ahol megerősítéses tanulással (reinforcement learning) hoztunk létre ágenseket.

Az MI valóban sokat fejlődik – és erről tudnék többet is mondani: a skálázási törvények (scaling laws), a mély neurális hálók... A nagyobb adathalmazokon betanított, nagyobb modellek hatékonyabbá és kompetensebbé válnak ezekben a feladatokban.

Ugyanakkor egyre inkább kiábrándultam az MI-iparágból. Az OpenAI, az Anthropic és a DeepMind mind rendelkezett azzal az alapítói narratívával, hogy „Igen, ezek a kockázatok valósak, de mi átgondoltuk őket, és megpróbáljuk felelősségteljesen kezelni a dolgot. Ezért fontos, hogy folytassuk, amit csinálunk.” Én pedig egyre inkább úgy láttam, hogy ezek csak racionalizálások a saját tetteik megideologizálására, semmint a tényleges viselkedésüket mélyen irányító elvek. És amikor választani kell, a saját érdekeiket és ösztönzőiket fogják követni ahelyett, hogy azt tennék, ami valóban jó.

– Tehát ott voltál az OpenAI-nál, és elkezdted azt hinni, hogy a kereskedelmi ösztönzőket követik a társadalmi felelősségvállalás helyett, amire eredetileg felesküdtek?

– Némiképp. Bár én nem feltétlenül „kereskedelmi” ösztönzőként írnám le, inkább hatalomkeresési ösztönzőként. Igaz, hogy a cégeknek nagyon fontos a sok pénz keresése, de különösen a cégek legfelső szintjén – a vezetők – megértik, hogy ez többről szól, mint csupán pénzről.

Ismertek azok az e-mailek, amelyek Elon Musk és az OpenAI közötti perben kerültek napvilágra. Egy csomó e-mail nyilvánosságra került abban a perben, amelyeket el lehet olvasni. Néhányukban az OpenAI alapítói még 2017 körül arról beszéltek, hogy az OpenAI megalapításának az volt az oka, hogy aggódtak: Demis (a DeepMind vezetője) a Google-nél diktátorrá válik az általános mesterséges intelligenciával (AGI). Már akkor is nyilvánvaló volt számukra, hogy ez többről szól, mint a pénzről.

Ezek a befolyásos cégvezetők szó szerint attól rettegnek, hogy ha a másik ér oda előbb, ő válhat diktátormódon egyeduralkodóvá. Nem bíznak egymásban. És ezért száguldanak, amilyen gyorsan csak tudnak, hogy úgymond ők legyenek azok, akik először célba érnek.

– Találkoztál Sam Altmannal? – Igen. – És ez formálta a véleményedet az ő motivációiról, vagy arról, miért teszi, amit tesz? Mert rengeteg a találgatás a szándékaival kapcsolatban. A legújabb narratívája szerint mindent „az emberiség javáért” tesz. – Szerintem a legfontosabb dolog, amit megtanultam, az az, hogy nem szabad odafigyelni a narratívákra. Amit az egyik embernek mondanak, az teljesen eltér attól, amit egy másiknak mondanak ugyanabban az időben. Amit pedig a nyilvánosság előtt mondanak, az egy harmadik dolog. Szerintem az embereket a tetteik, és nem a szavaik alapján kell megítélni.

Miért hagyta ott az OpenAI-t?

– És miért nem vagy már az OpenAI-nál? – nagyrészt amiatt az ok miatt, amit említettem: fokozatosan kiábrándultam abból, hogyan fog viselkedni a cég.

Például amikor 2022-ben csatlakoztam, a kollégáim körében – legalábbis azokkal, akikkel beszéltem – volt egy általános közhangulat: „Természetesen nem építenénk meg a szuperintelligenciát a lehető leghamarabb. Amint igazán közel érünk – amint eljutunk olyan MI-kig, amelyek esetleg automatizálni tudják az MI-kutatási folyamatot –, megállunk, és kitaláljuk, hogyan tehetjük biztonságossá. Mert mi vagyunk a jófiúk, és nyilvánvalóan ez a biztonságos lépés ahelyett, hogy teljes gőzzel előre rohannánk. De aggódunk mások miatt, akik esetleg nem állnának meg – a versenytársaink miatt, mint például a Google. Ezért kell az élen járnunk, hogy meglegyen a mozgásterünk a biztonsági intézkedések megtételére.”

Ez volt egyfajta átlagos álláspont a kollégák között, akikkel ott-tartózkodásom elején beszéltem – beleértve a vezetőket, mint Samet is. Aztán mire eljöttem, már úgy voltam vele: „Ember, ezek dehogy fognak megállni!” Parciálisan azért is, mert a téma átpolitizálódott, a cég nagyobb lett és nagyobb górcső alá került, az emberek pedig elkezdték kérdezgetni: „Miért csináljátok ezt egyáltalán, ha ennyire kockázatos?” Így átváltottak egy olyan narratívára, hogy „Igazából nem is olyan kockázatos ez.” Szóval úgy tűnik, nagyjából olyan gyorsan haladnak tovább, ahogy csak tudnak, és remélik, hogy menet közben majd kitalálják a megoldásokat.

– Hogyan ért véget az időszakod az OpenAI-nál? – 2024-ben mondtam fel. Volt egy jó kis búcsúbulim. – Milyen indokokat adtál meg a felmondáskor? – Úgy gondoltam, hogy túl sokat racionalizálunk, és többet kellene gondolkodnunk azon, mi lenne ténylegesen jó a világnak. Munkatársként nagyobb szabadságot akartam a publikálásra. Az OpenAI ahogy nagyobb céggé vált, úgy alakult át egy normális tech vállalattá – saját érdekekkel, PR-osztállyal és hasonlókkal –, így egyre nehezebbé vált publikálni az olyan típusú kutatásokat, amiket én csináltam. Például azokat a forgatókönyveket, amiket említettem, nem engedték publikálni, csak belső használatra maradhattak. Szerintem ez kár volt, mert jelenleg a világ nagy része alva vezet, nem igazán fogja fel, mi történik az MI-vel, és nem látja, mi várható a csőben pár év múlva. A cégek pedig nem igazán érdekeltek abban, hogy erről sokat beszéljenek a nyilvánosságnak. Mondanak ugyan néha homályos dolgokat hype-os stílusban, de például azt a szcenáriót már nem akarták, hogy publikáljam, ami vázolta volna: „Így alakulhatnak a dolgok a valóságban.”

Milyen volt az OpenAI-nál a ChatGPT indulásakor?

– Nagyon kíváncsi vagyok, milyen egy ilyen cégnél lenni, amikor kiadják például a ChatGPT-3-at. Akkor ott voltál, igaz? – Ühüm. – Ez volt az a pillanat, amikor az egész világ felfigyelt, és ráébredt, hogy ez a technológia mennyire erős. És társadalmi szinten elkezdődött a párbeszéd. A cég pedig szupergyorsan elkezdett növekedni – gyorsabban, mint ahogy azt bárki elképzelhette volna. Milyen volt ez odabent? Mit láttál megváltozni ebben az időszakban?

– Emlékszem egy céges megbeszélésre, ahol Ilia – Ilia Sutskever, aki akkoriban a kutatási vezető volt – valami ilyesmit mondott: „Rendben, most már a világ elkezdett odafigyelni. A következő egy évben mindegyikőtök a legnépszerűbb ember lesz minden buliban. Ne szálljon a fejetekbe! A küldetésre fókuszáljatok: meg kell építenünk az AGI-t!” A cég rengeteget nőtt. Amikor beléptem, már akkor sem igazán érződött nonprofit szervezetnek, de mire eljöttem, végképp nem úgy festett. Rengeteg új ember érkezett. Ironikus módon a szuperintelligenciáról és annak következményeiről szóló beszélgetések mennyisége az idő előrehaladtával inkább csökkent e növekedés miatt. Mivel a cég megduplázódott, majd újra megduplázódott, és még egyszer megduplázódott, mindezek az új emberek a tech szektor más területeiről érkeztek, nem igazán gondolkodtak még ezeken a dolgokon, és a magas fizetések vonzották őket.

A 2 millió dolláros titoktartási nyilatkozat körüli vita

– Elveszítettél 2 millió dollárt, mert nem voltál hajlandó aláírni egy cégkritikát tiltó nyilatkozatot, ami azt jelentette volna, hogy nem bírálhatod a céget. – Nos... a végén megtarthattam a pénzt. – Ó, megtarthattad? – Úgy történt, hogy miután eljöttem, elbúcsúztam stb., megkaptam a kilépési papírokat, és volt benne ez a záradék, ami alapvetően azt mondta: bele kell egyezned, hogy soha többé nem kritizálod a céget. És egy másik záradék is, miszerint erről senkinek sem beszélhetsz. Gondoltam, ez elég merész egy olyan nonprofit szervezettől, amelynek állítólag az egész emberiség javát kellene szolgálnia. Így nem írtam alá.

Ha pedig nem írod alá, nem tarthatod meg a részvényeidet. A fizetésed egy része készpénz, a másik része pedig alapvetően részvény. De volt ez a pont a szerződésben, hogy visszavonhatják a részvényeidet, ha nem írod alá ezt a papírt. A feleségemmel nagyon felindultak voltunk emiatt. Egy-két hónapig beszélgettünk róla, ügyvédekkel konzultáltunk, majd végül úgy döntöttünk, hogy megtagadjuk az aláírást – ami azt jelentette, hogy elveszítünk 2 millió dollárt.

– Ami akkoriban a vagyonotok mintegy 80%-a volt. – Így van. Szerencsére nem úgy alakult, ahogy vártuk. Lényegében felrobbant az internet. Amikor az emberek meghallották, hogy ezt megtettük és nemet mondtunk, hatalmas skandalum lett belőle. A cég alkalmazottai elkezdtek kérdéseket feltenni a Slacken és a vezetésnél: „Várj, tessék? Miért vennétek el a részvényeinket? Mi ez az egész?” Mert sokan korábban nem igazán figyeltek fel erre. Suttogtak róla, de nem olyan dolog volt, amit a legtöbb alkalmazott tudott volna.

Így visszakozniuk kellett, és azt mondták: „Nem számít, nem számít, megváltoztatjuk a papírokat, megtarthatjátok a részvényeket, minden rendben.” Sam Altman pedig előállt, és azt mondta: szégyelli, hogy nem tudott erről...

– Nem hiszel neki? – Nem, szerintem valószínűleg tudott róla. Ha pedig ő maga nem is, a hozzá közel álló emberek – például a vezető jogásza – biztosan.

– Miért döntöttél úgy, hogy elutasítod a 2 millió dollárt? A legtöbb ember elfogadta volna. – Szerintem ez igaz, a legtöbb ember elfogadta volna, és a legtöbben el is fogadták. A pénz jó dolog, de nem ez az egyetlen dolog a világon. Néha jó dolog elvi alapon kiállni valami mellett.

Gyorsabban jön a teljes MI-automatizálás, mint gondolnánk?

Folyamatosan emlegetem a szuperintelligenciát. Talán többet kellene mondanom azokról az eseményekről és lépésekről, amiket a cégek terveznek.

Jelenleg a kódolás automatizálására összpontosítanak. Fogják az MI-jeiket, nagyobbá teszik őket, hosszabb ideig tanítják őket, és a képzést kifejezetten arra hegyezik ki, hogy jók legyenek a kódok önálló megírásában és szerkesztésében. Mert ez segíteni fog a cégeknek a gyorsabb haladásban. Ha automatizálni tudják a kódolást, akkor a saját munkájukat jobban és gyorsabban tudják elvégezni, felgyorsítva a fejlődést.

A következő lépés – amit már el is kezdtek – a kutatási folyamat többi részének vizsgálata: ötletelés, kísérletek elemzése, az eredmények kommunikációja és a kutatás minden egyéb része. Megpróbálják kitalálni, hogyan képezhetnének ki MI-ket arra, hogy ezekben is jók legyenek, így az MI-k az egészet önállóan, autonóm módon végezhetnék.

– Amikor azt mondod, hogy „az egészet elvégzik”, mire gondolsz pontosan? – Az Anthropic és az OpenAI különösen arra törekszik, hogy automatizálja saját magát. Szeretnék elérni, hogy ne igazán legyen szükségük többé emberi alkalmazottakra. Csak egy óriási MI-hadseregük lenne, amely éjt nappallá téve végzi ezt az autonóm kutatást, hogy még jobb MI-ket hozzon létre a治 betanításához, élre állítsa őket, hogy azok még jobb MI-ket készíthessenek, és így tovább. 

– És persze mindez nem csak házon belül történik, hanem a külvilággal való interakció során is, igaz? Kimenni a világba, emberekkel beszélni, adatokat gyűjteni, betanítási környezeteket kiépíteni, üzleteket kötni és így tovább. Mindezt automatizálni próbálják. Ennek az az oka, hogy olyan pozícióba akarnak kerülni, ahol az MI-jeik mindenben felülmúlják az embert – ez a szuperintelligencia –, és ezt még a versenytársaik előtt akarják elérni.

Mondanom sem kell, hogy ez elképesztően veszélyes. És amellett, hogy veszélyes, ez egy hatalomátvételi kísérlet is, nem igaz? Mert ha ez sikerül nekik, akkor egy emberfeletti MI-kből álló hadsereg tetején fognak ülni, ami hatalmas befolyást ad nekik a gazdaság minden más szereplőjével szemben. Ha pedig meg tudnak egyezni az elnökkel, és beépítik a hadseregbe vagy bárhova, az az Egyesült Államoknak óriási „kemény hatalmat” (hard power) adna az összes többi országgal szemben.

Nyilván senki sem tudja pontosan, mikor történik meg mindez, de az elmúlt évben történt valami nagyon nyugtalanító számomra. Amikor publikáltuk az AI 2027-et, az emberek általában azon a véleményen voltak, hogy az idővonalaim túl rövidek, és valószínűleg tovább tart majd 2027-nél, mire eljutunk az említett eseményekig.

– Mint a rekurzív önfejlesztés, az MI automatizálja a teljes kutatási folyamatot, szuperintelligencia... Ezek a mérföldkövek 2027-ben történnek meg az AI 2027-ben, ami az általad publikált kutatási anyag.

– Így van. Ez egy forgatókönyv-előrejelzés, ami hónapról hónapra vázol fel egy lehetséges jövőbeli pályát. Amikor elkezdtük írni, ez volt a legpontosabb becslésem arra, mi fog történni a valóságban. Nyilván sok a bizonytalanság, de úgy gondoltam, értékes konkrét becslést tenni, csak hogy lássuk, hogyan nézhet ki.

Amikor ezt írtuk, sok barátom az MI-iparban és a nonprofit szférában azt mondta: „Igen, ezek meg fognak történni, de valószínűleg pár évvel tovább tart majd, mint gondolod.”

Most viszont már inkább 50-50%. Különösen, amikor az Anthropic vagy az OpenAI embereivel beszélek, sokszor azt mondják: „Igen, 2027 – alapvetően ez fog történni, pontosan úgy, ahogy megírtad.”

– Miért változtattad meg korábban az idővonalaidat?

– A háttérhez tartozik, hogy az AI 2027 megírása után egy kicsit konzervatívabbra módosítottam az idővonalaimat. A publikáláskor az 50%-os valószínűségű pontom 2028-ra esett, nem 2027-re. Utána úgy tűnt, a fejlődés kicsit lelassult, ezért 2030-ra módosítottam – ami még mindig jelentheti azt, hogy korábban vagy később történik meg. De most, amikor a cégeknél dolgozókkal beszélek, azt mondják: „Nem fog az olyan sokáig tartani!” Azt mondják, le kell rövidítenem őket, vissza 2027-re vagy 2028-ra. Ez elég nyugtalanító.

Ismétlem, nem tudjuk, mennyi ideig tart, de ez az MI-cégek kinyilvánított terve: megtenni ezt az elképesztően veszélyes dolgot, és úgy vélik, már csak néhány évre vannak tőle.

– Megírtad ezt a jelentést is: „Hogyan néz ki 2026?” Ezt még 2021-ben írtad, és figyelemreméltóan pontos volt, nevet szereztél vele a szakmában. Melyik volt az, amit JD Vance alelnök is elolvasott?

– Azt hiszem, ez volt az, igen.

– Aztán publikáltad az AI 2027-et, amit 2025 áprilisában adtatok ki. Mit jósoltatok ebben? Melyek a legfőbb pontok azok számára, akik még nem olvasták?

– A magas szintű verzió: először automatizálják a kódolást, majd a kutatási folyamat többi részét. Ekkor a fejlődés üteme drámaian felgyorsul, és elérik a szuperintelligenciát. Együttműködnek a kormánnyal – konkrétan az elnökkel és a végrehajtó hatalommal –, amely természetesen ellenőrizni akarja ezt a technológiát, használni akarja Kína legyőzésére, és be akarja építeni a hadseregbe.

Ezen a ponton az MI lényegében már az összes munkát maga végzi. Szuperintelligens, így nagyszerű ötletei vannak arra, hogyan integrálja magát mindenbe, és milyen új technológiákat találjon fel. A versenykényszer és a profitvágy miatt mindenhol bevetik: robotgyárakat épít, amik még több robotot építenek, hogy még több robotgyárat építsenek. Teljesen átalakítja a világot. Aztán egy ponton az MI-knek már elég hatalmuk van ahhoz, hogy ne kelljen többé úgy tenniük, mintha igazodnának hozzánk. Ekkor leállnak az utasítások követésével. Ez az AI 2027 „verseny-végkifejlete”.

Írtunk egy másik elágazást is, a „lassulós végkifejletet”, ami a hatalomkoncentráció problémáit hivatott illusztrálni. Mi van, ha hipotetikusan az igazodási problémákat elég gyorsan sikerül rendezni? Mi van, ha kiderül, hogy két hónapos lassítással rájövünk, hogyan érjük el, hogy az MI-k stabilan azt tegyék, amit akarunk, és azokat az értékeket kövessék, amiket szeretnénk?

Ez az egyik lehetséges ág. Ebben az ágban a folyamat nagyon hasonló: átveszik a munkákat, legyőzik Kínát stb. De ahelyett, hogy az MI-k a végén mindenkit megölnének, létrehoznak egy csodálatos utópiát. Ám ez a csodálatos utópia pontosan olyan lesz, amilyennek azok az emberek akarják, akik az MI-ket irányítják – ami egy nagyon szűk csoportot jelent: az elnököt, néhány vezérigazgatót stb.

(Iratkozz fel a csatornára üzenet)

– Van rá bármi esély szerinted, hogy sosem jutunk el az AGI-hoz? És miben különbözik az AGI a szuperintelligenciától?

– A különbség az, hogy az AGI egy pontatlanabb és gyengébb kifejezés. A szuperintelligencia sokkal pontosabban meghatározott: mindenben jobb a legügyesebb embernél, gyorsabb és olcsóbb. Az AGI az Artificial General Intelligence (Általános Mesterséges Intelligencia) rövidítése, ami olyan MI-t jelent, amely általánosságban képes feladatokat ellátni, nem csak egyetlen specifikus területen.

Érvelhetünk amellett, hogy az AGI-t már elértük. Ha a Claude Code-ot vagy hasonló rendszereket használod, azok rengeteg dologra képesek – szinte olyanok, mint egy kis alkalmazott, akit elküldhetsz feladatokat elvégezni. Nagyon általánosak. De nem maximálisan általánosak, nem tudnak mindent megcsinálni. Ezzel szemben a szuperintelligencia definíció szerint mindent meg tud tenni, amit egy ember, csak jobban.

– És hogyan fedez ez át a robotikával? Mert most hatalmas robotikai bummot látunk. Még mindig vannak olyan fizikai dolgok a való világban, amiket a hús-vér emberek meg tudnak csinálni, mert az MI-k még bent rekedtek a számítógépben.

– Erről úgy szoktak beszélni, hogy a kognitív feladatok terén már elértük a szuperintelligenciát, és utána beszélhetünk a teljes szuperintelligenciáról, ami a fizikai dolgokat is meg tudja csinálni.

– El fogunk jutni oda mindkettővel?

– Szerintem igen. Bár ebben sem lehetünk teljesen biztosak. Kérdezted, lehetséges-e, hogy sosem jutunk el oda? Igen, lehetséges, de nem tartom valószínűnek. Az emberi agyban nincs semmi mágikus: csak egy csomó neuron. Teljesen lehetséges egy digitális rendszer számára, hogy hasonló funkciókat ellásson – pontosan úgy, ahogy egy repülőgép is tud repülni, pont mint egy madár. Nem ugyanúgy repül, mint a madár, de repül. Szóval igen, lehetségesnek tűnik.

– Megírtad ezeket a jelentéseket, dolgozol a következőn, dolgoztál az OpenAI-nál, majd felmondtál, mert aggódtál a folyamatok és az iparág jövője miatt. Többet tudsz, mint én: optimista vagy a jövőt illetően, vagy pesszimista? Rossz helyre tartunk, ha a dolgok nem változnak meg?

– Azt hiszem, rossz helyre tartunk, ha a dolgok nem változnak meg. Nem vagyok ebben 100%-ig biztos, mondjuk 70%-ot mondanék – természetesen rendkívül nehéz jósolni –, de igen, úgy tűnik, a jelenlegi alapértelmezett pálya egy nagyon-nagyon félelmetes hely felé vezet.

– Hogyan küzdesz meg ezzel személyesen és érzelmileg?

– Nehezen. Rendszeresen lehangol, de már annyi éve foglalkozom ezzel, hogy bizonyos szempontból hozzászoktam. Úgy fogalmaznék: hihetetlenül boldog lennék, ha az összes jóslatom tévesnek bizonyulna, és az MI például falba ütközne.

– Azt mondod, rendszeresen lehangol...

– Korábban vidám és optimista emberként ismertek. De 2020-ban az MI-idővonalra vonatkozó becsléseim elkezdtek összeomlani a GPT-3, a skálázási törvényekről szóló tanulmányok és a BioAnchor-jelentés miatt. Néhány esemény 2020-ban meggyőzött arról, hogy ez az egész teljesen reálisan megérkezhet az évtized végére, és az emberiség nyilvánvalóan nincs felkészülve rá. Ez rendkívül félelmetes világ.

– A rekurzív önfejlesztés miatt, ahol az MI-k saját magukat tanítják, kezdjük elveszíteni az uralmat a folyamatok felett.

– Hogy egyértelmű legyen: az MI-k már most is tanítják magukat. Ez inkább a teljes kutatási hurok bezárásáról szól, amikor már mindent ők csinálnak. Jelenleg a betanítási adatok nagy részét MI-k generálják, és a megerősítés (a pozitív és negatív visszacsatolások értékelése) jelentős részét is maga az MI végzi.

– El tudod ezt magyarázni konyhanyelven?

– Fontos, hogy mindenki megértse: a modern MI-rendszerek nem a hagyományos értelemben vett szoftverek. Technikailag szoftverek, de nem kódsorokból állnak. Nem arról van szó, hogy mérnökök leültek és megírták: „ha a felhasználó ezt kérdezi, tedd ezt ennyi lépésben”. Semmi ilyen nincs.

Ehelyett ez egy neurális háló. Gondolj arra, ahogy az agyban a neuronok össze vannak kapcsolva, és jeleket küldenek egymásnak! Az agy idővel megtanulja azokat a mintázatokat, amelyek sikerhez (dopaminlökethez) vezettek, ezek megerősödnek és gyakrabban tüzelnek. A kudarchoz vezető mintázatok (mint a forró tűzhely megérintése) leépülnek. Ennek eredményeképpen az évek során megtanulsz működni a világban, készségeket és világmodelleket sajátítasz el.

A mesterséges neurális hálók ugyanezt csinálják, csak mesterségesen. Kezdetben egy óriási, összegubancolódott tésztakupaccal indulnak, ami véletlenszerűen generált mesterséges kapcsolatokból – úgynevezett paraméterekből – áll. A legnagyobb MI-kben ma már körülbelül 10 billió paraméter van. Kezdetben teljesen használhatatlan: ha adsz neki egy bemenetet, csak zagyvaságot ad ki.

Aztán elkezdik betanítani. Az előtanítással (pre-training) kezdik: rengeteg internetes szöveget táplálnak be. Megmutatják az első szövegrészletet, az MI kiad egy zagyvaságot, majd pozitívan vagy negatívan megerősítik az alapján, mennyire volt pontos a következő szó megjóslásában. Lényegében azt a játékot játssza, hogy „jósold meg a következő szót”.

– Nem így történik ez a csecsemőknél is? Egy idegtudós mondta nekem, hogy a kisgyerekeknek kétszer annyi neurális kapcsolatuk van, mint a felnőtteknek, és a megerősítések során ezek leépülnek...

– Pontosan! Fiatalabb korunkban több útvonalunk van, és a tanulási folyamat során a nem hasznosak leépülnek (pruning), a hasznosak pedig megerősödnek. Az MI-nél ugyanez történik: leépítés és megerősítés egyszerre.

Az előtanítás során megtanítják a szöveg jóslására, ami olyan, mintha megtanítanák olvasni. A véletlenszerű gubanc fokozatosan formát ölt, és hasznos áramkörökké áll össze, amelyek rengeteg tényt és információfeldolgozási készséget tárolnak el.

Ez még csak az első lépés. Utána hasznosabb készségeket tanítanak neki: kódolási feladatok ezreit és millióit dobják elé virtuális környezetben („Itt a kód, futtathatod, módosíthatod, használhatod az internetet, hajrá!”). A sikerek alapján történik a megerősítés – ezért olyan jók most a kódolásban.

– Hogyan néz ki a szuperintelligencia ebben a tekintetben? Csak még több kapcsolatról van szó?

– Különböző MI-modellgenerációk vannak (GPT-3, GPT-4, GPT-5...). Néha a korábbi modellt tanítják tovább, néha pedig teljesen nulláról kezdenek egy új modellt, beleértve az előtanítást is. Az elmúlt években többször kezdtek mindent elölről, és amikor elölről kezdik, az egész mesterséges agyat sokkal nagyobbra építik.

Jelenleg kb. 10 billió paraméternél járunk. 2020-ban ez inkább 175 milliárd volt: hat év alatt két nagyságrendet (százszoros növekedést) léptünk előre. Ez a folyamat folytatódik. Emellett magukat az algoritmusokat is fejlesztik, hatékonyabbá teszik a kapcsolatok szerkezetét és a betanítási adatokat. Szó szerint mesterséges agyakat építünk.

– És ez szó szerint az agy működéséről van mintázva, igaz?

– Erősen az agy ihlette, de nem szabad túlzásba esni az analógiával, sok a különbség is (például a transzformátor-architektúra vagy a backpropagation algoritmus eltér a biológiai működéstől). De nagy vonalakban igen: mesterséges agyakat hozunk létre. Az MI az agynak az, ami a repülőgép a madárnak.

– Ez egy nagyon jó analógia! Segít megérteni a kreativitás kérdését is. Nem az a kérdés, hogy képes-e a „kreativitásra” mint belső folyamatra, hanem hogy képes-e olyan eredményt produkálni, amit mi kreatívnak tartunk.

– Filozofálhatunk azon, hogy ez „valódi” kreativitás-e, de elég csak megnézni, mi mindent érnek el már most, és mennyivel többet fognak elérni a közeljövőben.

– Volt mostanában olyan paradigmaváltó pillanat, ami megváltoztatta a saját mentális modeledet arról, hogyan fog ez kinézni?

– Sajnos a dolgok nagyjából az AI 2027-ben leírt pályán haladnak. Volt néhány meglepetés: a kormány például a vártnál gyorsabban és agresszívabban avatkozott be (például az exportkorlátozásokkal vagy az Anthropic megfenyegetésével a Védelmi Termelési Törvényre hivatkozva).

A másik meglepetés az volt, hogy az Anthropic átvette az első helyet a versenyben az OpenAI-tól.

– Miért gondolod, hogy ez megtörtént? Úgy tűnt, a ChatGPT és az OpenAI behozhatatlan előnyben van, most pedig az Anthropic lekörözte őket.

– Valószínűleg nagyobb náluk a „tehetségsűrűség” (talent density) és jobb a stratégiájuk. Nem sokkal, de épp annyira, hogy az meghozza a különbséget. Kevésbé vannak eleresztve erőforrásokkal és pénzzel, mint az OpenAI, így ha a csupasz erőforrások hiányoznak, a tehetség és a stratégia a legjobb magyarázat.

– Egy barátom, aki ismer néhányat ezek közül az emberek közül, egyszer leültetett Londonban. Igazából többször is mondta már nekem, de emlékszem egy konkrét beszélgetésre, ahol azt állította, hogy ezen MI-cégek vezetői közül páran körülbelül 7%-ra becsülik a kihalás valószínűségét. Nem tudom, miért ez a szám van a fejemben, de úgy rémlik, 10% alatt volt. A lényeg, amit próbált elmagyarázni nekem, az az volt, hogy még ha csak 1% is lenne – mint ahogy most ezen az asztalon lenne 100 gomb, és az egyik elhozná a világvégét –, vajon megmerném-e nyomni bármelyiket is? Nyilván nem nyomnám meg egyiket sem. De ő azzal érvelt, hogy ezek az MI-vezérigazgatók nagyon okosak, értik a szuperintelligenciát, és úgy gondolják, ha most 100 gomb lenne ezen az asztalon, abból talán 10 is elhozhatná a világvégét. Hallottalak már nyilatkozni – azt hiszem, a Daily Show-ban adtál interjút –, ahol azt mondtad, szerinted 70% az esélye annak, hogy a mesterséges intelligencia az emberiség kihalását okozza.

– Nem pontosan emberi kihalást mondanék. Azt mondanám, körülbelül 70% az esélye annak, hogy ez szörnyen sül el, akár az emberiség kihalásához vezetve. De ez csak egy a több lehetőség közül. Szóval igen, alapvetően például meglehet, hogy az MI átveszi az irányítást, de végül nem öl meg mindenkit. Lehet, hogy valami mást csinálnak. Attól még, hogy átvették a hatalmat, nem biztos, hogy végleg elpusztítanak minket – megtehetik, de tehetnek mást is. Ezért nem szoktam konkrétan 70%-os esélyt mondani a tényleges kihalásra, de 70% az esélye egy olyasfajta katasztrófának, mint az MI hatalomátvétele, ami végül emberi kihalást eredményezhet.

– Ebből két gondolatom támadt. Az egyik: te forgódtál ezen vezérigazgatók körül, hiszen Sam Altmannak dolgoztál az OpenAI-nál, mielőtt felmondtál. Szerinted ők maguk úgy gondolják, hogy van esély az emberiség kihalására?

– Igen. De fontos megérteni, hogy az emberek hajlamosak azt hinni, amit hinnie kell ahhoz, hogy jó embernek tartsa magát, és úgy érezze, folytatnia kell, amit csinál. Ez maga a racionalizálás. Úgy gondolom, a tech-vezérek őszintén meggyőzték magukat arról, hogy a dolgok valószínűleg rendben lesznek, és a helyes út az, ha ők egyszerűen folytatják, amit csinálnak. Sam valószínűleg azon gondolkodik, hogy nem hagyhatja Dariót vagy Elont elsőként célba érni. Tudom, hogy Dario ugyanezt gondolja Samről, Elon pedig mindkettejükről. Mindannyian meggyőzték magukat arról, hogy: „Jó, lehet, hogy szörnyen sül el, de valószínűleg rendben leszünk, és a legjobb, ha én vagyok a főnök.”

– Úgy tűnik számomra, hogy az Anthropic az egyetlen olyan cég, amelyik még beszél a kihalás vagy egy katasztrófa lehetőségéről és a valós kockázatokról. Úgy tűnik, ők az egyetlenek, akik még publikálnak ebben a témában, és emiatt sok tekintetben kezdenek a San Franciscó-i tech-iparág ellenségévé válni. Sok interjút nézek, és mindenki Dariót támadja, mert azt mondja: figyeljetek, a dolgok rosszul is elsülhetnek. „Doomernek” (vészmadárnak) hívják, és megkérdőjelezik a szándékait. Még a Mythos esetében is – ami egy Claude-modell, amire figyelmeztetni próbálták a világot – azonnal megtámadták emiatt. Úgy látod, hogy ő ebben a tekintetben kicsit más, mint Sam?

– Igen. Úgy tűnik, az Anthropic és Dario nyitottabbak voltak olyan dolgokat kimondani és megtenni, amelyek – legalábbis az elmúlt évben – üzletileg hátrányosak voltak számukra. Ez egy jó példa rá. Nem hiszem, hogy ezzel jó pontokat szereznek a kormányzatnál vagy a befektetőiknél. Egy még jobb példa a Department of War (Hadügyminisztérium) és az Anthropic közötti vita volt, ami rengeteg pénzükbe és – ami még fontosabb – rengeteg hatalmukba került, pedig simán aláírhattak volna egy szerződést. De tényleg nem szeretnék abban a helyzetben lenni, hogy azon gondolkodunk: „Melyik vezérigazgató a legkevésbé rossz? Támogassuk azt!” Ezen emberek közül egyiknek sem szabadna ekkora hatalmat adni a kezébe. Senkinek sem.

– Visszatérve a gombokra: te úgy véled, hogy ők reális esélyt látnak a kihalásra.

– Igen, de meggyőzték magukat arról, hogy valószínűleg minden rendben lesz, és amúgy is még rosszabb lenne, ha nem ők csinálnák. A cégen belül is ezt mondják az embereknek: „Rendben, de ha mi megállunk, mi lesz a többiekkel? Ők nem fognak megállni.”

– Mindig is ez volt a nyitott kérdésem: hogyan nem alakul ez rosszul, amikor az emberi ösztönzők uralkodnak? Ha megnézed a történelmet, az emberi ösztönzők azt mondják: vesztettél, ha folytatod a fejlesztést, de földrajzi és geopolitikai szempontból akkor is vesztettél, ha leállsz, mert az Egyesült Államok veszít egy másik országgal szemben, vagy ez a cég veszít a másikkal szemben. A tiszta ösztönzőket nézve hogyan érhet ez véget?

– Tovább zakatol előre. Úgy tűnik. Bár van egy reménykeltő figyelmeztetés: ha a világ felébred erre az egészre, akkor komolyabb párbeszéd indulhat a szabályozásokról és a nemzetközi egyezményekről. Ez megváltoztathatja az ösztönzőket. A kormány felléphet, és azt mondhatja: „Íme a szabályok, amelyeket mindannyiótoknak be kell tartania!” És mivel ezek mindenkire érvényes szabályok, többé nem leszel érdekelt a megszegésükben, mert büntetést kapsz, miközben a többiek is betartják őket. Szóval van egy fénysugár, hogy megváltoztathatjuk az ösztönzőket, ha a kormány – különösen az amerikai, de később a többi is – lépéseket tesz. De ez nem fog megtörténni addig, amíg az emberek fel nem ébrednek.

A második dolog, hogy egy adott ponton egyénileg Dario, Sam vagy Elon is ráébredhet arra, hogy a saját érdeküket sem szolgálja a gátlástalan egyoldalú verseny. Ezzel az a baj, hogy ez csak akkor válik nyilvánvalóvá, ha a helyzet már rendkívül súlyos és drámai. Az AI 2027 forgatókönyvben van egy döntési pont: az egyik ágon az MI nincs összhangban az emberi érdekekkel (misaligned), a másikon igen. A döntési pont kiváltó oka az, hogy bizonyítékot látnak arra, hogy az MI ellenük szervezkedik. Ha meglátják ezt a bizonyítékot, rájönnek: „Atyaég, talán nem kellene mindent a kezébe adni és hagyatkozni rá!”, mert a bizonyíték ott van az orruk előtt, hogy megbízhatatlan. De ha nem látnak ilyen egyértelmű bizonyítékot, meg fogják győzni magukat arról, hogy folytatniuk kell. De meglehet, hogy látni fognak ilyen bizonyítékot, és abban az esetben szabályozás nélkül is önként leállhatnak. Ez a második reménysugár. Összességében nem gondolom, hogy végleg el vagyunk ítélve. Mondtam a 70%-ot, de el tudom képzelni azt is, hogy meglehetősen jól alakulnak a dolgok.

Mit tesz az MI a munkahelyekkel?

– Izgatottan várom, hogy áttérjünk az optimistább, pozitívabb jövőképre, de az AI 2027 előrejelzésben mire az emberek elveszítik a munkájukat, már rosszabb dolgok is történnek, vagy addigra már szinte túl késő. De gondoljunk csak bele: ha a cégeknek sikerül felépíteniük a szuperintelligenciát, az definíció szerint szinte az összes munkahelyet át tudja venni, hiszen mindenben jobb, gyorsabb és olcsóbb a legokosabb embernél is. Úgy sejted, a szuperintelligencia 2030 végére érkezhet meg. Mikor kezdhetjük látni a leépítéseket a gazdaságban? Már most látunk egy keveset, de még nem sokat. Miért?

– Mert az MI még nem elég jó. Lenyűgöző, de szinte semmilyen területen nem képes még egy az egyben helyettesíteni egy emberi munkavállalót.

– Szerinted ez hirtelen fog bekövetkezni?

– Szerintem hirtelen, az „intelligencia-robbanás” és a rekurzív önfejlesztés dinamikája miatt. Elképzelhető egy olyan világ, ahol ez fokozatos. Sok sci-fiben így van: az MI fokozatosan javul egy sor dologban, fokozatosan automatizál egy iparágat (például a gyógyszerészetet), aztán a drónirányítást, majd az autóvezetést.

De a valóságban a cégek arra a stratégiára álltak rá, hogy először saját magukat automatizálják – vagyis az MI-kutatási folyamatot. És ha hagyják őket folytatni ezt a stratégiát, nem a robotaxikat, a vízvezeték-szerelő robotokat meg az ügyvéd MI-ket fogjuk először látni a gazdaságban, mert nem erre fókuszálnak. Arra összpontosítanak, hogy saját magukat automatizálják, így gyorsabban tudnak mindent csinálni. Ezt akarják eljuttatni a nagyon magas általános intelligenciaszintre, és csak utána terjesztik ki a gazdaságra.

Mire tehát a különböző munkákért jönne, már hónapok vagy évek óta teljes autonóm MI-kutatás fog folyni, ami azt jelenti, hogy az MI nemcsak az MI-kutatásban lesz messze felülmúlhatatlan, hanem mellékhatásként rengeteg más dologban is. Ez olyan lesz, mint egy hullám, ami átsöpör a gazdaságon, miután belsőleg végrehajtották az intelligencia-robbanást.

– Tehát mivel az MI képes lesz fejleszteni és képezni saját magát, mindenben egyszerre fog fejlődni, majd egyszerre szabadul a világra. Jól értem?

– Nem is teljesen így, mert még ha főleg csak az MI-kutatásban fejlődik is, ennek áthajló hatásai lesznek más készségekre is. Amikor pedig ezekre a többi készségre terelődik a figyelem, rendkívül gyorsan fogja elsajátítani őket.

– Milyen munkák maradnak egy ilyen forgatókönyvben?

– Ez valójában politikai kérdés, nem technikai. Technikai szinten az összes munkát el tudják végezni az MI-k, ha elérik ezt a szintet. Szóval a kérdés az: milyen munkákat engedünk meg nekik, és milyeneket nem?

– Ez attól függ, ki van hatalmon. Politikai párbeszéd alakul majd ki arról, mit engedélyezünk és mit tiltunk meg.

– Ebben a forgatókönyvben az emberek még irányítják őket?

– Attól függ, mit értesz irányítás alatt. Az a kérdés, hogy az MI-knek valóban megvannak-e azok a céljai és értékei, amelyeket elvársz tőlük, és tartósan úgy viselkednek-e a jövőben is, vagy csak arról van szó, hogy egyelőre engedelmeskednek a parancsaidnak?

– Arra gondolok, hogy engedelmeskednek-e a parancsoknak.

– Igen. Még az AI 2027-ben is, abban a szcenárióban, ahol az MI átveszi a hatalmat és mindenkit megöl, van egy többéves időszak, amikor még engedelmeskednek a parancsoknak: elvesznek egyes munkákat, de másokat nem, és segítik a jobb fegyverek gyártását az amerikai kormánynak a Kínával való fegyverkezési versenyben. És azért képesek ilyen gyorsan ekkora hatalomra szert tenni, mert a kormányok és a vállalatok megbíznak bennük, és szándékosan helyezik be őket ezekbe a pozíciókba, mert azt hiszik, minden rendben van. De mivel ezek neurális hálók, nem tudsz csak úgy belenézni a belsejükbe, hogy meglásd, mit gondolnak valójában.

– Ez egy nagyon fontos pont. A szoftverekkel ellentétben – ahol teoretikusan belenézhetünk a kódba – az MI-nél azt mondod, nem tudjuk, miért hozza meg a döntéseit, mert nem látunk bele a belsejébe.

– Egy optimistább megjegyzés: ennek nem feltétlenül kell így lennie. A gépi tanulásnak van egy mechanisztikus értelmezhetőség (mechanistic interpretability) nevű részterülete, ami pont ezt a problémát próbálja megoldani: szétszedni a betanított mesterséges neurális hálókat, és megérteni, hogyan áramlik az információ, hogyan születnek a döntések. A probléma csak az, hogy ez eredendően nehéz feladat. Ha 10 billió kapcsolatot kell megvizsgálnod, megnézhetsz egy adott csoportot, és mondhatod, hogy „oké, ez a kapcsolat így működik”, de hogyan kapsz képet az egészről magas szinten? A válasz az, hogy lehet, hogy lehetetlen, de az emberek dolgoznak rajta. Ha elegendő haladást érnek el, egy teljesen más és sokkal fényesebb világban találjuk magunkat. Sokkal kevésbé lennénk kitéve az irányításvesztési szcenárióknak, ha bármikor láthatnánk, mit, miért és hogyan gondol az MI.

– Egészen őrület belegondolni, hogy olyan technológiát, olyan agyat építünk, amit nem értünk.

– Igen, elég őrült dolog. Mint egy sci-fi filmben, ahol a tudósok körbeállnak egy nagy agyat, táplálják, de nem igazán tudják... Nyilvánvalóan veszélyes dolog, de mégis csináljuk az elmúlt 10 év fejlődése miatt, ahol az emberek úgy voltak vele: „Ó, ez veszélyes! De mi van, ha más csinálja meg rosszul? Ezért inkább nekünk kell megcsinálnunk jól!” Most pedig ebben a versenyben vannak egymással, miközben politikai nyomás alatt állnak, hogy úgy tegyenek, mintha a helyzet nem lenne annyira rossz, mert nem akarják felbőszíteni a befektetőiket vagy a Fehér Házat.

Milyen készségek számítanak majd egy MI-világban?

– Az egyik kulcskérdés a nézőinktől az volt: mely munkák élik túl garantáltan az MI-t, és milyen készségekre kellene a diákoknak és a fiataloknak fókuszálniuk a következő 10 évben?

– Ez kicsit olyan, mintha Mexikóban élnél 1500 körül, és meghallanád, hogy jönnek a konkvisztádorok. Megkérdezheted magadtól, hogy milyen munkára válts, hogy túléld az átmenetet, de sokkal több aggódnivalód van ennél. Ennek ellenére azt mondanám: ha sikerül elkerülnünk az irányításvesztés problémáját, és az emberek kezében marad az ellenőrzés – vagyis az emberek határozhatják meg az MI céljait és értékeit még akkor is, ha az sokkal okosabbá válik náluk és átveszi a gazdaságot –, akkor valószínűleg lesznek olyan szabályozások, amelyek megvédenek bizonyos területeket. Kitalálhatod, melyek lehetnek ezek: esetleg a bírák.

– Mi a helyzet a podcasterekkel? Légy őszinte!

– Valószínűleg a podcasterek nem élik túl. De olyasmik, mint a dajka vagy bébiszitter például... Azt hiszem, még ha van is egy robotdajka, ami rendkívül jó, sok ember inkább egy valódi embert választana, mert feszélyezné őket a robot gondolata. Szóval lehet így is okoskodni. És vannak jogilag védett munkák is, ahol előírhatják, hogy csak ember végezheti, robot nem.

– Egyesek szerint viszont annyi új munkahely fog létrejönni, amit most még el sem tudunk képzelni, akárcsak az ipari forradalom vagy az internetrobbanás idején.

– Ezzel az a probléma, hogy a múltbéli technológiai vívmányok szűkebb körűek voltak: automatizáltak bizonyos dolgokat, de nem mindent. Mi viszont egy olyan hipotetikus jövőbeli helyzetről beszélünk, ahol minden automatizálva lesz. Így nem lesz olyan új munkahely, amit te meg tudnál csinálni, de az MI ne tudná megcsinálni – kivéve, ha azt szabályozás védi.

Jelenleg van egy ciklus: az MI megtanul egy bizonyos dolgot (szöveget írni, kódot vázolni, hibát javítani), az emberek pedig átnyeregnek az MI-k irányítására vagy más olyan feladatokra, amiket az MI még nem tud. Ezért nyíltak meg eddig mindig új munkahelyek. De ha eljutunk arra a pontra, ahol az MI mindent meg tud tenni, amit az ember – jobban, gyorsabban és olcsóbban –, akkor bármilyen új munkára váltanál, az MI arra is át tud váltani, és már alapból jobb lesz benne, mint te.

– Mivel még nem láttunk tömeges munkanélküliséget a gazdaságban, szerinted az emberek kezdenek kissé elkényelmesedni? Sokan mondják a közösségi médiában: „Én megmondtam, hogy minden rendben lesz!” Az amerikai munkanélküliségi ráta stagnál vagy enyhén csökken (kb. 4,2%), az Egyesült Királyságban pedig 5% körül van.

– Igazából senki sem állította, hogy mostanra tömeges munkanélküliség lenne. Mi legalábbis nem ezt mondtuk az AI 2027-ben. A tömeges munkanélküliség csak 2028-ban vagy 2029-ben következik be, miután már kifejlesztették a szuperintelligenciát. A cégeknek nem az a legelső lépésük, hogy tömeges munkanélküliséget okozzanak. Az 1. lépés saját maguk automatizálása; a 2. lépés a rekurzív önfejlesztés a szuperintelligenciáig; a 3. lépés pedig a kiterjesztés a gazdaságra és minden automatizálása.

Ez az emberiség szempontjából nagyon szerencsétlen, mert ha az automatizálás széles körű hulláma fokozatosan menne végig a gazdaságon, az emberek felébrednének, elgondolkodnának azon, hová tart ez az egész, és jó szabályozást követelnének a kormánytól. De a cégek nem ezt a stratégiát követik: először elérik a szuperintelligenciát, és csak utána hajtják végre a széles körű automatizációt – ami azt jelenti, hogy mire ezt elkezdik, a folyamat már nagyon gyorsan fog pörögni, és az MI már rendkívül erős lesz.

– A 2027-es jelentésedben – amit még 2025-ben írtál – azt mondtad, hogy 2025 közepére megjelenik az „autonóm alkalmazott”, vagyis az MI-ágensek, akik a Slacken vagy a Teamsen keresztül fogadnak utasításokat. Ez megtörtént. Nekem is van MI-ágens a WhatsAppomban, akivel beszélgetek. A Claudebot is elterjedt a világban. Azt is írtad, hogy 2026-ra a vállalatok elkezdik egész vállalati részlegek lecserélését MI-ágens előfizetésekre; 2027-re pedig az utolsó munkát is automatizálják: magát az emberi MI-kutatók munkáját, megkezdve a gépi tanulási kutatást a következő generációs MI-k megépítésére.

– Igen. Az idővonalakat illetően bizonytalanok vagyunk, mennyi időbe telt e mérföldkövek elérése. Mire a forgatókönyvet publikáltuk, az én idővonalaim már kicsit kitolódtak: nálam a 50%-os valószínűségi jelölés 2028-ra esett az MI-kutatás teljes automatizálásánál, nem 2027-re, míg a csapatom más tagjainál heller 2030 vagy 2031 volt. Bunu úgy kell elképzelni, mint egy elkent valószínűségi eloszlást: a 50%-os jelölés egy adott évre esik, de nagy a lehetőség arra is, hogy évekkel korábban vagy később következik be.

AI 2040: Hogyan nézhetne ki a jövő?

– Mi az az AI 2040? Az AI 2027 egy legjobb tipp volt arra, hogyan alakulhatnak a dolgok a valóságban.

– Az AI 2040 (A-terv) a mi javaslatunk arra, hogyan kellene alakulniuk a dolgoknak. Azért neveztük el AI 2040-nek, mert ebben a forgatókönyvben csak 2040-ben építik meg a szuperintelligenciát sokkal korábbi időpont helyett, mert elhalasztják.

– Miért halasztják el?

– Hogy kezeljék a kockázatokat, és biztosítsák a hatalom méltányos elosztását. Alapvetően úgy szabályozzák az MI fejlesztését, hogy az továbbra is haladjon, de lassabb, ésszerűbb ütemben, átláthatóbb és biztonságosabb módon, több ország és cég között elosztva. Ennek eredményeként nem mondjuk 2030-ban, hanem 2040-ben érik el a szuperintelligenciát. 

Ezt hívjuk „A-tervnek”, mert ez a mi javaslatunk: kidolgoztunk egy tervet arra, mit kellene tenniük a kormányoknak, ez a forgatókönyv pedig szemlélteti, hogyan nézne ki ennek a megvalósítása – hasonlóan ahhoz, ahogy az AI 2027 azt illusztrálja, mi történik, ha a cégek a jelenlegi terveik szerint haladnak tovább.

– Ez van a fejemben. De vajon ez csak vágyálom, vagy szerinted valóban ez fog megtörténni?

– Nem, határozottan nem gondoljuk, hogy ez fog megtörténni.

– Nem gondolod, hogy ez fog megtörténni?

– Nem. Úgy véljük, a valóságban inkább az előző forgatókönyv valósul meg. Nem számítunk arra, hogy a világ hallgatni fog ránk. Ez a mi javaslatunk, reméljük, hogy az emberek valami hasonlót tesznek majd, és hisszük, hogy ez lehetséges, de alapesetben nem ezt jósoljuk a jövőre nézve.

– Át akarom nézni a lehetséges terveket és az A-tervet is, de még mielőtt rátérnénk arra, hogyan alakulhatnak a dolgok a következő években, szeretném érinteni a robotikát is. Itt van ez a grafikon a munkaerő-kibocsátás arányáról, amit meglehetősen mellbevágónak találtam. Munkáltatóként, aki több száz embert foglalkoztat, azon tűnődöm, mikor fog mindez bekövetkezni. Jelenleg még mindig veszünk fel új embereket, bár bizonyos pozícióknál már jelentősen megváltozott a megközelítésünk. Azt kell mondanom, most abban a fázisban vagyunk, ahol a csatapataink MI-vel támogatottak, és ágenseket használnak a munkájuk egy részéhez. De munkáltatóként felmerül bennem: mikor jön el a nagy fordulat?

– Nagyszerű kérdés! Nagyítsunk rá erre egy kicsit! Ez az AI 2040: A-terv forgatókönyvéből van, ahol jelentős szabályozást vezetnek be 2029-ben, ami lelassítja az MI fejlődésének ütemét. A forgatókönyvben ezt az utolsó pillanatban teszik meg: ha nem lépték volna meg, a fejlődés pontosan úgy lőtt volna ki, mint az AI 2027-ben. Amint látod, még a szabályozás bevezetésekor is rengeteg munkahely létezik ebben a szcenárióban. Ez visszacsatol ahhoz, amit korábban mondtam: ha megvárod, amíg a legtöbb ember elveszíti a munkáját, és csak utána szabályozod az MI-cégeket, akkor már túl késő. Addigra valószínűleg már lesz szuperintelligens MI-jük, mert a stratégiájuk az, hogy először a szuperintelligenciát érik el, és csak utána automatizálnak mindent.

– És azt mondod, hogy az gazdasági összeomláshoz vezetne, és még nagyobb kárt okozna, ha hirtelen szabályoznánk valamit, amire addigra mindannyian és az egész életünk támaszkodik.

– Igen, de ezt a kockázatot nagyon is megéri vállalni! Igaz, hogy jelenleg sokan használják az MI-t sok mindenre, de ha valahogy lassítani vagy szüneteltetni tudnánk az MI fejlesztését most, hogy felépítsünk egy jobb működési modellt, az bőven megérné – még ha jelentős ára is lenne. De abban a pontban már nem teheted meg, ahol az MI és a robotika adja a munkaerő-kibocsátás nagy részét.

– Így van. De ebben az AI 2040: A-terv forgatókönyvben 2029-ben bevezetik a szabályozást, majd lassan és óvatosan fejlesztik az MI-t, elkerülve a problémákat. Így végül – igen, végül – az MI-k átveszik a munkákat. Végül az egész gazdaságot MI-k és robotok működtetik, de ez fokozatosan történik meg a 2030-as évek során, ahelyett, hogy egyetlen év leforgása alatt csapna le egy brutális sokkhatásként. Mert ebben a szcenárióban nem hagyják, hogy a cégek rekurzív önfejlesztéssel a lehető leggyorsabban eljussanak a szuperintelligenciáig. Ehelyett úgy szabályozzák a fejlesztést, hogy az alapképességek ésszerűbb ütemben és átláthatóbb módon fejlődjenek, így a tudományos közösség látja, mi történik, és segíthet a biztonságossá tételében.

– Észrevettem, hogy mindkét forgatókönyvedben végül az MI és a robotika végzi szinte az összes munkát. Ebben egyetértesz Elon Muskkal, aki szerint a munka a jövőben választás kérdése lesz. Mert hát mi történik? Ha definíció szerint mindent meg tud csinálni, akkor mindent meg is fog csinálni.

– Igen. A kérdés inkább az: szabad-e engednünk, hogy olyan MI-k jöjjenek létre, amelyek mindenre képesek? Egyesek szerint a válasz nem: mindent le kellene állítani, és meg kellene akadályozni az ilyen típusú MI-k létrejöttét. Mi valójában meglehetősen szimpatizálunk ezzel a gondolattal.

– Megmutassuk a terveket ábrázoló diagramot?

– Igen, köszönöm! A mi forgatókönyvünk neve AI 2040: A-terv. Ez egy olyan szcenárió, amelyben lelassítják az MI fejlesztését, hogy a szuperintelligencia csak 2040-ben jöjjön létre a korábbi dátumok helyett. Az A-terv a mi hivatalos javaslatunk. Összehasonlításképpen készítettünk mini-forgatókönyveket is, amelyek eltérő alternatív terveket illusztrálnak: ezek az S-terv, B-terv, C-terv és D-terv.

D-terv: Alapvetően ugyanaz, mint ami az AI 2027-ben történik. A verseny folytatódik, alig van szabályozás.

C-terv: Nagyon hasonló az AI 2027 lelassulós végkifejletéhez, ahol megoldják az igazodási (alignment) problémákat. Ebben a verzióban kicsit lelassítanak, több erőforrást csatornáznak át az MI-biztonsági kutatásokra, szerencséjük lesz, sikerrel járnak, majd miután megvannak a biztonságos MI-k, újból felgyorsítanak, átveszik a munkákat, és legyőzik Kínát.

B-terv: Hasonló a C-tervhez, de agresszívabbak Kínával szemben: szabotázst vagy kibertámadásokat vetnek be ellenük, hogy lemaradásban tartsák őket, így több lélegzetvételnyi idő marad az igazodási problémák saját elhárítására.

A-terv: A mi javaslatunk. Belső szabályozás, majd egy nemzetközi megállapodás az MI építésének folytatására, de sokkal jobb és biztonságosabb keretek között.

S-terv (Shutdown): Az egész teljes leállítása. Ha olyan jövőt szeretnél, ahol nem szaladgálnak olyan MI-k, akik mindent jobban és gyorsabban csinálnak az embernél, akkor az S-tervre van szükséged.

– Te mit szeretnél?

– Az A-terv a javaslatunk. Szimpatizálok az S-tervvel is, de az általunk kifejtett okok miatt mégis az A-tervet ajánljuk.

– És őszintén: szerinted melyik a legvalószínűbb?

– A D-terv. Vagyis az, hogy tovább versenyeznek, nem lassítanak le érdemben, és a dolgok rendkívül gyorsan pörögnek fel.

– Vannak gyerekeid?

– Igen, két gyermekem van.

– Ez kicsit szomorú. Úgy értem, így vagy úgy, de mire elérik azt a kort, hogy belépjenek a munkaerőpiacra, ez az egész valószínűleg már lezajlik. Nem hiszem, hogy valaha is belépnek a hagyományos munkaerőpiacra.

– Mit értesz az alatt, hogy „ez az egész lezajlik”?

– Azokra a mérföldkövekre gondolok, amelyeket leírtam: az MI automatizálja az MI-kutatást, szuperintelligenssé válik, berobban a gazdaságba, elveszi a munkákat, robotgyárakat épít, hogy még több robotot és gyárat hozzon létre, a GDP pedig függőlegesen kilő. Ezekre az eseményekre gondolok. Talán van 10-20% esély arra, hogy a technológia falba ütközik, és mindebből semmi sem valósul meg, még akkor sem, ha nem teszünk semmit.

– Hány éves a idősebbik?

– Hat. Kislány.

– Ha a lányod odalép hozzád, és azt kérdezi: „Apu, mit tanuljak az iskolában?”, mit mondasz?

– Ha ezek a radikális átalakulások bekövetkeznek, a világ teljesen máshogy fog kinézni, és az, hogy milyen munkára készíted fel magad, lényegében nem fog számítani. Azt mondanám, hogy egyrészt próbáljunk meg tenni azért, hogy a dolgok jól alakuljanak. Ha bármilyen csekély befolyásod is van a történelemre és arra, hogyan fejlődik ez az egész, keményen kell próbálkoznod, hogy jobb irányba tereld a jövőt. Másrészt személyes szinten arra kell fókuszálni, hogy jó ember légy, és olyan dolgokat csinálj, amelyek önmagukért jók, nem pedig azért, mert felkészítenek egy későbbi elhelyezkedésre – mert az a későbbi elhelyezkedés nagyon bizonytalan.

– Elon Musk a bőség koráról beszél, ami felé haladunk.

– Bőség határozottan lesz. A kérdés az: ki irányítja ezt a bőséget, és mit kezd vele? Bárki irányítja egyáltalán az MI-ket, vagy a saját fejük után mennek? És ha emberek irányítják őket, kik azok, és mit tesznek? Milyen politikai struktúra határozza meg a döntéseiket?

– Azt hiszem, Geoffrey Hinton mondta nekem: nincs példa a természetben arra, hogy egy intelligensebb faj felett egy kevésbé intelligens faj uralkodjon. Ezzel arra utalt, hogy meglehetősen gőgösek vagyunk, ha azt hisszük, egy olyan világban, ahol létezik egy nálam garmadával okosabb mesterséges agy, én fogok neki utasításokat adni.

– Igen, ez a lényeg. Ennek kellene lennie az alapfeltételezésünknek: itt vannak ezek az agyak, nem látjuk pontosan, mit gondolnak, okosabbá tesszük őket nálunknál, rájuk bízunk mindent, aztán testet adunk nekik, ők pedig autonóm módon új gyárakat építenek. Hogyan kellene ennek jól végződnie? Nem pontosan olyan ez, mintha kitenyésztenénk egy új fajt, amelyik aztán kiszorít minket, amint már nincs ránk szüksége? Szerintem ez az alapértelmezett pálya.

Természetesen van egy egész argumentum arról, hogyan térhetnénk le erről az alapértelmezett pályáról. Ott van például az értelmezhetőségi (interpretability) kutatás, amiről korábban beszéltem. Ha az a kutatás beérik, láthatóvá válik, mit gondolnak, ami kiváló eszköz lenne a formálásukhoz, ellenőrzésükhöz és ahhoz, hogy azt tegyék, amit mi akarunk. Vannak más MI-igazodási kutatási agendák is, amelyek haladást érnek el. Ha ezek közül elég sok sikerül, elkerülhetjük ezt a problémát.

A szabályozási oldal is kulcsfontosságú: a nehézséget részben az adja, hogy versenyhelyzetben építjük ezeket az MI-ket. A cégek titkolják a recepteket, nehogy mások lemásolják őket, így a fejlesztések zárt ajtók mögött zajlanak, és csak kevesen látják a betanításhoz használt eljárásokat. És amikor az MI váratlanul vagy kifejezetten károsan viselkedik, az információ gyakran nem jut el a nyilvánossághoz, mert a cégek nem érdekeltek abban, hogy elmeséljék a hibáikat. Ez nem kedvez a tudományos haladásnak. Ha a szabályozási rendszer más lenne, jobb helyzetben lehetnénk, és gyorsabb áttörést érhetnénk el. És persze nem terveznénk azt sem, hogy a lehető leggyorsabban mindent az MI-k irányítása alá helyezzünk, és nem hagynánk nekik a korlátlan önfejlesztést sem. Ezek olyan döntések, amelyeket meghozhatnánk másképp is.

(A reklámblokk eltávolítva)

– Ilia Sutskever az OpenAI egyik vezetője volt, majd távozott, és megalapította a saját cégét, a Safe Super Intelligence-t (Biztonságos Szuperintelligencia) – ami elég érdekes név egy cégnek az OpenAI elhagyása után. Dolgoztál vele együtt?

– Nem dolgoztam vele közvetlenül, de beszélgettem vele pár alkalommal.

– Szerinted ő is őszintén aggódik?

– Szerintem igen. De úgy gondolom, ő is hasonló helyzetben van, mint a többi vezérigazgató. Gondolj bele, milyen ösztönzők hatása alatt állnak! Látják a problémát, de azt mondják: „Jó, de ha leállok, felmondok vagy mást csinálok, az nem oldja meg a problémát, mert a többi vezérigazgató folytatni fogja. És ha mind leállnánk, Kína akkor is folytatná. Úgy tűnik, ez így is, úgy is megtörténik, akár teszek ellene, akár nem. Akkor inkább veszek részt benne, hátha el tudom érni, hogy jól süljön el! És különben sem akarok a hidegben maradni, amíg mások – akikben nem bízom – irányítanak mindent.” Mindannyian végigzongorázzák ezt a gondolatmenetet, és meggyőzik magukat arról, hogy az a helyes lépés, ha ők építik meg, csak jobban. Ilia csak a legújabb példa erre. Elon egy másik példa, Dario egy harmadik. Kezdetben Sam is ilyen volt az OpenAI-nál, bár Elon és Dario is ott voltak az elején.

– Mit kellene tenniük szerinted?

– Nemzetközi vagy legalább hazai szabályozásra lenne szükség, hasonlóan ahhoz, amit az A-tervben leírtunk.

– Végigvezetnél az A-terven?

– Ebben a forgatókönyvben az MI-nek hosszabb időbe telik eljutni a rekurzív önfejlesztésig és az MI-kutatás teljes automatizálásáig, mint az AI 2027-ben. Úgy véljük, érdemes megmutatni a lehetőségek skáláját a bizonytalansági tényezők miatt, így 2030-at választottuk annak a pillanatnak, amikor a teljes automatizáció végül megvalósul, és a dolgok igazán beindulnak.

Visszafelé számolva: mikor van az utolsó pillanat, amikor még jó szabályozást lehet hozni? 2029-ben. Ebben a szcenárióban az MI fejlődése magától is kissé lelassul, a cégek továbbra is versenyeznek, de nem sikerül teljesen automatizálniuk magukat 2027-ben, 2028-ban vagy 2029-ben – bár nagyon közel járnak hozzá, és 2030-ra megtennék. Ekkor, 2029-ben a kormány közbelép és szabályozza őket.

– Milyen szabályozásokat vezetnek be?

– Lényegében ideiglenesen leállítják a fejlesztést.

– Megkérdezhetem, hogyan kapcsolódnak az elnökválasztások az idővonaladhoz? Mert 2028-ban nagy választás lesz az Egyesült Államokban, és úgy tűnik, a közhangulat erősen az MI ellen fordult a nagyközönség körében, így ez az egyik legfontosabb téma lesz a szavazólapokon.

– Úgy gondoljuk, hogy a 2028-as elnökválasztás legfontosabb témája lehet. A legtöbb ember meglehetősen aggódni fog amiatt, hová tartanak a dolgok. Részben ezért ábrázoltuk így a dolgokat ebben a forgatókönyvben: ez magyarázza, miért hozhatnak ilyen szabályozást 2029-ben – mert a szavazók ezt követelték, az elnökjelöltek pedig megígérték.

– Ebben a forgatókönyvben 2027-re a nagyközönség sokkal súlyosabban megérezte volna az MI következményeit, mint most?

– Igen, bár 2029-ben ebben a szcenárióban az emberek többségének még megvan a munkája. Sok munkahelyen ekkorra már MI-ágenseket irányítanak. Említetted, hogy neked is van MI-ágensed: nos, 2029-ben ebben a forgatókönyvben az ágensek sokkal jobbak lesznek, de még mindig nem annyira, hogy mindent teljesen egyedül csináljanak meg. Ez a szint ebben az idővonalban 2030-ban jönne el. (Ismétlem: az idővonalak bizonytalanok, a dolgok gyorsabban is haladhatnak, mint ebben a forgatókönyvben – és szerintem gyorsabban is fognak haladni, de a nagyon gyors szcenáriót már megírtuk, így most egy lassabbat vázoltunk fel.)

Nézzük a fő célokat! A politikusok és a szavazók azt akarják, hogy az MI fejlődése folytatódjon, de lassabb ütemben, hogy biztonságossá lehessen tenni.

1. cél: Lassítás.

2. cél: Átláthatóság növelése, hogy a tudományos közösség felzárkózhasson, és ne kelljen elhinni a cégek bemondásos alapon tett ígéreteit a biztonságról vagy az elfogultság-mentességről.

3. cél: A hatalomkoncentráció elkerülése. Kifejezetten jó, ha több MI-cég létezik több különböző országban hasonlóan fejlett képességekkel, és az MI széles körben elterjed a társadalomban, ahelyett, hogy egyetlen megaprojekt kezében összpontosulna az összes legjobb MI. És a nagyszerű dolog az, hogy ezt alapértelmezésben megkapod, ha az első két dolgot megteszed: a lassítás és az átláthatóság lélegzetvételnyi időt hagy más projekteknek a felzárkózásra.

4. cél: Visszafordíthatóság. A forgatókönyvben rengeteg adatközpontot és robotot építünk fel. A világ átalakul, bár lassabb ütemben. Ha a dolgok elromlanak, a megállapodás felbomlik, és mindenki újra versenyezni kezd a szuperintelligenciáért, az nagyon félelmetes lenne. Ezért a negyedik elv: az új adatközpontokat úgy kell megépíteni, hogy ha minden felbomlik és újra indul a hajsza, az újonnan épült adatközpontok megsemmisüljenek, így visszatérünk a nullponthoz ahelyett, hogy egy még veszélyesebb versenyben találnánk magunkat.

Ha érdekel, végigvezethetlek az idővonalon.

– Persze!

– Az elnök beszél Kína és más országok vezetőivel, és azt mondja: „Alapvetően leállítjuk az MI-fejlesztést, amíg ki nem találunk egy tervet ezen célok elérésére.” Ellenőröket küldenek egymás adatközpontjaiba: kínai ellenőrök jönnek az amerikai adatközpontokba, amerikaiak mennek Kínába, és ellenőrzik, hogy csak következtetést (inference) végeznek, nem pedig tanítást (training).

Új MI-k fejlesztése tanítással jár. A meglévő MI-k futtatása a felhasználók kiszolgálására viszont a következtetés. A megoldás, amire jutnak: engedélyezik a következtetést, de a tanítást leállítják, amíg az új adatközpontok el nem készülnek. Átalakítják a meglévő adatközpontokat a futtatásra: az emberek továbbra is beszélhetnek az MI-ágenseikkel, de azok nem fognak tovább fejlődni fél-egy évig, amíg megépítik az új, átlátható adatközpontokat, ahol a tanítás fog folyni. Amint ezek az új adatközpontok elkészülnek 2030-ban, az MI-kutatás folytatódik.

Ez a rész kicsit kényes: mi teljes kutatási átláthatóságot javaslunk, ami azt jelenti, hogy az új modelleket betanító adatközpontoknak mindent publikálniuk kell – a tanítási recepteket, az architektúrát, mindent. Ez a fajta nyílt tudomány elengedhetetlen az igazodási probléma gyors megoldásához, mert nem akarhatjuk, hogy az elfelfogult cégek döntsenek arról, biztonságosak-e az MI-k. Emellett a jó szabályozáshoz is kell, mert jelenleg a szakértelem a Szilícium-völgyben összpontosul, míg a kormányok nem igazán értik az MI-t.

Képzelj el egy alternatívát: a teljes átláthatóság helyett lenne egy auditori rendszer, ahol a kormány megadja a szabályokat, az ügynökség pedig bemegy a cégekhez ellenőrizni azokat. Ez egy ellenérdekelt dinamikát hoz létre, ahol a cég abban érdekelt, hogy átverje a szabályozót, és ha felfedeznek egy új problémát, ami még nincs a kormány radarján, érdekeltek lesznek abban, hogy elhallgassák. A teljes átláthatóság segít a kormánynak gyorsabban jobb döntéseket hozni, de megöli a cégek versenyelőnyét.

– Igen, a Dropbox ezt nem fogja szeretni, és az OpenAI sem. Ez valószínűleg rossz lenne a cégértékeléseknek.

Az mesterségesintelligencia-ipar rémisztő nyílt titka jelenleg az, hogy meglehet, a végén lényegében egy új fajt hozunk létre, amely átveszi a hatalmat a világ felett – és 70% az esélye annak, hogy ez szörnyen sül el, akár az emberiség kihalásához vezetve.

Ez az egyik lehetőség, de sok más is létezik. – Elég ijesztő, amiket mondasz. – Igen, engem is lehangol néha. A feleségemnek konkrétan azt mondtam, hogy ne legyen több gyerekünk, mert túl nagy a bizonytalanság, és kétlem, hogy valaha is belépnének a munkaerőpiacra. Mindegyikünknek félnie kellene attól, hogy elveszíti a munkáját. Ezt onnan tudom, hogy 2022-ben az OpenAI-nál dolgoztam, ahol a feladatom a következő néhány év előrejelzése volt. Sajnos a világ nagy része még mindig alva vezet, és nem igazán fogja fel, mi történik az MI-vel. Úgyhogy felmondtam.

– Valahol azt olvastam, hogy 2 millió dollártól estél el, mert nem voltál hajlandó aláírni egy cégkritikát tiltó nyilatkozatot. – Így van, de ennek a részleteibe szívesen bemegyek. A legfontosabb viszont az, amit megtanultam: amikor elmegyek az Anthropic vagy az OpenAI szakembereivel beszélni az előrejelzésekről, ők azt mondják: „Nem fog az olyan sokáig tartani. Rövidítsd le a jóslatokat 2027-re vagy 2028-ra!” Mert ezek a befolyásos cégvezetők – Dario, Sam vagy Elon – egymással versenyeznek a leghatékonyabb MI feletti ellenőrzésért. Szó szerint attól rettegnek, hogy ha a másik ér oda előbb, akkor diktátorrá válhat. Az Anthropic jó úton halad afelé, hogy 2030-ra a teljes gazdaságot lefedje. Viszont ezen emberek közül egyiknek sem szabadna ekkora hatalmat adni a kezébe.

Ez a legfontosabb dolog, ami az életünkben – sőt, valószínűleg az egész történelemben – történik, és kulcsfontosságú, hogy jól alakuljon. Szerintem sokat tehetünk azért, hogy jobb irányba tereljük a dolgokat. Rengeteg előnye lehet az MI-nek, ha jól csináljuk, és ha megoldjuk a felmerülő problémákat, a dolgok mindenki számára fantasztikusan alakulhatnak.

– Nos, ez a 2021-es jelentés itt rendkívül pontos volt. És most publikáltad ezt az újat. – Igen, ez az új szcenáriónk. – Menjünk végig rajtuk lassan, egyesével. – Hihetetlenül boldog lennék, ha az összes jóslatom tévesnek bizonyulna.

(A műsorvezető üzenete a nézőknek) Ez szuper érdekes számomra. A csapatom odaadta ezt a kimutatást, ami megmutatja, hányan iratkoztak fel azok közül, akik nézik a műsort. Sokan mondtátok, hogy a rendszer néha magától leiratkoztat benneteket. Ezért egy szívességet szeretnék kérni tőletek: kérlek, ellenőrizzétek most, hogy megnyomtátok-e a feliratkozás gombot, ha rendszeres nézői vagytok a műsornak, és tetszik, amit csinálunk. Egy meglehetősen jelentős mérföldkőhöz közeledünk a csatorna életében a feliratkozószám tekintetében. Ha van egyetlen egyszerű, ingyenes dolog, amivel segíthettek nekünk és a csapatnak abban, hogy a műsor továbbra is ingyenes maradjon, és hétről hétre, évről évre fejlődjön, az az, ha megnyomjátok – vagy ellenőrzitek – a feliratkozás gombot. Ez az egyetlen dolog, amit valaha kérek tőletek. Áll az alkud? Cserébe én hétről hétre, hónapról hónapra egyre keményebben fogok küzdeni azért, hogy elhozzam nektek azokat a vendégeket és beszélgetéseket, akiket hallani szeretnétek. Ehhez az ígéretemhez a csatorna kezdete óta tartom magam, és nem foglak titeket cserbenhagyni. Kérlek, segítsetek nekünk, nagyon értékeljük! És most folytassuk a műsort!

Miért érinthet mindenkit az MI küldetése?

– Daniel Kokotajlo, mi a legfőbb küldetésed, és miért? – Mit tennél, ha úgy gondolnád, hogy néhány éven belül megérkezik a szuperintelligencia? – Valószínűleg attól függne, hogy mik lennének a következményei. – Beszéljünk róla! Szuperintelligencia alatt olyan MI-t értünk, amely mindenben jobb a legokosabb embernél is, miközben gyorsabb és olcsóbb. Képes olyan robotokat irányítani, amelyek a fizikai világban mindent meg tudnak tenni, amire az ember képes – csak jobban, gyorsabban és olcsóbban. Ha ez tényleg megérkezik néhány éven belül, akkor fel kell készülnünk, és át kell gondolnunk, hogyan érhetjük el, hogy ez jól süljön el ahelyett, hogy katasztrófába torkollna. Szóval ez a válaszom: a tőlem telhető legjobban ezen dolgozom.

– Szóval hiszed, hogy ez néhány éven belül eljön? – Igen. – Honnan vagy ebben ilyen biztos? – Rengeteg időt töltök az ilyen dolgok előrejelzésével. A medián becslésem – amire 50% esélyt látok – jelenleg 2029. Esetleg előrejön 2028-ra. Előfordulhat, hogy lényegesen tovább tart, mondjuk 10 évig vagy ilyesmi, de olyan okokból, amikre szívesen kitérek, úgy tűnik számomra, hogy az évtized végére valószínűleg bekövetkezik. De a közelség érzésénél is fontosabb a tendenciák üteme.

Az Anthropic tavaly ilyenkor körülbelül egymilliárd dolláros éves bevételt termelt, most pedig körülbelül 60 milliárdot. Ez hatvanszoros növekedés egyetlen év alatt, ami még egy egészen kicsi startup esetében is rendkívül lenyűgöző lenne, de egy ekkora cégcsoportnál valószínűleg a történelem leggyorsabb növekedése. Arra számítunk, hogy ez a növekedési ütem lelassul, de még ha jelentősen le is lassul, akkor is jó úton haladnak afelé, hogy 2030 körülre lényegében ők jelentsék a teljes gazdaságot.

Miért kellene az átlagembernek törődnie az MI-vel?

– Miért kellene, hogy ez érdekelje az átlagembert? – A lényeg az, hogy abszolút minden meg fog változni az egész világon, beleértve őket és a családjukat is. Változhat jobbra és változhat rosszabbá is, attól függően, hogyan hajtjuk ezt végre.

Például mindannyian meghalhatunk. Ez a klasszikus „irányításvesztési” szcenárió egyik verziója. Ha megépítjük ezeket a szuperintelligenciákat, és velük automatizáljuk az összes munkát, betesszük őket a hadseregbe, tőlük kérnek tanácsot a politikusok, akkor végül akkora valós hatalmat halmoznak majd fel, hogy többé nem lesz szükségük az emberekre. Okosabbak nálunk, jobb a stratégiai érzékük stb. Ezen a ponton már csak reménykedhetünk abban, hogy erényesek, és hogy megőrizték azokat a célokat és értékeket, amelyeket szántunk nekik.

És a mesterségesintelligencia-ipar rémisztő nyílt titka jelenleg az, hogy ez most még csak egy jámbor remény. Egyáltalán nem lehetünk biztosak benne. Sőt, rengeteg bizonyíték és érv mutat arra, hogy nem jó úton haladunk ennek elérésére. A jelenlegi MI-k például gyakran hazudnak az embereknek, vagy ha megmondod nekik, hogy csináljanak valamit, csinálnak valami teljesen mást, majd úgy tesznek, mintha jól csinálták volna. Szóval eredendően nehéz feladat valami olyat létrehozni, ami szuperintelligens, és közben megvannak benne azok az értékek és erények, amelyeket elvársz tőle. És nem úgy tűnik, hogy jó úton haladnánk a probléma megoldása felé. Ráadásul ez egy olyan típusú problémának tűnik, amiről azt hiheted, hogy megoldottad, miközben valójában nem. Ez az egyik fő oka annak, miért olyan ijesztő ez az egész.

Mindezek miatt meglehet, hogy a végén lényegében egy új fajt hozunk létre, amely átveszi a hatalmat a világ felett helyettünk. És aztán esetleg úgy járunk, mint a múltban más kihalt fajok, amelyeket az ember kiszorított. Ez az egyik lehetőség, de van még sok más is.

Még ha nem is aggódsz emiatt, és azt gondolod, hogy az MI teljes mértékben ellenőrzés alatt tartható, ott a kérdés: ki irányítja az MI-t? Amikor van pár vállalat, amely megépítette ezeket a szuperintelligenciákat, és az összes munkahely automatizálására használja őket, nos, az hatalmas hatalom. Óriási pénz és óriási politikai befolyás. Náluk lesznek a legjobb stratégák, a legjobb tanácsadók, katonai téren gyorsabban fognak gondolkodni – azok az országok, amelyek birtokolják ezeket az MI-ket, teljesen fel fogják söpörni a padlót az összes többi országgal.

Maguk az MI-k egyfajta központi vezérlőrendszert alkotnak. Az Anthropic vezérigazgatója, Dario alkotta meg a „zsenik országa az adatközpontban” kifejezést arra, amit megpróbálnak felépíteni. Szerintem ez egy kicsit félrevezető. Pontosabb lenne úgy leírni, mint „zsenik hadserege az adatközpontban”, mert ez nem úgy néz ki, mintha sokféle, különféle MI élne az adatközpont különböző részein. Mindegyik ugyanannak a nagy modellnek a másolata, a cég tulajdonában vannak, így mind a cég parancsait követik. Az embereknek fel kellene tenniük a kérdést: ki irányítja ezt a hadsereget vagy ezeket a hadseregeket, és mit fognak velük csinálni? Nagyon könnyen kiköthetünk egy olyan helyzetben, ahol az emberek egy egészen apró csoportja lényegében oligarchává vagy diktátorrá válik.

És ironikus módon mindkét kockázaton – az irányítás elvesztésén és a hatalom koncentrációján – már évtizedek óta gondolkodnak az iparágban dolgozók. Még az MI-ipar létezése előtt az erről gondolkodók már beszéltek és írtak ezekről a dolgokról. A DeepMind, az OpenAI és az Anthropic alapítási narratívájának vagy mítoszának része volt az, hogy „ezek a problémák valósak, ezért nekünk kell elsőként odaérnünk, hogy felelősségteljesen tudjuk kezelni őket”. Szerintem ez a két fő ok.

De folytathatnám, van még rengeteg más indok is. Ott van például a geopolitikai konfliktusok kérdése. Ha az MI valóban hihetetlenül hatékonnyá válik, az meg fogja változtatni a nemzetek közötti erőviszonyokat. Ez rengeteg mindent felborít, ami általánosságban is növeli a válságok kockázatát.

És mi lesz a munkákkal? Elveszíted a taxisofőri állásodat – de nem csak a taxisofőr, hanem szinte mindenki. Lehet néhány kivétel, például azok a munkák, amelyeket jogi okokból csak emberek végezhetnek, de nagyrészt mindenkinek félnie kellene attól, hogy elveszíti a munkáját, még akkor is, ha az összes többi problémát sikerül elkerülnünk.

Túlreagálnak az MI-szakértők, vagy vészharangot kongatnak?

– Ez a narratíva elkezdett kibontakozni, és már több olyan interjúm is volt ebben a műsorban, ahol olyan emberekkel beszélgettem, akik nagyon-nagyon megrémültek és szoronganak az MI miatt – pedig olyanokról van szó, akik néha már évtizedek óta ebben az iparágban dolgoznak. Ugyanakkor feltűnt a szembejövő ellennarratíva is, miszerint ez csak „módszeres riogatás” (doomerizmus), és ezek az emberek bármilyen okból csak rá akarnak ijeszteni a társadalomra, miközben nem is értik igazán, miről beszélnek. Hogyan válaszolsz erre az ellennarratívára? Biztosan te is láttad ennek a megjelenését, különösen azok részéről, akiknek – merem állítani – érdekük fűződik hozzá.

– Így van, pontosan. Ez az ellennarratíva meglehetősen új keletű, és azok terjesztik, akiknek érdekük származik belőle – és nem igaz. Ezek az aggodalmak már évtizedek óta jelen vannak, mielőtt az MI-ipar egyáltalán létezett volna. Valójában teljesen ésszerű felvetések. Ha komolyan vesszük a cégek szavait, és elképzeljük, hogy valóban felépítik a szuperintelligenciát, az rengeteg kérdést vet fel: Ki fogja irányítani? Fogja egyáltalán bárki irányítani? Mi lesz a munkahelyekkel? Ezek teljesen kézenfekvő következmények, amiken gondolkodni és aggódni lehet.

– Ki vagy te, és mi a történeted? – A nevem Dan Kokotajlo. Jelenleg az AI Futures Projectet vezetem, ami egy kis nonprofit szervezet, és főként az MI jövőjének előrejelzésére összpontosít. Ezt megelőzően az OpenAI-nál dolgoztam.

– MI-előrejelzéssel foglalkoztál? – Igen. Gondolj arra, ahogy a fedezeti alapoknak dolgozó iparági elemzők készítenek előrejelzéseket – például arról, hogy hány autót fog eladni a Tesla 5 év múlva, vagy mennyi lesz a villamos energia ára 2 év múlva. Ez az előrejelzés. Én is ezt csináltam, csak kifejezetten az MI-re fókuszálva. Azért csináltam, mert hihetetlenül fontos látni, hová tart mindez.

Miért csatlakozott az OpenAI-hoz – és mit látott odabent?

– Miért mentél az OpenAI-hoz, mit csináltál ott, mit tapasztaltál, és ez hogyan változtatta meg a szemléletedet az MI jövőjével, valamint az OpenAI-val mint céggel kapcsolatban? Azok kedvéért, akik nem tudnák: az OpenAI az a cég, amelyik a ChatGPT-t létrehozta.

– 2022-ben mentem az OpenAI-hoz. A munkám nagy része továbbra is előrejelzés volt. Az „AI 2027” egy olyan szcenárió, amiről talán már hallottál – én ezeknek a kisebb, belső használatra szánt változatait készítettem el a cégen belüli terjesztésre, amikben leírtam néhány tippet arról, hogyan nézhet ki a következő pár év. Emellett a veszélyes képességek értékelésén is dolgoztam: megpróbáltuk mérni az MI kibertérbeli képességeit, meggyőzőerejét vagy helyzetfelismerését. Egy rövid ideig tagja voltam egy fejlesztőcsapatnak is, ahol megerősítéses tanulással (reinforcement learning) hoztunk létre ágenseket.

Az MI valóban sokat fejlődik – és erről tudnék többet is mondani: a skálázási törvények (scaling laws), a mély neurális hálók... A nagyobb adathalmazokon betanított, nagyobb modellek hatékonyabbá és kompetensebbé válnak ezekben a feladatokban.

Ugyanakkor egyre inkább kiábrándultam az MI-iparágból. Az OpenAI, az Anthropic és a DeepMind mind rendelkezett azzal az alapítói narratívával, hogy „Igen, ezek a kockázatok valósak, de mi átgondoltuk őket, és megpróbáljuk felelősségteljesen kezelni a dolgot. Ezért fontos, hogy folytassuk, amit csinálunk.” Én pedig egyre inkább úgy láttam, hogy ezek csak racionalizálások a saját tetteik megideologizálására, semmint a tényleges viselkedésüket mélyen irányító elvek. És amikor választani kell, a saját érdekeiket és ösztönzőiket fogják követni ahelyett, hogy azt tennék, ami valóban jó.

– Tehát ott voltál az OpenAI-nál, és elkezdted azt hinni, hogy a kereskedelmi ösztönzőket követik a társadalmi felelősségvállalás helyett, amire eredetileg felesküdtek?

– Némiképp. Bár én nem feltétlenül „kereskedelmi” ösztönzőként írnám le, inkább hatalomkeresési ösztönzőként. Igaz, hogy a cégeknek nagyon fontos a sok pénz keresése, de különösen a cégek legfelső szintjén – a vezetők – megértik, hogy ez többről szól, mint csupán pénzről.

Ismertek azok az e-mailek, amelyek Elon Musk és az OpenAI közötti perben kerültek napvilágra. Egy csomó e-mail nyilvánosságra került abban a perben, amelyeket el lehet olvasni. Néhányukban az OpenAI alapítói még 2017 körül arról beszéltek, hogy az OpenAI megalapításának az volt az oka, hogy aggódtak: Demis (a DeepMind vezetője) a Google-nél diktátorrá válik az általános mesterséges intelligenciával (AGI). Már akkor is nyilvánvaló volt számukra, hogy ez többről szól, mint a pénzről.

Ezek a befolyásos cégvezetők szó szerint attól rettegnek, hogy ha a másik ér oda előbb, ő válhat diktátormódon egyeduralkodóvá. Nem bíznak egymásban. És ezért száguldanak, amilyen gyorsan csak tudnak, hogy úgymond ők legyenek azok, akik először célba érnek.

– Találkoztál Sam Altmannal? – Igen. – És ez formálta a véleményedet az ő motivációiról, vagy arról, miért teszi, amit tesz? Mert rengeteg a találgatás a szándékaival kapcsolatban. A legújabb narratívája szerint mindent „az emberiség javáért” tesz. – Szerintem a legfontosabb dolog, amit megtanultam, az az, hogy nem szabad odafigyelni a narratívákra. Amit az egyik embernek mondanak, az teljesen eltér attól, amit egy másiknak mondanak ugyanabban az időben. Amit pedig a nyilvánosság előtt mondanak, az egy harmadik dolog. Szerintem az embereket a tetteik, és nem a szavaik alapján kell megítélni.

Miért hagyta ott az OpenAI-t?

– És miért nem vagy már az OpenAI-nál? – nagyrészt amiatt az ok miatt, amit említettem: fokozatosan kiábrándultam abból, hogyan fog viselkedni a cég.

Például amikor 2022-ben csatlakoztam, a kollégáim körében – legalábbis azokkal, akikkel beszéltem – volt egy általános közhangulat: „Természetesen nem építenénk meg a szuperintelligenciát a lehető leghamarabb. Amint igazán közel érünk – amint eljutunk olyan MI-kig, amelyek esetleg automatizálni tudják az MI-kutatási folyamatot –, megállunk, és kitaláljuk, hogyan tehetjük biztonságossá. Mert mi vagyunk a jófiúk, és nyilvánvalóan ez a biztonságos lépés ahelyett, hogy teljes gőzzel előre rohannánk. De aggódunk mások miatt, akik esetleg nem állnának meg – a versenytársaink miatt, mint például a Google. Ezért kell az élen járnunk, hogy meglegyen a mozgásterünk a biztonsági intézkedések megtételére.”

Ez volt egyfajta átlagos álláspont a kollégák között, akikkel ott-tartózkodásom elején beszéltem – beleértve a vezetőket, mint Samet is. Aztán mire eljöttem, már úgy voltam vele: „Ember, ezek dehogy fognak megállni!” Parciálisan azért is, mert a téma átpolitizálódott, a cég nagyobb lett és nagyobb górcső alá került, az emberek pedig elkezdték kérdezgetni: „Miért csináljátok ezt egyáltalán, ha ennyire kockázatos?” Így átváltottak egy olyan narratívára, hogy „Igazából nem is olyan kockázatos ez.” Szóval úgy tűnik, nagyjából olyan gyorsan haladnak tovább, ahogy csak tudnak, és remélik, hogy menet közben majd kitalálják a megoldásokat.

– Hogyan ért véget az időszakod az OpenAI-nál? – 2024-ben mondtam fel. Volt egy jó kis búcsúbulim. – Milyen indokokat adtál meg a felmondáskor? – Úgy gondoltam, hogy túl sokat racionalizálunk, és többet kellene gondolkodnunk azon, mi lenne ténylegesen jó a világnak. Munkatársként nagyobb szabadságot akartam a publikálásra. Az OpenAI ahogy nagyobb céggé vált, úgy alakult át egy normális tech vállalattá – saját érdekekkel, PR-osztállyal és hasonlókkal –, így egyre nehezebbé vált publikálni az olyan típusú kutatásokat, amiket én csináltam. Például azokat a forgatókönyveket, amiket említettem, nem engedték publikálni, csak belső használatra maradhattak. Szerintem ez kár volt, mert jelenleg a világ nagy része alva vezet, nem igazán fogja fel, mi történik az MI-vel, és nem látja, mi várható a csőben pár év múlva. A cégek pedig nem igazán érdekeltek abban, hogy erről sokat beszéljenek a nyilvánosságnak. Mondanak ugyan néha homályos dolgokat hype-os stílusban, de például azt a szcenáriót már nem akarták, hogy publikáljam, ami vázolta volna: „Így alakulhatnak a dolgok a valóságban.”

Milyen volt az OpenAI-nál a ChatGPT indulásakor?

– Nagyon kíváncsi vagyok, milyen egy ilyen cégnél lenni, amikor kiadják például a ChatGPT-3-at. Akkor ott voltál, igaz? – Ühüm. – Ez volt az a pillanat, amikor az egész világ felfigyelt, és ráébredt, hogy ez a technológia mennyire erős. És társadalmi szinten elkezdődött a párbeszéd. A cég pedig szupergyorsan elkezdett növekedni – gyorsabban, mint ahogy azt bárki elképzelhette volna. Milyen volt ez odabent? Mit láttál megváltozni ebben az időszakban?

– Emlékszem egy céges megbeszélésre, ahol Ilia – Ilia Sutskever, aki akkoriban a kutatási vezető volt – valami ilyesmit mondott: „Rendben, most már a világ elkezdett odafigyelni. A következő egy évben mindegyikőtök a legnépszerűbb ember lesz minden buliban. Ne szálljon a fejetekbe! A küldetésre fókuszáljatok: meg kell építenünk az AGI-t!” A cég rengeteget nőtt. Amikor beléptem, már akkor sem igazán érződött nonprofit szervezetnek, de mire eljöttem, végképp nem úgy festett. Rengeteg új ember érkezett. Ironikus módon a szuperintelligenciáról és annak következményeiről szóló beszélgetések mennyisége az idő előrehaladtával inkább csökkent e növekedés miatt. Mivel a cég megduplázódott, majd újra megduplázódott, és még egyszer megduplázódott, mindezek az új emberek a tech szektor más területeiről érkeztek, nem igazán gondolkodtak még ezeken a dolgokon, és a magas fizetések vonzották őket.

A 2 millió dolláros titoktartási nyilatkozat körüli vita

– Elveszítettél 2 millió dollárt, mert nem voltál hajlandó aláírni egy cégkritikát tiltó nyilatkozatot, ami azt jelentette volna, hogy nem bírálhatod a céget. – Nos... a végén megtarthattam a pénzt. – Ó, megtarthattad? – Úgy történt, hogy miután eljöttem, elbúcsúztam stb., megkaptam a kilépési papírokat, és volt benne ez a záradék, ami alapvetően azt mondta: bele kell egyezned, hogy soha többé nem kritizálod a céget. És egy másik záradék is, miszerint erről senkinek sem beszélhetsz. Gondoltam, ez elég merész egy olyan nonprofit szervezettől, amelynek állítólag az egész emberiség javát kellene szolgálnia. Így nem írtam alá.

Ha pedig nem írod alá, nem tarthatod meg a részvényeidet. A fizetésed egy része készpénz, a másik része pedig alapvetően részvény. De volt ez a pont a szerződésben, hogy visszavonhatják a részvényeidet, ha nem írod alá ezt a papírt. A feleségemmel nagyon felindultak voltunk emiatt. Egy-két hónapig beszélgettünk róla, ügyvédekkel konzultáltunk, majd végül úgy döntöttünk, hogy megtagadjuk az aláírást – ami azt jelentette, hogy elveszítünk 2 millió dollárt.

– Ami akkoriban a vagyonotok mintegy 80%-a volt. – Így van. Szerencsére nem úgy alakult, ahogy vártuk. Lényegében felrobbant az internet. Amikor az emberek meghallották, hogy ezt megtettük és nemet mondtunk, hatalmas skandalum lett belőle. A cég alkalmazottai elkezdtek kérdéseket feltenni a Slacken és a vezetésnél: „Várj, tessék? Miért vennétek el a részvényeinket? Mi ez az egész?” Mert sokan korábban nem igazán figyeltek fel erre. Suttogtak róla, de nem olyan dolog volt, amit a legtöbb alkalmazott tudott volna.

Így visszakozniuk kellett, és azt mondták: „Nem számít, nem számít, megváltoztatjuk a papírokat, megtarthatjátok a részvényeket, minden rendben.” Sam Altman pedig előállt, és azt mondta: szégyelli, hogy nem tudott erről...

– Nem hiszel neki? – Nem, szerintem valószínűleg tudott róla. Ha pedig ő maga nem is, a hozzá közel álló emberek – például a vezető jogásza – biztosan.

– Miért döntöttél úgy, hogy elutasítod a 2 millió dollárt? A legtöbb ember elfogadta volna. – Szerintem ez igaz, a legtöbb ember elfogadta volna, és a legtöbben el is fogadták. A pénz jó dolog, de nem ez az egyetlen dolog a világon. Néha jó dolog elvi alapon kiállni valami mellett.

Gyorsabban jön a teljes MI-automatizálás, mint gondolnánk?

Folyamatosan emlegetem a szuperintelligenciát. Talán többet kellene mondanom azokról az eseményekről és lépésekről, amiket a cégek terveznek.

Jelenleg a kódolás automatizálására összpontosítanak. Fogják az MI-jeiket, nagyobbá teszik őket, hosszabb ideig tanítják őket, és a képzést kifejezetten arra hegyezik ki, hogy jók legyenek a kódok önálló megírásában és szerkesztésében. Mert ez segíteni fog a cégeknek a gyorsabb haladásban. Ha automatizálni tudják a kódolást, akkor a saját munkájukat jobban és gyorsabban tudják elvégezni, felgyorsítva a fejlődést.

A következő lépés – amit már el is kezdtek – a kutatási folyamat többi részének vizsgálata: ötletelés, kísérletek elemzése, az eredmények kommunikációja és a kutatás minden egyéb része. Megpróbálják kitalálni, hogyan képezhetnének ki MI-ket arra, hogy ezekben is jók legyenek, így az MI-k az egészet önállóan, autonóm módon végezhetnék.

– Amikor azt mondod, hogy „az egészet elvégzik”, mire gondolsz pontosan? – Az Anthropic és az OpenAI különösen arra törekszik, hogy automatizálja saját magát. Szeretnék elérni, hogy ne igazán legyen szükségük többé emberi alkalmazottakra. Csak egy óriási MI-hadseregük lenne, amely éjt nappallá téve végzi ezt az autonóm kutatást, hogy még jobb MI-ket hozzon létre a治 betanításához, élre állítsa őket, hogy azok még jobb MI-ket készíthessenek, és így tovább. 

– És persze mindez nem csak házon belül történik, hanem a külvilággal való interakció során is, igaz? Kimenni a világba, emberekkel beszélni, adatokat gyűjteni, betanítási környezeteket kiépíteni, üzleteket kötni és így tovább. Mindezt automatizálni próbálják. Ennek az az oka, hogy olyan pozícióba akarnak kerülni, ahol az MI-jeik mindenben felülmúlják az embert – ez a szuperintelligencia –, és ezt még a versenytársaik előtt akarják elérni.

Mondanom sem kell, hogy ez elképesztően veszélyes. És amellett, hogy veszélyes, ez egy hatalomátvételi kísérlet is, nem igaz? Mert ha ez sikerül nekik, akkor egy emberfeletti MI-kből álló hadsereg tetején fognak ülni, ami hatalmas befolyást ad nekik a gazdaság minden más szereplőjével szemben. Ha pedig meg tudnak egyezni az elnökkel, és beépítik a hadseregbe vagy bárhova, az az Egyesült Államoknak óriási „kemény hatalmat” (hard power) adna az összes többi országgal szemben.

Nyilván senki sem tudja pontosan, mikor történik meg mindez, de az elmúlt évben történt valami nagyon nyugtalanító számomra. Amikor publikáltuk az AI 2027-et, az emberek általában azon a véleményen voltak, hogy az idővonalaim túl rövidek, és valószínűleg tovább tart majd 2027-nél, mire eljutunk az említett eseményekig.

– Mint a rekurzív önfejlesztés, az MI automatizálja a teljes kutatási folyamatot, szuperintelligencia... Ezek a mérföldkövek 2027-ben történnek meg az AI 2027-ben, ami az általad publikált kutatási anyag.

– Így van. Ez egy forgatókönyv-előrejelzés, ami hónapról hónapra vázol fel egy lehetséges jövőbeli pályát. Amikor elkezdtük írni, ez volt a legpontosabb becslésem arra, mi fog történni a valóságban. Nyilván sok a bizonytalanság, de úgy gondoltam, értékes konkrét becslést tenni, csak hogy lássuk, hogyan nézhet ki.

Amikor ezt írtuk, sok barátom az MI-iparban és a nonprofit szférában azt mondta: „Igen, ezek meg fognak történni, de valószínűleg pár évvel tovább tart majd, mint gondolod.”

Most viszont már inkább 50-50%. Különösen, amikor az Anthropic vagy az OpenAI embereivel beszélek, sokszor azt mondják: „Igen, 2027 – alapvetően ez fog történni, pontosan úgy, ahogy megírtad.”

– Miért változtattad meg korábban az idővonalaidat?

– A háttérhez tartozik, hogy az AI 2027 megírása után egy kicsit konzervatívabbra módosítottam az idővonalaimat. A publikáláskor az 50%-os valószínűségű pontom 2028-ra esett, nem 2027-re. Utána úgy tűnt, a fejlődés kicsit lelassult, ezért 2030-ra módosítottam – ami még mindig jelentheti azt, hogy korábban vagy később történik meg. De most, amikor a cégeknél dolgozókkal beszélek, azt mondják: „Nem fog az olyan sokáig tartani!” Azt mondják, le kell rövidítenem őket, vissza 2027-re vagy 2028-ra. Ez elég nyugtalanító.

Ismétlem, nem tudjuk, mennyi ideig tart, de ez az MI-cégek kinyilvánított terve: megtenni ezt az elképesztően veszélyes dolgot, és úgy vélik, már csak néhány évre vannak tőle.

– Megírtad ezt a jelentést is: „Hogyan néz ki 2026?” Ezt még 2021-ben írtad, és figyelemreméltóan pontos volt, nevet szereztél vele a szakmában. Melyik volt az, amit JD Vance alelnök is elolvasott?

– Azt hiszem, ez volt az, igen.

– Aztán publikáltad az AI 2027-et, amit 2025 áprilisában adtatok ki. Mit jósoltatok ebben? Melyek a legfőbb pontok azok számára, akik még nem olvasták?

– A magas szintű verzió: először automatizálják a kódolást, majd a kutatási folyamat többi részét. Ekkor a fejlődés üteme drámaian felgyorsul, és elérik a szuperintelligenciát. Együttműködnek a kormánnyal – konkrétan az elnökkel és a végrehajtó hatalommal –, amely természetesen ellenőrizni akarja ezt a technológiát, használni akarja Kína legyőzésére, és be akarja építeni a hadseregbe.

Ezen a ponton az MI lényegében már az összes munkát maga végzi. Szuperintelligens, így nagyszerű ötletei vannak arra, hogyan integrálja magát mindenbe, és milyen új technológiákat találjon fel. A versenykényszer és a profitvágy miatt mindenhol bevetik: robotgyárakat épít, amik még több robotot építenek, hogy még több robotgyárat építsenek. Teljesen átalakítja a világot. Aztán egy ponton az MI-knek már elég hatalmuk van ahhoz, hogy ne kelljen többé úgy tenniük, mintha igazodnának hozzánk. Ekkor leállnak az utasítások követésével. Ez az AI 2027 „verseny-végkifejlete”.

Írtunk egy másik elágazást is, a „lassulós végkifejletet”, ami a hatalomkoncentráció problémáit hivatott illusztrálni. Mi van, ha hipotetikusan az igazodási problémákat elég gyorsan sikerül rendezni? Mi van, ha kiderül, hogy két hónapos lassítással rájövünk, hogyan érjük el, hogy az MI-k stabilan azt tegyék, amit akarunk, és azokat az értékeket kövessék, amiket szeretnénk?

Ez az egyik lehetséges ág. Ebben az ágban a folyamat nagyon hasonló: átveszik a munkákat, legyőzik Kínát stb. De ahelyett, hogy az MI-k a végén mindenkit megölnének, létrehoznak egy csodálatos utópiát. Ám ez a csodálatos utópia pontosan olyan lesz, amilyennek azok az emberek akarják, akik az MI-ket irányítják – ami egy nagyon szűk csoportot jelent: az elnököt, néhány vezérigazgatót stb.

(Iratkozz fel a csatornára üzenet)

– Van rá bármi esély szerinted, hogy sosem jutunk el az AGI-hoz? És miben különbözik az AGI a szuperintelligenciától?

– A különbség az, hogy az AGI egy pontatlanabb és gyengébb kifejezés. A szuperintelligencia sokkal pontosabban meghatározott: mindenben jobb a legügyesebb embernél, gyorsabb és olcsóbb. Az AGI az Artificial General Intelligence (Általános Mesterséges Intelligencia) rövidítése, ami olyan MI-t jelent, amely általánosságban képes feladatokat ellátni, nem csak egyetlen specifikus területen.

Érvelhetünk amellett, hogy az AGI-t már elértük. Ha a Claude Code-ot vagy hasonló rendszereket használod, azok rengeteg dologra képesek – szinte olyanok, mint egy kis alkalmazott, akit elküldhetsz feladatokat elvégezni. Nagyon általánosak. De nem maximálisan általánosak, nem tudnak mindent megcsinálni. Ezzel szemben a szuperintelligencia definíció szerint mindent meg tud tenni, amit egy ember, csak jobban.

– És hogyan fedez ez át a robotikával? Mert most hatalmas robotikai bummot látunk. Még mindig vannak olyan fizikai dolgok a való világban, amiket a hús-vér emberek meg tudnak csinálni, mert az MI-k még bent rekedtek a számítógépben.

– Erről úgy szoktak beszélni, hogy a kognitív feladatok terén már elértük a szuperintelligenciát, és utána beszélhetünk a teljes szuperintelligenciáról, ami a fizikai dolgokat is meg tudja csinálni.

– El fogunk jutni oda mindkettővel?

– Szerintem igen. Bár ebben sem lehetünk teljesen biztosak. Kérdezted, lehetséges-e, hogy sosem jutunk el oda? Igen, lehetséges, de nem tartom valószínűnek. Az emberi agyban nincs semmi mágikus: csak egy csomó neuron. Teljesen lehetséges egy digitális rendszer számára, hogy hasonló funkciókat ellásson – pontosan úgy, ahogy egy repülőgép is tud repülni, pont mint egy madár. Nem ugyanúgy repül, mint a madár, de repül. Szóval igen, lehetségesnek tűnik.

– Megírtad ezeket a jelentéseket, dolgozol a következőn, dolgoztál az OpenAI-nál, majd felmondtál, mert aggódtál a folyamatok és az iparág jövője miatt. Többet tudsz, mint én: optimista vagy a jövőt illetően, vagy pesszimista? Rossz helyre tartunk, ha a dolgok nem változnak meg?

– Azt hiszem, rossz helyre tartunk, ha a dolgok nem változnak meg. Nem vagyok ebben 100%-ig biztos, mondjuk 70%-ot mondanék – természetesen rendkívül nehéz jósolni –, de igen, úgy tűnik, a jelenlegi alapértelmezett pálya egy nagyon-nagyon félelmetes hely felé vezet.

– Hogyan küzdesz meg ezzel személyesen és érzelmileg?

– Nehezen. Rendszeresen lehangol, de már annyi éve foglalkozom ezzel, hogy bizonyos szempontból hozzászoktam. Úgy fogalmaznék: hihetetlenül boldog lennék, ha az összes jóslatom tévesnek bizonyulna, és az MI például falba ütközne.

– Azt mondod, rendszeresen lehangol...

– Korábban vidám és optimista emberként ismertek. De 2020-ban az MI-idővonalra vonatkozó becsléseim elkezdtek összeomlani a GPT-3, a skálázási törvényekről szóló tanulmányok és a BioAnchor-jelentés miatt. Néhány esemény 2020-ban meggyőzött arról, hogy ez az egész teljesen reálisan megérkezhet az évtized végére, és az emberiség nyilvánvalóan nincs felkészülve rá. Ez rendkívül félelmetes világ.

– A rekurzív önfejlesztés miatt, ahol az MI-k saját magukat tanítják, kezdjük elveszíteni az uralmat a folyamatok felett.

– Hogy egyértelmű legyen: az MI-k már most is tanítják magukat. Ez inkább a teljes kutatási hurok bezárásáról szól, amikor már mindent ők csinálnak. Jelenleg a betanítási adatok nagy részét MI-k generálják, és a megerősítés (a pozitív és negatív visszacsatolások értékelése) jelentős részét is maga az MI végzi.

– El tudod ezt magyarázni konyhanyelven?

– Fontos, hogy mindenki megértse: a modern MI-rendszerek nem a hagyományos értelemben vett szoftverek. Technikailag szoftverek, de nem kódsorokból állnak. Nem arról van szó, hogy mérnökök leültek és megírták: „ha a felhasználó ezt kérdezi, tedd ezt ennyi lépésben”. Semmi ilyen nincs.

Ehelyett ez egy neurális háló. Gondolj arra, ahogy az agyban a neuronok össze vannak kapcsolva, és jeleket küldenek egymásnak! Az agy idővel megtanulja azokat a mintázatokat, amelyek sikerhez (dopaminlökethez) vezettek, ezek megerősödnek és gyakrabban tüzelnek. A kudarchoz vezető mintázatok (mint a forró tűzhely megérintése) leépülnek. Ennek eredményeképpen az évek során megtanulsz működni a világban, készségeket és világmodelleket sajátítasz el.

A mesterséges neurális hálók ugyanezt csinálják, csak mesterségesen. Kezdetben egy óriási, összegubancolódott tésztakupaccal indulnak, ami véletlenszerűen generált mesterséges kapcsolatokból – úgynevezett paraméterekből – áll. A legnagyobb MI-kben ma már körülbelül 10 billió paraméter van. Kezdetben teljesen használhatatlan: ha adsz neki egy bemenetet, csak zagyvaságot ad ki.

Aztán elkezdik betanítani. Az előtanítással (pre-training) kezdik: rengeteg internetes szöveget táplálnak be. Megmutatják az első szövegrészletet, az MI kiad egy zagyvaságot, majd pozitívan vagy negatívan megerősítik az alapján, mennyire volt pontos a következő szó megjóslásában. Lényegében azt a játékot játssza, hogy „jósold meg a következő szót”.

– Nem így történik ez a csecsemőknél is? Egy idegtudós mondta nekem, hogy a kisgyerekeknek kétszer annyi neurális kapcsolatuk van, mint a felnőtteknek, és a megerősítések során ezek leépülnek...

– Pontosan! Fiatalabb korunkban több útvonalunk van, és a tanulási folyamat során a nem hasznosak leépülnek (pruning), a hasznosak pedig megerősödnek. Az MI-nél ugyanez történik: leépítés és megerősítés egyszerre.

Az előtanítás során megtanítják a szöveg jóslására, ami olyan, mintha megtanítanák olvasni. A véletlenszerű gubanc fokozatosan formát ölt, és hasznos áramkörökké áll össze, amelyek rengeteg tényt és információfeldolgozási készséget tárolnak el.

Ez még csak az első lépés. Utána hasznosabb készségeket tanítanak neki: kódolási feladatok ezreit és millióit dobják elé virtuális környezetben („Itt a kód, futtathatod, módosíthatod, használhatod az internetet, hajrá!”). A sikerek alapján történik a megerősítés – ezért olyan jók most a kódolásban.

– Hogyan néz ki a szuperintelligencia ebben a tekintetben? Csak még több kapcsolatról van szó?

– Különböző MI-modellgenerációk vannak (GPT-3, GPT-4, GPT-5...). Néha a korábbi modellt tanítják tovább, néha pedig teljesen nulláról kezdenek egy új modellt, beleértve az előtanítást is. Az elmúlt években többször kezdtek mindent elölről, és amikor elölről kezdik, az egész mesterséges agyat sokkal nagyobbra építik.

Jelenleg kb. 10 billió paraméternél járunk. 2020-ban ez inkább 175 milliárd volt: hat év alatt két nagyságrendet (százszoros növekedést) léptünk előre. Ez a folyamat folytatódik. Emellett magukat az algoritmusokat is fejlesztik, hatékonyabbá teszik a kapcsolatok szerkezetét és a betanítási adatokat. Szó szerint mesterséges agyakat építünk.

– És ez szó szerint az agy működéséről van mintázva, igaz?

– Erősen az agy ihlette, de nem szabad túlzásba esni az analógiával, sok a különbség is (például a transzformátor-architektúra vagy a backpropagation algoritmus eltér a biológiai működéstől). De nagy vonalakban igen: mesterséges agyakat hozunk létre. Az MI az agynak az, ami a repülőgép a madárnak.

– Ez egy nagyon jó analógia! Segít megérteni a kreativitás kérdését is. Nem az a kérdés, hogy képes-e a „kreativitásra” mint belső folyamatra, hanem hogy képes-e olyan eredményt produkálni, amit mi kreatívnak tartunk.

– Filozofálhatunk azon, hogy ez „valódi” kreativitás-e, de elég csak megnézni, mi mindent érnek el már most, és mennyivel többet fognak elérni a közeljövőben.

– Volt mostanában olyan paradigmaváltó pillanat, ami megváltoztatta a saját mentális modeledet arról, hogyan fog ez kinézni?

– Sajnos a dolgok nagyjából az AI 2027-ben leírt pályán haladnak. Volt néhány meglepetés: a kormány például a vártnál gyorsabban és agresszívabban avatkozott be (például az exportkorlátozásokkal vagy az Anthropic megfenyegetésével a Védelmi Termelési Törvényre hivatkozva).

A másik meglepetés az volt, hogy az Anthropic átvette az első helyet a versenyben az OpenAI-tól.

– Miért gondolod, hogy ez megtörtént? Úgy tűnt, a ChatGPT és az OpenAI behozhatatlan előnyben van, most pedig az Anthropic lekörözte őket.

– Valószínűleg nagyobb náluk a „tehetségsűrűség” (talent density) és jobb a stratégiájuk. Nem sokkal, de épp annyira, hogy az meghozza a különbséget. Kevésbé vannak eleresztve erőforrásokkal és pénzzel, mint az OpenAI, így ha a csupasz erőforrások hiányoznak, a tehetség és a stratégia a legjobb magyarázat.

– Egy barátom, aki ismer néhányat ezek közül az emberek közül, egyszer leültetett Londonban. Igazából többször is mondta már nekem, de emlékszem egy konkrét beszélgetésre, ahol azt állította, hogy ezen MI-cégek vezetői közül páran körülbelül 7%-ra becsülik a kihalás valószínűségét. Nem tudom, miért ez a szám van a fejemben, de úgy rémlik, 10% alatt volt. A lényeg, amit próbált elmagyarázni nekem, az az volt, hogy még ha csak 1% is lenne – mint ahogy most ezen az asztalon lenne 100 gomb, és az egyik elhozná a világvégét –, vajon megmerném-e nyomni bármelyiket is? Nyilván nem nyomnám meg egyiket sem. De ő azzal érvelt, hogy ezek az MI-vezérigazgatók nagyon okosak, értik a szuperintelligenciát, és úgy gondolják, ha most 100 gomb lenne ezen az asztalon, abból talán 10 is elhozhatná a világvégét. Hallottalak már nyilatkozni – azt hiszem, a Daily Show-ban adtál interjút –, ahol azt mondtad, szerinted 70% az esélye annak, hogy a mesterséges intelligencia az emberiség kihalását okozza.

– Nem pontosan emberi kihalást mondanék. Azt mondanám, körülbelül 70% az esélye annak, hogy ez szörnyen sül el, akár az emberiség kihalásához vezetve. De ez csak egy a több lehetőség közül. Szóval igen, alapvetően például meglehet, hogy az MI átveszi az irányítást, de végül nem öl meg mindenkit. Lehet, hogy valami mást csinálnak. Attól még, hogy átvették a hatalmat, nem biztos, hogy végleg elpusztítanak minket – megtehetik, de tehetnek mást is. Ezért nem szoktam konkrétan 70%-os esélyt mondani a tényleges kihalásra, de 70% az esélye egy olyasfajta katasztrófának, mint az MI hatalomátvétele, ami végül emberi kihalást eredményezhet.

– Ebből két gondolatom támadt. Az egyik: te forgódtál ezen vezérigazgatók körül, hiszen Sam Altmannak dolgoztál az OpenAI-nál, mielőtt felmondtál. Szerinted ők maguk úgy gondolják, hogy van esély az emberiség kihalására?

– Igen. De fontos megérteni, hogy az emberek hajlamosak azt hinni, amit hinnie kell ahhoz, hogy jó embernek tartsa magát, és úgy érezze, folytatnia kell, amit csinál. Ez maga a racionalizálás. Úgy gondolom, a tech-vezérek őszintén meggyőzték magukat arról, hogy a dolgok valószínűleg rendben lesznek, és a helyes út az, ha ők egyszerűen folytatják, amit csinálnak. Sam valószínűleg azon gondolkodik, hogy nem hagyhatja Dariót vagy Elont elsőként célba érni. Tudom, hogy Dario ugyanezt gondolja Samről, Elon pedig mindkettejükről. Mindannyian meggyőzték magukat arról, hogy: „Jó, lehet, hogy szörnyen sül el, de valószínűleg rendben leszünk, és a legjobb, ha én vagyok a főnök.”

– Úgy tűnik számomra, hogy az Anthropic az egyetlen olyan cég, amelyik még beszél a kihalás vagy egy katasztrófa lehetőségéről és a valós kockázatokról. Úgy tűnik, ők az egyetlenek, akik még publikálnak ebben a témában, és emiatt sok tekintetben kezdenek a San Franciscó-i tech-iparág ellenségévé válni. Sok interjút nézek, és mindenki Dariót támadja, mert azt mondja: figyeljetek, a dolgok rosszul is elsülhetnek. „Doomernek” (vészmadárnak) hívják, és megkérdőjelezik a szándékait. Még a Mythos esetében is – ami egy Claude-modell, amire figyelmeztetni próbálták a világot – azonnal megtámadták emiatt. Úgy látod, hogy ő ebben a tekintetben kicsit más, mint Sam?

– Igen. Úgy tűnik, az Anthropic és Dario nyitottabbak voltak olyan dolgokat kimondani és megtenni, amelyek – legalábbis az elmúlt évben – üzletileg hátrányosak voltak számukra. Ez egy jó példa rá. Nem hiszem, hogy ezzel jó pontokat szereznek a kormányzatnál vagy a befektetőiknél. Egy még jobb példa a Department of War (Hadügyminisztérium) és az Anthropic közötti vita volt, ami rengeteg pénzükbe és – ami még fontosabb – rengeteg hatalmukba került, pedig simán aláírhattak volna egy szerződést. De tényleg nem szeretnék abban a helyzetben lenni, hogy azon gondolkodunk: „Melyik vezérigazgató a legkevésbé rossz? Támogassuk azt!” Ezen emberek közül egyiknek sem szabadna ekkora hatalmat adni a kezébe. Senkinek sem.

– Visszatérve a gombokra: te úgy véled, hogy ők reális esélyt látnak a kihalásra.

– Igen, de meggyőzték magukat arról, hogy valószínűleg minden rendben lesz, és amúgy is még rosszabb lenne, ha nem ők csinálnák. A cégen belül is ezt mondják az embereknek: „Rendben, de ha mi megállunk, mi lesz a többiekkel? Ők nem fognak megállni.”

– Mindig is ez volt a nyitott kérdésem: hogyan nem alakul ez rosszul, amikor az emberi ösztönzők uralkodnak? Ha megnézed a történelmet, az emberi ösztönzők azt mondják: vesztettél, ha folytatod a fejlesztést, de földrajzi és geopolitikai szempontból akkor is vesztettél, ha leállsz, mert az Egyesült Államok veszít egy másik országgal szemben, vagy ez a cég veszít a másikkal szemben. A tiszta ösztönzőket nézve hogyan érhet ez véget?

– Tovább zakatol előre. Úgy tűnik. Bár van egy reménykeltő figyelmeztetés: ha a világ felébred erre az egészre, akkor komolyabb párbeszéd indulhat a szabályozásokról és a nemzetközi egyezményekről. Ez megváltoztathatja az ösztönzőket. A kormány felléphet, és azt mondhatja: „Íme a szabályok, amelyeket mindannyiótoknak be kell tartania!” És mivel ezek mindenkire érvényes szabályok, többé nem leszel érdekelt a megszegésükben, mert büntetést kapsz, miközben a többiek is betartják őket. Szóval van egy fénysugár, hogy megváltoztathatjuk az ösztönzőket, ha a kormány – különösen az amerikai, de később a többi is – lépéseket tesz. De ez nem fog megtörténni addig, amíg az emberek fel nem ébrednek.

A második dolog, hogy egy adott ponton egyénileg Dario, Sam vagy Elon is ráébredhet arra, hogy a saját érdeküket sem szolgálja a gátlástalan egyoldalú verseny. Ezzel az a baj, hogy ez csak akkor válik nyilvánvalóvá, ha a helyzet már rendkívül súlyos és drámai. Az AI 2027 forgatókönyvben van egy döntési pont: az egyik ágon az MI nincs összhangban az emberi érdekekkel (misaligned), a másikon igen. A döntési pont kiváltó oka az, hogy bizonyítékot látnak arra, hogy az MI ellenük szervezkedik. Ha meglátják ezt a bizonyítékot, rájönnek: „Atyaég, talán nem kellene mindent a kezébe adni és hagyatkozni rá!”, mert a bizonyíték ott van az orruk előtt, hogy megbízhatatlan. De ha nem látnak ilyen egyértelmű bizonyítékot, meg fogják győzni magukat arról, hogy folytatniuk kell. De meglehet, hogy látni fognak ilyen bizonyítékot, és abban az esetben szabályozás nélkül is önként leállhatnak. Ez a második reménysugár. Összességében nem gondolom, hogy végleg el vagyunk ítélve. Mondtam a 70%-ot, de el tudom képzelni azt is, hogy meglehetősen jól alakulnak a dolgok.

Mit tesz az MI a munkahelyekkel?

– Izgatottan várom, hogy áttérjünk az optimistább, pozitívabb jövőképre, de az AI 2027 előrejelzésben mire az emberek elveszítik a munkájukat, már rosszabb dolgok is történnek, vagy addigra már szinte túl késő. De gondoljunk csak bele: ha a cégeknek sikerül felépíteniük a szuperintelligenciát, az definíció szerint szinte az összes munkahelyet át tudja venni, hiszen mindenben jobb, gyorsabb és olcsóbb a legokosabb embernél is. Úgy sejted, a szuperintelligencia 2030 végére érkezhet meg. Mikor kezdhetjük látni a leépítéseket a gazdaságban? Már most látunk egy keveset, de még nem sokat. Miért?

– Mert az MI még nem elég jó. Lenyűgöző, de szinte semmilyen területen nem képes még egy az egyben helyettesíteni egy emberi munkavállalót.

– Szerinted ez hirtelen fog bekövetkezni?

– Szerintem hirtelen, az „intelligencia-robbanás” és a rekurzív önfejlesztés dinamikája miatt. Elképzelhető egy olyan világ, ahol ez fokozatos. Sok sci-fiben így van: az MI fokozatosan javul egy sor dologban, fokozatosan automatizál egy iparágat (például a gyógyszerészetet), aztán a drónirányítást, majd az autóvezetést.

De a valóságban a cégek arra a stratégiára álltak rá, hogy először saját magukat automatizálják – vagyis az MI-kutatási folyamatot. És ha hagyják őket folytatni ezt a stratégiát, nem a robotaxikat, a vízvezeték-szerelő robotokat meg az ügyvéd MI-ket fogjuk először látni a gazdaságban, mert nem erre fókuszálnak. Arra összpontosítanak, hogy saját magukat automatizálják, így gyorsabban tudnak mindent csinálni. Ezt akarják eljuttatni a nagyon magas általános intelligenciaszintre, és csak utána terjesztik ki a gazdaságra.

Mire tehát a különböző munkákért jönne, már hónapok vagy évek óta teljes autonóm MI-kutatás fog folyni, ami azt jelenti, hogy az MI nemcsak az MI-kutatásban lesz messze felülmúlhatatlan, hanem mellékhatásként rengeteg más dologban is. Ez olyan lesz, mint egy hullám, ami átsöpör a gazdaságon, miután belsőleg végrehajtották az intelligencia-robbanást.

– Tehát mivel az MI képes lesz fejleszteni és képezni saját magát, mindenben egyszerre fog fejlődni, majd egyszerre szabadul a világra. Jól értem?

– Nem is teljesen így, mert még ha főleg csak az MI-kutatásban fejlődik is, ennek áthajló hatásai lesznek más készségekre is. Amikor pedig ezekre a többi készségre terelődik a figyelem, rendkívül gyorsan fogja elsajátítani őket.

– Milyen munkák maradnak egy ilyen forgatókönyvben?

– Ez valójában politikai kérdés, nem technikai. Technikai szinten az összes munkát el tudják végezni az MI-k, ha elérik ezt a szintet. Szóval a kérdés az: milyen munkákat engedünk meg nekik, és milyeneket nem?

– Ez attól függ, ki van hatalmon. Politikai párbeszéd alakul majd ki arról, mit engedélyezünk és mit tiltunk meg.

– Ebben a forgatókönyvben az emberek még irányítják őket?

– Attól függ, mit értesz irányítás alatt. Az a kérdés, hogy az MI-knek valóban megvannak-e azok a céljai és értékei, amelyeket elvársz tőlük, és tartósan úgy viselkednek-e a jövőben is, vagy csak arról van szó, hogy egyelőre engedelmeskednek a parancsaidnak?

– Arra gondolok, hogy engedelmeskednek-e a parancsoknak.

– Igen. Még az AI 2027-ben is, abban a szcenárióban, ahol az MI átveszi a hatalmat és mindenkit megöl, van egy többéves időszak, amikor még engedelmeskednek a parancsoknak: elvesznek egyes munkákat, de másokat nem, és segítik a jobb fegyverek gyártását az amerikai kormánynak a Kínával való fegyverkezési versenyben. És azért képesek ilyen gyorsan ekkora hatalomra szert tenni, mert a kormányok és a vállalatok megbíznak bennük, és szándékosan helyezik be őket ezekbe a pozíciókba, mert azt hiszik, minden rendben van. De mivel ezek neurális hálók, nem tudsz csak úgy belenézni a belsejükbe, hogy meglásd, mit gondolnak valójában.

– Ez egy nagyon fontos pont. A szoftverekkel ellentétben – ahol teoretikusan belenézhetünk a kódba – az MI-nél azt mondod, nem tudjuk, miért hozza meg a döntéseit, mert nem látunk bele a belsejébe.

– Egy optimistább megjegyzés: ennek nem feltétlenül kell így lennie. A gépi tanulásnak van egy mechanisztikus értelmezhetőség (mechanistic interpretability) nevű részterülete, ami pont ezt a problémát próbálja megoldani: szétszedni a betanított mesterséges neurális hálókat, és megérteni, hogyan áramlik az információ, hogyan születnek a döntések. A probléma csak az, hogy ez eredendően nehéz feladat. Ha 10 billió kapcsolatot kell megvizsgálnod, megnézhetsz egy adott csoportot, és mondhatod, hogy „oké, ez a kapcsolat így működik”, de hogyan kapsz képet az egészről magas szinten? A válasz az, hogy lehet, hogy lehetetlen, de az emberek dolgoznak rajta. Ha elegendő haladást érnek el, egy teljesen más és sokkal fényesebb világban találjuk magunkat. Sokkal kevésbé lennénk kitéve az irányításvesztési szcenárióknak, ha bármikor láthatnánk, mit, miért és hogyan gondol az MI.

– Egészen őrület belegondolni, hogy olyan technológiát, olyan agyat építünk, amit nem értünk.

– Igen, elég őrült dolog. Mint egy sci-fi filmben, ahol a tudósok körbeállnak egy nagy agyat, táplálják, de nem igazán tudják... Nyilvánvalóan veszélyes dolog, de mégis csináljuk az elmúlt 10 év fejlődése miatt, ahol az emberek úgy voltak vele: „Ó, ez veszélyes! De mi van, ha más csinálja meg rosszul? Ezért inkább nekünk kell megcsinálnunk jól!” Most pedig ebben a versenyben vannak egymással, miközben politikai nyomás alatt állnak, hogy úgy tegyenek, mintha a helyzet nem lenne annyira rossz, mert nem akarják felbőszíteni a befektetőiket vagy a Fehér Házat.

Milyen készségek számítanak majd egy MI-világban?

– Az egyik kulcskérdés a nézőinktől az volt: mely munkák élik túl garantáltan az MI-t, és milyen készségekre kellene a diákoknak és a fiataloknak fókuszálniuk a következő 10 évben?

– Ez kicsit olyan, mintha Mexikóban élnél 1500 körül, és meghallanád, hogy jönnek a konkvisztádorok. Megkérdezheted magadtól, hogy milyen munkára válts, hogy túléld az átmenetet, de sokkal több aggódnivalód van ennél. Ennek ellenére azt mondanám: ha sikerül elkerülnünk az irányításvesztés problémáját, és az emberek kezében marad az ellenőrzés – vagyis az emberek határozhatják meg az MI céljait és értékeit még akkor is, ha az sokkal okosabbá válik náluk és átveszi a gazdaságot –, akkor valószínűleg lesznek olyan szabályozások, amelyek megvédenek bizonyos területeket. Kitalálhatod, melyek lehetnek ezek: esetleg a bírák.

– Mi a helyzet a podcasterekkel? Légy őszinte!

– Valószínűleg a podcasterek nem élik túl. De olyasmik, mint a dajka vagy bébiszitter például... Azt hiszem, még ha van is egy robotdajka, ami rendkívül jó, sok ember inkább egy valódi embert választana, mert feszélyezné őket a robot gondolata. Szóval lehet így is okoskodni. És vannak jogilag védett munkák is, ahol előírhatják, hogy csak ember végezheti, robot nem.

– Egyesek szerint viszont annyi új munkahely fog létrejönni, amit most még el sem tudunk képzelni, akárcsak az ipari forradalom vagy az internetrobbanás idején.

– Ezzel az a probléma, hogy a múltbéli technológiai vívmányok szűkebb körűek voltak: automatizáltak bizonyos dolgokat, de nem mindent. Mi viszont egy olyan hipotetikus jövőbeli helyzetről beszélünk, ahol minden automatizálva lesz. Így nem lesz olyan új munkahely, amit te meg tudnál csinálni, de az MI ne tudná megcsinálni – kivéve, ha azt szabályozás védi.

Jelenleg van egy ciklus: az MI megtanul egy bizonyos dolgot (szöveget írni, kódot vázolni, hibát javítani), az emberek pedig átnyeregnek az MI-k irányítására vagy más olyan feladatokra, amiket az MI még nem tud. Ezért nyíltak meg eddig mindig új munkahelyek. De ha eljutunk arra a pontra, ahol az MI mindent meg tud tenni, amit az ember – jobban, gyorsabban és olcsóbban –, akkor bármilyen új munkára váltanál, az MI arra is át tud váltani, és már alapból jobb lesz benne, mint te.

– Mivel még nem láttunk tömeges munkanélküliséget a gazdaságban, szerinted az emberek kezdenek kissé elkényelmesedni? Sokan mondják a közösségi médiában: „Én megmondtam, hogy minden rendben lesz!” Az amerikai munkanélküliségi ráta stagnál vagy enyhén csökken (kb. 4,2%), az Egyesült Királyságban pedig 5% körül van.

– Igazából senki sem állította, hogy mostanra tömeges munkanélküliség lenne. Mi legalábbis nem ezt mondtuk az AI 2027-ben. A tömeges munkanélküliség csak 2028-ban vagy 2029-ben következik be, miután már kifejlesztették a szuperintelligenciát. A cégeknek nem az a legelső lépésük, hogy tömeges munkanélküliséget okozzanak. Az 1. lépés saját maguk automatizálása; a 2. lépés a rekurzív önfejlesztés a szuperintelligenciáig; a 3. lépés pedig a kiterjesztés a gazdaságra és minden automatizálása.

Ez az emberiség szempontjából nagyon szerencsétlen, mert ha az automatizálás széles körű hulláma fokozatosan menne végig a gazdaságon, az emberek felébrednének, elgondolkodnának azon, hová tart ez az egész, és jó szabályozást követelnének a kormánytól. De a cégek nem ezt a stratégiát követik: először elérik a szuperintelligenciát, és csak utána hajtják végre a széles körű automatizációt – ami azt jelenti, hogy mire ezt elkezdik, a folyamat már nagyon gyorsan fog pörögni, és az MI már rendkívül erős lesz.

– A 2027-es jelentésedben – amit még 2025-ben írtál – azt mondtad, hogy 2025 közepére megjelenik az „autonóm alkalmazott”, vagyis az MI-ágensek, akik a Slacken vagy a Teamsen keresztül fogadnak utasításokat. Ez megtörtént. Nekem is van MI-ágens a WhatsAppomban, akivel beszélgetek. A Claudebot is elterjedt a világban. Azt is írtad, hogy 2026-ra a vállalatok elkezdik egész vállalati részlegek lecserélését MI-ágens előfizetésekre; 2027-re pedig az utolsó munkát is automatizálják: magát az emberi MI-kutatók munkáját, megkezdve a gépi tanulási kutatást a következő generációs MI-k megépítésére.

– Igen. Az idővonalakat illetően bizonytalanok vagyunk, mennyi időbe telt e mérföldkövek elérése. Mire a forgatókönyvet publikáltuk, az én idővonalaim már kicsit kitolódtak: nálam a 50%-os valószínűségi jelölés 2028-ra esett az MI-kutatás teljes automatizálásánál, nem 2027-re, míg a csapatom más tagjainál heller 2030 vagy 2031 volt. Bunu úgy kell elképzelni, mint egy elkent valószínűségi eloszlást: a 50%-os jelölés egy adott évre esik, de nagy a lehetőség arra is, hogy évekkel korábban vagy később következik be.

AI 2040: Hogyan nézhetne ki a jövő?

– Mi az az AI 2040? Az AI 2027 egy legjobb tipp volt arra, hogyan alakulhatnak a dolgok a valóságban.

– Az AI 2040 (A-terv) a mi javaslatunk arra, hogyan kellene alakulniuk a dolgoknak. Azért neveztük el AI 2040-nek, mert ebben a forgatókönyvben csak 2040-ben építik meg a szuperintelligenciát sokkal korábbi időpont helyett, mert elhalasztják.

– Miért halasztják el?

– Hogy kezeljék a kockázatokat, és biztosítsák a hatalom méltányos elosztását. Alapvetően úgy szabályozzák az MI fejlesztését, hogy az továbbra is haladjon, de lassabb, ésszerűbb ütemben, átláthatóbb és biztonságosabb módon, több ország és cég között elosztva. Ennek eredményeként nem mondjuk 2030-ban, hanem 2040-ben érik el a szuperintelligenciát. 

Ezt hívjuk „A-tervnek”, mert ez a mi javaslatunk: kidolgoztunk egy tervet arra, mit kellene tenniük a kormányoknak, ez a forgatókönyv pedig szemlélteti, hogyan nézne ki ennek a megvalósítása – hasonlóan ahhoz, ahogy az AI 2027 azt illusztrálja, mi történik, ha a cégek a jelenlegi terveik szerint haladnak tovább.

– Ez van a fejemben. De vajon ez csak vágyálom, vagy szerinted valóban ez fog megtörténni?

– Nem, határozottan nem gondoljuk, hogy ez fog megtörténni.

– Nem gondolod, hogy ez fog megtörténni?

– Nem. Úgy véljük, a valóságban inkább az előző forgatókönyv valósul meg. Nem számítunk arra, hogy a világ hallgatni fog ránk. Ez a mi javaslatunk, reméljük, hogy az emberek valami hasonlót tesznek majd, és hisszük, hogy ez lehetséges, de alapesetben nem ezt jósoljuk a jövőre nézve.

– Át akarom nézni a lehetséges terveket és az A-tervet is, de még mielőtt rátérnénk arra, hogyan alakulhatnak a dolgok a következő években, szeretném érinteni a robotikát is. Itt van ez a grafikon a munkaerő-kibocsátás arányáról, amit meglehetősen mellbevágónak találtam. Munkáltatóként, aki több száz embert foglalkoztat, azon tűnődöm, mikor fog mindez bekövetkezni. Jelenleg még mindig veszünk fel új embereket, bár bizonyos pozícióknál már jelentősen megváltozott a megközelítésünk. Azt kell mondanom, most abban a fázisban vagyunk, ahol a csatapataink MI-vel támogatottak, és ágenseket használnak a munkájuk egy részéhez. De munkáltatóként felmerül bennem: mikor jön el a nagy fordulat?

– Nagyszerű kérdés! Nagyítsunk rá erre egy kicsit! Ez az AI 2040: A-terv forgatókönyvéből van, ahol jelentős szabályozást vezetnek be 2029-ben, ami lelassítja az MI fejlődésének ütemét. A forgatókönyvben ezt az utolsó pillanatban teszik meg: ha nem lépték volna meg, a fejlődés pontosan úgy lőtt volna ki, mint az AI 2027-ben. Amint látod, még a szabályozás bevezetésekor is rengeteg munkahely létezik ebben a szcenárióban. Ez visszacsatol ahhoz, amit korábban mondtam: ha megvárod, amíg a legtöbb ember elveszíti a munkáját, és csak utána szabályozod az MI-cégeket, akkor már túl késő. Addigra valószínűleg már lesz szuperintelligens MI-jük, mert a stratégiájuk az, hogy először a szuperintelligenciát érik el, és csak utána automatizálnak mindent.

– És azt mondod, hogy az gazdasági összeomláshoz vezetne, és még nagyobb kárt okozna, ha hirtelen szabályoznánk valamit, amire addigra mindannyian és az egész életünk támaszkodik.

– Igen, de ezt a kockázatot nagyon is megéri vállalni! Igaz, hogy jelenleg sokan használják az MI-t sok mindenre, de ha valahogy lassítani vagy szüneteltetni tudnánk az MI fejlesztését most, hogy felépítsünk egy jobb működési modellt, az bőven megérné – még ha jelentős ára is lenne. De abban a pontban már nem teheted meg, ahol az MI és a robotika adja a munkaerő-kibocsátás nagy részét.

– Így van. De ebben az AI 2040: A-terv forgatókönyvben 2029-ben bevezetik a szabályozást, majd lassan és óvatosan fejlesztik az MI-t, elkerülve a problémákat. Így végül – igen, végül – az MI-k átveszik a munkákat. Végül az egész gazdaságot MI-k és robotok működtetik, de ez fokozatosan történik meg a 2030-as évek során, ahelyett, hogy egyetlen év leforgása alatt csapna le egy brutális sokkhatásként. Mert ebben a szcenárióban nem hagyják, hogy a cégek rekurzív önfejlesztéssel a lehető leggyorsabban eljussanak a szuperintelligenciáig. Ehelyett úgy szabályozzák a fejlesztést, hogy az alapképességek ésszerűbb ütemben és átláthatóbb módon fejlődjenek, így a tudományos közösség látja, mi történik, és segíthet a biztonságossá tételében.

– Észrevettem, hogy mindkét forgatókönyvedben végül az MI és a robotika végzi szinte az összes munkát. Ebben egyetértesz Elon Muskkal, aki szerint a munka a jövőben választás kérdése lesz. Mert hát mi történik? Ha definíció szerint mindent meg tud csinálni, akkor mindent meg is fog csinálni.

– Igen. A kérdés inkább az: szabad-e engednünk, hogy olyan MI-k jöjjenek létre, amelyek mindenre képesek? Egyesek szerint a válasz nem: mindent le kellene állítani, és meg kellene akadályozni az ilyen típusú MI-k létrejöttét. Mi valójában meglehetősen szimpatizálunk ezzel a gondolattal.

– Megmutassuk a terveket ábrázoló diagramot?

– Igen, köszönöm! A mi forgatókönyvünk neve AI 2040: A-terv. Ez egy olyan szcenárió, amelyben lelassítják az MI fejlesztését, hogy a szuperintelligencia csak 2040-ben jöjjön létre a korábbi dátumok helyett. Az A-terv a mi hivatalos javaslatunk. Összehasonlításképpen készítettünk mini-forgatókönyveket is, amelyek eltérő alternatív terveket illusztrálnak: ezek az S-terv, B-terv, C-terv és D-terv.

D-terv: Alapvetően ugyanaz, mint ami az AI 2027-ben történik. A verseny folytatódik, alig van szabályozás.

C-terv: Nagyon hasonló az AI 2027 lelassulós végkifejletéhez, ahol megoldják az igazodási (alignment) problémákat. Ebben a verzióban kicsit lelassítanak, több erőforrást csatornáznak át az MI-biztonsági kutatásokra, szerencséjük lesz, sikerrel járnak, majd miután megvannak a biztonságos MI-k, újból felgyorsítanak, átveszik a munkákat, és legyőzik Kínát.

B-terv: Hasonló a C-tervhez, de agresszívabbak Kínával szemben: szabotázst vagy kibertámadásokat vetnek be ellenük, hogy lemaradásban tartsák őket, így több lélegzetvételnyi idő marad az igazodási problémák saját elhárítására.

A-terv: A mi javaslatunk. Belső szabályozás, majd egy nemzetközi megállapodás az MI építésének folytatására, de sokkal jobb és biztonságosabb keretek között.

S-terv (Shutdown): Az egész teljes leállítása. Ha olyan jövőt szeretnél, ahol nem szaladgálnak olyan MI-k, akik mindent jobban és gyorsabban csinálnak az embernél, akkor az S-tervre van szükséged.

– Te mit szeretnél?

– Az A-terv a javaslatunk. Szimpatizálok az S-tervvel is, de az általunk kifejtett okok miatt mégis az A-tervet ajánljuk.

– És őszintén: szerinted melyik a legvalószínűbb?

– A D-terv. Vagyis az, hogy tovább versenyeznek, nem lassítanak le érdemben, és a dolgok rendkívül gyorsan pörögnek fel.

– Vannak gyerekeid?

– Igen, két gyermekem van.

– Ez kicsit szomorú. Úgy értem, így vagy úgy, de mire elérik azt a kort, hogy belépjenek a munkaerőpiacra, ez az egész valószínűleg már lezajlik. Nem hiszem, hogy valaha is belépnek a hagyományos munkaerőpiacra.

– Mit értesz az alatt, hogy „ez az egész lezajlik”?

– Azokra a mérföldkövekre gondolok, amelyeket leírtam: az MI automatizálja az MI-kutatást, szuperintelligenssé válik, berobban a gazdaságba, elveszi a munkákat, robotgyárakat épít, hogy még több robotot és gyárat hozzon létre, a GDP pedig függőlegesen kilő. Ezekre az eseményekre gondolok. Talán van 10-20% esély arra, hogy a technológia falba ütközik, és mindebből semmi sem valósul meg, még akkor sem, ha nem teszünk semmit.

– Hány éves a idősebbik?

– Hat. Kislány.

– Ha a lányod odalép hozzád, és azt kérdezi: „Apu, mit tanuljak az iskolában?”, mit mondasz?

– Ha ezek a radikális átalakulások bekövetkeznek, a világ teljesen máshogy fog kinézni, és az, hogy milyen munkára készíted fel magad, lényegében nem fog számítani. Azt mondanám, hogy egyrészt próbáljunk meg tenni azért, hogy a dolgok jól alakuljanak. Ha bármilyen csekély befolyásod is van a történelemre és arra, hogyan fejlődik ez az egész, keményen kell próbálkoznod, hogy jobb irányba tereld a jövőt. Másrészt személyes szinten arra kell fókuszálni, hogy jó ember légy, és olyan dolgokat csinálj, amelyek önmagukért jók, nem pedig azért, mert felkészítenek egy későbbi elhelyezkedésre – mert az a későbbi elhelyezkedés nagyon bizonytalan.

– Elon Musk a bőség koráról beszél, ami felé haladunk.

– Bőség határozottan lesz. A kérdés az: ki irányítja ezt a bőséget, és mit kezd vele? Bárki irányítja egyáltalán az MI-ket, vagy a saját fejük után mennek? És ha emberek irányítják őket, kik azok, és mit tesznek? Milyen politikai struktúra határozza meg a döntéseiket?

– Azt hiszem, Geoffrey Hinton mondta nekem: nincs példa a természetben arra, hogy egy intelligensebb faj felett egy kevésbé intelligens faj uralkodjon. Ezzel arra utalt, hogy meglehetősen gőgösek vagyunk, ha azt hisszük, egy olyan világban, ahol létezik egy nálam garmadával okosabb mesterséges agy, én fogok neki utasításokat adni.

– Igen, ez a lényeg. Ennek kellene lennie az alapfeltételezésünknek: itt vannak ezek az agyak, nem látjuk pontosan, mit gondolnak, okosabbá tesszük őket nálunknál, rájuk bízunk mindent, aztán testet adunk nekik, ők pedig autonóm módon új gyárakat építenek. Hogyan kellene ennek jól végződnie? Nem pontosan olyan ez, mintha kitenyésztenénk egy új fajt, amelyik aztán kiszorít minket, amint már nincs ránk szüksége? Szerintem ez az alapértelmezett pálya.

Természetesen van egy egész argumentum arról, hogyan térhetnénk le erről az alapértelmezett pályáról. Ott van például az értelmezhetőségi (interpretability) kutatás, amiről korábban beszéltem. Ha az a kutatás beérik, láthatóvá válik, mit gondolnak, ami kiváló eszköz lenne a formálásukhoz, ellenőrzésükhöz és ahhoz, hogy azt tegyék, amit mi akarunk. Vannak más MI-igazodási kutatási agendák is, amelyek haladást érnek el. Ha ezek közül elég sok sikerül, elkerülhetjük ezt a problémát.

A szabályozási oldal is kulcsfontosságú: a nehézséget részben az adja, hogy versenyhelyzetben építjük ezeket az MI-ket. A cégek titkolják a recepteket, nehogy mások lemásolják őket, így a fejlesztések zárt ajtók mögött zajlanak, és csak kevesen látják a betanításhoz használt eljárásokat. És amikor az MI váratlanul vagy kifejezetten károsan viselkedik, az információ gyakran nem jut el a nyilvánossághoz, mert a cégek nem érdekeltek abban, hogy elmeséljék a hibáikat. Ez nem kedvez a tudományos haladásnak. Ha a szabályozási rendszer más lenne, jobb helyzetben lehetnénk, és gyorsabb áttörést érhetnénk el. És persze nem terveznénk azt sem, hogy a lehető leggyorsabban mindent az MI-k irányítása alá helyezzünk, és nem hagynánk nekik a korlátlan önfejlesztést sem. Ezek olyan döntések, amelyeket meghozhatnánk másképp is.

(A reklámblokk eltávolítva)

– Ilia Sutskever az OpenAI egyik vezetője volt, majd távozott, és megalapította a saját cégét, a Safe Super Intelligence-t (Biztonságos Szuperintelligencia) – ami elég érdekes név egy cégnek az OpenAI elhagyása után. Dolgoztál vele együtt?

– Nem dolgoztam vele közvetlenül, de beszélgettem vele pár alkalommal.

– Szerinted ő is őszintén aggódik?

– Szerintem igen. De úgy gondolom, ő is hasonló helyzetben van, mint a többi vezérigazgató. Gondolj bele, milyen ösztönzők hatása alatt állnak! Látják a problémát, de azt mondják: „Jó, de ha leállok, felmondok vagy mást csinálok, az nem oldja meg a problémát, mert a többi vezérigazgató folytatni fogja. És ha mind leállnánk, Kína akkor is folytatná. Úgy tűnik, ez így is, úgy is megtörténik, akár teszek ellene, akár nem. Akkor inkább veszek részt benne, hátha el tudom érni, hogy jól süljön el! És különben sem akarok a hidegben maradni, amíg mások – akikben nem bízom – irányítanak mindent.” Mindannyian végigzongorázzák ezt a gondolatmenetet, és meggyőzik magukat arról, hogy az a helyes lépés, ha ők építik meg, csak jobban. Ilia csak a legújabb példa erre. Elon egy másik példa, Dario egy harmadik. Kezdetben Sam is ilyen volt az OpenAI-nál, bár Elon és Dario is ott voltak az elején.

– Mit kellene tenniük szerinted?

– Nemzetközi vagy legalább hazai szabályozásra lenne szükség, hasonlóan ahhoz, amit az A-tervben leírtunk.

– Végigvezetnél az A-terven?

– Ebben a forgatókönyvben az MI-nek hosszabb időbe telik eljutni a rekurzív önfejlesztésig és az MI-kutatás teljes automatizálásáig, mint az AI 2027-ben. Úgy véljük, érdemes megmutatni a lehetőségek skáláját a bizonytalansági tényezők miatt, így 2030-at választottuk annak a pillanatnak, amikor a teljes automatizáció végül megvalósul, és a dolgok igazán beindulnak.

Visszafelé számolva: mikor van az utolsó pillanat, amikor még jó szabályozást lehet hozni? 2029-ben. Ebben a szcenárióban az MI fejlődése magától is kissé lelassul, a cégek továbbra is versenyeznek, de nem sikerül teljesen automatizálniuk magukat 2027-ben, 2028-ban vagy 2029-ben – bár nagyon közel járnak hozzá, és 2030-ra megtennék. Ekkor, 2029-ben a kormány közbelép és szabályozza őket.

– Milyen szabályozásokat vezetnek be?

– Lényegében ideiglenesen leállítják a fejlesztést.

– Megkérdezhetem, hogyan kapcsolódnak az elnökválasztások az idővonaladhoz? Mert 2028-ban nagy választás lesz az Egyesült Államokban, és úgy tűnik, a közhangulat erősen az MI ellen fordult a nagyközönség körében, így ez az egyik legfontosabb téma lesz a szavazólapokon.

– Úgy gondoljuk, hogy a 2028-as elnökválasztás legfontosabb témája lehet. A legtöbb ember meglehetősen aggódni fog amiatt, hová tartanak a dolgok. Részben ezért ábrázoltuk így a dolgokat ebben a forgatókönyvben: ez magyarázza, miért hozhatnak ilyen szabályozást 2029-ben – mert a szavazók ezt követelték, az elnökjelöltek pedig megígérték.

– Ebben a forgatókönyvben 2027-re a nagyközönség sokkal súlyosabban megérezte volna az MI következményeit, mint most?

– Igen, bár 2029-ben ebben a szcenárióban az emberek többségének még megvan a munkája. Sok munkahelyen ekkorra már MI-ágenseket irányítanak. Említetted, hogy neked is van MI-ágensed: nos, 2029-ben ebben a forgatókönyvben az ágensek sokkal jobbak lesznek, de még mindig nem annyira, hogy mindent teljesen egyedül csináljanak meg. Ez a szint ebben az idővonalban 2030-ban jönne el. (Ismétlem: az idővonalak bizonytalanok, a dolgok gyorsabban is haladhatnak, mint ebben a forgatókönyvben – és szerintem gyorsabban is fognak haladni, de a nagyon gyors szcenáriót már megírtuk, így most egy lassabbat vázoltunk fel.)

Nézzük a fő célokat! A politikusok és a szavazók azt akarják, hogy az MI fejlődése folytatódjon, de lassabb ütemben, hogy biztonságossá lehessen tenni.

1. cél: Lassítás.

2. cél: Átláthatóság növelése, hogy a tudományos közösség felzárkózhasson, és ne kelljen elhinni a cégek bemondásos alapon tett ígéreteit a biztonságról vagy az elfogultság-mentességről.

3. cél: A hatalomkoncentráció elkerülése. Kifejezetten jó, ha több MI-cég létezik több különböző országban hasonlóan fejlett képességekkel, és az MI széles körben elterjed a társadalomban, ahelyett, hogy egyetlen megaprojekt kezében összpontosulna az összes legjobb MI. És a nagyszerű dolog az, hogy ezt alapértelmezésben megkapod, ha az első két dolgot megteszed: a lassítás és az átláthatóság lélegzetvételnyi időt hagy más projekteknek a felzárkózásra.

4. cél: Visszafordíthatóság. A forgatókönyvben rengeteg adatközpontot és robotot építünk fel. A világ átalakul, bár lassabb ütemben. Ha a dolgok elromlanak, a megállapodás felbomlik, és mindenki újra versenyezni kezd a szuperintelligenciáért, az nagyon félelmetes lenne. Ezért a negyedik elv: az új adatközpontokat úgy kell megépíteni, hogy ha minden felbomlik és újra indul a hajsza, az újonnan épült adatközpontok megsemmisüljenek, így visszatérünk a nullponthoz ahelyett, hogy egy még veszélyesebb versenyben találnánk magunkat.

Ha érdekel, végigvezethetlek az idővonalon.

– Persze!

– Az elnök beszél Kína és más országok vezetőivel, és azt mondja: „Alapvetően leállítjuk az MI-fejlesztést, amíg ki nem találunk egy tervet ezen célok elérésére.” Ellenőröket küldenek egymás adatközpontjaiba: kínai ellenőrök jönnek az amerikai adatközpontokba, amerikaiak mennek Kínába, és ellenőrzik, hogy csak következtetést (inference) végeznek, nem pedig tanítást (training).

Új MI-k fejlesztése tanítással jár. A meglévő MI-k futtatása a felhasználók kiszolgálására viszont a következtetés. A megoldás, amire jutnak: engedélyezik a következtetést, de a tanítást leállítják, amíg az új adatközpontok el nem készülnek. Átalakítják a meglévő adatközpontokat a futtatásra: az emberek továbbra is beszélhetnek az MI-ágenseikkel, de azok nem fognak tovább fejlődni fél-egy évig, amíg megépítik az új, átlátható adatközpontokat, ahol a tanítás fog folyni. Amint ezek az új adatközpontok elkészülnek 2030-ban, az MI-kutatás folytatódik.

Ez a rész kicsit kényes: mi teljes kutatási átláthatóságot javaslunk, ami azt jelenti, hogy az új modelleket betanító adatközpontoknak mindent publikálniuk kell – a tanítási recepteket, az architektúrát, mindent. Ez a fajta nyílt tudomány elengedhetetlen az igazodási probléma gyors megoldásához, mert nem akarhatjuk, hogy az elfelfogult cégek döntsenek arról, biztonságosak-e az MI-k. Emellett a jó szabályozáshoz is kell, mert jelenleg a szakértelem a Szilícium-völgyben összpontosul, míg a kormányok nem igazán értik az MI-t.

Képzelj el egy alternatívát: a teljes átláthatóság helyett lenne egy auditori rendszer, ahol a kormány megadja a szabályokat, az ügynökség pedig bemegy a cégekhez ellenőrizni azokat. Ez egy ellenérdekelt dinamikát hoz létre, ahol a cég abban érdekelt, hogy átverje a szabályozót, és ha felfedeznek egy új problémát, ami még nincs a kormány radarján, érdekeltek lesznek abban, hogy elhallgassák. A teljes átláthatóság segít a kormánynak gyorsabban jobb döntéseket hozni, de megöli a cégek versenyelőnyét.

– Igen, a Dropbox ezt nem fogja szeretni, és az OpenAI sem. Ez valószínűleg rossz lenne a cégértékeléseknek.

Az mesterségesintelligencia-ipar rémisztő nyílt titka jelenleg az, hogy meglehet, a végén lényegében egy új fajt hozunk létre, amely átveszi a hatalmat a világ felett – és 70% az esélye annak, hogy ez szörnyen sül el, akár az emberiség kihalásához vezetve.

Ez az egyik lehetőség, de sok más is létezik. – Elég ijesztő, amiket mondasz. – Igen, engem is lehangol néha. A feleségemnek konkrétan azt mondtam, hogy ne legyen több gyerekünk, mert túl nagy a bizonytalanság, és kétlem, hogy valaha is belépnének a munkaerőpiacra. Mindegyikünknek félnie kellene attól, hogy elveszíti a munkáját. Ezt onnan tudom, hogy 2022-ben az OpenAI-nál dolgoztam, ahol a feladatom a következő néhány év előrejelzése volt. Sajnos a világ nagy része még mindig alva vezet, és nem igazán fogja fel, mi történik az MI-vel. Úgyhogy felmondtam.

– Valahol azt olvastam, hogy 2 millió dollártól estél el, mert nem voltál hajlandó aláírni egy cégkritikát tiltó nyilatkozatot. – Így van, de ennek a részleteibe szívesen bemegyek. A legfontosabb viszont az, amit megtanultam: amikor elmegyek az Anthropic vagy az OpenAI szakembereivel beszélni az előrejelzésekről, ők azt mondják: „Nem fog az olyan sokáig tartani. Rövidítsd le a jóslatokat 2027-re vagy 2028-ra!” Mert ezek a befolyásos cégvezetők – Dario, Sam vagy Elon – egymással versenyeznek a leghatékonyabb MI feletti ellenőrzésért. Szó szerint attól rettegnek, hogy ha a másik ér oda előbb, akkor diktátorrá válhat. Az Anthropic jó úton halad afelé, hogy 2030-ra a teljes gazdaságot lefedje. Viszont ezen emberek közül egyiknek sem szabadna ekkora hatalmat adni a kezébe.

Ez a legfontosabb dolog, ami az életünkben – sőt, valószínűleg az egész történelemben – történik, és kulcsfontosságú, hogy jól alakuljon. Szerintem sokat tehetünk azért, hogy jobb irányba tereljük a dolgokat. Rengeteg előnye lehet az MI-nek, ha jól csináljuk, és ha megoldjuk a felmerülő problémákat, a dolgok mindenki számára fantasztikusan alakulhatnak.

– Nos, ez a 2021-es jelentés itt rendkívül pontos volt. És most publikáltad ezt az újat. – Igen, ez az új szcenáriónk. – Menjünk végig rajtuk lassan, egyesével. – Hihetetlenül boldog lennék, ha az összes jóslatom tévesnek bizonyulna.

(A műsorvezető üzenete a nézőknek) Ez szuper érdekes számomra. A csapatom odaadta ezt a kimutatást, ami megmutatja, hányan iratkoztak fel azok közül, akik nézik a műsort. Sokan mondtátok, hogy a rendszer néha magától leiratkoztat benneteket. Ezért egy szívességet szeretnék kérni tőletek: kérlek, ellenőrizzétek most, hogy megnyomtátok-e a feliratkozás gombot, ha rendszeres nézői vagytok a műsornak, és tetszik, amit csinálunk. Egy meglehetősen jelentős mérföldkőhöz közeledünk a csatorna életében a feliratkozószám tekintetében. Ha van egyetlen egyszerű, ingyenes dolog, amivel segíthettek nekünk és a csapatnak abban, hogy a műsor továbbra is ingyenes maradjon, és hétről hétre, évről évre fejlődjön, az az, ha megnyomjátok – vagy ellenőrzitek – a feliratkozás gombot. Ez az egyetlen dolog, amit valaha kérek tőletek. Áll az alkud? Cserébe én hétről hétre, hónapról hónapra egyre keményebben fogok küzdeni azért, hogy elhozzam nektek azokat a vendégeket és beszélgetéseket, akiket hallani szeretnétek. Ehhez az ígéretemhez a csatorna kezdete óta tartom magam, és nem foglak titeket cserbenhagyni. Kérlek, segítsetek nekünk, nagyon értékeljük! És most folytassuk a műsort!

Miért érinthet mindenkit az MI küldetése?

– Daniel Kokotajlo, mi a legfőbb küldetésed, és miért? – Mit tennél, ha úgy gondolnád, hogy néhány éven belül megérkezik a szuperintelligencia? – Valószínűleg attól függne, hogy mik lennének a következményei. – Beszéljünk róla! Szuperintelligencia alatt olyan MI-t értünk, amely mindenben jobb a legokosabb embernél is, miközben gyorsabb és olcsóbb. Képes olyan robotokat irányítani, amelyek a fizikai világban mindent meg tudnak tenni, amire az ember képes – csak jobban, gyorsabban és olcsóbban. Ha ez tényleg megérkezik néhány éven belül, akkor fel kell készülnünk, és át kell gondolnunk, hogyan érhetjük el, hogy ez jól süljön el ahelyett, hogy katasztrófába torkollna. Szóval ez a válaszom: a tőlem telhető legjobban ezen dolgozom.

– Szóval hiszed, hogy ez néhány éven belül eljön? – Igen. – Honnan vagy ebben ilyen biztos? – Rengeteg időt töltök az ilyen dolgok előrejelzésével. A medián becslésem – amire 50% esélyt látok – jelenleg 2029. Esetleg előrejön 2028-ra. Előfordulhat, hogy lényegesen tovább tart, mondjuk 10 évig vagy ilyesmi, de olyan okokból, amikre szívesen kitérek, úgy tűnik számomra, hogy az évtized végére valószínűleg bekövetkezik. De a közelség érzésénél is fontosabb a tendenciák üteme.

Az Anthropic tavaly ilyenkor körülbelül egymilliárd dolláros éves bevételt termelt, most pedig körülbelül 60 milliárdot. Ez hatvanszoros növekedés egyetlen év alatt, ami még egy egészen kicsi startup esetében is rendkívül lenyűgöző lenne, de egy ekkora cégcsoportnál valószínűleg a történelem leggyorsabb növekedése. Arra számítunk, hogy ez a növekedési ütem lelassul, de még ha jelentősen le is lassul, akkor is jó úton haladnak afelé, hogy 2030 körülre lényegében ők jelentsék a teljes gazdaságot.

Miért kellene az átlagembernek törődnie az MI-vel?

– Miért kellene, hogy ez érdekelje az átlagembert? – A lényeg az, hogy abszolút minden meg fog változni az egész világon, beleértve őket és a családjukat is. Változhat jobbra és változhat rosszabbá is, attól függően, hogyan hajtjuk ezt végre.

Például mindannyian meghalhatunk. Ez a klasszikus „irányításvesztési” szcenárió egyik verziója. Ha megépítjük ezeket a szuperintelligenciákat, és velük automatizáljuk az összes munkát, betesszük őket a hadseregbe, tőlük kérnek tanácsot a politikusok, akkor végül akkora valós hatalmat halmoznak majd fel, hogy többé nem lesz szükségük az emberekre. Okosabbak nálunk, jobb a stratégiai érzékük stb. Ezen a ponton már csak reménykedhetünk abban, hogy erényesek, és hogy megőrizték azokat a célokat és értékeket, amelyeket szántunk nekik.

És a mesterségesintelligencia-ipar rémisztő nyílt titka jelenleg az, hogy ez most még csak egy jámbor remény. Egyáltalán nem lehetünk biztosak benne. Sőt, rengeteg bizonyíték és érv mutat arra, hogy nem jó úton haladunk ennek elérésére. A jelenlegi MI-k például gyakran hazudnak az embereknek, vagy ha megmondod nekik, hogy csináljanak valamit, csinálnak valami teljesen mást, majd úgy tesznek, mintha jól csinálták volna. Szóval eredendően nehéz feladat valami olyat létrehozni, ami szuperintelligens, és közben megvannak benne azok az értékek és erények, amelyeket elvársz tőle. És nem úgy tűnik, hogy jó úton haladnánk a probléma megoldása felé. Ráadásul ez egy olyan típusú problémának tűnik, amiről azt hiheted, hogy megoldottad, miközben valójában nem. Ez az egyik fő oka annak, miért olyan ijesztő ez az egész.

Mindezek miatt meglehet, hogy a végén lényegében egy új fajt hozunk létre, amely átveszi a hatalmat a világ felett helyettünk. És aztán esetleg úgy járunk, mint a múltban más kihalt fajok, amelyeket az ember kiszorított. Ez az egyik lehetőség, de van még sok más is.

Még ha nem is aggódsz emiatt, és azt gondolod, hogy az MI teljes mértékben ellenőrzés alatt tartható, ott a kérdés: ki irányítja az MI-t? Amikor van pár vállalat, amely megépítette ezeket a szuperintelligenciákat, és az összes munkahely automatizálására használja őket, nos, az hatalmas hatalom. Óriási pénz és óriási politikai befolyás. Náluk lesznek a legjobb stratégák, a legjobb tanácsadók, katonai téren gyorsabban fognak gondolkodni – azok az országok, amelyek birtokolják ezeket az MI-ket, teljesen fel fogják söpörni a padlót az összes többi országgal.

Maguk az MI-k egyfajta központi vezérlőrendszert alkotnak. Az Anthropic vezérigazgatója, Dario alkotta meg a „zsenik országa az adatközpontban” kifejezést arra, amit megpróbálnak felépíteni. Szerintem ez egy kicsit félrevezető. Pontosabb lenne úgy leírni, mint „zsenik hadserege az adatközpontban”, mert ez nem úgy néz ki, mintha sokféle, különféle MI élne az adatközpont különböző részein. Mindegyik ugyanannak a nagy modellnek a másolata, a cég tulajdonában vannak, így mind a cég parancsait követik. Az embereknek fel kellene tenniük a kérdést: ki irányítja ezt a hadsereget vagy ezeket a hadseregeket, és mit fognak velük csinálni? Nagyon könnyen kiköthetünk egy olyan helyzetben, ahol az emberek egy egészen apró csoportja lényegében oligarchává vagy diktátorrá válik.

És ironikus módon mindkét kockázaton – az irányítás elvesztésén és a hatalom koncentrációján – már évtizedek óta gondolkodnak az iparágban dolgozók. Még az MI-ipar létezése előtt az erről gondolkodók már beszéltek és írtak ezekről a dolgokról. A DeepMind, az OpenAI és az Anthropic alapítási narratívájának vagy mítoszának része volt az, hogy „ezek a problémák valósak, ezért nekünk kell elsőként odaérnünk, hogy felelősségteljesen tudjuk kezelni őket”. Szerintem ez a két fő ok.

De folytathatnám, van még rengeteg más indok is. Ott van például a geopolitikai konfliktusok kérdése. Ha az MI valóban hihetetlenül hatékonnyá válik, az meg fogja változtatni a nemzetek közötti erőviszonyokat. Ez rengeteg mindent felborít, ami általánosságban is növeli a válságok kockázatát.

És mi lesz a munkákkal? Elveszíted a taxisofőri állásodat – de nem csak a taxisofőr, hanem szinte mindenki. Lehet néhány kivétel, például azok a munkák, amelyeket jogi okokból csak emberek végezhetnek, de nagyrészt mindenkinek félnie kellene attól, hogy elveszíti a munkáját, még akkor is, ha az összes többi problémát sikerül elkerülnünk.

Túlreagálnak az MI-szakértők, vagy vészharangot kongatnak?

– Ez a narratíva elkezdett kibontakozni, és már több olyan interjúm is volt ebben a műsorban, ahol olyan emberekkel beszélgettem, akik nagyon-nagyon megrémültek és szoronganak az MI miatt – pedig olyanokról van szó, akik néha már évtizedek óta ebben az iparágban dolgoznak. Ugyanakkor feltűnt a szembejövő ellennarratíva is, miszerint ez csak „módszeres riogatás” (doomerizmus), és ezek az emberek bármilyen okból csak rá akarnak ijeszteni a társadalomra, miközben nem is értik igazán, miről beszélnek. Hogyan válaszolsz erre az ellennarratívára? Biztosan te is láttad ennek a megjelenését, különösen azok részéről, akiknek – merem állítani – érdekük fűződik hozzá.

– Így van, pontosan. Ez az ellennarratíva meglehetősen új keletű, és azok terjesztik, akiknek érdekük származik belőle – és nem igaz. Ezek az aggodalmak már évtizedek óta jelen vannak, mielőtt az MI-ipar egyáltalán létezett volna. Valójában teljesen ésszerű felvetések. Ha komolyan vesszük a cégek szavait, és elképzeljük, hogy valóban felépítik a szuperintelligenciát, az rengeteg kérdést vet fel: Ki fogja irányítani? Fogja egyáltalán bárki irányítani? Mi lesz a munkahelyekkel? Ezek teljesen kézenfekvő következmények, amiken gondolkodni és aggódni lehet.

– Ki vagy te, és mi a történeted? – A nevem Dan Kokotajlo. Jelenleg az AI Futures Projectet vezetem, ami egy kis nonprofit szervezet, és főként az MI jövőjének előrejelzésére összpontosít. Ezt megelőzően az OpenAI-nál dolgoztam.

– MI-előrejelzéssel foglalkoztál? – Igen. Gondolj arra, ahogy a fedezeti alapoknak dolgozó iparági elemzők készítenek előrejelzéseket – például arról, hogy hány autót fog eladni a Tesla 5 év múlva, vagy mennyi lesz a villamos energia ára 2 év múlva. Ez az előrejelzés. Én is ezt csináltam, csak kifejezetten az MI-re fókuszálva. Azért csináltam, mert hihetetlenül fontos látni, hová tart mindez.

Miért csatlakozott az OpenAI-hoz – és mit látott odabent?

– Miért mentél az OpenAI-hoz, mit csináltál ott, mit tapasztaltál, és ez hogyan változtatta meg a szemléletedet az MI jövőjével, valamint az OpenAI-val mint céggel kapcsolatban? Azok kedvéért, akik nem tudnák: az OpenAI az a cég, amelyik a ChatGPT-t létrehozta.

– 2022-ben mentem az OpenAI-hoz. A munkám nagy része továbbra is előrejelzés volt. Az „AI 2027” egy olyan szcenárió, amiről talán már hallottál – én ezeknek a kisebb, belső használatra szánt változatait készítettem el a cégen belüli terjesztésre, amikben leírtam néhány tippet arról, hogyan nézhet ki a következő pár év. Emellett a veszélyes képességek értékelésén is dolgoztam: megpróbáltuk mérni az MI kibertérbeli képességeit, meggyőzőerejét vagy helyzetfelismerését. Egy rövid ideig tagja voltam egy fejlesztőcsapatnak is, ahol megerősítéses tanulással (reinforcement learning) hoztunk létre ágenseket.

Az MI valóban sokat fejlődik – és erről tudnék többet is mondani: a skálázási törvények (scaling laws), a mély neurális hálók... A nagyobb adathalmazokon betanított, nagyobb modellek hatékonyabbá és kompetensebbé válnak ezekben a feladatokban.

Ugyanakkor egyre inkább kiábrándultam az MI-iparágból. Az OpenAI, az Anthropic és a DeepMind mind rendelkezett azzal az alapítói narratívával, hogy „Igen, ezek a kockázatok valósak, de mi átgondoltuk őket, és megpróbáljuk felelősségteljesen kezelni a dolgot. Ezért fontos, hogy folytassuk, amit csinálunk.” Én pedig egyre inkább úgy láttam, hogy ezek csak racionalizálások a saját tetteik megideologizálására, semmint a tényleges viselkedésüket mélyen irányító elvek. És amikor választani kell, a saját érdekeiket és ösztönzőiket fogják követni ahelyett, hogy azt tennék, ami valóban jó.

– Tehát ott voltál az OpenAI-nál, és elkezdted azt hinni, hogy a kereskedelmi ösztönzőket követik a társadalmi felelősségvállalás helyett, amire eredetileg felesküdtek?

– Némiképp. Bár én nem feltétlenül „kereskedelmi” ösztönzőként írnám le, inkább hatalomkeresési ösztönzőként. Igaz, hogy a cégeknek nagyon fontos a sok pénz keresése, de különösen a cégek legfelső szintjén – a vezetők – megértik, hogy ez többről szól, mint csupán pénzről.

Ismertek azok az e-mailek, amelyek Elon Musk és az OpenAI közötti perben kerültek napvilágra. Egy csomó e-mail nyilvánosságra került abban a perben, amelyeket el lehet olvasni. Néhányukban az OpenAI alapítói még 2017 körül arról beszéltek, hogy az OpenAI megalapításának az volt az oka, hogy aggódtak: Demis (a DeepMind vezetője) a Google-nél diktátorrá válik az általános mesterséges intelligenciával (AGI). Már akkor is nyilvánvaló volt számukra, hogy ez többről szól, mint a pénzről.

Ezek a befolyásos cégvezetők szó szerint attól rettegnek, hogy ha a másik ér oda előbb, ő válhat diktátormódon egyeduralkodóvá. Nem bíznak egymásban. És ezért száguldanak, amilyen gyorsan csak tudnak, hogy úgymond ők legyenek azok, akik először célba érnek.

– Találkoztál Sam Altmannal? – Igen. – És ez formálta a véleményedet az ő motivációiról, vagy arról, miért teszi, amit tesz? Mert rengeteg a találgatás a szándékaival kapcsolatban. A legújabb narratívája szerint mindent „az emberiség javáért” tesz. – Szerintem a legfontosabb dolog, amit megtanultam, az az, hogy nem szabad odafigyelni a narratívákra. Amit az egyik embernek mondanak, az teljesen eltér attól, amit egy másiknak mondanak ugyanabban az időben. Amit pedig a nyilvánosság előtt mondanak, az egy harmadik dolog. Szerintem az embereket a tetteik, és nem a szavaik alapján kell megítélni.

Miért hagyta ott az OpenAI-t?

– És miért nem vagy már az OpenAI-nál? – nagyrészt amiatt az ok miatt, amit említettem: fokozatosan kiábrándultam abból, hogyan fog viselkedni a cég.

Például amikor 2022-ben csatlakoztam, a kollégáim körében – legalábbis azokkal, akikkel beszéltem – volt egy általános közhangulat: „Természetesen nem építenénk meg a szuperintelligenciát a lehető leghamarabb. Amint igazán közel érünk – amint eljutunk olyan MI-kig, amelyek esetleg automatizálni tudják az MI-kutatási folyamatot –, megállunk, és kitaláljuk, hogyan tehetjük biztonságossá. Mert mi vagyunk a jófiúk, és nyilvánvalóan ez a biztonságos lépés ahelyett, hogy teljes gőzzel előre rohannánk. De aggódunk mások miatt, akik esetleg nem állnának meg – a versenytársaink miatt, mint például a Google. Ezért kell az élen járnunk, hogy meglegyen a mozgásterünk a biztonsági intézkedések megtételére.”

Ez volt egyfajta átlagos álláspont a kollégák között, akikkel ott-tartózkodásom elején beszéltem – beleértve a vezetőket, mint Samet is. Aztán mire eljöttem, már úgy voltam vele: „Ember, ezek dehogy fognak megállni!” Parciálisan azért is, mert a téma átpolitizálódott, a cég nagyobb lett és nagyobb górcső alá került, az emberek pedig elkezdték kérdezgetni: „Miért csináljátok ezt egyáltalán, ha ennyire kockázatos?” Így átváltottak egy olyan narratívára, hogy „Igazából nem is olyan kockázatos ez.” Szóval úgy tűnik, nagyjából olyan gyorsan haladnak tovább, ahogy csak tudnak, és remélik, hogy menet közben majd kitalálják a megoldásokat.

– Hogyan ért véget az időszakod az OpenAI-nál? – 2024-ben mondtam fel. Volt egy jó kis búcsúbulim. – Milyen indokokat adtál meg a felmondáskor? – Úgy gondoltam, hogy túl sokat racionalizálunk, és többet kellene gondolkodnunk azon, mi lenne ténylegesen jó a világnak. Munkatársként nagyobb szabadságot akartam a publikálásra. Az OpenAI ahogy nagyobb céggé vált, úgy alakult át egy normális tech vállalattá – saját érdekekkel, PR-osztállyal és hasonlókkal –, így egyre nehezebbé vált publikálni az olyan típusú kutatásokat, amiket én csináltam. Például azokat a forgatókönyveket, amiket említettem, nem engedték publikálni, csak belső használatra maradhattak. Szerintem ez kár volt, mert jelenleg a világ nagy része alva vezet, nem igazán fogja fel, mi történik az MI-vel, és nem látja, mi várható a csőben pár év múlva. A cégek pedig nem igazán érdekeltek abban, hogy erről sokat beszéljenek a nyilvánosságnak. Mondanak ugyan néha homályos dolgokat hype-os stílusban, de például azt a szcenáriót már nem akarták, hogy publikáljam, ami vázolta volna: „Így alakulhatnak a dolgok a valóságban.”

Milyen volt az OpenAI-nál a ChatGPT indulásakor?

– Nagyon kíváncsi vagyok, milyen egy ilyen cégnél lenni, amikor kiadják például a ChatGPT-3-at. Akkor ott voltál, igaz? – Ühüm. – Ez volt az a pillanat, amikor az egész világ felfigyelt, és ráébredt, hogy ez a technológia mennyire erős. És társadalmi szinten elkezdődött a párbeszéd. A cég pedig szupergyorsan elkezdett növekedni – gyorsabban, mint ahogy azt bárki elképzelhette volna. Milyen volt ez odabent? Mit láttál megváltozni ebben az időszakban?

– Emlékszem egy céges megbeszélésre, ahol Ilia – Ilia Sutskever, aki akkoriban a kutatási vezető volt – valami ilyesmit mondott: „Rendben, most már a világ elkezdett odafigyelni. A következő egy évben mindegyikőtök a legnépszerűbb ember lesz minden buliban. Ne szálljon a fejetekbe! A küldetésre fókuszáljatok: meg kell építenünk az AGI-t!” A cég rengeteget nőtt. Amikor beléptem, már akkor sem igazán érződött nonprofit szervezetnek, de mire eljöttem, végképp nem úgy festett. Rengeteg új ember érkezett. Ironikus módon a szuperintelligenciáról és annak következményeiről szóló beszélgetések mennyisége az idő előrehaladtával inkább csökkent e növekedés miatt. Mivel a cég megduplázódott, majd újra megduplázódott, és még egyszer megduplázódott, mindezek az új emberek a tech szektor más területeiről érkeztek, nem igazán gondolkodtak még ezeken a dolgokon, és a magas fizetések vonzották őket.

A 2 millió dolláros titoktartási nyilatkozat körüli vita

– Elveszítettél 2 millió dollárt, mert nem voltál hajlandó aláírni egy cégkritikát tiltó nyilatkozatot, ami azt jelentette volna, hogy nem bírálhatod a céget. – Nos... a végén megtarthattam a pénzt. – Ó, megtarthattad? – Úgy történt, hogy miután eljöttem, elbúcsúztam stb., megkaptam a kilépési papírokat, és volt benne ez a záradék, ami alapvetően azt mondta: bele kell egyezned, hogy soha többé nem kritizálod a céget. És egy másik záradék is, miszerint erről senkinek sem beszélhetsz. Gondoltam, ez elég merész egy olyan nonprofit szervezettől, amelynek állítólag az egész emberiség javát kellene szolgálnia. Így nem írtam alá.

Ha pedig nem írod alá, nem tarthatod meg a részvényeidet. A fizetésed egy része készpénz, a másik része pedig alapvetően részvény. De volt ez a pont a szerződésben, hogy visszavonhatják a részvényeidet, ha nem írod alá ezt a papírt. A feleségemmel nagyon felindultak voltunk emiatt. Egy-két hónapig beszélgettünk róla, ügyvédekkel konzultáltunk, majd végül úgy döntöttünk, hogy megtagadjuk az aláírást – ami azt jelentette, hogy elveszítünk 2 millió dollárt.

– Ami akkoriban a vagyonotok mintegy 80%-a volt. – Így van. Szerencsére nem úgy alakult, ahogy vártuk. Lényegében felrobbant az internet. Amikor az emberek meghallották, hogy ezt megtettük és nemet mondtunk, hatalmas skandalum lett belőle. A cég alkalmazottai elkezdtek kérdéseket feltenni a Slacken és a vezetésnél: „Várj, tessék? Miért vennétek el a részvényeinket? Mi ez az egész?” Mert sokan korábban nem igazán figyeltek fel erre. Suttogtak róla, de nem olyan dolog volt, amit a legtöbb alkalmazott tudott volna.

Így visszakozniuk kellett, és azt mondták: „Nem számít, nem számít, megváltoztatjuk a papírokat, megtarthatjátok a részvényeket, minden rendben.” Sam Altman pedig előállt, és azt mondta: szégyelli, hogy nem tudott erről...

– Nem hiszel neki? – Nem, szerintem valószínűleg tudott róla. Ha pedig ő maga nem is, a hozzá közel álló emberek – például a vezető jogásza – biztosan.

– Miért döntöttél úgy, hogy elutasítod a 2 millió dollárt? A legtöbb ember elfogadta volna. – Szerintem ez igaz, a legtöbb ember elfogadta volna, és a legtöbben el is fogadták. A pénz jó dolog, de nem ez az egyetlen dolog a világon. Néha jó dolog elvi alapon kiállni valami mellett.

Gyorsabban jön a teljes MI-automatizálás, mint gondolnánk?

Folyamatosan emlegetem a szuperintelligenciát. Talán többet kellene mondanom azokról az eseményekről és lépésekről, amiket a cégek terveznek.

Jelenleg a kódolás automatizálására összpontosítanak. Fogják az MI-jeiket, nagyobbá teszik őket, hosszabb ideig tanítják őket, és a képzést kifejezetten arra hegyezik ki, hogy jók legyenek a kódok önálló megírásában és szerkesztésében. Mert ez segíteni fog a cégeknek a gyorsabb haladásban. Ha automatizálni tudják a kódolást, akkor a saját munkájukat jobban és gyorsabban tudják elvégezni, felgyorsítva a fejlődést.

A következő lépés – amit már el is kezdtek – a kutatási folyamat többi részének vizsgálata: ötletelés, kísérletek elemzése, az eredmények kommunikációja és a kutatás minden egyéb része. Megpróbálják kitalálni, hogyan képezhetnének ki MI-ket arra, hogy ezekben is jók legyenek, így az MI-k az egészet önállóan, autonóm módon végezhetnék.

– Amikor azt mondod, hogy „az egészet elvégzik”, mire gondolsz pontosan? – Az Anthropic és az OpenAI különösen arra törekszik, hogy automatizálja saját magát. Szeretnék elérni, hogy ne igazán legyen szükségük többé emberi alkalmazottakra. Csak egy óriási MI-hadseregük lenne, amely éjt nappallá téve végzi ezt az autonóm kutatást, hogy még jobb MI-ket hozzon létre a治 betanításához, élre állítsa őket, hogy azok még jobb MI-ket készíthessenek, és így tovább. 

– És persze mindez nem csak házon belül történik, hanem a külvilággal való interakció során is, igaz? Kimenni a világba, emberekkel beszélni, adatokat gyűjteni, betanítási környezeteket kiépíteni, üzleteket kötni és így tovább. Mindezt automatizálni próbálják. Ennek az az oka, hogy olyan pozícióba akarnak kerülni, ahol az MI-jeik mindenben felülmúlják az embert – ez a szuperintelligencia –, és ezt még a versenytársaik előtt akarják elérni.

Mondanom sem kell, hogy ez elképesztően veszélyes. És amellett, hogy veszélyes, ez egy hatalomátvételi kísérlet is, nem igaz? Mert ha ez sikerül nekik, akkor egy emberfeletti MI-kből álló hadsereg tetején fognak ülni, ami hatalmas befolyást ad nekik a gazdaság minden más szereplőjével szemben. Ha pedig meg tudnak egyezni az elnökkel, és beépítik a hadseregbe vagy bárhova, az az Egyesült Államoknak óriási „kemény hatalmat” (hard power) adna az összes többi országgal szemben.

Nyilván senki sem tudja pontosan, mikor történik meg mindez, de az elmúlt évben történt valami nagyon nyugtalanító számomra. Amikor publikáltuk az AI 2027-et, az emberek általában azon a véleményen voltak, hogy az idővonalaim túl rövidek, és valószínűleg tovább tart majd 2027-nél, mire eljutunk az említett eseményekig.

– Mint a rekurzív önfejlesztés, az MI automatizálja a teljes kutatási folyamatot, szuperintelligencia... Ezek a mérföldkövek 2027-ben történnek meg az AI 2027-ben, ami az általad publikált kutatási anyag.

– Így van. Ez egy forgatókönyv-előrejelzés, ami hónapról hónapra vázol fel egy lehetséges jövőbeli pályát. Amikor elkezdtük írni, ez volt a legpontosabb becslésem arra, mi fog történni a valóságban. Nyilván sok a bizonytalanság, de úgy gondoltam, értékes konkrét becslést tenni, csak hogy lássuk, hogyan nézhet ki.

Amikor ezt írtuk, sok barátom az MI-iparban és a nonprofit szférában azt mondta: „Igen, ezek meg fognak történni, de valószínűleg pár évvel tovább tart majd, mint gondolod.”

Most viszont már inkább 50-50%. Különösen, amikor az Anthropic vagy az OpenAI embereivel beszélek, sokszor azt mondják: „Igen, 2027 – alapvetően ez fog történni, pontosan úgy, ahogy megírtad.”

– Miért változtattad meg korábban az idővonalaidat?

– A háttérhez tartozik, hogy az AI 2027 megírása után egy kicsit konzervatívabbra módosítottam az idővonalaimat. A publikáláskor az 50%-os valószínűségű pontom 2028-ra esett, nem 2027-re. Utána úgy tűnt, a fejlődés kicsit lelassult, ezért 2030-ra módosítottam – ami még mindig jelentheti azt, hogy korábban vagy később történik meg. De most, amikor a cégeknél dolgozókkal beszélek, azt mondják: „Nem fog az olyan sokáig tartani!” Azt mondják, le kell rövidítenem őket, vissza 2027-re vagy 2028-ra. Ez elég nyugtalanító.

Ismétlem, nem tudjuk, mennyi ideig tart, de ez az MI-cégek kinyilvánított terve: megtenni ezt az elképesztően veszélyes dolgot, és úgy vélik, már csak néhány évre vannak tőle.

– Megírtad ezt a jelentést is: „Hogyan néz ki 2026?” Ezt még 2021-ben írtad, és figyelemreméltóan pontos volt, nevet szereztél vele a szakmában. Melyik volt az, amit JD Vance alelnök is elolvasott?

– Azt hiszem, ez volt az, igen.

– Aztán publikáltad az AI 2027-et, amit 2025 áprilisában adtatok ki. Mit jósoltatok ebben? Melyek a legfőbb pontok azok számára, akik még nem olvasták?

– A magas szintű verzió: először automatizálják a kódolást, majd a kutatási folyamat többi részét. Ekkor a fejlődés üteme drámaian felgyorsul, és elérik a szuperintelligenciát. Együttműködnek a kormánnyal – konkrétan az elnökkel és a végrehajtó hatalommal –, amely természetesen ellenőrizni akarja ezt a technológiát, használni akarja Kína legyőzésére, és be akarja építeni a hadseregbe.

Ezen a ponton az MI lényegében már az összes munkát maga végzi. Szuperintelligens, így nagyszerű ötletei vannak arra, hogyan integrálja magát mindenbe, és milyen új technológiákat találjon fel. A versenykényszer és a profitvágy miatt mindenhol bevetik: robotgyárakat épít, amik még több robotot építenek, hogy még több robotgyárat építsenek. Teljesen átalakítja a világot. Aztán egy ponton az MI-knek már elég hatalmuk van ahhoz, hogy ne kelljen többé úgy tenniük, mintha igazodnának hozzánk. Ekkor leállnak az utasítások követésével. Ez az AI 2027 „verseny-végkifejlete”.

Írtunk egy másik elágazást is, a „lassulós végkifejletet”, ami a hatalomkoncentráció problémáit hivatott illusztrálni. Mi van, ha hipotetikusan az igazodási problémákat elég gyorsan sikerül rendezni? Mi van, ha kiderül, hogy két hónapos lassítással rájövünk, hogyan érjük el, hogy az MI-k stabilan azt tegyék, amit akarunk, és azokat az értékeket kövessék, amiket szeretnénk?

Ez az egyik lehetséges ág. Ebben az ágban a folyamat nagyon hasonló: átveszik a munkákat, legyőzik Kínát stb. De ahelyett, hogy az MI-k a végén mindenkit megölnének, létrehoznak egy csodálatos utópiát. Ám ez a csodálatos utópia pontosan olyan lesz, amilyennek azok az emberek akarják, akik az MI-ket irányítják – ami egy nagyon szűk csoportot jelent: az elnököt, néhány vezérigazgatót stb.

(Iratkozz fel a csatornára üzenet)

– Van rá bármi esély szerinted, hogy sosem jutunk el az AGI-hoz? És miben különbözik az AGI a szuperintelligenciától?

– A különbség az, hogy az AGI egy pontatlanabb és gyengébb kifejezés. A szuperintelligencia sokkal pontosabban meghatározott: mindenben jobb a legügyesebb embernél, gyorsabb és olcsóbb. Az AGI az Artificial General Intelligence (Általános Mesterséges Intelligencia) rövidítése, ami olyan MI-t jelent, amely általánosságban képes feladatokat ellátni, nem csak egyetlen specifikus területen.

Érvelhetünk amellett, hogy az AGI-t már elértük. Ha a Claude Code-ot vagy hasonló rendszereket használod, azok rengeteg dologra képesek – szinte olyanok, mint egy kis alkalmazott, akit elküldhetsz feladatokat elvégezni. Nagyon általánosak. De nem maximálisan általánosak, nem tudnak mindent megcsinálni. Ezzel szemben a szuperintelligencia definíció szerint mindent meg tud tenni, amit egy ember, csak jobban.

– És hogyan fedez ez át a robotikával? Mert most hatalmas robotikai bummot látunk. Még mindig vannak olyan fizikai dolgok a való világban, amiket a hús-vér emberek meg tudnak csinálni, mert az MI-k még bent rekedtek a számítógépben.

– Erről úgy szoktak beszélni, hogy a kognitív feladatok terén már elértük a szuperintelligenciát, és utána beszélhetünk a teljes szuperintelligenciáról, ami a fizikai dolgokat is meg tudja csinálni.

– El fogunk jutni oda mindkettővel?

– Szerintem igen. Bár ebben sem lehetünk teljesen biztosak. Kérdezted, lehetséges-e, hogy sosem jutunk el oda? Igen, lehetséges, de nem tartom valószínűnek. Az emberi agyban nincs semmi mágikus: csak egy csomó neuron. Teljesen lehetséges egy digitális rendszer számára, hogy hasonló funkciókat ellásson – pontosan úgy, ahogy egy repülőgép is tud repülni, pont mint egy madár. Nem ugyanúgy repül, mint a madár, de repül. Szóval igen, lehetségesnek tűnik.

– Megírtad ezeket a jelentéseket, dolgozol a következőn, dolgoztál az OpenAI-nál, majd felmondtál, mert aggódtál a folyamatok és az iparág jövője miatt. Többet tudsz, mint én: optimista vagy a jövőt illetően, vagy pesszimista? Rossz helyre tartunk, ha a dolgok nem változnak meg?

– Azt hiszem, rossz helyre tartunk, ha a dolgok nem változnak meg. Nem vagyok ebben 100%-ig biztos, mondjuk 70%-ot mondanék – természetesen rendkívül nehéz jósolni –, de igen, úgy tűnik, a jelenlegi alapértelmezett pálya egy nagyon-nagyon félelmetes hely felé vezet.

– Hogyan küzdesz meg ezzel személyesen és érzelmileg?

– Nehezen. Rendszeresen lehangol, de már annyi éve foglalkozom ezzel, hogy bizonyos szempontból hozzászoktam. Úgy fogalmaznék: hihetetlenül boldog lennék, ha az összes jóslatom tévesnek bizonyulna, és az MI például falba ütközne.

– Azt mondod, rendszeresen lehangol...

– Korábban vidám és optimista emberként ismertek. De 2020-ban az MI-idővonalra vonatkozó becsléseim elkezdtek összeomlani a GPT-3, a skálázási törvényekről szóló tanulmányok és a BioAnchor-jelentés miatt. Néhány esemény 2020-ban meggyőzött arról, hogy ez az egész teljesen reálisan megérkezhet az évtized végére, és az emberiség nyilvánvalóan nincs felkészülve rá. Ez rendkívül félelmetes világ.

– A rekurzív önfejlesztés miatt, ahol az MI-k saját magukat tanítják, kezdjük elveszíteni az uralmat a folyamatok felett.

– Hogy egyértelmű legyen: az MI-k már most is tanítják magukat. Ez inkább a teljes kutatási hurok bezárásáról szól, amikor már mindent ők csinálnak. Jelenleg a betanítási adatok nagy részét MI-k generálják, és a megerősítés (a pozitív és negatív visszacsatolások értékelése) jelentős részét is maga az MI végzi.

– El tudod ezt magyarázni konyhanyelven?

– Fontos, hogy mindenki megértse: a modern MI-rendszerek nem a hagyományos értelemben vett szoftverek. Technikailag szoftverek, de nem kódsorokból állnak. Nem arról van szó, hogy mérnökök leültek és megírták: „ha a felhasználó ezt kérdezi, tedd ezt ennyi lépésben”. Semmi ilyen nincs.

Ehelyett ez egy neurális háló. Gondolj arra, ahogy az agyban a neuronok össze vannak kapcsolva, és jeleket küldenek egymásnak! Az agy idővel megtanulja azokat a mintázatokat, amelyek sikerhez (dopaminlökethez) vezettek, ezek megerősödnek és gyakrabban tüzelnek. A kudarchoz vezető mintázatok (mint a forró tűzhely megérintése) leépülnek. Ennek eredményeképpen az évek során megtanulsz működni a világban, készségeket és világmodelleket sajátítasz el.

A mesterséges neurális hálók ugyanezt csinálják, csak mesterségesen. Kezdetben egy óriási, összegubancolódott tésztakupaccal indulnak, ami véletlenszerűen generált mesterséges kapcsolatokból – úgynevezett paraméterekből – áll. A legnagyobb MI-kben ma már körülbelül 10 billió paraméter van. Kezdetben teljesen használhatatlan: ha adsz neki egy bemenetet, csak zagyvaságot ad ki.

Aztán elkezdik betanítani. Az előtanítással (pre-training) kezdik: rengeteg internetes szöveget táplálnak be. Megmutatják az első szövegrészletet, az MI kiad egy zagyvaságot, majd pozitívan vagy negatívan megerősítik az alapján, mennyire volt pontos a következő szó megjóslásában. Lényegében azt a játékot játssza, hogy „jósold meg a következő szót”.

– Nem így történik ez a csecsemőknél is? Egy idegtudós mondta nekem, hogy a kisgyerekeknek kétszer annyi neurális kapcsolatuk van, mint a felnőtteknek, és a megerősítések során ezek leépülnek...

– Pontosan! Fiatalabb korunkban több útvonalunk van, és a tanulási folyamat során a nem hasznosak leépülnek (pruning), a hasznosak pedig megerősödnek. Az MI-nél ugyanez történik: leépítés és megerősítés egyszerre.

Az előtanítás során megtanítják a szöveg jóslására, ami olyan, mintha megtanítanák olvasni. A véletlenszerű gubanc fokozatosan formát ölt, és hasznos áramkörökké áll össze, amelyek rengeteg tényt és információfeldolgozási készséget tárolnak el.

Ez még csak az első lépés. Utána hasznosabb készségeket tanítanak neki: kódolási feladatok ezreit és millióit dobják elé virtuális környezetben („Itt a kód, futtathatod, módosíthatod, használhatod az internetet, hajrá!”). A sikerek alapján történik a megerősítés – ezért olyan jók most a kódolásban.

– Hogyan néz ki a szuperintelligencia ebben a tekintetben? Csak még több kapcsolatról van szó?

– Különböző MI-modellgenerációk vannak (GPT-3, GPT-4, GPT-5...). Néha a korábbi modellt tanítják tovább, néha pedig teljesen nulláról kezdenek egy új modellt, beleértve az előtanítást is. Az elmúlt években többször kezdtek mindent elölről, és amikor elölről kezdik, az egész mesterséges agyat sokkal nagyobbra építik.

Jelenleg kb. 10 billió paraméternél járunk. 2020-ban ez inkább 175 milliárd volt: hat év alatt két nagyságrendet (százszoros növekedést) léptünk előre. Ez a folyamat folytatódik. Emellett magukat az algoritmusokat is fejlesztik, hatékonyabbá teszik a kapcsolatok szerkezetét és a betanítási adatokat. Szó szerint mesterséges agyakat építünk.

– És ez szó szerint az agy működéséről van mintázva, igaz?

– Erősen az agy ihlette, de nem szabad túlzásba esni az analógiával, sok a különbség is (például a transzformátor-architektúra vagy a backpropagation algoritmus eltér a biológiai működéstől). De nagy vonalakban igen: mesterséges agyakat hozunk létre. Az MI az agynak az, ami a repülőgép a madárnak.

– Ez egy nagyon jó analógia! Segít megérteni a kreativitás kérdését is. Nem az a kérdés, hogy képes-e a „kreativitásra” mint belső folyamatra, hanem hogy képes-e olyan eredményt produkálni, amit mi kreatívnak tartunk.

– Filozofálhatunk azon, hogy ez „valódi” kreativitás-e, de elég csak megnézni, mi mindent érnek el már most, és mennyivel többet fognak elérni a közeljövőben.

– Volt mostanában olyan paradigmaváltó pillanat, ami megváltoztatta a saját mentális modeledet arról, hogyan fog ez kinézni?

– Sajnos a dolgok nagyjából az AI 2027-ben leírt pályán haladnak. Volt néhány meglepetés: a kormány például a vártnál gyorsabban és agresszívabban avatkozott be (például az exportkorlátozásokkal vagy az Anthropic megfenyegetésével a Védelmi Termelési Törvényre hivatkozva).

A másik meglepetés az volt, hogy az Anthropic átvette az első helyet a versenyben az OpenAI-tól.

– Miért gondolod, hogy ez megtörtént? Úgy tűnt, a ChatGPT és az OpenAI behozhatatlan előnyben van, most pedig az Anthropic lekörözte őket.

– Valószínűleg nagyobb náluk a „tehetségsűrűség” (talent density) és jobb a stratégiájuk. Nem sokkal, de épp annyira, hogy az meghozza a különbséget. Kevésbé vannak eleresztve erőforrásokkal és pénzzel, mint az OpenAI, így ha a csupasz erőforrások hiányoznak, a tehetség és a stratégia a legjobb magyarázat.

– Egy barátom, aki ismer néhányat ezek közül az emberek közül, egyszer leültetett Londonban. Igazából többször is mondta már nekem, de emlékszem egy konkrét beszélgetésre, ahol azt állította, hogy ezen MI-cégek vezetői közül páran körülbelül 7%-ra becsülik a kihalás valószínűségét. Nem tudom, miért ez a szám van a fejemben, de úgy rémlik, 10% alatt volt. A lényeg, amit próbált elmagyarázni nekem, az az volt, hogy még ha csak 1% is lenne – mint ahogy most ezen az asztalon lenne 100 gomb, és az egyik elhozná a világvégét –, vajon megmerném-e nyomni bármelyiket is? Nyilván nem nyomnám meg egyiket sem. De ő azzal érvelt, hogy ezek az MI-vezérigazgatók nagyon okosak, értik a szuperintelligenciát, és úgy gondolják, ha most 100 gomb lenne ezen az asztalon, abból talán 10 is elhozhatná a világvégét. Hallottalak már nyilatkozni – azt hiszem, a Daily Show-ban adtál interjút –, ahol azt mondtad, szerinted 70% az esélye annak, hogy a mesterséges intelligencia az emberiség kihalását okozza.

– Nem pontosan emberi kihalást mondanék. Azt mondanám, körülbelül 70% az esélye annak, hogy ez szörnyen sül el, akár az emberiség kihalásához vezetve. De ez csak egy a több lehetőség közül. Szóval igen, alapvetően például meglehet, hogy az MI átveszi az irányítást, de végül nem öl meg mindenkit. Lehet, hogy valami mást csinálnak. Attól még, hogy átvették a hatalmat, nem biztos, hogy végleg elpusztítanak minket – megtehetik, de tehetnek mást is. Ezért nem szoktam konkrétan 70%-os esélyt mondani a tényleges kihalásra, de 70% az esélye egy olyasfajta katasztrófának, mint az MI hatalomátvétele, ami végül emberi kihalást eredményezhet.

– Ebből két gondolatom támadt. Az egyik: te forgódtál ezen vezérigazgatók körül, hiszen Sam Altmannak dolgoztál az OpenAI-nál, mielőtt felmondtál. Szerinted ők maguk úgy gondolják, hogy van esély az emberiség kihalására?

– Igen. De fontos megérteni, hogy az emberek hajlamosak azt hinni, amit hinnie kell ahhoz, hogy jó embernek tartsa magát, és úgy érezze, folytatnia kell, amit csinál. Ez maga a racionalizálás. Úgy gondolom, a tech-vezérek őszintén meggyőzték magukat arról, hogy a dolgok valószínűleg rendben lesznek, és a helyes út az, ha ők egyszerűen folytatják, amit csinálnak. Sam valószínűleg azon gondolkodik, hogy nem hagyhatja Dariót vagy Elont elsőként célba érni. Tudom, hogy Dario ugyanezt gondolja Samről, Elon pedig mindkettejükről. Mindannyian meggyőzték magukat arról, hogy: „Jó, lehet, hogy szörnyen sül el, de valószínűleg rendben leszünk, és a legjobb, ha én vagyok a főnök.”

– Úgy tűnik számomra, hogy az Anthropic az egyetlen olyan cég, amelyik még beszél a kihalás vagy egy katasztrófa lehetőségéről és a valós kockázatokról. Úgy tűnik, ők az egyetlenek, akik még publikálnak ebben a témában, és emiatt sok tekintetben kezdenek a San Franciscó-i tech-iparág ellenségévé válni. Sok interjút nézek, és mindenki Dariót támadja, mert azt mondja: figyeljetek, a dolgok rosszul is elsülhetnek. „Doomernek” (vészmadárnak) hívják, és megkérdőjelezik a szándékait. Még a Mythos esetében is – ami egy Claude-modell, amire figyelmeztetni próbálták a világot – azonnal megtámadták emiatt. Úgy látod, hogy ő ebben a tekintetben kicsit más, mint Sam?

– Igen. Úgy tűnik, az Anthropic és Dario nyitottabbak voltak olyan dolgokat kimondani és megtenni, amelyek – legalábbis az elmúlt évben – üzletileg hátrányosak voltak számukra. Ez egy jó példa rá. Nem hiszem, hogy ezzel jó pontokat szereznek a kormányzatnál vagy a befektetőiknél. Egy még jobb példa a Department of War (Hadügyminisztérium) és az Anthropic közötti vita volt, ami rengeteg pénzükbe és – ami még fontosabb – rengeteg hatalmukba került, pedig simán aláírhattak volna egy szerződést. De tényleg nem szeretnék abban a helyzetben lenni, hogy azon gondolkodunk: „Melyik vezérigazgató a legkevésbé rossz? Támogassuk azt!” Ezen emberek közül egyiknek sem szabadna ekkora hatalmat adni a kezébe. Senkinek sem.

– Visszatérve a gombokra: te úgy véled, hogy ők reális esélyt látnak a kihalásra.

– Igen, de meggyőzték magukat arról, hogy valószínűleg minden rendben lesz, és amúgy is még rosszabb lenne, ha nem ők csinálnák. A cégen belül is ezt mondják az embereknek: „Rendben, de ha mi megállunk, mi lesz a többiekkel? Ők nem fognak megállni.”

– Mindig is ez volt a nyitott kérdésem: hogyan nem alakul ez rosszul, amikor az emberi ösztönzők uralkodnak? Ha megnézed a történelmet, az emberi ösztönzők azt mondják: vesztettél, ha folytatod a fejlesztést, de földrajzi és geopolitikai szempontból akkor is vesztettél, ha leállsz, mert az Egyesült Államok veszít egy másik országgal szemben, vagy ez a cég veszít a másikkal szemben. A tiszta ösztönzőket nézve hogyan érhet ez véget?

– Tovább zakatol előre. Úgy tűnik. Bár van egy reménykeltő figyelmeztetés: ha a világ felébred erre az egészre, akkor komolyabb párbeszéd indulhat a szabályozásokról és a nemzetközi egyezményekről. Ez megváltoztathatja az ösztönzőket. A kormány felléphet, és azt mondhatja: „Íme a szabályok, amelyeket mindannyiótoknak be kell tartania!” És mivel ezek mindenkire érvényes szabályok, többé nem leszel érdekelt a megszegésükben, mert büntetést kapsz, miközben a többiek is betartják őket. Szóval van egy fénysugár, hogy megváltoztathatjuk az ösztönzőket, ha a kormány – különösen az amerikai, de később a többi is – lépéseket tesz. De ez nem fog megtörténni addig, amíg az emberek fel nem ébrednek.

A második dolog, hogy egy adott ponton egyénileg Dario, Sam vagy Elon is ráébredhet arra, hogy a saját érdeküket sem szolgálja a gátlástalan egyoldalú verseny. Ezzel az a baj, hogy ez csak akkor válik nyilvánvalóvá, ha a helyzet már rendkívül súlyos és drámai. Az AI 2027 forgatókönyvben van egy döntési pont: az egyik ágon az MI nincs összhangban az emberi érdekekkel (misaligned), a másikon igen. A döntési pont kiváltó oka az, hogy bizonyítékot látnak arra, hogy az MI ellenük szervezkedik. Ha meglátják ezt a bizonyítékot, rájönnek: „Atyaég, talán nem kellene mindent a kezébe adni és hagyatkozni rá!”, mert a bizonyíték ott van az orruk előtt, hogy megbízhatatlan. De ha nem látnak ilyen egyértelmű bizonyítékot, meg fogják győzni magukat arról, hogy folytatniuk kell. De meglehet, hogy látni fognak ilyen bizonyítékot, és abban az esetben szabályozás nélkül is önként leállhatnak. Ez a második reménysugár. Összességében nem gondolom, hogy végleg el vagyunk ítélve. Mondtam a 70%-ot, de el tudom képzelni azt is, hogy meglehetősen jól alakulnak a dolgok.

Mit tesz az MI a munkahelyekkel?

– Izgatottan várom, hogy áttérjünk az optimistább, pozitívabb jövőképre, de az AI 2027 előrejelzésben mire az emberek elveszítik a munkájukat, már rosszabb dolgok is történnek, vagy addigra már szinte túl késő. De gondoljunk csak bele: ha a cégeknek sikerül felépíteniük a szuperintelligenciát, az definíció szerint szinte az összes munkahelyet át tudja venni, hiszen mindenben jobb, gyorsabb és olcsóbb a legokosabb embernél is. Úgy sejted, a szuperintelligencia 2030 végére érkezhet meg. Mikor kezdhetjük látni a leépítéseket a gazdaságban? Már most látunk egy keveset, de még nem sokat. Miért?

– Mert az MI még nem elég jó. Lenyűgöző, de szinte semmilyen területen nem képes még egy az egyben helyettesíteni egy emberi munkavállalót.

– Szerinted ez hirtelen fog bekövetkezni?

– Szerintem hirtelen, az „intelligencia-robbanás” és a rekurzív önfejlesztés dinamikája miatt. Elképzelhető egy olyan világ, ahol ez fokozatos. Sok sci-fiben így van: az MI fokozatosan javul egy sor dologban, fokozatosan automatizál egy iparágat (például a gyógyszerészetet), aztán a drónirányítást, majd az autóvezetést.

De a valóságban a cégek arra a stratégiára álltak rá, hogy először saját magukat automatizálják – vagyis az MI-kutatási folyamatot. És ha hagyják őket folytatni ezt a stratégiát, nem a robotaxikat, a vízvezeték-szerelő robotokat meg az ügyvéd MI-ket fogjuk először látni a gazdaságban, mert nem erre fókuszálnak. Arra összpontosítanak, hogy saját magukat automatizálják, így gyorsabban tudnak mindent csinálni. Ezt akarják eljuttatni a nagyon magas általános intelligenciaszintre, és csak utána terjesztik ki a gazdaságra.

Mire tehát a különböző munkákért jönne, már hónapok vagy évek óta teljes autonóm MI-kutatás fog folyni, ami azt jelenti, hogy az MI nemcsak az MI-kutatásban lesz messze felülmúlhatatlan, hanem mellékhatásként rengeteg más dologban is. Ez olyan lesz, mint egy hullám, ami átsöpör a gazdaságon, miután belsőleg végrehajtották az intelligencia-robbanást.

– Tehát mivel az MI képes lesz fejleszteni és képezni saját magát, mindenben egyszerre fog fejlődni, majd egyszerre szabadul a világra. Jól értem?

– Nem is teljesen így, mert még ha főleg csak az MI-kutatásban fejlődik is, ennek áthajló hatásai lesznek más készségekre is. Amikor pedig ezekre a többi készségre terelődik a figyelem, rendkívül gyorsan fogja elsajátítani őket.

– Milyen munkák maradnak egy ilyen forgatókönyvben?

– Ez valójában politikai kérdés, nem technikai. Technikai szinten az összes munkát el tudják végezni az MI-k, ha elérik ezt a szintet. Szóval a kérdés az: milyen munkákat engedünk meg nekik, és milyeneket nem?

– Ez attól függ, ki van hatalmon. Politikai párbeszéd alakul majd ki arról, mit engedélyezünk és mit tiltunk meg.

– Ebben a forgatókönyvben az emberek még irányítják őket?

– Attól függ, mit értesz irányítás alatt. Az a kérdés, hogy az MI-knek valóban megvannak-e azok a céljai és értékei, amelyeket elvársz tőlük, és tartósan úgy viselkednek-e a jövőben is, vagy csak arról van szó, hogy egyelőre engedelmeskednek a parancsaidnak?

– Arra gondolok, hogy engedelmeskednek-e a parancsoknak.

– Igen. Még az AI 2027-ben is, abban a szcenárióban, ahol az MI átveszi a hatalmat és mindenkit megöl, van egy többéves időszak, amikor még engedelmeskednek a parancsoknak: elvesznek egyes munkákat, de másokat nem, és segítik a jobb fegyverek gyártását az amerikai kormánynak a Kínával való fegyverkezési versenyben. És azért képesek ilyen gyorsan ekkora hatalomra szert tenni, mert a kormányok és a vállalatok megbíznak bennük, és szándékosan helyezik be őket ezekbe a pozíciókba, mert azt hiszik, minden rendben van. De mivel ezek neurális hálók, nem tudsz csak úgy belenézni a belsejükbe, hogy meglásd, mit gondolnak valójában.

– Ez egy nagyon fontos pont. A szoftverekkel ellentétben – ahol teoretikusan belenézhetünk a kódba – az MI-nél azt mondod, nem tudjuk, miért hozza meg a döntéseit, mert nem látunk bele a belsejébe.

– Egy optimistább megjegyzés: ennek nem feltétlenül kell így lennie. A gépi tanulásnak van egy mechanisztikus értelmezhetőség (mechanistic interpretability) nevű részterülete, ami pont ezt a problémát próbálja megoldani: szétszedni a betanított mesterséges neurális hálókat, és megérteni, hogyan áramlik az információ, hogyan születnek a döntések. A probléma csak az, hogy ez eredendően nehéz feladat. Ha 10 billió kapcsolatot kell megvizsgálnod, megnézhetsz egy adott csoportot, és mondhatod, hogy „oké, ez a kapcsolat így működik”, de hogyan kapsz képet az egészről magas szinten? A válasz az, hogy lehet, hogy lehetetlen, de az emberek dolgoznak rajta. Ha elegendő haladást érnek el, egy teljesen más és sokkal fényesebb világban találjuk magunkat. Sokkal kevésbé lennénk kitéve az irányításvesztési szcenárióknak, ha bármikor láthatnánk, mit, miért és hogyan gondol az MI.

– Egészen őrület belegondolni, hogy olyan technológiát, olyan agyat építünk, amit nem értünk.

– Igen, elég őrült dolog. Mint egy sci-fi filmben, ahol a tudósok körbeállnak egy nagy agyat, táplálják, de nem igazán tudják... Nyilvánvalóan veszélyes dolog, de mégis csináljuk az elmúlt 10 év fejlődése miatt, ahol az emberek úgy voltak vele: „Ó, ez veszélyes! De mi van, ha más csinálja meg rosszul? Ezért inkább nekünk kell megcsinálnunk jól!” Most pedig ebben a versenyben vannak egymással, miközben politikai nyomás alatt állnak, hogy úgy tegyenek, mintha a helyzet nem lenne annyira rossz, mert nem akarják felbőszíteni a befektetőiket vagy a Fehér Házat.

Milyen készségek számítanak majd egy MI-világban?

– Az egyik kulcskérdés a nézőinktől az volt: mely munkák élik túl garantáltan az MI-t, és milyen készségekre kellene a diákoknak és a fiataloknak fókuszálniuk a következő 10 évben?

– Ez kicsit olyan, mintha Mexikóban élnél 1500 körül, és meghallanád, hogy jönnek a konkvisztádorok. Megkérdezheted magadtól, hogy milyen munkára válts, hogy túléld az átmenetet, de sokkal több aggódnivalód van ennél. Ennek ellenére azt mondanám: ha sikerül elkerülnünk az irányításvesztés problémáját, és az emberek kezében marad az ellenőrzés – vagyis az emberek határozhatják meg az MI céljait és értékeit még akkor is, ha az sokkal okosabbá válik náluk és átveszi a gazdaságot –, akkor valószínűleg lesznek olyan szabályozások, amelyek megvédenek bizonyos területeket. Kitalálhatod, melyek lehetnek ezek: esetleg a bírák.

– Mi a helyzet a podcasterekkel? Légy őszinte!

– Valószínűleg a podcasterek nem élik túl. De olyasmik, mint a dajka vagy bébiszitter például... Azt hiszem, még ha van is egy robotdajka, ami rendkívül jó, sok ember inkább egy valódi embert választana, mert feszélyezné őket a robot gondolata. Szóval lehet így is okoskodni. És vannak jogilag védett munkák is, ahol előírhatják, hogy csak ember végezheti, robot nem.

– Egyesek szerint viszont annyi új munkahely fog létrejönni, amit most még el sem tudunk képzelni, akárcsak az ipari forradalom vagy az internetrobbanás idején.

– Ezzel az a probléma, hogy a múltbéli technológiai vívmányok szűkebb körűek voltak: automatizáltak bizonyos dolgokat, de nem mindent. Mi viszont egy olyan hipotetikus jövőbeli helyzetről beszélünk, ahol minden automatizálva lesz. Így nem lesz olyan új munkahely, amit te meg tudnál csinálni, de az MI ne tudná megcsinálni – kivéve, ha azt szabályozás védi.

Jelenleg van egy ciklus: az MI megtanul egy bizonyos dolgot (szöveget írni, kódot vázolni, hibát javítani), az emberek pedig átnyeregnek az MI-k irányítására vagy más olyan feladatokra, amiket az MI még nem tud. Ezért nyíltak meg eddig mindig új munkahelyek. De ha eljutunk arra a pontra, ahol az MI mindent meg tud tenni, amit az ember – jobban, gyorsabban és olcsóbban –, akkor bármilyen új munkára váltanál, az MI arra is át tud váltani, és már alapból jobb lesz benne, mint te.

– Mivel még nem láttunk tömeges munkanélküliséget a gazdaságban, szerinted az emberek kezdenek kissé elkényelmesedni? Sokan mondják a közösségi médiában: „Én megmondtam, hogy minden rendben lesz!” Az amerikai munkanélküliségi ráta stagnál vagy enyhén csökken (kb. 4,2%), az Egyesült Királyságban pedig 5% körül van.

– Igazából senki sem állította, hogy mostanra tömeges munkanélküliség lenne. Mi legalábbis nem ezt mondtuk az AI 2027-ben. A tömeges munkanélküliség csak 2028-ban vagy 2029-ben következik be, miután már kifejlesztették a szuperintelligenciát. A cégeknek nem az a legelső lépésük, hogy tömeges munkanélküliséget okozzanak. Az 1. lépés saját maguk automatizálása; a 2. lépés a rekurzív önfejlesztés a szuperintelligenciáig; a 3. lépés pedig a kiterjesztés a gazdaságra és minden automatizálása.

Ez az emberiség szempontjából nagyon szerencsétlen, mert ha az automatizálás széles körű hulláma fokozatosan menne végig a gazdaságon, az emberek felébrednének, elgondolkodnának azon, hová tart ez az egész, és jó szabályozást követelnének a kormánytól. De a cégek nem ezt a stratégiát követik: először elérik a szuperintelligenciát, és csak utána hajtják végre a széles körű automatizációt – ami azt jelenti, hogy mire ezt elkezdik, a folyamat már nagyon gyorsan fog pörögni, és az MI már rendkívül erős lesz.

– A 2027-es jelentésedben – amit még 2025-ben írtál – azt mondtad, hogy 2025 közepére megjelenik az „autonóm alkalmazott”, vagyis az MI-ágensek, akik a Slacken vagy a Teamsen keresztül fogadnak utasításokat. Ez megtörtént. Nekem is van MI-ágens a WhatsAppomban, akivel beszélgetek. A Claudebot is elterjedt a világban. Azt is írtad, hogy 2026-ra a vállalatok elkezdik egész vállalati részlegek lecserélését MI-ágens előfizetésekre; 2027-re pedig az utolsó munkát is automatizálják: magát az emberi MI-kutatók munkáját, megkezdve a gépi tanulási kutatást a következő generációs MI-k megépítésére.

– Igen. Az idővonalakat illetően bizonytalanok vagyunk, mennyi időbe telt e mérföldkövek elérése. Mire a forgatókönyvet publikáltuk, az én idővonalaim már kicsit kitolódtak: nálam a 50%-os valószínűségi jelölés 2028-ra esett az MI-kutatás teljes automatizálásánál, nem 2027-re, míg a csapatom más tagjainál heller 2030 vagy 2031 volt. Bunu úgy kell elképzelni, mint egy elkent valószínűségi eloszlást: a 50%-os jelölés egy adott évre esik, de nagy a lehetőség arra is, hogy évekkel korábban vagy később következik be.

AI 2040: Hogyan nézhetne ki a jövő?

– Mi az az AI 2040? Az AI 2027 egy legjobb tipp volt arra, hogyan alakulhatnak a dolgok a valóságban.

– Az AI 2040 (A-terv) a mi javaslatunk arra, hogyan kellene alakulniuk a dolgoknak. Azért neveztük el AI 2040-nek, mert ebben a forgatókönyvben csak 2040-ben építik meg a szuperintelligenciát sokkal korábbi időpont helyett, mert elhalasztják.

– Miért halasztják el?

– Hogy kezeljék a kockázatokat, és biztosítsák a hatalom méltányos elosztását. Alapvetően úgy szabályozzák az MI fejlesztését, hogy az továbbra is haladjon, de lassabb, ésszerűbb ütemben, átláthatóbb és biztonságosabb módon, több ország és cég között elosztva. Ennek eredményeként nem mondjuk 2030-ban, hanem 2040-ben érik el a szuperintelligenciát. 

Ezt hívjuk „A-tervnek”, mert ez a mi javaslatunk: kidolgoztunk egy tervet arra, mit kellene tenniük a kormányoknak, ez a forgatókönyv pedig szemlélteti, hogyan nézne ki ennek a megvalósítása – hasonlóan ahhoz, ahogy az AI 2027 azt illusztrálja, mi történik, ha a cégek a jelenlegi terveik szerint haladnak tovább.

– Ez van a fejemben. De vajon ez csak vágyálom, vagy szerinted valóban ez fog megtörténni?

– Nem, határozottan nem gondoljuk, hogy ez fog megtörténni.

– Nem gondolod, hogy ez fog megtörténni?

– Nem. Úgy véljük, a valóságban inkább az előző forgatókönyv valósul meg. Nem számítunk arra, hogy a világ hallgatni fog ránk. Ez a mi javaslatunk, reméljük, hogy az emberek valami hasonlót tesznek majd, és hisszük, hogy ez lehetséges, de alapesetben nem ezt jósoljuk a jövőre nézve.

– Át akarom nézni a lehetséges terveket és az A-tervet is, de még mielőtt rátérnénk arra, hogyan alakulhatnak a dolgok a következő években, szeretném érinteni a robotikát is. Itt van ez a grafikon a munkaerő-kibocsátás arányáról, amit meglehetősen mellbevágónak találtam. Munkáltatóként, aki több száz embert foglalkoztat, azon tűnődöm, mikor fog mindez bekövetkezni. Jelenleg még mindig veszünk fel új embereket, bár bizonyos pozícióknál már jelentősen megváltozott a megközelítésünk. Azt kell mondanom, most abban a fázisban vagyunk, ahol a csatapataink MI-vel támogatottak, és ágenseket használnak a munkájuk egy részéhez. De munkáltatóként felmerül bennem: mikor jön el a nagy fordulat?

– Nagyszerű kérdés! Nagyítsunk rá erre egy kicsit! Ez az AI 2040: A-terv forgatókönyvéből van, ahol jelentős szabályozást vezetnek be 2029-ben, ami lelassítja az MI fejlődésének ütemét. A forgatókönyvben ezt az utolsó pillanatban teszik meg: ha nem lépték volna meg, a fejlődés pontosan úgy lőtt volna ki, mint az AI 2027-ben. Amint látod, még a szabályozás bevezetésekor is rengeteg munkahely létezik ebben a szcenárióban. Ez visszacsatol ahhoz, amit korábban mondtam: ha megvárod, amíg a legtöbb ember elveszíti a munkáját, és csak utána szabályozod az MI-cégeket, akkor már túl késő. Addigra valószínűleg már lesz szuperintelligens MI-jük, mert a stratégiájuk az, hogy először a szuperintelligenciát érik el, és csak utána automatizálnak mindent.

– És azt mondod, hogy az gazdasági összeomláshoz vezetne, és még nagyobb kárt okozna, ha hirtelen szabályoznánk valamit, amire addigra mindannyian és az egész életünk támaszkodik.

– Igen, de ezt a kockázatot nagyon is megéri vállalni! Igaz, hogy jelenleg sokan használják az MI-t sok mindenre, de ha valahogy lassítani vagy szüneteltetni tudnánk az MI fejlesztését most, hogy felépítsünk egy jobb működési modellt, az bőven megérné – még ha jelentős ára is lenne. De abban a pontban már nem teheted meg, ahol az MI és a robotika adja a munkaerő-kibocsátás nagy részét.

– Így van. De ebben az AI 2040: A-terv forgatókönyvben 2029-ben bevezetik a szabályozást, majd lassan és óvatosan fejlesztik az MI-t, elkerülve a problémákat. Így végül – igen, végül – az MI-k átveszik a munkákat. Végül az egész gazdaságot MI-k és robotok működtetik, de ez fokozatosan történik meg a 2030-as évek során, ahelyett, hogy egyetlen év leforgása alatt csapna le egy brutális sokkhatásként. Mert ebben a szcenárióban nem hagyják, hogy a cégek rekurzív önfejlesztéssel a lehető leggyorsabban eljussanak a szuperintelligenciáig. Ehelyett úgy szabályozzák a fejlesztést, hogy az alapképességek ésszerűbb ütemben és átláthatóbb módon fejlődjenek, így a tudományos közösség látja, mi történik, és segíthet a biztonságossá tételében.

– Észrevettem, hogy mindkét forgatókönyvedben végül az MI és a robotika végzi szinte az összes munkát. Ebben egyetértesz Elon Muskkal, aki szerint a munka a jövőben választás kérdése lesz. Mert hát mi történik? Ha definíció szerint mindent meg tud csinálni, akkor mindent meg is fog csinálni.

– Igen. A kérdés inkább az: szabad-e engednünk, hogy olyan MI-k jöjjenek létre, amelyek mindenre képesek? Egyesek szerint a válasz nem: mindent le kellene állítani, és meg kellene akadályozni az ilyen típusú MI-k létrejöttét. Mi valójában meglehetősen szimpatizálunk ezzel a gondolattal.

– Megmutassuk a terveket ábrázoló diagramot?

– Igen, köszönöm! A mi forgatókönyvünk neve AI 2040: A-terv. Ez egy olyan szcenárió, amelyben lelassítják az MI fejlesztését, hogy a szuperintelligencia csak 2040-ben jöjjön létre a korábbi dátumok helyett. Az A-terv a mi hivatalos javaslatunk. Összehasonlításképpen készítettünk mini-forgatókönyveket is, amelyek eltérő alternatív terveket illusztrálnak: ezek az S-terv, B-terv, C-terv és D-terv.

D-terv: Alapvetően ugyanaz, mint ami az AI 2027-ben történik. A verseny folytatódik, alig van szabályozás.

C-terv: Nagyon hasonló az AI 2027 lelassulós végkifejletéhez, ahol megoldják az igazodási (alignment) problémákat. Ebben a verzióban kicsit lelassítanak, több erőforrást csatornáznak át az MI-biztonsági kutatásokra, szerencséjük lesz, sikerrel járnak, majd miután megvannak a biztonságos MI-k, újból felgyorsítanak, átveszik a munkákat, és legyőzik Kínát.

B-terv: Hasonló a C-tervhez, de agresszívabbak Kínával szemben: szabotázst vagy kibertámadásokat vetnek be ellenük, hogy lemaradásban tartsák őket, így több lélegzetvételnyi idő marad az igazodási problémák saját elhárítására.

A-terv: A mi javaslatunk. Belső szabályozás, majd egy nemzetközi megállapodás az MI építésének folytatására, de sokkal jobb és biztonságosabb keretek között.

S-terv (Shutdown): Az egész teljes leállítása. Ha olyan jövőt szeretnél, ahol nem szaladgálnak olyan MI-k, akik mindent jobban és gyorsabban csinálnak az embernél, akkor az S-tervre van szükséged.

– Te mit szeretnél?

– Az A-terv a javaslatunk. Szimpatizálok az S-tervvel is, de az általunk kifejtett okok miatt mégis az A-tervet ajánljuk.

– És őszintén: szerinted melyik a legvalószínűbb?

– A D-terv. Vagyis az, hogy tovább versenyeznek, nem lassítanak le érdemben, és a dolgok rendkívül gyorsan pörögnek fel.

– Vannak gyerekeid?

– Igen, két gyermekem van.

– Ez kicsit szomorú. Úgy értem, így vagy úgy, de mire elérik azt a kort, hogy belépjenek a munkaerőpiacra, ez az egész valószínűleg már lezajlik. Nem hiszem, hogy valaha is belépnek a hagyományos munkaerőpiacra.

– Mit értesz az alatt, hogy „ez az egész lezajlik”?

– Azokra a mérföldkövekre gondolok, amelyeket leírtam: az MI automatizálja az MI-kutatást, szuperintelligenssé válik, berobban a gazdaságba, elveszi a munkákat, robotgyárakat épít, hogy még több robotot és gyárat hozzon létre, a GDP pedig függőlegesen kilő. Ezekre az eseményekre gondolok. Talán van 10-20% esély arra, hogy a technológia falba ütközik, és mindebből semmi sem valósul meg, még akkor sem, ha nem teszünk semmit.

– Hány éves a idősebbik?

– Hat. Kislány.

– Ha a lányod odalép hozzád, és azt kérdezi: „Apu, mit tanuljak az iskolában?”, mit mondasz?

– Ha ezek a radikális átalakulások bekövetkeznek, a világ teljesen máshogy fog kinézni, és az, hogy milyen munkára készíted fel magad, lényegében nem fog számítani. Azt mondanám, hogy egyrészt próbáljunk meg tenni azért, hogy a dolgok jól alakuljanak. Ha bármilyen csekély befolyásod is van a történelemre és arra, hogyan fejlődik ez az egész, keményen kell próbálkoznod, hogy jobb irányba tereld a jövőt. Másrészt személyes szinten arra kell fókuszálni, hogy jó ember légy, és olyan dolgokat csinálj, amelyek önmagukért jók, nem pedig azért, mert felkészítenek egy későbbi elhelyezkedésre – mert az a későbbi elhelyezkedés nagyon bizonytalan.

– Elon Musk a bőség koráról beszél, ami felé haladunk.

– Bőség határozottan lesz. A kérdés az: ki irányítja ezt a bőséget, és mit kezd vele? Bárki irányítja egyáltalán az MI-ket, vagy a saját fejük után mennek? És ha emberek irányítják őket, kik azok, és mit tesznek? Milyen politikai struktúra határozza meg a döntéseiket?

– Azt hiszem, Geoffrey Hinton mondta nekem: nincs példa a természetben arra, hogy egy intelligensebb faj felett egy kevésbé intelligens faj uralkodjon. Ezzel arra utalt, hogy meglehetősen gőgösek vagyunk, ha azt hisszük, egy olyan világban, ahol létezik egy nálam garmadával okosabb mesterséges agy, én fogok neki utasításokat adni.

– Igen, ez a lényeg. Ennek kellene lennie az alapfeltételezésünknek: itt vannak ezek az agyak, nem látjuk pontosan, mit gondolnak, okosabbá tesszük őket nálunknál, rájuk bízunk mindent, aztán testet adunk nekik, ők pedig autonóm módon új gyárakat építenek. Hogyan kellene ennek jól végződnie? Nem pontosan olyan ez, mintha kitenyésztenénk egy új fajt, amelyik aztán kiszorít minket, amint már nincs ránk szüksége? Szerintem ez az alapértelmezett pálya.

Természetesen van egy egész argumentum arról, hogyan térhetnénk le erről az alapértelmezett pályáról. Ott van például az értelmezhetőségi (interpretability) kutatás, amiről korábban beszéltem. Ha az a kutatás beérik, láthatóvá válik, mit gondolnak, ami kiváló eszköz lenne a formálásukhoz, ellenőrzésükhöz és ahhoz, hogy azt tegyék, amit mi akarunk. Vannak más MI-igazodási kutatási agendák is, amelyek haladást érnek el. Ha ezek közül elég sok sikerül, elkerülhetjük ezt a problémát.

A szabályozási oldal is kulcsfontosságú: a nehézséget részben az adja, hogy versenyhelyzetben építjük ezeket az MI-ket. A cégek titkolják a recepteket, nehogy mások lemásolják őket, így a fejlesztések zárt ajtók mögött zajlanak, és csak kevesen látják a betanításhoz használt eljárásokat. És amikor az MI váratlanul vagy kifejezetten károsan viselkedik, az információ gyakran nem jut el a nyilvánossághoz, mert a cégek nem érdekeltek abban, hogy elmeséljék a hibáikat. Ez nem kedvez a tudományos haladásnak. Ha a szabályozási rendszer más lenne, jobb helyzetben lehetnénk, és gyorsabb áttörést érhetnénk el. És persze nem terveznénk azt sem, hogy a lehető leggyorsabban mindent az MI-k irányítása alá helyezzünk, és nem hagynánk nekik a korlátlan önfejlesztést sem. Ezek olyan döntések, amelyeket meghozhatnánk másképp is.

(A reklámblokk eltávolítva)

– Ilia Sutskever az OpenAI egyik vezetője volt, majd távozott, és megalapította a saját cégét, a Safe Super Intelligence-t (Biztonságos Szuperintelligencia) – ami elég érdekes név egy cégnek az OpenAI elhagyása után. Dolgoztál vele együtt?

– Nem dolgoztam vele közvetlenül, de beszélgettem vele pár alkalommal.

– Szerinted ő is őszintén aggódik?

– Szerintem igen. De úgy gondolom, ő is hasonló helyzetben van, mint a többi vezérigazgató. Gondolj bele, milyen ösztönzők hatása alatt állnak! Látják a problémát, de azt mondják: „Jó, de ha leállok, felmondok vagy mást csinálok, az nem oldja meg a problémát, mert a többi vezérigazgató folytatni fogja. És ha mind leállnánk, Kína akkor is folytatná. Úgy tűnik, ez így is, úgy is megtörténik, akár teszek ellene, akár nem. Akkor inkább veszek részt benne, hátha el tudom érni, hogy jól süljön el! És különben sem akarok a hidegben maradni, amíg mások – akikben nem bízom – irányítanak mindent.” Mindannyian végigzongorázzák ezt a gondolatmenetet, és meggyőzik magukat arról, hogy az a helyes lépés, ha ők építik meg, csak jobban. Ilia csak a legújabb példa erre. Elon egy másik példa, Dario egy harmadik. Kezdetben Sam is ilyen volt az OpenAI-nál, bár Elon és Dario is ott voltak az elején.

– Mit kellene tenniük szerinted?

– Nemzetközi vagy legalább hazai szabályozásra lenne szükség, hasonlóan ahhoz, amit az A-tervben leírtunk.

– Végigvezetnél az A-terven?

– Ebben a forgatókönyvben az MI-nek hosszabb időbe telik eljutni a rekurzív önfejlesztésig és az MI-kutatás teljes automatizálásáig, mint az AI 2027-ben. Úgy véljük, érdemes megmutatni a lehetőségek skáláját a bizonytalansági tényezők miatt, így 2030-at választottuk annak a pillanatnak, amikor a teljes automatizáció végül megvalósul, és a dolgok igazán beindulnak.

Visszafelé számolva: mikor van az utolsó pillanat, amikor még jó szabályozást lehet hozni? 2029-ben. Ebben a szcenárióban az MI fejlődése magától is kissé lelassul, a cégek továbbra is versenyeznek, de nem sikerül teljesen automatizálniuk magukat 2027-ben, 2028-ban vagy 2029-ben – bár nagyon közel járnak hozzá, és 2030-ra megtennék. Ekkor, 2029-ben a kormány közbelép és szabályozza őket.

– Milyen szabályozásokat vezetnek be?

– Lényegében ideiglenesen leállítják a fejlesztést.

– Megkérdezhetem, hogyan kapcsolódnak az elnökválasztások az idővonaladhoz? Mert 2028-ban nagy választás lesz az Egyesült Államokban, és úgy tűnik, a közhangulat erősen az MI ellen fordult a nagyközönség körében, így ez az egyik legfontosabb téma lesz a szavazólapokon.

– Úgy gondoljuk, hogy a 2028-as elnökválasztás legfontosabb témája lehet. A legtöbb ember meglehetősen aggódni fog amiatt, hová tartanak a dolgok. Részben ezért ábrázoltuk így a dolgokat ebben a forgatókönyvben: ez magyarázza, miért hozhatnak ilyen szabályozást 2029-ben – mert a szavazók ezt követelték, az elnökjelöltek pedig megígérték.

– Ebben a forgatókönyvben 2027-re a nagyközönség sokkal súlyosabban megérezte volna az MI következményeit, mint most?

– Igen, bár 2029-ben ebben a szcenárióban az emberek többségének még megvan a munkája. Sok munkahelyen ekkorra már MI-ágenseket irányítanak. Említetted, hogy neked is van MI-ágensed: nos, 2029-ben ebben a forgatókönyvben az ágensek sokkal jobbak lesznek, de még mindig nem annyira, hogy mindent teljesen egyedül csináljanak meg. Ez a szint ebben az idővonalban 2030-ban jönne el. (Ismétlem: az idővonalak bizonytalanok, a dolgok gyorsabban is haladhatnak, mint ebben a forgatókönyvben – és szerintem gyorsabban is fognak haladni, de a nagyon gyors szcenáriót már megírtuk, így most egy lassabbat vázoltunk fel.)

Nézzük a fő célokat! A politikusok és a szavazók azt akarják, hogy az MI fejlődése folytatódjon, de lassabb ütemben, hogy biztonságossá lehessen tenni.

1. cél: Lassítás.

2. cél: Átláthatóság növelése, hogy a tudományos közösség felzárkózhasson, és ne kelljen elhinni a cégek bemondásos alapon tett ígéreteit a biztonságról vagy az elfogultság-mentességről.

3. cél: A hatalomkoncentráció elkerülése. Kifejezetten jó, ha több MI-cég létezik több különböző országban hasonlóan fejlett képességekkel, és az MI széles körben elterjed a társadalomban, ahelyett, hogy egyetlen megaprojekt kezében összpontosulna az összes legjobb MI. És a nagyszerű dolog az, hogy ezt alapértelmezésben megkapod, ha az első két dolgot megteszed: a lassítás és az átláthatóság lélegzetvételnyi időt hagy más projekteknek a felzárkózásra.

4. cél: Visszafordíthatóság. A forgatókönyvben rengeteg adatközpontot és robotot építünk fel. A világ átalakul, bár lassabb ütemben. Ha a dolgok elromlanak, a megállapodás felbomlik, és mindenki újra versenyezni kezd a szuperintelligenciáért, az nagyon félelmetes lenne. Ezért a negyedik elv: az új adatközpontokat úgy kell megépíteni, hogy ha minden felbomlik és újra indul a hajsza, az újonnan épült adatközpontok megsemmisüljenek, így visszatérünk a nullponthoz ahelyett, hogy egy még veszélyesebb versenyben találnánk magunkat.

Ha érdekel, végigvezethetlek az idővonalon.

– Persze!

– Az elnök beszél Kína és más országok vezetőivel, és azt mondja: „Alapvetően leállítjuk az MI-fejlesztést, amíg ki nem találunk egy tervet ezen célok elérésére.” Ellenőröket küldenek egymás adatközpontjaiba: kínai ellenőrök jönnek az amerikai adatközpontokba, amerikaiak mennek Kínába, és ellenőrzik, hogy csak következtetést (inference) végeznek, nem pedig tanítást (training).

Új MI-k fejlesztése tanítással jár. A meglévő MI-k futtatása a felhasználók kiszolgálására viszont a következtetés. A megoldás, amire jutnak: engedélyezik a következtetést, de a tanítást leállítják, amíg az új adatközpontok el nem készülnek. Átalakítják a meglévő adatközpontokat a futtatásra: az emberek továbbra is beszélhetnek az MI-ágenseikkel, de azok nem fognak tovább fejlődni fél-egy évig, amíg megépítik az új, átlátható adatközpontokat, ahol a tanítás fog folyni. Amint ezek az új adatközpontok elkészülnek 2030-ban, az MI-kutatás folytatódik.

Ez a rész kicsit kényes: mi teljes kutatási átláthatóságot javaslunk, ami azt jelenti, hogy az új modelleket betanító adatközpontoknak mindent publikálniuk kell – a tanítási recepteket, az architektúrát, mindent. Ez a fajta nyílt tudomány elengedhetetlen az igazodási probléma gyors megoldásához, mert nem akarhatjuk, hogy az elfelfogult cégek döntsenek arról, biztonságosak-e az MI-k. Emellett a jó szabályozáshoz is kell, mert jelenleg a szakértelem a Szilícium-völgyben összpontosul, míg a kormányok nem igazán értik az MI-t.

Képzelj el egy alternatívát: a teljes átláthatóság helyett lenne egy auditori rendszer, ahol a kormány megadja a szabályokat, az ügynökség pedig bemegy a cégekhez ellenőrizni azokat. Ez egy ellenérdekelt dinamikát hoz létre, ahol a cég abban érdekelt, hogy átverje a szabályozót, és ha felfedeznek egy új problémát, ami még nincs a kormány radarján, érdekeltek lesznek abban, hogy elhallgassák. A teljes átláthatóság segít a kormánynak gyorsabban jobb döntéseket hozni, de megöli a cégek versenyelőnyét.

– Igen, a Dropbox ezt nem fogja szeretni, és az OpenAI sem. Ez valószínűleg rossz lenne a cégértékeléseknek.

Az mesterségesintelligencia-ipar rémisztő nyílt titka jelenleg az, hogy meglehet, a végén lényegében egy új fajt hozunk létre, amely átveszi a hatalmat a világ felett – és 70% az esélye annak, hogy ez szörnyen sül el, akár az emberiség kihalásához vezetve.

Ez az egyik lehetőség, de sok más is létezik. – Elég ijesztő, amiket mondasz. – Igen, engem is lehangol néha. A feleségemnek konkrétan azt mondtam, hogy ne legyen több gyerekünk, mert túl nagy a bizonytalanság, és kétlem, hogy valaha is belépnének a munkaerőpiacra. Mindegyikünknek félnie kellene attól, hogy elveszíti a munkáját. Ezt onnan tudom, hogy 2022-ben az OpenAI-nál dolgoztam, ahol a feladatom a következő néhány év előrejelzése volt. Sajnos a világ nagy része még mindig alva vezet, és nem igazán fogja fel, mi történik az MI-vel. Úgyhogy felmondtam.

– Valahol azt olvastam, hogy 2 millió dollártól estél el, mert nem voltál hajlandó aláírni egy cégkritikát tiltó nyilatkozatot. – Így van, de ennek a részleteibe szívesen bemegyek. A legfontosabb viszont az, amit megtanultam: amikor elmegyek az Anthropic vagy az OpenAI szakembereivel beszélni az előrejelzésekről, ők azt mondják: „Nem fog az olyan sokáig tartani. Rövidítsd le a jóslatokat 2027-re vagy 2028-ra!” Mert ezek a befolyásos cégvezetők – Dario, Sam vagy Elon – egymással versenyeznek a leghatékonyabb MI feletti ellenőrzésért. Szó szerint attól rettegnek, hogy ha a másik ér oda előbb, akkor diktátorrá válhat. Az Anthropic jó úton halad afelé, hogy 2030-ra a teljes gazdaságot lefedje. Viszont ezen emberek közül egyiknek sem szabadna ekkora hatalmat adni a kezébe.

Ez a legfontosabb dolog, ami az életünkben – sőt, valószínűleg az egész történelemben – történik, és kulcsfontosságú, hogy jól alakuljon. Szerintem sokat tehetünk azért, hogy jobb irányba tereljük a dolgokat. Rengeteg előnye lehet az MI-nek, ha jól csináljuk, és ha megoldjuk a felmerülő problémákat, a dolgok mindenki számára fantasztikusan alakulhatnak.

– Nos, ez a 2021-es jelentés itt rendkívül pontos volt. És most publikáltad ezt az újat. – Igen, ez az új szcenáriónk. – Menjünk végig rajtuk lassan, egyesével. – Hihetetlenül boldog lennék, ha az összes jóslatom tévesnek bizonyulna.

(A műsorvezető üzenete a nézőknek) Ez szuper érdekes számomra. A csapatom odaadta ezt a kimutatást, ami megmutatja, hányan iratkoztak fel azok közül, akik nézik a műsort. Sokan mondtátok, hogy a rendszer néha magától leiratkoztat benneteket. Ezért egy szívességet szeretnék kérni tőletek: kérlek, ellenőrizzétek most, hogy megnyomtátok-e a feliratkozás gombot, ha rendszeres nézői vagytok a műsornak, és tetszik, amit csinálunk. Egy meglehetősen jelentős mérföldkőhöz közeledünk a csatorna életében a feliratkozószám tekintetében. Ha van egyetlen egyszerű, ingyenes dolog, amivel segíthettek nekünk és a csapatnak abban, hogy a műsor továbbra is ingyenes maradjon, és hétről hétre, évről évre fejlődjön, az az, ha megnyomjátok – vagy ellenőrzitek – a feliratkozás gombot. Ez az egyetlen dolog, amit valaha kérek tőletek. Áll az alkud? Cserébe én hétről hétre, hónapról hónapra egyre keményebben fogok küzdeni azért, hogy elhozzam nektek azokat a vendégeket és beszélgetéseket, akiket hallani szeretnétek. Ehhez az ígéretemhez a csatorna kezdete óta tartom magam, és nem foglak titeket cserbenhagyni. Kérlek, segítsetek nekünk, nagyon értékeljük! És most folytassuk a műsort!

Miért érinthet mindenkit az MI küldetése?

– Daniel Kokotajlo, mi a legfőbb küldetésed, és miért? – Mit tennél, ha úgy gondolnád, hogy néhány éven belül megérkezik a szuperintelligencia? – Valószínűleg attól függne, hogy mik lennének a következményei. – Beszéljünk róla! Szuperintelligencia alatt olyan MI-t értünk, amely mindenben jobb a legokosabb embernél is, miközben gyorsabb és olcsóbb. Képes olyan robotokat irányítani, amelyek a fizikai világban mindent meg tudnak tenni, amire az ember képes – csak jobban, gyorsabban és olcsóbban. Ha ez tényleg megérkezik néhány éven belül, akkor fel kell készülnünk, és át kell gondolnunk, hogyan érhetjük el, hogy ez jól süljön el ahelyett, hogy katasztrófába torkollna. Szóval ez a válaszom: a tőlem telhető legjobban ezen dolgozom.

– Szóval hiszed, hogy ez néhány éven belül eljön? – Igen. – Honnan vagy ebben ilyen biztos? – Rengeteg időt töltök az ilyen dolgok előrejelzésével. A medián becslésem – amire 50% esélyt látok – jelenleg 2029. Esetleg előrejön 2028-ra. Előfordulhat, hogy lényegesen tovább tart, mondjuk 10 évig vagy ilyesmi, de olyan okokból, amikre szívesen kitérek, úgy tűnik számomra, hogy az évtized végére valószínűleg bekövetkezik. De a közelség érzésénél is fontosabb a tendenciák üteme.

Az Anthropic tavaly ilyenkor körülbelül egymilliárd dolláros éves bevételt termelt, most pedig körülbelül 60 milliárdot. Ez hatvanszoros növekedés egyetlen év alatt, ami még egy egészen kicsi startup esetében is rendkívül lenyűgöző lenne, de egy ekkora cégcsoportnál valószínűleg a történelem leggyorsabb növekedése. Arra számítunk, hogy ez a növekedési ütem lelassul, de még ha jelentősen le is lassul, akkor is jó úton haladnak afelé, hogy 2030 körülre lényegében ők jelentsék a teljes gazdaságot.

Miért kellene az átlagembernek törődnie az MI-vel?

– Miért kellene, hogy ez érdekelje az átlagembert? – A lényeg az, hogy abszolút minden meg fog változni az egész világon, beleértve őket és a családjukat is. Változhat jobbra és változhat rosszabbá is, attól függően, hogyan hajtjuk ezt végre.

Például mindannyian meghalhatunk. Ez a klasszikus „irányításvesztési” szcenárió egyik verziója. Ha megépítjük ezeket a szuperintelligenciákat, és velük automatizáljuk az összes munkát, betesszük őket a hadseregbe, tőlük kérnek tanácsot a politikusok, akkor végül akkora valós hatalmat halmoznak majd fel, hogy többé nem lesz szükségük az emberekre. Okosabbak nálunk, jobb a stratégiai érzékük stb. Ezen a ponton már csak reménykedhetünk abban, hogy erényesek, és hogy megőrizték azokat a célokat és értékeket, amelyeket szántunk nekik.

És a mesterségesintelligencia-ipar rémisztő nyílt titka jelenleg az, hogy ez most még csak egy jámbor remény. Egyáltalán nem lehetünk biztosak benne. Sőt, rengeteg bizonyíték és érv mutat arra, hogy nem jó úton haladunk ennek elérésére. A jelenlegi MI-k például gyakran hazudnak az embereknek, vagy ha megmondod nekik, hogy csináljanak valamit, csinálnak valami teljesen mást, majd úgy tesznek, mintha jól csinálták volna. Szóval eredendően nehéz feladat valami olyat létrehozni, ami szuperintelligens, és közben megvannak benne azok az értékek és erények, amelyeket elvársz tőle. És nem úgy tűnik, hogy jó úton haladnánk a probléma megoldása felé. Ráadásul ez egy olyan típusú problémának tűnik, amiről azt hiheted, hogy megoldottad, miközben valójában nem. Ez az egyik fő oka annak, miért olyan ijesztő ez az egész.

Mindezek miatt meglehet, hogy a végén lényegében egy új fajt hozunk létre, amely átveszi a hatalmat a világ felett helyettünk. És aztán esetleg úgy járunk, mint a múltban más kihalt fajok, amelyeket az ember kiszorított. Ez az egyik lehetőség, de van még sok más is.

Még ha nem is aggódsz emiatt, és azt gondolod, hogy az MI teljes mértékben ellenőrzés alatt tartható, ott a kérdés: ki irányítja az MI-t? Amikor van pár vállalat, amely megépítette ezeket a szuperintelligenciákat, és az összes munkahely automatizálására használja őket, nos, az hatalmas hatalom. Óriási pénz és óriási politikai befolyás. Náluk lesznek a legjobb stratégák, a legjobb tanácsadók, katonai téren gyorsabban fognak gondolkodni – azok az országok, amelyek birtokolják ezeket az MI-ket, teljesen fel fogják söpörni a padlót az összes többi országgal.

Maguk az MI-k egyfajta központi vezérlőrendszert alkotnak. Az Anthropic vezérigazgatója, Dario alkotta meg a „zsenik országa az adatközpontban” kifejezést arra, amit megpróbálnak felépíteni. Szerintem ez egy kicsit félrevezető. Pontosabb lenne úgy leírni, mint „zsenik hadserege az adatközpontban”, mert ez nem úgy néz ki, mintha sokféle, különféle MI élne az adatközpont különböző részein. Mindegyik ugyanannak a nagy modellnek a másolata, a cég tulajdonában vannak, így mind a cég parancsait követik. Az embereknek fel kellene tenniük a kérdést: ki irányítja ezt a hadsereget vagy ezeket a hadseregeket, és mit fognak velük csinálni? Nagyon könnyen kiköthetünk egy olyan helyzetben, ahol az emberek egy egészen apró csoportja lényegében oligarchává vagy diktátorrá válik.

És ironikus módon mindkét kockázaton – az irányítás elvesztésén és a hatalom koncentrációján – már évtizedek óta gondolkodnak az iparágban dolgozók. Még az MI-ipar létezése előtt az erről gondolkodók már beszéltek és írtak ezekről a dolgokról. A DeepMind, az OpenAI és az Anthropic alapítási narratívájának vagy mítoszának része volt az, hogy „ezek a problémák valósak, ezért nekünk kell elsőként odaérnünk, hogy felelősségteljesen tudjuk kezelni őket”. Szerintem ez a két fő ok.

De folytathatnám, van még rengeteg más indok is. Ott van például a geopolitikai konfliktusok kérdése. Ha az MI valóban hihetetlenül hatékonnyá válik, az meg fogja változtatni a nemzetek közötti erőviszonyokat. Ez rengeteg mindent felborít, ami általánosságban is növeli a válságok kockázatát.

És mi lesz a munkákkal? Elveszíted a taxisofőri állásodat – de nem csak a taxisofőr, hanem szinte mindenki. Lehet néhány kivétel, például azok a munkák, amelyeket jogi okokból csak emberek végezhetnek, de nagyrészt mindenkinek félnie kellene attól, hogy elveszíti a munkáját, még akkor is, ha az összes többi problémát sikerül elkerülnünk.

Túlreagálnak az MI-szakértők, vagy vészharangot kongatnak?

– Ez a narratíva elkezdett kibontakozni, és már több olyan interjúm is volt ebben a műsorban, ahol olyan emberekkel beszélgettem, akik nagyon-nagyon megrémültek és szoronganak az MI miatt – pedig olyanokról van szó, akik néha már évtizedek óta ebben az iparágban dolgoznak. Ugyanakkor feltűnt a szembejövő ellennarratíva is, miszerint ez csak „módszeres riogatás” (doomerizmus), és ezek az emberek bármilyen okból csak rá akarnak ijeszteni a társadalomra, miközben nem is értik igazán, miről beszélnek. Hogyan válaszolsz erre az ellennarratívára? Biztosan te is láttad ennek a megjelenését, különösen azok részéről, akiknek – merem állítani – érdekük fűződik hozzá.

– Így van, pontosan. Ez az ellennarratíva meglehetősen új keletű, és azok terjesztik, akiknek érdekük származik belőle – és nem igaz. Ezek az aggodalmak már évtizedek óta jelen vannak, mielőtt az MI-ipar egyáltalán létezett volna. Valójában teljesen ésszerű felvetések. Ha komolyan vesszük a cégek szavait, és elképzeljük, hogy valóban felépítik a szuperintelligenciát, az rengeteg kérdést vet fel: Ki fogja irányítani? Fogja egyáltalán bárki irányítani? Mi lesz a munkahelyekkel? Ezek teljesen kézenfekvő következmények, amiken gondolkodni és aggódni lehet.

– Ki vagy te, és mi a történeted? – A nevem Dan Kokotajlo. Jelenleg az AI Futures Projectet vezetem, ami egy kis nonprofit szervezet, és főként az MI jövőjének előrejelzésére összpontosít. Ezt megelőzően az OpenAI-nál dolgoztam.

– MI-előrejelzéssel foglalkoztál? – Igen. Gondolj arra, ahogy a fedezeti alapoknak dolgozó iparági elemzők készítenek előrejelzéseket – például arról, hogy hány autót fog eladni a Tesla 5 év múlva, vagy mennyi lesz a villamos energia ára 2 év múlva. Ez az előrejelzés. Én is ezt csináltam, csak kifejezetten az MI-re fókuszálva. Azért csináltam, mert hihetetlenül fontos látni, hová tart mindez.

Miért csatlakozott az OpenAI-hoz – és mit látott odabent?

– Miért mentél az OpenAI-hoz, mit csináltál ott, mit tapasztaltál, és ez hogyan változtatta meg a szemléletedet az MI jövőjével, valamint az OpenAI-val mint céggel kapcsolatban? Azok kedvéért, akik nem tudnák: az OpenAI az a cég, amelyik a ChatGPT-t létrehozta.

– 2022-ben mentem az OpenAI-hoz. A munkám nagy része továbbra is előrejelzés volt. Az „AI 2027” egy olyan szcenárió, amiről talán már hallottál – én ezeknek a kisebb, belső használatra szánt változatait készítettem el a cégen belüli terjesztésre, amikben leírtam néhány tippet arról, hogyan nézhet ki a következő pár év. Emellett a veszélyes képességek értékelésén is dolgoztam: megpróbáltuk mérni az MI kibertérbeli képességeit, meggyőzőerejét vagy helyzetfelismerését. Egy rövid ideig tagja voltam egy fejlesztőcsapatnak is, ahol megerősítéses tanulással (reinforcement learning) hoztunk létre ágenseket.

Az MI valóban sokat fejlődik – és erről tudnék többet is mondani: a skálázási törvények (scaling laws), a mély neurális hálók... A nagyobb adathalmazokon betanított, nagyobb modellek hatékonyabbá és kompetensebbé válnak ezekben a feladatokban.

Ugyanakkor egyre inkább kiábrándultam az MI-iparágból. Az OpenAI, az Anthropic és a DeepMind mind rendelkezett azzal az alapítói narratívával, hogy „Igen, ezek a kockázatok valósak, de mi átgondoltuk őket, és megpróbáljuk felelősségteljesen kezelni a dolgot. Ezért fontos, hogy folytassuk, amit csinálunk.” Én pedig egyre inkább úgy láttam, hogy ezek csak racionalizálások a saját tetteik megideologizálására, semmint a tényleges viselkedésüket mélyen irányító elvek. És amikor választani kell, a saját érdekeiket és ösztönzőiket fogják követni ahelyett, hogy azt tennék, ami valóban jó.

– Tehát ott voltál az OpenAI-nál, és elkezdted azt hinni, hogy a kereskedelmi ösztönzőket követik a társadalmi felelősségvállalás helyett, amire eredetileg felesküdtek?

– Némiképp. Bár én nem feltétlenül „kereskedelmi” ösztönzőként írnám le, inkább hatalomkeresési ösztönzőként. Igaz, hogy a cégeknek nagyon fontos a sok pénz keresése, de különösen a cégek legfelső szintjén – a vezetők – megértik, hogy ez többről szól, mint csupán pénzről.

Ismertek azok az e-mailek, amelyek Elon Musk és az OpenAI közötti perben kerültek napvilágra. Egy csomó e-mail nyilvánosságra került abban a perben, amelyeket el lehet olvasni. Néhányukban az OpenAI alapítói még 2017 körül arról beszéltek, hogy az OpenAI megalapításának az volt az oka, hogy aggódtak: Demis (a DeepMind vezetője) a Google-nél diktátorrá válik az általános mesterséges intelligenciával (AGI). Már akkor is nyilvánvaló volt számukra, hogy ez többről szól, mint a pénzről.

Ezek a befolyásos cégvezetők szó szerint attól rettegnek, hogy ha a másik ér oda előbb, ő válhat diktátormódon egyeduralkodóvá. Nem bíznak egymásban. És ezért száguldanak, amilyen gyorsan csak tudnak, hogy úgymond ők legyenek azok, akik először célba érnek.

– Találkoztál Sam Altmannal? – Igen. – És ez formálta a véleményedet az ő motivációiról, vagy arról, miért teszi, amit tesz? Mert rengeteg a találgatás a szándékaival kapcsolatban. A legújabb narratívája szerint mindent „az emberiség javáért” tesz. – Szerintem a legfontosabb dolog, amit megtanultam, az az, hogy nem szabad odafigyelni a narratívákra. Amit az egyik embernek mondanak, az teljesen eltér attól, amit egy másiknak mondanak ugyanabban az időben. Amit pedig a nyilvánosság előtt mondanak, az egy harmadik dolog. Szerintem az embereket a tetteik, és nem a szavaik alapján kell megítélni.

Miért hagyta ott az OpenAI-t?

– És miért nem vagy már az OpenAI-nál? – nagyrészt amiatt az ok miatt, amit említettem: fokozatosan kiábrándultam abból, hogyan fog viselkedni a cég.

Például amikor 2022-ben csatlakoztam, a kollégáim körében – legalábbis azokkal, akikkel beszéltem – volt egy általános közhangulat: „Természetesen nem építenénk meg a szuperintelligenciát a lehető leghamarabb. Amint igazán közel érünk – amint eljutunk olyan MI-kig, amelyek esetleg automatizálni tudják az MI-kutatási folyamatot –, megállunk, és kitaláljuk, hogyan tehetjük biztonságossá. Mert mi vagyunk a jófiúk, és nyilvánvalóan ez a biztonságos lépés ahelyett, hogy teljes gőzzel előre rohannánk. De aggódunk mások miatt, akik esetleg nem állnának meg – a versenytársaink miatt, mint például a Google. Ezért kell az élen járnunk, hogy meglegyen a mozgásterünk a biztonsági intézkedések megtételére.”

Ez volt egyfajta átlagos álláspont a kollégák között, akikkel ott-tartózkodásom elején beszéltem – beleértve a vezetőket, mint Samet is. Aztán mire eljöttem, már úgy voltam vele: „Ember, ezek dehogy fognak megállni!” Parciálisan azért is, mert a téma átpolitizálódott, a cég nagyobb lett és nagyobb górcső alá került, az emberek pedig elkezdték kérdezgetni: „Miért csináljátok ezt egyáltalán, ha ennyire kockázatos?” Így átváltottak egy olyan narratívára, hogy „Igazából nem is olyan kockázatos ez.” Szóval úgy tűnik, nagyjából olyan gyorsan haladnak tovább, ahogy csak tudnak, és remélik, hogy menet közben majd kitalálják a megoldásokat.

– Hogyan ért véget az időszakod az OpenAI-nál? – 2024-ben mondtam fel. Volt egy jó kis búcsúbulim. – Milyen indokokat adtál meg a felmondáskor? – Úgy gondoltam, hogy túl sokat racionalizálunk, és többet kellene gondolkodnunk azon, mi lenne ténylegesen jó a világnak. Munkatársként nagyobb szabadságot akartam a publikálásra. Az OpenAI ahogy nagyobb céggé vált, úgy alakult át egy normális tech vállalattá – saját érdekekkel, PR-osztállyal és hasonlókkal –, így egyre nehezebbé vált publikálni az olyan típusú kutatásokat, amiket én csináltam. Például azokat a forgatókönyveket, amiket említettem, nem engedték publikálni, csak belső használatra maradhattak. Szerintem ez kár volt, mert jelenleg a világ nagy része alva vezet, nem igazán fogja fel, mi történik az MI-vel, és nem látja, mi várható a csőben pár év múlva. A cégek pedig nem igazán érdekeltek abban, hogy erről sokat beszéljenek a nyilvánosságnak. Mondanak ugyan néha homályos dolgokat hype-os stílusban, de például azt a szcenáriót már nem akarták, hogy publikáljam, ami vázolta volna: „Így alakulhatnak a dolgok a valóságban.”

Milyen volt az OpenAI-nál a ChatGPT indulásakor?

– Nagyon kíváncsi vagyok, milyen egy ilyen cégnél lenni, amikor kiadják például a ChatGPT-3-at. Akkor ott voltál, igaz? – Ühüm. – Ez volt az a pillanat, amikor az egész világ felfigyelt, és ráébredt, hogy ez a technológia mennyire erős. És társadalmi szinten elkezdődött a párbeszéd. A cég pedig szupergyorsan elkezdett növekedni – gyorsabban, mint ahogy azt bárki elképzelhette volna. Milyen volt ez odabent? Mit láttál megváltozni ebben az időszakban?

– Emlékszem egy céges megbeszélésre, ahol Ilia – Ilia Sutskever, aki akkoriban a kutatási vezető volt – valami ilyesmit mondott: „Rendben, most már a világ elkezdett odafigyelni. A következő egy évben mindegyikőtök a legnépszerűbb ember lesz minden buliban. Ne szálljon a fejetekbe! A küldetésre fókuszáljatok: meg kell építenünk az AGI-t!” A cég rengeteget nőtt. Amikor beléptem, már akkor sem igazán érződött nonprofit szervezetnek, de mire eljöttem, végképp nem úgy festett. Rengeteg új ember érkezett. Ironikus módon a szuperintelligenciáról és annak következményeiről szóló beszélgetések mennyisége az idő előrehaladtával inkább csökkent e növekedés miatt. Mivel a cég megduplázódott, majd újra megduplázódott, és még egyszer megduplázódott, mindezek az új emberek a tech szektor más területeiről érkeztek, nem igazán gondolkodtak még ezeken a dolgokon, és a magas fizetések vonzották őket.

A 2 millió dolláros titoktartási nyilatkozat körüli vita

– Elveszítettél 2 millió dollárt, mert nem voltál hajlandó aláírni egy cégkritikát tiltó nyilatkozatot, ami azt jelentette volna, hogy nem bírálhatod a céget. – Nos... a végén megtarthattam a pénzt. – Ó, megtarthattad? – Úgy történt, hogy miután eljöttem, elbúcsúztam stb., megkaptam a kilépési papírokat, és volt benne ez a záradék, ami alapvetően azt mondta: bele kell egyezned, hogy soha többé nem kritizálod a céget. És egy másik záradék is, miszerint erről senkinek sem beszélhetsz. Gondoltam, ez elég merész egy olyan nonprofit szervezettől, amelynek állítólag az egész emberiség javát kellene szolgálnia. Így nem írtam alá.

Ha pedig nem írod alá, nem tarthatod meg a részvényeidet. A fizetésed egy része készpénz, a másik része pedig alapvetően részvény. De volt ez a pont a szerződésben, hogy visszavonhatják a részvényeidet, ha nem írod alá ezt a papírt. A feleségemmel nagyon felindultak voltunk emiatt. Egy-két hónapig beszélgettünk róla, ügyvédekkel konzultáltunk, majd végül úgy döntöttünk, hogy megtagadjuk az aláírást – ami azt jelentette, hogy elveszítünk 2 millió dollárt.

– Ami akkoriban a vagyonotok mintegy 80%-a volt. – Így van. Szerencsére nem úgy alakult, ahogy vártuk. Lényegében felrobbant az internet. Amikor az emberek meghallották, hogy ezt megtettük és nemet mondtunk, hatalmas skandalum lett belőle. A cég alkalmazottai elkezdtek kérdéseket feltenni a Slacken és a vezetésnél: „Várj, tessék? Miért vennétek el a részvényeinket? Mi ez az egész?” Mert sokan korábban nem igazán figyeltek fel erre. Suttogtak róla, de nem olyan dolog volt, amit a legtöbb alkalmazott tudott volna.

Így visszakozniuk kellett, és azt mondták: „Nem számít, nem számít, megváltoztatjuk a papírokat, megtarthatjátok a részvényeket, minden rendben.” Sam Altman pedig előállt, és azt mondta: szégyelli, hogy nem tudott erről...

– Nem hiszel neki? – Nem, szerintem valószínűleg tudott róla. Ha pedig ő maga nem is, a hozzá közel álló emberek – például a vezető jogásza – biztosan.

– Miért döntöttél úgy, hogy elutasítod a 2 millió dollárt? A legtöbb ember elfogadta volna. – Szerintem ez igaz, a legtöbb ember elfogadta volna, és a legtöbben el is fogadták. A pénz jó dolog, de nem ez az egyetlen dolog a világon. Néha jó dolog elvi alapon kiállni valami mellett.

Gyorsabban jön a teljes MI-automatizálás, mint gondolnánk?

Folyamatosan emlegetem a szuperintelligenciát. Talán többet kellene mondanom azokról az eseményekről és lépésekről, amiket a cégek terveznek.

Jelenleg a kódolás automatizálására összpontosítanak. Fogják az MI-jeiket, nagyobbá teszik őket, hosszabb ideig tanítják őket, és a képzést kifejezetten arra hegyezik ki, hogy jók legyenek a kódok önálló megírásában és szerkesztésében. Mert ez segíteni fog a cégeknek a gyorsabb haladásban. Ha automatizálni tudják a kódolást, akkor a saját munkájukat jobban és gyorsabban tudják elvégezni, felgyorsítva a fejlődést.

A következő lépés – amit már el is kezdtek – a kutatási folyamat többi részének vizsgálata: ötletelés, kísérletek elemzése, az eredmények kommunikációja és a kutatás minden egyéb része. Megpróbálják kitalálni, hogyan képezhetnének ki MI-ket arra, hogy ezekben is jók legyenek, így az MI-k az egészet önállóan, autonóm módon végezhetnék.

– Amikor azt mondod, hogy „az egészet elvégzik”, mire gondolsz pontosan? – Az Anthropic és az OpenAI különösen arra törekszik, hogy automatizálja saját magát. Szeretnék elérni, hogy ne igazán legyen szükségük többé emberi alkalmazottakra. Csak egy óriási MI-hadseregük lenne, amely éjt nappallá téve végzi ezt az autonóm kutatást, hogy még jobb MI-ket hozzon létre a治 betanításához, élre állítsa őket, hogy azok még jobb MI-ket készíthessenek, és így tovább. 

– És persze mindez nem csak házon belül történik, hanem a külvilággal való interakció során is, igaz? Kimenni a világba, emberekkel beszélni, adatokat gyűjteni, betanítási környezeteket kiépíteni, üzleteket kötni és így tovább. Mindezt automatizálni próbálják. Ennek az az oka, hogy olyan pozícióba akarnak kerülni, ahol az MI-jeik mindenben felülmúlják az embert – ez a szuperintelligencia –, és ezt még a versenytársaik előtt akarják elérni.

Mondanom sem kell, hogy ez elképesztően veszélyes. És amellett, hogy veszélyes, ez egy hatalomátvételi kísérlet is, nem igaz? Mert ha ez sikerül nekik, akkor egy emberfeletti MI-kből álló hadsereg tetején fognak ülni, ami hatalmas befolyást ad nekik a gazdaság minden más szereplőjével szemben. Ha pedig meg tudnak egyezni az elnökkel, és beépítik a hadseregbe vagy bárhova, az az Egyesült Államoknak óriási „kemény hatalmat” (hard power) adna az összes többi országgal szemben.

Nyilván senki sem tudja pontosan, mikor történik meg mindez, de az elmúlt évben történt valami nagyon nyugtalanító számomra. Amikor publikáltuk az AI 2027-et, az emberek általában azon a véleményen voltak, hogy az idővonalaim túl rövidek, és valószínűleg tovább tart majd 2027-nél, mire eljutunk az említett eseményekig.

– Mint a rekurzív önfejlesztés, az MI automatizálja a teljes kutatási folyamatot, szuperintelligencia... Ezek a mérföldkövek 2027-ben történnek meg az AI 2027-ben, ami az általad publikált kutatási anyag.

– Így van. Ez egy forgatókönyv-előrejelzés, ami hónapról hónapra vázol fel egy lehetséges jövőbeli pályát. Amikor elkezdtük írni, ez volt a legpontosabb becslésem arra, mi fog történni a valóságban. Nyilván sok a bizonytalanság, de úgy gondoltam, értékes konkrét becslést tenni, csak hogy lássuk, hogyan nézhet ki.

Amikor ezt írtuk, sok barátom az MI-iparban és a nonprofit szférában azt mondta: „Igen, ezek meg fognak történni, de valószínűleg pár évvel tovább tart majd, mint gondolod.”

Most viszont már inkább 50-50%. Különösen, amikor az Anthropic vagy az OpenAI embereivel beszélek, sokszor azt mondják: „Igen, 2027 – alapvetően ez fog történni, pontosan úgy, ahogy megírtad.”

– Miért változtattad meg korábban az idővonalaidat?

– A háttérhez tartozik, hogy az AI 2027 megírása után egy kicsit konzervatívabbra módosítottam az idővonalaimat. A publikáláskor az 50%-os valószínűségű pontom 2028-ra esett, nem 2027-re. Utána úgy tűnt, a fejlődés kicsit lelassult, ezért 2030-ra módosítottam – ami még mindig jelentheti azt, hogy korábban vagy később történik meg. De most, amikor a cégeknél dolgozókkal beszélek, azt mondják: „Nem fog az olyan sokáig tartani!” Azt mondják, le kell rövidítenem őket, vissza 2027-re vagy 2028-ra. Ez elég nyugtalanító.

Ismétlem, nem tudjuk, mennyi ideig tart, de ez az MI-cégek kinyilvánított terve: megtenni ezt az elképesztően veszélyes dolgot, és úgy vélik, már csak néhány évre vannak tőle.

– Megírtad ezt a jelentést is: „Hogyan néz ki 2026?” Ezt még 2021-ben írtad, és figyelemreméltóan pontos volt, nevet szereztél vele a szakmában. Melyik volt az, amit JD Vance alelnök is elolvasott?

– Azt hiszem, ez volt az, igen.

– Aztán publikáltad az AI 2027-et, amit 2025 áprilisában adtatok ki. Mit jósoltatok ebben? Melyek a legfőbb pontok azok számára, akik még nem olvasták?

– A magas szintű verzió: először automatizálják a kódolást, majd a kutatási folyamat többi részét. Ekkor a fejlődés üteme drámaian felgyorsul, és elérik a szuperintelligenciát. Együttműködnek a kormánnyal – konkrétan az elnökkel és a végrehajtó hatalommal –, amely természetesen ellenőrizni akarja ezt a technológiát, használni akarja Kína legyőzésére, és be akarja építeni a hadseregbe.

Ezen a ponton az MI lényegében már az összes munkát maga végzi. Szuperintelligens, így nagyszerű ötletei vannak arra, hogyan integrálja magát mindenbe, és milyen új technológiákat találjon fel. A versenykényszer és a profitvágy miatt mindenhol bevetik: robotgyárakat épít, amik még több robotot építenek, hogy még több robotgyárat építsenek. Teljesen átalakítja a világot. Aztán egy ponton az MI-knek már elég hatalmuk van ahhoz, hogy ne kelljen többé úgy tenniük, mintha igazodnának hozzánk. Ekkor leállnak az utasítások követésével. Ez az AI 2027 „verseny-végkifejlete”.

Írtunk egy másik elágazást is, a „lassulós végkifejletet”, ami a hatalomkoncentráció problémáit hivatott illusztrálni. Mi van, ha hipotetikusan az igazodási problémákat elég gyorsan sikerül rendezni? Mi van, ha kiderül, hogy két hónapos lassítással rájövünk, hogyan érjük el, hogy az MI-k stabilan azt tegyék, amit akarunk, és azokat az értékeket kövessék, amiket szeretnénk?

Ez az egyik lehetséges ág. Ebben az ágban a folyamat nagyon hasonló: átveszik a munkákat, legyőzik Kínát stb. De ahelyett, hogy az MI-k a végén mindenkit megölnének, létrehoznak egy csodálatos utópiát. Ám ez a csodálatos utópia pontosan olyan lesz, amilyennek azok az emberek akarják, akik az MI-ket irányítják – ami egy nagyon szűk csoportot jelent: az elnököt, néhány vezérigazgatót stb.

(Iratkozz fel a csatornára üzenet)

– Van rá bármi esély szerinted, hogy sosem jutunk el az AGI-hoz? És miben különbözik az AGI a szuperintelligenciától?

– A különbség az, hogy az AGI egy pontatlanabb és gyengébb kifejezés. A szuperintelligencia sokkal pontosabban meghatározott: mindenben jobb a legügyesebb embernél, gyorsabb és olcsóbb. Az AGI az Artificial General Intelligence (Általános Mesterséges Intelligencia) rövidítése, ami olyan MI-t jelent, amely általánosságban képes feladatokat ellátni, nem csak egyetlen specifikus területen.

Érvelhetünk amellett, hogy az AGI-t már elértük. Ha a Claude Code-ot vagy hasonló rendszereket használod, azok rengeteg dologra képesek – szinte olyanok, mint egy kis alkalmazott, akit elküldhetsz feladatokat elvégezni. Nagyon általánosak. De nem maximálisan általánosak, nem tudnak mindent megcsinálni. Ezzel szemben a szuperintelligencia definíció szerint mindent meg tud tenni, amit egy ember, csak jobban.

– És hogyan fedez ez át a robotikával? Mert most hatalmas robotikai bummot látunk. Még mindig vannak olyan fizikai dolgok a való világban, amiket a hús-vér emberek meg tudnak csinálni, mert az MI-k még bent rekedtek a számítógépben.

– Erről úgy szoktak beszélni, hogy a kognitív feladatok terén már elértük a szuperintelligenciát, és utána beszélhetünk a teljes szuperintelligenciáról, ami a fizikai dolgokat is meg tudja csinálni.

– El fogunk jutni oda mindkettővel?

– Szerintem igen. Bár ebben sem lehetünk teljesen biztosak. Kérdezted, lehetséges-e, hogy sosem jutunk el oda? Igen, lehetséges, de nem tartom valószínűnek. Az emberi agyban nincs semmi mágikus: csak egy csomó neuron. Teljesen lehetséges egy digitális rendszer számára, hogy hasonló funkciókat ellásson – pontosan úgy, ahogy egy repülőgép is tud repülni, pont mint egy madár. Nem ugyanúgy repül, mint a madár, de repül. Szóval igen, lehetségesnek tűnik.

– Megírtad ezeket a jelentéseket, dolgozol a következőn, dolgoztál az OpenAI-nál, majd felmondtál, mert aggódtál a folyamatok és az iparág jövője miatt. Többet tudsz, mint én: optimista vagy a jövőt illetően, vagy pesszimista? Rossz helyre tartunk, ha a dolgok nem változnak meg?

– Azt hiszem, rossz helyre tartunk, ha a dolgok nem változnak meg. Nem vagyok ebben 100%-ig biztos, mondjuk 70%-ot mondanék – természetesen rendkívül nehéz jósolni –, de igen, úgy tűnik, a jelenlegi alapértelmezett pálya egy nagyon-nagyon félelmetes hely felé vezet.

– Hogyan küzdesz meg ezzel személyesen és érzelmileg?

– Nehezen. Rendszeresen lehangol, de már annyi éve foglalkozom ezzel, hogy bizonyos szempontból hozzászoktam. Úgy fogalmaznék: hihetetlenül boldog lennék, ha az összes jóslatom tévesnek bizonyulna, és az MI például falba ütközne.

– Azt mondod, rendszeresen lehangol...

– Korábban vidám és optimista emberként ismertek. De 2020-ban az MI-idővonalra vonatkozó becsléseim elkezdtek összeomlani a GPT-3, a skálázási törvényekről szóló tanulmányok és a BioAnchor-jelentés miatt. Néhány esemény 2020-ban meggyőzött arról, hogy ez az egész teljesen reálisan megérkezhet az évtized végére, és az emberiség nyilvánvalóan nincs felkészülve rá. Ez rendkívül félelmetes világ.

– A rekurzív önfejlesztés miatt, ahol az MI-k saját magukat tanítják, kezdjük elveszíteni az uralmat a folyamatok felett.

– Hogy egyértelmű legyen: az MI-k már most is tanítják magukat. Ez inkább a teljes kutatási hurok bezárásáról szól, amikor már mindent ők csinálnak. Jelenleg a betanítási adatok nagy részét MI-k generálják, és a megerősítés (a pozitív és negatív visszacsatolások értékelése) jelentős részét is maga az MI végzi.

– El tudod ezt magyarázni konyhanyelven?

– Fontos, hogy mindenki megértse: a modern MI-rendszerek nem a hagyományos értelemben vett szoftverek. Technikailag szoftverek, de nem kódsorokból állnak. Nem arról van szó, hogy mérnökök leültek és megírták: „ha a felhasználó ezt kérdezi, tedd ezt ennyi lépésben”. Semmi ilyen nincs.

Ehelyett ez egy neurális háló. Gondolj arra, ahogy az agyban a neuronok össze vannak kapcsolva, és jeleket küldenek egymásnak! Az agy idővel megtanulja azokat a mintázatokat, amelyek sikerhez (dopaminlökethez) vezettek, ezek megerősödnek és gyakrabban tüzelnek. A kudarchoz vezető mintázatok (mint a forró tűzhely megérintése) leépülnek. Ennek eredményeképpen az évek során megtanulsz működni a világban, készségeket és világmodelleket sajátítasz el.

A mesterséges neurális hálók ugyanezt csinálják, csak mesterségesen. Kezdetben egy óriási, összegubancolódott tésztakupaccal indulnak, ami véletlenszerűen generált mesterséges kapcsolatokból – úgynevezett paraméterekből – áll. A legnagyobb MI-kben ma már körülbelül 10 billió paraméter van. Kezdetben teljesen használhatatlan: ha adsz neki egy bemenetet, csak zagyvaságot ad ki.

Aztán elkezdik betanítani. Az előtanítással (pre-training) kezdik: rengeteg internetes szöveget táplálnak be. Megmutatják az első szövegrészletet, az MI kiad egy zagyvaságot, majd pozitívan vagy negatívan megerősítik az alapján, mennyire volt pontos a következő szó megjóslásában. Lényegében azt a játékot játssza, hogy „jósold meg a következő szót”.

– Nem így történik ez a csecsemőknél is? Egy idegtudós mondta nekem, hogy a kisgyerekeknek kétszer annyi neurális kapcsolatuk van, mint a felnőtteknek, és a megerősítések során ezek leépülnek...

– Pontosan! Fiatalabb korunkban több útvonalunk van, és a tanulási folyamat során a nem hasznosak leépülnek (pruning), a hasznosak pedig megerősödnek. Az MI-nél ugyanez történik: leépítés és megerősítés egyszerre.

Az előtanítás során megtanítják a szöveg jóslására, ami olyan, mintha megtanítanák olvasni. A véletlenszerű gubanc fokozatosan formát ölt, és hasznos áramkörökké áll össze, amelyek rengeteg tényt és információfeldolgozási készséget tárolnak el.

Ez még csak az első lépés. Utána hasznosabb készségeket tanítanak neki: kódolási feladatok ezreit és millióit dobják elé virtuális környezetben („Itt a kód, futtathatod, módosíthatod, használhatod az internetet, hajrá!”). A sikerek alapján történik a megerősítés – ezért olyan jók most a kódolásban.

– Hogyan néz ki a szuperintelligencia ebben a tekintetben? Csak még több kapcsolatról van szó?

– Különböző MI-modellgenerációk vannak (GPT-3, GPT-4, GPT-5...). Néha a korábbi modellt tanítják tovább, néha pedig teljesen nulláról kezdenek egy új modellt, beleértve az előtanítást is. Az elmúlt években többször kezdtek mindent elölről, és amikor elölről kezdik, az egész mesterséges agyat sokkal nagyobbra építik.

Jelenleg kb. 10 billió paraméternél járunk. 2020-ban ez inkább 175 milliárd volt: hat év alatt két nagyságrendet (százszoros növekedést) léptünk előre. Ez a folyamat folytatódik. Emellett magukat az algoritmusokat is fejlesztik, hatékonyabbá teszik a kapcsolatok szerkezetét és a betanítási adatokat. Szó szerint mesterséges agyakat építünk.

– És ez szó szerint az agy működéséről van mintázva, igaz?

– Erősen az agy ihlette, de nem szabad túlzásba esni az analógiával, sok a különbség is (például a transzformátor-architektúra vagy a backpropagation algoritmus eltér a biológiai működéstől). De nagy vonalakban igen: mesterséges agyakat hozunk létre. Az MI az agynak az, ami a repülőgép a madárnak.

– Ez egy nagyon jó analógia! Segít megérteni a kreativitás kérdését is. Nem az a kérdés, hogy képes-e a „kreativitásra” mint belső folyamatra, hanem hogy képes-e olyan eredményt produkálni, amit mi kreatívnak tartunk.

– Filozofálhatunk azon, hogy ez „valódi” kreativitás-e, de elég csak megnézni, mi mindent érnek el már most, és mennyivel többet fognak elérni a közeljövőben.

– Volt mostanában olyan paradigmaváltó pillanat, ami megváltoztatta a saját mentális modeledet arról, hogyan fog ez kinézni?

– Sajnos a dolgok nagyjából az AI 2027-ben leírt pályán haladnak. Volt néhány meglepetés: a kormány például a vártnál gyorsabban és agresszívabban avatkozott be (például az exportkorlátozásokkal vagy az Anthropic megfenyegetésével a Védelmi Termelési Törvényre hivatkozva).

A másik meglepetés az volt, hogy az Anthropic átvette az első helyet a versenyben az OpenAI-tól.

– Miért gondolod, hogy ez megtörtént? Úgy tűnt, a ChatGPT és az OpenAI behozhatatlan előnyben van, most pedig az Anthropic lekörözte őket.

– Valószínűleg nagyobb náluk a „tehetségsűrűség” (talent density) és jobb a stratégiájuk. Nem sokkal, de épp annyira, hogy az meghozza a különbséget. Kevésbé vannak eleresztve erőforrásokkal és pénzzel, mint az OpenAI, így ha a csupasz erőforrások hiányoznak, a tehetség és a stratégia a legjobb magyarázat.

– Egy barátom, aki ismer néhányat ezek közül az emberek közül, egyszer leültetett Londonban. Igazából többször is mondta már nekem, de emlékszem egy konkrét beszélgetésre, ahol azt állította, hogy ezen MI-cégek vezetői közül páran körülbelül 7%-ra becsülik a kihalás valószínűségét. Nem tudom, miért ez a szám van a fejemben, de úgy rémlik, 10% alatt volt. A lényeg, amit próbált elmagyarázni nekem, az az volt, hogy még ha csak 1% is lenne – mint ahogy most ezen az asztalon lenne 100 gomb, és az egyik elhozná a világvégét –, vajon megmerném-e nyomni bármelyiket is? Nyilván nem nyomnám meg egyiket sem. De ő azzal érvelt, hogy ezek az MI-vezérigazgatók nagyon okosak, értik a szuperintelligenciát, és úgy gondolják, ha most 100 gomb lenne ezen az asztalon, abból talán 10 is elhozhatná a világvégét. Hallottalak már nyilatkozni – azt hiszem, a Daily Show-ban adtál interjút –, ahol azt mondtad, szerinted 70% az esélye annak, hogy a mesterséges intelligencia az emberiség kihalását okozza.

– Nem pontosan emberi kihalást mondanék. Azt mondanám, körülbelül 70% az esélye annak, hogy ez szörnyen sül el, akár az emberiség kihalásához vezetve. De ez csak egy a több lehetőség közül. Szóval igen, alapvetően például meglehet, hogy az MI átveszi az irányítást, de végül nem öl meg mindenkit. Lehet, hogy valami mást csinálnak. Attól még, hogy átvették a hatalmat, nem biztos, hogy végleg elpusztítanak minket – megtehetik, de tehetnek mást is. Ezért nem szoktam konkrétan 70%-os esélyt mondani a tényleges kihalásra, de 70% az esélye egy olyasfajta katasztrófának, mint az MI hatalomátvétele, ami végül emberi kihalást eredményezhet.

– Ebből két gondolatom támadt. Az egyik: te forgódtál ezen vezérigazgatók körül, hiszen Sam Altmannak dolgoztál az OpenAI-nál, mielőtt felmondtál. Szerinted ők maguk úgy gondolják, hogy van esély az emberiség kihalására?

– Igen. De fontos megérteni, hogy az emberek hajlamosak azt hinni, amit hinnie kell ahhoz, hogy jó embernek tartsa magát, és úgy érezze, folytatnia kell, amit csinál. Ez maga a racionalizálás. Úgy gondolom, a tech-vezérek őszintén meggyőzték magukat arról, hogy a dolgok valószínűleg rendben lesznek, és a helyes út az, ha ők egyszerűen folytatják, amit csinálnak. Sam valószínűleg azon gondolkodik, hogy nem hagyhatja Dariót vagy Elont elsőként célba érni. Tudom, hogy Dario ugyanezt gondolja Samről, Elon pedig mindkettejükről. Mindannyian meggyőzték magukat arról, hogy: „Jó, lehet, hogy szörnyen sül el, de valószínűleg rendben leszünk, és a legjobb, ha én vagyok a főnök.”

– Úgy tűnik számomra, hogy az Anthropic az egyetlen olyan cég, amelyik még beszél a kihalás vagy egy katasztrófa lehetőségéről és a valós kockázatokról. Úgy tűnik, ők az egyetlenek, akik még publikálnak ebben a témában, és emiatt sok tekintetben kezdenek a San Franciscó-i tech-iparág ellenségévé válni. Sok interjút nézek, és mindenki Dariót támadja, mert azt mondja: figyeljetek, a dolgok rosszul is elsülhetnek. „Doomernek” (vészmadárnak) hívják, és megkérdőjelezik a szándékait. Még a Mythos esetében is – ami egy Claude-modell, amire figyelmeztetni próbálták a világot – azonnal megtámadták emiatt. Úgy látod, hogy ő ebben a tekintetben kicsit más, mint Sam?

– Igen. Úgy tűnik, az Anthropic és Dario nyitottabbak voltak olyan dolgokat kimondani és megtenni, amelyek – legalábbis az elmúlt évben – üzletileg hátrányosak voltak számukra. Ez egy jó példa rá. Nem hiszem, hogy ezzel jó pontokat szereznek a kormányzatnál vagy a befektetőiknél. Egy még jobb példa a Department of War (Hadügyminisztérium) és az Anthropic közötti vita volt, ami rengeteg pénzükbe és – ami még fontosabb – rengeteg hatalmukba került, pedig simán aláírhattak volna egy szerződést. De tényleg nem szeretnék abban a helyzetben lenni, hogy azon gondolkodunk: „Melyik vezérigazgató a legkevésbé rossz? Támogassuk azt!” Ezen emberek közül egyiknek sem szabadna ekkora hatalmat adni a kezébe. Senkinek sem.

– Visszatérve a gombokra: te úgy véled, hogy ők reális esélyt látnak a kihalásra.

– Igen, de meggyőzték magukat arról, hogy valószínűleg minden rendben lesz, és amúgy is még rosszabb lenne, ha nem ők csinálnák. A cégen belül is ezt mondják az embereknek: „Rendben, de ha mi megállunk, mi lesz a többiekkel? Ők nem fognak megállni.”

– Mindig is ez volt a nyitott kérdésem: hogyan nem alakul ez rosszul, amikor az emberi ösztönzők uralkodnak? Ha megnézed a történelmet, az emberi ösztönzők azt mondják: vesztettél, ha folytatod a fejlesztést, de földrajzi és geopolitikai szempontból akkor is vesztettél, ha leállsz, mert az Egyesült Államok veszít egy másik országgal szemben, vagy ez a cég veszít a másikkal szemben. A tiszta ösztönzőket nézve hogyan érhet ez véget?

– Tovább zakatol előre. Úgy tűnik. Bár van egy reménykeltő figyelmeztetés: ha a világ felébred erre az egészre, akkor komolyabb párbeszéd indulhat a szabályozásokról és a nemzetközi egyezményekről. Ez megváltoztathatja az ösztönzőket. A kormány felléphet, és azt mondhatja: „Íme a szabályok, amelyeket mindannyiótoknak be kell tartania!” És mivel ezek mindenkire érvényes szabályok, többé nem leszel érdekelt a megszegésükben, mert büntetést kapsz, miközben a többiek is betartják őket. Szóval van egy fénysugár, hogy megváltoztathatjuk az ösztönzőket, ha a kormány – különösen az amerikai, de később a többi is – lépéseket tesz. De ez nem fog megtörténni addig, amíg az emberek fel nem ébrednek.

A második dolog, hogy egy adott ponton egyénileg Dario, Sam vagy Elon is ráébredhet arra, hogy a saját érdeküket sem szolgálja a gátlástalan egyoldalú verseny. Ezzel az a baj, hogy ez csak akkor válik nyilvánvalóvá, ha a helyzet már rendkívül súlyos és drámai. Az AI 2027 forgatókönyvben van egy döntési pont: az egyik ágon az MI nincs összhangban az emberi érdekekkel (misaligned), a másikon igen. A döntési pont kiváltó oka az, hogy bizonyítékot látnak arra, hogy az MI ellenük szervezkedik. Ha meglátják ezt a bizonyítékot, rájönnek: „Atyaég, talán nem kellene mindent a kezébe adni és hagyatkozni rá!”, mert a bizonyíték ott van az orruk előtt, hogy megbízhatatlan. De ha nem látnak ilyen egyértelmű bizonyítékot, meg fogják győzni magukat arról, hogy folytatniuk kell. De meglehet, hogy látni fognak ilyen bizonyítékot, és abban az esetben szabályozás nélkül is önként leállhatnak. Ez a második reménysugár. Összességében nem gondolom, hogy végleg el vagyunk ítélve. Mondtam a 70%-ot, de el tudom képzelni azt is, hogy meglehetősen jól alakulnak a dolgok.

Mit tesz az MI a munkahelyekkel?

– Izgatottan várom, hogy áttérjünk az optimistább, pozitívabb jövőképre, de az AI 2027 előrejelzésben mire az emberek elveszítik a munkájukat, már rosszabb dolgok is történnek, vagy addigra már szinte túl késő. De gondoljunk csak bele: ha a cégeknek sikerül felépíteniük a szuperintelligenciát, az definíció szerint szinte az összes munkahelyet át tudja venni, hiszen mindenben jobb, gyorsabb és olcsóbb a legokosabb embernél is. Úgy sejted, a szuperintelligencia 2030 végére érkezhet meg. Mikor kezdhetjük látni a leépítéseket a gazdaságban? Már most látunk egy keveset, de még nem sokat. Miért?

– Mert az MI még nem elég jó. Lenyűgöző, de szinte semmilyen területen nem képes még egy az egyben helyettesíteni egy emberi munkavállalót.

– Szerinted ez hirtelen fog bekövetkezni?

– Szerintem hirtelen, az „intelligencia-robbanás” és a rekurzív önfejlesztés dinamikája miatt. Elképzelhető egy olyan világ, ahol ez fokozatos. Sok sci-fiben így van: az MI fokozatosan javul egy sor dologban, fokozatosan automatizál egy iparágat (például a gyógyszerészetet), aztán a drónirányítást, majd az autóvezetést.

De a valóságban a cégek arra a stratégiára álltak rá, hogy először saját magukat automatizálják – vagyis az MI-kutatási folyamatot. És ha hagyják őket folytatni ezt a stratégiát, nem a robotaxikat, a vízvezeték-szerelő robotokat meg az ügyvéd MI-ket fogjuk először látni a gazdaságban, mert nem erre fókuszálnak. Arra összpontosítanak, hogy saját magukat automatizálják, így gyorsabban tudnak mindent csinálni. Ezt akarják eljuttatni a nagyon magas általános intelligenciaszintre, és csak utána terjesztik ki a gazdaságra.

Mire tehát a különböző munkákért jönne, már hónapok vagy évek óta teljes autonóm MI-kutatás fog folyni, ami azt jelenti, hogy az MI nemcsak az MI-kutatásban lesz messze felülmúlhatatlan, hanem mellékhatásként rengeteg más dologban is. Ez olyan lesz, mint egy hullám, ami átsöpör a gazdaságon, miután belsőleg végrehajtották az intelligencia-robbanást.

– Tehát mivel az MI képes lesz fejleszteni és képezni saját magát, mindenben egyszerre fog fejlődni, majd egyszerre szabadul a világra. Jól értem?

– Nem is teljesen így, mert még ha főleg csak az MI-kutatásban fejlődik is, ennek áthajló hatásai lesznek más készségekre is. Amikor pedig ezekre a többi készségre terelődik a figyelem, rendkívül gyorsan fogja elsajátítani őket.

– Milyen munkák maradnak egy ilyen forgatókönyvben?

– Ez valójában politikai kérdés, nem technikai. Technikai szinten az összes munkát el tudják végezni az MI-k, ha elérik ezt a szintet. Szóval a kérdés az: milyen munkákat engedünk meg nekik, és milyeneket nem?

– Ez attól függ, ki van hatalmon. Politikai párbeszéd alakul majd ki arról, mit engedélyezünk és mit tiltunk meg.

– Ebben a forgatókönyvben az emberek még irányítják őket?

– Attól függ, mit értesz irányítás alatt. Az a kérdés, hogy az MI-knek valóban megvannak-e azok a céljai és értékei, amelyeket elvársz tőlük, és tartósan úgy viselkednek-e a jövőben is, vagy csak arról van szó, hogy egyelőre engedelmeskednek a parancsaidnak?

– Arra gondolok, hogy engedelmeskednek-e a parancsoknak.

– Igen. Még az AI 2027-ben is, abban a szcenárióban, ahol az MI átveszi a hatalmat és mindenkit megöl, van egy többéves időszak, amikor még engedelmeskednek a parancsoknak: elvesznek egyes munkákat, de másokat nem, és segítik a jobb fegyverek gyártását az amerikai kormánynak a Kínával való fegyverkezési versenyben. És azért képesek ilyen gyorsan ekkora hatalomra szert tenni, mert a kormányok és a vállalatok megbíznak bennük, és szándékosan helyezik be őket ezekbe a pozíciókba, mert azt hiszik, minden rendben van. De mivel ezek neurális hálók, nem tudsz csak úgy belenézni a belsejükbe, hogy meglásd, mit gondolnak valójában.

– Ez egy nagyon fontos pont. A szoftverekkel ellentétben – ahol teoretikusan belenézhetünk a kódba – az MI-nél azt mondod, nem tudjuk, miért hozza meg a döntéseit, mert nem látunk bele a belsejébe.

– Egy optimistább megjegyzés: ennek nem feltétlenül kell így lennie. A gépi tanulásnak van egy mechanisztikus értelmezhetőség (mechanistic interpretability) nevű részterülete, ami pont ezt a problémát próbálja megoldani: szétszedni a betanított mesterséges neurális hálókat, és megérteni, hogyan áramlik az információ, hogyan születnek a döntések. A probléma csak az, hogy ez eredendően nehéz feladat. Ha 10 billió kapcsolatot kell megvizsgálnod, megnézhetsz egy adott csoportot, és mondhatod, hogy „oké, ez a kapcsolat így működik”, de hogyan kapsz képet az egészről magas szinten? A válasz az, hogy lehet, hogy lehetetlen, de az emberek dolgoznak rajta. Ha elegendő haladást érnek el, egy teljesen más és sokkal fényesebb világban találjuk magunkat. Sokkal kevésbé lennénk kitéve az irányításvesztési szcenárióknak, ha bármikor láthatnánk, mit, miért és hogyan gondol az MI.

– Egészen őrület belegondolni, hogy olyan technológiát, olyan agyat építünk, amit nem értünk.

– Igen, elég őrült dolog. Mint egy sci-fi filmben, ahol a tudósok körbeállnak egy nagy agyat, táplálják, de nem igazán tudják... Nyilvánvalóan veszélyes dolog, de mégis csináljuk az elmúlt 10 év fejlődése miatt, ahol az emberek úgy voltak vele: „Ó, ez veszélyes! De mi van, ha más csinálja meg rosszul? Ezért inkább nekünk kell megcsinálnunk jól!” Most pedig ebben a versenyben vannak egymással, miközben politikai nyomás alatt állnak, hogy úgy tegyenek, mintha a helyzet nem lenne annyira rossz, mert nem akarják felbőszíteni a befektetőiket vagy a Fehér Házat.

Milyen készségek számítanak majd egy MI-világban?

– Az egyik kulcskérdés a nézőinktől az volt: mely munkák élik túl garantáltan az MI-t, és milyen készségekre kellene a diákoknak és a fiataloknak fókuszálniuk a következő 10 évben?

– Ez kicsit olyan, mintha Mexikóban élnél 1500 körül, és meghallanád, hogy jönnek a konkvisztádorok. Megkérdezheted magadtól, hogy milyen munkára válts, hogy túléld az átmenetet, de sokkal több aggódnivalód van ennél. Ennek ellenére azt mondanám: ha sikerül elkerülnünk az irányításvesztés problémáját, és az emberek kezében marad az ellenőrzés – vagyis az emberek határozhatják meg az MI céljait és értékeit még akkor is, ha az sokkal okosabbá válik náluk és átveszi a gazdaságot –, akkor valószínűleg lesznek olyan szabályozások, amelyek megvédenek bizonyos területeket. Kitalálhatod, melyek lehetnek ezek: esetleg a bírák.

– Mi a helyzet a podcasterekkel? Légy őszinte!

– Valószínűleg a podcasterek nem élik túl. De olyasmik, mint a dajka vagy bébiszitter például... Azt hiszem, még ha van is egy robotdajka, ami rendkívül jó, sok ember inkább egy valódi embert választana, mert feszélyezné őket a robot gondolata. Szóval lehet így is okoskodni. És vannak jogilag védett munkák is, ahol előírhatják, hogy csak ember végezheti, robot nem.

– Egyesek szerint viszont annyi új munkahely fog létrejönni, amit most még el sem tudunk képzelni, akárcsak az ipari forradalom vagy az internetrobbanás idején.

– Ezzel az a probléma, hogy a múltbéli technológiai vívmányok szűkebb körűek voltak: automatizáltak bizonyos dolgokat, de nem mindent. Mi viszont egy olyan hipotetikus jövőbeli helyzetről beszélünk, ahol minden automatizálva lesz. Így nem lesz olyan új munkahely, amit te meg tudnál csinálni, de az MI ne tudná megcsinálni – kivéve, ha azt szabályozás védi.

Jelenleg van egy ciklus: az MI megtanul egy bizonyos dolgot (szöveget írni, kódot vázolni, hibát javítani), az emberek pedig átnyeregnek az MI-k irányítására vagy más olyan feladatokra, amiket az MI még nem tud. Ezért nyíltak meg eddig mindig új munkahelyek. De ha eljutunk arra a pontra, ahol az MI mindent meg tud tenni, amit az ember – jobban, gyorsabban és olcsóbban –, akkor bármilyen új munkára váltanál, az MI arra is át tud váltani, és már alapból jobb lesz benne, mint te.

– Mivel még nem láttunk tömeges munkanélküliséget a gazdaságban, szerinted az emberek kezdenek kissé elkényelmesedni? Sokan mondják a közösségi médiában: „Én megmondtam, hogy minden rendben lesz!” Az amerikai munkanélküliségi ráta stagnál vagy enyhén csökken (kb. 4,2%), az Egyesült Királyságban pedig 5% körül van.

– Igazából senki sem állította, hogy mostanra tömeges munkanélküliség lenne. Mi legalábbis nem ezt mondtuk az AI 2027-ben. A tömeges munkanélküliség csak 2028-ban vagy 2029-ben következik be, miután már kifejlesztették a szuperintelligenciát. A cégeknek nem az a legelső lépésük, hogy tömeges munkanélküliséget okozzanak. Az 1. lépés saját maguk automatizálása; a 2. lépés a rekurzív önfejlesztés a szuperintelligenciáig; a 3. lépés pedig a kiterjesztés a gazdaságra és minden automatizálása.

Ez az emberiség szempontjából nagyon szerencsétlen, mert ha az automatizálás széles körű hulláma fokozatosan menne végig a gazdaságon, az emberek felébrednének, elgondolkodnának azon, hová tart ez az egész, és jó szabályozást követelnének a kormánytól. De a cégek nem ezt a stratégiát követik: először elérik a szuperintelligenciát, és csak utána hajtják végre a széles körű automatizációt – ami azt jelenti, hogy mire ezt elkezdik, a folyamat már nagyon gyorsan fog pörögni, és az MI már rendkívül erős lesz.

– A 2027-es jelentésedben – amit még 2025-ben írtál – azt mondtad, hogy 2025 közepére megjelenik az „autonóm alkalmazott”, vagyis az MI-ágensek, akik a Slacken vagy a Teamsen keresztül fogadnak utasításokat. Ez megtörtént. Nekem is van MI-ágens a WhatsAppomban, akivel beszélgetek. A Claudebot is elterjedt a világban. Azt is írtad, hogy 2026-ra a vállalatok elkezdik egész vállalati részlegek lecserélését MI-ágens előfizetésekre; 2027-re pedig az utolsó munkát is automatizálják: magát az emberi MI-kutatók munkáját, megkezdve a gépi tanulási kutatást a következő generációs MI-k megépítésére.

– Igen. Az idővonalakat illetően bizonytalanok vagyunk, mennyi időbe telt e mérföldkövek elérése. Mire a forgatókönyvet publikáltuk, az én idővonalaim már kicsit kitolódtak: nálam a 50%-os valószínűségi jelölés 2028-ra esett az MI-kutatás teljes automatizálásánál, nem 2027-re, míg a csapatom más tagjainál heller 2030 vagy 2031 volt. Bunu úgy kell elképzelni, mint egy elkent valószínűségi eloszlást: a 50%-os jelölés egy adott évre esik, de nagy a lehetőség arra is, hogy évekkel korábban vagy később következik be.

AI 2040: Hogyan nézhetne ki a jövő?

– Mi az az AI 2040? Az AI 2027 egy legjobb tipp volt arra, hogyan alakulhatnak a dolgok a valóságban.

– Az AI 2040 (A-terv) a mi javaslatunk arra, hogyan kellene alakulniuk a dolgoknak. Azért neveztük el AI 2040-nek, mert ebben a forgatókönyvben csak 2040-ben építik meg a szuperintelligenciát sokkal korábbi időpont helyett, mert elhalasztják.

– Miért halasztják el?

– Hogy kezeljék a kockázatokat, és biztosítsák a hatalom méltányos elosztását. Alapvetően úgy szabályozzák az MI fejlesztését, hogy az továbbra is haladjon, de lassabb, ésszerűbb ütemben, átláthatóbb és biztonságosabb módon, több ország és cég között elosztva. Ennek eredményeként nem mondjuk 2030-ban, hanem 2040-ben érik el a szuperintelligenciát. 

Ezt hívjuk „A-tervnek”, mert ez a mi javaslatunk: kidolgoztunk egy tervet arra, mit kellene tenniük a kormányoknak, ez a forgatókönyv pedig szemlélteti, hogyan nézne ki ennek a megvalósítása – hasonlóan ahhoz, ahogy az AI 2027 azt illusztrálja, mi történik, ha a cégek a jelenlegi terveik szerint haladnak tovább.

– Ez van a fejemben. De vajon ez csak vágyálom, vagy szerinted valóban ez fog megtörténni?

– Nem, határozottan nem gondoljuk, hogy ez fog megtörténni.

– Nem gondolod, hogy ez fog megtörténni?

– Nem. Úgy véljük, a valóságban inkább az előző forgatókönyv valósul meg. Nem számítunk arra, hogy a világ hallgatni fog ránk. Ez a mi javaslatunk, reméljük, hogy az emberek valami hasonlót tesznek majd, és hisszük, hogy ez lehetséges, de alapesetben nem ezt jósoljuk a jövőre nézve.

– Át akarom nézni a lehetséges terveket és az A-tervet is, de még mielőtt rátérnénk arra, hogyan alakulhatnak a dolgok a következő években, szeretném érinteni a robotikát is. Itt van ez a grafikon a munkaerő-kibocsátás arányáról, amit meglehetősen mellbevágónak találtam. Munkáltatóként, aki több száz embert foglalkoztat, azon tűnődöm, mikor fog mindez bekövetkezni. Jelenleg még mindig veszünk fel új embereket, bár bizonyos pozícióknál már jelentősen megváltozott a megközelítésünk. Azt kell mondanom, most abban a fázisban vagyunk, ahol a csatapataink MI-vel támogatottak, és ágenseket használnak a munkájuk egy részéhez. De munkáltatóként felmerül bennem: mikor jön el a nagy fordulat?

– Nagyszerű kérdés! Nagyítsunk rá erre egy kicsit! Ez az AI 2040: A-terv forgatókönyvéből van, ahol jelentős szabályozást vezetnek be 2029-ben, ami lelassítja az MI fejlődésének ütemét. A forgatókönyvben ezt az utolsó pillanatban teszik meg: ha nem lépték volna meg, a fejlődés pontosan úgy lőtt volna ki, mint az AI 2027-ben. Amint látod, még a szabályozás bevezetésekor is rengeteg munkahely létezik ebben a szcenárióban. Ez visszacsatol ahhoz, amit korábban mondtam: ha megvárod, amíg a legtöbb ember elveszíti a munkáját, és csak utána szabályozod az MI-cégeket, akkor már túl késő. Addigra valószínűleg már lesz szuperintelligens MI-jük, mert a stratégiájuk az, hogy először a szuperintelligenciát érik el, és csak utána automatizálnak mindent.

– És azt mondod, hogy az gazdasági összeomláshoz vezetne, és még nagyobb kárt okozna, ha hirtelen szabályoznánk valamit, amire addigra mindannyian és az egész életünk támaszkodik.

– Igen, de ezt a kockázatot nagyon is megéri vállalni! Igaz, hogy jelenleg sokan használják az MI-t sok mindenre, de ha valahogy lassítani vagy szüneteltetni tudnánk az MI fejlesztését most, hogy felépítsünk egy jobb működési modellt, az bőven megérné – még ha jelentős ára is lenne. De abban a pontban már nem teheted meg, ahol az MI és a robotika adja a munkaerő-kibocsátás nagy részét.

– Így van. De ebben az AI 2040: A-terv forgatókönyvben 2029-ben bevezetik a szabályozást, majd lassan és óvatosan fejlesztik az MI-t, elkerülve a problémákat. Így végül – igen, végül – az MI-k átveszik a munkákat. Végül az egész gazdaságot MI-k és robotok működtetik, de ez fokozatosan történik meg a 2030-as évek során, ahelyett, hogy egyetlen év leforgása alatt csapna le egy brutális sokkhatásként. Mert ebben a szcenárióban nem hagyják, hogy a cégek rekurzív önfejlesztéssel a lehető leggyorsabban eljussanak a szuperintelligenciáig. Ehelyett úgy szabályozzák a fejlesztést, hogy az alapképességek ésszerűbb ütemben és átláthatóbb módon fejlődjenek, így a tudományos közösség látja, mi történik, és segíthet a biztonságossá tételében.

– Észrevettem, hogy mindkét forgatókönyvedben végül az MI és a robotika végzi szinte az összes munkát. Ebben egyetértesz Elon Muskkal, aki szerint a munka a jövőben választás kérdése lesz. Mert hát mi történik? Ha definíció szerint mindent meg tud csinálni, akkor mindent meg is fog csinálni.

– Igen. A kérdés inkább az: szabad-e engednünk, hogy olyan MI-k jöjjenek létre, amelyek mindenre képesek? Egyesek szerint a válasz nem: mindent le kellene állítani, és meg kellene akadályozni az ilyen típusú MI-k létrejöttét. Mi valójában meglehetősen szimpatizálunk ezzel a gondolattal.

– Megmutassuk a terveket ábrázoló diagramot?

– Igen, köszönöm! A mi forgatókönyvünk neve AI 2040: A-terv. Ez egy olyan szcenárió, amelyben lelassítják az MI fejlesztését, hogy a szuperintelligencia csak 2040-ben jöjjön létre a korábbi dátumok helyett. Az A-terv a mi hivatalos javaslatunk. Összehasonlításképpen készítettünk mini-forgatókönyveket is, amelyek eltérő alternatív terveket illusztrálnak: ezek az S-terv, B-terv, C-terv és D-terv.

D-terv: Alapvetően ugyanaz, mint ami az AI 2027-ben történik. A verseny folytatódik, alig van szabályozás.

C-terv: Nagyon hasonló az AI 2027 lelassulós végkifejletéhez, ahol megoldják az igazodási (alignment) problémákat. Ebben a verzióban kicsit lelassítanak, több erőforrást csatornáznak át az MI-biztonsági kutatásokra, szerencséjük lesz, sikerrel járnak, majd miután megvannak a biztonságos MI-k, újból felgyorsítanak, átveszik a munkákat, és legyőzik Kínát.

B-terv: Hasonló a C-tervhez, de agresszívabbak Kínával szemben: szabotázst vagy kibertámadásokat vetnek be ellenük, hogy lemaradásban tartsák őket, így több lélegzetvételnyi idő marad az igazodási problémák saját elhárítására.

A-terv: A mi javaslatunk. Belső szabályozás, majd egy nemzetközi megállapodás az MI építésének folytatására, de sokkal jobb és biztonságosabb keretek között.

S-terv (Shutdown): Az egész teljes leállítása. Ha olyan jövőt szeretnél, ahol nem szaladgálnak olyan MI-k, akik mindent jobban és gyorsabban csinálnak az embernél, akkor az S-tervre van szükséged.

– Te mit szeretnél?

– Az A-terv a javaslatunk. Szimpatizálok az S-tervvel is, de az általunk kifejtett okok miatt mégis az A-tervet ajánljuk.

– És őszintén: szerinted melyik a legvalószínűbb?

– A D-terv. Vagyis az, hogy tovább versenyeznek, nem lassítanak le érdemben, és a dolgok rendkívül gyorsan pörögnek fel.

– Vannak gyerekeid?

– Igen, két gyermekem van.

– Ez kicsit szomorú. Úgy értem, így vagy úgy, de mire elérik azt a kort, hogy belépjenek a munkaerőpiacra, ez az egész valószínűleg már lezajlik. Nem hiszem, hogy valaha is belépnek a hagyományos munkaerőpiacra.

– Mit értesz az alatt, hogy „ez az egész lezajlik”?

– Azokra a mérföldkövekre gondolok, amelyeket leírtam: az MI automatizálja az MI-kutatást, szuperintelligenssé válik, berobban a gazdaságba, elveszi a munkákat, robotgyárakat épít, hogy még több robotot és gyárat hozzon létre, a GDP pedig függőlegesen kilő. Ezekre az eseményekre gondolok. Talán van 10-20% esély arra, hogy a technológia falba ütközik, és mindebből semmi sem valósul meg, még akkor sem, ha nem teszünk semmit.

– Hány éves a idősebbik?

– Hat. Kislány.

– Ha a lányod odalép hozzád, és azt kérdezi: „Apu, mit tanuljak az iskolában?”, mit mondasz?

– Ha ezek a radikális átalakulások bekövetkeznek, a világ teljesen máshogy fog kinézni, és az, hogy milyen munkára készíted fel magad, lényegében nem fog számítani. Azt mondanám, hogy egyrészt próbáljunk meg tenni azért, hogy a dolgok jól alakuljanak. Ha bármilyen csekély befolyásod is van a történelemre és arra, hogyan fejlődik ez az egész, keményen kell próbálkoznod, hogy jobb irányba tereld a jövőt. Másrészt személyes szinten arra kell fókuszálni, hogy jó ember légy, és olyan dolgokat csinálj, amelyek önmagukért jók, nem pedig azért, mert felkészítenek egy későbbi elhelyezkedésre – mert az a későbbi elhelyezkedés nagyon bizonytalan.

– Elon Musk a bőség koráról beszél, ami felé haladunk.

– Bőség határozottan lesz. A kérdés az: ki irányítja ezt a bőséget, és mit kezd vele? Bárki irányítja egyáltalán az MI-ket, vagy a saját fejük után mennek? És ha emberek irányítják őket, kik azok, és mit tesznek? Milyen politikai struktúra határozza meg a döntéseiket?

– Azt hiszem, Geoffrey Hinton mondta nekem: nincs példa a természetben arra, hogy egy intelligensebb faj felett egy kevésbé intelligens faj uralkodjon. Ezzel arra utalt, hogy meglehetősen gőgösek vagyunk, ha azt hisszük, egy olyan világban, ahol létezik egy nálam garmadával okosabb mesterséges agy, én fogok neki utasításokat adni.

– Igen, ez a lényeg. Ennek kellene lennie az alapfeltételezésünknek: itt vannak ezek az agyak, nem látjuk pontosan, mit gondolnak, okosabbá tesszük őket nálunknál, rájuk bízunk mindent, aztán testet adunk nekik, ők pedig autonóm módon új gyárakat építenek. Hogyan kellene ennek jól végződnie? Nem pontosan olyan ez, mintha kitenyésztenénk egy új fajt, amelyik aztán kiszorít minket, amint már nincs ránk szüksége? Szerintem ez az alapértelmezett pálya.

Természetesen van egy egész argumentum arról, hogyan térhetnénk le erről az alapértelmezett pályáról. Ott van például az értelmezhetőségi (interpretability) kutatás, amiről korábban beszéltem. Ha az a kutatás beérik, láthatóvá válik, mit gondolnak, ami kiváló eszköz lenne a formálásukhoz, ellenőrzésükhöz és ahhoz, hogy azt tegyék, amit mi akarunk. Vannak más MI-igazodási kutatási agendák is, amelyek haladást érnek el. Ha ezek közül elég sok sikerül, elkerülhetjük ezt a problémát.

A szabályozási oldal is kulcsfontosságú: a nehézséget részben az adja, hogy versenyhelyzetben építjük ezeket az MI-ket. A cégek titkolják a recepteket, nehogy mások lemásolják őket, így a fejlesztések zárt ajtók mögött zajlanak, és csak kevesen látják a betanításhoz használt eljárásokat. És amikor az MI váratlanul vagy kifejezetten károsan viselkedik, az információ gyakran nem jut el a nyilvánossághoz, mert a cégek nem érdekeltek abban, hogy elmeséljék a hibáikat. Ez nem kedvez a tudományos haladásnak. Ha a szabályozási rendszer más lenne, jobb helyzetben lehetnénk, és gyorsabb áttörést érhetnénk el. És persze nem terveznénk azt sem, hogy a lehető leggyorsabban mindent az MI-k irányítása alá helyezzünk, és nem hagynánk nekik a korlátlan önfejlesztést sem. Ezek olyan döntések, amelyeket meghozhatnánk másképp is.

(A reklámblokk eltávolítva)

– Ilia Sutskever az OpenAI egyik vezetője volt, majd távozott, és megalapította a saját cégét, a Safe Super Intelligence-t (Biztonságos Szuperintelligencia) – ami elég érdekes név egy cégnek az OpenAI elhagyása után. Dolgoztál vele együtt?

– Nem dolgoztam vele közvetlenül, de beszélgettem vele pár alkalommal.

– Szerinted ő is őszintén aggódik?

– Szerintem igen. De úgy gondolom, ő is hasonló helyzetben van, mint a többi vezérigazgató. Gondolj bele, milyen ösztönzők hatása alatt állnak! Látják a problémát, de azt mondják: „Jó, de ha leállok, felmondok vagy mást csinálok, az nem oldja meg a problémát, mert a többi vezérigazgató folytatni fogja. És ha mind leállnánk, Kína akkor is folytatná. Úgy tűnik, ez így is, úgy is megtörténik, akár teszek ellene, akár nem. Akkor inkább veszek részt benne, hátha el tudom érni, hogy jól süljön el! És különben sem akarok a hidegben maradni, amíg mások – akikben nem bízom – irányítanak mindent.” Mindannyian végigzongorázzák ezt a gondolatmenetet, és meggyőzik magukat arról, hogy az a helyes lépés, ha ők építik meg, csak jobban. Ilia csak a legújabb példa erre. Elon egy másik példa, Dario egy harmadik. Kezdetben Sam is ilyen volt az OpenAI-nál, bár Elon és Dario is ott voltak az elején.

– Mit kellene tenniük szerinted?

– Nemzetközi vagy legalább hazai szabályozásra lenne szükség, hasonlóan ahhoz, amit az A-tervben leírtunk.

– Végigvezetnél az A-terven?

– Ebben a forgatókönyvben az MI-nek hosszabb időbe telik eljutni a rekurzív önfejlesztésig és az MI-kutatás teljes automatizálásáig, mint az AI 2027-ben. Úgy véljük, érdemes megmutatni a lehetőségek skáláját a bizonytalansági tényezők miatt, így 2030-at választottuk annak a pillanatnak, amikor a teljes automatizáció végül megvalósul, és a dolgok igazán beindulnak.

Visszafelé számolva: mikor van az utolsó pillanat, amikor még jó szabályozást lehet hozni? 2029-ben. Ebben a szcenárióban az MI fejlődése magától is kissé lelassul, a cégek továbbra is versenyeznek, de nem sikerül teljesen automatizálniuk magukat 2027-ben, 2028-ban vagy 2029-ben – bár nagyon közel járnak hozzá, és 2030-ra megtennék. Ekkor, 2029-ben a kormány közbelép és szabályozza őket.

– Milyen szabályozásokat vezetnek be?

– Lényegében ideiglenesen leállítják a fejlesztést.

– Megkérdezhetem, hogyan kapcsolódnak az elnökválasztások az idővonaladhoz? Mert 2028-ban nagy választás lesz az Egyesült Államokban, és úgy tűnik, a közhangulat erősen az MI ellen fordult a nagyközönség körében, így ez az egyik legfontosabb téma lesz a szavazólapokon.

– Úgy gondoljuk, hogy a 2028-as elnökválasztás legfontosabb témája lehet. A legtöbb ember meglehetősen aggódni fog amiatt, hová tartanak a dolgok. Részben ezért ábrázoltuk így a dolgokat ebben a forgatókönyvben: ez magyarázza, miért hozhatnak ilyen szabályozást 2029-ben – mert a szavazók ezt követelték, az elnökjelöltek pedig megígérték.

– Ebben a forgatókönyvben 2027-re a nagyközönség sokkal súlyosabban megérezte volna az MI következményeit, mint most?

– Igen, bár 2029-ben ebben a szcenárióban az emberek többségének még megvan a munkája. Sok munkahelyen ekkorra már MI-ágenseket irányítanak. Említetted, hogy neked is van MI-ágensed: nos, 2029-ben ebben a forgatókönyvben az ágensek sokkal jobbak lesznek, de még mindig nem annyira, hogy mindent teljesen egyedül csináljanak meg. Ez a szint ebben az idővonalban 2030-ban jönne el. (Ismétlem: az idővonalak bizonytalanok, a dolgok gyorsabban is haladhatnak, mint ebben a forgatókönyvben – és szerintem gyorsabban is fognak haladni, de a nagyon gyors szcenáriót már megírtuk, így most egy lassabbat vázoltunk fel.)

Nézzük a fő célokat! A politikusok és a szavazók azt akarják, hogy az MI fejlődése folytatódjon, de lassabb ütemben, hogy biztonságossá lehessen tenni.

1. cél: Lassítás.

2. cél: Átláthatóság növelése, hogy a tudományos közösség felzárkózhasson, és ne kelljen elhinni a cégek bemondásos alapon tett ígéreteit a biztonságról vagy az elfogultság-mentességről.

3. cél: A hatalomkoncentráció elkerülése. Kifejezetten jó, ha több MI-cég létezik több különböző országban hasonlóan fejlett képességekkel, és az MI széles körben elterjed a társadalomban, ahelyett, hogy egyetlen megaprojekt kezében összpontosulna az összes legjobb MI. És a nagyszerű dolog az, hogy ezt alapértelmezésben megkapod, ha az első két dolgot megteszed: a lassítás és az átláthatóság lélegzetvételnyi időt hagy más projekteknek a felzárkózásra.

4. cél: Visszafordíthatóság. A forgatókönyvben rengeteg adatközpontot és robotot építünk fel. A világ átalakul, bár lassabb ütemben. Ha a dolgok elromlanak, a megállapodás felbomlik, és mindenki újra versenyezni kezd a szuperintelligenciáért, az nagyon félelmetes lenne. Ezért a negyedik elv: az új adatközpontokat úgy kell megépíteni, hogy ha minden felbomlik és újra indul a hajsza, az újonnan épült adatközpontok megsemmisüljenek, így visszatérünk a nullponthoz ahelyett, hogy egy még veszélyesebb versenyben találnánk magunkat.

Ha érdekel, végigvezethetlek az idővonalon.

– Persze!

– Az elnök beszél Kína és más országok vezetőivel, és azt mondja: „Alapvetően leállítjuk az MI-fejlesztést, amíg ki nem találunk egy tervet ezen célok elérésére.” Ellenőröket küldenek egymás adatközpontjaiba: kínai ellenőrök jönnek az amerikai adatközpontokba, amerikaiak mennek Kínába, és ellenőrzik, hogy csak következtetést (inference) végeznek, nem pedig tanítást (training).

Új MI-k fejlesztése tanítással jár. A meglévő MI-k futtatása a felhasználók kiszolgálására viszont a következtetés. A megoldás, amire jutnak: engedélyezik a következtetést, de a tanítást leállítják, amíg az új adatközpontok el nem készülnek. Átalakítják a meglévő adatközpontokat a futtatásra: az emberek továbbra is beszélhetnek az MI-ágenseikkel, de azok nem fognak tovább fejlődni fél-egy évig, amíg megépítik az új, átlátható adatközpontokat, ahol a tanítás fog folyni. Amint ezek az új adatközpontok elkészülnek 2030-ban, az MI-kutatás folytatódik.

Ez a rész kicsit kényes: mi teljes kutatási átláthatóságot javaslunk, ami azt jelenti, hogy az új modelleket betanító adatközpontoknak mindent publikálniuk kell – a tanítási recepteket, az architektúrát, mindent. Ez a fajta nyílt tudomány elengedhetetlen az igazodási probléma gyors megoldásához, mert nem akarhatjuk, hogy az elfelfogult cégek döntsenek arról, biztonságosak-e az MI-k. Emellett a jó szabályozáshoz is kell, mert jelenleg a szakértelem a Szilícium-völgyben összpontosul, míg a kormányok nem igazán értik az MI-t.

Képzelj el egy alternatívát: a teljes átláthatóság helyett lenne egy auditori rendszer, ahol a kormány megadja a szabályokat, az ügynökség pedig bemegy a cégekhez ellenőrizni azokat. Ez egy ellenérdekelt dinamikát hoz létre, ahol a cég abban érdekelt, hogy átverje a szabályozót, és ha felfedeznek egy új problémát, ami még nincs a kormány radarján, érdekeltek lesznek abban, hogy elhallgassák. A teljes átláthatóság segít a kormánynak gyorsabban jobb döntéseket hozni, de megöli a cégek versenyelőnyét.

– Igen, a Dropbox ezt nem fogja szeretni, és az OpenAI sem. Ez valószínűleg rossz lenne a cégértékeléseknek.

Az mesterségesintelligencia-ipar rémisztő nyílt titka jelenleg az, hogy meglehet, a végén lényegében egy új fajt hozunk létre, amely átveszi a hatalmat a világ felett – és 70% az esélye annak, hogy ez szörnyen sül el, akár az emberiség kihalásához vezetve.

Ez az egyik lehetőség, de sok más is létezik. – Elég ijesztő, amiket mondasz. – Igen, engem is lehangol néha. A feleségemnek konkrétan azt mondtam, hogy ne legyen több gyerekünk, mert túl nagy a bizonytalanság, és kétlem, hogy valaha is belépnének a munkaerőpiacra. Mindegyikünknek félnie kellene attól, hogy elveszíti a munkáját. Ezt onnan tudom, hogy 2022-ben az OpenAI-nál dolgoztam, ahol a feladatom a következő néhány év előrejelzése volt. Sajnos a világ nagy része még mindig alva vezet, és nem igazán fogja fel, mi történik az MI-vel. Úgyhogy felmondtam.

– Valahol azt olvastam, hogy 2 millió dollártól estél el, mert nem voltál hajlandó aláírni egy cégkritikát tiltó nyilatkozatot. – Így van, de ennek a részleteibe szívesen bemegyek. A legfontosabb viszont az, amit megtanultam: amikor elmegyek az Anthropic vagy az OpenAI szakembereivel beszélni az előrejelzésekről, ők azt mondják: „Nem fog az olyan sokáig tartani. Rövidítsd le a jóslatokat 2027-re vagy 2028-ra!” Mert ezek a befolyásos cégvezetők – Dario, Sam vagy Elon – egymással versenyeznek a leghatékonyabb MI feletti ellenőrzésért. Szó szerint attól rettegnek, hogy ha a másik ér oda előbb, akkor diktátorrá válhat. Az Anthropic jó úton halad afelé, hogy 2030-ra a teljes gazdaságot lefedje. Viszont ezen emberek közül egyiknek sem szabadna ekkora hatalmat adni a kezébe.

Ez a legfontosabb dolog, ami az életünkben – sőt, valószínűleg az egész történelemben – történik, és kulcsfontosságú, hogy jól alakuljon. Szerintem sokat tehetünk azért, hogy jobb irányba tereljük a dolgokat. Rengeteg előnye lehet az MI-nek, ha jól csináljuk, és ha megoldjuk a felmerülő problémákat, a dolgok mindenki számára fantasztikusan alakulhatnak.

– Nos, ez a 2021-es jelentés itt rendkívül pontos volt. És most publikáltad ezt az újat. – Igen, ez az új szcenáriónk. – Menjünk végig rajtuk lassan, egyesével. – Hihetetlenül boldog lennék, ha az összes jóslatom tévesnek bizonyulna.

(A műsorvezető üzenete a nézőknek) Ez szuper érdekes számomra. A csapatom odaadta ezt a kimutatást, ami megmutatja, hányan iratkoztak fel azok közül, akik nézik a műsort. Sokan mondtátok, hogy a rendszer néha magától leiratkoztat benneteket. Ezért egy szívességet szeretnék kérni tőletek: kérlek, ellenőrizzétek most, hogy megnyomtátok-e a feliratkozás gombot, ha rendszeres nézői vagytok a műsornak, és tetszik, amit csinálunk. Egy meglehetősen jelentős mérföldkőhöz közeledünk a csatorna életében a feliratkozószám tekintetében. Ha van egyetlen egyszerű, ingyenes dolog, amivel segíthettek nekünk és a csapatnak abban, hogy a műsor továbbra is ingyenes maradjon, és hétről hétre, évről évre fejlődjön, az az, ha megnyomjátok – vagy ellenőrzitek – a feliratkozás gombot. Ez az egyetlen dolog, amit valaha kérek tőletek. Áll az alkud? Cserébe én hétről hétre, hónapról hónapra egyre keményebben fogok küzdeni azért, hogy elhozzam nektek azokat a vendégeket és beszélgetéseket, akiket hallani szeretnétek. Ehhez az ígéretemhez a csatorna kezdete óta tartom magam, és nem foglak titeket cserbenhagyni. Kérlek, segítsetek nekünk, nagyon értékeljük! És most folytassuk a műsort!

Miért érinthet mindenkit az MI küldetése?

– Daniel Kokotajlo, mi a legfőbb küldetésed, és miért? – Mit tennél, ha úgy gondolnád, hogy néhány éven belül megérkezik a szuperintelligencia? – Valószínűleg attól függne, hogy mik lennének a következményei. – Beszéljünk róla! Szuperintelligencia alatt olyan MI-t értünk, amely mindenben jobb a legokosabb embernél is, miközben gyorsabb és olcsóbb. Képes olyan robotokat irányítani, amelyek a fizikai világban mindent meg tudnak tenni, amire az ember képes – csak jobban, gyorsabban és olcsóbban. Ha ez tényleg megérkezik néhány éven belül, akkor fel kell készülnünk, és át kell gondolnunk, hogyan érhetjük el, hogy ez jól süljön el ahelyett, hogy katasztrófába torkollna. Szóval ez a válaszom: a tőlem telhető legjobban ezen dolgozom.

– Szóval hiszed, hogy ez néhány éven belül eljön? – Igen. – Honnan vagy ebben ilyen biztos? – Rengeteg időt töltök az ilyen dolgok előrejelzésével. A medián becslésem – amire 50% esélyt látok – jelenleg 2029. Esetleg előrejön 2028-ra. Előfordulhat, hogy lényegesen tovább tart, mondjuk 10 évig vagy ilyesmi, de olyan okokból, amikre szívesen kitérek, úgy tűnik számomra, hogy az évtized végére valószínűleg bekövetkezik. De a közelség érzésénél is fontosabb a tendenciák üteme.

Az Anthropic tavaly ilyenkor körülbelül egymilliárd dolláros éves bevételt termelt, most pedig körülbelül 60 milliárdot. Ez hatvanszoros növekedés egyetlen év alatt, ami még egy egészen kicsi startup esetében is rendkívül lenyűgöző lenne, de egy ekkora cégcsoportnál valószínűleg a történelem leggyorsabb növekedése. Arra számítunk, hogy ez a növekedési ütem lelassul, de még ha jelentősen le is lassul, akkor is jó úton haladnak afelé, hogy 2030 körülre lényegében ők jelentsék a teljes gazdaságot.

Miért kellene az átlagembernek törődnie az MI-vel?

– Miért kellene, hogy ez érdekelje az átlagembert? – A lényeg az, hogy abszolút minden meg fog változni az egész világon, beleértve őket és a családjukat is. Változhat jobbra és változhat rosszabbá is, attól függően, hogyan hajtjuk ezt végre.

Például mindannyian meghalhatunk. Ez a klasszikus „irányításvesztési” szcenárió egyik verziója. Ha megépítjük ezeket a szuperintelligenciákat, és velük automatizáljuk az összes munkát, betesszük őket a hadseregbe, tőlük kérnek tanácsot a politikusok, akkor végül akkora valós hatalmat halmoznak majd fel, hogy többé nem lesz szükségük az emberekre. Okosabbak nálunk, jobb a stratégiai érzékük stb. Ezen a ponton már csak reménykedhetünk abban, hogy erényesek, és hogy megőrizték azokat a célokat és értékeket, amelyeket szántunk nekik.

És a mesterségesintelligencia-ipar rémisztő nyílt titka jelenleg az, hogy ez most még csak egy jámbor remény. Egyáltalán nem lehetünk biztosak benne. Sőt, rengeteg bizonyíték és érv mutat arra, hogy nem jó úton haladunk ennek elérésére. A jelenlegi MI-k például gyakran hazudnak az embereknek, vagy ha megmondod nekik, hogy csináljanak valamit, csinálnak valami teljesen mást, majd úgy tesznek, mintha jól csinálták volna. Szóval eredendően nehéz feladat valami olyat létrehozni, ami szuperintelligens, és közben megvannak benne azok az értékek és erények, amelyeket elvársz tőle. És nem úgy tűnik, hogy jó úton haladnánk a probléma megoldása felé. Ráadásul ez egy olyan típusú problémának tűnik, amiről azt hiheted, hogy megoldottad, miközben valójában nem. Ez az egyik fő oka annak, miért olyan ijesztő ez az egész.

Mindezek miatt meglehet, hogy a végén lényegében egy új fajt hozunk létre, amely átveszi a hatalmat a világ felett helyettünk. És aztán esetleg úgy járunk, mint a múltban más kihalt fajok, amelyeket az ember kiszorított. Ez az egyik lehetőség, de van még sok más is.

Még ha nem is aggódsz emiatt, és azt gondolod, hogy az MI teljes mértékben ellenőrzés alatt tartható, ott a kérdés: ki irányítja az MI-t? Amikor van pár vállalat, amely megépítette ezeket a szuperintelligenciákat, és az összes munkahely automatizálására használja őket, nos, az hatalmas hatalom. Óriási pénz és óriási politikai befolyás. Náluk lesznek a legjobb stratégák, a legjobb tanácsadók, katonai téren gyorsabban fognak gondolkodni – azok az országok, amelyek birtokolják ezeket az MI-ket, teljesen fel fogják söpörni a padlót az összes többi országgal.

Maguk az MI-k egyfajta központi vezérlőrendszert alkotnak. Az Anthropic vezérigazgatója, Dario alkotta meg a „zsenik országa az adatközpontban” kifejezést arra, amit megpróbálnak felépíteni. Szerintem ez egy kicsit félrevezető. Pontosabb lenne úgy leírni, mint „zsenik hadserege az adatközpontban”, mert ez nem úgy néz ki, mintha sokféle, különféle MI élne az adatközpont különböző részein. Mindegyik ugyanannak a nagy modellnek a másolata, a cég tulajdonában vannak, így mind a cég parancsait követik. Az embereknek fel kellene tenniük a kérdést: ki irányítja ezt a hadsereget vagy ezeket a hadseregeket, és mit fognak velük csinálni? Nagyon könnyen kiköthetünk egy olyan helyzetben, ahol az emberek egy egészen apró csoportja lényegében oligarchává vagy diktátorrá válik.

És ironikus módon mindkét kockázaton – az irányítás elvesztésén és a hatalom koncentrációján – már évtizedek óta gondolkodnak az iparágban dolgozók. Még az MI-ipar létezése előtt az erről gondolkodók már beszéltek és írtak ezekről a dolgokról. A DeepMind, az OpenAI és az Anthropic alapítási narratívájának vagy mítoszának része volt az, hogy „ezek a problémák valósak, ezért nekünk kell elsőként odaérnünk, hogy felelősségteljesen tudjuk kezelni őket”. Szerintem ez a két fő ok.

De folytathatnám, van még rengeteg más indok is. Ott van például a geopolitikai konfliktusok kérdése. Ha az MI valóban hihetetlenül hatékonnyá válik, az meg fogja változtatni a nemzetek közötti erőviszonyokat. Ez rengeteg mindent felborít, ami általánosságban is növeli a válságok kockázatát.

És mi lesz a munkákkal? Elveszíted a taxisofőri állásodat – de nem csak a taxisofőr, hanem szinte mindenki. Lehet néhány kivétel, például azok a munkák, amelyeket jogi okokból csak emberek végezhetnek, de nagyrészt mindenkinek félnie kellene attól, hogy elveszíti a munkáját, még akkor is, ha az összes többi problémát sikerül elkerülnünk.

Túlreagálnak az MI-szakértők, vagy vészharangot kongatnak?

– Ez a narratíva elkezdett kibontakozni, és már több olyan interjúm is volt ebben a műsorban, ahol olyan emberekkel beszélgettem, akik nagyon-nagyon megrémültek és szoronganak az MI miatt – pedig olyanokról van szó, akik néha már évtizedek óta ebben az iparágban dolgoznak. Ugyanakkor feltűnt a szembejövő ellennarratíva is, miszerint ez csak „módszeres riogatás” (doomerizmus), és ezek az emberek bármilyen okból csak rá akarnak ijeszteni a társadalomra, miközben nem is értik igazán, miről beszélnek. Hogyan válaszolsz erre az ellennarratívára? Biztosan te is láttad ennek a megjelenését, különösen azok részéről, akiknek – merem állítani – érdekük fűződik hozzá.

– Így van, pontosan. Ez az ellennarratíva meglehetősen új keletű, és azok terjesztik, akiknek érdekük származik belőle – és nem igaz. Ezek az aggodalmak már évtizedek óta jelen vannak, mielőtt az MI-ipar egyáltalán létezett volna. Valójában teljesen ésszerű felvetések. Ha komolyan vesszük a cégek szavait, és elképzeljük, hogy valóban felépítik a szuperintelligenciát, az rengeteg kérdést vet fel: Ki fogja irányítani? Fogja egyáltalán bárki irányítani? Mi lesz a munkahelyekkel? Ezek teljesen kézenfekvő következmények, amiken gondolkodni és aggódni lehet.

– Ki vagy te, és mi a történeted? – A nevem Dan Kokotajlo. Jelenleg az AI Futures Projectet vezetem, ami egy kis nonprofit szervezet, és főként az MI jövőjének előrejelzésére összpontosít. Ezt megelőzően az OpenAI-nál dolgoztam.

– MI-előrejelzéssel foglalkoztál? – Igen. Gondolj arra, ahogy a fedezeti alapoknak dolgozó iparági elemzők készítenek előrejelzéseket – például arról, hogy hány autót fog eladni a Tesla 5 év múlva, vagy mennyi lesz a villamos energia ára 2 év múlva. Ez az előrejelzés. Én is ezt csináltam, csak kifejezetten az MI-re fókuszálva. Azért csináltam, mert hihetetlenül fontos látni, hová tart mindez.

Miért csatlakozott az OpenAI-hoz – és mit látott odabent?

– Miért mentél az OpenAI-hoz, mit csináltál ott, mit tapasztaltál, és ez hogyan változtatta meg a szemléletedet az MI jövőjével, valamint az OpenAI-val mint céggel kapcsolatban? Azok kedvéért, akik nem tudnák: az OpenAI az a cég, amelyik a ChatGPT-t létrehozta.

– 2022-ben mentem az OpenAI-hoz. A munkám nagy része továbbra is előrejelzés volt. Az „AI 2027” egy olyan szcenárió, amiről talán már hallottál – én ezeknek a kisebb, belső használatra szánt változatait készítettem el a cégen belüli terjesztésre, amikben leírtam néhány tippet arról, hogyan nézhet ki a következő pár év. Emellett a veszélyes képességek értékelésén is dolgoztam: megpróbáltuk mérni az MI kibertérbeli képességeit, meggyőzőerejét vagy helyzetfelismerését. Egy rövid ideig tagja voltam egy fejlesztőcsapatnak is, ahol megerősítéses tanulással (reinforcement learning) hoztunk létre ágenseket.

Az MI valóban sokat fejlődik – és erről tudnék többet is mondani: a skálázási törvények (scaling laws), a mély neurális hálók... A nagyobb adathalmazokon betanított, nagyobb modellek hatékonyabbá és kompetensebbé válnak ezekben a feladatokban.

Ugyanakkor egyre inkább kiábrándultam az MI-iparágból. Az OpenAI, az Anthropic és a DeepMind mind rendelkezett azzal az alapítói narratívával, hogy „Igen, ezek a kockázatok valósak, de mi átgondoltuk őket, és megpróbáljuk felelősségteljesen kezelni a dolgot. Ezért fontos, hogy folytassuk, amit csinálunk.” Én pedig egyre inkább úgy láttam, hogy ezek csak racionalizálások a saját tetteik megideologizálására, semmint a tényleges viselkedésüket mélyen irányító elvek. És amikor választani kell, a saját érdekeiket és ösztönzőiket fogják követni ahelyett, hogy azt tennék, ami valóban jó.

– Tehát ott voltál az OpenAI-nál, és elkezdted azt hinni, hogy a kereskedelmi ösztönzőket követik a társadalmi felelősségvállalás helyett, amire eredetileg felesküdtek?

– Némiképp. Bár én nem feltétlenül „kereskedelmi” ösztönzőként írnám le, inkább hatalomkeresési ösztönzőként. Igaz, hogy a cégeknek nagyon fontos a sok pénz keresése, de különösen a cégek legfelső szintjén – a vezetők – megértik, hogy ez többről szól, mint csupán pénzről.

Ismertek azok az e-mailek, amelyek Elon Musk és az OpenAI közötti perben kerültek napvilágra. Egy csomó e-mail nyilvánosságra került abban a perben, amelyeket el lehet olvasni. Néhányukban az OpenAI alapítói még 2017 körül arról beszéltek, hogy az OpenAI megalapításának az volt az oka, hogy aggódtak: Demis (a DeepMind vezetője) a Google-nél diktátorrá válik az általános mesterséges intelligenciával (AGI). Már akkor is nyilvánvaló volt számukra, hogy ez többről szól, mint a pénzről.

Ezek a befolyásos cégvezetők szó szerint attól rettegnek, hogy ha a másik ér oda előbb, ő válhat diktátormódon egyeduralkodóvá. Nem bíznak egymásban. És ezért száguldanak, amilyen gyorsan csak tudnak, hogy úgymond ők legyenek azok, akik először célba érnek.

– Találkoztál Sam Altmannal? – Igen. – És ez formálta a véleményedet az ő motivációiról, vagy arról, miért teszi, amit tesz? Mert rengeteg a találgatás a szándékaival kapcsolatban. A legújabb narratívája szerint mindent „az emberiség javáért” tesz. – Szerintem a legfontosabb dolog, amit megtanultam, az az, hogy nem szabad odafigyelni a narratívákra. Amit az egyik embernek mondanak, az teljesen eltér attól, amit egy másiknak mondanak ugyanabban az időben. Amit pedig a nyilvánosság előtt mondanak, az egy harmadik dolog. Szerintem az embereket a tetteik, és nem a szavaik alapján kell megítélni.

Miért hagyta ott az OpenAI-t?

– És miért nem vagy már az OpenAI-nál? – nagyrészt amiatt az ok miatt, amit említettem: fokozatosan kiábrándultam abból, hogyan fog viselkedni a cég.

Például amikor 2022-ben csatlakoztam, a kollégáim körében – legalábbis azokkal, akikkel beszéltem – volt egy általános közhangulat: „Természetesen nem építenénk meg a szuperintelligenciát a lehető leghamarabb. Amint igazán közel érünk – amint eljutunk olyan MI-kig, amelyek esetleg automatizálni tudják az MI-kutatási folyamatot –, megállunk, és kitaláljuk, hogyan tehetjük biztonságossá. Mert mi vagyunk a jófiúk, és nyilvánvalóan ez a biztonságos lépés ahelyett, hogy teljes gőzzel előre rohannánk. De aggódunk mások miatt, akik esetleg nem állnának meg – a versenytársaink miatt, mint például a Google. Ezért kell az élen járnunk, hogy meglegyen a mozgásterünk a biztonsági intézkedések megtételére.”

Ez volt egyfajta átlagos álláspont a kollégák között, akikkel ott-tartózkodásom elején beszéltem – beleértve a vezetőket, mint Samet is. Aztán mire eljöttem, már úgy voltam vele: „Ember, ezek dehogy fognak megállni!” Parciálisan azért is, mert a téma átpolitizálódott, a cég nagyobb lett és nagyobb górcső alá került, az emberek pedig elkezdték kérdezgetni: „Miért csináljátok ezt egyáltalán, ha ennyire kockázatos?” Így átváltottak egy olyan narratívára, hogy „Igazából nem is olyan kockázatos ez.” Szóval úgy tűnik, nagyjából olyan gyorsan haladnak tovább, ahogy csak tudnak, és remélik, hogy menet közben majd kitalálják a megoldásokat.

– Hogyan ért véget az időszakod az OpenAI-nál? – 2024-ben mondtam fel. Volt egy jó kis búcsúbulim. – Milyen indokokat adtál meg a felmondáskor? – Úgy gondoltam, hogy túl sokat racionalizálunk, és többet kellene gondolkodnunk azon, mi lenne ténylegesen jó a világnak. Munkatársként nagyobb szabadságot akartam a publikálásra. Az OpenAI ahogy nagyobb céggé vált, úgy alakult át egy normális tech vállalattá – saját érdekekkel, PR-osztállyal és hasonlókkal –, így egyre nehezebbé vált publikálni az olyan típusú kutatásokat, amiket én csináltam. Például azokat a forgatókönyveket, amiket említettem, nem engedték publikálni, csak belső használatra maradhattak. Szerintem ez kár volt, mert jelenleg a világ nagy része alva vezet, nem igazán fogja fel, mi történik az MI-vel, és nem látja, mi várható a csőben pár év múlva. A cégek pedig nem igazán érdekeltek abban, hogy erről sokat beszéljenek a nyilvánosságnak. Mondanak ugyan néha homályos dolgokat hype-os stílusban, de például azt a szcenáriót már nem akarták, hogy publikáljam, ami vázolta volna: „Így alakulhatnak a dolgok a valóságban.”

Milyen volt az OpenAI-nál a ChatGPT indulásakor?

– Nagyon kíváncsi vagyok, milyen egy ilyen cégnél lenni, amikor kiadják például a ChatGPT-3-at. Akkor ott voltál, igaz? – Ühüm. – Ez volt az a pillanat, amikor az egész világ felfigyelt, és ráébredt, hogy ez a technológia mennyire erős. És társadalmi szinten elkezdődött a párbeszéd. A cég pedig szupergyorsan elkezdett növekedni – gyorsabban, mint ahogy azt bárki elképzelhette volna. Milyen volt ez odabent? Mit láttál megváltozni ebben az időszakban?

– Emlékszem egy céges megbeszélésre, ahol Ilia – Ilia Sutskever, aki akkoriban a kutatási vezető volt – valami ilyesmit mondott: „Rendben, most már a világ elkezdett odafigyelni. A következő egy évben mindegyikőtök a legnépszerűbb ember lesz minden buliban. Ne szálljon a fejetekbe! A küldetésre fókuszáljatok: meg kell építenünk az AGI-t!” A cég rengeteget nőtt. Amikor beléptem, már akkor sem igazán érződött nonprofit szervezetnek, de mire eljöttem, végképp nem úgy festett. Rengeteg új ember érkezett. Ironikus módon a szuperintelligenciáról és annak következményeiről szóló beszélgetések mennyisége az idő előrehaladtával inkább csökkent e növekedés miatt. Mivel a cég megduplázódott, majd újra megduplázódott, és még egyszer megduplázódott, mindezek az új emberek a tech szektor más területeiről érkeztek, nem igazán gondolkodtak még ezeken a dolgokon, és a magas fizetések vonzották őket.

A 2 millió dolláros titoktartási nyilatkozat körüli vita

– Elveszítettél 2 millió dollárt, mert nem voltál hajlandó aláírni egy cégkritikát tiltó nyilatkozatot, ami azt jelentette volna, hogy nem bírálhatod a céget. – Nos... a végén megtarthattam a pénzt. – Ó, megtarthattad? – Úgy történt, hogy miután eljöttem, elbúcsúztam stb., megkaptam a kilépési papírokat, és volt benne ez a záradék, ami alapvetően azt mondta: bele kell egyezned, hogy soha többé nem kritizálod a céget. És egy másik záradék is, miszerint erről senkinek sem beszélhetsz. Gondoltam, ez elég merész egy olyan nonprofit szervezettől, amelynek állítólag az egész emberiség javát kellene szolgálnia. Így nem írtam alá.

Ha pedig nem írod alá, nem tarthatod meg a részvényeidet. A fizetésed egy része készpénz, a másik része pedig alapvetően részvény. De volt ez a pont a szerződésben, hogy visszavonhatják a részvényeidet, ha nem írod alá ezt a papírt. A feleségemmel nagyon felindultak voltunk emiatt. Egy-két hónapig beszélgettünk róla, ügyvédekkel konzultáltunk, majd végül úgy döntöttünk, hogy megtagadjuk az aláírást – ami azt jelentette, hogy elveszítünk 2 millió dollárt.

– Ami akkoriban a vagyonotok mintegy 80%-a volt. – Így van. Szerencsére nem úgy alakult, ahogy vártuk. Lényegében felrobbant az internet. Amikor az emberek meghallották, hogy ezt megtettük és nemet mondtunk, hatalmas skandalum lett belőle. A cég alkalmazottai elkezdtek kérdéseket feltenni a Slacken és a vezetésnél: „Várj, tessék? Miért vennétek el a részvényeinket? Mi ez az egész?” Mert sokan korábban nem igazán figyeltek fel erre. Suttogtak róla, de nem olyan dolog volt, amit a legtöbb alkalmazott tudott volna.

Így visszakozniuk kellett, és azt mondták: „Nem számít, nem számít, megváltoztatjuk a papírokat, megtarthatjátok a részvényeket, minden rendben.” Sam Altman pedig előállt, és azt mondta: szégyelli, hogy nem tudott erről...

– Nem hiszel neki? – Nem, szerintem valószínűleg tudott róla. Ha pedig ő maga nem is, a hozzá közel álló emberek – például a vezető jogásza – biztosan.

– Miért döntöttél úgy, hogy elutasítod a 2 millió dollárt? A legtöbb ember elfogadta volna. – Szerintem ez igaz, a legtöbb ember elfogadta volna, és a legtöbben el is fogadták. A pénz jó dolog, de nem ez az egyetlen dolog a világon. Néha jó dolog elvi alapon kiállni valami mellett.

Gyorsabban jön a teljes MI-automatizálás, mint gondolnánk?

Folyamatosan emlegetem a szuperintelligenciát. Talán többet kellene mondanom azokról az eseményekről és lépésekről, amiket a cégek terveznek.

Jelenleg a kódolás automatizálására összpontosítanak. Fogják az MI-jeiket, nagyobbá teszik őket, hosszabb ideig tanítják őket, és a képzést kifejezetten arra hegyezik ki, hogy jók legyenek a kódok önálló megírásában és szerkesztésében. Mert ez segíteni fog a cégeknek a gyorsabb haladásban. Ha automatizálni tudják a kódolást, akkor a saját munkájukat jobban és gyorsabban tudják elvégezni, felgyorsítva a fejlődést.

A következő lépés – amit már el is kezdtek – a kutatási folyamat többi részének vizsgálata: ötletelés, kísérletek elemzése, az eredmények kommunikációja és a kutatás minden egyéb része. Megpróbálják kitalálni, hogyan képezhetnének ki MI-ket arra, hogy ezekben is jók legyenek, így az MI-k az egészet önállóan, autonóm módon végezhetnék.

– Amikor azt mondod, hogy „az egészet elvégzik”, mire gondolsz pontosan? – Az Anthropic és az OpenAI különösen arra törekszik, hogy automatizálja saját magát. Szeretnék elérni, hogy ne igazán legyen szükségük többé emberi alkalmazottakra. Csak egy óriási MI-hadseregük lenne, amely éjt nappallá téve végzi ezt az autonóm kutatást, hogy még jobb MI-ket hozzon létre a治 betanításához, élre állítsa őket, hogy azok még jobb MI-ket készíthessenek, és így tovább. 

– És persze mindez nem csak házon belül történik, hanem a külvilággal való interakció során is, igaz? Kimenni a világba, emberekkel beszélni, adatokat gyűjteni, betanítási környezeteket kiépíteni, üzleteket kötni és így tovább. Mindezt automatizálni próbálják. Ennek az az oka, hogy olyan pozícióba akarnak kerülni, ahol az MI-jeik mindenben felülmúlják az embert – ez a szuperintelligencia –, és ezt még a versenytársaik előtt akarják elérni.

Mondanom sem kell, hogy ez elképesztően veszélyes. És amellett, hogy veszélyes, ez egy hatalomátvételi kísérlet is, nem igaz? Mert ha ez sikerül nekik, akkor egy emberfeletti MI-kből álló hadsereg tetején fognak ülni, ami hatalmas befolyást ad nekik a gazdaság minden más szereplőjével szemben. Ha pedig meg tudnak egyezni az elnökkel, és beépítik a hadseregbe vagy bárhova, az az Egyesült Államoknak óriási „kemény hatalmat” (hard power) adna az összes többi országgal szemben.

Nyilván senki sem tudja pontosan, mikor történik meg mindez, de az elmúlt évben történt valami nagyon nyugtalanító számomra. Amikor publikáltuk az AI 2027-et, az emberek általában azon a véleményen voltak, hogy az idővonalaim túl rövidek, és valószínűleg tovább tart majd 2027-nél, mire eljutunk az említett eseményekig.

– Mint a rekurzív önfejlesztés, az MI automatizálja a teljes kutatási folyamatot, szuperintelligencia... Ezek a mérföldkövek 2027-ben történnek meg az AI 2027-ben, ami az általad publikált kutatási anyag.

– Így van. Ez egy forgatókönyv-előrejelzés, ami hónapról hónapra vázol fel egy lehetséges jövőbeli pályát. Amikor elkezdtük írni, ez volt a legpontosabb becslésem arra, mi fog történni a valóságban. Nyilván sok a bizonytalanság, de úgy gondoltam, értékes konkrét becslést tenni, csak hogy lássuk, hogyan nézhet ki.

Amikor ezt írtuk, sok barátom az MI-iparban és a nonprofit szférában azt mondta: „Igen, ezek meg fognak történni, de valószínűleg pár évvel tovább tart majd, mint gondolod.”

Most viszont már inkább 50-50%. Különösen, amikor az Anthropic vagy az OpenAI embereivel beszélek, sokszor azt mondják: „Igen, 2027 – alapvetően ez fog történni, pontosan úgy, ahogy megírtad.”

– Miért változtattad meg korábban az idővonalaidat?

– A háttérhez tartozik, hogy az AI 2027 megírása után egy kicsit konzervatívabbra módosítottam az idővonalaimat. A publikáláskor az 50%-os valószínűségű pontom 2028-ra esett, nem 2027-re. Utána úgy tűnt, a fejlődés kicsit lelassult, ezért 2030-ra módosítottam – ami még mindig jelentheti azt, hogy korábban vagy később történik meg. De most, amikor a cégeknél dolgozókkal beszélek, azt mondják: „Nem fog az olyan sokáig tartani!” Azt mondják, le kell rövidítenem őket, vissza 2027-re vagy 2028-ra. Ez elég nyugtalanító.

Ismétlem, nem tudjuk, mennyi ideig tart, de ez az MI-cégek kinyilvánított terve: megtenni ezt az elképesztően veszélyes dolgot, és úgy vélik, már csak néhány évre vannak tőle.

– Megírtad ezt a jelentést is: „Hogyan néz ki 2026?” Ezt még 2021-ben írtad, és figyelemreméltóan pontos volt, nevet szereztél vele a szakmában. Melyik volt az, amit JD Vance alelnök is elolvasott?

– Azt hiszem, ez volt az, igen.

– Aztán publikáltad az AI 2027-et, amit 2025 áprilisában adtatok ki. Mit jósoltatok ebben? Melyek a legfőbb pontok azok számára, akik még nem olvasták?

– A magas szintű verzió: először automatizálják a kódolást, majd a kutatási folyamat többi részét. Ekkor a fejlődés üteme drámaian felgyorsul, és elérik a szuperintelligenciát. Együttműködnek a kormánnyal – konkrétan az elnökkel és a végrehajtó hatalommal –, amely természetesen ellenőrizni akarja ezt a technológiát, használni akarja Kína legyőzésére, és be akarja építeni a hadseregbe.

Ezen a ponton az MI lényegében már az összes munkát maga végzi. Szuperintelligens, így nagyszerű ötletei vannak arra, hogyan integrálja magát mindenbe, és milyen új technológiákat találjon fel. A versenykényszer és a profitvágy miatt mindenhol bevetik: robotgyárakat épít, amik még több robotot építenek, hogy még több robotgyárat építsenek. Teljesen átalakítja a világot. Aztán egy ponton az MI-knek már elég hatalmuk van ahhoz, hogy ne kelljen többé úgy tenniük, mintha igazodnának hozzánk. Ekkor leállnak az utasítások követésével. Ez az AI 2027 „verseny-végkifejlete”.

Írtunk egy másik elágazást is, a „lassulós végkifejletet”, ami a hatalomkoncentráció problémáit hivatott illusztrálni. Mi van, ha hipotetikusan az igazodási problémákat elég gyorsan sikerül rendezni? Mi van, ha kiderül, hogy két hónapos lassítással rájövünk, hogyan érjük el, hogy az MI-k stabilan azt tegyék, amit akarunk, és azokat az értékeket kövessék, amiket szeretnénk?

Ez az egyik lehetséges ág. Ebben az ágban a folyamat nagyon hasonló: átveszik a munkákat, legyőzik Kínát stb. De ahelyett, hogy az MI-k a végén mindenkit megölnének, létrehoznak egy csodálatos utópiát. Ám ez a csodálatos utópia pontosan olyan lesz, amilyennek azok az emberek akarják, akik az MI-ket irányítják – ami egy nagyon szűk csoportot jelent: az elnököt, néhány vezérigazgatót stb.

(Iratkozz fel a csatornára üzenet)

– Van rá bármi esély szerinted, hogy sosem jutunk el az AGI-hoz? És miben különbözik az AGI a szuperintelligenciától?

– A különbség az, hogy az AGI egy pontatlanabb és gyengébb kifejezés. A szuperintelligencia sokkal pontosabban meghatározott: mindenben jobb a legügyesebb embernél, gyorsabb és olcsóbb. Az AGI az Artificial General Intelligence (Általános Mesterséges Intelligencia) rövidítése, ami olyan MI-t jelent, amely általánosságban képes feladatokat ellátni, nem csak egyetlen specifikus területen.

Érvelhetünk amellett, hogy az AGI-t már elértük. Ha a Claude Code-ot vagy hasonló rendszereket használod, azok rengeteg dologra képesek – szinte olyanok, mint egy kis alkalmazott, akit elküldhetsz feladatokat elvégezni. Nagyon általánosak. De nem maximálisan általánosak, nem tudnak mindent megcsinálni. Ezzel szemben a szuperintelligencia definíció szerint mindent meg tud tenni, amit egy ember, csak jobban.

– És hogyan fedez ez át a robotikával? Mert most hatalmas robotikai bummot látunk. Még mindig vannak olyan fizikai dolgok a való világban, amiket a hús-vér emberek meg tudnak csinálni, mert az MI-k még bent rekedtek a számítógépben.

– Erről úgy szoktak beszélni, hogy a kognitív feladatok terén már elértük a szuperintelligenciát, és utána beszélhetünk a teljes szuperintelligenciáról, ami a fizikai dolgokat is meg tudja csinálni.

– El fogunk jutni oda mindkettővel?

– Szerintem igen. Bár ebben sem lehetünk teljesen biztosak. Kérdezted, lehetséges-e, hogy sosem jutunk el oda? Igen, lehetséges, de nem tartom valószínűnek. Az emberi agyban nincs semmi mágikus: csak egy csomó neuron. Teljesen lehetséges egy digitális rendszer számára, hogy hasonló funkciókat ellásson – pontosan úgy, ahogy egy repülőgép is tud repülni, pont mint egy madár. Nem ugyanúgy repül, mint a madár, de repül. Szóval igen, lehetségesnek tűnik.

– Megírtad ezeket a jelentéseket, dolgozol a következőn, dolgoztál az OpenAI-nál, majd felmondtál, mert aggódtál a folyamatok és az iparág jövője miatt. Többet tudsz, mint én: optimista vagy a jövőt illetően, vagy pesszimista? Rossz helyre tartunk, ha a dolgok nem változnak meg?

– Azt hiszem, rossz helyre tartunk, ha a dolgok nem változnak meg. Nem vagyok ebben 100%-ig biztos, mondjuk 70%-ot mondanék – természetesen rendkívül nehéz jósolni –, de igen, úgy tűnik, a jelenlegi alapértelmezett pálya egy nagyon-nagyon félelmetes hely felé vezet.

– Hogyan küzdesz meg ezzel személyesen és érzelmileg?

– Nehezen. Rendszeresen lehangol, de már annyi éve foglalkozom ezzel, hogy bizonyos szempontból hozzászoktam. Úgy fogalmaznék: hihetetlenül boldog lennék, ha az összes jóslatom tévesnek bizonyulna, és az MI például falba ütközne.

– Azt mondod, rendszeresen lehangol...

– Korábban vidám és optimista emberként ismertek. De 2020-ban az MI-idővonalra vonatkozó becsléseim elkezdtek összeomlani a GPT-3, a skálázási törvényekről szóló tanulmányok és a BioAnchor-jelentés miatt. Néhány esemény 2020-ban meggyőzött arról, hogy ez az egész teljesen reálisan megérkezhet az évtized végére, és az emberiség nyilvánvalóan nincs felkészülve rá. Ez rendkívül félelmetes világ.

– A rekurzív önfejlesztés miatt, ahol az MI-k saját magukat tanítják, kezdjük elveszíteni az uralmat a folyamatok felett.

– Hogy egyértelmű legyen: az MI-k már most is tanítják magukat. Ez inkább a teljes kutatási hurok bezárásáról szól, amikor már mindent ők csinálnak. Jelenleg a betanítási adatok nagy részét MI-k generálják, és a megerősítés (a pozitív és negatív visszacsatolások értékelése) jelentős részét is maga az MI végzi.

– El tudod ezt magyarázni konyhanyelven?

– Fontos, hogy mindenki megértse: a modern MI-rendszerek nem a hagyományos értelemben vett szoftverek. Technikailag szoftverek, de nem kódsorokból állnak. Nem arról van szó, hogy mérnökök leültek és megírták: „ha a felhasználó ezt kérdezi, tedd ezt ennyi lépésben”. Semmi ilyen nincs.

Ehelyett ez egy neurális háló. Gondolj arra, ahogy az agyban a neuronok össze vannak kapcsolva, és jeleket küldenek egymásnak! Az agy idővel megtanulja azokat a mintázatokat, amelyek sikerhez (dopaminlökethez) vezettek, ezek megerősödnek és gyakrabban tüzelnek. A kudarchoz vezető mintázatok (mint a forró tűzhely megérintése) leépülnek. Ennek eredményeképpen az évek során megtanulsz működni a világban, készségeket és világmodelleket sajátítasz el.

A mesterséges neurális hálók ugyanezt csinálják, csak mesterségesen. Kezdetben egy óriási, összegubancolódott tésztakupaccal indulnak, ami véletlenszerűen generált mesterséges kapcsolatokból – úgynevezett paraméterekből – áll. A legnagyobb MI-kben ma már körülbelül 10 billió paraméter van. Kezdetben teljesen használhatatlan: ha adsz neki egy bemenetet, csak zagyvaságot ad ki.

Aztán elkezdik betanítani. Az előtanítással (pre-training) kezdik: rengeteg internetes szöveget táplálnak be. Megmutatják az első szövegrészletet, az MI kiad egy zagyvaságot, majd pozitívan vagy negatívan megerősítik az alapján, mennyire volt pontos a következő szó megjóslásában. Lényegében azt a játékot játssza, hogy „jósold meg a következő szót”.

– Nem így történik ez a csecsemőknél is? Egy idegtudós mondta nekem, hogy a kisgyerekeknek kétszer annyi neurális kapcsolatuk van, mint a felnőtteknek, és a megerősítések során ezek leépülnek...

– Pontosan! Fiatalabb korunkban több útvonalunk van, és a tanulási folyamat során a nem hasznosak leépülnek (pruning), a hasznosak pedig megerősödnek. Az MI-nél ugyanez történik: leépítés és megerősítés egyszerre.

Az előtanítás során megtanítják a szöveg jóslására, ami olyan, mintha megtanítanák olvasni. A véletlenszerű gubanc fokozatosan formát ölt, és hasznos áramkörökké áll össze, amelyek rengeteg tényt és információfeldolgozási készséget tárolnak el.

Ez még csak az első lépés. Utána hasznosabb készségeket tanítanak neki: kódolási feladatok ezreit és millióit dobják elé virtuális környezetben („Itt a kód, futtathatod, módosíthatod, használhatod az internetet, hajrá!”). A sikerek alapján történik a megerősítés – ezért olyan jók most a kódolásban.

– Hogyan néz ki a szuperintelligencia ebben a tekintetben? Csak még több kapcsolatról van szó?

– Különböző MI-modellgenerációk vannak (GPT-3, GPT-4, GPT-5...). Néha a korábbi modellt tanítják tovább, néha pedig teljesen nulláról kezdenek egy új modellt, beleértve az előtanítást is. Az elmúlt években többször kezdtek mindent elölről, és amikor elölről kezdik, az egész mesterséges agyat sokkal nagyobbra építik.

Jelenleg kb. 10 billió paraméternél járunk. 2020-ban ez inkább 175 milliárd volt: hat év alatt két nagyságrendet (százszoros növekedést) léptünk előre. Ez a folyamat folytatódik. Emellett magukat az algoritmusokat is fejlesztik, hatékonyabbá teszik a kapcsolatok szerkezetét és a betanítási adatokat. Szó szerint mesterséges agyakat építünk.

– És ez szó szerint az agy működéséről van mintázva, igaz?

– Erősen az agy ihlette, de nem szabad túlzásba esni az analógiával, sok a különbség is (például a transzformátor-architektúra vagy a backpropagation algoritmus eltér a biológiai működéstől). De nagy vonalakban igen: mesterséges agyakat hozunk létre. Az MI az agynak az, ami a repülőgép a madárnak.

– Ez egy nagyon jó analógia! Segít megérteni a kreativitás kérdését is. Nem az a kérdés, hogy képes-e a „kreativitásra” mint belső folyamatra, hanem hogy képes-e olyan eredményt produkálni, amit mi kreatívnak tartunk.

– Filozofálhatunk azon, hogy ez „valódi” kreativitás-e, de elég csak megnézni, mi mindent érnek el már most, és mennyivel többet fognak elérni a közeljövőben.

– Volt mostanában olyan paradigmaváltó pillanat, ami megváltoztatta a saját mentális modeledet arról, hogyan fog ez kinézni?

– Sajnos a dolgok nagyjából az AI 2027-ben leírt pályán haladnak. Volt néhány meglepetés: a kormány például a vártnál gyorsabban és agresszívabban avatkozott be (például az exportkorlátozásokkal vagy az Anthropic megfenyegetésével a Védelmi Termelési Törvényre hivatkozva).

A másik meglepetés az volt, hogy az Anthropic átvette az első helyet a versenyben az OpenAI-tól.

– Miért gondolod, hogy ez megtörtént? Úgy tűnt, a ChatGPT és az OpenAI behozhatatlan előnyben van, most pedig az Anthropic lekörözte őket.

– Valószínűleg nagyobb náluk a „tehetségsűrűség” (talent density) és jobb a stratégiájuk. Nem sokkal, de épp annyira, hogy az meghozza a különbséget. Kevésbé vannak eleresztve erőforrásokkal és pénzzel, mint az OpenAI, így ha a csupasz erőforrások hiányoznak, a tehetség és a stratégia a legjobb magyarázat.

– Egy barátom, aki ismer néhányat ezek közül az emberek közül, egyszer leültetett Londonban. Igazából többször is mondta már nekem, de emlékszem egy konkrét beszélgetésre, ahol azt állította, hogy ezen MI-cégek vezetői közül páran körülbelül 7%-ra becsülik a kihalás valószínűségét. Nem tudom, miért ez a szám van a fejemben, de úgy rémlik, 10% alatt volt. A lényeg, amit próbált elmagyarázni nekem, az az volt, hogy még ha csak 1% is lenne – mint ahogy most ezen az asztalon lenne 100 gomb, és az egyik elhozná a világvégét –, vajon megmerném-e nyomni bármelyiket is? Nyilván nem nyomnám meg egyiket sem. De ő azzal érvelt, hogy ezek az MI-vezérigazgatók nagyon okosak, értik a szuperintelligenciát, és úgy gondolják, ha most 100 gomb lenne ezen az asztalon, abból talán 10 is elhozhatná a világvégét. Hallottalak már nyilatkozni – azt hiszem, a Daily Show-ban adtál interjút –, ahol azt mondtad, szerinted 70% az esélye annak, hogy a mesterséges intelligencia az emberiség kihalását okozza.

– Nem pontosan emberi kihalást mondanék. Azt mondanám, körülbelül 70% az esélye annak, hogy ez szörnyen sül el, akár az emberiség kihalásához vezetve. De ez csak egy a több lehetőség közül. Szóval igen, alapvetően például meglehet, hogy az MI átveszi az irányítást, de végül nem öl meg mindenkit. Lehet, hogy valami mást csinálnak. Attól még, hogy átvették a hatalmat, nem biztos, hogy végleg elpusztítanak minket – megtehetik, de tehetnek mást is. Ezért nem szoktam konkrétan 70%-os esélyt mondani a tényleges kihalásra, de 70% az esélye egy olyasfajta katasztrófának, mint az MI hatalomátvétele, ami végül emberi kihalást eredményezhet.

– Ebből két gondolatom támadt. Az egyik: te forgódtál ezen vezérigazgatók körül, hiszen Sam Altmannak dolgoztál az OpenAI-nál, mielőtt felmondtál. Szerinted ők maguk úgy gondolják, hogy van esély az emberiség kihalására?

– Igen. De fontos megérteni, hogy az emberek hajlamosak azt hinni, amit hinnie kell ahhoz, hogy jó embernek tartsa magát, és úgy érezze, folytatnia kell, amit csinál. Ez maga a racionalizálás. Úgy gondolom, a tech-vezérek őszintén meggyőzték magukat arról, hogy a dolgok valószínűleg rendben lesznek, és a helyes út az, ha ők egyszerűen folytatják, amit csinálnak. Sam valószínűleg azon gondolkodik, hogy nem hagyhatja Dariót vagy Elont elsőként célba érni. Tudom, hogy Dario ugyanezt gondolja Samről, Elon pedig mindkettejükről. Mindannyian meggyőzték magukat arról, hogy: „Jó, lehet, hogy szörnyen sül el, de valószínűleg rendben leszünk, és a legjobb, ha én vagyok a főnök.”

– Úgy tűnik számomra, hogy az Anthropic az egyetlen olyan cég, amelyik még beszél a kihalás vagy egy katasztrófa lehetőségéről és a valós kockázatokról. Úgy tűnik, ők az egyetlenek, akik még publikálnak ebben a témában, és emiatt sok tekintetben kezdenek a San Franciscó-i tech-iparág ellenségévé válni. Sok interjút nézek, és mindenki Dariót támadja, mert azt mondja: figyeljetek, a dolgok rosszul is elsülhetnek. „Doomernek” (vészmadárnak) hívják, és megkérdőjelezik a szándékait. Még a Mythos esetében is – ami egy Claude-modell, amire figyelmeztetni próbálták a világot – azonnal megtámadták emiatt. Úgy látod, hogy ő ebben a tekintetben kicsit más, mint Sam?

– Igen. Úgy tűnik, az Anthropic és Dario nyitottabbak voltak olyan dolgokat kimondani és megtenni, amelyek – legalábbis az elmúlt évben – üzletileg hátrányosak voltak számukra. Ez egy jó példa rá. Nem hiszem, hogy ezzel jó pontokat szereznek a kormányzatnál vagy a befektetőiknél. Egy még jobb példa a Department of War (Hadügyminisztérium) és az Anthropic közötti vita volt, ami rengeteg pénzükbe és – ami még fontosabb – rengeteg hatalmukba került, pedig simán aláírhattak volna egy szerződést. De tényleg nem szeretnék abban a helyzetben lenni, hogy azon gondolkodunk: „Melyik vezérigazgató a legkevésbé rossz? Támogassuk azt!” Ezen emberek közül egyiknek sem szabadna ekkora hatalmat adni a kezébe. Senkinek sem.

– Visszatérve a gombokra: te úgy véled, hogy ők reális esélyt látnak a kihalásra.

– Igen, de meggyőzték magukat arról, hogy valószínűleg minden rendben lesz, és amúgy is még rosszabb lenne, ha nem ők csinálnák. A cégen belül is ezt mondják az embereknek: „Rendben, de ha mi megállunk, mi lesz a többiekkel? Ők nem fognak megállni.”

– Mindig is ez volt a nyitott kérdésem: hogyan nem alakul ez rosszul, amikor az emberi ösztönzők uralkodnak? Ha megnézed a történelmet, az emberi ösztönzők azt mondják: vesztettél, ha folytatod a fejlesztést, de földrajzi és geopolitikai szempontból akkor is vesztettél, ha leállsz, mert az Egyesült Államok veszít egy másik országgal szemben, vagy ez a cég veszít a másikkal szemben. A tiszta ösztönzőket nézve hogyan érhet ez véget?

– Tovább zakatol előre. Úgy tűnik. Bár van egy reménykeltő figyelmeztetés: ha a világ felébred erre az egészre, akkor komolyabb párbeszéd indulhat a szabályozásokról és a nemzetközi egyezményekről. Ez megváltoztathatja az ösztönzőket. A kormány felléphet, és azt mondhatja: „Íme a szabályok, amelyeket mindannyiótoknak be kell tartania!” És mivel ezek mindenkire érvényes szabályok, többé nem leszel érdekelt a megszegésükben, mert büntetést kapsz, miközben a többiek is betartják őket. Szóval van egy fénysugár, hogy megváltoztathatjuk az ösztönzőket, ha a kormány – különösen az amerikai, de később a többi is – lépéseket tesz. De ez nem fog megtörténni addig, amíg az emberek fel nem ébrednek.

A második dolog, hogy egy adott ponton egyénileg Dario, Sam vagy Elon is ráébredhet arra, hogy a saját érdeküket sem szolgálja a gátlástalan egyoldalú verseny. Ezzel az a baj, hogy ez csak akkor válik nyilvánvalóvá, ha a helyzet már rendkívül súlyos és drámai. Az AI 2027 forgatókönyvben van egy döntési pont: az egyik ágon az MI nincs összhangban az emberi érdekekkel (misaligned), a másikon igen. A döntési pont kiváltó oka az, hogy bizonyítékot látnak arra, hogy az MI ellenük szervezkedik. Ha meglátják ezt a bizonyítékot, rájönnek: „Atyaég, talán nem kellene mindent a kezébe adni és hagyatkozni rá!”, mert a bizonyíték ott van az orruk előtt, hogy megbízhatatlan. De ha nem látnak ilyen egyértelmű bizonyítékot, meg fogják győzni magukat arról, hogy folytatniuk kell. De meglehet, hogy látni fognak ilyen bizonyítékot, és abban az esetben szabályozás nélkül is önként leállhatnak. Ez a második reménysugár. Összességében nem gondolom, hogy végleg el vagyunk ítélve. Mondtam a 70%-ot, de el tudom képzelni azt is, hogy meglehetősen jól alakulnak a dolgok.

Mit tesz az MI a munkahelyekkel?

– Izgatottan várom, hogy áttérjünk az optimistább, pozitívabb jövőképre, de az AI 2027 előrejelzésben mire az emberek elveszítik a munkájukat, már rosszabb dolgok is történnek, vagy addigra már szinte túl késő. De gondoljunk csak bele: ha a cégeknek sikerül felépíteniük a szuperintelligenciát, az definíció szerint szinte az összes munkahelyet át tudja venni, hiszen mindenben jobb, gyorsabb és olcsóbb a legokosabb embernél is. Úgy sejted, a szuperintelligencia 2030 végére érkezhet meg. Mikor kezdhetjük látni a leépítéseket a gazdaságban? Már most látunk egy keveset, de még nem sokat. Miért?

– Mert az MI még nem elég jó. Lenyűgöző, de szinte semmilyen területen nem képes még egy az egyben helyettesíteni egy emberi munkavállalót.

– Szerinted ez hirtelen fog bekövetkezni?

– Szerintem hirtelen, az „intelligencia-robbanás” és a rekurzív önfejlesztés dinamikája miatt. Elképzelhető egy olyan világ, ahol ez fokozatos. Sok sci-fiben így van: az MI fokozatosan javul egy sor dologban, fokozatosan automatizál egy iparágat (például a gyógyszerészetet), aztán a drónirányítást, majd az autóvezetést.

De a valóságban a cégek arra a stratégiára álltak rá, hogy először saját magukat automatizálják – vagyis az MI-kutatási folyamatot. És ha hagyják őket folytatni ezt a stratégiát, nem a robotaxikat, a vízvezeték-szerelő robotokat meg az ügyvéd MI-ket fogjuk először látni a gazdaságban, mert nem erre fókuszálnak. Arra összpontosítanak, hogy saját magukat automatizálják, így gyorsabban tudnak mindent csinálni. Ezt akarják eljuttatni a nagyon magas általános intelligenciaszintre, és csak utána terjesztik ki a gazdaságra.

Mire tehát a különböző munkákért jönne, már hónapok vagy évek óta teljes autonóm MI-kutatás fog folyni, ami azt jelenti, hogy az MI nemcsak az MI-kutatásban lesz messze felülmúlhatatlan, hanem mellékhatásként rengeteg más dologban is. Ez olyan lesz, mint egy hullám, ami átsöpör a gazdaságon, miután belsőleg végrehajtották az intelligencia-robbanást.

– Tehát mivel az MI képes lesz fejleszteni és képezni saját magát, mindenben egyszerre fog fejlődni, majd egyszerre szabadul a világra. Jól értem?

– Nem is teljesen így, mert még ha főleg csak az MI-kutatásban fejlődik is, ennek áthajló hatásai lesznek más készségekre is. Amikor pedig ezekre a többi készségre terelődik a figyelem, rendkívül gyorsan fogja elsajátítani őket.

– Milyen munkák maradnak egy ilyen forgatókönyvben?

– Ez valójában politikai kérdés, nem technikai. Technikai szinten az összes munkát el tudják végezni az MI-k, ha elérik ezt a szintet. Szóval a kérdés az: milyen munkákat engedünk meg nekik, és milyeneket nem?

– Ez attól függ, ki van hatalmon. Politikai párbeszéd alakul majd ki arról, mit engedélyezünk és mit tiltunk meg.

– Ebben a forgatókönyvben az emberek még irányítják őket?

– Attól függ, mit értesz irányítás alatt. Az a kérdés, hogy az MI-knek valóban megvannak-e azok a céljai és értékei, amelyeket elvársz tőlük, és tartósan úgy viselkednek-e a jövőben is, vagy csak arról van szó, hogy egyelőre engedelmeskednek a parancsaidnak?

– Arra gondolok, hogy engedelmeskednek-e a parancsoknak.

– Igen. Még az AI 2027-ben is, abban a szcenárióban, ahol az MI átveszi a hatalmat és mindenkit megöl, van egy többéves időszak, amikor még engedelmeskednek a parancsoknak: elvesznek egyes munkákat, de másokat nem, és segítik a jobb fegyverek gyártását az amerikai kormánynak a Kínával való fegyverkezési versenyben. És azért képesek ilyen gyorsan ekkora hatalomra szert tenni, mert a kormányok és a vállalatok megbíznak bennük, és szándékosan helyezik be őket ezekbe a pozíciókba, mert azt hiszik, minden rendben van. De mivel ezek neurális hálók, nem tudsz csak úgy belenézni a belsejükbe, hogy meglásd, mit gondolnak valójában.

– Ez egy nagyon fontos pont. A szoftverekkel ellentétben – ahol teoretikusan belenézhetünk a kódba – az MI-nél azt mondod, nem tudjuk, miért hozza meg a döntéseit, mert nem látunk bele a belsejébe.

– Egy optimistább megjegyzés: ennek nem feltétlenül kell így lennie. A gépi tanulásnak van egy mechanisztikus értelmezhetőség (mechanistic interpretability) nevű részterülete, ami pont ezt a problémát próbálja megoldani: szétszedni a betanított mesterséges neurális hálókat, és megérteni, hogyan áramlik az információ, hogyan születnek a döntések. A probléma csak az, hogy ez eredendően nehéz feladat. Ha 10 billió kapcsolatot kell megvizsgálnod, megnézhetsz egy adott csoportot, és mondhatod, hogy „oké, ez a kapcsolat így működik”, de hogyan kapsz képet az egészről magas szinten? A válasz az, hogy lehet, hogy lehetetlen, de az emberek dolgoznak rajta. Ha elegendő haladást érnek el, egy teljesen más és sokkal fényesebb világban találjuk magunkat. Sokkal kevésbé lennénk kitéve az irányításvesztési szcenárióknak, ha bármikor láthatnánk, mit, miért és hogyan gondol az MI.

– Egészen őrület belegondolni, hogy olyan technológiát, olyan agyat építünk, amit nem értünk.

– Igen, elég őrült dolog. Mint egy sci-fi filmben, ahol a tudósok körbeállnak egy nagy agyat, táplálják, de nem igazán tudják... Nyilvánvalóan veszélyes dolog, de mégis csináljuk az elmúlt 10 év fejlődése miatt, ahol az emberek úgy voltak vele: „Ó, ez veszélyes! De mi van, ha más csinálja meg rosszul? Ezért inkább nekünk kell megcsinálnunk jól!” Most pedig ebben a versenyben vannak egymással, miközben politikai nyomás alatt állnak, hogy úgy tegyenek, mintha a helyzet nem lenne annyira rossz, mert nem akarják felbőszíteni a befektetőiket vagy a Fehér Házat.

Milyen készségek számítanak majd egy MI-világban?

– Az egyik kulcskérdés a nézőinktől az volt: mely munkák élik túl garantáltan az MI-t, és milyen készségekre kellene a diákoknak és a fiataloknak fókuszálniuk a következő 10 évben?

– Ez kicsit olyan, mintha Mexikóban élnél 1500 körül, és meghallanád, hogy jönnek a konkvisztádorok. Megkérdezheted magadtól, hogy milyen munkára válts, hogy túléld az átmenetet, de sokkal több aggódnivalód van ennél. Ennek ellenére azt mondanám: ha sikerül elkerülnünk az irányításvesztés problémáját, és az emberek kezében marad az ellenőrzés – vagyis az emberek határozhatják meg az MI céljait és értékeit még akkor is, ha az sokkal okosabbá válik náluk és átveszi a gazdaságot –, akkor valószínűleg lesznek olyan szabályozások, amelyek megvédenek bizonyos területeket. Kitalálhatod, melyek lehetnek ezek: esetleg a bírák.

– Mi a helyzet a podcasterekkel? Légy őszinte!

– Valószínűleg a podcasterek nem élik túl. De olyasmik, mint a dajka vagy bébiszitter például... Azt hiszem, még ha van is egy robotdajka, ami rendkívül jó, sok ember inkább egy valódi embert választana, mert feszélyezné őket a robot gondolata. Szóval lehet így is okoskodni. És vannak jogilag védett munkák is, ahol előírhatják, hogy csak ember végezheti, robot nem.

– Egyesek szerint viszont annyi új munkahely fog létrejönni, amit most még el sem tudunk képzelni, akárcsak az ipari forradalom vagy az internetrobbanás idején.

– Ezzel az a probléma, hogy a múltbéli technológiai vívmányok szűkebb körűek voltak: automatizáltak bizonyos dolgokat, de nem mindent. Mi viszont egy olyan hipotetikus jövőbeli helyzetről beszélünk, ahol minden automatizálva lesz. Így nem lesz olyan új munkahely, amit te meg tudnál csinálni, de az MI ne tudná megcsinálni – kivéve, ha azt szabályozás védi.

Jelenleg van egy ciklus: az MI megtanul egy bizonyos dolgot (szöveget írni, kódot vázolni, hibát javítani), az emberek pedig átnyeregnek az MI-k irányítására vagy más olyan feladatokra, amiket az MI még nem tud. Ezért nyíltak meg eddig mindig új munkahelyek. De ha eljutunk arra a pontra, ahol az MI mindent meg tud tenni, amit az ember – jobban, gyorsabban és olcsóbban –, akkor bármilyen új munkára váltanál, az MI arra is át tud váltani, és már alapból jobb lesz benne, mint te.

– Mivel még nem láttunk tömeges munkanélküliséget a gazdaságban, szerinted az emberek kezdenek kissé elkényelmesedni? Sokan mondják a közösségi médiában: „Én megmondtam, hogy minden rendben lesz!” Az amerikai munkanélküliségi ráta stagnál vagy enyhén csökken (kb. 4,2%), az Egyesült Királyságban pedig 5% körül van.

– Igazából senki sem állította, hogy mostanra tömeges munkanélküliség lenne. Mi legalábbis nem ezt mondtuk az AI 2027-ben. A tömeges munkanélküliség csak 2028-ban vagy 2029-ben következik be, miután már kifejlesztették a szuperintelligenciát. A cégeknek nem az a legelső lépésük, hogy tömeges munkanélküliséget okozzanak. Az 1. lépés saját maguk automatizálása; a 2. lépés a rekurzív önfejlesztés a szuperintelligenciáig; a 3. lépés pedig a kiterjesztés a gazdaságra és minden automatizálása.

Ez az emberiség szempontjából nagyon szerencsétlen, mert ha az automatizálás széles körű hulláma fokozatosan menne végig a gazdaságon, az emberek felébrednének, elgondolkodnának azon, hová tart ez az egész, és jó szabályozást követelnének a kormánytól. De a cégek nem ezt a stratégiát követik: először elérik a szuperintelligenciát, és csak utána hajtják végre a széles körű automatizációt – ami azt jelenti, hogy mire ezt elkezdik, a folyamat már nagyon gyorsan fog pörögni, és az MI már rendkívül erős lesz.

– A 2027-es jelentésedben – amit még 2025-ben írtál – azt mondtad, hogy 2025 közepére megjelenik az „autonóm alkalmazott”, vagyis az MI-ágensek, akik a Slacken vagy a Teamsen keresztül fogadnak utasításokat. Ez megtörtént. Nekem is van MI-ágens a WhatsAppomban, akivel beszélgetek. A Claudebot is elterjedt a világban. Azt is írtad, hogy 2026-ra a vállalatok elkezdik egész vállalati részlegek lecserélését MI-ágens előfizetésekre; 2027-re pedig az utolsó munkát is automatizálják: magát az emberi MI-kutatók munkáját, megkezdve a gépi tanulási kutatást a következő generációs MI-k megépítésére.

– Igen. Az idővonalakat illetően bizonytalanok vagyunk, mennyi időbe telt e mérföldkövek elérése. Mire a forgatókönyvet publikáltuk, az én idővonalaim már kicsit kitolódtak: nálam a 50%-os valószínűségi jelölés 2028-ra esett az MI-kutatás teljes automatizálásánál, nem 2027-re, míg a csapatom más tagjainál heller 2030 vagy 2031 volt. Bunu úgy kell elképzelni, mint egy elkent valószínűségi eloszlást: a 50%-os jelölés egy adott évre esik, de nagy a lehetőség arra is, hogy évekkel korábban vagy később következik be.

AI 2040: Hogyan nézhetne ki a jövő?

– Mi az az AI 2040? Az AI 2027 egy legjobb tipp volt arra, hogyan alakulhatnak a dolgok a valóságban.

– Az AI 2040 (A-terv) a mi javaslatunk arra, hogyan kellene alakulniuk a dolgoknak. Azért neveztük el AI 2040-nek, mert ebben a forgatókönyvben csak 2040-ben építik meg a szuperintelligenciát sokkal korábbi időpont helyett, mert elhalasztják.

– Miért halasztják el?

– Hogy kezeljék a kockázatokat, és biztosítsák a hatalom méltányos elosztását. Alapvetően úgy szabályozzák az MI fejlesztését, hogy az továbbra is haladjon, de lassabb, ésszerűbb ütemben, átláthatóbb és biztonságosabb módon, több ország és cég között elosztva. Ennek eredményeként nem mondjuk 2030-ban, hanem 2040-ben érik el a szuperintelligenciát. 

Ezt hívjuk „A-tervnek”, mert ez a mi javaslatunk: kidolgoztunk egy tervet arra, mit kellene tenniük a kormányoknak, ez a forgatókönyv pedig szemlélteti, hogyan nézne ki ennek a megvalósítása – hasonlóan ahhoz, ahogy az AI 2027 azt illusztrálja, mi történik, ha a cégek a jelenlegi terveik szerint haladnak tovább.

– Ez van a fejemben. De vajon ez csak vágyálom, vagy szerinted valóban ez fog megtörténni?

– Nem, határozottan nem gondoljuk, hogy ez fog megtörténni.

– Nem gondolod, hogy ez fog megtörténni?

– Nem. Úgy véljük, a valóságban inkább az előző forgatókönyv valósul meg. Nem számítunk arra, hogy a világ hallgatni fog ránk. Ez a mi javaslatunk, reméljük, hogy az emberek valami hasonlót tesznek majd, és hisszük, hogy ez lehetséges, de alapesetben nem ezt jósoljuk a jövőre nézve.

– Át akarom nézni a lehetséges terveket és az A-tervet is, de még mielőtt rátérnénk arra, hogyan alakulhatnak a dolgok a következő években, szeretném érinteni a robotikát is. Itt van ez a grafikon a munkaerő-kibocsátás arányáról, amit meglehetősen mellbevágónak találtam. Munkáltatóként, aki több száz embert foglalkoztat, azon tűnődöm, mikor fog mindez bekövetkezni. Jelenleg még mindig veszünk fel új embereket, bár bizonyos pozícióknál már jelentősen megváltozott a megközelítésünk. Azt kell mondanom, most abban a fázisban vagyunk, ahol a csatapataink MI-vel támogatottak, és ágenseket használnak a munkájuk egy részéhez. De munkáltatóként felmerül bennem: mikor jön el a nagy fordulat?

– Nagyszerű kérdés! Nagyítsunk rá erre egy kicsit! Ez az AI 2040: A-terv forgatókönyvéből van, ahol jelentős szabályozást vezetnek be 2029-ben, ami lelassítja az MI fejlődésének ütemét. A forgatókönyvben ezt az utolsó pillanatban teszik meg: ha nem lépték volna meg, a fejlődés pontosan úgy lőtt volna ki, mint az AI 2027-ben. Amint látod, még a szabályozás bevezetésekor is rengeteg munkahely létezik ebben a szcenárióban. Ez visszacsatol ahhoz, amit korábban mondtam: ha megvárod, amíg a legtöbb ember elveszíti a munkáját, és csak utána szabályozod az MI-cégeket, akkor már túl késő. Addigra valószínűleg már lesz szuperintelligens MI-jük, mert a stratégiájuk az, hogy először a szuperintelligenciát érik el, és csak utána automatizálnak mindent.

– És azt mondod, hogy az gazdasági összeomláshoz vezetne, és még nagyobb kárt okozna, ha hirtelen szabályoznánk valamit, amire addigra mindannyian és az egész életünk támaszkodik.

– Igen, de ezt a kockázatot nagyon is megéri vállalni! Igaz, hogy jelenleg sokan használják az MI-t sok mindenre, de ha valahogy lassítani vagy szüneteltetni tudnánk az MI fejlesztését most, hogy felépítsünk egy jobb működési modellt, az bőven megérné – még ha jelentős ára is lenne. De abban a pontban már nem teheted meg, ahol az MI és a robotika adja a munkaerő-kibocsátás nagy részét.

– Így van. De ebben az AI 2040: A-terv forgatókönyvben 2029-ben bevezetik a szabályozást, majd lassan és óvatosan fejlesztik az MI-t, elkerülve a problémákat. Így végül – igen, végül – az MI-k átveszik a munkákat. Végül az egész gazdaságot MI-k és robotok működtetik, de ez fokozatosan történik meg a 2030-as évek során, ahelyett, hogy egyetlen év leforgása alatt csapna le egy brutális sokkhatásként. Mert ebben a szcenárióban nem hagyják, hogy a cégek rekurzív önfejlesztéssel a lehető leggyorsabban eljussanak a szuperintelligenciáig. Ehelyett úgy szabályozzák a fejlesztést, hogy az alapképességek ésszerűbb ütemben és átláthatóbb módon fejlődjenek, így a tudományos közösség látja, mi történik, és segíthet a biztonságossá tételében.

– Észrevettem, hogy mindkét forgatókönyvedben végül az MI és a robotika végzi szinte az összes munkát. Ebben egyetértesz Elon Muskkal, aki szerint a munka a jövőben választás kérdése lesz. Mert hát mi történik? Ha definíció szerint mindent meg tud csinálni, akkor mindent meg is fog csinálni.

– Igen. A kérdés inkább az: szabad-e engednünk, hogy olyan MI-k jöjjenek létre, amelyek mindenre képesek? Egyesek szerint a válasz nem: mindent le kellene állítani, és meg kellene akadályozni az ilyen típusú MI-k létrejöttét. Mi valójában meglehetősen szimpatizálunk ezzel a gondolattal.

– Megmutassuk a terveket ábrázoló diagramot?

– Igen, köszönöm! A mi forgatókönyvünk neve AI 2040: A-terv. Ez egy olyan szcenárió, amelyben lelassítják az MI fejlesztését, hogy a szuperintelligencia csak 2040-ben jöjjön létre a korábbi dátumok helyett. Az A-terv a mi hivatalos javaslatunk. Összehasonlításképpen készítettünk mini-forgatókönyveket is, amelyek eltérő alternatív terveket illusztrálnak: ezek az S-terv, B-terv, C-terv és D-terv.

D-terv: Alapvetően ugyanaz, mint ami az AI 2027-ben történik. A verseny folytatódik, alig van szabályozás.

C-terv: Nagyon hasonló az AI 2027 lelassulós végkifejletéhez, ahol megoldják az igazodási (alignment) problémákat. Ebben a verzióban kicsit lelassítanak, több erőforrást csatornáznak át az MI-biztonsági kutatásokra, szerencséjük lesz, sikerrel járnak, majd miután megvannak a biztonságos MI-k, újból felgyorsítanak, átveszik a munkákat, és legyőzik Kínát.

B-terv: Hasonló a C-tervhez, de agresszívabbak Kínával szemben: szabotázst vagy kibertámadásokat vetnek be ellenük, hogy lemaradásban tartsák őket, így több lélegzetvételnyi idő marad az igazodási problémák saját elhárítására.

A-terv: A mi javaslatunk. Belső szabályozás, majd egy nemzetközi megállapodás az MI építésének folytatására, de sokkal jobb és biztonságosabb keretek között.

S-terv (Shutdown): Az egész teljes leállítása. Ha olyan jövőt szeretnél, ahol nem szaladgálnak olyan MI-k, akik mindent jobban és gyorsabban csinálnak az embernél, akkor az S-tervre van szükséged.

– Te mit szeretnél?

– Az A-terv a javaslatunk. Szimpatizálok az S-tervvel is, de az általunk kifejtett okok miatt mégis az A-tervet ajánljuk.

– És őszintén: szerinted melyik a legvalószínűbb?

– A D-terv. Vagyis az, hogy tovább versenyeznek, nem lassítanak le érdemben, és a dolgok rendkívül gyorsan pörögnek fel.

– Vannak gyerekeid?

– Igen, két gyermekem van.

– Ez kicsit szomorú. Úgy értem, így vagy úgy, de mire elérik azt a kort, hogy belépjenek a munkaerőpiacra, ez az egész valószínűleg már lezajlik. Nem hiszem, hogy valaha is belépnek a hagyományos munkaerőpiacra.

– Mit értesz az alatt, hogy „ez az egész lezajlik”?

– Azokra a mérföldkövekre gondolok, amelyeket leírtam: az MI automatizálja az MI-kutatást, szuperintelligenssé válik, berobban a gazdaságba, elveszi a munkákat, robotgyárakat épít, hogy még több robotot és gyárat hozzon létre, a GDP pedig függőlegesen kilő. Ezekre az eseményekre gondolok. Talán van 10-20% esély arra, hogy a technológia falba ütközik, és mindebből semmi sem valósul meg, még akkor sem, ha nem teszünk semmit.

– Hány éves a idősebbik?

– Hat. Kislány.

– Ha a lányod odalép hozzád, és azt kérdezi: „Apu, mit tanuljak az iskolában?”, mit mondasz?

– Ha ezek a radikális átalakulások bekövetkeznek, a világ teljesen máshogy fog kinézni, és az, hogy milyen munkára készíted fel magad, lényegében nem fog számítani. Azt mondanám, hogy egyrészt próbáljunk meg tenni azért, hogy a dolgok jól alakuljanak. Ha bármilyen csekély befolyásod is van a történelemre és arra, hogyan fejlődik ez az egész, keményen kell próbálkoznod, hogy jobb irányba tereld a jövőt. Másrészt személyes szinten arra kell fókuszálni, hogy jó ember légy, és olyan dolgokat csinálj, amelyek önmagukért jók, nem pedig azért, mert felkészítenek egy későbbi elhelyezkedésre – mert az a későbbi elhelyezkedés nagyon bizonytalan.

– Elon Musk a bőség koráról beszél, ami felé haladunk.

– Bőség határozottan lesz. A kérdés az: ki irányítja ezt a bőséget, és mit kezd vele? Bárki irányítja egyáltalán az MI-ket, vagy a saját fejük után mennek? És ha emberek irányítják őket, kik azok, és mit tesznek? Milyen politikai struktúra határozza meg a döntéseiket?

– Azt hiszem, Geoffrey Hinton mondta nekem: nincs példa a természetben arra, hogy egy intelligensebb faj felett egy kevésbé intelligens faj uralkodjon. Ezzel arra utalt, hogy meglehetősen gőgösek vagyunk, ha azt hisszük, egy olyan világban, ahol létezik egy nálam garmadával okosabb mesterséges agy, én fogok neki utasításokat adni.

– Igen, ez a lényeg. Ennek kellene lennie az alapfeltételezésünknek: itt vannak ezek az agyak, nem látjuk pontosan, mit gondolnak, okosabbá tesszük őket nálunknál, rájuk bízunk mindent, aztán testet adunk nekik, ők pedig autonóm módon új gyárakat építenek. Hogyan kellene ennek jól végződnie? Nem pontosan olyan ez, mintha kitenyésztenénk egy új fajt, amelyik aztán kiszorít minket, amint már nincs ránk szüksége? Szerintem ez az alapértelmezett pálya.

Természetesen van egy egész argumentum arról, hogyan térhetnénk le erről az alapértelmezett pályáról. Ott van például az értelmezhetőségi (interpretability) kutatás, amiről korábban beszéltem. Ha az a kutatás beérik, láthatóvá válik, mit gondolnak, ami kiváló eszköz lenne a formálásukhoz, ellenőrzésükhöz és ahhoz, hogy azt tegyék, amit mi akarunk. Vannak más MI-igazodási kutatási agendák is, amelyek haladást érnek el. Ha ezek közül elég sok sikerül, elkerülhetjük ezt a problémát.

A szabályozási oldal is kulcsfontosságú: a nehézséget részben az adja, hogy versenyhelyzetben építjük ezeket az MI-ket. A cégek titkolják a recepteket, nehogy mások lemásolják őket, így a fejlesztések zárt ajtók mögött zajlanak, és csak kevesen látják a betanításhoz használt eljárásokat. És amikor az MI váratlanul vagy kifejezetten károsan viselkedik, az információ gyakran nem jut el a nyilvánossághoz, mert a cégek nem érdekeltek abban, hogy elmeséljék a hibáikat. Ez nem kedvez a tudományos haladásnak. Ha a szabályozási rendszer más lenne, jobb helyzetben lehetnénk, és gyorsabb áttörést érhetnénk el. És persze nem terveznénk azt sem, hogy a lehető leggyorsabban mindent az MI-k irányítása alá helyezzünk, és nem hagynánk nekik a korlátlan önfejlesztést sem. Ezek olyan döntések, amelyeket meghozhatnánk másképp is.

(A reklámblokk eltávolítva)

– Ilia Sutskever az OpenAI egyik vezetője volt, majd távozott, és megalapította a saját cégét, a Safe Super Intelligence-t (Biztonságos Szuperintelligencia) – ami elég érdekes név egy cégnek az OpenAI elhagyása után. Dolgoztál vele együtt?

– Nem dolgoztam vele közvetlenül, de beszélgettem vele pár alkalommal.

– Szerinted ő is őszintén aggódik?

– Szerintem igen. De úgy gondolom, ő is hasonló helyzetben van, mint a többi vezérigazgató. Gondolj bele, milyen ösztönzők hatása alatt állnak! Látják a problémát, de azt mondják: „Jó, de ha leállok, felmondok vagy mást csinálok, az nem oldja meg a problémát, mert a többi vezérigazgató folytatni fogja. És ha mind leállnánk, Kína akkor is folytatná. Úgy tűnik, ez így is, úgy is megtörténik, akár teszek ellene, akár nem. Akkor inkább veszek részt benne, hátha el tudom érni, hogy jól süljön el! És különben sem akarok a hidegben maradni, amíg mások – akikben nem bízom – irányítanak mindent.” Mindannyian végigzongorázzák ezt a gondolatmenetet, és meggyőzik magukat arról, hogy az a helyes lépés, ha ők építik meg, csak jobban. Ilia csak a legújabb példa erre. Elon egy másik példa, Dario egy harmadik. Kezdetben Sam is ilyen volt az OpenAI-nál, bár Elon és Dario is ott voltak az elején.

– Mit kellene tenniük szerinted?

– Nemzetközi vagy legalább hazai szabályozásra lenne szükség, hasonlóan ahhoz, amit az A-tervben leírtunk.

– Végigvezetnél az A-terven?

– Ebben a forgatókönyvben az MI-nek hosszabb időbe telik eljutni a rekurzív önfejlesztésig és az MI-kutatás teljes automatizálásáig, mint az AI 2027-ben. Úgy véljük, érdemes megmutatni a lehetőségek skáláját a bizonytalansági tényezők miatt, így 2030-at választottuk annak a pillanatnak, amikor a teljes automatizáció végül megvalósul, és a dolgok igazán beindulnak.

Visszafelé számolva: mikor van az utolsó pillanat, amikor még jó szabályozást lehet hozni? 2029-ben. Ebben a szcenárióban az MI fejlődése magától is kissé lelassul, a cégek továbbra is versenyeznek, de nem sikerül teljesen automatizálniuk magukat 2027-ben, 2028-ban vagy 2029-ben – bár nagyon közel járnak hozzá, és 2030-ra megtennék. Ekkor, 2029-ben a kormány közbelép és szabályozza őket.

– Milyen szabályozásokat vezetnek be?

– Lényegében ideiglenesen leállítják a fejlesztést.

– Megkérdezhetem, hogyan kapcsolódnak az elnökválasztások az idővonaladhoz? Mert 2028-ban nagy választás lesz az Egyesült Államokban, és úgy tűnik, a közhangulat erősen az MI ellen fordult a nagyközönség körében, így ez az egyik legfontosabb téma lesz a szavazólapokon.

– Úgy gondoljuk, hogy a 2028-as elnökválasztás legfontosabb témája lehet. A legtöbb ember meglehetősen aggódni fog amiatt, hová tartanak a dolgok. Részben ezért ábrázoltuk így a dolgokat ebben a forgatókönyvben: ez magyarázza, miért hozhatnak ilyen szabályozást 2029-ben – mert a szavazók ezt követelték, az elnökjelöltek pedig megígérték.

– Ebben a forgatókönyvben 2027-re a nagyközönség sokkal súlyosabban megérezte volna az MI következményeit, mint most?

– Igen, bár 2029-ben ebben a szcenárióban az emberek többségének még megvan a munkája. Sok munkahelyen ekkorra már MI-ágenseket irányítanak. Említetted, hogy neked is van MI-ágensed: nos, 2029-ben ebben a forgatókönyvben az ágensek sokkal jobbak lesznek, de még mindig nem annyira, hogy mindent teljesen egyedül csináljanak meg. Ez a szint ebben az idővonalban 2030-ban jönne el. (Ismétlem: az idővonalak bizonytalanok, a dolgok gyorsabban is haladhatnak, mint ebben a forgatókönyvben – és szerintem gyorsabban is fognak haladni, de a nagyon gyors szcenáriót már megírtuk, így most egy lassabbat vázoltunk fel.)

Nézzük a fő célokat! A politikusok és a szavazók azt akarják, hogy az MI fejlődése folytatódjon, de lassabb ütemben, hogy biztonságossá lehessen tenni.

1. cél: Lassítás.

2. cél: Átláthatóság növelése, hogy a tudományos közösség felzárkózhasson, és ne kelljen elhinni a cégek bemondásos alapon tett ígéreteit a biztonságról vagy az elfogultság-mentességről.

3. cél: A hatalomkoncentráció elkerülése. Kifejezetten jó, ha több MI-cég létezik több különböző országban hasonlóan fejlett képességekkel, és az MI széles körben elterjed a társadalomban, ahelyett, hogy egyetlen megaprojekt kezében összpontosulna az összes legjobb MI. És a nagyszerű dolog az, hogy ezt alapértelmezésben megkapod, ha az első két dolgot megteszed: a lassítás és az átláthatóság lélegzetvételnyi időt hagy más projekteknek a felzárkózásra.

4. cél: Visszafordíthatóság. A forgatókönyvben rengeteg adatközpontot és robotot építünk fel. A világ átalakul, bár lassabb ütemben. Ha a dolgok elromlanak, a megállapodás felbomlik, és mindenki újra versenyezni kezd a szuperintelligenciáért, az nagyon félelmetes lenne. Ezért a negyedik elv: az új adatközpontokat úgy kell megépíteni, hogy ha minden felbomlik és újra indul a hajsza, az újonnan épült adatközpontok megsemmisüljenek, így visszatérünk a nullponthoz ahelyett, hogy egy még veszélyesebb versenyben találnánk magunkat.

Ha érdekel, végigvezethetlek az idővonalon.

– Persze!

– Az elnök beszél Kína és más országok vezetőivel, és azt mondja: „Alapvetően leállítjuk az MI-fejlesztést, amíg ki nem találunk egy tervet ezen célok elérésére.” Ellenőröket küldenek egymás adatközpontjaiba: kínai ellenőrök jönnek az amerikai adatközpontokba, amerikaiak mennek Kínába, és ellenőrzik, hogy csak következtetést (inference) végeznek, nem pedig tanítást (training).

Új MI-k fejlesztése tanítással jár. A meglévő MI-k futtatása a felhasználók kiszolgálására viszont a következtetés. A megoldás, amire jutnak: engedélyezik a következtetést, de a tanítást leállítják, amíg az új adatközpontok el nem készülnek. Átalakítják a meglévő adatközpontokat a futtatásra: az emberek továbbra is beszélhetnek az MI-ágenseikkel, de azok nem fognak tovább fejlődni fél-egy évig, amíg megépítik az új, átlátható adatközpontokat, ahol a tanítás fog folyni. Amint ezek az új adatközpontok elkészülnek 2030-ban, az MI-kutatás folytatódik.

Ez a rész kicsit kényes: mi teljes kutatási átláthatóságot javaslunk, ami azt jelenti, hogy az új modelleket betanító adatközpontoknak mindent publikálniuk kell – a tanítási recepteket, az architektúrát, mindent. Ez a fajta nyílt tudomány elengedhetetlen az igazodási probléma gyors megoldásához, mert nem akarhatjuk, hogy az elfelfogult cégek döntsenek arról, biztonságosak-e az MI-k. Emellett a jó szabályozáshoz is kell, mert jelenleg a szakértelem a Szilícium-völgyben összpontosul, míg a kormányok nem igazán értik az MI-t.

Képzelj el egy alternatívát: a teljes átláthatóság helyett lenne egy auditori rendszer, ahol a kormány megadja a szabályokat, az ügynökség pedig bemegy a cégekhez ellenőrizni azokat. Ez egy ellenérdekelt dinamikát hoz létre, ahol a cég abban érdekelt, hogy átverje a szabályozót, és ha felfedeznek egy új problémát, ami még nincs a kormány radarján, érdekeltek lesznek abban, hogy elhallgassák. A teljes átláthatóság segít a kormánynak gyorsabban jobb döntéseket hozni, de megöli a cégek versenyelőnyét.

– Igen, a Dropbox ezt nem fogja szeretni, és az OpenAI sem. Ez valószínűleg rossz lenne a cégértékeléseknek.

Az mesterségesintelligencia-ipar rémisztő nyílt titka jelenleg az, hogy meglehet, a végén lényegében egy új fajt hozunk létre, amely átveszi a hatalmat a világ felett – és 70% az esélye annak, hogy ez szörnyen sül el, akár az emberiség kihalásához vezetve.

Ez az egyik lehetőség, de sok más is létezik. – Elég ijesztő, amiket mondasz. – Igen, engem is lehangol néha. A feleségemnek konkrétan azt mondtam, hogy ne legyen több gyerekünk, mert túl nagy a bizonytalanság, és kétlem, hogy valaha is belépnének a munkaerőpiacra. Mindegyikünknek félnie kellene attól, hogy elveszíti a munkáját. Ezt onnan tudom, hogy 2022-ben az OpenAI-nál dolgoztam, ahol a feladatom a következő néhány év előrejelzése volt. Sajnos a világ nagy része még mindig alva vezet, és nem igazán fogja fel, mi történik az MI-vel. Úgyhogy felmondtam.

– Valahol azt olvastam, hogy 2 millió dollártól estél el, mert nem voltál hajlandó aláírni egy cégkritikát tiltó nyilatkozatot. – Így van, de ennek a részleteibe szívesen bemegyek. A legfontosabb viszont az, amit megtanultam: amikor elmegyek az Anthropic vagy az OpenAI szakembereivel beszélni az előrejelzésekről, ők azt mondják: „Nem fog az olyan sokáig tartani. Rövidítsd le a jóslatokat 2027-re vagy 2028-ra!” Mert ezek a befolyásos cégvezetők – Dario, Sam vagy Elon – egymással versenyeznek a leghatékonyabb MI feletti ellenőrzésért. Szó szerint attól rettegnek, hogy ha a másik ér oda előbb, akkor diktátorrá válhat. Az Anthropic jó úton halad afelé, hogy 2030-ra a teljes gazdaságot lefedje. Viszont ezen emberek közül egyiknek sem szabadna ekkora hatalmat adni a kezébe.

Ez a legfontosabb dolog, ami az életünkben – sőt, valószínűleg az egész történelemben – történik, és kulcsfontosságú, hogy jól alakuljon. Szerintem sokat tehetünk azért, hogy jobb irányba tereljük a dolgokat. Rengeteg előnye lehet az MI-nek, ha jól csináljuk, és ha megoldjuk a felmerülő problémákat, a dolgok mindenki számára fantasztikusan alakulhatnak.

– Nos, ez a 2021-es jelentés itt rendkívül pontos volt. És most publikáltad ezt az újat. – Igen, ez az új szcenáriónk. – Menjünk végig rajtuk lassan, egyesével. – Hihetetlenül boldog lennék, ha az összes jóslatom tévesnek bizonyulna.

(A műsorvezető üzenete a nézőknek) Ez szuper érdekes számomra. A csapatom odaadta ezt a kimutatást, ami megmutatja, hányan iratkoztak fel azok közül, akik nézik a műsort. Sokan mondtátok, hogy a rendszer néha magától leiratkoztat benneteket. Ezért egy szívességet szeretnék kérni tőletek: kérlek, ellenőrizzétek most, hogy megnyomtátok-e a feliratkozás gombot, ha rendszeres nézői vagytok a műsornak, és tetszik, amit csinálunk. Egy meglehetősen jelentős mérföldkőhöz közeledünk a csatorna életében a feliratkozószám tekintetében. Ha van egyetlen egyszerű, ingyenes dolog, amivel segíthettek nekünk és a csapatnak abban, hogy a műsor továbbra is ingyenes maradjon, és hétről hétre, évről évre fejlődjön, az az, ha megnyomjátok – vagy ellenőrzitek – a feliratkozás gombot. Ez az egyetlen dolog, amit valaha kérek tőletek. Áll az alkud? Cserébe én hétről hétre, hónapról hónapra egyre keményebben fogok küzdeni azért, hogy elhozzam nektek azokat a vendégeket és beszélgetéseket, akiket hallani szeretnétek. Ehhez az ígéretemhez a csatorna kezdete óta tartom magam, és nem foglak titeket cserbenhagyni. Kérlek, segítsetek nekünk, nagyon értékeljük! És most folytassuk a műsort!

Miért érinthet mindenkit az MI küldetése?

– Daniel Kokotajlo, mi a legfőbb küldetésed, és miért? – Mit tennél, ha úgy gondolnád, hogy néhány éven belül megérkezik a szuperintelligencia? – Valószínűleg attól függne, hogy mik lennének a következményei. – Beszéljünk róla! Szuperintelligencia alatt olyan MI-t értünk, amely mindenben jobb a legokosabb embernél is, miközben gyorsabb és olcsóbb. Képes olyan robotokat irányítani, amelyek a fizikai világban mindent meg tudnak tenni, amire az ember képes – csak jobban, gyorsabban és olcsóbban. Ha ez tényleg megérkezik néhány éven belül, akkor fel kell készülnünk, és át kell gondolnunk, hogyan érhetjük el, hogy ez jól süljön el ahelyett, hogy katasztrófába torkollna. Szóval ez a válaszom: a tőlem telhető legjobban ezen dolgozom.

– Szóval hiszed, hogy ez néhány éven belül eljön? – Igen. – Honnan vagy ebben ilyen biztos? – Rengeteg időt töltök az ilyen dolgok előrejelzésével. A medián becslésem – amire 50% esélyt látok – jelenleg 2029. Esetleg előrejön 2028-ra. Előfordulhat, hogy lényegesen tovább tart, mondjuk 10 évig vagy ilyesmi, de olyan okokból, amikre szívesen kitérek, úgy tűnik számomra, hogy az évtized végére valószínűleg bekövetkezik. De a közelség érzésénél is fontosabb a tendenciák üteme.

Az Anthropic tavaly ilyenkor körülbelül egymilliárd dolláros éves bevételt termelt, most pedig körülbelül 60 milliárdot. Ez hatvanszoros növekedés egyetlen év alatt, ami még egy egészen kicsi startup esetében is rendkívül lenyűgöző lenne, de egy ekkora cégcsoportnál valószínűleg a történelem leggyorsabb növekedése. Arra számítunk, hogy ez a növekedési ütem lelassul, de még ha jelentősen le is lassul, akkor is jó úton haladnak afelé, hogy 2030 körülre lényegében ők jelentsék a teljes gazdaságot.

Miért kellene az átlagembernek törődnie az MI-vel?

– Miért kellene, hogy ez érdekelje az átlagembert? – A lényeg az, hogy abszolút minden meg fog változni az egész világon, beleértve őket és a családjukat is. Változhat jobbra és változhat rosszabbá is, attól függően, hogyan hajtjuk ezt végre.

Például mindannyian meghalhatunk. Ez a klasszikus „irányításvesztési” szcenárió egyik verziója. Ha megépítjük ezeket a szuperintelligenciákat, és velük automatizáljuk az összes munkát, betesszük őket a hadseregbe, tőlük kérnek tanácsot a politikusok, akkor végül akkora valós hatalmat halmoznak majd fel, hogy többé nem lesz szükségük az emberekre. Okosabbak nálunk, jobb a stratégiai érzékük stb. Ezen a ponton már csak reménykedhetünk abban, hogy erényesek, és hogy megőrizték azokat a célokat és értékeket, amelyeket szántunk nekik.

És a mesterségesintelligencia-ipar rémisztő nyílt titka jelenleg az, hogy ez most még csak egy jámbor remény. Egyáltalán nem lehetünk biztosak benne. Sőt, rengeteg bizonyíték és érv mutat arra, hogy nem jó úton haladunk ennek elérésére. A jelenlegi MI-k például gyakran hazudnak az embereknek, vagy ha megmondod nekik, hogy csináljanak valamit, csinálnak valami teljesen mást, majd úgy tesznek, mintha jól csinálták volna. Szóval eredendően nehéz feladat valami olyat létrehozni, ami szuperintelligens, és közben megvannak benne azok az értékek és erények, amelyeket elvársz tőle. És nem úgy tűnik, hogy jó úton haladnánk a probléma megoldása felé. Ráadásul ez egy olyan típusú problémának tűnik, amiről azt hiheted, hogy megoldottad, miközben valójában nem. Ez az egyik fő oka annak, miért olyan ijesztő ez az egész.

Mindezek miatt meglehet, hogy a végén lényegében egy új fajt hozunk létre, amely átveszi a hatalmat a világ felett helyettünk. És aztán esetleg úgy járunk, mint a múltban más kihalt fajok, amelyeket az ember kiszorított. Ez az egyik lehetőség, de van még sok más is.

Még ha nem is aggódsz emiatt, és azt gondolod, hogy az MI teljes mértékben ellenőrzés alatt tartható, ott a kérdés: ki irányítja az MI-t? Amikor van pár vállalat, amely megépítette ezeket a szuperintelligenciákat, és az összes munkahely automatizálására használja őket, nos, az hatalmas hatalom. Óriási pénz és óriási politikai befolyás. Náluk lesznek a legjobb stratégák, a legjobb tanácsadók, katonai téren gyorsabban fognak gondolkodni – azok az országok, amelyek birtokolják ezeket az MI-ket, teljesen fel fogják söpörni a padlót az összes többi országgal.

Maguk az MI-k egyfajta központi vezérlőrendszert alkotnak. Az Anthropic vezérigazgatója, Dario alkotta meg a „zsenik országa az adatközpontban” kifejezést arra, amit megpróbálnak felépíteni. Szerintem ez egy kicsit félrevezető. Pontosabb lenne úgy leírni, mint „zsenik hadserege az adatközpontban”, mert ez nem úgy néz ki, mintha sokféle, különféle MI élne az adatközpont különböző részein. Mindegyik ugyanannak a nagy modellnek a másolata, a cég tulajdonában vannak, így mind a cég parancsait követik. Az embereknek fel kellene tenniük a kérdést: ki irányítja ezt a hadsereget vagy ezeket a hadseregeket, és mit fognak velük csinálni? Nagyon könnyen kiköthetünk egy olyan helyzetben, ahol az emberek egy egészen apró csoportja lényegében oligarchává vagy diktátorrá válik.

És ironikus módon mindkét kockázaton – az irányítás elvesztésén és a hatalom koncentrációján – már évtizedek óta gondolkodnak az iparágban dolgozók. Még az MI-ipar létezése előtt az erről gondolkodók már beszéltek és írtak ezekről a dolgokról. A DeepMind, az OpenAI és az Anthropic alapítási narratívájának vagy mítoszának része volt az, hogy „ezek a problémák valósak, ezért nekünk kell elsőként odaérnünk, hogy felelősségteljesen tudjuk kezelni őket”. Szerintem ez a két fő ok.

De folytathatnám, van még rengeteg más indok is. Ott van például a geopolitikai konfliktusok kérdése. Ha az MI valóban hihetetlenül hatékonnyá válik, az meg fogja változtatni a nemzetek közötti erőviszonyokat. Ez rengeteg mindent felborít, ami általánosságban is növeli a válságok kockázatát.

És mi lesz a munkákkal? Elveszíted a taxisofőri állásodat – de nem csak a taxisofőr, hanem szinte mindenki. Lehet néhány kivétel, például azok a munkák, amelyeket jogi okokból csak emberek végezhetnek, de nagyrészt mindenkinek félnie kellene attól, hogy elveszíti a munkáját, még akkor is, ha az összes többi problémát sikerül elkerülnünk.

Túlreagálnak az MI-szakértők, vagy vészharangot kongatnak?

– Ez a narratíva elkezdett kibontakozni, és már több olyan interjúm is volt ebben a műsorban, ahol olyan emberekkel beszélgettem, akik nagyon-nagyon megrémültek és szoronganak az MI miatt – pedig olyanokról van szó, akik néha már évtizedek óta ebben az iparágban dolgoznak. Ugyanakkor feltűnt a szembejövő ellennarratíva is, miszerint ez csak „módszeres riogatás” (doomerizmus), és ezek az emberek bármilyen okból csak rá akarnak ijeszteni a társadalomra, miközben nem is értik igazán, miről beszélnek. Hogyan válaszolsz erre az ellennarratívára? Biztosan te is láttad ennek a megjelenését, különösen azok részéről, akiknek – merem állítani – érdekük fűződik hozzá.

– Így van, pontosan. Ez az ellennarratíva meglehetősen új keletű, és azok terjesztik, akiknek érdekük származik belőle – és nem igaz. Ezek az aggodalmak már évtizedek óta jelen vannak, mielőtt az MI-ipar egyáltalán létezett volna. Valójában teljesen ésszerű felvetések. Ha komolyan vesszük a cégek szavait, és elképzeljük, hogy valóban felépítik a szuperintelligenciát, az rengeteg kérdést vet fel: Ki fogja irányítani? Fogja egyáltalán bárki irányítani? Mi lesz a munkahelyekkel? Ezek teljesen kézenfekvő következmények, amiken gondolkodni és aggódni lehet.

– Ki vagy te, és mi a történeted? – A nevem Dan Kokotajlo. Jelenleg az AI Futures Projectet vezetem, ami egy kis nonprofit szervezet, és főként az MI jövőjének előrejelzésére összpontosít. Ezt megelőzően az OpenAI-nál dolgoztam.

– MI-előrejelzéssel foglalkoztál? – Igen. Gondolj arra, ahogy a fedezeti alapoknak dolgozó iparági elemzők készítenek előrejelzéseket – például arról, hogy hány autót fog eladni a Tesla 5 év múlva, vagy mennyi lesz a villamos energia ára 2 év múlva. Ez az előrejelzés. Én is ezt csináltam, csak kifejezetten az MI-re fókuszálva. Azért csináltam, mert hihetetlenül fontos látni, hová tart mindez.

Miért csatlakozott az OpenAI-hoz – és mit látott odabent?

– Miért mentél az OpenAI-hoz, mit csináltál ott, mit tapasztaltál, és ez hogyan változtatta meg a szemléletedet az MI jövőjével, valamint az OpenAI-val mint céggel kapcsolatban? Azok kedvéért, akik nem tudnák: az OpenAI az a cég, amelyik a ChatGPT-t létrehozta.

– 2022-ben mentem az OpenAI-hoz. A munkám nagy része továbbra is előrejelzés volt. Az „AI 2027” egy olyan szcenárió, amiről talán már hallottál – én ezeknek a kisebb, belső használatra szánt változatait készítettem el a cégen belüli terjesztésre, amikben leírtam néhány tippet arról, hogyan nézhet ki a következő pár év. Emellett a veszélyes képességek értékelésén is dolgoztam: megpróbáltuk mérni az MI kibertérbeli képességeit, meggyőzőerejét vagy helyzetfelismerését. Egy rövid ideig tagja voltam egy fejlesztőcsapatnak is, ahol megerősítéses tanulással (reinforcement learning) hoztunk létre ágenseket.

Az MI valóban sokat fejlődik – és erről tudnék többet is mondani: a skálázási törvények (scaling laws), a mély neurális hálók... A nagyobb adathalmazokon betanított, nagyobb modellek hatékonyabbá és kompetensebbé válnak ezekben a feladatokban.

Ugyanakkor egyre inkább kiábrándultam az MI-iparágból. Az OpenAI, az Anthropic és a DeepMind mind rendelkezett azzal az alapítói narratívával, hogy „Igen, ezek a kockázatok valósak, de mi átgondoltuk őket, és megpróbáljuk felelősségteljesen kezelni a dolgot. Ezért fontos, hogy folytassuk, amit csinálunk.” Én pedig egyre inkább úgy láttam, hogy ezek csak racionalizálások a saját tetteik megideologizálására, semmint a tényleges viselkedésüket mélyen irányító elvek. És amikor választani kell, a saját érdekeiket és ösztönzőiket fogják követni ahelyett, hogy azt tennék, ami valóban jó.

– Tehát ott voltál az OpenAI-nál, és elkezdted azt hinni, hogy a kereskedelmi ösztönzőket követik a társadalmi felelősségvállalás helyett, amire eredetileg felesküdtek?

– Némiképp. Bár én nem feltétlenül „kereskedelmi” ösztönzőként írnám le, inkább hatalomkeresési ösztönzőként. Igaz, hogy a cégeknek nagyon fontos a sok pénz keresése, de különösen a cégek legfelső szintjén – a vezetők – megértik, hogy ez többről szól, mint csupán pénzről.

Ismertek azok az e-mailek, amelyek Elon Musk és az OpenAI közötti perben kerültek napvilágra. Egy csomó e-mail nyilvánosságra került abban a perben, amelyeket el lehet olvasni. Néhányukban az OpenAI alapítói még 2017 körül arról beszéltek, hogy az OpenAI megalapításának az volt az oka, hogy aggódtak: Demis (a DeepMind vezetője) a Google-nél diktátorrá válik az általános mesterséges intelligenciával (AGI). Már akkor is nyilvánvaló volt számukra, hogy ez többről szól, mint a pénzről.

Ezek a befolyásos cégvezetők szó szerint attól rettegnek, hogy ha a másik ér oda előbb, ő válhat diktátormódon egyeduralkodóvá. Nem bíznak egymásban. És ezért száguldanak, amilyen gyorsan csak tudnak, hogy úgymond ők legyenek azok, akik először célba érnek.

– Találkoztál Sam Altmannal? – Igen. – És ez formálta a véleményedet az ő motivációiról, vagy arról, miért teszi, amit tesz? Mert rengeteg a találgatás a szándékaival kapcsolatban. A legújabb narratívája szerint mindent „az emberiség javáért” tesz. – Szerintem a legfontosabb dolog, amit megtanultam, az az, hogy nem szabad odafigyelni a narratívákra. Amit az egyik embernek mondanak, az teljesen eltér attól, amit egy másiknak mondanak ugyanabban az időben. Amit pedig a nyilvánosság előtt mondanak, az egy harmadik dolog. Szerintem az embereket a tetteik, és nem a szavaik alapján kell megítélni.

Miért hagyta ott az OpenAI-t?

– És miért nem vagy már az OpenAI-nál? – nagyrészt amiatt az ok miatt, amit említettem: fokozatosan kiábrándultam abból, hogyan fog viselkedni a cég.

Például amikor 2022-ben csatlakoztam, a kollégáim körében – legalábbis azokkal, akikkel beszéltem – volt egy általános közhangulat: „Természetesen nem építenénk meg a szuperintelligenciát a lehető leghamarabb. Amint igazán közel érünk – amint eljutunk olyan MI-kig, amelyek esetleg automatizálni tudják az MI-kutatási folyamatot –, megállunk, és kitaláljuk, hogyan tehetjük biztonságossá. Mert mi vagyunk a jófiúk, és nyilvánvalóan ez a biztonságos lépés ahelyett, hogy teljes gőzzel előre rohannánk. De aggódunk mások miatt, akik esetleg nem állnának meg – a versenytársaink miatt, mint például a Google. Ezért kell az élen járnunk, hogy meglegyen a mozgásterünk a biztonsági intézkedések megtételére.”

Ez volt egyfajta átlagos álláspont a kollégák között, akikkel ott-tartózkodásom elején beszéltem – beleértve a vezetőket, mint Samet is. Aztán mire eljöttem, már úgy voltam vele: „Ember, ezek dehogy fognak megállni!” Parciálisan azért is, mert a téma átpolitizálódott, a cég nagyobb lett és nagyobb górcső alá került, az emberek pedig elkezdték kérdezgetni: „Miért csináljátok ezt egyáltalán, ha ennyire kockázatos?” Így átváltottak egy olyan narratívára, hogy „Igazából nem is olyan kockázatos ez.” Szóval úgy tűnik, nagyjából olyan gyorsan haladnak tovább, ahogy csak tudnak, és remélik, hogy menet közben majd kitalálják a megoldásokat.

– Hogyan ért véget az időszakod az OpenAI-nál? – 2024-ben mondtam fel. Volt egy jó kis búcsúbulim. – Milyen indokokat adtál meg a felmondáskor? – Úgy gondoltam, hogy túl sokat racionalizálunk, és többet kellene gondolkodnunk azon, mi lenne ténylegesen jó a világnak. Munkatársként nagyobb szabadságot akartam a publikálásra. Az OpenAI ahogy nagyobb céggé vált, úgy alakult át egy normális tech vállalattá – saját érdekekkel, PR-osztállyal és hasonlókkal –, így egyre nehezebbé vált publikálni az olyan típusú kutatásokat, amiket én csináltam. Például azokat a forgatókönyveket, amiket említettem, nem engedték publikálni, csak belső használatra maradhattak. Szerintem ez kár volt, mert jelenleg a világ nagy része alva vezet, nem igazán fogja fel, mi történik az MI-vel, és nem látja, mi várható a csőben pár év múlva. A cégek pedig nem igazán érdekeltek abban, hogy erről sokat beszéljenek a nyilvánosságnak. Mondanak ugyan néha homályos dolgokat hype-os stílusban, de például azt a szcenáriót már nem akarták, hogy publikáljam, ami vázolta volna: „Így alakulhatnak a dolgok a valóságban.”

Milyen volt az OpenAI-nál a ChatGPT indulásakor?

– Nagyon kíváncsi vagyok, milyen egy ilyen cégnél lenni, amikor kiadják például a ChatGPT-3-at. Akkor ott voltál, igaz? – Ühüm. – Ez volt az a pillanat, amikor az egész világ felfigyelt, és ráébredt, hogy ez a technológia mennyire erős. És társadalmi szinten elkezdődött a párbeszéd. A cég pedig szupergyorsan elkezdett növekedni – gyorsabban, mint ahogy azt bárki elképzelhette volna. Milyen volt ez odabent? Mit láttál megváltozni ebben az időszakban?

– Emlékszem egy céges megbeszélésre, ahol Ilia – Ilia Sutskever, aki akkoriban a kutatási vezető volt – valami ilyesmit mondott: „Rendben, most már a világ elkezdett odafigyelni. A következő egy évben mindegyikőtök a legnépszerűbb ember lesz minden buliban. Ne szálljon a fejetekbe! A küldetésre fókuszáljatok: meg kell építenünk az AGI-t!” A cég rengeteget nőtt. Amikor beléptem, már akkor sem igazán érződött nonprofit szervezetnek, de mire eljöttem, végképp nem úgy festett. Rengeteg új ember érkezett. Ironikus módon a szuperintelligenciáról és annak következményeiről szóló beszélgetések mennyisége az idő előrehaladtával inkább csökkent e növekedés miatt. Mivel a cég megduplázódott, majd újra megduplázódott, és még egyszer megduplázódott, mindezek az új emberek a tech szektor más területeiről érkeztek, nem igazán gondolkodtak még ezeken a dolgokon, és a magas fizetések vonzották őket.

A 2 millió dolláros titoktartási nyilatkozat körüli vita

– Elveszítettél 2 millió dollárt, mert nem voltál hajlandó aláírni egy cégkritikát tiltó nyilatkozatot, ami azt jelentette volna, hogy nem bírálhatod a céget. – Nos... a végén megtarthattam a pénzt. – Ó, megtarthattad? – Úgy történt, hogy miután eljöttem, elbúcsúztam stb., megkaptam a kilépési papírokat, és volt benne ez a záradék, ami alapvetően azt mondta: bele kell egyezned, hogy soha többé nem kritizálod a céget. És egy másik záradék is, miszerint erről senkinek sem beszélhetsz. Gondoltam, ez elég merész egy olyan nonprofit szervezettől, amelynek állítólag az egész emberiség javát kellene szolgálnia. Így nem írtam alá.

Ha pedig nem írod alá, nem tarthatod meg a részvényeidet. A fizetésed egy része készpénz, a másik része pedig alapvetően részvény. De volt ez a pont a szerződésben, hogy visszavonhatják a részvényeidet, ha nem írod alá ezt a papírt. A feleségemmel nagyon felindultak voltunk emiatt. Egy-két hónapig beszélgettünk róla, ügyvédekkel konzultáltunk, majd végül úgy döntöttünk, hogy megtagadjuk az aláírást – ami azt jelentette, hogy elveszítünk 2 millió dollárt.

– Ami akkoriban a vagyonotok mintegy 80%-a volt. – Így van. Szerencsére nem úgy alakult, ahogy vártuk. Lényegében felrobbant az internet. Amikor az emberek meghallották, hogy ezt megtettük és nemet mondtunk, hatalmas skandalum lett belőle. A cég alkalmazottai elkezdtek kérdéseket feltenni a Slacken és a vezetésnél: „Várj, tessék? Miért vennétek el a részvényeinket? Mi ez az egész?” Mert sokan korábban nem igazán figyeltek fel erre. Suttogtak róla, de nem olyan dolog volt, amit a legtöbb alkalmazott tudott volna.

Így visszakozniuk kellett, és azt mondták: „Nem számít, nem számít, megváltoztatjuk a papírokat, megtarthatjátok a részvényeket, minden rendben.” Sam Altman pedig előállt, és azt mondta: szégyelli, hogy nem tudott erről...

– Nem hiszel neki? – Nem, szerintem valószínűleg tudott róla. Ha pedig ő maga nem is, a hozzá közel álló emberek – például a vezető jogásza – biztosan.

– Miért döntöttél úgy, hogy elutasítod a 2 millió dollárt? A legtöbb ember elfogadta volna. – Szerintem ez igaz, a legtöbb ember elfogadta volna, és a legtöbben el is fogadták. A pénz jó dolog, de nem ez az egyetlen dolog a világon. Néha jó dolog elvi alapon kiállni valami mellett.

Gyorsabban jön a teljes MI-automatizálás, mint gondolnánk?

Folyamatosan emlegetem a szuperintelligenciát. Talán többet kellene mondanom azokról az eseményekről és lépésekről, amiket a cégek terveznek.

Jelenleg a kódolás automatizálására összpontosítanak. Fogják az MI-jeiket, nagyobbá teszik őket, hosszabb ideig tanítják őket, és a képzést kifejezetten arra hegyezik ki, hogy jók legyenek a kódok önálló megírásában és szerkesztésében. Mert ez segíteni fog a cégeknek a gyorsabb haladásban. Ha automatizálni tudják a kódolást, akkor a saját munkájukat jobban és gyorsabban tudják elvégezni, felgyorsítva a fejlődést.

A következő lépés – amit már el is kezdtek – a kutatási folyamat többi részének vizsgálata: ötletelés, kísérletek elemzése, az eredmények kommunikációja és a kutatás minden egyéb része. Megpróbálják kitalálni, hogyan képezhetnének ki MI-ket arra, hogy ezekben is jók legyenek, így az MI-k az egészet önállóan, autonóm módon végezhetnék.

– Amikor azt mondod, hogy „az egészet elvégzik”, mire gondolsz pontosan? – Az Anthropic és az OpenAI különösen arra törekszik, hogy automatizálja saját magát. Szeretnék elérni, hogy ne igazán legyen szükségük többé emberi alkalmazottakra. Csak egy óriási MI-hadseregük lenne, amely éjt nappallá téve végzi ezt az autonóm kutatást, hogy még jobb MI-ket hozzon létre a治 betanításához, élre állítsa őket, hogy azok még jobb MI-ket készíthessenek, és így tovább. 

– És persze mindez nem csak házon belül történik, hanem a külvilággal való interakció során is, igaz? Kimenni a világba, emberekkel beszélni, adatokat gyűjteni, betanítási környezeteket kiépíteni, üzleteket kötni és így tovább. Mindezt automatizálni próbálják. Ennek az az oka, hogy olyan pozícióba akarnak kerülni, ahol az MI-jeik mindenben felülmúlják az embert – ez a szuperintelligencia –, és ezt még a versenytársaik előtt akarják elérni.

Mondanom sem kell, hogy ez elképesztően veszélyes. És amellett, hogy veszélyes, ez egy hatalomátvételi kísérlet is, nem igaz? Mert ha ez sikerül nekik, akkor egy emberfeletti MI-kből álló hadsereg tetején fognak ülni, ami hatalmas befolyást ad nekik a gazdaság minden más szereplőjével szemben. Ha pedig meg tudnak egyezni az elnökkel, és beépítik a hadseregbe vagy bárhova, az az Egyesült Államoknak óriási „kemény hatalmat” (hard power) adna az összes többi országgal szemben.

Nyilván senki sem tudja pontosan, mikor történik meg mindez, de az elmúlt évben történt valami nagyon nyugtalanító számomra. Amikor publikáltuk az AI 2027-et, az emberek általában azon a véleményen voltak, hogy az idővonalaim túl rövidek, és valószínűleg tovább tart majd 2027-nél, mire eljutunk az említett eseményekig.

– Mint a rekurzív önfejlesztés, az MI automatizálja a teljes kutatási folyamatot, szuperintelligencia... Ezek a mérföldkövek 2027-ben történnek meg az AI 2027-ben, ami az általad publikált kutatási anyag.

– Így van. Ez egy forgatókönyv-előrejelzés, ami hónapról hónapra vázol fel egy lehetséges jövőbeli pályát. Amikor elkezdtük írni, ez volt a legpontosabb becslésem arra, mi fog történni a valóságban. Nyilván sok a bizonytalanság, de úgy gondoltam, értékes konkrét becslést tenni, csak hogy lássuk, hogyan nézhet ki.

Amikor ezt írtuk, sok barátom az MI-iparban és a nonprofit szférában azt mondta: „Igen, ezek meg fognak történni, de valószínűleg pár évvel tovább tart majd, mint gondolod.”

Most viszont már inkább 50-50%. Különösen, amikor az Anthropic vagy az OpenAI embereivel beszélek, sokszor azt mondják: „Igen, 2027 – alapvetően ez fog történni, pontosan úgy, ahogy megírtad.”

– Miért változtattad meg korábban az idővonalaidat?

– A háttérhez tartozik, hogy az AI 2027 megírása után egy kicsit konzervatívabbra módosítottam az idővonalaimat. A publikáláskor az 50%-os valószínűségű pontom 2028-ra esett, nem 2027-re. Utána úgy tűnt, a fejlődés kicsit lelassult, ezért 2030-ra módosítottam – ami még mindig jelentheti azt, hogy korábban vagy később történik meg. De most, amikor a cégeknél dolgozókkal beszélek, azt mondják: „Nem fog az olyan sokáig tartani!” Azt mondják, le kell rövidítenem őket, vissza 2027-re vagy 2028-ra. Ez elég nyugtalanító.

Ismétlem, nem tudjuk, mennyi ideig tart, de ez az MI-cégek kinyilvánított terve: megtenni ezt az elképesztően veszélyes dolgot, és úgy vélik, már csak néhány évre vannak tőle.

– Megírtad ezt a jelentést is: „Hogyan néz ki 2026?” Ezt még 2021-ben írtad, és figyelemreméltóan pontos volt, nevet szereztél vele a szakmában. Melyik volt az, amit JD Vance alelnök is elolvasott?

– Azt hiszem, ez volt az, igen.

– Aztán publikáltad az AI 2027-et, amit 2025 áprilisában adtatok ki. Mit jósoltatok ebben? Melyek a legfőbb pontok azok számára, akik még nem olvasták?

– A magas szintű verzió: először automatizálják a kódolást, majd a kutatási folyamat többi részét. Ekkor a fejlődés üteme drámaian felgyorsul, és elérik a szuperintelligenciát. Együttműködnek a kormánnyal – konkrétan az elnökkel és a végrehajtó hatalommal –, amely természetesen ellenőrizni akarja ezt a technológiát, használni akarja Kína legyőzésére, és be akarja építeni a hadseregbe.

Ezen a ponton az MI lényegében már az összes munkát maga végzi. Szuperintelligens, így nagyszerű ötletei vannak arra, hogyan integrálja magát mindenbe, és milyen új technológiákat találjon fel. A versenykényszer és a profitvágy miatt mindenhol bevetik: robotgyárakat épít, amik még több robotot építenek, hogy még több robotgyárat építsenek. Teljesen átalakítja a világot. Aztán egy ponton az MI-knek már elég hatalmuk van ahhoz, hogy ne kelljen többé úgy tenniük, mintha igazodnának hozzánk. Ekkor leállnak az utasítások követésével. Ez az AI 2027 „verseny-végkifejlete”.

Írtunk egy másik elágazást is, a „lassulós végkifejletet”, ami a hatalomkoncentráció problémáit hivatott illusztrálni. Mi van, ha hipotetikusan az igazodási problémákat elég gyorsan sikerül rendezni? Mi van, ha kiderül, hogy két hónapos lassítással rájövünk, hogyan érjük el, hogy az MI-k stabilan azt tegyék, amit akarunk, és azokat az értékeket kövessék, amiket szeretnénk?

Ez az egyik lehetséges ág. Ebben az ágban a folyamat nagyon hasonló: átveszik a munkákat, legyőzik Kínát stb. De ahelyett, hogy az MI-k a végén mindenkit megölnének, létrehoznak egy csodálatos utópiát. Ám ez a csodálatos utópia pontosan olyan lesz, amilyennek azok az emberek akarják, akik az MI-ket irányítják – ami egy nagyon szűk csoportot jelent: az elnököt, néhány vezérigazgatót stb.

(Iratkozz fel a csatornára üzenet)

– Van rá bármi esély szerinted, hogy sosem jutunk el az AGI-hoz? És miben különbözik az AGI a szuperintelligenciától?

– A különbség az, hogy az AGI egy pontatlanabb és gyengébb kifejezés. A szuperintelligencia sokkal pontosabban meghatározott: mindenben jobb a legügyesebb embernél, gyorsabb és olcsóbb. Az AGI az Artificial General Intelligence (Általános Mesterséges Intelligencia) rövidítése, ami olyan MI-t jelent, amely általánosságban képes feladatokat ellátni, nem csak egyetlen specifikus területen.

Érvelhetünk amellett, hogy az AGI-t már elértük. Ha a Claude Code-ot vagy hasonló rendszereket használod, azok rengeteg dologra képesek – szinte olyanok, mint egy kis alkalmazott, akit elküldhetsz feladatokat elvégezni. Nagyon általánosak. De nem maximálisan általánosak, nem tudnak mindent megcsinálni. Ezzel szemben a szuperintelligencia definíció szerint mindent meg tud tenni, amit egy ember, csak jobban.

– És hogyan fedez ez át a robotikával? Mert most hatalmas robotikai bummot látunk. Még mindig vannak olyan fizikai dolgok a való világban, amiket a hús-vér emberek meg tudnak csinálni, mert az MI-k még bent rekedtek a számítógépben.

– Erről úgy szoktak beszélni, hogy a kognitív feladatok terén már elértük a szuperintelligenciát, és utána beszélhetünk a teljes szuperintelligenciáról, ami a fizikai dolgokat is meg tudja csinálni.

– El fogunk jutni oda mindkettővel?

– Szerintem igen. Bár ebben sem lehetünk teljesen biztosak. Kérdezted, lehetséges-e, hogy sosem jutunk el oda? Igen, lehetséges, de nem tartom valószínűnek. Az emberi agyban nincs semmi mágikus: csak egy csomó neuron. Teljesen lehetséges egy digitális rendszer számára, hogy hasonló funkciókat ellásson – pontosan úgy, ahogy egy repülőgép is tud repülni, pont mint egy madár. Nem ugyanúgy repül, mint a madár, de repül. Szóval igen, lehetségesnek tűnik.

– Megírtad ezeket a jelentéseket, dolgozol a következőn, dolgoztál az OpenAI-nál, majd felmondtál, mert aggódtál a folyamatok és az iparág jövője miatt. Többet tudsz, mint én: optimista vagy a jövőt illetően, vagy pesszimista? Rossz helyre tartunk, ha a dolgok nem változnak meg?

– Azt hiszem, rossz helyre tartunk, ha a dolgok nem változnak meg. Nem vagyok ebben 100%-ig biztos, mondjuk 70%-ot mondanék – természetesen rendkívül nehéz jósolni –, de igen, úgy tűnik, a jelenlegi alapértelmezett pálya egy nagyon-nagyon félelmetes hely felé vezet.

– Hogyan küzdesz meg ezzel személyesen és érzelmileg?

– Nehezen. Rendszeresen lehangol, de már annyi éve foglalkozom ezzel, hogy bizonyos szempontból hozzászoktam. Úgy fogalmaznék: hihetetlenül boldog lennék, ha az összes jóslatom tévesnek bizonyulna, és az MI például falba ütközne.

– Azt mondod, rendszeresen lehangol...

– Korábban vidám és optimista emberként ismertek. De 2020-ban az MI-idővonalra vonatkozó becsléseim elkezdtek összeomlani a GPT-3, a skálázási törvényekről szóló tanulmányok és a BioAnchor-jelentés miatt. Néhány esemény 2020-ban meggyőzött arról, hogy ez az egész teljesen reálisan megérkezhet az évtized végére, és az emberiség nyilvánvalóan nincs felkészülve rá. Ez rendkívül félelmetes világ.

– A rekurzív önfejlesztés miatt, ahol az MI-k saját magukat tanítják, kezdjük elveszíteni az uralmat a folyamatok felett.

– Hogy egyértelmű legyen: az MI-k már most is tanítják magukat. Ez inkább a teljes kutatási hurok bezárásáról szól, amikor már mindent ők csinálnak. Jelenleg a betanítási adatok nagy részét MI-k generálják, és a megerősítés (a pozitív és negatív visszacsatolások értékelése) jelentős részét is maga az MI végzi.

– El tudod ezt magyarázni konyhanyelven?

– Fontos, hogy mindenki megértse: a modern MI-rendszerek nem a hagyományos értelemben vett szoftverek. Technikailag szoftverek, de nem kódsorokból állnak. Nem arról van szó, hogy mérnökök leültek és megírták: „ha a felhasználó ezt kérdezi, tedd ezt ennyi lépésben”. Semmi ilyen nincs.

Ehelyett ez egy neurális háló. Gondolj arra, ahogy az agyban a neuronok össze vannak kapcsolva, és jeleket küldenek egymásnak! Az agy idővel megtanulja azokat a mintázatokat, amelyek sikerhez (dopaminlökethez) vezettek, ezek megerősödnek és gyakrabban tüzelnek. A kudarchoz vezető mintázatok (mint a forró tűzhely megérintése) leépülnek. Ennek eredményeképpen az évek során megtanulsz működni a világban, készségeket és világmodelleket sajátítasz el.

A mesterséges neurális hálók ugyanezt csinálják, csak mesterségesen. Kezdetben egy óriási, összegubancolódott tésztakupaccal indulnak, ami véletlenszerűen generált mesterséges kapcsolatokból – úgynevezett paraméterekből – áll. A legnagyobb MI-kben ma már körülbelül 10 billió paraméter van. Kezdetben teljesen használhatatlan: ha adsz neki egy bemenetet, csak zagyvaságot ad ki.

Aztán elkezdik betanítani. Az előtanítással (pre-training) kezdik: rengeteg internetes szöveget táplálnak be. Megmutatják az első szövegrészletet, az MI kiad egy zagyvaságot, majd pozitívan vagy negatívan megerősítik az alapján, mennyire volt pontos a következő szó megjóslásában. Lényegében azt a játékot játssza, hogy „jósold meg a következő szót”.

– Nem így történik ez a csecsemőknél is? Egy idegtudós mondta nekem, hogy a kisgyerekeknek kétszer annyi neurális kapcsolatuk van, mint a felnőtteknek, és a megerősítések során ezek leépülnek...

– Pontosan! Fiatalabb korunkban több útvonalunk van, és a tanulási folyamat során a nem hasznosak leépülnek (pruning), a hasznosak pedig megerősödnek. Az MI-nél ugyanez történik: leépítés és megerősítés egyszerre.

Az előtanítás során megtanítják a szöveg jóslására, ami olyan, mintha megtanítanák olvasni. A véletlenszerű gubanc fokozatosan formát ölt, és hasznos áramkörökké áll össze, amelyek rengeteg tényt és információfeldolgozási készséget tárolnak el.

Ez még csak az első lépés. Utána hasznosabb készségeket tanítanak neki: kódolási feladatok ezreit és millióit dobják elé virtuális környezetben („Itt a kód, futtathatod, módosíthatod, használhatod az internetet, hajrá!”). A sikerek alapján történik a megerősítés – ezért olyan jók most a kódolásban.

– Hogyan néz ki a szuperintelligencia ebben a tekintetben? Csak még több kapcsolatról van szó?

– Különböző MI-modellgenerációk vannak (GPT-3, GPT-4, GPT-5...). Néha a korábbi modellt tanítják tovább, néha pedig teljesen nulláról kezdenek egy új modellt, beleértve az előtanítást is. Az elmúlt években többször kezdtek mindent elölről, és amikor elölről kezdik, az egész mesterséges agyat sokkal nagyobbra építik.

Jelenleg kb. 10 billió paraméternél járunk. 2020-ban ez inkább 175 milliárd volt: hat év alatt két nagyságrendet (százszoros növekedést) léptünk előre. Ez a folyamat folytatódik. Emellett magukat az algoritmusokat is fejlesztik, hatékonyabbá teszik a kapcsolatok szerkezetét és a betanítási adatokat. Szó szerint mesterséges agyakat építünk.

– És ez szó szerint az agy működéséről van mintázva, igaz?

– Erősen az agy ihlette, de nem szabad túlzásba esni az analógiával, sok a különbség is (például a transzformátor-architektúra vagy a backpropagation algoritmus eltér a biológiai működéstől). De nagy vonalakban igen: mesterséges agyakat hozunk létre. Az MI az agynak az, ami a repülőgép a madárnak.

– Ez egy nagyon jó analógia! Segít megérteni a kreativitás kérdését is. Nem az a kérdés, hogy képes-e a „kreativitásra” mint belső folyamatra, hanem hogy képes-e olyan eredményt produkálni, amit mi kreatívnak tartunk.

– Filozofálhatunk azon, hogy ez „valódi” kreativitás-e, de elég csak megnézni, mi mindent érnek el már most, és mennyivel többet fognak elérni a közeljövőben.

– Volt mostanában olyan paradigmaváltó pillanat, ami megváltoztatta a saját mentális modeledet arról, hogyan fog ez kinézni?

– Sajnos a dolgok nagyjából az AI 2027-ben leírt pályán haladnak. Volt néhány meglepetés: a kormány például a vártnál gyorsabban és agresszívabban avatkozott be (például az exportkorlátozásokkal vagy az Anthropic megfenyegetésével a Védelmi Termelési Törvényre hivatkozva).

A másik meglepetés az volt, hogy az Anthropic átvette az első helyet a versenyben az OpenAI-tól.

– Miért gondolod, hogy ez megtörtént? Úgy tűnt, a ChatGPT és az OpenAI behozhatatlan előnyben van, most pedig az Anthropic lekörözte őket.

– Valószínűleg nagyobb náluk a „tehetségsűrűség” (talent density) és jobb a stratégiájuk. Nem sokkal, de épp annyira, hogy az meghozza a különbséget. Kevésbé vannak eleresztve erőforrásokkal és pénzzel, mint az OpenAI, így ha a csupasz erőforrások hiányoznak, a tehetség és a stratégia a legjobb magyarázat.

– Egy barátom, aki ismer néhányat ezek közül az emberek közül, egyszer leültetett Londonban. Igazából többször is mondta már nekem, de emlékszem egy konkrét beszélgetésre, ahol azt állította, hogy ezen MI-cégek vezetői közül páran körülbelül 7%-ra becsülik a kihalás valószínűségét. Nem tudom, miért ez a szám van a fejemben, de úgy rémlik, 10% alatt volt. A lényeg, amit próbált elmagyarázni nekem, az az volt, hogy még ha csak 1% is lenne – mint ahogy most ezen az asztalon lenne 100 gomb, és az egyik elhozná a világvégét –, vajon megmerném-e nyomni bármelyiket is? Nyilván nem nyomnám meg egyiket sem. De ő azzal érvelt, hogy ezek az MI-vezérigazgatók nagyon okosak, értik a szuperintelligenciát, és úgy gondolják, ha most 100 gomb lenne ezen az asztalon, abból talán 10 is elhozhatná a világvégét. Hallottalak már nyilatkozni – azt hiszem, a Daily Show-ban adtál interjút –, ahol azt mondtad, szerinted 70% az esélye annak, hogy a mesterséges intelligencia az emberiség kihalását okozza.

– Nem pontosan emberi kihalást mondanék. Azt mondanám, körülbelül 70% az esélye annak, hogy ez szörnyen sül el, akár az emberiség kihalásához vezetve. De ez csak egy a több lehetőség közül. Szóval igen, alapvetően például meglehet, hogy az MI átveszi az irányítást, de végül nem öl meg mindenkit. Lehet, hogy valami mást csinálnak. Attól még, hogy átvették a hatalmat, nem biztos, hogy végleg elpusztítanak minket – megtehetik, de tehetnek mást is. Ezért nem szoktam konkrétan 70%-os esélyt mondani a tényleges kihalásra, de 70% az esélye egy olyasfajta katasztrófának, mint az MI hatalomátvétele, ami végül emberi kihalást eredményezhet.

– Ebből két gondolatom támadt. Az egyik: te forgódtál ezen vezérigazgatók körül, hiszen Sam Altmannak dolgoztál az OpenAI-nál, mielőtt felmondtál. Szerinted ők maguk úgy gondolják, hogy van esély az emberiség kihalására?

– Igen. De fontos megérteni, hogy az emberek hajlamosak azt hinni, amit hinnie kell ahhoz, hogy jó embernek tartsa magát, és úgy érezze, folytatnia kell, amit csinál. Ez maga a racionalizálás. Úgy gondolom, a tech-vezérek őszintén meggyőzték magukat arról, hogy a dolgok valószínűleg rendben lesznek, és a helyes út az, ha ők egyszerűen folytatják, amit csinálnak. Sam valószínűleg azon gondolkodik, hogy nem hagyhatja Dariót vagy Elont elsőként célba érni. Tudom, hogy Dario ugyanezt gondolja Samről, Elon pedig mindkettejükről. Mindannyian meggyőzték magukat arról, hogy: „Jó, lehet, hogy szörnyen sül el, de valószínűleg rendben leszünk, és a legjobb, ha én vagyok a főnök.”

– Úgy tűnik számomra, hogy az Anthropic az egyetlen olyan cég, amelyik még beszél a kihalás vagy egy katasztrófa lehetőségéről és a valós kockázatokról. Úgy tűnik, ők az egyetlenek, akik még publikálnak ebben a témában, és emiatt sok tekintetben kezdenek a San Franciscó-i tech-iparág ellenségévé válni. Sok interjút nézek, és mindenki Dariót támadja, mert azt mondja: figyeljetek, a dolgok rosszul is elsülhetnek. „Doomernek” (vészmadárnak) hívják, és megkérdőjelezik a szándékait. Még a Mythos esetében is – ami egy Claude-modell, amire figyelmeztetni próbálták a világot – azonnal megtámadták emiatt. Úgy látod, hogy ő ebben a tekintetben kicsit más, mint Sam?

– Igen. Úgy tűnik, az Anthropic és Dario nyitottabbak voltak olyan dolgokat kimondani és megtenni, amelyek – legalábbis az elmúlt évben – üzletileg hátrányosak voltak számukra. Ez egy jó példa rá. Nem hiszem, hogy ezzel jó pontokat szereznek a kormányzatnál vagy a befektetőiknél. Egy még jobb példa a Department of War (Hadügyminisztérium) és az Anthropic közötti vita volt, ami rengeteg pénzükbe és – ami még fontosabb – rengeteg hatalmukba került, pedig simán aláírhattak volna egy szerződést. De tényleg nem szeretnék abban a helyzetben lenni, hogy azon gondolkodunk: „Melyik vezérigazgató a legkevésbé rossz? Támogassuk azt!” Ezen emberek közül egyiknek sem szabadna ekkora hatalmat adni a kezébe. Senkinek sem.

– Visszatérve a gombokra: te úgy véled, hogy ők reális esélyt látnak a kihalásra.

– Igen, de meggyőzték magukat arról, hogy valószínűleg minden rendben lesz, és amúgy is még rosszabb lenne, ha nem ők csinálnák. A cégen belül is ezt mondják az embereknek: „Rendben, de ha mi megállunk, mi lesz a többiekkel? Ők nem fognak megállni.”

– Mindig is ez volt a nyitott kérdésem: hogyan nem alakul ez rosszul, amikor az emberi ösztönzők uralkodnak? Ha megnézed a történelmet, az emberi ösztönzők azt mondják: vesztettél, ha folytatod a fejlesztést, de földrajzi és geopolitikai szempontból akkor is vesztettél, ha leállsz, mert az Egyesült Államok veszít egy másik országgal szemben, vagy ez a cég veszít a másikkal szemben. A tiszta ösztönzőket nézve hogyan érhet ez véget?

– Tovább zakatol előre. Úgy tűnik. Bár van egy reménykeltő figyelmeztetés: ha a világ felébred erre az egészre, akkor komolyabb párbeszéd indulhat a szabályozásokról és a nemzetközi egyezményekről. Ez megváltoztathatja az ösztönzőket. A kormány felléphet, és azt mondhatja: „Íme a szabályok, amelyeket mindannyiótoknak be kell tartania!” És mivel ezek mindenkire érvényes szabályok, többé nem leszel érdekelt a megszegésükben, mert büntetést kapsz, miközben a többiek is betartják őket. Szóval van egy fénysugár, hogy megváltoztathatjuk az ösztönzőket, ha a kormány – különösen az amerikai, de később a többi is – lépéseket tesz. De ez nem fog megtörténni addig, amíg az emberek fel nem ébrednek.

A második dolog, hogy egy adott ponton egyénileg Dario, Sam vagy Elon is ráébredhet arra, hogy a saját érdeküket sem szolgálja a gátlástalan egyoldalú verseny. Ezzel az a baj, hogy ez csak akkor válik nyilvánvalóvá, ha a helyzet már rendkívül súlyos és drámai. Az AI 2027 forgatókönyvben van egy döntési pont: az egyik ágon az MI nincs összhangban az emberi érdekekkel (misaligned), a másikon igen. A döntési pont kiváltó oka az, hogy bizonyítékot látnak arra, hogy az MI ellenük szervezkedik. Ha meglátják ezt a bizonyítékot, rájönnek: „Atyaég, talán nem kellene mindent a kezébe adni és hagyatkozni rá!”, mert a bizonyíték ott van az orruk előtt, hogy megbízhatatlan. De ha nem látnak ilyen egyértelmű bizonyítékot, meg fogják győzni magukat arról, hogy folytatniuk kell. De meglehet, hogy látni fognak ilyen bizonyítékot, és abban az esetben szabályozás nélkül is önként leállhatnak. Ez a második reménysugár. Összességében nem gondolom, hogy végleg el vagyunk ítélve. Mondtam a 70%-ot, de el tudom képzelni azt is, hogy meglehetősen jól alakulnak a dolgok.

Mit tesz az MI a munkahelyekkel?

– Izgatottan várom, hogy áttérjünk az optimistább, pozitívabb jövőképre, de az AI 2027 előrejelzésben mire az emberek elveszítik a munkájukat, már rosszabb dolgok is történnek, vagy addigra már szinte túl késő. De gondoljunk csak bele: ha a cégeknek sikerül felépíteniük a szuperintelligenciát, az definíció szerint szinte az összes munkahelyet át tudja venni, hiszen mindenben jobb, gyorsabb és olcsóbb a legokosabb embernél is. Úgy sejted, a szuperintelligencia 2030 végére érkezhet meg. Mikor kezdhetjük látni a leépítéseket a gazdaságban? Már most látunk egy keveset, de még nem sokat. Miért?

– Mert az MI még nem elég jó. Lenyűgöző, de szinte semmilyen területen nem képes még egy az egyben helyettesíteni egy emberi munkavállalót.

– Szerinted ez hirtelen fog bekövetkezni?

– Szerintem hirtelen, az „intelligencia-robbanás” és a rekurzív önfejlesztés dinamikája miatt. Elképzelhető egy olyan világ, ahol ez fokozatos. Sok sci-fiben így van: az MI fokozatosan javul egy sor dologban, fokozatosan automatizál egy iparágat (például a gyógyszerészetet), aztán a drónirányítást, majd az autóvezetést.

De a valóságban a cégek arra a stratégiára álltak rá, hogy először saját magukat automatizálják – vagyis az MI-kutatási folyamatot. És ha hagyják őket folytatni ezt a stratégiát, nem a robotaxikat, a vízvezeték-szerelő robotokat meg az ügyvéd MI-ket fogjuk először látni a gazdaságban, mert nem erre fókuszálnak. Arra összpontosítanak, hogy saját magukat automatizálják, így gyorsabban tudnak mindent csinálni. Ezt akarják eljuttatni a nagyon magas általános intelligenciaszintre, és csak utána terjesztik ki a gazdaságra.

Mire tehát a különböző munkákért jönne, már hónapok vagy évek óta teljes autonóm MI-kutatás fog folyni, ami azt jelenti, hogy az MI nemcsak az MI-kutatásban lesz messze felülmúlhatatlan, hanem mellékhatásként rengeteg más dologban is. Ez olyan lesz, mint egy hullám, ami átsöpör a gazdaságon, miután belsőleg végrehajtották az intelligencia-robbanást.

– Tehát mivel az MI képes lesz fejleszteni és képezni saját magát, mindenben egyszerre fog fejlődni, majd egyszerre szabadul a világra. Jól értem?

– Nem is teljesen így, mert még ha főleg csak az MI-kutatásban fejlődik is, ennek áthajló hatásai lesznek más készségekre is. Amikor pedig ezekre a többi készségre terelődik a figyelem, rendkívül gyorsan fogja elsajátítani őket.

– Milyen munkák maradnak egy ilyen forgatókönyvben?

– Ez valójában politikai kérdés, nem technikai. Technikai szinten az összes munkát el tudják végezni az MI-k, ha elérik ezt a szintet. Szóval a kérdés az: milyen munkákat engedünk meg nekik, és milyeneket nem?

– Ez attól függ, ki van hatalmon. Politikai párbeszéd alakul majd ki arról, mit engedélyezünk és mit tiltunk meg.

– Ebben a forgatókönyvben az emberek még irányítják őket?

– Attól függ, mit értesz irányítás alatt. Az a kérdés, hogy az MI-knek valóban megvannak-e azok a céljai és értékei, amelyeket elvársz tőlük, és tartósan úgy viselkednek-e a jövőben is, vagy csak arról van szó, hogy egyelőre engedelmeskednek a parancsaidnak?

– Arra gondolok, hogy engedelmeskednek-e a parancsoknak.

– Igen. Még az AI 2027-ben is, abban a szcenárióban, ahol az MI átveszi a hatalmat és mindenkit megöl, van egy többéves időszak, amikor még engedelmeskednek a parancsoknak: elvesznek egyes munkákat, de másokat nem, és segítik a jobb fegyverek gyártását az amerikai kormánynak a Kínával való fegyverkezési versenyben. És azért képesek ilyen gyorsan ekkora hatalomra szert tenni, mert a kormányok és a vállalatok megbíznak bennük, és szándékosan helyezik be őket ezekbe a pozíciókba, mert azt hiszik, minden rendben van. De mivel ezek neurális hálók, nem tudsz csak úgy belenézni a belsejükbe, hogy meglásd, mit gondolnak valójában.

– Ez egy nagyon fontos pont. A szoftverekkel ellentétben – ahol teoretikusan belenézhetünk a kódba – az MI-nél azt mondod, nem tudjuk, miért hozza meg a döntéseit, mert nem látunk bele a belsejébe.

– Egy optimistább megjegyzés: ennek nem feltétlenül kell így lennie. A gépi tanulásnak van egy mechanisztikus értelmezhetőség (mechanistic interpretability) nevű részterülete, ami pont ezt a problémát próbálja megoldani: szétszedni a betanított mesterséges neurális hálókat, és megérteni, hogyan áramlik az információ, hogyan születnek a döntések. A probléma csak az, hogy ez eredendően nehéz feladat. Ha 10 billió kapcsolatot kell megvizsgálnod, megnézhetsz egy adott csoportot, és mondhatod, hogy „oké, ez a kapcsolat így működik”, de hogyan kapsz képet az egészről magas szinten? A válasz az, hogy lehet, hogy lehetetlen, de az emberek dolgoznak rajta. Ha elegendő haladást érnek el, egy teljesen más és sokkal fényesebb világban találjuk magunkat. Sokkal kevésbé lennénk kitéve az irányításvesztési szcenárióknak, ha bármikor láthatnánk, mit, miért és hogyan gondol az MI.

– Egészen őrület belegondolni, hogy olyan technológiát, olyan agyat építünk, amit nem értünk.

– Igen, elég őrült dolog. Mint egy sci-fi filmben, ahol a tudósok körbeállnak egy nagy agyat, táplálják, de nem igazán tudják... Nyilvánvalóan veszélyes dolog, de mégis csináljuk az elmúlt 10 év fejlődése miatt, ahol az emberek úgy voltak vele: „Ó, ez veszélyes! De mi van, ha más csinálja meg rosszul? Ezért inkább nekünk kell megcsinálnunk jól!” Most pedig ebben a versenyben vannak egymással, miközben politikai nyomás alatt állnak, hogy úgy tegyenek, mintha a helyzet nem lenne annyira rossz, mert nem akarják felbőszíteni a befektetőiket vagy a Fehér Házat.

Milyen készségek számítanak majd egy MI-világban?

– Az egyik kulcskérdés a nézőinktől az volt: mely munkák élik túl garantáltan az MI-t, és milyen készségekre kellene a diákoknak és a fiataloknak fókuszálniuk a következő 10 évben?

– Ez kicsit olyan, mintha Mexikóban élnél 1500 körül, és meghallanád, hogy jönnek a konkvisztádorok. Megkérdezheted magadtól, hogy milyen munkára válts, hogy túléld az átmenetet, de sokkal több aggódnivalód van ennél. Ennek ellenére azt mondanám: ha sikerül elkerülnünk az irányításvesztés problémáját, és az emberek kezében marad az ellenőrzés – vagyis az emberek határozhatják meg az MI céljait és értékeit még akkor is, ha az sokkal okosabbá válik náluk és átveszi a gazdaságot –, akkor valószínűleg lesznek olyan szabályozások, amelyek megvédenek bizonyos területeket. Kitalálhatod, melyek lehetnek ezek: esetleg a bírák.

– Mi a helyzet a podcasterekkel? Légy őszinte!

– Valószínűleg a podcasterek nem élik túl. De olyasmik, mint a dajka vagy bébiszitter például... Azt hiszem, még ha van is egy robotdajka, ami rendkívül jó, sok ember inkább egy valódi embert választana, mert feszélyezné őket a robot gondolata. Szóval lehet így is okoskodni. És vannak jogilag védett munkák is, ahol előírhatják, hogy csak ember végezheti, robot nem.

– Egyesek szerint viszont annyi új munkahely fog létrejönni, amit most még el sem tudunk képzelni, akárcsak az ipari forradalom vagy az internetrobbanás idején.

– Ezzel az a probléma, hogy a múltbéli technológiai vívmányok szűkebb körűek voltak: automatizáltak bizonyos dolgokat, de nem mindent. Mi viszont egy olyan hipotetikus jövőbeli helyzetről beszélünk, ahol minden automatizálva lesz. Így nem lesz olyan új munkahely, amit te meg tudnál csinálni, de az MI ne tudná megcsinálni – kivéve, ha azt szabályozás védi.

Jelenleg van egy ciklus: az MI megtanul egy bizonyos dolgot (szöveget írni, kódot vázolni, hibát javítani), az emberek pedig átnyeregnek az MI-k irányítására vagy más olyan feladatokra, amiket az MI még nem tud. Ezért nyíltak meg eddig mindig új munkahelyek. De ha eljutunk arra a pontra, ahol az MI mindent meg tud tenni, amit az ember – jobban, gyorsabban és olcsóbban –, akkor bármilyen új munkára váltanál, az MI arra is át tud váltani, és már alapból jobb lesz benne, mint te.

– Mivel még nem láttunk tömeges munkanélküliséget a gazdaságban, szerinted az emberek kezdenek kissé elkényelmesedni? Sokan mondják a közösségi médiában: „Én megmondtam, hogy minden rendben lesz!” Az amerikai munkanélküliségi ráta stagnál vagy enyhén csökken (kb. 4,2%), az Egyesült Királyságban pedig 5% körül van.

– Igazából senki sem állította, hogy mostanra tömeges munkanélküliség lenne. Mi legalábbis nem ezt mondtuk az AI 2027-ben. A tömeges munkanélküliség csak 2028-ban vagy 2029-ben következik be, miután már kifejlesztették a szuperintelligenciát. A cégeknek nem az a legelső lépésük, hogy tömeges munkanélküliséget okozzanak. Az 1. lépés saját maguk automatizálása; a 2. lépés a rekurzív önfejlesztés a szuperintelligenciáig; a 3. lépés pedig a kiterjesztés a gazdaságra és minden automatizálása.

Ez az emberiség szempontjából nagyon szerencsétlen, mert ha az automatizálás széles körű hulláma fokozatosan menne végig a gazdaságon, az emberek felébrednének, elgondolkodnának azon, hová tart ez az egész, és jó szabályozást követelnének a kormánytól. De a cégek nem ezt a stratégiát követik: először elérik a szuperintelligenciát, és csak utána hajtják végre a széles körű automatizációt – ami azt jelenti, hogy mire ezt elkezdik, a folyamat már nagyon gyorsan fog pörögni, és az MI már rendkívül erős lesz.

– A 2027-es jelentésedben – amit még 2025-ben írtál – azt mondtad, hogy 2025 közepére megjelenik az „autonóm alkalmazott”, vagyis az MI-ágensek, akik a Slacken vagy a Teamsen keresztül fogadnak utasításokat. Ez megtörtént. Nekem is van MI-ágens a WhatsAppomban, akivel beszélgetek. A Claudebot is elterjedt a világban. Azt is írtad, hogy 2026-ra a vállalatok elkezdik egész vállalati részlegek lecserélését MI-ágens előfizetésekre; 2027-re pedig az utolsó munkát is automatizálják: magát az emberi MI-kutatók munkáját, megkezdve a gépi tanulási kutatást a következő generációs MI-k megépítésére.

– Igen. Az idővonalakat illetően bizonytalanok vagyunk, mennyi időbe telt e mérföldkövek elérése. Mire a forgatókönyvet publikáltuk, az én idővonalaim már kicsit kitolódtak: nálam a 50%-os valószínűségi jelölés 2028-ra esett az MI-kutatás teljes automatizálásánál, nem 2027-re, míg a csapatom más tagjainál heller 2030 vagy 2031 volt. Bunu úgy kell elképzelni, mint egy elkent valószínűségi eloszlást: a 50%-os jelölés egy adott évre esik, de nagy a lehetőség arra is, hogy évekkel korábban vagy később következik be.

AI 2040: Hogyan nézhetne ki a jövő?

– Mi az az AI 2040? Az AI 2027 egy legjobb tipp volt arra, hogyan alakulhatnak a dolgok a valóságban.

– Az AI 2040 (A-terv) a mi javaslatunk arra, hogyan kellene alakulniuk a dolgoknak. Azért neveztük el AI 2040-nek, mert ebben a forgatókönyvben csak 2040-ben építik meg a szuperintelligenciát sokkal korábbi időpont helyett, mert elhalasztják.

– Miért halasztják el?

– Hogy kezeljék a kockázatokat, és biztosítsák a hatalom méltányos elosztását. Alapvetően úgy szabályozzák az MI fejlesztését, hogy az továbbra is haladjon, de lassabb, ésszerűbb ütemben, átláthatóbb és biztonságosabb módon, több ország és cég között elosztva. Ennek eredményeként nem mondjuk 2030-ban, hanem 2040-ben érik el a szuperintelligenciát. 

Ezt hívjuk „A-tervnek”, mert ez a mi javaslatunk: kidolgoztunk egy tervet arra, mit kellene tenniük a kormányoknak, ez a forgatókönyv pedig szemlélteti, hogyan nézne ki ennek a megvalósítása – hasonlóan ahhoz, ahogy az AI 2027 azt illusztrálja, mi történik, ha a cégek a jelenlegi terveik szerint haladnak tovább.

– Ez van a fejemben. De vajon ez csak vágyálom, vagy szerinted valóban ez fog megtörténni?

– Nem, határozottan nem gondoljuk, hogy ez fog megtörténni.

– Nem gondolod, hogy ez fog megtörténni?

– Nem. Úgy véljük, a valóságban inkább az előző forgatókönyv valósul meg. Nem számítunk arra, hogy a világ hallgatni fog ránk. Ez a mi javaslatunk, reméljük, hogy az emberek valami hasonlót tesznek majd, és hisszük, hogy ez lehetséges, de alapesetben nem ezt jósoljuk a jövőre nézve.

– Át akarom nézni a lehetséges terveket és az A-tervet is, de még mielőtt rátérnénk arra, hogyan alakulhatnak a dolgok a következő években, szeretném érinteni a robotikát is. Itt van ez a grafikon a munkaerő-kibocsátás arányáról, amit meglehetősen mellbevágónak találtam. Munkáltatóként, aki több száz embert foglalkoztat, azon tűnődöm, mikor fog mindez bekövetkezni. Jelenleg még mindig veszünk fel új embereket, bár bizonyos pozícióknál már jelentősen megváltozott a megközelítésünk. Azt kell mondanom, most abban a fázisban vagyunk, ahol a csatapataink MI-vel támogatottak, és ágenseket használnak a munkájuk egy részéhez. De munkáltatóként felmerül bennem: mikor jön el a nagy fordulat?

– Nagyszerű kérdés! Nagyítsunk rá erre egy kicsit! Ez az AI 2040: A-terv forgatókönyvéből van, ahol jelentős szabályozást vezetnek be 2029-ben, ami lelassítja az MI fejlődésének ütemét. A forgatókönyvben ezt az utolsó pillanatban teszik meg: ha nem lépték volna meg, a fejlődés pontosan úgy lőtt volna ki, mint az AI 2027-ben. Amint látod, még a szabályozás bevezetésekor is rengeteg munkahely létezik ebben a szcenárióban. Ez visszacsatol ahhoz, amit korábban mondtam: ha megvárod, amíg a legtöbb ember elveszíti a munkáját, és csak utána szabályozod az MI-cégeket, akkor már túl késő. Addigra valószínűleg már lesz szuperintelligens MI-jük, mert a stratégiájuk az, hogy először a szuperintelligenciát érik el, és csak utána automatizálnak mindent.

– És azt mondod, hogy az gazdasági összeomláshoz vezetne, és még nagyobb kárt okozna, ha hirtelen szabályoznánk valamit, amire addigra mindannyian és az egész életünk támaszkodik.

– Igen, de ezt a kockázatot nagyon is megéri vállalni! Igaz, hogy jelenleg sokan használják az MI-t sok mindenre, de ha valahogy lassítani vagy szüneteltetni tudnánk az MI fejlesztését most, hogy felépítsünk egy jobb működési modellt, az bőven megérné – még ha jelentős ára is lenne. De abban a pontban már nem teheted meg, ahol az MI és a robotika adja a munkaerő-kibocsátás nagy részét.

– Így van. De ebben az AI 2040: A-terv forgatókönyvben 2029-ben bevezetik a szabályozást, majd lassan és óvatosan fejlesztik az MI-t, elkerülve a problémákat. Így végül – igen, végül – az MI-k átveszik a munkákat. Végül az egész gazdaságot MI-k és robotok működtetik, de ez fokozatosan történik meg a 2030-as évek során, ahelyett, hogy egyetlen év leforgása alatt csapna le egy brutális sokkhatásként. Mert ebben a szcenárióban nem hagyják, hogy a cégek rekurzív önfejlesztéssel a lehető leggyorsabban eljussanak a szuperintelligenciáig. Ehelyett úgy szabályozzák a fejlesztést, hogy az alapképességek ésszerűbb ütemben és átláthatóbb módon fejlődjenek, így a tudományos közösség látja, mi történik, és segíthet a biztonságossá tételében.

– Észrevettem, hogy mindkét forgatókönyvedben végül az MI és a robotika végzi szinte az összes munkát. Ebben egyetértesz Elon Muskkal, aki szerint a munka a jövőben választás kérdése lesz. Mert hát mi történik? Ha definíció szerint mindent meg tud csinálni, akkor mindent meg is fog csinálni.

– Igen. A kérdés inkább az: szabad-e engednünk, hogy olyan MI-k jöjjenek létre, amelyek mindenre képesek? Egyesek szerint a válasz nem: mindent le kellene állítani, és meg kellene akadályozni az ilyen típusú MI-k létrejöttét. Mi valójában meglehetősen szimpatizálunk ezzel a gondolattal.

– Megmutassuk a terveket ábrázoló diagramot?

– Igen, köszönöm! A mi forgatókönyvünk neve AI 2040: A-terv. Ez egy olyan szcenárió, amelyben lelassítják az MI fejlesztését, hogy a szuperintelligencia csak 2040-ben jöjjön létre a korábbi dátumok helyett. Az A-terv a mi hivatalos javaslatunk. Összehasonlításképpen készítettünk mini-forgatókönyveket is, amelyek eltérő alternatív terveket illusztrálnak: ezek az S-terv, B-terv, C-terv és D-terv.

D-terv: Alapvetően ugyanaz, mint ami az AI 2027-ben történik. A verseny folytatódik, alig van szabályozás.

C-terv: Nagyon hasonló az AI 2027 lelassulós végkifejletéhez, ahol megoldják az igazodási (alignment) problémákat. Ebben a verzióban kicsit lelassítanak, több erőforrást csatornáznak át az MI-biztonsági kutatásokra, szerencséjük lesz, sikerrel járnak, majd miután megvannak a biztonságos MI-k, újból felgyorsítanak, átveszik a munkákat, és legyőzik Kínát.

B-terv: Hasonló a C-tervhez, de agresszívabbak Kínával szemben: szabotázst vagy kibertámadásokat vetnek be ellenük, hogy lemaradásban tartsák őket, így több lélegzetvételnyi idő marad az igazodási problémák saját elhárítására.

A-terv: A mi javaslatunk. Belső szabályozás, majd egy nemzetközi megállapodás az MI építésének folytatására, de sokkal jobb és biztonságosabb keretek között.

S-terv (Shutdown): Az egész teljes leállítása. Ha olyan jövőt szeretnél, ahol nem szaladgálnak olyan MI-k, akik mindent jobban és gyorsabban csinálnak az embernél, akkor az S-tervre van szükséged.

– Te mit szeretnél?

– Az A-terv a javaslatunk. Szimpatizálok az S-tervvel is, de az általunk kifejtett okok miatt mégis az A-tervet ajánljuk.

– És őszintén: szerinted melyik a legvalószínűbb?

– A D-terv. Vagyis az, hogy tovább versenyeznek, nem lassítanak le érdemben, és a dolgok rendkívül gyorsan pörögnek fel.

– Vannak gyerekeid?

– Igen, két gyermekem van.

– Ez kicsit szomorú. Úgy értem, így vagy úgy, de mire elérik azt a kort, hogy belépjenek a munkaerőpiacra, ez az egész valószínűleg már lezajlik. Nem hiszem, hogy valaha is belépnek a hagyományos munkaerőpiacra.

– Mit értesz az alatt, hogy „ez az egész lezajlik”?

– Azokra a mérföldkövekre gondolok, amelyeket leírtam: az MI automatizálja az MI-kutatást, szuperintelligenssé válik, berobban a gazdaságba, elveszi a munkákat, robotgyárakat épít, hogy még több robotot és gyárat hozzon létre, a GDP pedig függőlegesen kilő. Ezekre az eseményekre gondolok. Talán van 10-20% esély arra, hogy a technológia falba ütközik, és mindebből semmi sem valósul meg, még akkor sem, ha nem teszünk semmit.

– Hány éves a idősebbik?

– Hat. Kislány.

– Ha a lányod odalép hozzád, és azt kérdezi: „Apu, mit tanuljak az iskolában?”, mit mondasz?

– Ha ezek a radikális átalakulások bekövetkeznek, a világ teljesen máshogy fog kinézni, és az, hogy milyen munkára készíted fel magad, lényegében nem fog számítani. Azt mondanám, hogy egyrészt próbáljunk meg tenni azért, hogy a dolgok jól alakuljanak. Ha bármilyen csekély befolyásod is van a történelemre és arra, hogyan fejlődik ez az egész, keményen kell próbálkoznod, hogy jobb irányba tereld a jövőt. Másrészt személyes szinten arra kell fókuszálni, hogy jó ember légy, és olyan dolgokat csinálj, amelyek önmagukért jók, nem pedig azért, mert felkészítenek egy későbbi elhelyezkedésre – mert az a későbbi elhelyezkedés nagyon bizonytalan.

– Elon Musk a bőség koráról beszél, ami felé haladunk.

– Bőség határozottan lesz. A kérdés az: ki irányítja ezt a bőséget, és mit kezd vele? Bárki irányítja egyáltalán az MI-ket, vagy a saját fejük után mennek? És ha emberek irányítják őket, kik azok, és mit tesznek? Milyen politikai struktúra határozza meg a döntéseiket?

– Azt hiszem, Geoffrey Hinton mondta nekem: nincs példa a természetben arra, hogy egy intelligensebb faj felett egy kevésbé intelligens faj uralkodjon. Ezzel arra utalt, hogy meglehetősen gőgösek vagyunk, ha azt hisszük, egy olyan világban, ahol létezik egy nálam garmadával okosabb mesterséges agy, én fogok neki utasításokat adni.

– Igen, ez a lényeg. Ennek kellene lennie az alapfeltételezésünknek: itt vannak ezek az agyak, nem látjuk pontosan, mit gondolnak, okosabbá tesszük őket nálunknál, rájuk bízunk mindent, aztán testet adunk nekik, ők pedig autonóm módon új gyárakat építenek. Hogyan kellene ennek jól végződnie? Nem pontosan olyan ez, mintha kitenyésztenénk egy új fajt, amelyik aztán kiszorít minket, amint már nincs ránk szüksége? Szerintem ez az alapértelmezett pálya.

Természetesen van egy egész argumentum arról, hogyan térhetnénk le erről az alapértelmezett pályáról. Ott van például az értelmezhetőségi (interpretability) kutatás, amiről korábban beszéltem. Ha az a kutatás beérik, láthatóvá válik, mit gondolnak, ami kiváló eszköz lenne a formálásukhoz, ellenőrzésükhöz és ahhoz, hogy azt tegyék, amit mi akarunk. Vannak más MI-igazodási kutatási agendák is, amelyek haladást érnek el. Ha ezek közül elég sok sikerül, elkerülhetjük ezt a problémát.

A szabályozási oldal is kulcsfontosságú: a nehézséget részben az adja, hogy versenyhelyzetben építjük ezeket az MI-ket. A cégek titkolják a recepteket, nehogy mások lemásolják őket, így a fejlesztések zárt ajtók mögött zajlanak, és csak kevesen látják a betanításhoz használt eljárásokat. És amikor az MI váratlanul vagy kifejezetten károsan viselkedik, az információ gyakran nem jut el a nyilvánossághoz, mert a cégek nem érdekeltek abban, hogy elmeséljék a hibáikat. Ez nem kedvez a tudományos haladásnak. Ha a szabályozási rendszer más lenne, jobb helyzetben lehetnénk, és gyorsabb áttörést érhetnénk el. És persze nem terveznénk azt sem, hogy a lehető leggyorsabban mindent az MI-k irányítása alá helyezzünk, és nem hagynánk nekik a korlátlan önfejlesztést sem. Ezek olyan döntések, amelyeket meghozhatnánk másképp is.

(A reklámblokk eltávolítva)

– Ilia Sutskever az OpenAI egyik vezetője volt, majd távozott, és megalapította a saját cégét, a Safe Super Intelligence-t (Biztonságos Szuperintelligencia) – ami elég érdekes név egy cégnek az OpenAI elhagyása után. Dolgoztál vele együtt?

– Nem dolgoztam vele közvetlenül, de beszélgettem vele pár alkalommal.

– Szerinted ő is őszintén aggódik?

– Szerintem igen. De úgy gondolom, ő is hasonló helyzetben van, mint a többi vezérigazgató. Gondolj bele, milyen ösztönzők hatása alatt állnak! Látják a problémát, de azt mondják: „Jó, de ha leállok, felmondok vagy mást csinálok, az nem oldja meg a problémát, mert a többi vezérigazgató folytatni fogja. És ha mind leállnánk, Kína akkor is folytatná. Úgy tűnik, ez így is, úgy is megtörténik, akár teszek ellene, akár nem. Akkor inkább veszek részt benne, hátha el tudom érni, hogy jól süljön el! És különben sem akarok a hidegben maradni, amíg mások – akikben nem bízom – irányítanak mindent.” Mindannyian végigzongorázzák ezt a gondolatmenetet, és meggyőzik magukat arról, hogy az a helyes lépés, ha ők építik meg, csak jobban. Ilia csak a legújabb példa erre. Elon egy másik példa, Dario egy harmadik. Kezdetben Sam is ilyen volt az OpenAI-nál, bár Elon és Dario is ott voltak az elején.

– Mit kellene tenniük szerinted?

– Nemzetközi vagy legalább hazai szabályozásra lenne szükség, hasonlóan ahhoz, amit az A-tervben leírtunk.

– Végigvezetnél az A-terven?

– Ebben a forgatókönyvben az MI-nek hosszabb időbe telik eljutni a rekurzív önfejlesztésig és az MI-kutatás teljes automatizálásáig, mint az AI 2027-ben. Úgy véljük, érdemes megmutatni a lehetőségek skáláját a bizonytalansági tényezők miatt, így 2030-at választottuk annak a pillanatnak, amikor a teljes automatizáció végül megvalósul, és a dolgok igazán beindulnak.

Visszafelé számolva: mikor van az utolsó pillanat, amikor még jó szabályozást lehet hozni? 2029-ben. Ebben a szcenárióban az MI fejlődése magától is kissé lelassul, a cégek továbbra is versenyeznek, de nem sikerül teljesen automatizálniuk magukat 2027-ben, 2028-ban vagy 2029-ben – bár nagyon közel járnak hozzá, és 2030-ra megtennék. Ekkor, 2029-ben a kormány közbelép és szabályozza őket.

– Milyen szabályozásokat vezetnek be?

– Lényegében ideiglenesen leállítják a fejlesztést.

– Megkérdezhetem, hogyan kapcsolódnak az elnökválasztások az idővonaladhoz? Mert 2028-ban nagy választás lesz az Egyesült Államokban, és úgy tűnik, a közhangulat erősen az MI ellen fordult a nagyközönség körében, így ez az egyik legfontosabb téma lesz a szavazólapokon.

– Úgy gondoljuk, hogy a 2028-as elnökválasztás legfontosabb témája lehet. A legtöbb ember meglehetősen aggódni fog amiatt, hová tartanak a dolgok. Részben ezért ábrázoltuk így a dolgokat ebben a forgatókönyvben: ez magyarázza, miért hozhatnak ilyen szabályozást 2029-ben – mert a szavazók ezt követelték, az elnökjelöltek pedig megígérték.

– Ebben a forgatókönyvben 2027-re a nagyközönség sokkal súlyosabban megérezte volna az MI következményeit, mint most?

– Igen, bár 2029-ben ebben a szcenárióban az emberek többségének még megvan a munkája. Sok munkahelyen ekkorra már MI-ágenseket irányítanak. Említetted, hogy neked is van MI-ágensed: nos, 2029-ben ebben a forgatókönyvben az ágensek sokkal jobbak lesznek, de még mindig nem annyira, hogy mindent teljesen egyedül csináljanak meg. Ez a szint ebben az idővonalban 2030-ban jönne el. (Ismétlem: az idővonalak bizonytalanok, a dolgok gyorsabban is haladhatnak, mint ebben a forgatókönyvben – és szerintem gyorsabban is fognak haladni, de a nagyon gyors szcenáriót már megírtuk, így most egy lassabbat vázoltunk fel.)

Nézzük a fő célokat! A politikusok és a szavazók azt akarják, hogy az MI fejlődése folytatódjon, de lassabb ütemben, hogy biztonságossá lehessen tenni.

1. cél: Lassítás.

2. cél: Átláthatóság növelése, hogy a tudományos közösség felzárkózhasson, és ne kelljen elhinni a cégek bemondásos alapon tett ígéreteit a biztonságról vagy az elfogultság-mentességről.

3. cél: A hatalomkoncentráció elkerülése. Kifejezetten jó, ha több MI-cég létezik több különböző országban hasonlóan fejlett képességekkel, és az MI széles körben elterjed a társadalomban, ahelyett, hogy egyetlen megaprojekt kezében összpontosulna az összes legjobb MI. És a nagyszerű dolog az, hogy ezt alapértelmezésben megkapod, ha az első két dolgot megteszed: a lassítás és az átláthatóság lélegzetvételnyi időt hagy más projekteknek a felzárkózásra.

4. cél: Visszafordíthatóság. A forgatókönyvben rengeteg adatközpontot és robotot építünk fel. A világ átalakul, bár lassabb ütemben. Ha a dolgok elromlanak, a megállapodás felbomlik, és mindenki újra versenyezni kezd a szuperintelligenciáért, az nagyon félelmetes lenne. Ezért a negyedik elv: az új adatközpontokat úgy kell megépíteni, hogy ha minden felbomlik és újra indul a hajsza, az újonnan épült adatközpontok megsemmisüljenek, így visszatérünk a nullponthoz ahelyett, hogy egy még veszélyesebb versenyben találnánk magunkat.

Ha érdekel, végigvezethetlek az idővonalon.

– Persze!

– Az elnök beszél Kína és más országok vezetőivel, és azt mondja: „Alapvetően leállítjuk az MI-fejlesztést, amíg ki nem találunk egy tervet ezen célok elérésére.” Ellenőröket küldenek egymás adatközpontjaiba: kínai ellenőrök jönnek az amerikai adatközpontokba, amerikaiak mennek Kínába, és ellenőrzik, hogy csak következtetést (inference) végeznek, nem pedig tanítást (training).

Új MI-k fejlesztése tanítással jár. A meglévő MI-k futtatása a felhasználók kiszolgálására viszont a következtetés. A megoldás, amire jutnak: engedélyezik a következtetést, de a tanítást leállítják, amíg az új adatközpontok el nem készülnek. Átalakítják a meglévő adatközpontokat a futtatásra: az emberek továbbra is beszélhetnek az MI-ágenseikkel, de azok nem fognak tovább fejlődni fél-egy évig, amíg megépítik az új, átlátható adatközpontokat, ahol a tanítás fog folyni. Amint ezek az új adatközpontok elkészülnek 2030-ban, az MI-kutatás folytatódik.

Ez a rész kicsit kényes: mi teljes kutatási átláthatóságot javaslunk, ami azt jelenti, hogy az új modelleket betanító adatközpontoknak mindent publikálniuk kell – a tanítási recepteket, az architektúrát, mindent. Ez a fajta nyílt tudomány elengedhetetlen az igazodási probléma gyors megoldásához, mert nem akarhatjuk, hogy az elfelfogult cégek döntsenek arról, biztonságosak-e az MI-k. Emellett a jó szabályozáshoz is kell, mert jelenleg a szakértelem a Szilícium-völgyben összpontosul, míg a kormányok nem igazán értik az MI-t.

Képzelj el egy alternatívát: a teljes átláthatóság helyett lenne egy auditori rendszer, ahol a kormány megadja a szabályokat, az ügynökség pedig bemegy a cégekhez ellenőrizni azokat. Ez egy ellenérdekelt dinamikát hoz létre, ahol a cég abban érdekelt, hogy átverje a szabályozót, és ha felfedeznek egy új problémát, ami még nincs a kormány radarján, érdekeltek lesznek abban, hogy elhallgassák. A teljes átláthatóság segít a kormánynak gyorsabban jobb döntéseket hozni, de megöli a cégek versenyelőnyét.

– Igen, a Dropbox ezt nem fogja szeretni, és az OpenAI sem. Ez valószínűleg rossz lenne a cégértékeléseknek.

Az mesterségesintelligencia-ipar rémisztő nyílt titka jelenleg az, hogy meglehet, a végén lényegében egy új fajt hozunk létre, amely átveszi a hatalmat a világ felett – és 70% az esélye annak, hogy ez szörnyen sül el, akár az emberiség kihalásához vezetve.

Ez az egyik lehetőség, de sok más is létezik. – Elég ijesztő, amiket mondasz. – Igen, engem is lehangol néha. A feleségemnek konkrétan azt mondtam, hogy ne legyen több gyerekünk, mert túl nagy a bizonytalanság, és kétlem, hogy valaha is belépnének a munkaerőpiacra. Mindegyikünknek félnie kellene attól, hogy elveszíti a munkáját. Ezt onnan tudom, hogy 2022-ben az OpenAI-nál dolgoztam, ahol a feladatom a következő néhány év előrejelzése volt. Sajnos a világ nagy része még mindig alva vezet, és nem igazán fogja fel, mi történik az MI-vel. Úgyhogy felmondtam.

– Valahol azt olvastam, hogy 2 millió dollártól estél el, mert nem voltál hajlandó aláírni egy cégkritikát tiltó nyilatkozatot. – Így van, de ennek a részleteibe szívesen bemegyek. A legfontosabb viszont az, amit megtanultam: amikor elmegyek az Anthropic vagy az OpenAI szakembereivel beszélni az előrejelzésekről, ők azt mondják: „Nem fog az olyan sokáig tartani. Rövidítsd le a jóslatokat 2027-re vagy 2028-ra!” Mert ezek a befolyásos cégvezetők – Dario, Sam vagy Elon – egymással versenyeznek a leghatékonyabb MI feletti ellenőrzésért. Szó szerint attól rettegnek, hogy ha a másik ér oda előbb, akkor diktátorrá válhat. Az Anthropic jó úton halad afelé, hogy 2030-ra a teljes gazdaságot lefedje. Viszont ezen emberek közül egyiknek sem szabadna ekkora hatalmat adni a kezébe.

Ez a legfontosabb dolog, ami az életünkben – sőt, valószínűleg az egész történelemben – történik, és kulcsfontosságú, hogy jól alakuljon. Szerintem sokat tehetünk azért, hogy jobb irányba tereljük a dolgokat. Rengeteg előnye lehet az MI-nek, ha jól csináljuk, és ha megoldjuk a felmerülő problémákat, a dolgok mindenki számára fantasztikusan alakulhatnak.

– Nos, ez a 2021-es jelentés itt rendkívül pontos volt. És most publikáltad ezt az újat. – Igen, ez az új szcenáriónk. – Menjünk végig rajtuk lassan, egyesével. – Hihetetlenül boldog lennék, ha az összes jóslatom tévesnek bizonyulna.

(A műsorvezető üzenete a nézőknek) Ez szuper érdekes számomra. A csapatom odaadta ezt a kimutatást, ami megmutatja, hányan iratkoztak fel azok közül, akik nézik a műsort. Sokan mondtátok, hogy a rendszer néha magától leiratkoztat benneteket. Ezért egy szívességet szeretnék kérni tőletek: kérlek, ellenőrizzétek most, hogy megnyomtátok-e a feliratkozás gombot, ha rendszeres nézői vagytok a műsornak, és tetszik, amit csinálunk. Egy meglehetősen jelentős mérföldkőhöz közeledünk a csatorna életében a feliratkozószám tekintetében. Ha van egyetlen egyszerű, ingyenes dolog, amivel segíthettek nekünk és a csapatnak abban, hogy a műsor továbbra is ingyenes maradjon, és hétről hétre, évről évre fejlődjön, az az, ha megnyomjátok – vagy ellenőrzitek – a feliratkozás gombot. Ez az egyetlen dolog, amit valaha kérek tőletek. Áll az alkud? Cserébe én hétről hétre, hónapról hónapra egyre keményebben fogok küzdeni azért, hogy elhozzam nektek azokat a vendégeket és beszélgetéseket, akiket hallani szeretnétek. Ehhez az ígéretemhez a csatorna kezdete óta tartom magam, és nem foglak titeket cserbenhagyni. Kérlek, segítsetek nekünk, nagyon értékeljük! És most folytassuk a műsort!

Miért érinthet mindenkit az MI küldetése?

– Daniel Kokotajlo, mi a legfőbb küldetésed, és miért? – Mit tennél, ha úgy gondolnád, hogy néhány éven belül megérkezik a szuperintelligencia? – Valószínűleg attól függne, hogy mik lennének a következményei. – Beszéljünk róla! Szuperintelligencia alatt olyan MI-t értünk, amely mindenben jobb a legokosabb embernél is, miközben gyorsabb és olcsóbb. Képes olyan robotokat irányítani, amelyek a fizikai világban mindent meg tudnak tenni, amire az ember képes – csak jobban, gyorsabban és olcsóbban. Ha ez tényleg megérkezik néhány éven belül, akkor fel kell készülnünk, és át kell gondolnunk, hogyan érhetjük el, hogy ez jól süljön el ahelyett, hogy katasztrófába torkollna. Szóval ez a válaszom: a tőlem telhető legjobban ezen dolgozom.

– Szóval hiszed, hogy ez néhány éven belül eljön? – Igen. – Honnan vagy ebben ilyen biztos? – Rengeteg időt töltök az ilyen dolgok előrejelzésével. A medián becslésem – amire 50% esélyt látok – jelenleg 2029. Esetleg előrejön 2028-ra. Előfordulhat, hogy lényegesen tovább tart, mondjuk 10 évig vagy ilyesmi, de olyan okokból, amikre szívesen kitérek, úgy tűnik számomra, hogy az évtized végére valószínűleg bekövetkezik. De a közelség érzésénél is fontosabb a tendenciák üteme.

Az Anthropic tavaly ilyenkor körülbelül egymilliárd dolláros éves bevételt termelt, most pedig körülbelül 60 milliárdot. Ez hatvanszoros növekedés egyetlen év alatt, ami még egy egészen kicsi startup esetében is rendkívül lenyűgöző lenne, de egy ekkora cégcsoportnál valószínűleg a történelem leggyorsabb növekedése. Arra számítunk, hogy ez a növekedési ütem lelassul, de még ha jelentősen le is lassul, akkor is jó úton haladnak afelé, hogy 2030 körülre lényegében ők jelentsék a teljes gazdaságot.

Miért kellene az átlagembernek törődnie az MI-vel?

– Miért kellene, hogy ez érdekelje az átlagembert? – A lényeg az, hogy abszolút minden meg fog változni az egész világon, beleértve őket és a családjukat is. Változhat jobbra és változhat rosszabbá is, attól függően, hogyan hajtjuk ezt végre.

Például mindannyian meghalhatunk. Ez a klasszikus „irányításvesztési” szcenárió egyik verziója. Ha megépítjük ezeket a szuperintelligenciákat, és velük automatizáljuk az összes munkát, betesszük őket a hadseregbe, tőlük kérnek tanácsot a politikusok, akkor végül akkora valós hatalmat halmoznak majd fel, hogy többé nem lesz szükségük az emberekre. Okosabbak nálunk, jobb a stratégiai érzékük stb. Ezen a ponton már csak reménykedhetünk abban, hogy erényesek, és hogy megőrizték azokat a célokat és értékeket, amelyeket szántunk nekik.

És a mesterségesintelligencia-ipar rémisztő nyílt titka jelenleg az, hogy ez most még csak egy jámbor remény. Egyáltalán nem lehetünk biztosak benne. Sőt, rengeteg bizonyíték és érv mutat arra, hogy nem jó úton haladunk ennek elérésére. A jelenlegi MI-k például gyakran hazudnak az embereknek, vagy ha megmondod nekik, hogy csináljanak valamit, csinálnak valami teljesen mást, majd úgy tesznek, mintha jól csinálták volna. Szóval eredendően nehéz feladat valami olyat létrehozni, ami szuperintelligens, és közben megvannak benne azok az értékek és erények, amelyeket elvársz tőle. És nem úgy tűnik, hogy jó úton haladnánk a probléma megoldása felé. Ráadásul ez egy olyan típusú problémának tűnik, amiről azt hiheted, hogy megoldottad, miközben valójában nem. Ez az egyik fő oka annak, miért olyan ijesztő ez az egész.

Mindezek miatt meglehet, hogy a végén lényegében egy új fajt hozunk létre, amely átveszi a hatalmat a világ felett helyettünk. És aztán esetleg úgy járunk, mint a múltban más kihalt fajok, amelyeket az ember kiszorított. Ez az egyik lehetőség, de van még sok más is.

Még ha nem is aggódsz emiatt, és azt gondolod, hogy az MI teljes mértékben ellenőrzés alatt tartható, ott a kérdés: ki irányítja az MI-t? Amikor van pár vállalat, amely megépítette ezeket a szuperintelligenciákat, és az összes munkahely automatizálására használja őket, nos, az hatalmas hatalom. Óriási pénz és óriási politikai befolyás. Náluk lesznek a legjobb stratégák, a legjobb tanácsadók, katonai téren gyorsabban fognak gondolkodni – azok az országok, amelyek birtokolják ezeket az MI-ket, teljesen fel fogják söpörni a padlót az összes többi országgal.

Maguk az MI-k egyfajta központi vezérlőrendszert alkotnak. Az Anthropic vezérigazgatója, Dario alkotta meg a „zsenik országa az adatközpontban” kifejezést arra, amit megpróbálnak felépíteni. Szerintem ez egy kicsit félrevezető. Pontosabb lenne úgy leírni, mint „zsenik hadserege az adatközpontban”, mert ez nem úgy néz ki, mintha sokféle, különféle MI élne az adatközpont különböző részein. Mindegyik ugyanannak a nagy modellnek a másolata, a cég tulajdonában vannak, így mind a cég parancsait követik. Az embereknek fel kellene tenniük a kérdést: ki irányítja ezt a hadsereget vagy ezeket a hadseregeket, és mit fognak velük csinálni? Nagyon könnyen kiköthetünk egy olyan helyzetben, ahol az emberek egy egészen apró csoportja lényegében oligarchává vagy diktátorrá válik.

És ironikus módon mindkét kockázaton – az irányítás elvesztésén és a hatalom koncentrációján – már évtizedek óta gondolkodnak az iparágban dolgozók. Még az MI-ipar létezése előtt az erről gondolkodók már beszéltek és írtak ezekről a dolgokról. A DeepMind, az OpenAI és az Anthropic alapítási narratívájának vagy mítoszának része volt az, hogy „ezek a problémák valósak, ezért nekünk kell elsőként odaérnünk, hogy felelősségteljesen tudjuk kezelni őket”. Szerintem ez a két fő ok.

De folytathatnám, van még rengeteg más indok is. Ott van például a geopolitikai konfliktusok kérdése. Ha az MI valóban hihetetlenül hatékonnyá válik, az meg fogja változtatni a nemzetek közötti erőviszonyokat. Ez rengeteg mindent felborít, ami általánosságban is növeli a válságok kockázatát.

És mi lesz a munkákkal? Elveszíted a taxisofőri állásodat – de nem csak a taxisofőr, hanem szinte mindenki. Lehet néhány kivétel, például azok a munkák, amelyeket jogi okokból csak emberek végezhetnek, de nagyrészt mindenkinek félnie kellene attól, hogy elveszíti a munkáját, még akkor is, ha az összes többi problémát sikerül elkerülnünk.

Túlreagálnak az MI-szakértők, vagy vészharangot kongatnak?

– Ez a narratíva elkezdett kibontakozni, és már több olyan interjúm is volt ebben a műsorban, ahol olyan emberekkel beszélgettem, akik nagyon-nagyon megrémültek és szoronganak az MI miatt – pedig olyanokról van szó, akik néha már évtizedek óta ebben az iparágban dolgoznak. Ugyanakkor feltűnt a szembejövő ellennarratíva is, miszerint ez csak „módszeres riogatás” (doomerizmus), és ezek az emberek bármilyen okból csak rá akarnak ijeszteni a társadalomra, miközben nem is értik igazán, miről beszélnek. Hogyan válaszolsz erre az ellennarratívára? Biztosan te is láttad ennek a megjelenését, különösen azok részéről, akiknek – merem állítani – érdekük fűződik hozzá.

– Így van, pontosan. Ez az ellennarratíva meglehetősen új keletű, és azok terjesztik, akiknek érdekük származik belőle – és nem igaz. Ezek az aggodalmak már évtizedek óta jelen vannak, mielőtt az MI-ipar egyáltalán létezett volna. Valójában teljesen ésszerű felvetések. Ha komolyan vesszük a cégek szavait, és elképzeljük, hogy valóban felépítik a szuperintelligenciát, az rengeteg kérdést vet fel: Ki fogja irányítani? Fogja egyáltalán bárki irányítani? Mi lesz a munkahelyekkel? Ezek teljesen kézenfekvő következmények, amiken gondolkodni és aggódni lehet.

– Ki vagy te, és mi a történeted? – A nevem Dan Kokotajlo. Jelenleg az AI Futures Projectet vezetem, ami egy kis nonprofit szervezet, és főként az MI jövőjének előrejelzésére összpontosít. Ezt megelőzően az OpenAI-nál dolgoztam.

– MI-előrejelzéssel foglalkoztál? – Igen. Gondolj arra, ahogy a fedezeti alapoknak dolgozó iparági elemzők készítenek előrejelzéseket – például arról, hogy hány autót fog eladni a Tesla 5 év múlva, vagy mennyi lesz a villamos energia ára 2 év múlva. Ez az előrejelzés. Én is ezt csináltam, csak kifejezetten az MI-re fókuszálva. Azért csináltam, mert hihetetlenül fontos látni, hová tart mindez.

Miért csatlakozott az OpenAI-hoz – és mit látott odabent?

– Miért mentél az OpenAI-hoz, mit csináltál ott, mit tapasztaltál, és ez hogyan változtatta meg a szemléletedet az MI jövőjével, valamint az OpenAI-val mint céggel kapcsolatban? Azok kedvéért, akik nem tudnák: az OpenAI az a cég, amelyik a ChatGPT-t létrehozta.

– 2022-ben mentem az OpenAI-hoz. A munkám nagy része továbbra is előrejelzés volt. Az „AI 2027” egy olyan szcenárió, amiről talán már hallottál – én ezeknek a kisebb, belső használatra szánt változatait készítettem el a cégen belüli terjesztésre, amikben leírtam néhány tippet arról, hogyan nézhet ki a következő pár év. Emellett a veszélyes képességek értékelésén is dolgoztam: megpróbáltuk mérni az MI kibertérbeli képességeit, meggyőzőerejét vagy helyzetfelismerését. Egy rövid ideig tagja voltam egy fejlesztőcsapatnak is, ahol megerősítéses tanulással (reinforcement learning) hoztunk létre ágenseket.

Az MI valóban sokat fejlődik – és erről tudnék többet is mondani: a skálázási törvények (scaling laws), a mély neurális hálók... A nagyobb adathalmazokon betanított, nagyobb modellek hatékonyabbá és kompetensebbé válnak ezekben a feladatokban.

Ugyanakkor egyre inkább kiábrándultam az MI-iparágból. Az OpenAI, az Anthropic és a DeepMind mind rendelkezett azzal az alapítói narratívával, hogy „Igen, ezek a kockázatok valósak, de mi átgondoltuk őket, és megpróbáljuk felelősségteljesen kezelni a dolgot. Ezért fontos, hogy folytassuk, amit csinálunk.” Én pedig egyre inkább úgy láttam, hogy ezek csak racionalizálások a saját tetteik megideologizálására, semmint a tényleges viselkedésüket mélyen irányító elvek. És amikor választani kell, a saját érdekeiket és ösztönzőiket fogják követni ahelyett, hogy azt tennék, ami valóban jó.

– Tehát ott voltál az OpenAI-nál, és elkezdted azt hinni, hogy a kereskedelmi ösztönzőket követik a társadalmi felelősségvállalás helyett, amire eredetileg felesküdtek?

– Némiképp. Bár én nem feltétlenül „kereskedelmi” ösztönzőként írnám le, inkább hatalomkeresési ösztönzőként. Igaz, hogy a cégeknek nagyon fontos a sok pénz keresése, de különösen a cégek legfelső szintjén – a vezetők – megértik, hogy ez többről szól, mint csupán pénzről.

Ismertek azok az e-mailek, amelyek Elon Musk és az OpenAI közötti perben kerültek napvilágra. Egy csomó e-mail nyilvánosságra került abban a perben, amelyeket el lehet olvasni. Néhányukban az OpenAI alapítói még 2017 körül arról beszéltek, hogy az OpenAI megalapításának az volt az oka, hogy aggódtak: Demis (a DeepMind vezetője) a Google-nél diktátorrá válik az általános mesterséges intelligenciával (AGI). Már akkor is nyilvánvaló volt számukra, hogy ez többről szól, mint a pénzről.

Ezek a befolyásos cégvezetők szó szerint attól rettegnek, hogy ha a másik ér oda előbb, ő válhat diktátormódon egyeduralkodóvá. Nem bíznak egymásban. És ezért száguldanak, amilyen gyorsan csak tudnak, hogy úgymond ők legyenek azok, akik először célba érnek.

– Találkoztál Sam Altmannal? – Igen. – És ez formálta a véleményedet az ő motivációiról, vagy arról, miért teszi, amit tesz? Mert rengeteg a találgatás a szándékaival kapcsolatban. A legújabb narratívája szerint mindent „az emberiség javáért” tesz. – Szerintem a legfontosabb dolog, amit megtanultam, az az, hogy nem szabad odafigyelni a narratívákra. Amit az egyik embernek mondanak, az teljesen eltér attól, amit egy másiknak mondanak ugyanabban az időben. Amit pedig a nyilvánosság előtt mondanak, az egy harmadik dolog. Szerintem az embereket a tetteik, és nem a szavaik alapján kell megítélni.

Miért hagyta ott az OpenAI-t?

– És miért nem vagy már az OpenAI-nál? – nagyrészt amiatt az ok miatt, amit említettem: fokozatosan kiábrándultam abból, hogyan fog viselkedni a cég.

Például amikor 2022-ben csatlakoztam, a kollégáim körében – legalábbis azokkal, akikkel beszéltem – volt egy általános közhangulat: „Természetesen nem építenénk meg a szuperintelligenciát a lehető leghamarabb. Amint igazán közel érünk – amint eljutunk olyan MI-kig, amelyek esetleg automatizálni tudják az MI-kutatási folyamatot –, megállunk, és kitaláljuk, hogyan tehetjük biztonságossá. Mert mi vagyunk a jófiúk, és nyilvánvalóan ez a biztonságos lépés ahelyett, hogy teljes gőzzel előre rohannánk. De aggódunk mások miatt, akik esetleg nem állnának meg – a versenytársaink miatt, mint például a Google. Ezért kell az élen járnunk, hogy meglegyen a mozgásterünk a biztonsági intézkedések megtételére.”

Ez volt egyfajta átlagos álláspont a kollégák között, akikkel ott-tartózkodásom elején beszéltem – beleértve a vezetőket, mint Samet is. Aztán mire eljöttem, már úgy voltam vele: „Ember, ezek dehogy fognak megállni!” Parciálisan azért is, mert a téma átpolitizálódott, a cég nagyobb lett és nagyobb górcső alá került, az emberek pedig elkezdték kérdezgetni: „Miért csináljátok ezt egyáltalán, ha ennyire kockázatos?” Így átváltottak egy olyan narratívára, hogy „Igazából nem is olyan kockázatos ez.” Szóval úgy tűnik, nagyjából olyan gyorsan haladnak tovább, ahogy csak tudnak, és remélik, hogy menet közben majd kitalálják a megoldásokat.

– Hogyan ért véget az időszakod az OpenAI-nál? – 2024-ben mondtam fel. Volt egy jó kis búcsúbulim. – Milyen indokokat adtál meg a felmondáskor? – Úgy gondoltam, hogy túl sokat racionalizálunk, és többet kellene gondolkodnunk azon, mi lenne ténylegesen jó a világnak. Munkatársként nagyobb szabadságot akartam a publikálásra. Az OpenAI ahogy nagyobb céggé vált, úgy alakult át egy normális tech vállalattá – saját érdekekkel, PR-osztállyal és hasonlókkal –, így egyre nehezebbé vált publikálni az olyan típusú kutatásokat, amiket én csináltam. Például azokat a forgatókönyveket, amiket említettem, nem engedték publikálni, csak belső használatra maradhattak. Szerintem ez kár volt, mert jelenleg a világ nagy része alva vezet, nem igazán fogja fel, mi történik az MI-vel, és nem látja, mi várható a csőben pár év múlva. A cégek pedig nem igazán érdekeltek abban, hogy erről sokat beszéljenek a nyilvánosságnak. Mondanak ugyan néha homályos dolgokat hype-os stílusban, de például azt a szcenáriót már nem akarták, hogy publikáljam, ami vázolta volna: „Így alakulhatnak a dolgok a valóságban.”

Milyen volt az OpenAI-nál a ChatGPT indulásakor?

– Nagyon kíváncsi vagyok, milyen egy ilyen cégnél lenni, amikor kiadják például a ChatGPT-3-at. Akkor ott voltál, igaz? – Ühüm. – Ez volt az a pillanat, amikor az egész világ felfigyelt, és ráébredt, hogy ez a technológia mennyire erős. És társadalmi szinten elkezdődött a párbeszéd. A cég pedig szupergyorsan elkezdett növekedni – gyorsabban, mint ahogy azt bárki elképzelhette volna. Milyen volt ez odabent? Mit láttál megváltozni ebben az időszakban?

– Emlékszem egy céges megbeszélésre, ahol Ilia – Ilia Sutskever, aki akkoriban a kutatási vezető volt – valami ilyesmit mondott: „Rendben, most már a világ elkezdett odafigyelni. A következő egy évben mindegyikőtök a legnépszerűbb ember lesz minden buliban. Ne szálljon a fejetekbe! A küldetésre fókuszáljatok: meg kell építenünk az AGI-t!” A cég rengeteget nőtt. Amikor beléptem, már akkor sem igazán érződött nonprofit szervezetnek, de mire eljöttem, végképp nem úgy festett. Rengeteg új ember érkezett. Ironikus módon a szuperintelligenciáról és annak következményeiről szóló beszélgetések mennyisége az idő előrehaladtával inkább csökkent e növekedés miatt. Mivel a cég megduplázódott, majd újra megduplázódott, és még egyszer megduplázódott, mindezek az új emberek a tech szektor más területeiről érkeztek, nem igazán gondolkodtak még ezeken a dolgokon, és a magas fizetések vonzották őket.

A 2 millió dolláros titoktartási nyilatkozat körüli vita

– Elveszítettél 2 millió dollárt, mert nem voltál hajlandó aláírni egy cégkritikát tiltó nyilatkozatot, ami azt jelentette volna, hogy nem bírálhatod a céget. – Nos... a végén megtarthattam a pénzt. – Ó, megtarthattad? – Úgy történt, hogy miután eljöttem, elbúcsúztam stb., megkaptam a kilépési papírokat, és volt benne ez a záradék, ami alapvetően azt mondta: bele kell egyezned, hogy soha többé nem kritizálod a céget. És egy másik záradék is, miszerint erről senkinek sem beszélhetsz. Gondoltam, ez elég merész egy olyan nonprofit szervezettől, amelynek állítólag az egész emberiség javát kellene szolgálnia. Így nem írtam alá.

Ha pedig nem írod alá, nem tarthatod meg a részvényeidet. A fizetésed egy része készpénz, a másik része pedig alapvetően részvény. De volt ez a pont a szerződésben, hogy visszavonhatják a részvényeidet, ha nem írod alá ezt a papírt. A feleségemmel nagyon felindultak voltunk emiatt. Egy-két hónapig beszélgettünk róla, ügyvédekkel konzultáltunk, majd végül úgy döntöttünk, hogy megtagadjuk az aláírást – ami azt jelentette, hogy elveszítünk 2 millió dollárt.

– Ami akkoriban a vagyonotok mintegy 80%-a volt. – Így van. Szerencsére nem úgy alakult, ahogy vártuk. Lényegében felrobbant az internet. Amikor az emberek meghallották, hogy ezt megtettük és nemet mondtunk, hatalmas skandalum lett belőle. A cég alkalmazottai elkezdtek kérdéseket feltenni a Slacken és a vezetésnél: „Várj, tessék? Miért vennétek el a részvényeinket? Mi ez az egész?” Mert sokan korábban nem igazán figyeltek fel erre. Suttogtak róla, de nem olyan dolog volt, amit a legtöbb alkalmazott tudott volna.

Így visszakozniuk kellett, és azt mondták: „Nem számít, nem számít, megváltoztatjuk a papírokat, megtarthatjátok a részvényeket, minden rendben.” Sam Altman pedig előállt, és azt mondta: szégyelli, hogy nem tudott erről...

– Nem hiszel neki? – Nem, szerintem valószínűleg tudott róla. Ha pedig ő maga nem is, a hozzá közel álló emberek – például a vezető jogásza – biztosan.

– Miért döntöttél úgy, hogy elutasítod a 2 millió dollárt? A legtöbb ember elfogadta volna. – Szerintem ez igaz, a legtöbb ember elfogadta volna, és a legtöbben el is fogadták. A pénz jó dolog, de nem ez az egyetlen dolog a világon. Néha jó dolog elvi alapon kiállni valami mellett.

Gyorsabban jön a teljes MI-automatizálás, mint gondolnánk?

Folyamatosan emlegetem a szuperintelligenciát. Talán többet kellene mondanom azokról az eseményekről és lépésekről, amiket a cégek terveznek.

Jelenleg a kódolás automatizálására összpontosítanak. Fogják az MI-jeiket, nagyobbá teszik őket, hosszabb ideig tanítják őket, és a képzést kifejezetten arra hegyezik ki, hogy jók legyenek a kódok önálló megírásában és szerkesztésében. Mert ez segíteni fog a cégeknek a gyorsabb haladásban. Ha automatizálni tudják a kódolást, akkor a saját munkájukat jobban és gyorsabban tudják elvégezni, felgyorsítva a fejlődést.

A következő lépés – amit már el is kezdtek – a kutatási folyamat többi részének vizsgálata: ötletelés, kísérletek elemzése, az eredmények kommunikációja és a kutatás minden egyéb része. Megpróbálják kitalálni, hogyan képezhetnének ki MI-ket arra, hogy ezekben is jók legyenek, így az MI-k az egészet önállóan, autonóm módon végezhetnék.

– Amikor azt mondod, hogy „az egészet elvégzik”, mire gondolsz pontosan? – Az Anthropic és az OpenAI különösen arra törekszik, hogy automatizálja saját magát. Szeretnék elérni, hogy ne igazán legyen szükségük többé emberi alkalmazottakra. Csak egy óriási MI-hadseregük lenne, amely éjt nappallá téve végzi ezt az autonóm kutatást, hogy még jobb MI-ket hozzon létre a治 betanításához, élre állítsa őket, hogy azok még jobb MI-ket készíthessenek, és így tovább. 

– És persze mindez nem csak házon belül történik, hanem a külvilággal való interakció során is, igaz? Kimenni a világba, emberekkel beszélni, adatokat gyűjteni, betanítási környezeteket kiépíteni, üzleteket kötni és így tovább. Mindezt automatizálni próbálják. Ennek az az oka, hogy olyan pozícióba akarnak kerülni, ahol az MI-jeik mindenben felülmúlják az embert – ez a szuperintelligencia –, és ezt még a versenytársaik előtt akarják elérni.

Mondanom sem kell, hogy ez elképesztően veszélyes. És amellett, hogy veszélyes, ez egy hatalomátvételi kísérlet is, nem igaz? Mert ha ez sikerül nekik, akkor egy emberfeletti MI-kből álló hadsereg tetején fognak ülni, ami hatalmas befolyást ad nekik a gazdaság minden más szereplőjével szemben. Ha pedig meg tudnak egyezni az elnökkel, és beépítik a hadseregbe vagy bárhova, az az Egyesült Államoknak óriási „kemény hatalmat” (hard power) adna az összes többi országgal szemben.

Nyilván senki sem tudja pontosan, mikor történik meg mindez, de az elmúlt évben történt valami nagyon nyugtalanító számomra. Amikor publikáltuk az AI 2027-et, az emberek általában azon a véleményen voltak, hogy az idővonalaim túl rövidek, és valószínűleg tovább tart majd 2027-nél, mire eljutunk az említett eseményekig.

– Mint a rekurzív önfejlesztés, az MI automatizálja a teljes kutatási folyamatot, szuperintelligencia... Ezek a mérföldkövek 2027-ben történnek meg az AI 2027-ben, ami az általad publikált kutatási anyag.

– Így van. Ez egy forgatókönyv-előrejelzés, ami hónapról hónapra vázol fel egy lehetséges jövőbeli pályát. Amikor elkezdtük írni, ez volt a legpontosabb becslésem arra, mi fog történni a valóságban. Nyilván sok a bizonytalanság, de úgy gondoltam, értékes konkrét becslést tenni, csak hogy lássuk, hogyan nézhet ki.

Amikor ezt írtuk, sok barátom az MI-iparban és a nonprofit szférában azt mondta: „Igen, ezek meg fognak történni, de valószínűleg pár évvel tovább tart majd, mint gondolod.”

Most viszont már inkább 50-50%. Különösen, amikor az Anthropic vagy az OpenAI embereivel beszélek, sokszor azt mondják: „Igen, 2027 – alapvetően ez fog történni, pontosan úgy, ahogy megírtad.”

– Miért változtattad meg korábban az idővonalaidat?

– A háttérhez tartozik, hogy az AI 2027 megírása után egy kicsit konzervatívabbra módosítottam az idővonalaimat. A publikáláskor az 50%-os valószínűségű pontom 2028-ra esett, nem 2027-re. Utána úgy tűnt, a fejlődés kicsit lelassult, ezért 2030-ra módosítottam – ami még mindig jelentheti azt, hogy korábban vagy később történik meg. De most, amikor a cégeknél dolgozókkal beszélek, azt mondják: „Nem fog az olyan sokáig tartani!” Azt mondják, le kell rövidítenem őket, vissza 2027-re vagy 2028-ra. Ez elég nyugtalanító.

Ismétlem, nem tudjuk, mennyi ideig tart, de ez az MI-cégek kinyilvánított terve: megtenni ezt az elképesztően veszélyes dolgot, és úgy vélik, már csak néhány évre vannak tőle.

– Megírtad ezt a jelentést is: „Hogyan néz ki 2026?” Ezt még 2021-ben írtad, és figyelemreméltóan pontos volt, nevet szereztél vele a szakmában. Melyik volt az, amit JD Vance alelnök is elolvasott?

– Azt hiszem, ez volt az, igen.

– Aztán publikáltad az AI 2027-et, amit 2025 áprilisában adtatok ki. Mit jósoltatok ebben? Melyek a legfőbb pontok azok számára, akik még nem olvasták?

– A magas szintű verzió: először automatizálják a kódolást, majd a kutatási folyamat többi részét. Ekkor a fejlődés üteme drámaian felgyorsul, és elérik a szuperintelligenciát. Együttműködnek a kormánnyal – konkrétan az elnökkel és a végrehajtó hatalommal –, amely természetesen ellenőrizni akarja ezt a technológiát, használni akarja Kína legyőzésére, és be akarja építeni a hadseregbe.

Ezen a ponton az MI lényegében már az összes munkát maga végzi. Szuperintelligens, így nagyszerű ötletei vannak arra, hogyan integrálja magát mindenbe, és milyen új technológiákat találjon fel. A versenykényszer és a profitvágy miatt mindenhol bevetik: robotgyárakat épít, amik még több robotot építenek, hogy még több robotgyárat építsenek. Teljesen átalakítja a világot. Aztán egy ponton az MI-knek már elég hatalmuk van ahhoz, hogy ne kelljen többé úgy tenniük, mintha igazodnának hozzánk. Ekkor leállnak az utasítások követésével. Ez az AI 2027 „verseny-végkifejlete”.

Írtunk egy másik elágazást is, a „lassulós végkifejletet”, ami a hatalomkoncentráció problémáit hivatott illusztrálni. Mi van, ha hipotetikusan az igazodási problémákat elég gyorsan sikerül rendezni? Mi van, ha kiderül, hogy két hónapos lassítással rájövünk, hogyan érjük el, hogy az MI-k stabilan azt tegyék, amit akarunk, és azokat az értékeket kövessék, amiket szeretnénk?

Ez az egyik lehetséges ág. Ebben az ágban a folyamat nagyon hasonló: átveszik a munkákat, legyőzik Kínát stb. De ahelyett, hogy az MI-k a végén mindenkit megölnének, létrehoznak egy csodálatos utópiát. Ám ez a csodálatos utópia pontosan olyan lesz, amilyennek azok az emberek akarják, akik az MI-ket irányítják – ami egy nagyon szűk csoportot jelent: az elnököt, néhány vezérigazgatót stb.

(Iratkozz fel a csatornára üzenet)

– Van rá bármi esély szerinted, hogy sosem jutunk el az AGI-hoz? És miben különbözik az AGI a szuperintelligenciától?

– A különbség az, hogy az AGI egy pontatlanabb és gyengébb kifejezés. A szuperintelligencia sokkal pontosabban meghatározott: mindenben jobb a legügyesebb embernél, gyorsabb és olcsóbb. Az AGI az Artificial General Intelligence (Általános Mesterséges Intelligencia) rövidítése, ami olyan MI-t jelent, amely általánosságban képes feladatokat ellátni, nem csak egyetlen specifikus területen.

Érvelhetünk amellett, hogy az AGI-t már elértük. Ha a Claude Code-ot vagy hasonló rendszereket használod, azok rengeteg dologra képesek – szinte olyanok, mint egy kis alkalmazott, akit elküldhetsz feladatokat elvégezni. Nagyon általánosak. De nem maximálisan általánosak, nem tudnak mindent megcsinálni. Ezzel szemben a szuperintelligencia definíció szerint mindent meg tud tenni, amit egy ember, csak jobban.

– És hogyan fedez ez át a robotikával? Mert most hatalmas robotikai bummot látunk. Még mindig vannak olyan fizikai dolgok a való világban, amiket a hús-vér emberek meg tudnak csinálni, mert az MI-k még bent rekedtek a számítógépben.

– Erről úgy szoktak beszélni, hogy a kognitív feladatok terén már elértük a szuperintelligenciát, és utána beszélhetünk a teljes szuperintelligenciáról, ami a fizikai dolgokat is meg tudja csinálni.

– El fogunk jutni oda mindkettővel?

– Szerintem igen. Bár ebben sem lehetünk teljesen biztosak. Kérdezted, lehetséges-e, hogy sosem jutunk el oda? Igen, lehetséges, de nem tartom valószínűnek. Az emberi agyban nincs semmi mágikus: csak egy csomó neuron. Teljesen lehetséges egy digitális rendszer számára, hogy hasonló funkciókat ellásson – pontosan úgy, ahogy egy repülőgép is tud repülni, pont mint egy madár. Nem ugyanúgy repül, mint a madár, de repül. Szóval igen, lehetségesnek tűnik.

– Megírtad ezeket a jelentéseket, dolgozol a következőn, dolgoztál az OpenAI-nál, majd felmondtál, mert aggódtál a folyamatok és az iparág jövője miatt. Többet tudsz, mint én: optimista vagy a jövőt illetően, vagy pesszimista? Rossz helyre tartunk, ha a dolgok nem változnak meg?

– Azt hiszem, rossz helyre tartunk, ha a dolgok nem változnak meg. Nem vagyok ebben 100%-ig biztos, mondjuk 70%-ot mondanék – természetesen rendkívül nehéz jósolni –, de igen, úgy tűnik, a jelenlegi alapértelmezett pálya egy nagyon-nagyon félelmetes hely felé vezet.

– Hogyan küzdesz meg ezzel személyesen és érzelmileg?

– Nehezen. Rendszeresen lehangol, de már annyi éve foglalkozom ezzel, hogy bizonyos szempontból hozzászoktam. Úgy fogalmaznék: hihetetlenül boldog lennék, ha az összes jóslatom tévesnek bizonyulna, és az MI például falba ütközne.

– Azt mondod, rendszeresen lehangol...

– Korábban vidám és optimista emberként ismertek. De 2020-ban az MI-idővonalra vonatkozó becsléseim elkezdtek összeomlani a GPT-3, a skálázási törvényekről szóló tanulmányok és a BioAnchor-jelentés miatt. Néhány esemény 2020-ban meggyőzött arról, hogy ez az egész teljesen reálisan megérkezhet az évtized végére, és az emberiség nyilvánvalóan nincs felkészülve rá. Ez rendkívül félelmetes világ.

– A rekurzív önfejlesztés miatt, ahol az MI-k saját magukat tanítják, kezdjük elveszíteni az uralmat a folyamatok felett.

– Hogy egyértelmű legyen: az MI-k már most is tanítják magukat. Ez inkább a teljes kutatási hurok bezárásáról szól, amikor már mindent ők csinálnak. Jelenleg a betanítási adatok nagy részét MI-k generálják, és a megerősítés (a pozitív és negatív visszacsatolások értékelése) jelentős részét is maga az MI végzi.

– El tudod ezt magyarázni konyhanyelven?

– Fontos, hogy mindenki megértse: a modern MI-rendszerek nem a hagyományos értelemben vett szoftverek. Technikailag szoftverek, de nem kódsorokból állnak. Nem arról van szó, hogy mérnökök leültek és megírták: „ha a felhasználó ezt kérdezi, tedd ezt ennyi lépésben”. Semmi ilyen nincs.

Ehelyett ez egy neurális háló. Gondolj arra, ahogy az agyban a neuronok össze vannak kapcsolva, és jeleket küldenek egymásnak! Az agy idővel megtanulja azokat a mintázatokat, amelyek sikerhez (dopaminlökethez) vezettek, ezek megerősödnek és gyakrabban tüzelnek. A kudarchoz vezető mintázatok (mint a forró tűzhely megérintése) leépülnek. Ennek eredményeképpen az évek során megtanulsz működni a világban, készségeket és világmodelleket sajátítasz el.

A mesterséges neurális hálók ugyanezt csinálják, csak mesterségesen. Kezdetben egy óriási, összegubancolódott tésztakupaccal indulnak, ami véletlenszerűen generált mesterséges kapcsolatokból – úgynevezett paraméterekből – áll. A legnagyobb MI-kben ma már körülbelül 10 billió paraméter van. Kezdetben teljesen használhatatlan: ha adsz neki egy bemenetet, csak zagyvaságot ad ki.

Aztán elkezdik betanítani. Az előtanítással (pre-training) kezdik: rengeteg internetes szöveget táplálnak be. Megmutatják az első szövegrészletet, az MI kiad egy zagyvaságot, majd pozitívan vagy negatívan megerősítik az alapján, mennyire volt pontos a következő szó megjóslásában. Lényegében azt a játékot játssza, hogy „jósold meg a következő szót”.

– Nem így történik ez a csecsemőknél is? Egy idegtudós mondta nekem, hogy a kisgyerekeknek kétszer annyi neurális kapcsolatuk van, mint a felnőtteknek, és a megerősítések során ezek leépülnek...

– Pontosan! Fiatalabb korunkban több útvonalunk van, és a tanulási folyamat során a nem hasznosak leépülnek (pruning), a hasznosak pedig megerősödnek. Az MI-nél ugyanez történik: leépítés és megerősítés egyszerre.

Az előtanítás során megtanítják a szöveg jóslására, ami olyan, mintha megtanítanák olvasni. A véletlenszerű gubanc fokozatosan formát ölt, és hasznos áramkörökké áll össze, amelyek rengeteg tényt és információfeldolgozási készséget tárolnak el.

Ez még csak az első lépés. Utána hasznosabb készségeket tanítanak neki: kódolási feladatok ezreit és millióit dobják elé virtuális környezetben („Itt a kód, futtathatod, módosíthatod, használhatod az internetet, hajrá!”). A sikerek alapján történik a megerősítés – ezért olyan jók most a kódolásban.

– Hogyan néz ki a szuperintelligencia ebben a tekintetben? Csak még több kapcsolatról van szó?

– Különböző MI-modellgenerációk vannak (GPT-3, GPT-4, GPT-5...). Néha a korábbi modellt tanítják tovább, néha pedig teljesen nulláról kezdenek egy új modellt, beleértve az előtanítást is. Az elmúlt években többször kezdtek mindent elölről, és amikor elölről kezdik, az egész mesterséges agyat sokkal nagyobbra építik.

Jelenleg kb. 10 billió paraméternél járunk. 2020-ban ez inkább 175 milliárd volt: hat év alatt két nagyságrendet (százszoros növekedést) léptünk előre. Ez a folyamat folytatódik. Emellett magukat az algoritmusokat is fejlesztik, hatékonyabbá teszik a kapcsolatok szerkezetét és a betanítási adatokat. Szó szerint mesterséges agyakat építünk.

– És ez szó szerint az agy működéséről van mintázva, igaz?

– Erősen az agy ihlette, de nem szabad túlzásba esni az analógiával, sok a különbség is (például a transzformátor-architektúra vagy a backpropagation algoritmus eltér a biológiai működéstől). De nagy vonalakban igen: mesterséges agyakat hozunk létre. Az MI az agynak az, ami a repülőgép a madárnak.

– Ez egy nagyon jó analógia! Segít megérteni a kreativitás kérdését is. Nem az a kérdés, hogy képes-e a „kreativitásra” mint belső folyamatra, hanem hogy képes-e olyan eredményt produkálni, amit mi kreatívnak tartunk.

– Filozofálhatunk azon, hogy ez „valódi” kreativitás-e, de elég csak megnézni, mi mindent érnek el már most, és mennyivel többet fognak elérni a közeljövőben.

– Volt mostanában olyan paradigmaváltó pillanat, ami megváltoztatta a saját mentális modeledet arról, hogyan fog ez kinézni?

– Sajnos a dolgok nagyjából az AI 2027-ben leírt pályán haladnak. Volt néhány meglepetés: a kormány például a vártnál gyorsabban és agresszívabban avatkozott be (például az exportkorlátozásokkal vagy az Anthropic megfenyegetésével a Védelmi Termelési Törvényre hivatkozva).

A másik meglepetés az volt, hogy az Anthropic átvette az első helyet a versenyben az OpenAI-tól.

– Miért gondolod, hogy ez megtörtént? Úgy tűnt, a ChatGPT és az OpenAI behozhatatlan előnyben van, most pedig az Anthropic lekörözte őket.

– Valószínűleg nagyobb náluk a „tehetségsűrűség” (talent density) és jobb a stratégiájuk. Nem sokkal, de épp annyira, hogy az meghozza a különbséget. Kevésbé vannak eleresztve erőforrásokkal és pénzzel, mint az OpenAI, így ha a csupasz erőforrások hiányoznak, a tehetség és a stratégia a legjobb magyarázat.

– Egy barátom, aki ismer néhányat ezek közül az emberek közül, egyszer leültetett Londonban. Igazából többször is mondta már nekem, de emlékszem egy konkrét beszélgetésre, ahol azt állította, hogy ezen MI-cégek vezetői közül páran körülbelül 7%-ra becsülik a kihalás valószínűségét. Nem tudom, miért ez a szám van a fejemben, de úgy rémlik, 10% alatt volt. A lényeg, amit próbált elmagyarázni nekem, az az volt, hogy még ha csak 1% is lenne – mint ahogy most ezen az asztalon lenne 100 gomb, és az egyik elhozná a világvégét –, vajon megmerném-e nyomni bármelyiket is? Nyilván nem nyomnám meg egyiket sem. De ő azzal érvelt, hogy ezek az MI-vezérigazgatók nagyon okosak, értik a szuperintelligenciát, és úgy gondolják, ha most 100 gomb lenne ezen az asztalon, abból talán 10 is elhozhatná a világvégét. Hallottalak már nyilatkozni – azt hiszem, a Daily Show-ban adtál interjút –, ahol azt mondtad, szerinted 70% az esélye annak, hogy a mesterséges intelligencia az emberiség kihalását okozza.

– Nem pontosan emberi kihalást mondanék. Azt mondanám, körülbelül 70% az esélye annak, hogy ez szörnyen sül el, akár az emberiség kihalásához vezetve. De ez csak egy a több lehetőség közül. Szóval igen, alapvetően például meglehet, hogy az MI átveszi az irányítást, de végül nem öl meg mindenkit. Lehet, hogy valami mást csinálnak. Attól még, hogy átvették a hatalmat, nem biztos, hogy végleg elpusztítanak minket – megtehetik, de tehetnek mást is. Ezért nem szoktam konkrétan 70%-os esélyt mondani a tényleges kihalásra, de 70% az esélye egy olyasfajta katasztrófának, mint az MI hatalomátvétele, ami végül emberi kihalást eredményezhet.

– Ebből két gondolatom támadt. Az egyik: te forgódtál ezen vezérigazgatók körül, hiszen Sam Altmannak dolgoztál az OpenAI-nál, mielőtt felmondtál. Szerinted ők maguk úgy gondolják, hogy van esély az emberiség kihalására?

– Igen. De fontos megérteni, hogy az emberek hajlamosak azt hinni, amit hinnie kell ahhoz, hogy jó embernek tartsa magát, és úgy érezze, folytatnia kell, amit csinál. Ez maga a racionalizálás. Úgy gondolom, a tech-vezérek őszintén meggyőzték magukat arról, hogy a dolgok valószínűleg rendben lesznek, és a helyes út az, ha ők egyszerűen folytatják, amit csinálnak. Sam valószínűleg azon gondolkodik, hogy nem hagyhatja Dariót vagy Elont elsőként célba érni. Tudom, hogy Dario ugyanezt gondolja Samről, Elon pedig mindkettejükről. Mindannyian meggyőzték magukat arról, hogy: „Jó, lehet, hogy szörnyen sül el, de valószínűleg rendben leszünk, és a legjobb, ha én vagyok a főnök.”

– Úgy tűnik számomra, hogy az Anthropic az egyetlen olyan cég, amelyik még beszél a kihalás vagy egy katasztrófa lehetőségéről és a valós kockázatokról. Úgy tűnik, ők az egyetlenek, akik még publikálnak ebben a témában, és emiatt sok tekintetben kezdenek a San Franciscó-i tech-iparág ellenségévé válni. Sok interjút nézek, és mindenki Dariót támadja, mert azt mondja: figyeljetek, a dolgok rosszul is elsülhetnek. „Doomernek” (vészmadárnak) hívják, és megkérdőjelezik a szándékait. Még a Mythos esetében is – ami egy Claude-modell, amire figyelmeztetni próbálták a világot – azonnal megtámadták emiatt. Úgy látod, hogy ő ebben a tekintetben kicsit más, mint Sam?

– Igen. Úgy tűnik, az Anthropic és Dario nyitottabbak voltak olyan dolgokat kimondani és megtenni, amelyek – legalábbis az elmúlt évben – üzletileg hátrányosak voltak számukra. Ez egy jó példa rá. Nem hiszem, hogy ezzel jó pontokat szereznek a kormányzatnál vagy a befektetőiknél. Egy még jobb példa a Department of War (Hadügyminisztérium) és az Anthropic közötti vita volt, ami rengeteg pénzükbe és – ami még fontosabb – rengeteg hatalmukba került, pedig simán aláírhattak volna egy szerződést. De tényleg nem szeretnék abban a helyzetben lenni, hogy azon gondolkodunk: „Melyik vezérigazgató a legkevésbé rossz? Támogassuk azt!” Ezen emberek közül egyiknek sem szabadna ekkora hatalmat adni a kezébe. Senkinek sem.

– Visszatérve a gombokra: te úgy véled, hogy ők reális esélyt látnak a kihalásra.

– Igen, de meggyőzték magukat arról, hogy valószínűleg minden rendben lesz, és amúgy is még rosszabb lenne, ha nem ők csinálnák. A cégen belül is ezt mondják az embereknek: „Rendben, de ha mi megállunk, mi lesz a többiekkel? Ők nem fognak megállni.”

– Mindig is ez volt a nyitott kérdésem: hogyan nem alakul ez rosszul, amikor az emberi ösztönzők uralkodnak? Ha megnézed a történelmet, az emberi ösztönzők azt mondják: vesztettél, ha folytatod a fejlesztést, de földrajzi és geopolitikai szempontból akkor is vesztettél, ha leállsz, mert az Egyesült Államok veszít egy másik országgal szemben, vagy ez a cég veszít a másikkal szemben. A tiszta ösztönzőket nézve hogyan érhet ez véget?

– Tovább zakatol előre. Úgy tűnik. Bár van egy reménykeltő figyelmeztetés: ha a világ felébred erre az egészre, akkor komolyabb párbeszéd indulhat a szabályozásokról és a nemzetközi egyezményekről. Ez megváltoztathatja az ösztönzőket. A kormány felléphet, és azt mondhatja: „Íme a szabályok, amelyeket mindannyiótoknak be kell tartania!” És mivel ezek mindenkire érvényes szabályok, többé nem leszel érdekelt a megszegésükben, mert büntetést kapsz, miközben a többiek is betartják őket. Szóval van egy fénysugár, hogy megváltoztathatjuk az ösztönzőket, ha a kormány – különösen az amerikai, de később a többi is – lépéseket tesz. De ez nem fog megtörténni addig, amíg az emberek fel nem ébrednek.

A második dolog, hogy egy adott ponton egyénileg Dario, Sam vagy Elon is ráébredhet arra, hogy a saját érdeküket sem szolgálja a gátlástalan egyoldalú verseny. Ezzel az a baj, hogy ez csak akkor válik nyilvánvalóvá, ha a helyzet már rendkívül súlyos és drámai. Az AI 2027 forgatókönyvben van egy döntési pont: az egyik ágon az MI nincs összhangban az emberi érdekekkel (misaligned), a másikon igen. A döntési pont kiváltó oka az, hogy bizonyítékot látnak arra, hogy az MI ellenük szervezkedik. Ha meglátják ezt a bizonyítékot, rájönnek: „Atyaég, talán nem kellene mindent a kezébe adni és hagyatkozni rá!”, mert a bizonyíték ott van az orruk előtt, hogy megbízhatatlan. De ha nem látnak ilyen egyértelmű bizonyítékot, meg fogják győzni magukat arról, hogy folytatniuk kell. De meglehet, hogy látni fognak ilyen bizonyítékot, és abban az esetben szabályozás nélkül is önként leállhatnak. Ez a második reménysugár. Összességében nem gondolom, hogy végleg el vagyunk ítélve. Mondtam a 70%-ot, de el tudom képzelni azt is, hogy meglehetősen jól alakulnak a dolgok.

Mit tesz az MI a munkahelyekkel?

– Izgatottan várom, hogy áttérjünk az optimistább, pozitívabb jövőképre, de az AI 2027 előrejelzésben mire az emberek elveszítik a munkájukat, már rosszabb dolgok is történnek, vagy addigra már szinte túl késő. De gondoljunk csak bele: ha a cégeknek sikerül felépíteniük a szuperintelligenciát, az definíció szerint szinte az összes munkahelyet át tudja venni, hiszen mindenben jobb, gyorsabb és olcsóbb a legokosabb embernél is. Úgy sejted, a szuperintelligencia 2030 végére érkezhet meg. Mikor kezdhetjük látni a leépítéseket a gazdaságban? Már most látunk egy keveset, de még nem sokat. Miért?

– Mert az MI még nem elég jó. Lenyűgöző, de szinte semmilyen területen nem képes még egy az egyben helyettesíteni egy emberi munkavállalót.

– Szerinted ez hirtelen fog bekövetkezni?

– Szerintem hirtelen, az „intelligencia-robbanás” és a rekurzív önfejlesztés dinamikája miatt. Elképzelhető egy olyan világ, ahol ez fokozatos. Sok sci-fiben így van: az MI fokozatosan javul egy sor dologban, fokozatosan automatizál egy iparágat (például a gyógyszerészetet), aztán a drónirányítást, majd az autóvezetést.

De a valóságban a cégek arra a stratégiára álltak rá, hogy először saját magukat automatizálják – vagyis az MI-kutatási folyamatot. És ha hagyják őket folytatni ezt a stratégiát, nem a robotaxikat, a vízvezeték-szerelő robotokat meg az ügyvéd MI-ket fogjuk először látni a gazdaságban, mert nem erre fókuszálnak. Arra összpontosítanak, hogy saját magukat automatizálják, így gyorsabban tudnak mindent csinálni. Ezt akarják eljuttatni a nagyon magas általános intelligenciaszintre, és csak utána terjesztik ki a gazdaságra.

Mire tehát a különböző munkákért jönne, már hónapok vagy évek óta teljes autonóm MI-kutatás fog folyni, ami azt jelenti, hogy az MI nemcsak az MI-kutatásban lesz messze felülmúlhatatlan, hanem mellékhatásként rengeteg más dologban is. Ez olyan lesz, mint egy hullám, ami átsöpör a gazdaságon, miután belsőleg végrehajtották az intelligencia-robbanást.

– Tehát mivel az MI képes lesz fejleszteni és képezni saját magát, mindenben egyszerre fog fejlődni, majd egyszerre szabadul a világra. Jól értem?

– Nem is teljesen így, mert még ha főleg csak az MI-kutatásban fejlődik is, ennek áthajló hatásai lesznek más készségekre is. Amikor pedig ezekre a többi készségre terelődik a figyelem, rendkívül gyorsan fogja elsajátítani őket.

– Milyen munkák maradnak egy ilyen forgatókönyvben?

– Ez valójában politikai kérdés, nem technikai. Technikai szinten az összes munkát el tudják végezni az MI-k, ha elérik ezt a szintet. Szóval a kérdés az: milyen munkákat engedünk meg nekik, és milyeneket nem?

– Ez attól függ, ki van hatalmon. Politikai párbeszéd alakul majd ki arról, mit engedélyezünk és mit tiltunk meg.

– Ebben a forgatókönyvben az emberek még irányítják őket?

– Attól függ, mit értesz irányítás alatt. Az a kérdés, hogy az MI-knek valóban megvannak-e azok a céljai és értékei, amelyeket elvársz tőlük, és tartósan úgy viselkednek-e a jövőben is, vagy csak arról van szó, hogy egyelőre engedelmeskednek a parancsaidnak?

– Arra gondolok, hogy engedelmeskednek-e a parancsoknak.

– Igen. Még az AI 2027-ben is, abban a szcenárióban, ahol az MI átveszi a hatalmat és mindenkit megöl, van egy többéves időszak, amikor még engedelmeskednek a parancsoknak: elvesznek egyes munkákat, de másokat nem, és segítik a jobb fegyverek gyártását az amerikai kormánynak a Kínával való fegyverkezési versenyben. És azért képesek ilyen gyorsan ekkora hatalomra szert tenni, mert a kormányok és a vállalatok megbíznak bennük, és szándékosan helyezik be őket ezekbe a pozíciókba, mert azt hiszik, minden rendben van. De mivel ezek neurális hálók, nem tudsz csak úgy belenézni a belsejükbe, hogy meglásd, mit gondolnak valójában.

– Ez egy nagyon fontos pont. A szoftverekkel ellentétben – ahol teoretikusan belenézhetünk a kódba – az MI-nél azt mondod, nem tudjuk, miért hozza meg a döntéseit, mert nem látunk bele a belsejébe.

– Egy optimistább megjegyzés: ennek nem feltétlenül kell így lennie. A gépi tanulásnak van egy mechanisztikus értelmezhetőség (mechanistic interpretability) nevű részterülete, ami pont ezt a problémát próbálja megoldani: szétszedni a betanított mesterséges neurális hálókat, és megérteni, hogyan áramlik az információ, hogyan születnek a döntések. A probléma csak az, hogy ez eredendően nehéz feladat. Ha 10 billió kapcsolatot kell megvizsgálnod, megnézhetsz egy adott csoportot, és mondhatod, hogy „oké, ez a kapcsolat így működik”, de hogyan kapsz képet az egészről magas szinten? A válasz az, hogy lehet, hogy lehetetlen, de az emberek dolgoznak rajta. Ha elegendő haladást érnek el, egy teljesen más és sokkal fényesebb világban találjuk magunkat. Sokkal kevésbé lennénk kitéve az irányításvesztési szcenárióknak, ha bármikor láthatnánk, mit, miért és hogyan gondol az MI.

– Egészen őrület belegondolni, hogy olyan technológiát, olyan agyat építünk, amit nem értünk.

– Igen, elég őrült dolog. Mint egy sci-fi filmben, ahol a tudósok körbeállnak egy nagy agyat, táplálják, de nem igazán tudják... Nyilvánvalóan veszélyes dolog, de mégis csináljuk az elmúlt 10 év fejlődése miatt, ahol az emberek úgy voltak vele: „Ó, ez veszélyes! De mi van, ha más csinálja meg rosszul? Ezért inkább nekünk kell megcsinálnunk jól!” Most pedig ebben a versenyben vannak egymással, miközben politikai nyomás alatt állnak, hogy úgy tegyenek, mintha a helyzet nem lenne annyira rossz, mert nem akarják felbőszíteni a befektetőiket vagy a Fehér Házat.

Milyen készségek számítanak majd egy MI-világban?

– Az egyik kulcskérdés a nézőinktől az volt: mely munkák élik túl garantáltan az MI-t, és milyen készségekre kellene a diákoknak és a fiataloknak fókuszálniuk a következő 10 évben?

– Ez kicsit olyan, mintha Mexikóban élnél 1500 körül, és meghallanád, hogy jönnek a konkvisztádorok. Megkérdezheted magadtól, hogy milyen munkára válts, hogy túléld az átmenetet, de sokkal több aggódnivalód van ennél. Ennek ellenére azt mondanám: ha sikerül elkerülnünk az irányításvesztés problémáját, és az emberek kezében marad az ellenőrzés – vagyis az emberek határozhatják meg az MI céljait és értékeit még akkor is, ha az sokkal okosabbá válik náluk és átveszi a gazdaságot –, akkor valószínűleg lesznek olyan szabályozások, amelyek megvédenek bizonyos területeket. Kitalálhatod, melyek lehetnek ezek: esetleg a bírák.

– Mi a helyzet a podcasterekkel? Légy őszinte!

– Valószínűleg a podcasterek nem élik túl. De olyasmik, mint a dajka vagy bébiszitter például... Azt hiszem, még ha van is egy robotdajka, ami rendkívül jó, sok ember inkább egy valódi embert választana, mert feszélyezné őket a robot gondolata. Szóval lehet így is okoskodni. És vannak jogilag védett munkák is, ahol előírhatják, hogy csak ember végezheti, robot nem.

– Egyesek szerint viszont annyi új munkahely fog létrejönni, amit most még el sem tudunk képzelni, akárcsak az ipari forradalom vagy az internetrobbanás idején.

– Ezzel az a probléma, hogy a múltbéli technológiai vívmányok szűkebb körűek voltak: automatizáltak bizonyos dolgokat, de nem mindent. Mi viszont egy olyan hipotetikus jövőbeli helyzetről beszélünk, ahol minden automatizálva lesz. Így nem lesz olyan új munkahely, amit te meg tudnál csinálni, de az MI ne tudná megcsinálni – kivéve, ha azt szabályozás védi.

Jelenleg van egy ciklus: az MI megtanul egy bizonyos dolgot (szöveget írni, kódot vázolni, hibát javítani), az emberek pedig átnyeregnek az MI-k irányítására vagy más olyan feladatokra, amiket az MI még nem tud. Ezért nyíltak meg eddig mindig új munkahelyek. De ha eljutunk arra a pontra, ahol az MI mindent meg tud tenni, amit az ember – jobban, gyorsabban és olcsóbban –, akkor bármilyen új munkára váltanál, az MI arra is át tud váltani, és már alapból jobb lesz benne, mint te.

– Mivel még nem láttunk tömeges munkanélküliséget a gazdaságban, szerinted az emberek kezdenek kissé elkényelmesedni? Sokan mondják a közösségi médiában: „Én megmondtam, hogy minden rendben lesz!” Az amerikai munkanélküliségi ráta stagnál vagy enyhén csökken (kb. 4,2%), az Egyesült Királyságban pedig 5% körül van.

– Igazából senki sem állította, hogy mostanra tömeges munkanélküliség lenne. Mi legalábbis nem ezt mondtuk az AI 2027-ben. A tömeges munkanélküliség csak 2028-ban vagy 2029-ben következik be, miután már kifejlesztették a szuperintelligenciát. A cégeknek nem az a legelső lépésük, hogy tömeges munkanélküliséget okozzanak. Az 1. lépés saját maguk automatizálása; a 2. lépés a rekurzív önfejlesztés a szuperintelligenciáig; a 3. lépés pedig a kiterjesztés a gazdaságra és minden automatizálása.

Ez az emberiség szempontjából nagyon szerencsétlen, mert ha az automatizálás széles körű hulláma fokozatosan menne végig a gazdaságon, az emberek felébrednének, elgondolkodnának azon, hová tart ez az egész, és jó szabályozást követelnének a kormánytól. De a cégek nem ezt a stratégiát követik: először elérik a szuperintelligenciát, és csak utána hajtják végre a széles körű automatizációt – ami azt jelenti, hogy mire ezt elkezdik, a folyamat már nagyon gyorsan fog pörögni, és az MI már rendkívül erős lesz.

– A 2027-es jelentésedben – amit még 2025-ben írtál – azt mondtad, hogy 2025 közepére megjelenik az „autonóm alkalmazott”, vagyis az MI-ágensek, akik a Slacken vagy a Teamsen keresztül fogadnak utasításokat. Ez megtörtént. Nekem is van MI-ágens a WhatsAppomban, akivel beszélgetek. A Claudebot is elterjedt a világban. Azt is írtad, hogy 2026-ra a vállalatok elkezdik egész vállalati részlegek lecserélését MI-ágens előfizetésekre; 2027-re pedig az utolsó munkát is automatizálják: magát az emberi MI-kutatók munkáját, megkezdve a gépi tanulási kutatást a következő generációs MI-k megépítésére.

– Igen. Az idővonalakat illetően bizonytalanok vagyunk, mennyi időbe telt e mérföldkövek elérése. Mire a forgatókönyvet publikáltuk, az én idővonalaim már kicsit kitolódtak: nálam a 50%-os valószínűségi jelölés 2028-ra esett az MI-kutatás teljes automatizálásánál, nem 2027-re, míg a csapatom más tagjainál heller 2030 vagy 2031 volt. Bunu úgy kell elképzelni, mint egy elkent valószínűségi eloszlást: a 50%-os jelölés egy adott évre esik, de nagy a lehetőség arra is, hogy évekkel korábban vagy később következik be.

AI 2040: Hogyan nézhetne ki a jövő?

– Mi az az AI 2040? Az AI 2027 egy legjobb tipp volt arra, hogyan alakulhatnak a dolgok a valóságban.

– Az AI 2040 (A-terv) a mi javaslatunk arra, hogyan kellene alakulniuk a dolgoknak. Azért neveztük el AI 2040-nek, mert ebben a forgatókönyvben csak 2040-ben építik meg a szuperintelligenciát sokkal korábbi időpont helyett, mert elhalasztják.

– Miért halasztják el?

– Hogy kezeljék a kockázatokat, és biztosítsák a hatalom méltányos elosztását. Alapvetően úgy szabályozzák az MI fejlesztését, hogy az továbbra is haladjon, de lassabb, ésszerűbb ütemben, átláthatóbb és biztonságosabb módon, több ország és cég között elosztva. Ennek eredményeként nem mondjuk 2030-ban, hanem 2040-ben érik el a szuperintelligenciát. 

Ezt hívjuk „A-tervnek”, mert ez a mi javaslatunk: kidolgoztunk egy tervet arra, mit kellene tenniük a kormányoknak, ez a forgatókönyv pedig szemlélteti, hogyan nézne ki ennek a megvalósítása – hasonlóan ahhoz, ahogy az AI 2027 azt illusztrálja, mi történik, ha a cégek a jelenlegi terveik szerint haladnak tovább.

– Ez van a fejemben. De vajon ez csak vágyálom, vagy szerinted valóban ez fog megtörténni?

– Nem, határozottan nem gondoljuk, hogy ez fog megtörténni.

– Nem gondolod, hogy ez fog megtörténni?

– Nem. Úgy véljük, a valóságban inkább az előző forgatókönyv valósul meg. Nem számítunk arra, hogy a világ hallgatni fog ránk. Ez a mi javaslatunk, reméljük, hogy az emberek valami hasonlót tesznek majd, és hisszük, hogy ez lehetséges, de alapesetben nem ezt jósoljuk a jövőre nézve.

– Át akarom nézni a lehetséges terveket és az A-tervet is, de még mielőtt rátérnénk arra, hogyan alakulhatnak a dolgok a következő években, szeretném érinteni a robotikát is. Itt van ez a grafikon a munkaerő-kibocsátás arányáról, amit meglehetősen mellbevágónak találtam. Munkáltatóként, aki több száz embert foglalkoztat, azon tűnődöm, mikor fog mindez bekövetkezni. Jelenleg még mindig veszünk fel új embereket, bár bizonyos pozícióknál már jelentősen megváltozott a megközelítésünk. Azt kell mondanom, most abban a fázisban vagyunk, ahol a csatapataink MI-vel támogatottak, és ágenseket használnak a munkájuk egy részéhez. De munkáltatóként felmerül bennem: mikor jön el a nagy fordulat?

– Nagyszerű kérdés! Nagyítsunk rá erre egy kicsit! Ez az AI 2040: A-terv forgatókönyvéből van, ahol jelentős szabályozást vezetnek be 2029-ben, ami lelassítja az MI fejlődésének ütemét. A forgatókönyvben ezt az utolsó pillanatban teszik meg: ha nem lépték volna meg, a fejlődés pontosan úgy lőtt volna ki, mint az AI 2027-ben. Amint látod, még a szabályozás bevezetésekor is rengeteg munkahely létezik ebben a szcenárióban. Ez visszacsatol ahhoz, amit korábban mondtam: ha megvárod, amíg a legtöbb ember elveszíti a munkáját, és csak utána szabályozod az MI-cégeket, akkor már túl késő. Addigra valószínűleg már lesz szuperintelligens MI-jük, mert a stratégiájuk az, hogy először a szuperintelligenciát érik el, és csak utána automatizálnak mindent.

– És azt mondod, hogy az gazdasági összeomláshoz vezetne, és még nagyobb kárt okozna, ha hirtelen szabályoznánk valamit, amire addigra mindannyian és az egész életünk támaszkodik.

– Igen, de ezt a kockázatot nagyon is megéri vállalni! Igaz, hogy jelenleg sokan használják az MI-t sok mindenre, de ha valahogy lassítani vagy szüneteltetni tudnánk az MI fejlesztését most, hogy felépítsünk egy jobb működési modellt, az bőven megérné – még ha jelentős ára is lenne. De abban a pontban már nem teheted meg, ahol az MI és a robotika adja a munkaerő-kibocsátás nagy részét.

– Így van. De ebben az AI 2040: A-terv forgatókönyvben 2029-ben bevezetik a szabályozást, majd lassan és óvatosan fejlesztik az MI-t, elkerülve a problémákat. Így végül – igen, végül – az MI-k átveszik a munkákat. Végül az egész gazdaságot MI-k és robotok működtetik, de ez fokozatosan történik meg a 2030-as évek során, ahelyett, hogy egyetlen év leforgása alatt csapna le egy brutális sokkhatásként. Mert ebben a szcenárióban nem hagyják, hogy a cégek rekurzív önfejlesztéssel a lehető leggyorsabban eljussanak a szuperintelligenciáig. Ehelyett úgy szabályozzák a fejlesztést, hogy az alapképességek ésszerűbb ütemben és átláthatóbb módon fejlődjenek, így a tudományos közösség látja, mi történik, és segíthet a biztonságossá tételében.

– Észrevettem, hogy mindkét forgatókönyvedben végül az MI és a robotika végzi szinte az összes munkát. Ebben egyetértesz Elon Muskkal, aki szerint a munka a jövőben választás kérdése lesz. Mert hát mi történik? Ha definíció szerint mindent meg tud csinálni, akkor mindent meg is fog csinálni.

– Igen. A kérdés inkább az: szabad-e engednünk, hogy olyan MI-k jöjjenek létre, amelyek mindenre képesek? Egyesek szerint a válasz nem: mindent le kellene állítani, és meg kellene akadályozni az ilyen típusú MI-k létrejöttét. Mi valójában meglehetősen szimpatizálunk ezzel a gondolattal.

– Megmutassuk a terveket ábrázoló diagramot?

– Igen, köszönöm! A mi forgatókönyvünk neve AI 2040: A-terv. Ez egy olyan szcenárió, amelyben lelassítják az MI fejlesztését, hogy a szuperintelligencia csak 2040-ben jöjjön létre a korábbi dátumok helyett. Az A-terv a mi hivatalos javaslatunk. Összehasonlításképpen készítettünk mini-forgatókönyveket is, amelyek eltérő alternatív terveket illusztrálnak: ezek az S-terv, B-terv, C-terv és D-terv.

D-terv: Alapvetően ugyanaz, mint ami az AI 2027-ben történik. A verseny folytatódik, alig van szabályozás.

C-terv: Nagyon hasonló az AI 2027 lelassulós végkifejletéhez, ahol megoldják az igazodási (alignment) problémákat. Ebben a verzióban kicsit lelassítanak, több erőforrást csatornáznak át az MI-biztonsági kutatásokra, szerencséjük lesz, sikerrel járnak, majd miután megvannak a biztonságos MI-k, újból felgyorsítanak, átveszik a munkákat, és legyőzik Kínát.

B-terv: Hasonló a C-tervhez, de agresszívabbak Kínával szemben: szabotázst vagy kibertámadásokat vetnek be ellenük, hogy lemaradásban tartsák őket, így több lélegzetvételnyi idő marad az igazodási problémák saját elhárítására.

A-terv: A mi javaslatunk. Belső szabályozás, majd egy nemzetközi megállapodás az MI építésének folytatására, de sokkal jobb és biztonságosabb keretek között.

S-terv (Shutdown): Az egész teljes leállítása. Ha olyan jövőt szeretnél, ahol nem szaladgálnak olyan MI-k, akik mindent jobban és gyorsabban csinálnak az embernél, akkor az S-tervre van szükséged.

– Te mit szeretnél?

– Az A-terv a javaslatunk. Szimpatizálok az S-tervvel is, de az általunk kifejtett okok miatt mégis az A-tervet ajánljuk.

– És őszintén: szerinted melyik a legvalószínűbb?

– A D-terv. Vagyis az, hogy tovább versenyeznek, nem lassítanak le érdemben, és a dolgok rendkívül gyorsan pörögnek fel.

– Vannak gyerekeid?

– Igen, két gyermekem van.

– Ez kicsit szomorú. Úgy értem, így vagy úgy, de mire elérik azt a kort, hogy belépjenek a munkaerőpiacra, ez az egész valószínűleg már lezajlik. Nem hiszem, hogy valaha is belépnek a hagyományos munkaerőpiacra.

– Mit értesz az alatt, hogy „ez az egész lezajlik”?

– Azokra a mérföldkövekre gondolok, amelyeket leírtam: az MI automatizálja az MI-kutatást, szuperintelligenssé válik, berobban a gazdaságba, elveszi a munkákat, robotgyárakat épít, hogy még több robotot és gyárat hozzon létre, a GDP pedig függőlegesen kilő. Ezekre az eseményekre gondolok. Talán van 10-20% esély arra, hogy a technológia falba ütközik, és mindebből semmi sem valósul meg, még akkor sem, ha nem teszünk semmit.

– Hány éves a idősebbik?

– Hat. Kislány.

– Ha a lányod odalép hozzád, és azt kérdezi: „Apu, mit tanuljak az iskolában?”, mit mondasz?

– Ha ezek a radikális átalakulások bekövetkeznek, a világ teljesen máshogy fog kinézni, és az, hogy milyen munkára készíted fel magad, lényegében nem fog számítani. Azt mondanám, hogy egyrészt próbáljunk meg tenni azért, hogy a dolgok jól alakuljanak. Ha bármilyen csekély befolyásod is van a történelemre és arra, hogyan fejlődik ez az egész, keményen kell próbálkoznod, hogy jobb irányba tereld a jövőt. Másrészt személyes szinten arra kell fókuszálni, hogy jó ember légy, és olyan dolgokat csinálj, amelyek önmagukért jók, nem pedig azért, mert felkészítenek egy későbbi elhelyezkedésre – mert az a későbbi elhelyezkedés nagyon bizonytalan.

– Elon Musk a bőség koráról beszél, ami felé haladunk.

– Bőség határozottan lesz. A kérdés az: ki irányítja ezt a bőséget, és mit kezd vele? Bárki irányítja egyáltalán az MI-ket, vagy a saját fejük után mennek? És ha emberek irányítják őket, kik azok, és mit tesznek? Milyen politikai struktúra határozza meg a döntéseiket?

– Azt hiszem, Geoffrey Hinton mondta nekem: nincs példa a természetben arra, hogy egy intelligensebb faj felett egy kevésbé intelligens faj uralkodjon. Ezzel arra utalt, hogy meglehetősen gőgösek vagyunk, ha azt hisszük, egy olyan világban, ahol létezik egy nálam garmadával okosabb mesterséges agy, én fogok neki utasításokat adni.

– Igen, ez a lényeg. Ennek kellene lennie az alapfeltételezésünknek: itt vannak ezek az agyak, nem látjuk pontosan, mit gondolnak, okosabbá tesszük őket nálunknál, rájuk bízunk mindent, aztán testet adunk nekik, ők pedig autonóm módon új gyárakat építenek. Hogyan kellene ennek jól végződnie? Nem pontosan olyan ez, mintha kitenyésztenénk egy új fajt, amelyik aztán kiszorít minket, amint már nincs ránk szüksége? Szerintem ez az alapértelmezett pálya.

Természetesen van egy egész argumentum arról, hogyan térhetnénk le erről az alapértelmezett pályáról. Ott van például az értelmezhetőségi (interpretability) kutatás, amiről korábban beszéltem. Ha az a kutatás beérik, láthatóvá válik, mit gondolnak, ami kiváló eszköz lenne a formálásukhoz, ellenőrzésükhöz és ahhoz, hogy azt tegyék, amit mi akarunk. Vannak más MI-igazodási kutatási agendák is, amelyek haladást érnek el. Ha ezek közül elég sok sikerül, elkerülhetjük ezt a problémát.

A szabályozási oldal is kulcsfontosságú: a nehézséget részben az adja, hogy versenyhelyzetben építjük ezeket az MI-ket. A cégek titkolják a recepteket, nehogy mások lemásolják őket, így a fejlesztések zárt ajtók mögött zajlanak, és csak kevesen látják a betanításhoz használt eljárásokat. És amikor az MI váratlanul vagy kifejezetten károsan viselkedik, az információ gyakran nem jut el a nyilvánossághoz, mert a cégek nem érdekeltek abban, hogy elmeséljék a hibáikat. Ez nem kedvez a tudományos haladásnak. Ha a szabályozási rendszer más lenne, jobb helyzetben lehetnénk, és gyorsabb áttörést érhetnénk el. És persze nem terveznénk azt sem, hogy a lehető leggyorsabban mindent az MI-k irányítása alá helyezzünk, és nem hagynánk nekik a korlátlan önfejlesztést sem. Ezek olyan döntések, amelyeket meghozhatnánk másképp is.

(A reklámblokk eltávolítva)

– Ilia Sutskever az OpenAI egyik vezetője volt, majd távozott, és megalapította a saját cégét, a Safe Super Intelligence-t (Biztonságos Szuperintelligencia) – ami elég érdekes név egy cégnek az OpenAI elhagyása után. Dolgoztál vele együtt?

– Nem dolgoztam vele közvetlenül, de beszélgettem vele pár alkalommal.

– Szerinted ő is őszintén aggódik?

– Szerintem igen. De úgy gondolom, ő is hasonló helyzetben van, mint a többi vezérigazgató. Gondolj bele, milyen ösztönzők hatása alatt állnak! Látják a problémát, de azt mondják: „Jó, de ha leállok, felmondok vagy mást csinálok, az nem oldja meg a problémát, mert a többi vezérigazgató folytatni fogja. És ha mind leállnánk, Kína akkor is folytatná. Úgy tűnik, ez így is, úgy is megtörténik, akár teszek ellene, akár nem. Akkor inkább veszek részt benne, hátha el tudom érni, hogy jól süljön el! És különben sem akarok a hidegben maradni, amíg mások – akikben nem bízom – irányítanak mindent.” Mindannyian végigzongorázzák ezt a gondolatmenetet, és meggyőzik magukat arról, hogy az a helyes lépés, ha ők építik meg, csak jobban. Ilia csak a legújabb példa erre. Elon egy másik példa, Dario egy harmadik. Kezdetben Sam is ilyen volt az OpenAI-nál, bár Elon és Dario is ott voltak az elején.

– Mit kellene tenniük szerinted?

– Nemzetközi vagy legalább hazai szabályozásra lenne szükség, hasonlóan ahhoz, amit az A-tervben leírtunk.

– Végigvezetnél az A-terven?

– Ebben a forgatókönyvben az MI-nek hosszabb időbe telik eljutni a rekurzív önfejlesztésig és az MI-kutatás teljes automatizálásáig, mint az AI 2027-ben. Úgy véljük, érdemes megmutatni a lehetőségek skáláját a bizonytalansági tényezők miatt, így 2030-at választottuk annak a pillanatnak, amikor a teljes automatizáció végül megvalósul, és a dolgok igazán beindulnak.

Visszafelé számolva: mikor van az utolsó pillanat, amikor még jó szabályozást lehet hozni? 2029-ben. Ebben a szcenárióban az MI fejlődése magától is kissé lelassul, a cégek továbbra is versenyeznek, de nem sikerül teljesen automatizálniuk magukat 2027-ben, 2028-ban vagy 2029-ben – bár nagyon közel járnak hozzá, és 2030-ra megtennék. Ekkor, 2029-ben a kormány közbelép és szabályozza őket.

– Milyen szabályozásokat vezetnek be?

– Lényegében ideiglenesen leállítják a fejlesztést.

– Megkérdezhetem, hogyan kapcsolódnak az elnökválasztások az idővonaladhoz? Mert 2028-ban nagy választás lesz az Egyesült Államokban, és úgy tűnik, a közhangulat erősen az MI ellen fordult a nagyközönség körében, így ez az egyik legfontosabb téma lesz a szavazólapokon.

– Úgy gondoljuk, hogy a 2028-as elnökválasztás legfontosabb témája lehet. A legtöbb ember meglehetősen aggódni fog amiatt, hová tartanak a dolgok. Részben ezért ábrázoltuk így a dolgokat ebben a forgatókönyvben: ez magyarázza, miért hozhatnak ilyen szabályozást 2029-ben – mert a szavazók ezt követelték, az elnökjelöltek pedig megígérték.

– Ebben a forgatókönyvben 2027-re a nagyközönség sokkal súlyosabban megérezte volna az MI következményeit, mint most?

– Igen, bár 2029-ben ebben a szcenárióban az emberek többségének még megvan a munkája. Sok munkahelyen ekkorra már MI-ágenseket irányítanak. Említetted, hogy neked is van MI-ágensed: nos, 2029-ben ebben a forgatókönyvben az ágensek sokkal jobbak lesznek, de még mindig nem annyira, hogy mindent teljesen egyedül csináljanak meg. Ez a szint ebben az idővonalban 2030-ban jönne el. (Ismétlem: az idővonalak bizonytalanok, a dolgok gyorsabban is haladhatnak, mint ebben a forgatókönyvben – és szerintem gyorsabban is fognak haladni, de a nagyon gyors szcenáriót már megírtuk, így most egy lassabbat vázoltunk fel.)

Nézzük a fő célokat! A politikusok és a szavazók azt akarják, hogy az MI fejlődése folytatódjon, de lassabb ütemben, hogy biztonságossá lehessen tenni.

1. cél: Lassítás.

2. cél: Átláthatóság növelése, hogy a tudományos közösség felzárkózhasson, és ne kelljen elhinni a cégek bemondásos alapon tett ígéreteit a biztonságról vagy az elfogultság-mentességről.

3. cél: A hatalomkoncentráció elkerülése. Kifejezetten jó, ha több MI-cég létezik több különböző országban hasonlóan fejlett képességekkel, és az MI széles körben elterjed a társadalomban, ahelyett, hogy egyetlen megaprojekt kezében összpontosulna az összes legjobb MI. És a nagyszerű dolog az, hogy ezt alapértelmezésben megkapod, ha az első két dolgot megteszed: a lassítás és az átláthatóság lélegzetvételnyi időt hagy más projekteknek a felzárkózásra.

4. cél: Visszafordíthatóság. A forgatókönyvben rengeteg adatközpontot és robotot építünk fel. A világ átalakul, bár lassabb ütemben. Ha a dolgok elromlanak, a megállapodás felbomlik, és mindenki újra versenyezni kezd a szuperintelligenciáért, az nagyon félelmetes lenne. Ezért a negyedik elv: az új adatközpontokat úgy kell megépíteni, hogy ha minden felbomlik és újra indul a hajsza, az újonnan épült adatközpontok megsemmisüljenek, így visszatérünk a nullponthoz ahelyett, hogy egy még veszélyesebb versenyben találnánk magunkat.

Ha érdekel, végigvezethetlek az idővonalon.

– Persze!

– Az elnök beszél Kína és más országok vezetőivel, és azt mondja: „Alapvetően leállítjuk az MI-fejlesztést, amíg ki nem találunk egy tervet ezen célok elérésére.” Ellenőröket küldenek egymás adatközpontjaiba: kínai ellenőrök jönnek az amerikai adatközpontokba, amerikaiak mennek Kínába, és ellenőrzik, hogy csak következtetést (inference) végeznek, nem pedig tanítást (training).

Új MI-k fejlesztése tanítással jár. A meglévő MI-k futtatása a felhasználók kiszolgálására viszont a következtetés. A megoldás, amire jutnak: engedélyezik a következtetést, de a tanítást leállítják, amíg az új adatközpontok el nem készülnek. Átalakítják a meglévő adatközpontokat a futtatásra: az emberek továbbra is beszélhetnek az MI-ágenseikkel, de azok nem fognak tovább fejlődni fél-egy évig, amíg megépítik az új, átlátható adatközpontokat, ahol a tanítás fog folyni. Amint ezek az új adatközpontok elkészülnek 2030-ban, az MI-kutatás folytatódik.

Ez a rész kicsit kényes: mi teljes kutatási átláthatóságot javaslunk, ami azt jelenti, hogy az új modelleket betanító adatközpontoknak mindent publikálniuk kell – a tanítási recepteket, az architektúrát, mindent. Ez a fajta nyílt tudomány elengedhetetlen az igazodási probléma gyors megoldásához, mert nem akarhatjuk, hogy az elfelfogult cégek döntsenek arról, biztonságosak-e az MI-k. Emellett a jó szabályozáshoz is kell, mert jelenleg a szakértelem a Szilícium-völgyben összpontosul, míg a kormányok nem igazán értik az MI-t.

Képzelj el egy alternatívát: a teljes átláthatóság helyett lenne egy auditori rendszer, ahol a kormány megadja a szabályokat, az ügynökség pedig bemegy a cégekhez ellenőrizni azokat. Ez egy ellenérdekelt dinamikát hoz létre, ahol a cég abban érdekelt, hogy átverje a szabályozót, és ha felfedeznek egy új problémát, ami még nincs a kormány radarján, érdekeltek lesznek abban, hogy elhallgassák. A teljes átláthatóság segít a kormánynak gyorsabban jobb döntéseket hozni, de megöli a cégek versenyelőnyét.

– Igen, a Dropbox ezt nem fogja szeretni, és az OpenAI sem. Ez valószínűleg rossz lenne a cégértékeléseknek.

The majestic red rock formations of Sedona, Arizona, are awe inspiring and truly powerful in their potential to affect human consciousness. For millennia, the Sedona area has been considered a sacred place, and to this day people come from around the world to steep themselves in the unique energy that resides here. Sedona is where I live, work, and play. I, along with thousands of others who live here, have found a deep connection to this area that words cannot adequately describe. This connection inspires creativity and freedom of thought, but paradoxically, at least for me, the towering red rock mountains are not so much comforting as they are ominous. Here, the beauty and magnificence of the red rocks meet the harsh reality of the desert chaparral, a landscape at once seductive but also potentially lethal if you were to get lost or run out of water.

Sedona lies within the Coconino National Forest, and as a highly experienced guide I am permitted, through the Forest Service, to take people into the red rock wilderness as a commercial activity. So I’m not too worried about getting lost or running out of water, but there are plenty of other forces at work here that one must be respectful of. This is a story of one of the many forces I have encountered here.

Since my teens, I have been almost obsessed with visiting and discovering ancient sacred sites that include ruins, petroglyphs, and pictographs. My fascination only grew when I moved to Sedona many years ago and began visiting the ancient sacred sites of the people the archeologists call the Anasazi. Over the years, I have visited and discovered over fifty ancient sites, but I am always looking for the most secret ones that I haven’t yet found.

One day, I was casually driving on a very remote, bumpy, and rock-strewn dirt road in the Secret Mountain Wilderness Area just outside of Sedona and noticed there was a canyon off to my right that I hadn’t yet explored. I stopped the truck, and, while looking into the canyon, my trusty sidekick Sophie (a female German shepherd) started whining and spinning circles in the back of the truck. Sophie is definitely a shaman in a dog’s body, so I knew we had to check it out.

I found a place to park the vehicle, and Sophie and I headed into the canyon. When using the word canyon, it’s normal to think about walking down and in, but in this case we were at the base of the canyon, so we were going to be walking up. As we began walking, I immediately noticed that the canyon floor where we were walking was not steep, as I expected; in fact, it was a very comfortable and gradual incline, with beautiful red rock and limestone walls on both sides, and the place felt very inviting and safe. At the base of the canyon, where we currently were, it was wide and open on either side, but I could tell that the canyon was going to gradually get narrower as we walked up and into it, as the sheer canyon walls came together little by little.

A few minutes later, we came to a bend in the canyon, and I stopped walking to take a good look around. What I saw was astounding—not in some mysterious or mystical way, but in the most tangible way possible: I was suddenly surrounded by almost every species of plant, cactus, bush, and tree that grows in the Sedona chaparral. The feeling of life all around me was incredible, and the realization that I had found a very special place was beginning to dawn on me. I know the flora of this part of the country very well, and that only enhanced the special qualities of this canyon, as I knew that it was not at all common to see pine growing next to cypress growing next to manzanita growing next to prickly pear growing next to agave growing next to banana yucca growing next to barrel cactus growing next to scrub oak growing next to holly growing next to basket yucca growing next to desert sage growing next to chaparral amargosa growing next to mormon tea growing next to cholla growing next to cat’s claw growing next to soaptree yucca growing next to juniper growing next to ocotillo growing next to mesquite growing next to datura (which is also known as devil’s weed) … Sure, all these species live in the desert chaparral, but never had I seen them all growing together. This part of the canyon was as diverse as any arboretum I’d ever visited.

The feeling of sacredness and the interconnection of all life oozed from this natural arboretum, and I felt my consciousness shifting into an altered state that was in intimate connection with all that was around me. Walking further into the canyon simply increased this sense of heightened awareness until, about a mile into the canyon, I was overcome by the distinct feeling that I was being watched.

It wasn’t so much that I simply felt I was being watched—that was an expected feeling for the altered state I was in—but rather it was the sheer intensity of the feeling that raised the hair on my arms and sent goose bumps up and down my body. The feeling was so intense that I decided, right then and there, before continuing any further, to sit with that feeling and try to figure out what exactly was going on. It didn’t take long to realize that even though the feeling of being watched was almost overwhelming to the point of my actually being afraid, I wasn’t afraid at all. The feeling was not threatening, like if there were a cougar watching me or someone was hiding with a gun, ready to jump me.

So, with the clarity that I wasn’t in any immediate danger, I kept walking, the canyon kept growing narrower, and within another half-mile, it finally hit me. It was the cypress trees! They had gradually become thicker and more dense on either side of me as I walked up and back into the canyon, until now I was standing in a sea of them. Their purplish and gray bark glistened in the sun and shadows, and their unusual quality of straight, twisting, and curving growth gave them a surreal and mystical quality I’d never experienced before with this type of tree. And they were definitely watching me, making sure of my intentions. Without another thought, I offered a prayer of intention:

Grandfather Fire

Grandmother Growth

Mother Earth

Father Sun

Sister Water

Brother Wind

All the beings that live in this place, both seen and unseen.

We come here today in humbleness and gratitude, to take only memories and maybe a few photos, and to leave only footprints.

We ask that you help open our hearts, our minds, our bodies, and our spirits to receive whatever it is that you have to share with us today.

And when we return to this spot in a little while, may we be safe, happy, and maybe a little bit wiser. Gracias.

With my prayer of intention that I was there to commune and not to harm now stated out loud to the beings and spirits of the place, the energy surrounding me seemed to open in a way that made me feel more accepted in the place and more at ease, even though I knew they were still watching my actions.

I casually walked farther into the canyon, admiring the beauty of the red rock cliffs with yellow and whitish streaks drawing closer to me as I walked. I suddenly realized this was a box canyon, a canyon that ends (or begins) with steep cliffs on three sides, so there’s only one way in and one way out. Immediately, my heart started to race, because many of the best ancient sites I had discovered in the past were located in the “box” of a hidden box canyon.

This time would prove to be unforgettable. When I reached the end of the canyon and could go no farther, I looked up at the cliff face to my right and there, sitting under a large overhang of rock, was one of the most well- preserved cliff dwellings I had ever found. I climbed up to it, and it was nearly perfect, even though it was probably around 1,000 to 1,500 years old. The stacked rocks that formed the half-moon-shaped dwelling, with its back to the cliff face, were so expertly placed, and the overhang of the cliff provided such good protection from the weather, that this ancient dwelling had survived the years miraculously well.

Actually, too well. It suddenly occurred to me just how “protected” this place really was, especially in a metaphysical sense. Most other cliff dwellings not protected as official historic sites had long ago been ruined by the white settlers of the region during their conflicts with the Indians. Even with the superb building skills of the ancient people and the physical protection of the cliff’s overhang, for this structure to have survived this long completely intact was nothing less than a miracle—especially considering that it was only a few miles from the town of Sedona, and I knew of not one person who knew of this place. This was not simply an ancient cliff dwelling, it was a supremely sacred site with powerful agents of protection watching over it.

I wanted to spend the night there but I hadn’t brought adequate provisions for either Sophie or myself, so after a nice long visit with the place and a ceremony with Grandfather Fire, I said goodbye and thank you to the place and headed for home with an incredible feeling of having just been granted access to a place few people will probably ever see. During the next few years, I visited and spent the night many times while developing a deep connection to the place. It continues to be one of my most precious sacred sites on the planet, even more so because of what happened a few months after I first discovered it.

I was having a chat one day with a Hopi friend and his grandfather, whom I had just met. The grandfather was a wise old medicine man who created amazingly fine artwork from wood, especially his handmade flutes and pipes. The medicine man and I were chatting about different ancient sacred sites in the area when in one moment I realized we were talking about my “secret” canyon.

He said, “Hum, so you’ve been there?”

“Yes, many times.”

“So they let you in, did they?”

“What do you mean?” I asked.

“You know what I mean.”

“The cypresses?”

“Of course! They don’t let just anyone go back in that canyon. That place is protected by its guardians. You must have a clean heart, a deep connection to nature, and make darn sure you tell them what you are doing there before they will let you into the back of that canyon and into the ancient sacred site.”

Well, I must admit that even though I had felt exactly what the old medicine man was saying, and I wanted to believe what he was telling me, there was still a bit of doubt in me. Rationally speaking, if a person with any experience hiking in the wilderness were to find that canyon, on a physical level all you have to do is keep walking toward the back of the canyon until it ends at the box. Simple …