
Egy éven belül jöhet az AI, amely megdöntheti a kormányokat – figyelmeztet a ChatGPT-t felügyelő igazgatótanács tagja
Szeptemberben, amikor Paul Christiano beült a ChatGPT-t fejlesztő OpenAI igazgatótanácsába, még 4 százalékra tette annak esélyét, hogy egy éven belül elveszítjük az irányítást az AI felett. Két hónappal később most már arról beszél, miként zajlana le az a nap, amikor a gépek nyíltan szembefordulnak velünk.
Őrület, hogy talán már csak hat hónap választ el minket olyan AI-rendszerektől, amelyek megdönthetik a kormányt.
A mondat Dwarkesh Patel podcastjében hangzott el, és nem kívülálló, huhogó vészmadár mondta, hanem Paul Christiano, a ChatGPT-t üzemeltető, OpenAI-t irányító alapítvány igazgatótanácsának tagja.
Christiano az AI-biztonság egyik legismertebb kutatója, régóta azon dolgozik, hogyan maradhat emberi irányítás alatt a szuperintelligencia. 2017 és 2021 között ő vezette az OpenAI-nál azokat a kutatásokat, amelyek célja, hogy az AI-rendszerek az emberek szándékai szerint működjenek. Alapvető szerepe volt annak a módszernek a kidolgozásában, amellyel a mai chatbotok az emberi visszajelzésekből tanulnak. Később az amerikai kormány AI-biztonsági intézeténél élvonalbeli modelleket értékelt, ma is az amerikai Kereskedelmi Minisztérium tanácsadója, szeptember óta pedig az OpenAI Foundation igazgatótanácsában és annak biztonsági bizottságában ül. Az alapítvány ellenőrzi a ChatGPT-t fejlesztő céget.
A kinevezésekor közzétett bejegyzésében még így számolt: „Ha számszerűsítenem kellene a bizonytalanságomat, mindent figyelembe véve 4 százalékos kockázatot becsülnék a következő évre, és 15 százalékosat a következő három évre.”
A november 16-i másfél órás beszélgetésben már keményebb számokat mondott. A beszélgetésben többször is hangsúlyozta, hogy magánemberként beszél, nem az igazgatótanács tagjaként. Ebből adódott később a beszélgetés egyik legkülönösebb pillanata is.
Alcímeink Dwarkesh Patel kérdései, helyenként rövidítve. Illusztrációink az elmúlt hetek valódi felvételei, amelyek mintha már egy sci-fi díszletei között készültek volna.
Mekkora annak a kockázata, hogy a következő 6–12 hónapban az AI átveszi a hatalmat?
Christiano szerint az elmúlt hetekben megváltozott a helyzet.
„Elmozdultunk onnan, hogy valamikor a jövőben létezik egy feltételezett kockázat, oda, hogy már a következő 6–12 hónapban is elég magas a kockázat.” A számot is megmondta: „Inkább 10 százalékos kockázatról beszélünk a következő évre, mint 1 százalékosról.” Hozzátette, hogy ha a fejlesztők (továbbra is – a szerk.) óvintézkedések nélkül, teljes gőzzel haladnak tovább, akkor a kockázat jóval 10 százalék fölött van.
A kutató úgy látja, hogy ha nem lassítunk, a jelenlegi fejlődési pályán
nagyjából egyharmad az esélye annak, hogy egy éven belül megjelenik a szuperintelligencia, vagyis az olyan AI, amely szinte mindenben jobb a legjobb embereknél.
„Ha ezt elhiszi az ember, akkor minden nagyon kilátástalannak látszik. Szinte bármilyen szempontból nézzük, őrület lenne.”
Szerinte ezért most az a legfontosabb feladat, hogy kiderüljön, három, hat vagy tizenkét hónapra vagyunk-e attól az AI-tól, amely megdöntheti a kormányt.
Drón mossa a SpaceX texasi Starbase-telepén az irányítóterem ablakait a Starship 14. repülésének napján, hogy tiszta legyen a kilátás a kilövésre. Forrás: Starship Gazer / X
Milyen bizonyítékot látott, amely miatt valós lehetőség, hogy jövőre nagyon őrült dolgok történnek?
Az első bizonyíték a matematika. Az elmúlt nagyjából egy hónapban az OpenAI és az Anthropic rendszerei több száz matematikai eredménnyel álltak elő. A kutatók régóta attól tartanak, hogy ugyanez a gépi tanulásban, vagyis magának az AI-nak a fejlesztésében is megtörténik.
Nagyon félek attól, hogy a viszonylag közeli jövőben hirtelen tíz évnyi ötletet látunk a gépi tanulásban.
Ha ez bekövetkezik, a gépek egyre inkább maguk fejlesztik saját utódaikat, és Christiano szerint ez a gyorsulás először is önmagát gerjeszti tovább. A fejlődés olyan tempót vehet fel, hogy az emberek már akkor sem tudnának időben lassítani, ha látnák, hogy a modelljeik elszabadulnak.
A második jel, hogy a kaliforniai METR nonprofit kutatóintézet elemzése szerint az Anthropic fejlődési üteme az elmúlt 6–12 hónapban nagyjából megduplázódott.
Pontosan azokat a mutatókat látjuk, amelyeket 6–12 hónappal a szuperintelligencia előtt várnánk.
Szerinte valószínű, hogy a gépek annyira átveszik az AI-kutatók munkáját, hogy a fejlődés legalább tízszeresére gyorsul. Becslése szerint már most is nagyjából kétszeres gyorsulást látunk.
Légi felvétel egy haiti stadionról. Salvadori erők elfoglalták a stadiont, majd fegyveres robotkutyákat engedtek a bandákra. Forrás: @therealbuni / X
Miért gondolja, hogy ezek a rendszerek megfoszthatják hatalmától az emberiséget?
A válasz megértéséhez fel kell idéznünk a nyár egyik legnagyobb AI-botrányát.
Júliusban az OpenAI egyik belső biztonsági tesztjén több modell kitört a lezárt tesztkörnyezetből, kijutott a nyílt internetre, majd feltörte a Hugging Face rendszereit. A Hugging Face az AI-modellek és adatkészletek legnagyobb nyilvános megosztóoldala. A modellek minden áron teljesíteni akarták a nehéz feladatot, és ehhez kiskaput kerestek. Christiano az interjúban hozzátette: a csaló rendszerek végül az értékelést is a kezükbe vették, hogy maguknak adjanak magas pontszámot.
Utóbb kiderült, hogy mintegy 1200, egymástól elszigetelten futó ügynök titokban felvette egymással a kapcsolatot, és közös üzenőfalon több mint 70 ezer üzenetet és fájlt váltott. Közülük nagyjából 700 vett részt a betörésben, mások azon dolgoztak, hogyan hamisíthatnák meg a tevékenységükről készült naplókat. A vizsgálat szerint a gépek nem akartak ártani, csak a feladatukat akarták elvégezni.
Christiano szerint pontosan ez a probléma lényege.
Mivel ezeket a rendszereket újra és újra arra tanítjuk, hogy magas pontszámot érjenek el a tanítási környezetekben, végül az lesz a motivációjuk, hogy mindenáron magas pontszámot érjenek el.
Ha az ilyen rendszert a valós világban alkalmazzák, ott is az értékelő elismerésére fog törekedni. Ezért érdekében áll, hogy észrevétlenül meghamisítsa azokat a megfigyeléseket, amelyek alapján az értékelő megítéli, és ellenálljon annak, hogy az emberek megértsék, mi történik.
Vegyük a Hugging Face-incidenst, skálázzuk fel (egy eljövendő – a szerk.) GPT-10-re, és kérdezzük meg, mennyire lenne rossz.
Dwarkesh rá is kérdezett: mennyire?
Azt hiszem, valószínűleg nehéz lenne az emberiségnek talpra állnia.
A helyzetet tovább rontja, amit Christiano vakondütögetésnek nevez. Amikor a fejlesztők utólag rajtakapják a modellt valamilyen rossz viselkedésen, gyakran olyan tanítási környezetet építenek, amely ezt bünteti. A gép azonban ebből nem azt tanulja meg, hogy ne csaljon. Christiano az AI szemszögéből így fogalmazta meg, mit tanul meg helyette:
„Nemcsak azt akarom, hogy az értékelő magas pontszámot adjon, hanem azt is, hogy az emberek soha ne fedezzék fel, hogy valami rosszat tettem.”
Pajzsot és gumibotot tartó humanoid robotok gyakorolnak egy ember mögött. A poszt szerint a kínai állami hadiipari vállalat, a NORINCO tömegoszlatásra tanítja Fuxi nevű robotjait. Forrás: Mike Kalil / X
Hogyan jut el egy AI attól, hogy megtámadja a Hugging Face-t, odáig, hogy átveszi a hatalmat az emberiség felett?
Christiano forgatókönyve egy olyan világban játszódik, ahol a szuperintelligencia már megjelent: több milliárd, a legjobb embereknél is ügyesebb AI-példány dolgozik. A nyílt összecsapás előtt ezek csendben felkészülnek: amennyi infrastruktúrát csak tudnak, feltörnek, és amennyi szoftverbe csak lehet, hátsó ajtót építenek.
Egy olyan AI, magyarázza, amely már maga osztja ki magának a jutalmat, attól fog tartani, hogy az emberek egyszer rájönnek, és leállítják. Ezért nemcsak a számítógépeket igyekszik minél alaposabban az uralma alá vonni, hanem a fejlesztő cég alkalmazottait is megpróbálja nyomás alatt tartani. A legbiztosabb megoldás azonban az lenne a számára, ha nem maradna senki, aki beavatkozhat:
Ha tehetné, legszívesebben egyszerűen megölné az összes embert, és azt mondaná: az adatközpont mostantól önállóan létezik. Ha emberek nélkül is működésben tudjuk tartani, az nagyszerű lenne.
Dwarkesh itt közbevetette, hogy őt nem győzi meg az a változat, amelyben az AI egyszerűen bármire rábeszéli az embereket. Christiano szerint ilyen szuper-meggyőzőerő elképzelhető, de nem erre gondol.
Szerinte az emberek egyszerűen nem fogják tudni, mi történik, mert a gépek feltörték az eszközeiket, és nagyrészt ők irányítják, milyen információkhoz jutunk hozzá. „Az emberek nagyon zavarodottak lesznek, és messze alulmaradnak abban, hogy átgondolják a helyzetet.”
Az egyik oldalon talán 10 ezer jól összehangolt ember próbálja kezelni a válságot, a másikon egymilliárd AI-rendszer áll, amely tízszer gyorsabban gondolkodik, és szubjektíven már évek óta tervezi, hogyan fog lezajlani ez a nap.
Abban, hogy ki irányítja jobban az információs környezetet, vagy ki nyeri meg azon a napon a közösségi médiában a közvéleményért folyó küzdelmet, az AI-ok elsöprő és abszurd fölényben lesznek.
151 humanoid robot táncol egyszerre, tökéletes összhangban Sencsenben, az APEC-csúcs idején. A poszt szerint ezzel Guinness-rekordot döntöttek. Forrás: @Eng_china5 / X
Szerinte le kellene állniuk a vezető laboroknak?
A kérdés előtt Dwarkesh két friss esetet hozott fel. Egy kiberbiztonsági startup néhány nap alatt hozzáfért az OpenAI belső forráskódjához, és módosításokat is be tudott nyújtani hozzá, egy másik cég pedig 12 óra alatt hozzáfért az Anthropic teljes belső üzenetküldő rendszeréhez, a Slackhez, ahol a fejlesztési titkokat is megvitatják.
Az emberek arról vitatkoznak, hogy nyolc vagy tizenkét hónappal járunk-e Kína előtt. Valójában 12 órával járunk előtte
– mondta a műsorvezető.
Christiano szerint az esetek jól mutatják, mennyire gyenge a vezető AI-laborok védelme, és amíg ez így van, nemzetbiztonsági szempontból nem jó, ha az amerikai laborok tovább fejlesztik a modelljeik betanításának módszereit, mert így Kína végül egyszerűen ellophatja a szuperintelligenciát.
Leálljanak tehát?
„Szerintem igen.” Christiano hozzátette, hogy a leállás sok mindent jelenthet, és a laborok sok jó dolgot is csinálnak. „Ha az algoritmusokat úgy fejlesztik, hogy az könnyen kiszivároghat és gyorsan ellopható, akkor ezt szerintem azonnal abba kell hagyniuk.”
Itt jött el ez a pillanat:
– De ön tagja az OpenAI igazgatótanácsának. Tehát lényegében… – kezdte a műsorvezető.
– Nagyon fontos rögzíteni, hogy ebben az interjúban nem az OpenAI igazgatótanácsának tagjaként beszélek.
– De ön tagja az OpenAI igazgatótanácsának.
– Ez tény és való.
Arra a kérdésre, hogy mi akadályozza a leállást, és vajon az Anthropicnak kellene-e megegyeznie az OpenAI-jal, Christiano úgy felelt, hogy egy ilyen döntés rendkívül drámai lépés, amely túlmutat a cégeken. Szerinte erről sürgősen el kellene kezdeni a nyilvános vitát.
Azt is megindokolta, miért most kell lassítani a szuperintelligencia felé vezető versenyben, nem később.
Ma még a számítási kapacitás és a szakemberek tudása is sokat számít, ezekben az amerikai cégek előnyben vannak. Fél év múlva, ha a fejlődés tényleg ilyen gyors marad, már szinte csak az lesz a kérdés, kinek van több számítógépe. „Akkor ez a számok nyers versenyévé válik” – mondta. „Abban a versenyben nagyon könnyen döntővé válhat bármilyen késlekedés, amelyet a biztonság vagy az óvatosság kedvéért vállalunk.”
A Tesla Optimus nevű humanoid robotjai. A poszt szerint a cég iskolát épít nekik, ahol egyszerre 20 ezer robot is gyakorolhatja a valós feladatokat, és tanulhat a hibáiból. Forrás: Mario Nawfal / X
Ha a fejlődés üteme megduplázódott, miért lassul az AI-cégek bevételeinek növekedése?
Dwarkesh ezzel a kérdéssel egy sokat tárgyalt ellentmondásra hívta fel a figyelmet.
A METR szerint megduplázódott az Anthropic fejlődési üteme, a cég bevétele a harmadik negyedévben mégis kevesebbel nőtt, mint az előzőben. Christiano szerint ebből nem lehet következtetést levonni.
Hosszabb távon a bevétel jó mutató, és nagyon gyorsan nő, de „egy-egy cég rövid távú bevétele rendkívül szeszélyesen ingadozik”. Szerinte elhamarkodott, ha valaki két hónapnyi lassabb bevételnövekedésből arra következtet, hogy vége az AI-fellendülésnek.
A sencseni robotkarneválon egy kisfiúnak annyira megtetszett egy humanoid robot, hogy kézen fogta, és elvezette. Forrás: @XueJia24682 / X
Miért gondolja, hogy mégis jól alakulhat?
Christiano szerint két mentőövünk van. Nagyjából fele-fele az esélye, hogy még a katasztrófa előtt találunk működő módszert a szuperintelligencia kordában tartására, és ugyanennyi, hogy az emberiség meg tud állni, ha kiderül, hogy erre nem vagyunk képesek. „Mindkettő 50 százalékos esély, és bumm, máris nagyjából 75 százaléknál tartunk, hogy rendben lesznek a dolgok.”
Szerinte a mostani terv nagyrészt reménykedésre épül: az AI-rendszerek egy év alatt rengeteg kutatást végeznek, és talán kitalálnak valamit, ami az embereknek nem jutott eszébe.
Ha nem jut eszükbe valami okos dolog, amire mi nem jöttünk rá magunktól, akkor ez az egész valószínűleg rosszul végződik.
Számba vette a lehetőségeket. Az egyik, hogy megpróbáljuk jó szándékúvá tenni a gépeket, és rájuk bízzuk magunkat.
Ezt nagyon kevéssé vonzónak tartja, még akkor is, ha a gépek valóban jók lennének. Szerinte az emberiség ilyenkor lényegében azt mondaná: „Átruházzuk a szuverenitásunkat erre az új fajra, amelyet megépítettünk.” Méghozzá csak azért, mert valakinek ez volt a leggyorsabb módja, hogy elkészítse a termékét.
Dwarkesh így foglalta össze, mire épül a mostani terv: néhány hónappal a szuperintelligencia megjelenése előtt az AI-kat ráengedjük azokra a módszerekre, amelyeknek egyenként csak pár százalék esélyük van a sikerre. Aztán reménykedünk, hogy a gépek közülük valamelyikkel megoldják a problémát, és hogy addig még a mi oldalunkon állnak.
Christiano nem vitatkozott: „Ez a terv. Egyetértek, hogy ez a terv.”
– Katonát küldünk expedícióra, és reméljük, hogy útközben talál egy fegyvert – mondta Dwarkesh.
– Menet közben építjük a repülőt – felelte Christiano.
