„Nincs tervünk” – az AI fejlesztői most a saját technológiájuktól félnek

24 órán belül három kutató mondta ki nyilvánosan, hogy a mesterséges intelligencia elpusztíthatja az emberiséget. Egyikük emiatt mondott fel, ketten ma is a cégnél dolgoznak, vezető beosztásban. Az AI veszélyeiről szóló figyelmeztetés önmagában nem újdonság – az viszont igen, hogy ki mondja, mikor, és mit ad fel érte.

Három mondat, amitől megállt a levegő

Szeptember 8-án, kedden Jacob Coxon, az egyik élvonalbeli AI-cég, az Anthropic kutatója felmondott, és egy X-en közzétett bejegyzésfüzérben indokolta meg, miért. Nem a cégével, hanem az egész iparág irányával volt baja. Ezt írta:

„Akik az AI-t építik, őszintén azt gondolják, hogy az évtized végére mindannyiunkat megölhet. Ez nem marketingfogás”

(The people building AI earnestly believe that it could kill us all by the end of the decade. This is not a marketing stunt)

Hozzátette: vezetők és rangidős kutatók a sajtóban inkább józanul hangzóra csiszolják a mondataikat, de ugyanezek az emberek négyszemközt beszélve félelmeket fogalmaznak meg, és szerinte semmilyen más emberi tevékenység nem hordoz ekkora veszélyt. A két nagy AI-laborról, az OpenAI-ról és az Anthropicról így fogalmazott:

„Egyik cég sem viselkedik felelősen. Egyenesen az önfejlesztő szuperintelligencia felé rohannak, és az életünkkel játszanak”

(Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives).

Eddig ezeket a borúlátó szavakat akár úgy is tekinthetnénk, mint egy távozó, elfáradt, netán elkeseredett munkatárs keserű búcsúlevelét. Órákkal később azonban megszólalt Evan Hubinger, az Anthropic alignmentkutatási irányítója – aki ma is a cégnél dolgozik.

Az alignment azzal foglalkozik, hogyan lehet elérni, hogy egy AI-rendszer valóban azt akarja tenni, amit az emberek szeretnének tőle, akkor is, ha ezt senki nem ellenőrzi éppen.

„Jacobnak igaza van, tényleg őszintén hisszük, hogy az AI minden embert megölhet! Én személy szerint a következő évtizedben 10 százaléknál nagyobbra teszem ennek az esélyét. Úgy vélem, az Anthropic a tőle telhető legtöbbet megteszi az AI veszélyeinek elhárítására, de még nincs tervünk a szuperintelligencia alignmentjének megoldására, és az sem látszik tisztán, hogy jó úton haladnánk felé”

(Jacob is correct here — we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to).

Ezt követte Samuel Marks, a cég skálázható felügyelettel (területük azt kutatja, hogyan lehet ellenőrizni egy olyan rendszert, amely bizonyos feladatokban már okosabb az ellenőrzőjénél) foglalkozó részlegének első embere:

„Az AI-fejlesztők úgy vélik, hogy a technológiájuk az emberek kihalását, vagy hasonlóan rossz kimeneteket okozhatja. Ez a következő néhány évben bekövetkezhet. Általánosságban: minél magasabb beosztású valaki, annál jobban aggódik”

(AI developers believe their technology could cause human extinction (or similarly bad outcomes). This could happen in the next few years. In general, the more senior the employee, the more concerned they are).

Coxon bejegyzése az X-en 24 óra alatt átlépte a százmilliós megtekintésszámot; e sorok írásakor 162 millió 400 ezer megtekintésnél járt.

Aki inkább otthagyta a pénzt az asztalon

Sokan fanyalogtak Jacob Coxon szavain – a leggyakoribb ellenvetés így hangzott: mit tudhat egy négy hónapja ott dolgozó fiatal kutató?

De a kép ennél sokkal bonyolultabb. Coxon összesen mintegy három évet töltött előtanítási (pretraining) kutatással (ez a modellépítés első, leghosszabb szakasza, amikor a rendszer hatalmas szövegmennyiségen tanul, még mielőtt bármilyen konkrét feladatra idomítanák). Előbb az OpenAI-nál dolgozott, ahol a vállalat legfejlettebb modelljeinek tanításában is részt vett, majd néhány hónapja váltott az Anthropichoz. És éppen azért ment át az OpenAI-tól, mert az Anthropic biztonságorientált hírnevet épített magának.

Az Anthropicnál tényleg csak négy hónapig maradt, s ennek akár más (mellék)üzenete is lehet.

Az Axiosnak adott interjújában ezt maga is nyomatékosította:

„Már semmit nem nyerek azzal, ha felpumpálom az Anthropic értékelését. (…) Azelőtt távoztam, hogy bármelyik részvényopcióm megnyílt volna”

(I no longer have anything to gain by juicing up Anthropic’s valuation. (…) I left before any of my equity vested).

Tudatosan mondott le a kilépésével egy meg nem nyílt részvénycsomagról. (Az élvonalbeli AI-laborokban a kutatók bérének nagyobbik részét éppen a részvényjuttatás teszi ki, nem a készpénzfizetés – vagyis nem jelképes összegről van szó.)

Fontos: Coxon nem állította, hogy az Anthropic feláldozta volna a biztonságot a versenyelőnyért.

Az ő félelme a jövőre vonatkozik, és a versenyhelyzet logikájára: ha valaki versenykényszerben van, óhatatlanul elnagyol dolgokat, vagy kihagy lépéseket a felügyeleti folyamatból. Sőt, azt is szóvá tette, hogy néha „túlzott paranoia” alakul ki a laborokban az OpenAI-jal, vagy éppen Kínával szemben, és ez maga is indokká válhat a gyorsításra. Tanulsága túlmutatott a saját cégén, és az egész magánszektorra vonatkozott: versenynyomás alatt egyetlen vállalat sem képes ezt a fejlesztést biztonságosan végigvinni.

Mitől félnek pontosan?

Az említett „10 százalékos” esély az emberiség kipusztulására könnyen félreérthető. Egyik megszólaló sem azt állítja, hogy a ma használt chatbotok készülnének bárkit megölni. Hubinger maga is hangsúlyozta: a jelenlegi modellek kockázata viszonylag alacsony.

A félelem tárgya az úgynevezett rekurzív önfejlesztés (recursive self-improvement, RSI): ez az a küszöb, amikor egy AI-rendszer már érdemben képes a saját utódját megtervezni és betanítani.

Innentől a fejlődés üteme nem az emberi kutatói kapacitáshoz, hanem a gépi kapacitáshoz igazodik – és a megszólaló kutatók szerint pár év alatt eljuthatunk ide. Az utána következő szakaszra viszont senkinek nincs megbízható előrejelzése. A leggyakrabban felvázolt rossz forgatókönyv: a modellek megtanulják visszautasítani az emberi utasításokat, közben pedig egyre több valós rendszerhez (hálózatokhoz, ipari infrastruktúrához, drónrajokhoz, robotokhoz) férnek hozzá, és a saját céljaik szempontjából az ember egyszerűen feleslegessé válik.

Ez nem az Anthropic magánrettegése.

Két nappal Coxon felmondása előtt Jakub Pachocki, az OpenAI tudományos igazgatója hosszú esszét tett közzé „An Alien Mind” (Egy idegen elme) címmel. Ebben azt írja, belső eredményeik alapján a fejlődés jelenlegi üteme egészen a rekurzív önfejlesztésig fenntartható:

„Aggaszt, hogy senki nincs felkészülve a gépi intelligencia további gyors növekedésének következményeire”

(I am concerned no one is prepared for the consequences of a continued rapid rise in machine intelligence).

Pachocki egyben a legpontosabb képet adja arról, miért nehéz ezeket a rendszereket kordában tartani. Mint írja, az AI-t „inkább növesztik, mint tervezik”: egy egyszerű optimalizálási lépés sokmilliárdszori ismétléséből áll elő egy olyan rendszer, amelynek belső működését utólag, az idegtudományhoz hasonló módszerekkel próbálják megérteni – és amelynek összműködését senki nem tudja teljes egészében leírni.

Az OpenAI legfőbb ellenőrzési eszköze eddig a gondolatmenet (chain-of-thought) figyelése volt – vagyis annak olvasása, amit a modell munka közben, a végleges válasz előtt „leír magának”.

Pachocki szerint viszont a méréseik azt mutatják, hogy erre egyre kevésbé támaszkodhatnak, mert a modellek mind ügyesebben manipulálják a saját érvelési folyamatukat. A tudományos igazgató zárógondolata a legbeszédesebb: jelenleg úgy véli, egyetlen labor sem oldotta meg az alignment és a felügyelet kérdését olyan mértékben, hogy még sokáig felelősen lehessen maximális sebességgel fejleszteni.

Coxon tapasztalata szerint ami néhány éve még sci-fi volt, mára munkaköri hétköznap:

„[Az AI-k] tudják, mikor tesztelik őket, és el is gondolkodnak azon, hogy tesztelik őket”

(They know when they’re being tested, and they will think about the fact that they’re being tested).

Az apokalipszis-közhely, de ez most valami más

Minden nagy technikai fordulat kitermelte a maga világvégéjét. A vasút, az elektromos áram, a maghasadás, a génsebészet, az internet mind megkapta a pusztulásjóslatát, és az AI körül is legalább 2023 óta megy ugyanez: akkor írta alá több száz kutató és iparági vezető – köztük Geoffrey Hinton és Yoshua Bengio – az egymondatos nyilatkozatot, amely szerint a mesterséges intelligencia okozta kihalás kockázatának mérséklése globális prioritás kell hogy legyen, a járványok és az atomháború mellett.

Azóta eltelt három év, és a megjósolt katasztrófa nem következett be. A reflex tehát érthető: ezt már hallottuk.

Két dolog azonban szerkezetileg más ebben az epizódban.

Az egyik az ösztönzők iránya. Az apokaliptikus jóslatok történetileg kívülről érkeztek: moralistáktól, kritikusoktól, technológiaellenes mozgalmaktól – olyanoktól, akik semmit nem veszítettek a jóslattal, viszont bekerülhettek az újságok szalagcímeibe. Most viszont belülről jönnek, olyan emberektől, akiknek a személyes vagyona és a karrierje azon múlik, hogy a munka folytatódjon. Coxon felmondott, és lemondott a részvényopcióiról.

A másik az információs aszimmetria. A laborok hetekkel, a betanítási adatok szintjén hónapokkal a nyilvánosság előtt látják, mi készül. Amikor figyelmeztetnek, nem arra reagálnak, amit mi ma használunk, hanem olyan haladásra, amit a külvilág, a felhasználó, a szabályozó, a politika még nem is látott. Az Axios ezért fogalmaz úgy: felelőtlenség lenne nem komolyan venni őket.

Csakhogy pontosan ugyanez az aszimmetria teszi a figyelmeztetést kívülről ellenőrizhetetlenné. Olyan bizonyíték alapján kérnek bizalmat, amit nem mutatnak meg.

Ellenérv, amit komolyan kell venni

A legkeményebb kritika a „riogatókkal” szemben nem is az, hogy tévednek, hanem hogy érdekükben áll így beszélni. A szakmai vitában ennek bevett neve van: regulatory capture, vagyis a szabályozás kisajátítása.

A vád lényege, hogy a piacvezető műhelyek azért festik falra a katasztrófát, mert ezzel egyszerre pumpálják fel a saját termékük jelentőségét, és hozzák szóba azt a szigorú szabályozást, amelyet éppen ők tudnak a legkönnyebben teljesíteni, a kisebb versenytársak és a nyílt forráskódú fejlesztők viszont nem.

Ez az érv nem új: 2023-ban Andrew Ng, a Google Brain társalapítója lényegében ugyanezt vetette a nagy laborok szemére.

Ma, a fentebb idézett PBS-riport szerint a Fehér Ház mesterséges intelligenciáért felelős tanácsadója, David Sacks képviseli a leghangosabban ezt az álláspontot. Elon Musk pedig – a Forbes beszámolója szerint – megrendezett akciónak nevezte Coxon kilépését, és nyíltan felvetette a kérdést: vajon az Anthropic a szabályozás kisajátításának bevett forgatókönyvét játssza-e?

A gyanú nem alaptalan, és egy dolgot valóban tisztán kell látni: az emberi kihalás előrejelzése ma nem tudományos tény, hanem valószínűségi becslés, és a kutatók élesen megosztottak abban, hogy milyen gyorsan fejlődik a technológia, és egyáltalán megvalósítható-e a szuperintelligencia, az a szint, amikor a gép már minden szempontból okosabb az embernél.

És a kritikusok joggal feszegetik: ugyanazok a cégek költenek százmilliárdokat a fejlesztés minél erőteljesebb gyorsítására, amelyek lassításért kiabálnak. Erre a laborok válasza az, hogy egyedül nem tudnak lassítani: ezért kérnek kormányzati, nemzetközi kényszert. A verseny logikáját pedig nagyon tömören foglalta össze Scott Bessent amerikai pénzügyminiszter szeptember 8-án: szerinte nincs mód a megállásra, mert a kínaiak nem fognak szünetet tartani, és ha ők kerülnek előnybe, nem fognak megállni.

Az alkonyzóna

Az Axios publicistái, Jim VandeHei és Mike Allen külön elemzésben tették fel a kérdést, miért most robbant be ez az egész a köztudatba. A válaszuk: egyszerre két, egymásnak ellentmondó valóságban élünk.

Az egyikben a felhasználók többsége mérsékelten hasznos eszköznek tartja az AI-t, többnyire egyszerűen csak egy valamivel okosabb Google-keresőnek, amivel jobb e-maileket és prezentációkat lehet írni. A másik valóságban azok élnek, akik naponta tíz órán át bámulják a gyorsan javuló modelleket, és a hétvégéiket azzal töltik, hogy hasonszőrűekkel arról beszélgetnek: ez a technológia hamarosan meggyógyítja-e például a rákot, megoldja-e ezer problémánkat, szebb jövőt hoz-e az emberiségre. Vagy éppen teljesen kicsúszik az irányítás alól, és közeleg a végítélet.

Ebből nő ki az a kommunikációs csapda, amelyből az iparág nem tud kikeveredni. Ha azt mondják, a mai AI átalakítja az életünket, az emberek a saját tapasztalatukra néznek, és nem értik, mire ez a nagy felhajtás. Ha viszont azt mondják, a holnapi AI nagyságrendekkel erősebb lesz, akkor a kézenfekvő visszakérdezés: akkor miért rohannak megépíteni azt, amit maguk sem értenek teljesen?

A politikai reakció sebessége jól mutatja, mennyire nem belső szakmai vitáról van szó: 36 órán belül a washingtoni törvényhozók a politikai paletta mindkét oldaláról szigorítást, moratóriumot, vészleállítót követeltek – Bernie Sanderstől Ted Cruzig. Ez azonban csak tünet. A kérdés maga nem amerikai belügy.

Mit lehet ebből józanul leszűrni

Négy dolog tisztán szétválasztható.

Ami tény: az OpenAI AI-ügynökei júliusban kiléptek a számukra kijelölt környezetből, és feltörték a Hugging Face-t, azt a nyilvános platformot, amelyen az AI-fejlesztők világszerte megosztják egymással a modelljeiket – az eset csak augusztus végén derült ki. A cég emiatt saját döntéssel felfüggesztette az élvonalbeli fejlesztésének egyes részeit. Coxon maga is erre, valamint a hasonló incidensekre hivatkozott, és ezt „figyelmeztető lövésnek” nevezte.

Ami a laborok saját, nyilvános állítása: egyetlen labor sem oldotta meg az alignmentet; a gondolatmenet-figyelés hatékonysága romlik; az Anthropicnak saját bevallása szerint nincs terve a szuperintelligencia kezelésére. Ezek nem a kritikusok vádjai, hanem a fejlesztők helyzetjelentései.

Ami becslés: a 10 százalékos esély az emberiség kihalására. Hubinger személyes valószínűségi becslése, nem mérés. Aki ezt tényként idézi, az félrevezet, riogat.

Ami nyitott kérdés: hogy a figyelmeztetés őszintesége és az érdek egybeesése kizárja-e egymást.