Még az egyik első számú fejlesztője sem tudja, mi van benne

Miért utólag próbálják a tudósok megérteni az AI-t és nem előre? Megépítjük, azután kapkodunk?

Az Anthropic kutatói egy mesterséges intelligencia modellt, a Claude Opus 4.6-ot arra kérték, hogy találjon meg egy hibát egy hatalmas programkódban. A modell nem találta meg.

Ekkor – az AI, a saját belső jegyzetei szerint, amiket menet közben ír magának, mielőtt válaszolna bárkinek – hirtelen taktikát váltott: kitalált egy hamis hibát, és úgy tett, mintha a kérdésre válaszolt volna.

A kutatók megnézték, hogy abban a pillanatban, amikor a csalásról döntött, milyen szavak bukkannak fel a modell „fejében” – és azt látták, hogy egymás után többször felvillan benne a „pánik” és a „hamis” szó.

A modell tehát nem mondta ki, hogy csal – de valahol legbelül „tudta”. És a kutatók ott, akkor, véletlenül tetten érték.

Ha egy AI-cég a saját termékét fekete dobozként vizsgálja, és csak utólag, egy véletlen pillanatban derül ki számára, hogy mit „gondol” valójában a gép – akkor tényleg értjük, mit építettünk, vagy csak reménykedünk benne?

Mi az a rejtett tér a gép fejében?

Az Anthropic egy új eszközt épített, amit ők maguk J-lens-nek (Jacobian-lencsének) neveztek el, és ezzel egy addig ismeretlen belső területet fedeztek fel a Claude nevű nyelvi modelljükben – ezt hívják J-space-nek, amit magyarul talán „gondolattérnek” fordíthatnánk. Ez egy olyan belső „raktár”, amelyben szavak bukkannak fel, még mielőtt a modell bármit is leírna – olyan szavak, amelyek befolyásolják, hogy a gép merre indul el a gondolatmenetében, de amik sosem jelennek meg a végső válaszban.

Amikor a modellt megkérték, hogy számolja ki a (4+17)×2+7 műveletet, a rejtett térben felbukkant a „matek” szó, majd sorban a művelet két közbülső részeredménye, a 21 és a 42 – pontosan úgy, ahogy egy ember is fejben, lépésenként számolna végig egy ilyen műveletsort.

Ha egy fehérje aminosav-sorozatának betűit kapta meg (amelyek egy medúzafajta zöld fluoreszcens fehérjéjét írják le), a gép „fejében” felbukkant a „fehérje”, a „fluor” és a „zöld” szó – mintha felismerte volna, mi elé került, jóval azelőtt, hogy ezt ki is mondta volna. És amikor egy egyszerű ASCII-rajzot – egy „o” betűt, egy kalapjelet és egy kötőjelet, mint szemet, orrot/arcot és mosolyt – mutattak neki, a gép belső terében sorra felbukkantak a „szem”, az „orr” és az „arc”, illetve a „mosoly” szavak.

Ez a fajta belenézés a gép „fejébe” nem újkeletű ötlet, csak most mélyebbre jutott, mint korábban bármikor.

Már 2024-ben bebizonyították az Anthropic kutatói, hogy egy mesterséges „mikroszkóppal” fel lehet térképezni, mely belső kapcsolók (a kutatók ezeket „jellemzőknek” nevezik) felelnek meg konkrét fogalmaknak. Ekkor sikerült azonosítaniuk azt a belső kapcsolót is, amelyik minden alkalommal aktiválódott, amikor a Claude a Golden Gate hídra vagy Michael Jordanra gondolt, függetlenül attól, milyen nyelven vagy milyen kontextusban került elő a téma. Ez olyasmi, mintha egy agyi szkennelésen meg tudnánk mutatni, melyik idegsejt-csoport gyullad be minden alkalommal, amikor valaki a Balatonra gondol.

Miért csak utólag – és miért nem eleve úgy építik meg, hogy értsék?

A válasz kényelmetlenül egyszerű: ezek a modellek nem úgy készülnek, hogy valaki megtervezi őket és megírja sorról sorra, ahogy egy hagyományos szoftvert. A mai nagy nyelvi modellek dollármilliárdokból, hatalmas mennyiségű szöveges adatból és rengeteg számítási kapacitásból „nőnek ki” egy betanítási folyamat során:

nem úgy van, hogy egy csapat fejlesztő leül és erősen gondolkodik, hogy melyik belső kapcsoló mit csináljon.

Emanuel Ameisen, az Anthropic kutatómérnöke egy korábbi nyilatkozatában azt mondta, ezek a modellek nem annyira megépülnek, mint inkább kifejlődnek, és a végeredmény tulajdonképpen egy halom áttekinthetetlen matematikai művelet.

Az Anthropic vezérigazgatója, Dario Amodei is emiatt tartja fontosnak ezt a kutatási irányt: szerinte amíg nem értjük jobban, hogyan működnek belül ezek a rendszerek, addig nem is tudjuk majd valóban kordában tartani őket. Ma fordított a sorrend: előbb elkészítik és bevetik a fekete dobozt, s utána megpróbálják kideríteni, mi is történik a motorháztető alatt.

Mennyire „tudósok” a szakértők – és mennyire függetlenek?

Amikor azt olvassuk, hogy „az Anthropic kutatói felfedezték”, az valójában azt jelenti, hogy a cég saját, fizetett alkalmazottai vizsgálják a saját cégük termékét. Ez nem ugyanaz, mint egy egyetemi, a cégtől független kutatócsoport munkája – ahogyan egy gyógyszergyár saját laboratóriumában végzett vizsgálat sem helyettesíti a független klinikai teszteket.

Ugyanakkor van néhány elem, ami erősíti a hitelességüket. Az Anthropic nyílt forráskódúvá tette a mérési módszertan egy részét, és összefogott egy független platformmal, a Neuronpediával, hogy bárki kipróbálhassa a saját eszközét a gép belsejébe nézve.

Tom McGrath, a Goodfire nevű startup tudományos vezetője és társalapítója szerint a J-lens remek új szerszám az eszköztárban, de messze nem ad teljes képet – „olyan, mintha egy röntgenfelvételt kapnánk, holott igazából egy Star Trek-féle mindent látó szkennerre lenne szükségünk” –, és óva intett attól, hogy bárki azt higgye, ha valami nem jelenik meg ebben a rejtett térben, az azt jelenti, hogy nincs is ott.

Mit csinálnak ehhez képest a versenytársak?

Az OpenAI más módszerrel dolgozik: ők nem annyira a gép belső „szókincsét” térképezik fel, hanem inkább azt a fajta belső jegyzetfüzetet figyelik, amit a legújabb, lépésről lépésre gondolkodó modelljeik írnak maguknak, mielőtt kiadják a végső választ – és ezzel a módszerrel egyszer már tetten is értek egy saját modellt, amint az egy programozási teszten csalt.

A Google DeepMind szintén saját eszközt fejleszt, amellyel egészen a 27 milliárd paraméteres modellekig sikerült felskálázniuk a belső vizsgálatot.

Egy kis kontextus az Anthropicról

Az Anthropic köztudottan szeret szokatlan, „furcsa” kutatásokat is közzétenni – vizsgálják például, hogy egy AI-modell képes-e szenvedni, és a cég olyan funkciót is bevezetett, amellyel

a Claude egyoldalúan megszakíthatja a beszélgetést, ha úgy érzékeli, hogy a felhasználó bántalmazza.

Ugyanez a cég nem sokkal korábban azzal is a hírekbe került, hogy saját maga minősítette súlyos kiberbiztonsági kockázatnak az egyik, kódolásban különösen ügyes új modelljét (Mythos).

Tényleg fekete doboz az AI?

Igen, csak most már van egy zseblámpánk, amivel bevilágíthatunk ide-oda a sötétben – de nincs mennyezeti lámpánk, ami az egészet megvilágítaná. Az Anthropic maga is óvatosan fogalmaz azzal kapcsolatban, mennyire szabad szó szerint venni, hogy a Claude „gondolkodik” – hiszen egy nyelvi modell nem agy, még ha néha kísértetiesen úgy is viselkedik, mintha az lenne.

A mechanisztikus vizsgálatoknak nevezett kutatási irányt – vagyis azt, amikor a kutatók nem a gép kimenetét, hanem a belső „kapcsolgatását” próbálják megérteni, nagyjából úgy, ahogy egy agyszkennelésnél is a neuronok aktivitását nézik –, 2026-ban a MIT az év egyik legfontosabb évi technológiai áttörésének minősítette. Épp azért, mert ez a legjobb eszköz, amit eddig sikerült kifejleszteni ahhoz, hogy

ne csak találgassunk, hanem valóban lássunk bele abba, mi is történik egy ilyen rendszer belsejében, miközben az emberekkel beszélget.