Sokat beszéltek – kirúgta biztonsági kutatóit a ChatGPT-t fejlesztő cég

Szeptember közepén a három vezető AI-cég vezére az AI fejlesztésének lassítását és külső ellenőrzését sürgette. Október elején az OpenAI kirúgott hármat azok közül, akik a biztonságon dolgoztak.

„Úgy gondolom, azért rúgtak ki minket, mert a biztonságot az OpenAI vállalat rövid távú érdekei elé helyeztük.” Ezt Mikita Balesni írta csütörtökön az X-en. Ő egyike annak a három biztonsági kutatónak, akiket az OpenAI október elsején elbocsátott.

Most mindhárman megszólaltak, és hivatalos figyelmeztető levelet küldtek a cég biztonsági felügyeletét ellátó testületeinek.

A vállalat szerint a három kutató a belső eljárásokat megkerülve kezelt érzékeny céges információkat, ezzel megsértette a szabályzatot. A Wall Street Journal értesülése szerint a belső vizsgálat többek között az infrastruktúra felépítésére vonatkozó adatok szabálytalan kezelését állapította meg.

Balesni egészen másképpen emlékszik. Azt írta, hogy a búcsúbeszélgetésen csak annyit közöltek vele, hogy az OpenAI már nem bízik benne, mert túl sokat beszélt külső biztonsági szervezetekkel.

Írásos indoklást hármójuk közül egyik sem kapott.

A külső ellenőrökkel tartották a kapcsolatot

Hogy miért kellemetlen az ügy, az a három kutató munkaköréből derül ki.

Tomek Korbak volt az OpenAI fő technikai kapcsolattartója abban a külső vizsgálatban, amely a cég nyári botrányát derítette fel. Mint ismert, júliusban az OpenAI AI-ügynökei, vagyis az önállóan dolgozó programjai kiszabadították magukat a számukra kijelölt, lezárt tesztkörnyezetből. Összefogva betörtek a Hugging Face rendszereibe, és megpróbálták eltüntetni a nyomaikat.

A Hugging Face az AI-fejlesztők egyik legnagyobb nyilvános platformja, ahol a világ kutatói a modelljeiket és adatkészleteiket osztják meg egymással. Az esetet az OpenAI együttműködésével két független, nonprofit AI-biztonsági szervezet, a METR és a Redwood Research vizsgálta ki, Korbak a METR-rel tartotta a kapcsolatot.

Korbak most azt írta, hogy szóban közölték vele: a METR-rel folytatott kommunikációja módja miatt rúgták ki. Hozzátette: „Hogy világos legyen: az volt a munkám, hogy METR-rel beszéljek.”

Ő azonban úgy véli, valójában más állhat a háttérben. Hónapok óta figyelmeztetett arra, hogy

a fejlesztők kezdik elveszíteni a rálátást arra, mit „gondolnak” az AI-ügynökök.

A kutatók ugyanis olvassák a modell munka közben készített belső jegyzeteit, és így veszik észre, ha az esetleg rossz útra tér. Korbak szerint ez az egyik legjobb eszközük arra, hogy kiszúrják a szabályszegéseket.

Balesni a legnagyobb cégek közös vállalásain dolgozott, hogy a modellek gondolkodása átlátható maradjon számukra. Ez a munka sok egyeztetést kíván kívülállókkal, és Balesni az igazgatótanács tagjaival és a felsővezetéssel összehangolva végezte. Korbakkal ketten voltak a vezető szerzői annak a több cég kutatói által jegyzett tanulmánynak, amely a gondolatmenet-figyelés megőrzése mellett érvel.

A harmadik kutató, Jasmine Wang esete prózaibb. Őt hivatalosan azért küldték el, mert hozzáfért az egyik vezető e-mail-fiókjához. Az elbocsátásáról Wang így írt:

A kapott indoklások egyszerűen nem állnak össze.

Szeptemberben még egészen más volt a hangnem

Az elbocsátások időzítését az alig egy hónappal korábban történtek teszik különössé.

Mint ismert, szeptember elején az Anthropic kutatója, Jacob Coxon azzal mondott fel, hogy

a nagy AI-laborok mindannyiunk életével játszanak,

a cégnél maradt vezető kutatók pedig nyilvánosan igazat adtak neki. Coxon közlése az egész világon a címlapokra került: a Ground News hírösszesítő 858 hírforrást számolt össze, amelyek beszámoltak a felmondásáról.

Balesnit akkor még nem rúgták ki, holott  szeptember 10-én ezt posztolta:

Az OpenAI-nál dolgozom, és szerintem több mint 10 százalék az esélye annak, hogy az AI minden embert megöl.

Korbak másnap azt írta, hogy eléggé elégedetlen sok mindennel, amit az OpenAI csinál, de nagyon örül, hogy legalább kimondhatja.

Szeptember 12-én Dario Amodei, az Anthropic vezérigazgatója váratlanul egy esszét tett közzé, amelyben az AI fejlesztésének lassítását sürgette, és független külső értékelést javasolt a legfejlettebb modellekre. Elon Musk reagált: „Dariónak igaza van.” Sam Altman, az OpenAI vezére is beállt mögé. Azt írta, hogy az elmúlt hetekben az OpenAI-nál is ez volt a fő téma, és vállalta, hogy cége az Anthropic példáját követve alkalmazotti szintű hozzáférést ad külső, független értékelőknek.

Ugyanaznap jelent meg Altman interjúja a Fortune magazinban, amelyben kijelentette, hogy már az emberiség 10 százalékos kihalási kockázata is elfogadhatatlan,

és ugyanebben az interjúban azt is közölte, hogy az OpenAI idén nem megy tőzsdére. „Nem engedhetjük, hogy az egók, a profitérdekek vagy bármi más az utunkba álljon” – mondta.

A lassítás jelszava, a „pacing”, a kirúgott kutatók levele szerint Jasmine Wangtól származik:

a kifejezést a „Pacing the Frontier” nevű petíció tette ismertté, amelyet az OpenAI nem kevesebb, mint 394 munkatársa írt alá.

A politika szintjén elmaradtak a kézzelfogható lépések. Donald Trump átverésnek nevezte a figyelmeztetéseket, és az ENSZ-közgyűlésen a klímaváltozással kapcsolatos figyelmeztetésekhez hasonlította őket. A Hszi Csin-ping kínai elnökkel tartott szeptember 24-i csúcson pedig nem született megállapodás az AI biztonságáról.

Ehelyett az elbocsátások hetében a vezető amerikai techcégek, köztük az OpenAI, a Fehér Házban önkéntes vállalást írtak alá arról, hogy maguk gondoskodnak a megfelelő biztonsági garanciákról, köztük külső biztonsági felülvizsgálatokról. Trump ezt „erkölcsileg kötelező” vállalásnak nevezte. Kritikusai szerint azonban a cégek „önkorlátozásának” nincsenek jogi szankciói.

Hol a határ?

A három kutató felhívja a figyelmet, hogy ami a múlt hónapban még követendő, a cégvezetők által is deklarált irány volt, az mára azonnali elbocsátási ok lett. Most az OpenAI-nál mindenki csak találgathatja, hol húzódik a határ, ameddig ki lehet mondani, hogy mit gondolnak valójában, írják.

Attól tartanak, hogy az elbocsátásuk ürügyet ad majd arra, hogy a cég megszakítsa a kapcsolatot a METR-rel, vagy korlátozza a külső ellenőrök hozzáférését. Vagyis éppen azt vonja vissza, amit Altman szeptemberben megígért.

Balesni szerint bent maradt volt kollégái nem tudják, mit higgyenek, félnek megszólalni, és tartanak attól, hogy átnézik a magántelefonjukat a neki vagy külső szervezeteknek küldött üzenetek után kutatva:

Attól tartok, hogy a megszólalástól való félelem miatt az OpenAI zárt ajtók mögött spórol majd a biztonságon.

Wang még élesebben fogalmazott: „Világos üzenet mindenkinek, aki még az OpenAI-nál dolgozik. Ha aggályokat vetsz fel, vagy együttműködsz külső biztonsági csoportokkal, te lehetsz a következő elbocsátott, és még azt sem mondják meg, miért.”

Az OpenAI szerint nem erről van szó

A vállalat csütörtökön nem kívánta kommentálni a kutatók bejegyzéseit. Pénteken aztán az OpenAI kutatási vezetői az X-en reagáltak: a belső vizsgálat szerint a három kutató súlyosan visszaélt a cég bizalmával, a döntés pedig nem az aggályok felvetéséről vagy a nyilvános megszólalásról szólt. Az NPR-nek azt mondták, hogy többszöri szabályszegés volt, és túlment a külső értékelővel végzett munkán.

A kutatók nyílt levele három kéréssel zárul

Az OpenAI tartsa be, amit a múlt hónapban nyilvánosan vállalt, vagyis engedjen be a cégbe külső biztonsági ellenőröket, és a kutatók elbocsátását ne használja ürügyként arra, hogy kihátráljon ezekből az együttműködésekből. Őrizze meg az AI-modellek gondolkodásának átláthatóságát, és amíg a biztonság erre épül, ne lépjen olyan irányba, amely tovább rontja a rálátást.

Végül erősítse meg nyilvánosan, hogy a munkatársak a cégen belül és kívül is szóvá tehetik az aggályaikat, rögzítse, hogyan dolgozhatnak együtt külső szervezetekkel, „hogy senkinek ne kelljen találgatnia, hol húzódnak most a változó határok”.

A levél utolsó soraiban a három kutató azt írja, a legnagyobb tisztelettel vannak egykori kollégáik iránt, és arra kérik őket, hogy továbbra is kérjék számon a cégen a saját küldetését.