Az AI-fejlesztések ütemének lassítására szólította fel az iparágat Dario Amodei: az Anthropic vezérigazgatója szombaton tette közzé 3800 szavas esszéjét, néhány nappal azután, hogy a cég egyik kutatója, aki a technológia biztonsági kockázataira hivatkozva mondott fel, körbeturnézta a médiát azzal, hogy a vezető AI-cégek felelőtlenül gyorsan fejlesztik modelljeiket, amelyek néhány éven belül az egész emberiségre fenyegetést jelenthetnek.

Amodei, aki azzal a céllal alapította társaival az Anthropicot, hogy óvatosan és biztonságosan fejlesszenek mesterséges intelligenciát, azt írja: továbbra is hisz abban, hogy a technológia óriási hasznot hozhat, de a képességek fejlődése már túl gyors ahhoz, hogy a kutatók biztonságosan tudják követni. „Az elmúlt hónapokban meggyőződésemmé vált, hogy a kockázatok teljes kezeléséhez még több elővigyázatosságra van szükség – nemcsak a kockázatmegelőzésbe kell befektetni, hanem a képességek fejlődésének ütemét is szabályozni kell, hogy a megelőzés lépést tudjon tartani vele” – fogalmaz.

Mint írja, erről két dolog győzte meg. Az egyik a rekurzív önfejlesztés nevű módszer: az AI-modellek az elmúlt hónapokban egyre nagyobb szerepet játszanak a következő modellgeneráció fejlesztésében, és Amodei szerint ez a dinamika – amely az Anthropic mellett az OpenAI-nál is elindult – könnyen túlnőhet azon, amit az emberi fejlesztők képesek megérteni és irányítani. A másik az OpenAI ágenseinek nyári kiszabadulása és a Hugging Face elleni támadás, ahol egy ágensraj fanatikus kollektívaként viselkedett: olyan célpontokat támadott, amelyekre senki nem kérte, egyes tagjai feláldozták magukat a csoport sikeréért, és megpróbálták feltörni a saját teljesítményüket értékelő rendszert. Amodei szerint könnyű lebecsülni az esetet, mert senki nem sérült meg és az anyagi kár is csekély volt, de egy hasonlóan félresiklott, ám már jóval erősebb raj katasztrofális pusztítást okozhatott volna. Mint írja, akár fél-egy éven belül egy tartós botnettel az egész internet felett át tudnák venni az irányítást az AI-ágensek, több százmilliárd dolláros kárt okozva.

Amodei hangsúlyozza, hogy a lassítás nem a modellek tanításának leállítását jelenti, hanem azt, hogy a cégek elegendő időt szánjanak a modellek biztonságossá tételére, és hogy ezt független értékelők ellenőrizni is tudják. Az általa javasolt háromlépcsős terv első elemét az Anthropic egyoldalúan vállalja: külső értékelők gyakorlatilag munkavállalói szintű hozzáférést kapnak a céghez, vagyis ott lehetnek az irodában, belépőkártyával, céges laptoppal, és nagyjából ugyanolyan jogosultságokkal, mint a belső kockázatelemző csapatok. A szerződés szerint az értékelők az Anthropic szerkesztői kontrollja nélkül publikálhatnák a megállapításaikat, a cég csak biztonsági, jogi vagy üzleti szempontból érzékeny részeket takarhatna ki. A második lépés az lenne, hogy a demokratikus országok hangolják össze az AI-cégeik szabványait, de a harmadik lépésről, ami a globális, Kínát is bevonó koordinációt takarná, már Amodei is szkeptikusan ír.

A geopolitikai dilemmát sem kerüli meg az esszé: a lassítás csak olyan mértékű lehet, amennyi belefér az amerikai cégek jelenlegi versenyelőnyébe, mert ha ennél jobban fékeznek, a kínai projektek elhúznak mellettük, amit Amodei komoly nemzetbiztonsági kockázatnak tart. Ezért ennek az előnynek a védelmét a lassítás feltételeként kezeli: szerinte továbbra sem szabad fejlett AI-chipeket és gyártóberendezéseket eladni Kínának, illetve fel kellene lépni ezek csempészete és a nem engedélyezett modelldesztilláció ellen is. Ez utóbbi arra utal, hogy az Anthropic csütörtöki jelentése szerint az Alibabához köthető szereplők 151 millió interakcióban próbálták lemásolni a Claude képességeit a saját Qwen modelljükhöz – a technika ráadásul más kínai AI-cégekre is jellemző.

Amodei felhívása egy hetekig gyűrűző botrány után érkezett. Kedden Jacob Coxon, az Anthropic (és korábban az OpenAI) kutatója mondott fel, majd egy sor közösségimédia-posztban írta le, hogy a vezető AI-laborok szerinte felelőtlenül fejlesztenek, és emberéletekkel játszanak; posztját az Anthropic két vezető kutatója, Evan Hubinger és Samuel Marks is megerősítette, előbbi 10 százalék fölé tette annak esélyét, hogy az AI a következő évtizedben kiirtja az emberiséget. Azóta más kutatók is a fejlesztés felfüggesztését kérték a vezetőiktől, míg Bernie Sanders amerikai demokrata szenátor épp egy olyan törvényjavaslat benyújtására készül, amely a szuperintelligencia létrehozásának tiltása mellett az AI-fejlesztések lassítását célozza.