Az OpenAI matematikai állításai rávilágítanak az AI ellenőrzési szűk keresztmetszetére

A WIRED beszámolója egy szélesedő konfliktust ír le a frontier AI-laborok és a hivatásos matematikusok között a folyamatok körül. Az OpenAI szóvivője, Lindsay McCallum azt mondta a WIRED-nek, hogy augusztus 28-án a cég elkezdett betanítani egy új belső modellt, és hogy a „Navier—Stokes millenniumi díjas probléma megoldása” mellett a modell „a matematika legtöbb területén több mint 100 régóta nyitott problémát oldott meg”.

Ez rendkívüli állítás, ráadásul törékeny kontextusban hangzik el. A Navier–Stokes-probléma a millenniumi díjas problémák egyike, olyan problémáké, amelyek megoldása normál esetben szakértők hosszan tartó vizsgálatát igényli. Az állítás körüli ellenőrzési téteket már tárgyaltuk az OpenAI Navier–Stokes-bizonyítási állításáról szóló cikkben: a fő eredmény fontos, de a nehéz rész az út onnan, hogy „a modell előállított egy érvelést”, odáig, hogy „a terület elfogadja a tételt”.

A WIRED arról is beszámolt, hogy az OpenAI azt mondta embereknek: több száz megoldást tervez közzétenni megoldatlan problémákra a GitHubon. McCallum azt mondta a WIRED-nek, hogy a cég „felelősen dolgozik” a következő matematikai eredmények közzétételén, és az Institute for Advanced Study Mathematics and Artificial Intelligence tanácsadó csoportjának tanácsaira és nyilvános ajánlásaira támaszkodik. Azt is mondta, hogy az OpenAI nem tűzött ki közzétételi időpontot.

Ez a különbségtétel számít. Egy GitHub-kiadás hasznos a szoftvereknél. Nem automatikusan a megfelelő egység a frontier matematikához. A matematikusok tudnak kódot, formális bizonyításokat, vázlatokat és tanulmányokat olvasni, de mindegyik formátum más kérdésre válaszol. Működik-e az érvelés? Kié volt a kulcsötlet? Milyen korábbi munkára támaszkodik? Mely részek újak, és melyek újrakombinációk? Mit idézzenek más kutatók?

Bryna Kra, a Northwestern University matematikusa, aki részt vett az augusztusi találkozón, azt mondta a WIRED-nek, hogy a résztvevők arra kérték az OpenAI-t, ne csak blogposztban vagy tweetben tegye közzé az eredményeket, hanem írjon olyan tanulmányokat, amelyeket a matematikusok „befogadhatnak, megemészthetnek és használhatnak”. Kra ezt mondta a WIRED-nek: „Úgy tűnik, ezt a visszajelzést figyelmen kívül hagyták.”

A forrásanyag legtisztább technikai példája nem a vitatott, több száz eredményből álló csomag. Hanem az OpenAI korábbi egységtávolság-eredménye.

Az Erdős-féle egységtávolság-probléma nagyjából azt kérdezi, hogy egy síkban hány pontpár lehet pontosan egy egységnyi távolságra egymástól. Erdős Pál azt sejtette, hogy a lehető legjobb elrendezés csak éppen hogy gyorsabban nő, mint a pontok száma. Az Ars Technica szerint az OpenAI modellje megcáfolta ezt azzal, hogy a hagyományos rácsalapú megközelítéseknél összetettebb pontelrendezést konstruált.

Az Ars a módszert ismert matematikai ötletek okos újrakombinációjaként írja le. A modell egy nagy dimenziós rácsot használt, azt két dimenzióba vetítette, majd algebrai egészekkel gazdagabb struktúrát hozott létre. Az Ars értékelése szerint az eredmény nem vezetett be valóban új technikákat. Emberi matematikusok később letisztázták és kiterjesztették a munkát.

Ez a kombináció fontos: elég autonóm ahhoz, hogy számítson, de nem varázslat. Az AI-rendszer talált egy bizonyítást, amely megoldott egy jelentős nyitott sejtést, az eredménynek mégis szüksége volt emberi értelmezésre, egyszerűsítésre, kiterjesztésre és a szakirodalomban való elhelyezésre.

Ez a legreálisabb közeli kép az AI-ról a kutatásban: a modellek szélesen keresnek, részterületeket kapcsolnak össze, és végigvisznek olyan bizonyítási stratégiákat, amelyek embereknek fárasztóak lennének; az emberek döntik el, mely kérdések fontosak, javítják a kifejtést, ellenőrzik a munkát, és felépítik a következő réteget. Ez a munkamegosztás nem biztos, hogy örökké fennmarad, de a rendelkezésre álló beszámolók jelenlegi bizonyítékai inkább hibrid történetet támasztanak alá, mint tiszta leváltást.

Ez arra is hasonlít, amit a mérnökök szoftverügynököknél látnak. A legnehezebb éles üzemi kérdések nem csak arról szólnak, hogy „tud-e a modell választ előállítani?” Hanem arról, hogy „ki tudjuk-e értékelni, reprodukálni tudjuk-e, hozzá tudjuk-e rendelni a forrást, és biztonságosan engedhetjük-e cselekedni?” Ezért vált központivá az értékelés megtervezése, a kis golden setektől az ismételt futásokon alapuló mérőszámokig, például a pass@k-ig; ha a mérnöki verzió érdekel, kezdd az LLM-értékeléssel.

A WIRED által leírt ellenreakció nem egyszerű értelemben vett AI-ellenesség. A cikkben idézett több matematikus kifejezetten lelkesebb eszközök miatt tűnik izgatottnak. Az aggodalmuk az intézményi hatalomról és a tudományos folyamatról szól.

A WIRED azt írja, hogy egyes akadémikusok szerint a matematika az OpenAI és az Anthropic bizonyítási terepévé vált, miközben a cégek versenyeznek a modellképességek demonstrálásában. Nestor Guillen, a New York University vendég matematikaprofesszora azt mondta a WIRED-nek, hogy a matematikusok körében „maffiaszerű viselkedés benyomása” alakult ki az AI-cégekkel kapcsolatban. Az OpenAI részéről McCallum így reagált: „Nem értünk egyet ezzel a jellemzéssel.”

A WIRED által leírt legsúlyosabb vita Tristan Buckmaster, a New York University professzora, és Levent Alpöge, az Anthropic munkatársa között zajlik. A WIRED szerint az OpenAI szeptemberben több ezer ügynököt vetett be egy millenniumi díjas probléma megoldására, miután „pletykákat” hallott arról, hogy mások közel járnak. Buckmaster azzal vádolta az OpenAI-t, hogy elébe vágott annak a munkának, amelyet Alpögével végzett, amelyet a páros még nem publikált, de amelynek fejlesztéséhez OpenAI-eszközöket használtak.

Az OpenAI kutatója, Sébastien Bubeck a WIRED beszámolója szerint tagadta, hogy Alpöge szerzőségből való kizárását kérte volna. Az epizód mégis megmutatja, miért válik nehézzé a szerzőség és az érdemek hozzárendelése, amikor a kutatók saját fejlesztésű, zárt eszközöket használnak, a laborok láthatják a használat egy részét, és a belső modelleket nagy léptékben rá lehet irányítani szomszédos problémákra.

A közösség már reagál. A WIRED megemlíti a Hexagont, egy főként AI által generált matematikai anyagoknak szánt adattárat, valamint a Palomart, a géppel ellenőrzött matematika regiszterét. Idézi a Leideni nyilatkozatot is, egy több mint 4.000 matematikus által aláírt felhívást, amely arra kéri az AI-cégeket, hogy feleljenek meg a matematikusok standardjainak.

Az irány egyértelmű: ha az AI által generált matematika bőségessé válik, a matematikának új infrastruktúrára lesz szüksége az eredet, a bírálat és az ellenőrzés kezeléséhez. A GitHub ennek része lehet. De nem lehet az egész folyamat.

Egy bizonyítást nem azért fogadnak el, mert egy erős modell kibocsátja. Hanem azért, mert egy közösség ellenőrizni tudja.

Ezt a társadalmi réteget kívülről könnyű alábecsülni. A matematika gyakran tiszta logikának tűnik: a bizonyítás vagy érvényes, vagy nem. A gyakorlatban egy bizonyításnak olvashatónak, kontextusba helyezettnek és a meglévő munkához kapcsolódónak is kell lennie. Egy területnek tudnia kell, mely lemmák végzik a tényleges munkát, mely feltevések rejtettek, mely hivatkozások hiányoznak, és mely állítások elég erősek ahhoz, hogy újra fel lehessen használni őket.

Az AI a mennyiség megváltoztatásával terheli meg ezt a rendszert. Egy nehéz bizonyítás kihívás. Több száz állított megoldás sorbanállási probléma. Ha csak kevés szakértő tud minden egyes eredményt kiértékelni, egy nagy csomag közzététele a labor szemszögéből előrelépésnek, a terület szemszögéből viszont törmeléknek tűnő hátralékot hozhat létre.

AI-építők számára ez a hasznos analógia: a képesség ellenőrzési kapacitás nélkül működési kockázatot teremt. Egy kódoló ügynök, amely 200 pull requestet nyit, kevésbé lehet hasznos, mint egy olyan, amely öt áttekinthetőt nyit. Egy kutatóügynöknek, amely több ezer jelölt állítást állít elő, triázsra van szüksége. Egy üzleti ügynöknek, amely eszközökön átívelően cselekszik, jóváhagyási pontokra, auditnaplókra és visszagörgetési útvonalakra van szüksége. Ugyanez a minta jelenik meg az emberi jóváhagyási pontokban és a hosszú futású ügynöki munkában, ahol a kontextus, az állapot és a felügyelet fontosabb, mint egyetlen lenyűgöző válasz.

A matematikai vita előzetese annak, mi történik, amikor a generálás olcsóbbá válik, mint az értékelés.

A matematika korai stresszteszt, mert szokatlan tulajdonságai vannak. A problémák élesen megfogalmazhatók. A bizonyítások néha formálisan ellenőrizhetők. A presztízs névvel ellátott nyitott kérdések megoldásához kötődik. A közösségnek pedig erős normái vannak az elsőbbség, a szerzőség és a publikálás körül.

Más területek is szembesülnek majd ugyanezen nyomás egy változatával mindenütt, ahol három feltétel teljesül:

A szoftver már itt tart. Kódot gyorsan lehet generálni, de a helyesség, a biztonság, a karbantarthatóság és a tulajdonjog továbbra is ellenőrzést igényel. A tudományos irodalom közel van ehhez: egy AI gyorsabban tud hipotéziseket vagy elemzéseket javasolni, mint ahogy a laborok tesztelni tudnák őket. A jogi és orvosi munka kötöttebb, de ugyanazt az aszimmetriát hordozza a gördülékeny kimenet és a költséges ellenőrzés között.

A tanulság nem az, hogy alapértelmezetten minden modellt lassítsunk le. Hanem az, hogy az intézményeket és rendszereket a szűk keresztmetszet köré tervezzük. Ha egy modell 1.000 hihető artefaktumot tud előállítani, a termékkérdés ez lesz: melyik 10-et lássa ember, milyen sorrendben, milyen bizonyítékokkal és milyen korlátok között?

Ez a gyakorlati ügynökrendszerek tervezési középpontja is. A többügynökös munkafolyamatoknak útválasztásra, memóriára, eszközökre és eszkalációs utakra van szükségük, de határokra is: mi futhat automatikusan, mi igényel ellenőrzést, és mit kell naplózni későbbi vizsgálatra. Ha ebbe az irányba építesz, a mérnöki problémák inkább a többügynökös orkestrációval fednek át, mint a promptokkal való trükközéssel.

A beszámolók rövid normajegyzékre mutatnak, amely csökkentené a súrlódást.

Először is tanulmányokat kellene kiadni, nem csak bejelentéseket. A blogposztok elmagyarázhatják az eredményeket, de nem helyettesíthetik a tudományos objektumot, amikor az állítás egy tétel.

Másodszor, el kell választani a képességdemókat a tudományos állításoktól. „A modellünk előállította ezt a bizonyítást” és „a közösség elfogadja ezt az eredményt” két külön állítás. Ha külön maradnak, az a labort és a területet is védi.

Harmadszor, fel kell tárni az eredetet. Ha külső matematikusok AI-eszközöket használtak, ha egy labor hozzáfért felhasználói interakciókhoz, vagy ha belső ügynököket vetettek be, miután konkurens munkáról hallottak, a szerzőségi történetnek többre van szüksége egy lábjegyzetnél.

Negyedszer, regisztereket és ellenőrzési infrastruktúrát kell használni. A WIRED szerint matematikusok arra biztatták az OpenAI-t, hogy használjon olyan eszközöket, mint a Hexagon és a Palomar. Ha ezek az eszközök nem elegendők, a laboroknak segíteniük kellene a folyamat javítását, nem pedig megkerülniük azt.

Ötödször, ember által áttekinthető ütemben kell közzétenni. Több száz eredmény egyszerre történő ledobása maximalizálhatja a látványosságot. A megértést nem maximalizálja.

Az identitásválság, ha van ilyen, nem az, hogy a matematikusok többé nem számítanak. Hanem az, hogy a szakmának talán újra kell definiálnia, mi a szűkös munkája. A jó kérdések feltevése, standardok kialakítása, eredmények ellenőrzése, érdemek hozzárendelése és elszigetelt bizonyítások használható elméletté alakítása mind fontosabbá válik, amikor a gépek több jelölt választ tudnak előállítani.

Ez az eltolódás kényelmetlen. De ismerős is. Minden érett terület szűrőket alakít ki, amikor a termelés olcsóvá válik. Az AI arra kényszeríti a matematikát, hogy ezeket a szűrőket nyilvánosan építse fel.

További világos AI-hírekért és gyakorlati útmutatókért iratkozz fel a NeuraLIA Labs hírlevélre.

• A központi kérdés nem csak az, hogy az AI képes-e nehéz matematikai problémákat megoldani, hanem az is, hogy a matematikai közösség ugyanilyen sebességgel tudja-e ellenőrizni és befogadni az eredményeket.
• Az OpenAI állítólag jelentős előrelépést állított régóta fennálló problémákban, köztük a Navier–Stokes-problémában és több mint 100 más nyitott kérdésben, de az elfogadás szakértői vizsgálattól függ.
• Az Erdős-féle egységtávolság-eredmény valószínű közeli mintát mutat: az AI-rendszerek fontos bizonyításokat találhatnak, miközben az emberek továbbra is egyszerűsítik, kontextusba helyezik és kiterjesztik őket.
• A matematikusok aggodalmai a folyamatra, az eredetre, a szerzőségre, a publikációs normákra és a bírálati rendszerek túlterhelésének kockázatára összpontosítanak.
• Ugyanez a generálás kontra ellenőrzés szűk keresztmetszet jelenik meg a szoftverben, a tudományban, a jogban, az orvoslásban és az ügynökalapú AI-munkafolyamatokban.

Ez a különbség aközött, hogy az AI-rendszerek milyen gyorsan tudnak hihető bizonyításokat vagy állításokat generálni, és a szakértők milyen lassan tudják azokat ellenőrizni, kontextusba helyezni, szerzőséghez kötni és újra felhasználni.

Az OpenAI állítólag azt állította, hogy egy belső modell megoldotta a Navier–Stokes millenniumi díjas problémát, de a cikk hangsúlyozza, hogy egy ilyen állítás elfogadásához közösségi ellenőrzés szükséges.

Aggodalmaik közé tartoznak a publikációs standardok, a szerzőség, az eredet, az elsőbbségi viták, valamint annak lehetősége, hogy az AI által generált eredmények nagy csomagjai túlterhelhetik a szakértői bírálatot.

A tárgyalt beszámolók szerint egy OpenAI-modell ismert ötletek hasznos újrakombinálásával megcáfolta az Erdős-féle egységtávolság-sejtést, majd emberi matematikusok letisztázták és kiterjesztették a munkát.

A szoftver, a tudományos kutatás, a jogi munka és az orvosi munka mind hasonló nyomás alatt áll, mert az AI gyorsan képes kimeneteket előállítani, miközben az érvényesítés továbbra is drága és nagy következményekkel jár.