Matematická tvrzení OpenAI odhalují úzké hrdlo ověřování AI

Zpráva WIRED popisuje prohlubující se konflikt mezi frontier laboratořemi AI a profesionálními matematiky ohledně procesu. Mluvčí OpenAI Lindsay McCallum řekla WIRED, že 28. srpna společnost začala trénovat nový interní model a že kromě „vyřešení Navierova–Stokesova problému Ceny tisíciletí“ model „vyřešil více než 100 dlouho otevřených problémů napříč většinou oblastí matematiky“.

To je mimořádné tvrzení a přichází v křehkém kontextu. Navierův–Stokesův problém patří mezi problémy Ceny tisíciletí, tedy třídu problémů, jejichž vyřešení běžně vyžaduje dlouhodobé zkoumání odborníků. Sázky spojené s ověřením tohoto tvrzení jsme rozebrali v článku Tvrzení OpenAI o důkazu Navierova–Stokesova problému: hlavní výsledek je důležitý, ale tvrdou částí je cesta od „model vytvořil argument“ k „obor přijímá teorém“.

WIRED také uvedl, že OpenAI lidem sdělila, že plánuje zveřejnit stovky řešení nevyřešených problémů na GitHubu. McCallum řekla WIRED, že společnost „pracuje na odpovědném zveřejnění“ dalších matematických výsledků a čerpá z rad a veřejných doporučení Advisory Group on Mathematics and Artificial Intelligence při Institute for Advanced Study. Také uvedla, že OpenAI nestanovila čas zveřejnění.

Na tomto rozlišení záleží. Zveřejnění na GitHubu je užitečné pro software. Automaticky však není správnou jednotkou pro frontier matematiku. Matematici umějí číst kód, formální důkazy, náčrty i články, ale každý formát odpovídá na jinou otázku. Funguje argument? Kdo měl klíčovou myšlenku? Na jaké předchozí práci závisí? Které části jsou nové a které jsou rekombinacemi? Co mají ostatní výzkumníci citovat?

Bryna Kra, matematička z Northwestern University, která se srpnového setkání zúčastnila, řekla WIRED, že účastníci žádali OpenAI, aby výsledky nezveřejňovala pouze v blogovém příspěvku nebo tweetu, ale aby místo toho napsala články, které matematici mohou „vstřebat, strávit a použít“. Kra řekla WIRED: „Zjevně byla tato zpětná vazba ignorována.“

Nejjasnějším technickým příkladem ve zdrojových materiálech není sporná dávka stovek výsledků. Je jím dřívější výsledek OpenAI týkající se jednotkové vzdálenosti.

Erdősův problém jednotkových vzdáleností se zhruba ptá, kolik dvojic bodů v rovině může být od sebe přesně jednu jednotku. Paul Erdős se domníval, že nejlepší možné uspořádání poroste jen nepatrně rychleji než počet bodů. Podle Ars Technica model OpenAI dokázal, že se mýlil, když zkonstruoval složitější uspořádání bodů než tradiční přístupy založené na mřížce.

Ars popisuje metodu jako chytrou rekombinaci známých matematických myšlenek. Model použil vysokodimenzionální mřížku, promítl ji do dvou rozměrů a využil algebraická celá čísla k vytvoření bohatší struktury. Podle hodnocení Ars výsledek nepřinesl skutečně nové techniky. Lidští matematici práci později pročistili a rozšířili.

Tato kombinace je důležitá: dost autonomní na to, aby na ní záleželo, ale ne magická. Systém AI našel důkaz, který vyřešil významnou otevřenou domněnku, přesto výsledek stále potřeboval lidskou interpretaci, zjednodušení, rozšíření a zařazení do literatury.

To je nejrealističtější krátkodobý obraz AI ve výzkumu: modely široce hledají, propojují podobory a procházejí důkazové strategie, které by pro lidi byly únavné; lidé rozhodují, na kterých otázkách záleží, opravují výklad, kontrolují práci a budují další vrstvu. Toto rozdělení nemusí vydržet navždy, ale současné důkazy v dostupném zpravodajství podporují spíše hybridní příběh než příběh čistého nahrazení.

Podobá se to také tomu, co inženýři vidí u softwarových agentů. Nejtěžší produkční otázky nejsou jen „dokáže model vytvořit odpověď?“ Jsou to otázky „dokážeme ji vyhodnotit, reprodukovat, přiřadit a bezpečně ji nechat jednat?“ Proto se návrh evaluací stal klíčovým, od malých golden setů až po metriky opakovaných běhů, jako je pass@k; pokud chcete inženýrskou verzi, začněte u vyhodnocování LLM.

Reakce, o které WIRED informuje, není anti-AI v jednoduchém smyslu. Několik matematiků citovaných v textu se zdá být silnějšími nástroji nadšeno. Jejich obavou je institucionální moc a vědecký proces.

WIRED píše, že někteří akademici mají pocit, že se matematika stala zkušebním polem pro OpenAI a Anthropic, zatímco společnosti závodí v dokazování schopností modelů. Nestor Guillen, hostující profesor matematiky na New York University, řekl WIRED, že mezi matematiky existuje vůči společnostem AI „dojem mafiánského chování“. McCallum z OpenAI odpověděla: „S touto charakteristikou nesouhlasíme.“

Nejvážnější spor popsaný WIRED se týká Tristana Buckmastera, profesora na New York University, a Leventa Alpögeho, zaměstnance Anthropic. WIRED uvádí, že OpenAI v září nasadila tisíce agentů k práci na problému Ceny tisíciletí poté, co zaslechla „zvěsti“, že jiní jsou blízko. Buckmaster obvinil OpenAI z předbíhání práce, kterou dělal s Alpögem, práce, kterou dvojice ještě nezveřejnila, ale při jejímž vývoji využívala nástroje OpenAI.

Výzkumník OpenAI Sébastien Bubeck podle popisu jeho reakce ve WIRED popřel, že by žádal o vyloučení Alpögeho z autorství. Přesto tato epizoda ukazuje, proč se atribuce stává obtížnou, když výzkumníci používají proprietární nástroje, laboratoře mohou sledovat část používání a interní modely lze ve velkém měřítku nasměrovat na sousední problémy.

Komunita už reaguje. WIRED zmiňuje Hexagon, repozitář primárně AI generovaného matematického materiálu, a Palomar, registr strojově ověřené matematiky. Cituje také leidenskou deklaraci, výzvu podepsanou více než 4 000 matematiky, která žádá společnosti AI, aby splnily standardy matematiků.

Směr je jasný: pokud se matematika generovaná AI stane hojnou, matematika potřebuje novou infrastrukturu pro původ, recenzi a ověřování. GitHub může být její součástí. Nemůže být celým procesem.

Důkaz není přijat proto, že jej vygeneruje výkonný model. Je přijat proto, že jej komunita dokáže zkontrolovat.

Tuto sociální vrstvu lze zvenčí snadno podcenit. Matematika často vypadá jako čistá logika: důkaz buď platí, nebo ne. V praxi ale důkaz musí být také čitelný, zasazený do kontextu a propojený s existující prací. Obor potřebuje vědět, která lemmata nesou hlavní váhu, které předpoklady jsou skryté, které citace chybějí a která tvrzení jsou dostatečně silná k opětovnému použití.

AI tento systém zatěžuje tím, že mění objem. Jeden obtížný důkaz je výzva. Stovky deklarovaných řešení jsou problém fronty. Pokud každý výsledek dokáže posoudit jen malý počet odborníků, zveřejnění velké dávky může vytvořit backlog, který z pohledu laboratoře vypadá jako pokrok a z pohledu oboru jako suť.

Pro tvůrce AI je užitečná tato analogie: schopnost bez kapacity pro kontrolu vytváří provozní riziko. Kódovací agent, který otevře 200 pull requestů, může být méně užitečný než ten, který otevře pět kontrolovatelných. Výzkumný agent, který vytvoří tisíce kandidátních tvrzení, potřebuje třídění. Business agent, který provádí akce napříč nástroji, potřebuje schvalovací body, auditní logy a cesty pro rollback. Stejný vzorec se objevuje u schvalování s člověkem ve smyčce i u dlouho běžící práce agentů, kde kontext, stav a dohled znamenají více než jedna působivá odpověď.

Matematická kontroverze je náhledem toho, co se stane, když se generování stane levnějším než vyhodnocování.

Matematika je raným zátěžovým testem, protože má neobvyklé vlastnosti. Problémy lze ostře formulovat. Důkazy lze někdy formálně ověřit. Prestiž je svázaná s řešením pojmenovaných otevřených otázek. A komunita má silné normy týkající se priority, atribuce a publikování.

Jiné obory budou čelit verzi téhož tlaku všude tam, kde platí tři podmínky:

Software už tam je. Kód lze generovat rychle, ale správnost, bezpečnost, udržovatelnost a vlastnictví stále vyžadují kontrolu. Vědecká literatura je blízko: AI může navrhovat hypotézy nebo analýzy rychleji, než je laboratoře dokážou testovat. Právní a medicínská práce jsou omezenější, ale sdílejí stejnou asymetrii mezi plynulým výstupem a nákladným ověřováním.

Poučení nespočívá v tom, že bychom měli každý model ve výchozím nastavení zpomalit. Spočívá v návrhu institucí a systémů kolem úzkého hrdla. Pokud model dokáže vytvořit 1 000 věrohodných artefaktů, produktová otázka zní: kterých 10 má vidět člověk, v jakém pořadí, s jakými důkazy a za jakých omezení?

To je také těžiště návrhu praktických agentních systémů. Multi-agentní workflow potřebují směrování, paměť, nástroje a eskalační cesty, ale potřebují také hranice: co může běžet automaticky, co vyžaduje kontrolu a co se zaznamená pro pozdější inspekci. Pokud stavíte tímto směrem, inženýrské problémy se překrývají více s multi-agentní orchestrací než s chytrostí promptů.

Zpravodajství ukazuje na krátký seznam norem, které by snížily tření.

Za prvé, zveřejňovat články, nejen oznámení. Blogové příspěvky mohou výsledky vysvětlit, ale neměly by nahrazovat vědecký objekt, když je tvrzením teorém.

Za druhé, oddělit ukázky schopností od vědeckých tvrzení. „Náš model vytvořil tento důkaz“ a „komunita tento výsledek přijímá“ jsou různá tvrzení. Jejich oddělení chrání laboratoř i obor.

Za třetí, zveřejnit původ. Pokud externí matematici používali nástroje AI, pokud laboratoř měla přístup k interakcím uživatelů nebo pokud byli interní agenti nasazeni poté, co se laboratoř doslechla o konkurenční práci, příběh atribuce potřebuje víc než poznámku pod čarou.

Za čtvrté, používat registry a ověřovací infrastrukturu. WIRED uvádí, že matematici povzbuzovali OpenAI k používání nástrojů, jako jsou Hexagon a Palomar. Pokud tyto nástroje nestačí, laboratoře by měly pomoci proces zlepšit, ne jej obejít.

Za páté, zveřejňovat v tempu, které lidé zvládnou recenzovat. Hromadný dump stovek výsledků může maximalizovat efekt. Nemaximalizuje porozumění.

Krize identity, pokud nějaká existuje, nespočívá v tom, že na matematicích už nezáleží. Spočívá v tom, že profese možná bude muset předefinovat svou vzácnou práci. Klást dobré otázky, nastavovat standardy, ověřovat výsledky, přiřazovat zásluhy a proměňovat izolované důkazy v použitelnou teorii — to vše nabývá na důležitosti, když stroje dokážou produkovat více kandidátních odpovědí.

Tento posun je nepohodlný. Je také známý. Každý vyspělý obor vyvíjí filtry, když produkce zlevní. AI nutí matematiku budovat tyto filtry veřejně.

Pro další srozumitelné novinky ze světa AI a praktické průvodce se přihlaste k odběru newsletteru NeuraLIA Labs.

• Ústřední otázkou není jen to, zda AI dokáže řešit těžké matematické problémy, ale zda matematická komunita dokáže výsledky ověřovat a vstřebávat stejnou rychlostí.
• OpenAI údajně tvrdí, že dosáhla zásadního pokroku u dlouho otevřených problémů, včetně Navierova–Stokesova problému a více než 100 dalších otevřených otázek, ale přijetí závisí na odborném zkoumání.
• Výsledek týkající se Erdősovy jednotkové vzdálenosti ukazuje pravděpodobný krátkodobý vzorec: systémy AI mohou najít důležité důkazy, zatímco lidé je stále zjednodušují, zasazují do kontextu a rozšiřují.
• Obavy matematiků se soustředí na proces, původ, atribuci, publikační normy a riziko zahlcení recenzních systémů.
• Stejné úzké hrdlo mezi generováním a ověřováním se objevuje v softwaru, vědě, právu, medicíně a agentních AI workflow.

Je to mezera mezi tím, jak rychle systémy AI dokážou generovat věrohodné důkazy nebo tvrzení, a tím, jak pomalu je odborníci dokážou ověřit, zasadit do kontextu, přiřadit a znovu použít.

OpenAI údajně tvrdí, že interní model vyřešil Navierův–Stokesův problém Ceny tisíciletí, ale článek zdůrazňuje, že před přijetím takového tvrzení je nutné ověření komunitou.

Jejich obavy zahrnují publikační standardy, autorství, původ, spory o prioritu a možnost, že velké dávky výsledků generovaných AI zahltí odbornou recenzi.

Podle diskutovaného zpravodajství model OpenAI vyvrátil Erdősovu domněnku o jednotkové vzdálenosti užitečnou rekombinací známých myšlenek, načež lidští matematici práci pročistili a rozšířili.

Software, vědecký výzkum, právní práce a medicínská práce čelí podobnému tlaku, protože AI dokáže výstupy vytvářet rychle, zatímco validace zůstává nákladná a důsledky jsou významné.