OpenAIs matematikpåstande afslører AI’s verifikationsflaskehals

WIRED-rapporten beskriver en voksende konflikt mellem frontier-AI-labs og professionelle matematikere om processen. OpenAI-talskvinde Lindsay McCallum fortalte WIRED, at virksomheden den 28. august begyndte at træne en ny intern model, og at modellen ud over at »løse Navier—Stokes Millennium Prize-problemet« havde »løst mere end 100 langvarige åbne problemer på tværs af de fleste områder af matematikken«.

Det er en ekstraordinær påstand, og den står i en skrøbelig kontekst. Navier–Stokes-problemet er et af Millennium Prize Problems, en type problemer hvis løsning normalt kræver omfattende granskning fra eksperter. Vi dækkede verifikationsindsatsen omkring den påstand i OpenAIs påstand om et Navier–Stokes-bevis: Hovedresultatet betyder noget, men vejen fra »modellen producerede et argument« til »feltet accepterer sætningen« er den svære del.

WIRED rapporterede også, at OpenAI havde fortalt folk, at virksomheden planlagde at udgive hundredvis af løsninger på uløste problemer på GitHub. McCallum fortalte WIRED, at virksomheden »arbejdede på ansvarligt at udgive« de næste matematikresultater og trak på råd og offentlige anbefalinger fra Advisory Group on Mathematics and Artificial Intelligence ved Institute for Advanced Study. Hun sagde også, at OpenAI ikke havde fastsat et udgivelsestidspunkt.

Den skelnen betyder noget. En GitHub-udgivelse er nyttig til software. Den er ikke automatisk den rette enhed for frontier-matematik. Matematikere kan læse kode, formelle beviser, skitser og artikler, men hvert format besvarer et andet spørgsmål. Holder argumentet? Hvem havde nøgleideen? Hvilket tidligere arbejde bygger det på? Hvilke dele er nye, og hvilke er rekombinationer? Hvad bør andre forskere citere?

Bryna Kra, en matematiker ved Northwestern University, som deltog i augustmødet, fortalte WIRED, at deltagerne bad OpenAI om ikke kun at publicere resultater i et blogindlæg eller et tweet, men i stedet skrive artikler, som matematikere kunne »absorbere, fordøje og bruge«. Kra fortalte WIRED: »Tilsyneladende blev det input ignoreret.«

Det klareste tekniske eksempel i kildematerialet er ikke den omstridte pulje af hundredvis af resultater. Det er OpenAIs tidligere enhedsafstandsresultat.

Erdős’ enhedsafstandsproblem spørger groft sagt, hvor mange par af punkter i et plan der kan ligge præcis én enhed fra hinanden. Paul Erdős formodede, at den bedst mulige ordning kun ville vokse en anelse hurtigere end antallet af punkter. Ifølge Ars Technica beviste OpenAIs model, at han tog fejl, ved at konstruere en mere kompleks punktkonfiguration end de traditionelle gitterbaserede tilgange.

Ars beskriver metoden som en smart rekombination af kendte matematiske ideer. Modellen brugte et højdimensionelt gitter, projicerede det ned i to dimensioner og brugte algebraiske heltal til at skabe en rigere struktur. Resultatet introducerede efter Ars’ vurdering ikke reelt nye teknikker. Menneskelige matematikere ryddede senere op i arbejdet og udvidede det.

Den kombination er vigtig: autonom nok til at betyde noget, men ikke magi. AI-systemet fandt et bevis, der løste en stor åben konjektur, men resultatet havde stadig brug for menneskelig fortolkning, forenkling, udvidelse og placering i litteraturen.

Det er det mest realistiske nærbillede af AI i forskning: Modeller søger bredt, forbinder underfelter og tygger sig gennem bevisstrategier, som ville være trættende for mennesker; mennesker afgør, hvilke spørgsmål der betyder noget, reparerer fremstillingen, kontrollerer arbejdet og bygger det næste lag. Den arbejdsdeling holder måske ikke for evigt, men den aktuelle dokumentation i den nævnte rapportering understøtter mere en hybrid fortælling end en ren erstatningsfortælling.

Det ligner også det, ingeniører ser i softwareagenter. De sværeste produktionsspørgsmål er ikke kun »kan modellen producere et svar?« De er »kan vi evaluere det, reproducere det, tilskrive det og trygt lade det handle?« Derfor er evalueringsdesign blevet centralt, fra små golden sets til målinger over gentagne kørsler som pass@k; hvis du vil have ingeniørversionen, så start med LLM-evaluering.

Modreaktionen, som WIRED rapporterer om, er ikke anti-AI i simpel forstand. Flere matematikere, der citeres i artiklen, virker begejstrede for stærkere værktøjer. Deres bekymring handler om institutionel magt og videnskabelig proces.

WIRED skriver, at nogle akademikere føler, at matematik er blevet en prøvebane for OpenAI og Anthropic, mens virksomhederne konkurrerer om at vise modelkapacitet. Nestor Guillen, gæsteprofessor i matematik ved New York University, fortalte WIRED, at der er »en opfattelse af gangsteradfærd« blandt matematikere over for AI-virksomheder. OpenAIs McCallum svarede: »Vi er uenige i den karakteristik.«

Den mest alvorlige strid, WIRED beskriver, involverer Tristan Buckmaster, professor ved New York University, og Levent Alpöge, medarbejder hos Anthropic. WIRED rapporterer, at OpenAI i september satte tusindvis af agenter ind på et Millennium Prize-problem efter at have hørt »rygter« om, at andre var tæt på. Buckmaster beskyldte OpenAI for at foregribe arbejde, han havde lavet sammen med Alpöge, arbejde som parret endnu ikke havde publiceret, men som de havde brugt OpenAI-værktøjer til at hjælpe med at udvikle.

OpenAI-forskeren Sébastien Bubeck afviste at have bedt om, at Alpöge skulle udelukkes fra forfatterskab, ifølge WIREDs gengivelse af hans svar. Alligevel viser episoden, hvorfor attribution bliver vanskelig, når forskere bruger proprietære værktøjer, labs kan observere en del brug, og interne modeller kan rettes mod tilstødende problemer i stor skala.

Fællesskabet reagerer allerede. WIRED nævner Hexagon, et repository for primært AI-genereret matematisk materiale, og Palomar, et register over maskinverificeret matematik. Artiklen citerer også Leiden-erklæringen, et opråb underskrevet af mere end 4.000 matematikere, der beder AI-virksomheder leve op til matematikeres standarder.

Retningen er klar: Hvis AI-genereret matematik bliver rigelig, har matematik brug for ny infrastruktur til proveniens, review og verifikation. GitHub kan være en del af det. Det kan ikke være hele processen.

Et bevis accepteres ikke, fordi en kraftfuld model udsender det. Det accepteres, fordi et fællesskab kan kontrollere det.

Det sociale lag er let at undervurdere udefra. Matematik ligner ofte ren logik: Enten er beviset gyldigt, eller også er det ikke. I praksis skal et bevis også være læsbart, kontekstualiseret og forbundet med eksisterende arbejde. Et felt har brug for at vide, hvilke lemmaer der bærer arbejdet, hvilke antagelser der er skjulte, hvilke citater der mangler, og hvilke påstande der er stærke nok til at blive genbrugt.

AI presser det system ved at ændre volumen. Ét svært bevis er en udfordring. Hundredvis af påståede løsninger er et køproblem. Hvis kun et lille antal eksperter kan evaluere hvert resultat, kan en stor samlet udgivelse skabe en backlog, der ligner fremskridt fra labbets perspektiv og affald fra feltets perspektiv.

For AI-byggere er dette den nyttige analogi: Kapacitet uden review-kapacitet skaber operationel risiko. En kodningsagent, der åbner 200 pull requests, kan være mindre hjælpsom end én, der åbner fem, som kan gennemgås. En forskningsagent, der producerer tusindvis af kandidatpåstande, har brug for triage. En forretningsagent, der handler på tværs af værktøjer, har brug for godkendelsespunkter, audit logs og rollback-veje. Det samme mønster viser sig i human-in-the-loop-godkendelser og i langvarigt agentarbejde, hvor kontekst, tilstand og tilsyn betyder mere end ét imponerende svar.

Matematikkontroversen er en forsmag på, hvad der sker, når generering bliver billigere end evaluering.

Matematik er en tidlig stresstest, fordi feltet har usædvanlige egenskaber. Problemer kan formuleres skarpt. Beviser kan nogle gange kontrolleres formelt. Prestige er knyttet til at løse navngivne åbne spørgsmål. Og fællesskabet har stærke normer for prioritet, attribution og publicering.

Andre felter vil møde en version af det samme pres, hvor tre betingelser er opfyldt:

Software er der allerede. Kode kan genereres hurtigt, men korrekthed, sikkerhed, vedligeholdelsesvenlighed og ejerskab kræver stadig review. Den videnskabelige litteratur er tæt på: En AI kan foreslå hypoteser eller analyser hurtigere, end labs kan teste dem. Juridisk og medicinsk arbejde er mere begrænset, men de deler den samme asymmetri mellem flydende output og kostbar verifikation.

Læren er ikke som udgangspunkt at sænke farten på alle modeller. Den er at designe institutioner og systemer omkring flaskehalsen. Hvis en model kan producere 1.000 plausible artefakter, bliver produktspørgsmålet: Hvilke 10 skal et menneske se, i hvilken rækkefølge, med hvilket bevisgrundlag og under hvilke begrænsninger?

Det er også designcentrum for praktiske agentsystemer. Multi-agent-arbejdsgange har brug for routing, hukommelse, værktøjer og eskaleringsveje, men de har også brug for grænser: Hvad kan køre automatisk, hvad kræver review, og hvad logges til senere inspektion. Hvis du bygger i den retning, overlapper ingeniørproblemerne mere med multi-agent-orkestrering end med prompt-snilde.

Rapporteringen peger på en kort liste af normer, der ville mindske friktionen.

For det første: Udgiv artikler, ikke kun annonceringer. Blogindlæg kan forklare resultater, men de bør ikke erstatte det videnskabelige objekt, når påstanden er en sætning.

For det andet: Adskil kapabilitetsdemoer fra videnskabelige påstande. »Vores model producerede dette bevis« og »fællesskabet accepterer dette resultat« er forskellige udsagn. At holde dem adskilt beskytter både labbet og feltet.

For det tredje: Oplys proveniens. Hvis AI-værktøjer blev brugt af eksterne matematikere, hvis et lab havde adgang til brugerinteraktioner, eller hvis interne agenter blev sat ind efter at have hørt om konkurrerende arbejde, kræver attribution-fortællingen mere end en fodnote.

For det fjerde: Brug registre og verifikationsinfrastruktur. WIRED rapporterer, at matematikere har opfordret OpenAI til at bruge værktøjer som Hexagon og Palomar. Hvis de værktøjer ikke er tilstrækkelige, bør labs hjælpe med at forbedre processen i stedet for at styre udenom den.

For det femte: Udgiv i et tempo, mennesker kan gennemgå. Et dump af hundredvis af resultater kan maksimere spektaklet. Det maksimerer ikke forståelsen.

Identitetskrisen, hvis der er en, er ikke, at matematikere ikke længere betyder noget. Den er, at professionen måske skal redefinere sit knappe arbejde. At stille gode spørgsmål, sætte standarder, verificere resultater, tildele kredit og omdanne isolerede beviser til brugbar teori bliver alt sammen vigtigere, når maskiner kan producere flere kandidatsvar.

Det skifte er ubehageligt. Det er også velkendt. Ethvert modent felt udvikler filtre, når produktion bliver billig. AI tvinger matematikken til at bygge de filtre offentligt.

For flere klare AI-nyheder og praktiske guides kan du abonnere på NeuraLIA Labs-nyhedsbrevet.

• Det centrale spørgsmål er ikke kun, om AI kan løse svære matematiske problemer, men om det matematiske fællesskab kan verificere og absorbere resultater i samme tempo.
• OpenAI har angiveligt hævdet store fremskridt på langvarige problemer, herunder Navier–Stokes og mere end 100 andre åbne spørgsmål, men accept afhænger af ekspertgranskning.
• Erdős’ enhedsafstandsresultat viser et sandsynligt mønster på kort sigt: AI-systemer kan finde vigtige beviser, mens mennesker stadig forenkler, kontekstualiserer og udvider dem.
• Matematikeres bekymringer fokuserer på proces, proveniens, attribution, publiceringsnormer og risikoen for at overbelaste reviewsystemer.
• Den samme flaskehals mellem generering og verifikation viser sig i software, videnskab, jura, medicin og agentiske AI-arbejdsgange.

Det er kløften mellem, hvor hurtigt AI-systemer kan generere plausible beviser eller påstande, og hvor langsomt eksperter kan verificere, kontekstualisere, tilskrive og genbruge dem.

OpenAI har angiveligt hævdet, at en intern model løste Navier–Stokes Millennium Prize-problemet, men artiklen understreger, at fællesskabets verifikation er påkrævet, før en sådan påstand accepteres.

Deres bekymringer omfatter publiceringsstandarder, forfatterskab, proveniens, prioritetstvister og muligheden for, at store puljer af AI-genererede resultater kan overvælde ekspertreview.

Ifølge den omtalte rapportering modbeviste en OpenAI-model Erdős’ enhedsafstandskonjektur ved at rekombinere kendte ideer på en nyttig måde, hvorefter menneskelige matematikere ryddede op i arbejdet og udvidede det.

Software, videnskabelig forskning, juridisk arbejde og medicinsk arbejde står alle over for et lignende pres, fordi AI kan producere outputs hurtigt, mens validering fortsat er dyr og konsekvensfyldt.