OpenAI:s matematikpåståenden blottar AI:s verifieringsflaskhals

WIRED:s rapport beskriver en växande konflikt mellan frontier-AI-labb och professionella matematiker om processen. OpenAI:s talesperson Lindsay McCallum sa till WIRED att företaget den 28 augusti började träna en ny intern modell och att modellen, utöver att ”lösa Navier–Stokes Millennium Prize-problemet”, hade ”löst fler än 100 långvariga öppna problem inom de flesta områden av matematiken”.

Det är ett extraordinärt påstående, och det befinner sig i ett bräckligt sammanhang. Navier–Stokes-problemet är ett av Millennium Prize Problems, en klass av problem vars lösning normalt kräver långvarig granskning av experter. Vi behandlade verifieringsinsatsen kring det påståendet i OpenAI:s påstående om Navier–Stokes-beviset: huvudresultatet spelar roll, men vägen från ”modellen producerade ett argument” till ”fältet accepterar satsen” är den svåra delen.

WIRED rapporterade också att OpenAI hade sagt till personer att företaget planerade att släppa hundratals lösningar på olösta problem på GitHub. McCallum sa till WIRED att företaget ”arbetade för att på ett ansvarsfullt sätt släppa” nästa matematikresultat och tog stöd av råd och offentliga rekommendationer från Advisory Group on Mathematics and Artificial Intelligence vid Institute for Advanced Study. Hon sa också att OpenAI inte hade satt någon tidpunkt för publicering.

Den skillnaden spelar roll. En GitHub-release är användbar för mjukvara. Den är inte automatiskt rätt enhet för matematik vid forskningsfronten. Matematiker kan läsa kod, formella bevis, översikter och artiklar, men varje format svarar på olika frågor. Fungerar argumentet? Vem hade nyckelidén? Vilket tidigare arbete bygger det på? Vilka delar är nya, och vilka är rekombinationer? Vad bör andra forskare citera?

Bryna Kra, matematiker vid Northwestern University som deltog i augustimötet, sa till WIRED att deltagarna bad OpenAI att inte publicera resultat enbart i ett blogginlägg eller en tweet, utan i stället skriva artiklar som matematiker kunde ”ta till sig, bearbeta och använda”. Kra sa till WIRED: ”Tydligen ignorerades den inputen.”

Det tydligaste tekniska exemplet i källmaterialet är inte den omstridda mängden på hundratals resultat. Det är OpenAI:s tidigare enhetsavståndsresultat.

Erdős enhetsavståndsproblem frågar, ungefär, hur många punktpar i ett plan som kan ligga exakt en enhet från varandra. Paul Erdős förmodade att det bästa möjliga arrangemanget bara skulle växa knappt snabbare än antalet punkter. Enligt Ars Technica visade OpenAI:s modell att han hade fel genom att konstruera ett mer komplext punktarrangemang än de traditionella rutnätsbaserade metoderna.

Ars beskriver metoden som en smart rekombination av kända matematiska idéer. Modellen använde ett högdimensionellt rutnät, projicerade det till två dimensioner och använde algebraiska heltal för att skapa rikare struktur. Enligt Ars bedömning introducerade resultatet inte genuint nya tekniker. Mänskliga matematiker städade senare upp och utvidgade arbetet.

Den kombinationen är viktig: autonom nog för att spela roll, men inte magi. AI-systemet hittade ett bevis som löste en stor öppen förmodan, men resultatet behövde fortfarande mänsklig tolkning, förenkling, utvidgning och placering i litteraturen.

Det här är den mest realistiska närtidsbilden för AI i forskning: modeller söker brett, kopplar samman delområden och arbetar igenom bevisstrategier som skulle vara tröttsamma för människor; människor avgör vilka frågor som spelar roll, reparerar framställningen, kontrollerar arbetet och bygger nästa lager. Den uppdelningen kanske inte består för alltid, men de nuvarande beläggen i rapporteringen pekar mer mot en hybridberättelse än en ren ersättningsberättelse.

Det liknar också vad ingenjörer ser i mjukvaruagenter. De svåraste produktionsfrågorna är inte bara ”kan modellen producera ett svar?” De är ”kan vi utvärdera det, återskapa det, tillskriva det och tryggt låta det agera?” Därför har utvärderingsdesign blivit central, från små golden sets till mått över upprepade körningar som pass@k; om du vill ha ingenjörsversionen, börja med LLM-utvärdering.

Motreaktionen som WIRED rapporterar om är inte anti-AI i enkel mening. Flera matematiker som citeras i artikeln verkar entusiastiska över starkare verktyg. Deras oro gäller institutionell makt och vetenskaplig process.

WIRED skriver att vissa akademiker upplever att matematiken har blivit en testarena för OpenAI och Anthropic när företagen tävlar om att visa modellkapacitet. Nestor Guillen, gästprofessor i matematik vid New York University, sa till WIRED att det finns ”en uppfattning om maffialiknande beteende” bland matematiker gentemot AI-företag. OpenAI:s McCallum svarade: ”Vi håller inte med om den beskrivningen.”

Den allvarligaste tvisten som WIRED beskriver rör Tristan Buckmaster, professor vid New York University, och Levent Alpöge, anställd på Anthropic. WIRED rapporterar att OpenAI satte in tusentals agenter i september för att arbeta på ett Millennium Prize-problem efter att ha hört ”rykten” om att andra var nära. Buckmaster anklagade OpenAI för att förekomma arbete han hade gjort med Alpöge, arbete som paret ännu inte hade publicerat men hade använt OpenAI-verktyg för att utveckla.

OpenAI-forskaren Sébastien Bubeck förnekade att han hade bett om att Alpöge skulle uteslutas från författarskap, enligt WIRED:s återgivning av hans svar. Ändå visar episoden varför tillskrivning blir svår när forskare använder proprietära verktyg, labb kan observera viss användning och interna modeller kan riktas mot närliggande problem i stor skala.

Gemenskapen svarar redan. WIRED nämner Hexagon, ett arkiv för främst AI-genererat matematiskt material, och Palomar, ett register över maskinverifierad matematik. De citerar också Leidenförklaringen, ett upprop undertecknat av fler än 4 000 matematiker som ber AI-företag att möta matematikernas standarder.

Riktningen är tydlig: om AI-genererad matematik blir riklig behöver matematiken ny infrastruktur för proveniens, granskning och verifiering. GitHub kan vara en del av det. Det kan inte vara hela processen.

Ett bevis accepteras inte för att en kraftfull modell matar ut det. Det accepteras för att en gemenskap kan kontrollera det.

Det sociala lagret är lätt att underskatta utifrån. Matematik ser ofta ut som ren logik: antingen är beviset giltigt eller inte. I praktiken måste ett bevis också vara läsbart, kontextualiserat och kopplat till befintligt arbete. Ett fält behöver veta vilka lemman som gör jobbet, vilka antaganden som är dolda, vilka citeringar som saknas och vilka påståenden som är tillräckligt starka för att återanvändas.

AI pressar det systemet genom att förändra volymen. Ett svårt bevis är en utmaning. Hundratals påstådda lösningar är ett köproblem. Om bara ett litet antal experter kan utvärdera varje resultat kan en stor batch skapa en eftersläpning som ser ut som framsteg ur labbets perspektiv och som bråte ur fältets perspektiv.

För AI-byggare är detta den användbara analogin: kapacitet utan granskningskapacitet skapar operativ risk. En kodagent som öppnar 200 pull requests kan vara mindre hjälpsam än en som öppnar fem granskningsbara. En forskningsagent som producerar tusentals kandidatpåståenden behöver triage. En affärsagent som vidtar åtgärder över flera verktyg behöver godkännandepunkter, granskningsloggar och vägar för återställning. Samma mönster syns i human-in-the-loop-godkännanden och i långvarigt agentarbete där kontext, tillstånd och tillsyn betyder mer än ett imponerande svar.

Matematikkontroversen är en förhandsbild av vad som händer när generering blir billigare än utvärdering.

Matematik är ett tidigt stresstest eftersom det har ovanliga egenskaper. Problem kan formuleras skarpt. Bevis kan ibland kontrolleras formellt. Prestige är knuten till att lösa namngivna öppna frågor. Och gemenskapen har starka normer kring prioritet, tillskrivning och publicering.

Andra fält kommer att möta en version av samma tryck överallt där tre villkor gäller:

Mjukvara är redan där. Kod kan genereras snabbt, men korrekthet, säkerhet, underhållbarhet och ägande kräver fortfarande granskning. Vetenskaplig litteratur är nära: en AI kan föreslå hypoteser eller analyser snabbare än labb kan testa dem. Juridiskt och medicinskt arbete är mer begränsat, men de delar samma asymmetri mellan flytande utdata och kostsam verifiering.

Lärdomen är inte att sakta ner varje modell som standard. Den är att utforma institutioner och system kring flaskhalsen. Om en modell kan producera 1 000 plausibla artefakter blir produktfrågan: vilka 10 ska en människa se, i vilken ordning, med vilka belägg och under vilka begränsningar?

Det är också designcentrumet för praktiska agentsystem. Multi-agent-arbetsflöden behöver routing, minne, verktyg och eskaleringsvägar, men de behöver också gränser: vad kan köras automatiskt, vad kräver granskning och vad loggas för senare inspektion. Om du bygger i den riktningen överlappar ingenjörsproblemen mer med multi-agent-orkestrering än med promptfiness.

Rapporteringen pekar på en kort lista med normer som skulle minska friktionen.

För det första, publicera artiklar, inte bara tillkännagivanden. Blogginlägg kan förklara resultat, men de bör inte ersätta det vetenskapliga objektet när påståendet är en sats.

För det andra, skilj kapacitetsdemos från vetenskapliga påståenden. ”Vår modell producerade det här beviset” och ”gemenskapen accepterar det här resultatet” är olika utsagor. Att hålla dem isär skyddar både labbet och fältet.

För det tredje, redovisa proveniens. Om AI-verktyg användes av externa matematiker, om ett labb hade tillgång till användarinteraktioner eller om interna agenter sattes in efter att ha hört om konkurrerande arbete, behöver tillskrivningsberättelsen mer än en fotnot.

För det fjärde, använd register och verifieringsinfrastruktur. WIRED rapporterar att matematiker har uppmuntrat OpenAI att använda verktyg som Hexagon och Palomar. Om de verktygen inte räcker bör labb hjälpa till att förbättra processen i stället för att gå runt den.

För det femte, släpp i en takt som människor kan granska. En dump på hundratals resultat kan maximera spektaklet. Den maximerar inte förståelsen.

Identitetskrisen, om det finns en, är inte att matematiker inte längre spelar roll. Den är att professionen kan behöva omdefiniera sitt knappa arbete. Att ställa bra frågor, sätta standarder, verifiera resultat, tilldela erkännande och omvandla isolerade bevis till användbar teori blir allt viktigare när maskiner kan producera fler kandidatsvar.

Den förändringen är obekväm. Den är också bekant. Varje moget fält utvecklar filter när produktion blir billig. AI tvingar matematiken att bygga de filtren offentligt.

För fler tydliga AI-nyheter och praktiska guider, prenumerera på NeuraLIA Labs nyhetsbrev.

• Den centrala frågan är inte bara om AI kan lösa svåra matematikproblem, utan om den matematiska gemenskapen kan verifiera och ta till sig resultat i samma takt.
• OpenAI uppges ha hävdat stora framsteg på långvariga problem, inklusive Navier–Stokes och fler än 100 andra öppna frågor, men acceptans beror på expertgranskning.
• Erdős enhetsavståndsresultat visar ett sannolikt närtidsmönster: AI-system kan hitta viktiga bevis, medan människor fortfarande förenklar, kontextualiserar och utvidgar dem.
• Matematikernas oro fokuserar på process, proveniens, tillskrivning, publiceringsnormer och risken att överbelasta granskningssystem.
• Samma flaskhals mellan generering och verifiering dyker upp i mjukvara, vetenskap, juridik, medicin och agentiska AI-arbetsflöden.

Det är gapet mellan hur snabbt AI-system kan generera plausibla bevis eller påståenden och hur långsamt experter kan verifiera, kontextualisera, tillskriva och återanvända dem.

OpenAI uppges ha hävdat att en intern modell löste Navier–Stokes Millennium Prize-problemet, men artikeln betonar att gemenskapens verifiering krävs innan ett sådant påstående accepteras.

Deras oro omfattar publiceringsstandarder, författarskap, proveniens, prioritetstvister och möjligheten att stora batcher av AI-genererade resultat kan överväldiga expertgranskningen.

Enligt den rapportering som diskuteras motbevisade en OpenAI-modell Erdős enhetsavståndsförmodan genom att rekombinera kända idéer på ett användbart sätt, varefter mänskliga matematiker städade upp och utvidgade arbetet.

Mjukvara, vetenskaplig forskning, juridiskt arbete och medicinskt arbete möter alla liknande tryck eftersom AI kan producera utdata snabbt medan validering förblir dyr och konsekvensfylld.