OpenAI's wiskundeclaims leggen AI's verificatieknelpunt bloot

Het WIRED-artikel beschrijft een groeiend conflict tussen frontier-AI-labs en professionele wiskundigen over het proces. OpenAI-woordvoerder Lindsay McCallum vertelde WIRED dat het bedrijf op 28 augustus begon met het trainen van een nieuw intern model en dat het model, naast het “oplossen van het Navier–Stokes Millennium Prize-probleem”, “meer dan 100 langlopende open problemen in de meeste gebieden van de wiskunde had opgelost”.

Dat is een buitengewone claim, en die staat in een kwetsbare context. Het Navier–Stokes-probleem is een van de Millennium Prize Problems, een categorie problemen waarvan de oplossing normaal gesproken langdurige toetsing door experts vereist. We behandelden de verificatiebelangen rond die claim in OpenAI's claim over het Navier–Stokes-bewijs: het headline-resultaat doet ertoe, maar de weg van “het model produceerde een redenering” naar “het vakgebied accepteert de stelling” is het moeilijke deel.

WIRED meldde ook dat OpenAI mensen had verteld dat het van plan was honderden oplossingen voor onopgeloste problemen op GitHub te publiceren. McCallum vertelde WIRED dat het bedrijf “werkt aan een verantwoorde publicatie” van de volgende wiskunderesultaten en daarbij put uit advies en openbare aanbevelingen van de Advisory Group on Mathematics and Artificial Intelligence van het Institute for Advanced Study. Ze zei ook dat OpenAI nog geen publicatiemoment had vastgesteld.

Dat onderscheid doet ertoe. Een GitHub-release is nuttig voor software. Het is niet automatisch de juiste eenheid voor frontier-wiskunde. Wiskundigen kunnen code, formele bewijzen, schetsen en papers lezen, maar elk format beantwoordt een andere vraag. Klopt de redenering? Wie had het sleutelidee? Van welk eerder werk hangt het af? Welke delen zijn nieuw, en welke zijn hercombinaties? Wat moeten andere onderzoekers citeren?

Bryna Kra, een wiskundige aan Northwestern University die bij de bijeenkomst in augustus aanwezig was, vertelde WIRED dat deelnemers OpenAI vroegen om resultaten niet alleen in een blogpost of tweet te publiceren, maar papers te schrijven die wiskundigen konden “opnemen, verwerken en gebruiken”. Kra vertelde WIRED: “Blijkbaar is die input genegeerd.”

Het duidelijkste technische voorbeeld in het bronmateriaal is niet de betwiste batch van honderden resultaten. Het is OpenAI's eerdere resultaat rond eenheidsafstand.

Het Erdős-probleem over eenheidsafstanden vraagt grofweg hoeveel paren punten in een vlak precies één eenheid van elkaar verwijderd kunnen zijn. Paul Erdős vermoedde dat de best mogelijke rangschikking slechts nauwelijks sneller zou groeien dan het aantal punten. Volgens Ars Technica bewees OpenAI's model dat hij ongelijk had door een complexere puntenconfiguratie te construeren dan de traditionele roostergebaseerde benaderingen.

Ars beschrijft de methode als een slimme hercombinatie van bekende wiskundige ideeën. Het model gebruikte een hoogdimensionaal rooster, projecteerde dat naar twee dimensies en gebruikte algebraïsche gehele getallen om rijkere structuur te creëren. Volgens de beoordeling van Ars introduceerde het resultaat geen werkelijk nieuwe technieken. Menselijke wiskundigen hebben het werk later opgeschoond en uitgebreid.

Die combinatie is belangrijk: autonoom genoeg om ertoe te doen, maar geen magie. Het AI-systeem vond een bewijs dat een belangrijk open vermoeden oploste, maar het resultaat had nog steeds menselijke interpretatie, vereenvoudiging, uitbreiding en plaatsing in de literatuur nodig.

Dit is het meest realistische beeld op korte termijn voor AI in onderzoek: modellen zoeken breed, verbinden deelgebieden en werken bewijsstrategieën uit die voor mensen saai en tijdrovend zouden zijn; mensen bepalen welke vragen ertoe doen, herstellen de uiteenzetting, controleren het werk en bouwen de volgende laag. Die verdeling blijft misschien niet voor altijd bestaan, maar het huidige bewijs in de aangehaalde berichtgeving ondersteunt eerder een hybride verhaal dan een verhaal van volledige vervanging.

Het lijkt ook op wat engineers zien bij software-agents. De moeilijkste productievragen zijn niet alleen “kan het model een antwoord produceren?” Ze zijn “kunnen we het evalueren, reproduceren, toeschrijven en veilig laten handelen?” Daarom is evaluatieontwerp centraal komen te staan, van kleine golden sets tot metingen over herhaalde runs zoals pass@k; als je de engineeringversie wilt, begin dan met LLM-evaluatie.

De tegenreactie waarover WIRED bericht, is niet simpelweg anti-AI. Verschillende wiskundigen die in het stuk worden geciteerd lijken enthousiast over sterkere tools. Hun zorg gaat over institutionele macht en wetenschappelijk proces.

WIRED schrijft dat sommige academici vinden dat wiskunde een proeftuin is geworden voor OpenAI en Anthropic terwijl de bedrijven racen om modelcapaciteit te tonen. Nestor Guillen, gastprofessor wiskunde aan New York University, vertelde WIRED dat er onder wiskundigen “een perceptie van gangsterachtig gedrag” bestaat richting AI-bedrijven. OpenAI's McCallum reageerde: “Wij zijn het niet eens met die karakterisering.”

Het ernstigste geschil dat WIRED beschrijft, betreft Tristan Buckmaster, professor aan New York University, en Levent Alpöge, medewerker bij Anthropic. WIRED meldt dat OpenAI in september duizenden agents inzette om aan een Millennium Prize-probleem te werken nadat het “geruchten” had gehoord dat anderen dichtbij waren. Buckmaster beschuldigde OpenAI ervan werk te hebben ingehaald dat hij met Alpöge had gedaan, werk dat het duo nog niet had gepubliceerd maar waarbij ze OpenAI-tools hadden gebruikt om het te helpen ontwikkelen.

OpenAI-onderzoeker Sébastien Bubeck ontkende volgens WIRED's weergave van zijn reactie te hebben gevraagd om Alpöge uit te sluiten van auteurschap. Toch laat de episode zien waarom attributie moeilijk wordt wanneer onderzoekers proprietary tools gebruiken, labs bepaald gebruik kunnen observeren en interne modellen op grote schaal op aangrenzende problemen kunnen worden gezet.

De gemeenschap reageert al. WIRED noemt Hexagon, een repository voor voornamelijk door AI gegenereerd wiskundig materiaal, en Palomar, een register van machinegeverifieerde wiskunde. Het citeert ook de Leiden-verklaring, een oproep ondertekend door meer dan 4.000 wiskundigen die AI-bedrijven vragen te voldoen aan de standaarden van wiskundigen.

De richting is duidelijk: als door AI gegenereerde wiskunde overvloedig wordt, heeft wiskunde nieuwe infrastructuur nodig voor herkomst, review en verificatie. GitHub kan daar deel van uitmaken. Het kan niet het hele proces zijn.

Een bewijs wordt niet geaccepteerd omdat een krachtig model het uitspuugt. Het wordt geaccepteerd omdat een gemeenschap het kan controleren.

Die sociale laag is van buitenaf makkelijk te onderschatten. Wiskunde lijkt vaak pure logica: het bewijs is geldig of het is dat niet. In de praktijk moet een bewijs ook leesbaar, gecontextualiseerd en verbonden met bestaand werk zijn. Een vakgebied moet weten welke lemma's het werk doen, welke aannames verborgen zijn, welke citaties ontbreken en welke claims sterk genoeg zijn om opnieuw te gebruiken.

AI zet dat systeem onder druk door het volume te veranderen. Eén moeilijk bewijs is een uitdaging. Honderden geclaimde oplossingen zijn een wachtrijprobleem. Als slechts een klein aantal experts elk resultaat kan beoordelen, kan het vrijgeven van een grote batch een achterstand creëren die vanuit het perspectief van het lab op vooruitgang lijkt en vanuit het perspectief van het vakgebied op puin.

Voor AI-bouwers is dit de nuttige analogie: capaciteit zonder reviewcapaciteit creëert operationeel risico. Een coding agent die 200 pull requests opent, kan minder behulpzaam zijn dan een die er vijf opent die reviewbaar zijn. Een onderzoeksagent die duizenden kandidaatclaims produceert, heeft triage nodig. Een business-agent die acties uitvoert in verschillende tools heeft goedkeuringspunten, auditlogs en rollback-paden nodig. Hetzelfde patroon zie je bij human-in-the-loop-goedkeuringen en bij langlopende agenttaken waarbij context, status en toezicht belangrijker zijn dan één indrukwekkend antwoord.

De wiskundecontroverse is een voorproefje van wat er gebeurt wanneer generatie goedkoper wordt dan evaluatie.

Wiskunde is een vroege stresstest omdat het ongebruikelijke eigenschappen heeft. Problemen kunnen scherp worden geformuleerd. Bewijzen kunnen soms formeel worden gecontroleerd. Prestige is verbonden aan het oplossen van benoemde open vragen. En de gemeenschap heeft sterke normen rond prioriteit, attributie en publicatie.

Andere vakgebieden krijgen met een versie van dezelfde druk te maken waar drie voorwaarden gelden:

Software zit daar al. Code kan snel worden gegenereerd, maar correctheid, beveiliging, onderhoudbaarheid en eigenaarschap vereisen nog steeds review. Wetenschappelijke literatuur zit er dicht tegenaan: een AI kan sneller hypothesen of analyses voorstellen dan labs ze kunnen testen. Juridisch en medisch werk zijn meer beperkt, maar ze delen dezelfde asymmetrie tussen vloeiende output en kostbare verificatie.

De les is niet om elk model standaard te vertragen. Het is om instituties en systemen rond het knelpunt te ontwerpen. Als een model 1.000 plausibele artefacten kan produceren, wordt de productvraag: welke 10 moet een mens zien, in welke volgorde, met welk bewijs en onder welke beperkingen?

Dat is ook het ontwerpcentrum voor praktische agentsystemen. Multi-agentworkflows hebben routing, geheugen, tools en escalatiepaden nodig, maar ook grenzen: wat mag automatisch draaien, wat vereist review en wat wordt gelogd voor latere inspectie. Als je in die richting bouwt, overlappen de engineeringproblemen meer met multi-agentorkestratie dan met slimme prompts.

De berichtgeving wijst op een korte lijst normen die frictie zouden verminderen.

Ten eerste: publiceer papers, niet alleen aankondigingen. Blogposts kunnen resultaten uitleggen, maar ze mogen het wetenschappelijke object niet vervangen wanneer de claim een stelling is.

Ten tweede: scheid capaciteitsdemo's van wetenschappelijke claims. “Ons model produceerde dit bewijs” en “de gemeenschap accepteert dit resultaat” zijn verschillende uitspraken. Ze gescheiden houden beschermt zowel het lab als het vakgebied.

Ten derde: maak herkomst openbaar. Als AI-tools zijn gebruikt door externe wiskundigen, als een lab toegang had tot gebruikersinteracties, of als interne agents zijn ingezet nadat het lab hoorde over concurrerend werk, dan heeft het attributieverhaal meer nodig dan een voetnoot.

Ten vierde: gebruik registers en verificatie-infrastructuur. WIRED meldt dat wiskundigen OpenAI hebben aangemoedigd om tools zoals Hexagon en Palomar te gebruiken. Als die tools niet voldoende zijn, moeten labs helpen het proces te verbeteren in plaats van eromheen te routeren.

Ten vijfde: publiceer in een tempo dat door mensen te reviewen is. Een dump van honderden resultaten maximaliseert misschien het spektakel. Het maximaliseert geen begrip.

De identiteitscrisis, als die er is, is niet dat wiskundigen er niet meer toe doen. Het is dat de beroepsgroep haar schaarse werk misschien opnieuw moet definiëren. Goede vragen stellen, standaarden bepalen, resultaten verifiëren, erkenning toewijzen en geïsoleerde bewijzen omzetten in bruikbare theorie worden allemaal belangrijker wanneer machines meer kandidaat-antwoorden kunnen produceren.

Die verschuiving is ongemakkelijk. Ze is ook vertrouwd. Elk volwassen vakgebied ontwikkelt filters wanneer productie goedkoop wordt. AI dwingt de wiskunde om die filters in het openbaar te bouwen.

Voor meer helder AI-nieuws en praktische gidsen kun je je abonneren op de NeuraLIA Labs-nieuwsbrief.

• De centrale kwestie is niet alleen of AI moeilijke wiskundeproblemen kan oplossen, maar of de wiskundige gemeenschap resultaten in hetzelfde tempo kan verifiëren en verwerken.
• OpenAI heeft naar verluidt grote vooruitgang geclaimd op langlopende problemen, waaronder Navier–Stokes en meer dan 100 andere open vragen, maar acceptatie hangt af van toetsing door experts.
• Het Erdős-resultaat rond eenheidsafstand toont een waarschijnlijk patroon op korte termijn: AI-systemen kunnen belangrijke bewijzen vinden, terwijl mensen ze nog steeds vereenvoudigen, contextualiseren en uitbreiden.
• De zorgen van wiskundigen draaien om proces, herkomst, attributie, publicatienormen en het risico dat reviewsystemen worden overspoeld.
• Hetzelfde knelpunt tussen generatie en verificatie verschijnt in software, wetenschap, recht, geneeskunde en agentic AI-workflows.

Het is de kloof tussen hoe snel AI-systemen plausibele bewijzen of claims kunnen genereren en hoe langzaam experts ze kunnen verifiëren, contextualiseren, toeschrijven en hergebruiken.

OpenAI heeft naar verluidt geclaimd dat een intern model het Navier–Stokes Millennium Prize-probleem heeft opgelost, maar het artikel benadrukt dat verificatie door de gemeenschap vereist is voordat zo'n claim wordt geaccepteerd.

Hun zorgen omvatten publicatiestandaarden, auteurschap, herkomst, prioriteitsgeschillen en de mogelijkheid dat grote batches door AI gegenereerde resultaten expertreviews kunnen overspoelen.

Volgens de besproken berichtgeving weerlegde een OpenAI-model het Erdős-vermoeden over eenheidsafstanden door bekende ideeën op een nuttige manier te hercombineren, waarna menselijke wiskundigen het werk opschoonden en uitbreidden.

Software, wetenschappelijk onderzoek, juridisch werk en medisch werk staan allemaal onder vergelijkbare druk omdat AI snel outputs kan produceren terwijl validatie duur en belangrijk blijft.