Математическите твърдения на OpenAI разкриват тясното място в проверката на AI

Докладът на WIRED описва разширяващ се конфликт между водещите AI лаборатории и професионалните математици относно процеса. Говорителката на OpenAI Lindsay McCallum казва пред WIRED, че на 28 август компанията е започнала да обучава нов вътрешен модел и че освен „разрешаването на проблема на Navier—Stokes за наградата Millennium“ моделът е „разрешил над 100 отдавна отворени проблема в повечето области на математиката“.

Това е извънредно твърдение и то се намира в крехък контекст. Проблемът на Navier–Stokes е един от проблемите за наградата Millennium — клас задачи, чието решаване обикновено изисква продължителен експертен контрол. Разгледахме залозите около проверката на това твърдение в Твърдението на OpenAI за доказателство на Navier–Stokes: заглавният резултат е важен, но пътят от „моделът произведе аргумент“ до „областта приема теоремата“ е трудната част.

WIRED също съобщи, че OpenAI е казвала на хора, че планира да публикува стотици решения на нерешени проблеми в GitHub. McCallum казва пред WIRED, че компанията „работи за отговорно публикуване“ на следващите математически резултати и се опира на съвети и публични препоръки от Advisory Group on Mathematics and Artificial Intelligence към Institute for Advanced Study. Тя също така казва, че OpenAI не е определила време за публикуване.

Това разграничение е важно. Публикация в GitHub е полезна за софтуер. Тя не е автоматично правилната единица за математика на предния фронт. Математиците могат да четат код, формални доказателства, планове и статии, но всеки формат отговаря на различен въпрос. Работи ли аргументът? На кого принадлежи ключовата идея? На коя предходна работа стъпва? Кои части са нови и кои са рекомбинации? Какво трябва да цитират другите изследователи?

Bryna Kra, математик от Northwestern University, която е присъствала на августовската среща, казва пред WIRED, че участниците са помолили OpenAI да не публикува резултати само в блог пост или tweet, а вместо това да напише статии, които математиците могат да „усвоят, осмислят и използват“. Kra казва пред WIRED: „Очевидно този принос беше игнориран.“

Най-ясният технически пример в изходния материал не е оспорваната партида от стотици резултати. Това е по-ранният резултат на OpenAI за единичното разстояние.

Проблемът на Erdős за единичното разстояние пита, грубо казано, колко двойки точки в равнина могат да бъдат на точно една единица разстояние една от друга. Paul Erdős предполага, че най-доброто възможно разположение би нараствало едва малко по-бързо от броя на точките. Според Ars Technica моделът на OpenAI е доказал, че той греши, като е конструирал по-сложно разположение на точки от традиционните подходи, базирани на решетка.

Ars описва метода като умна рекомбинация на известни математически идеи. Моделът е използвал многомерна решетка, проектирал я е в две измерения и е използвал алгебрични цели числа, за да създаде по-богата структура. Според оценката на Ars резултатът не въвежда истински нови техники. По-късно математици са изчистили и разширили работата.

Тази комбинация е важна: достатъчно автономна, за да има значение, но не магическа. AI системата е намерила доказателство, което разрешава голяма отворена хипотеза, но резултатът все пак е имал нужда от човешка интерпретация, опростяване, разширяване и позициониране в литературата.

Това е най-реалистичната краткосрочна картина за AI в изследванията: моделите търсят широко, свързват подобласти и преминават през доказателствени стратегии, които биха били досадни за хората; хората решават кои въпроси са важни, поправят изложението, проверяват работата и изграждат следващия слой. Това разделение може да не остане завинаги, но текущите доказателства в посочените публикации подкрепят повече хибридна история, отколкото история за чисто заместване.

То също прилича на това, което инженерите виждат при софтуерните агенти. Най-трудните производствени въпроси не са само „може ли моделът да произведе отговор?“. Те са „можем ли да го оценим, възпроизведем, атрибутираме и безопасно да му позволим да действа?“. Затова дизайнът на оценяването стана централен — от малки golden sets до мерки при повторни изпълнения като pass@k; ако искате инженерната версия, започнете с оценяване на LLM.

Реакцията, за която WIRED съобщава, не е анти-AI в простия смисъл. Няколко математици, цитирани в историята, изглеждат развълнувани от по-силни инструменти. Тяхната тревога е свързана с институционалната власт и научния процес.

WIRED пише, че някои академици смятат, че математиката се е превърнала в изпитателна площадка за OpenAI и Anthropic, докато компаниите се надпреварват да демонстрират възможностите на моделите. Nestor Guillen, гостуващ професор по математика в New York University, казва пред WIRED, че сред математиците има „усещане за мафиотско поведение“ спрямо AI компаниите. McCallum от OpenAI отговаря: „Не сме съгласни с тази характеристика.“

Най-сериозният спор, описан от WIRED, включва Tristan Buckmaster, професор в New York University, и Levent Alpöge, служител на Anthropic. WIRED съобщава, че OpenAI е разгърнала хиляди агенти през септември, за да работят по проблем за наградата Millennium, след като е чула „слухове“, че други са близо до решение. Buckmaster обвинява OpenAI, че е изпреварила работа, която той е извършил с Alpöge — работа, която двойката още не е публикувала, но е използвала инструменти на OpenAI, за да я разработи.

Изследователят на OpenAI Sébastien Bubeck отрича да е искал Alpöge да бъде изключен от авторство, според описанието на WIRED на неговия отговор. Въпреки това епизодът показва защо атрибуцията става трудна, когато изследователите използват proprietary инструменти, лабораториите могат да наблюдават част от използването, а вътрешните модели могат да бъдат насочвани към съседни проблеми в голям мащаб.

Общността вече реагира. WIRED споменава Hexagon, хранилище за предимно AI-генерирани математически материали, и Palomar, регистър на машинно проверена математика. Споменава се и Leiden declaration — призив, подписан от над 4.000 математици, които искат AI компаниите да отговарят на стандартите на математиците.

Посоката е ясна: ако AI-генерираната математика стане изобилна, математиката се нуждае от нова инфраструктура за произход, рецензиране и проверка. GitHub може да бъде част от това. Не може да бъде целият процес.

Едно доказателство не се приема, защото мощен модел го е генерирал. То се приема, защото общността може да го провери.

Този социален слой лесно се подценява отвън. Математиката често изглежда като чиста логика: или доказателството е валидно, или не е. На практика едно доказателство трябва също да бъде четимо, контекстуализирано и свързано със съществуващата работа. Една област трябва да знае кои леми вършат работата, кои допускания са скрити, кои цитати липсват и кои твърдения са достатъчно силни, за да бъдат използвани отново.

AI натоварва тази система, като променя обема. Едно трудно доказателство е предизвикателство. Стотици заявени решения са проблем на опашката. Ако само малък брой експерти могат да оценят всеки резултат, публикуването на голяма партида може да създаде изоставане, което изглежда като напредък от гледната точка на лабораторията и като отломки от гледната точка на областта.

За създателите на AI това е полезната аналогия: способност без капацитет за преглед създава оперативен риск. Кодиращ агент, който отваря 200 pull requests, може да е по-малко полезен от такъв, който отваря пет прегледни. Изследователски агент, който произвежда хиляди кандидат-твърдения, се нуждае от триаж. Бизнес агент, който предприема действия в различни инструменти, се нуждае от точки за одобрение, audit logs и пътища за rollback. Същият модел се появява при human-in-the-loop одобрения и при дълготрайна агентна работа, където контекстът, състоянието и надзорът са по-важни от един впечатляващ отговор.

Математическият спор е предварителен поглед към това какво се случва, когато генерирането стане по-евтино от оценяването.

Математиката е ранен стрес тест, защото има необичайни свойства. Проблемите могат да бъдат формулирани ясно. Доказателствата понякога могат да бъдат проверени формално. Престижът е свързан с решаването на именувани отворени въпроси. А общността има силни норми около приоритета, атрибуцията и публикуването.

Други области ще се сблъскат с версия на същия натиск навсякъде, където са налице три условия:

Софтуерът вече е там. Кодът може да се генерира бързо, но коректността, сигурността, поддръжката и собствеността все още изискват преглед. Научната литература е близо: AI може да предлага хипотези или анализи по-бързо, отколкото лабораториите могат да ги тестват. Правната и медицинската работа са по-ограничени, но споделят същата асиметрия между плавен изход и скъпа проверка.

Урокът не е всеки модел да бъде забавян по подразбиране. Урокът е институциите и системите да се проектират около тясното място. Ако един модел може да произведе 1.000 правдоподобни артефакта, продуктовият въпрос става: кои 10 трябва да види човек, в какъв ред, с какви доказателства и при какви ограничения?

Това е и центърът на дизайна за практически агентни системи. Multi-agent работните процеси се нуждаят от routing, памет, инструменти и пътища за ескалация, но се нуждаят и от граници: какво може да се изпълнява автоматично, какво изисква преглед и какво се записва за по-късна инспекция. Ако изграждате в тази посока, инженерните проблеми се припокриват повече с multi-agent оркестрация, отколкото с cleverness в prompt-овете.

Публикациите сочат към кратък списък от норми, които биха намалили триенето.

Първо, публикувайте статии, а не само съобщения. Блог постовете могат да обясняват резултати, но не бива да заменят научния обект, когато твърдението е теорема.

Второ, отделяйте демонстрациите на способности от научните твърдения. „Нашият модел произведе това доказателство“ и „общността приема този резултат“ са различни твърдения. Разделянето им защитава както лабораторията, така и областта.

Трето, разкривайте произхода. Ако AI инструменти са използвани от външни математици, ако лаборатория е имала достъп до потребителски взаимодействия или ако вътрешни агенти са били разгърнати след информация за конкурентна работа, историята за атрибуцията се нуждае от повече от бележка под линия.

Четвърто, използвайте регистри и инфраструктура за проверка. WIRED съобщава, че математици са насърчили OpenAI да използва инструменти като Hexagon и Palomar. Ако тези инструменти не са достатъчни, лабораториите трябва да помогнат за подобряване на процеса, вместо да го заобикалят.

Пето, публикувайте с темпо, което хората могат да прегледат. Изсипване на стотици резултати може да максимизира зрелището. То не максимизира разбирането.

Кризата на идентичността, ако има такава, не е, че математиците вече нямат значение. Тя е, че професията може да трябва да предефинира оскъдната си работа. Задаването на добри въпроси, определянето на стандарти, проверката на резултати, приписването на заслуги и превръщането на изолирани доказателства в използваема теория стават още по-важни, когато машините могат да произвеждат повече кандидат-отговори.

Тази промяна е неудобна. Тя е и позната. Всяка зряла област развива филтри, когато производството стане евтино. AI принуждава математиката да изгради тези филтри публично.

За още ясни AI новини и практически ръководства се абонирайте за бюлетина на NeuraLIA Labs.

• Централният въпрос не е само дали AI може да решава трудни математически проблеми, а дали математическата общност може да проверява и усвоява резултатите със същата скорост.
• Според съобщения OpenAI е заявила голям напредък по отдавна нерешени проблеми, включително Navier–Stokes и над 100 други отворени въпроса, но приемането зависи от експертна проверка.
• Резултатът за единичното разстояние на Erdős показва вероятен краткосрочен модел: AI системите могат да намират важни доказателства, докато хората все още ги опростяват, контекстуализират и разширяват.
• Притесненията на математиците се фокусират върху процеса, произхода, атрибуцията, нормите за публикуване и риска от претоварване на системите за преглед.
• Същото тясно място между генериране и проверка се появява в софтуера, науката, правото, медицината и агентните AI работни процеси.

Това е разликата между скоростта, с която AI системите могат да генерират правдоподобни доказателства или твърдения, и бавността, с която експертите могат да ги проверят, контекстуализират, атрибутират и използват повторно.

Според съобщения OpenAI е заявила, че вътрешен модел е разрешил проблема на Navier–Stokes за наградата Millennium, но статията подчертава, че е необходима проверка от общността, преди такова твърдение да бъде прието.

Притесненията им включват стандарти за публикуване, авторство, произход, спорове за приоритет и възможността големи партиди AI-генерирани резултати да претоварят експертния преглед.

Според обсъдените публикации модел на OpenAI е опровергал хипотезата на Erdős за единичното разстояние, като е рекомбинирал известни идеи по полезен начин, след което математици са изчистили и разширили работата.

Софтуерът, научните изследвания, правната работа и медицинската работа са под сходен натиск, защото AI може да произвежда резултати бързо, докато валидирането остава скъпо и с реални последици.