Les afirmacions matemàtiques d’OpenAI exposen el coll d’ampolla de verificació de la IA

L’informe de WIRED descriu un conflicte creixent entre els laboratoris d’IA de frontera i els matemàtics professionals al voltant del procés. La portaveu d’OpenAI, Lindsay McCallum, va dir a WIRED que el 28 d’agost l’empresa va començar a entrenar un nou model intern i que, a més de «resoldre el problema del Premi del Mil·lenni de Navier—Stokes», el model havia «resolt més de 100 problemes oberts de llarga trajectòria en la majoria d’àrees de les matemàtiques».

És una afirmació extraordinària, i arriba en un context fràgil. El problema de Navier–Stokes és un dels Problemes del Premi del Mil·lenni, una classe de problemes la resolució dels quals normalment requereix un escrutini extens per part d’experts. Vam tractar els riscos de verificació al voltant d’aquesta afirmació a l’afirmació d’OpenAI sobre la prova de Navier–Stokes: el resultat titular importa, però el camí que va de «el model ha produït un argument» a «el camp accepta el teorema» és la part difícil.

WIRED també va informar que OpenAI havia dit a diverses persones que tenia previst publicar centenars de solucions a problemes no resolts a GitHub. McCallum va dir a WIRED que l’empresa estava «treballant per publicar de manera responsable» els pròxims resultats matemàtics i que es basava en consells i recomanacions públiques de l’Advisory Group on Mathematics and Artificial Intelligence de l’Institute for Advanced Study. També va dir que OpenAI no havia fixat cap data de publicació.

Aquesta distinció importa. Una publicació a GitHub és útil per al software. No és automàticament la unitat adequada per a les matemàtiques de frontera. Els matemàtics poden llegir codi, proves formals, esquemes i articles, però cada format respon una pregunta diferent. L’argument funciona? Qui va tenir la idea clau? De quins treballs previs depèn? Quines parts són noves i quines són recombinacions? Què haurien de citar altres investigadors?

Bryna Kra, matemàtica de la Northwestern University que va assistir a la reunió d’agost, va dir a WIRED que els assistents van demanar a OpenAI que no publiqués els resultats només en una entrada de blog o en un tuit, sinó que escrivís articles que els matemàtics poguessin «assimilar, digerir i utilitzar». Kra va dir a WIRED: «Pel que sembla, aquesta aportació va ser ignorada».

L’exemple tècnic més clar del material original no és el lot disputat de centenars de resultats. És el resultat anterior d’OpenAI sobre distàncies unitàries.

El problema de les distàncies unitàries d’Erdős pregunta, a grans trets, quants parells de punts en un pla poden estar exactament a una unitat de distància. Paul Erdős va conjecturar que la millor disposició possible creixeria només una mica més de pressa que el nombre de punts. Segons Ars Technica, el model d’OpenAI va demostrar que s’equivocava construint una disposició de punts més complexa que els enfocaments tradicionals basats en graelles.

Ars descriu el mètode com una recombinació enginyosa d’idees matemàtiques conegudes. El model va utilitzar una graella d’alta dimensió, la va projectar en dues dimensions i va fer servir enters algebraics per crear una estructura més rica. Segons l’avaluació d’Ars, el resultat no introduïa tècniques genuïnament noves. Més tard, matemàtics humans van polir i ampliar el treball.

Aquesta combinació és important: prou autònoma per importar, però no màgica. El sistema d’IA va trobar una prova que resolia una gran conjectura oberta, però el resultat encara necessitava interpretació humana, simplificació, extensió i ubicació dins la literatura.

Aquesta és la imatge més realista a curt termini de la IA en recerca: els models cerquen àmpliament, connecten subcamps i treballen estratègies de prova que serien tedioses per a les persones; els humans decideixen quines preguntes importen, reparen l’exposició, comproven el treball i construeixen la capa següent. Potser aquesta divisió no aguantarà per sempre, però l’evidència actual dels informes citats dona més suport a una història híbrida que no pas a una història de substitució neta.

També s’assembla al que els enginyers estan veient amb els agents de software. Les preguntes de producció més difícils no són només «el model pot produir una resposta?». Són «podem avaluar-la, reproduir-la, atribuir-la i deixar que actuï amb seguretat?». Per això el disseny d’avaluacions s’ha tornat central, des de petits conjunts de referència fins a mesures d’execucions repetides com pass@k; si vols la versió d’enginyeria, comença per l’avaluació d’LLM.

La reacció que descriu WIRED no és anti-IA en el sentit simple. Diversos matemàtics citats a l’article semblen entusiasmats amb eines més potents. La seva preocupació és el poder institucional i el procés científic.

WIRED escriu que alguns acadèmics senten que les matemàtiques s’han convertit en un camp de proves per a OpenAI i Anthropic, mentre les empreses competeixen per demostrar la capacitat dels models. Nestor Guillen, professor visitant de matemàtiques a la New York University, va dir a WIRED que entre els matemàtics hi ha «una percepció de comportament mafiós» envers les empreses d’IA. McCallum, d’OpenAI, va respondre: «No estem d’acord amb aquesta caracterització».

La disputa més seriosa descrita per WIRED implica Tristan Buckmaster, professor de la New York University, i Levent Alpöge, empleat d’Anthropic. WIRED informa que OpenAI va desplegar milers d’agents al setembre per treballar en un problema del Premi del Mil·lenni després de sentir «rumors» que altres hi eren a prop. Buckmaster va acusar OpenAI d’avançar-se a una feina que havia fet amb Alpöge, una feina que la parella encara no havia publicat però que havia desenvolupat amb l’ajuda d’eines d’OpenAI.

L’investigador d’OpenAI Sébastien Bubeck va negar haver demanat que Alpöge fos exclòs de l’autoria, segons el relat de WIRED sobre la seva resposta. Tot i així, l’episodi mostra per què l’atribució es torna difícil quan els investigadors utilitzen eines propietàries, els laboratoris poden observar alguns usos i els models interns es poden dirigir a problemes adjacents a gran escala.

La comunitat ja està responent. WIRED esmenta Hexagon, un repositori per a material matemàtic generat principalment per IA, i Palomar, un registre de matemàtiques verificades per màquina. També cita la declaració de Leiden, una crida signada per més de 4.000 matemàtics que demana a les empreses d’IA que compleixin els estàndards dels matemàtics.

La direcció és clara: si les matemàtiques generades per IA esdevenen abundants, les matemàtiques necessiten una nova infraestructura per a la procedència, la revisió i la verificació. GitHub en pot formar part. No pot ser tot el procés.

Una prova no s’accepta perquè un model potent l’emet. S’accepta perquè una comunitat pot comprovar-la.

Aquesta capa social és fàcil de subestimar des de fora. Les matemàtiques sovint semblen lògica pura: o bé la prova és vàlida o bé no ho és. A la pràctica, una prova també ha de ser llegible, contextualitzada i connectada amb el treball existent. Un camp ha de saber quins lemes fan la feina, quines hipòtesis estan amagades, quines cites falten i quines afirmacions són prou fortes per reutilitzar-les.

La IA tensiona aquest sistema canviant-ne el volum. Una prova difícil és un repte. Centenars de solucions afirmades són un problema de cua. Si només un nombre petit d’experts pot avaluar cada resultat, publicar un gran lot pot crear un endarreriment que, des de la perspectiva del laboratori, sembla progrés i, des de la perspectiva del camp, sembla runa.

Per als qui construeixen IA, aquesta és l’analogia útil: la capacitat sense capacitat de revisió crea risc operatiu. Un agent de programació que obre 200 pull requests pot ser menys útil que un que n’obre cinc de revisables. Un agent de recerca que produeix milers d’afirmacions candidates necessita triatge. Un agent de negoci que executa accions en diverses eines necessita punts d’aprovació, registres d’auditoria i camins de reversió. El mateix patró apareix en les aprovacions amb humà en el circuit i en el treball d’agents de llarga durada, on el context, l’estat i la supervisió importen més que una resposta impressionant.

La controvèrsia matemàtica és un avançament del que passa quan generar es torna més barat que avaluar.

Les matemàtiques són una prova d’estrès primerenca perquè tenen propietats inusuals. Els problemes es poden formular amb precisió. Les proves de vegades es poden comprovar formalment. El prestigi està lligat a resoldre preguntes obertes amb nom propi. I la comunitat té normes fortes sobre prioritat, atribució i publicació.

Altres camps afrontaran una versió de la mateixa pressió allà on es compleixin tres condicions:

El software ja hi és. El codi es pot generar ràpidament, però la correcció, la seguretat, la mantenibilitat i la propietat encara requereixen revisió. La literatura científica hi és a prop: una IA pot proposar hipòtesis o anàlisis més de pressa del que els laboratoris poden provar-les. El treball jurídic i mèdic està més restringit, però comparteix la mateixa asimetria entre una sortida fluida i una verificació costosa.

La lliçó no és frenar tots els models per defecte. És dissenyar institucions i sistemes al voltant del coll d’ampolla. Si un model pot produir 1.000 artefactes plausibles, la pregunta de producte passa a ser: quins 10 hauria de veure un humà, en quin ordre, amb quines proves i sota quines restriccions?

Aquest també és el centre de disseny dels sistemes d’agents pràctics. Els fluxos de treball multiagent necessiten encaminament, memòria, eines i vies d’escalat, però també necessiten límits: què pot executar-se automàticament, què requereix revisió i què queda registrat per a una inspecció posterior. Si estàs construint en aquesta direcció, els problemes d’enginyeria se superposen amb l’orquestració multiagent més que no pas amb l’enginy del prompt.

Els informes apunten a una llista breu de normes que reduirien la fricció.

Primer, publicar articles, no només anuncis. Les entrades de blog poden explicar resultats, però no haurien de substituir l’objecte acadèmic quan l’afirmació és un teorema.

Segon, separar les demostracions de capacitat de les afirmacions científiques. «El nostre model ha produït aquesta prova» i «la comunitat accepta aquest resultat» són enunciats diferents. Mantenir-los separats protegeix tant el laboratori com el camp.

Tercer, revelar la procedència. Si matemàtics externs van utilitzar eines d’IA, si un laboratori tenia accés a interaccions dels usuaris o si es van desplegar agents interns després de sentir parlar de treballs competidors, la història d’atribució necessita més que una nota a peu de pàgina.

Quart, utilitzar registres i infraestructura de verificació. WIRED informa que els matemàtics han animat OpenAI a utilitzar eines com Hexagon i Palomar. Si aquestes eines no són suficients, els laboratoris haurien d’ajudar a millorar el procés en lloc d’esquivar-lo.

Cinquè, publicar a un ritme revisable per humans. Un abocament de centenars de resultats pot maximitzar l’espectacle. No maximitza la comprensió.

La crisi d’identitat, si n’hi ha una, no és que els matemàtics ja no importin. És que la professió potser ha de redefinir quina és la seva feina escassa. Fer bones preguntes, fixar estàndards, verificar resultats, assignar crèdit i convertir proves aïllades en teoria utilitzable es tornen encara més importants quan les màquines poden produir més respostes candidates.

Aquest canvi és incòmode. També és familiar. Tot camp madur desenvolupa filtres quan la producció es torna barata. La IA està obligant les matemàtiques a construir aquests filtres en públic.

Per a més notícies clares sobre IA i guies pràctiques, subscriu-te al butlletí de NeuraLIA Labs.

• La qüestió central no és només si la IA pot resoldre problemes matemàtics difícils, sinó si la comunitat matemàtica pot verificar i assimilar els resultats a la mateixa velocitat.
• Segons diversos informes, OpenAI ha afirmat avenços importants en problemes de llarga trajectòria, inclosos Navier–Stokes i més de 100 altres preguntes obertes, però l’acceptació depèn de l’escrutini expert.
• El resultat de les distàncies unitàries d’Erdős mostra un patró probable a curt termini: els sistemes d’IA poden trobar proves importants, mentre els humans encara les simplifiquen, contextualitzen i amplien.
• Les preocupacions dels matemàtics se centren en el procés, la procedència, l’atribució, les normes de publicació i el risc de saturar els sistemes de revisió.
• El mateix coll d’ampolla entre generació i verificació està apareixent en el software, la ciència, el dret, la medicina i els fluxos de treball d’IA agentiva.

És la bretxa entre la rapidesa amb què els sistemes d’IA poden generar proves o afirmacions plausibles i la lentitud amb què els experts poden verificar-les, contextualitzar-les, atribuir-les i reutilitzar-les.

Segons els informes, OpenAI ha afirmat que un model intern va resoldre el problema del Premi del Mil·lenni de Navier–Stokes, però l’article subratlla que cal verificació comunitària abans que una afirmació així sigui acceptada.

Les seves preocupacions inclouen els estàndards de publicació, l’autoria, la procedència, les disputes de prioritat i la possibilitat que grans lots de resultats generats per IA saturin la revisió experta.

Segons els informes comentats, un model d’OpenAI va refutar la conjectura de les distàncies unitàries d’Erdős recombinant idees conegudes d’una manera útil; després, matemàtics humans van polir i ampliar el treball.

El software, la recerca científica, el treball jurídic i el treball mèdic afronten pressions similars perquè la IA pot produir sortides ràpidament mentre la validació continua sent costosa i decisiva.