As afirmacións matemáticas de OpenAI expoñen o colo de botella da verificación da IA

O informe de WIRED describe un conflito crecente entre os laboratorios de IA de fronteira e os matemáticos profesionais arredor do proceso. A portavoz de OpenAI, Lindsay McCallum, díxolle a WIRED que o 28 de agosto a compañía comezou a adestrar un novo modelo interno e que, ademais de “resolver o problema do Premio do Milenio de Navier—Stokes”, o modelo “resolvera máis de 100 problemas abertos de longa data na maioría das áreas das matemáticas”.

É unha afirmación extraordinaria, e chega nun contexto fráxil. O problema de Navier–Stokes é un dos Problemas do Premio do Milenio, unha categoría de problemas cuxa resolución normalmente require un escrutinio prolongado por parte de expertos. Cubrimos o que está en xogo na verificación desa afirmación en a afirmación de OpenAI sobre a proba de Navier–Stokes: o resultado titular importa, pero o camiño de “o modelo produciu un argumento” a “o campo acepta o teorema” é a parte difícil.

WIRED tamén informou de que OpenAI lle dixera a varias persoas que planeaba publicar centos de solucións a problemas non resoltos en GitHub. McCallum díxolle a WIRED que a compañía estaba “traballando para publicar de forma responsable” os seguintes resultados matemáticos e que estaba tendo en conta consellos e recomendacións públicas do Advisory Group on Mathematics and Artificial Intelligence do Institute for Advanced Study. Tamén dixo que OpenAI non fixara unha data de publicación.

Esa distinción importa. Unha publicación en GitHub é útil para software. Non é automaticamente a unidade axeitada para as matemáticas de fronteira. Os matemáticos poden ler código, probas formais, esquemas e artigos, pero cada formato responde a unha pregunta distinta. Funciona o argumento? Quen tivo a idea clave? En que traballos previos se apoia? Que partes son novas e cales son recombinacións? Que deberían citar outros investigadores?

Bryna Kra, matemática da Northwestern University que asistiu á reunión de agosto, díxolle a WIRED que os asistentes lle pediron a OpenAI que non publicase resultados só nunha entrada de blog ou nun chío, senón que escribise artigos que os matemáticos puidesen “asimilar, dixerir e usar”. Kra díxolle a WIRED: “Ao parecer, esa achega foi ignorada”.

O exemplo técnico máis claro no material de orixe non é o lote disputado de centos de resultados. É o resultado anterior de OpenAI sobre a distancia unitaria.

O problema da distancia unitaria de Erdős pregunta, a grandes trazos, cantos pares de puntos nun plano poden estar exactamente a unha unidade de distancia. Paul Erdős conxecturou que a mellor disposición posible medraría só apenas máis rápido ca o número de puntos. Segundo Ars Technica, o modelo de OpenAI demostrou que estaba equivocado construíndo unha disposición de puntos máis complexa ca os enfoques tradicionais baseados en retículas.

Ars describe o método como unha recombinación intelixente de ideas matemáticas coñecidas. O modelo usou unha retícula de alta dimensión, proxectouna en dúas dimensións e empregou enteiros alxébricos para crear unha estrutura máis rica. Na valoración de Ars, o resultado non introduciu técnicas xenuinamente novas. Matemáticos humanos limparon e ampliaron despois o traballo.

Esa combinación é importante: suficientemente autónoma como para importar, pero non máxica. O sistema de IA atopou unha proba que resolveu unha gran conxectura aberta, pero o resultado aínda precisou interpretación humana, simplificación, extensión e encaixe na literatura.

Esta é a imaxe máis realista a curto prazo para a IA na investigación: os modelos buscan amplamente, conectan subcampos e exploran estratexias de proba que serían tediosas para as persoas; os humanos deciden que preguntas importan, reparan a exposición, comproban o traballo e constrúen a seguinte capa. Esa división pode non manterse para sempre, pero as probas actuais nos informes citados apoian máis unha historia híbrida ca unha historia de substitución limpa.

Tamén se parece ao que os enxeñeiros están a ver nos axentes de software. As preguntas de produción máis difíciles non son só “pode o modelo producir unha resposta?”. Son “podemos avaliala, reproducila, atribuíla e deixala actuar con seguridade?”. Por iso o deseño de avaliación se volveu central, desde pequenos conxuntos dourados ata medidas de execución repetida como pass@k; se queres a versión de enxeñaría, comeza por avaliación de LLM.

A reacción que relata WIRED non é anti-IA no sentido simple. Varios matemáticos citados na historia semellan entusiasmados con ferramentas máis potentes. A súa preocupación é o poder institucional e o proceso científico.

WIRED escribe que algúns académicos senten que as matemáticas se converteron nun campo de probas para OpenAI e Anthropic mentres as compañías compiten por demostrar a capacidade dos seus modelos. Nestor Guillen, profesor visitante de matemáticas na New York University, díxolle a WIRED que existe “unha percepción de comportamento mafioso” entre os matemáticos cara ás compañías de IA. McCallum, de OpenAI, respondeu: “Non estamos de acordo con esa caracterización”.

A disputa máis seria descrita por WIRED implica a Tristan Buckmaster, profesor da New York University, e Levent Alpöge, empregado de Anthropic. WIRED informa de que OpenAI despregou miles de axentes en setembro para traballar nun problema do Premio do Milenio despois de escoitar “rumores” de que outros estaban preto. Buckmaster acusou OpenAI de adiantarse a un traballo que fixera con Alpöge, un traballo que a parella aínda non publicara pero que estivera desenvolvendo coa axuda de ferramentas de OpenAI.

O investigador de OpenAI Sébastien Bubeck negou ter pedido que Alpöge quedase excluído da autoría, segundo o relato de WIRED sobre a súa resposta. Aínda así, o episodio mostra por que a atribución se volve difícil cando os investigadores usan ferramentas propietarias, os laboratorios poden observar parte do uso e os modelos internos poden dirixirse a problemas adxacentes a grande escala.

A comunidade xa está a responder. WIRED menciona Hexagon, un repositorio para material matemático xerado principalmente por IA, e Palomar, un rexistro de matemáticas verificadas por máquina. Tamén cita a declaración de Leiden, un chamamento asinado por máis de 4.000 matemáticos que lles pide ás compañías de IA que cumpran os estándares dos matemáticos.

A dirección é clara: se as matemáticas xeradas por IA se volven abundantes, as matemáticas necesitan nova infraestrutura para procedencia, revisión e verificación. GitHub pode formar parte diso. Non pode ser todo o proceso.

Unha proba non se acepta porque a emita un modelo potente. Acéptase porque unha comunidade pode comprobala.

Esa capa social é doada de subestimar desde fóra. As matemáticas adoitan parecer lóxica pura: ou a proba é válida ou non o é. Na práctica, unha proba tamén ten que ser lexible, estar contextualizada e conectada co traballo existente. Un campo necesita saber que lemas fan o traballo, que supostos están ocultos, que citas faltan e que afirmacións son o bastante fortes como para reutilizarse.

A IA tensiona ese sistema ao cambiar o volume. Unha proba difícil é un reto. Centos de solucións reivindicadas son un problema de cola. Se só un pequeno número de expertos pode avaliar cada resultado, publicar un lote grande pode crear un atraso que desde a perspectiva do laboratorio semella progreso e desde a perspectiva do campo semella entullo.

Para quen constrúe IA, esta é a analoxía útil: a capacidade sen capacidade de revisión crea risco operativo. Un axente de programación que abre 200 pull requests pode ser menos útil ca un que abre cinco revisables. Un axente de investigación que produce miles de afirmacións candidatas necesita triáxe. Un axente empresarial que executa accións en distintas ferramentas necesita puntos de aprobación, rexistros de auditoría e vías de reversión. O mesmo patrón aparece nas aprobacións con persoa no circuíto e no traballo de axentes de longa duración, onde contexto, estado e supervisión importan máis ca unha soa resposta impresionante.

A controversia matemática é un avance do que ocorre cando xerar se volve máis barato ca avaliar.

As matemáticas son unha proba de tensión temperá porque teñen propiedades pouco habituais. Os problemas poden formularse con precisión. Ás veces as probas poden comprobarse formalmente. O prestixio está ligado a resolver preguntas abertas con nome propio. E a comunidade ten normas fortes arredor da prioridade, a atribución e a publicación.

Outros campos afrontarán unha versión da mesma presión alí onde se dean tres condicións:

O software xa está aí. O código pode xerarse rapidamente, pero a corrección, a seguridade, o mantemento e a propiedade aínda requiren revisión. A literatura científica está preto: unha IA pode propoñer hipóteses ou análises máis rápido do que os laboratorios poden probalas. O traballo legal e médico está máis limitado, pero comparte a mesma asimetría entre unha saída fluída e unha verificación custosa.

A lección non é ralentizar todos os modelos por defecto. É deseñar institucións e sistemas arredor do colo de botella. Se un modelo pode producir 1.000 artefactos plausibles, a pregunta de produto pasa a ser: cales 10 debería ver unha persoa, en que orde, con que evidencias e baixo que restricións?

Ese tamén é o centro de deseño para sistemas de axentes prácticos. Os fluxos multi-axente necesitan encamiñamento, memoria, ferramentas e vías de escalado, pero tamén precisan límites: que pode executarse automaticamente, que require revisión e que queda rexistrado para inspección posterior. Se estás construíndo nesa dirección, os problemas de enxeñaría solápanse máis coa orquestración multi-axente ca coa astucia nos prompts.

Os informes apuntan a unha lista curta de normas que reducirían a fricción.

Primeiro, publicar artigos, non só anuncios. As entradas de blog poden explicar resultados, pero non deberían substituír o obxecto académico cando a afirmación é un teorema.

Segundo, separar as demostracións de capacidade das afirmacións científicas. “O noso modelo produciu esta proba” e “a comunidade acepta este resultado” son enunciados distintos. Mantelos separados protexe tanto o laboratorio como o campo.

Terceiro, divulgar a procedencia. Se matemáticos externos usaron ferramentas de IA, se un laboratorio tivo acceso a interaccións de usuarios ou se se despregaron axentes internos despois de escoitar falar de traballos competidores, a historia da atribución necesita máis ca unha nota ao pé.

Cuarto, usar rexistros e infraestrutura de verificación. WIRED informa de que os matemáticos animaron OpenAI a usar ferramentas como Hexagon e Palomar. Se esas ferramentas non son suficientes, os laboratorios deberían axudar a mellorar o proceso en vez de bordearlo.

Quinto, publicar a un ritmo revisable por humanos. Unha descarga de centos de resultados pode maximizar o espectáculo. Non maximiza a comprensión.

A crise de identidade, se a hai, non é que os matemáticos xa non importen. É que a profesión pode ter que redefinir cal é o seu traballo escaso. Formular boas preguntas, establecer estándares, verificar resultados, asignar crédito e converter probas illadas en teoría útil vólvese máis importante cando as máquinas poden producir máis respostas candidatas.

Ese cambio é incómodo. Tamén é familiar. Todo campo maduro desenvolve filtros cando a produción se volve barata. A IA está obrigando as matemáticas a construír eses filtros en público.

Para máis noticias claras sobre IA e guías prácticas, subscríbete ao boletín de NeuraLIA Labs.

• A cuestión central non é só se a IA pode resolver problemas matemáticos difíciles, senón se a comunidade matemática pode verificar e asimilar resultados á mesma velocidade.
• Segundo informes, OpenAI afirmou ter logrado avances importantes en problemas de longa data, incluído Navier–Stokes e máis de 100 outras preguntas abertas, pero a aceptación depende do escrutinio experto.
• O resultado da distancia unitaria de Erdős mostra un patrón probable a curto prazo: os sistemas de IA poden atopar probas importantes, mentres os humanos aínda as simplifican, contextualizan e amplían.
• As preocupacións dos matemáticos céntranse no proceso, a procedencia, a atribución, as normas de publicación e o risco de saturar os sistemas de revisión.
• O mesmo colo de botella entre xeración e verificación está a aparecer no software, a ciencia, o dereito, a medicina e os fluxos de traballo de IA axéntica.

É a fenda entre a rapidez coa que os sistemas de IA poden xerar probas ou afirmacións plausibles e a lentitude coa que os expertos poden verificalas, contextualizalas, atribuílas e reutilizalas.

Segundo informes, OpenAI afirmou que un modelo interno resolveu o problema do Premio do Milenio de Navier–Stokes, pero o artigo subliña que fai falta verificación da comunidade antes de aceptar unha afirmación así.

As súas preocupacións inclúen os estándares de publicación, a autoría, a procedencia, as disputas de prioridade e a posibilidade de que grandes lotes de resultados xerados por IA saturen a revisión experta.

Segundo os informes comentados, un modelo de OpenAI refutou a conxectura da distancia unitaria de Erdős recombinando ideas coñecidas dun xeito útil, tras o cal matemáticos humanos limparon e ampliaron o traballo.

O software, a investigación científica, o traballo legal e o traballo médico afrontan todos unha presión semellante porque a IA pode producir resultados rapidamente mentres a validación segue sendo cara e con consecuencias.