As afirmações matemáticas da OpenAI expõem o gargalo da verificação da IA

A reportagem da WIRED descreve um conflito crescente entre laboratórios de IA de fronteira e matemáticos profissionais em torno do processo. Lindsay McCallum, porta-voz da OpenAI, disse à WIRED que, em 28 de agosto, a empresa começou a treinar um novo modelo interno e que, além de «resolver o problema do Prémio Millennium de Navier—Stokes», o modelo tinha «resolvido mais de 100 problemas abertos de longa data na maioria das áreas da matemática».

É uma afirmação extraordinária, e surge num contexto frágil. O problema de Navier–Stokes é um dos Problemas do Prémio Millennium, uma classe de problemas cuja resolução normalmente exige escrutínio prolongado por especialistas. Abordámos os desafios de verificação em torno dessa afirmação em a alegação da OpenAI sobre uma demonstração de Navier–Stokes: o resultado de manchete importa, mas o caminho entre «o modelo produziu um argumento» e «a área aceita o teorema» é a parte difícil.

A WIRED também noticiou que a OpenAI tinha dito a algumas pessoas que planeava lançar centenas de soluções para problemas por resolver no GitHub. McCallum disse à WIRED que a empresa estava a «trabalhar para publicar de forma responsável» os próximos resultados de matemática e que estava a recorrer a aconselhamento e recomendações públicas do Advisory Group on Mathematics and Artificial Intelligence do Institute for Advanced Study. Disse também que a OpenAI ainda não tinha definido uma data de publicação.

Essa distinção importa. Uma publicação no GitHub é útil para software. Não é automaticamente a unidade certa para matemática de fronteira. Os matemáticos conseguem ler código, demonstrações formais, esboços e artigos, mas cada formato responde a uma pergunta diferente. O argumento funciona? Quem teve a ideia-chave? De que trabalho anterior depende? Que partes são novas e quais são recombinações? O que devem citar outros investigadores?

Bryna Kra, matemática da Northwestern University que participou na reunião de agosto, disse à WIRED que os participantes pediram à OpenAI que não publicasse resultados apenas num post de blog ou num tweet, e que, em vez disso, escrevesse artigos que os matemáticos pudessem «absorver, digerir e usar». Kra disse à WIRED: «Aparentemente, esse contributo foi ignorado.»

O exemplo técnico mais claro no material de origem não é o lote disputado de centenas de resultados. É o resultado anterior da OpenAI sobre distâncias unitárias.

O problema das distâncias unitárias de Erdős pergunta, grosso modo, quantos pares de pontos num plano podem estar exatamente a uma unidade de distância. Paul Erdős conjeturou que a melhor disposição possível cresceria apenas ligeiramente mais depressa do que o número de pontos. Segundo a Ars Technica, o modelo da OpenAI provou que ele estava errado ao construir uma disposição de pontos mais complexa do que as abordagens tradicionais baseadas em grelhas.

A Ars descreve o método como uma recombinação engenhosa de ideias matemáticas conhecidas. O modelo usou uma grelha de alta dimensão, projetou-a em duas dimensões e usou inteiros algébricos para criar uma estrutura mais rica. Na avaliação da Ars, o resultado não introduziu técnicas genuinamente novas. Matemáticos humanos limparam e ampliaram depois o trabalho.

Essa combinação é importante: suficientemente autónoma para importar, mas não mágica. O sistema de IA encontrou uma demonstração que resolveu uma grande conjetura em aberto, mas o resultado continuou a precisar de interpretação humana, simplificação, extensão e integração na literatura.

Este é o cenário de curto prazo mais realista para a IA na investigação: os modelos pesquisam amplamente, ligam subáreas e percorrem estratégias de demonstração que seriam enfadonhas para pessoas; os humanos decidem que perguntas importam, corrigem a exposição, verificam o trabalho e constroem a camada seguinte. Essa divisão pode não se manter para sempre, mas as evidências atuais nas reportagens fornecidas sustentam mais uma história híbrida do que uma história de substituição limpa.

Também se assemelha ao que os engenheiros estão a ver nos agentes de software. As perguntas de produção mais difíceis não são apenas «o modelo consegue produzir uma resposta?». São «conseguimos avaliá-la, reproduzi-la, atribuí-la e deixá-la agir em segurança?». É por isso que o desenho de avaliações se tornou central, de pequenos conjuntos de referência a medidas de execuções repetidas como pass@k; se quiser a versão de engenharia, comece por avaliação de LLM.

A reação descrita pela WIRED não é anti-IA no sentido simples. Vários matemáticos citados na história parecem entusiasmados com ferramentas mais fortes. A sua preocupação é o poder institucional e o processo científico.

A WIRED escreve que alguns académicos sentem que a matemática se tornou um campo de provas para a OpenAI e a Anthropic, à medida que as empresas competem para demonstrar a capacidade dos modelos. Nestor Guillen, professor visitante de matemática na New York University, disse à WIRED que existe «uma perceção de comportamento mafioso» entre matemáticos em relação às empresas de IA. McCallum, da OpenAI, respondeu: «Discordamos dessa caracterização.»

A disputa mais séria descrita pela WIRED envolve Tristan Buckmaster, professor da New York University, e Levent Alpöge, funcionário da Anthropic. A WIRED relata que a OpenAI mobilizou milhares de agentes em setembro para trabalhar num problema do Prémio Millennium depois de ouvir «rumores» de que outros estavam próximos. Buckmaster acusou a OpenAI de se antecipar a trabalho que tinha feito com Alpöge, trabalho que a dupla ainda não tinha publicado mas que tinha estado a desenvolver com a ajuda de ferramentas da OpenAI.

O investigador da OpenAI Sébastien Bubeck negou ter pedido que Alpöge fosse excluído da autoria, segundo o relato da WIRED sobre a sua resposta. Ainda assim, o episódio mostra porque é que a atribuição se torna difícil quando investigadores usam ferramentas proprietárias, os laboratórios conseguem observar alguma utilização, e modelos internos podem ser direcionados para problemas adjacentes em grande escala.

A comunidade já está a reagir. A WIRED menciona o Hexagon, um repositório de material matemático sobretudo gerado por IA, e o Palomar, um registo de matemática verificada por máquinas. Cita também a declaração de Leiden, um apelo assinado por mais de 4.000 matemáticos que pede às empresas de IA que cumpram os padrões dos matemáticos.

A direção é clara: se a matemática gerada por IA se tornar abundante, a matemática precisa de nova infraestrutura para proveniência, revisão e verificação. O GitHub pode fazer parte disso. Não pode ser todo o processo.

Uma demonstração não é aceite porque um modelo poderoso a emite. É aceite porque uma comunidade consegue verificá-la.

Essa camada social é fácil de subestimar a partir de fora. A matemática parece muitas vezes lógica pura: ou a demonstração é válida ou não é. Na prática, uma demonstração também tem de ser legível, contextualizada e ligada ao trabalho existente. Uma área precisa de saber que lemas fazem o trabalho, que pressupostos estão escondidos, que citações faltam e que afirmações são suficientemente fortes para serem reutilizadas.

A IA pressiona esse sistema ao alterar o volume. Uma demonstração difícil é um desafio. Centenas de soluções alegadas são um problema de filas de espera. Se apenas um pequeno número de especialistas consegue avaliar cada resultado, publicar um grande lote pode criar uma acumulação que parece progresso do ponto de vista do laboratório e entulho do ponto de vista da área.

Para quem constrói IA, esta é a analogia útil: capacidade sem capacidade de revisão cria risco operacional. Um agente de programação que abre 200 pull requests pode ser menos útil do que um que abre cinco que sejam revisíveis. Um agente de investigação que produz milhares de afirmações candidatas precisa de triagem. Um agente empresarial que executa ações em várias ferramentas precisa de pontos de aprovação, registos de auditoria e caminhos de reversão. O mesmo padrão aparece nas aprovações com humano no circuito e no trabalho de agentes de longa duração, em que contexto, estado e supervisão importam mais do que uma resposta impressionante.

A controvérsia da matemática é uma antevisão do que acontece quando gerar fica mais barato do que avaliar.

A matemática é um teste de esforço precoce porque tem propriedades invulgares. Os problemas podem ser formulados de forma precisa. As demonstrações podem, por vezes, ser verificadas formalmente. O prestígio está ligado à resolução de questões abertas com nome. E a comunidade tem normas fortes em torno de prioridade, atribuição e publicação.

Outras áreas enfrentarão uma versão da mesma pressão sempre que três condições se verificarem:

O software já está nesse ponto. O código pode ser gerado rapidamente, mas a correção, a segurança, a manutenibilidade e a propriedade continuam a exigir revisão. A literatura científica está perto: uma IA consegue propor hipóteses ou análises mais depressa do que os laboratórios conseguem testá-las. O trabalho jurídico e médico é mais condicionado, mas partilha a mesma assimetria entre output fluente e verificação dispendiosa.

A lição não é abrandar todos os modelos por defeito. É desenhar instituições e sistemas em torno do gargalo. Se um modelo consegue produzir 1.000 artefactos plausíveis, a pergunta de produto torna-se: quais são os 10 que um humano deve ver, por que ordem, com que evidência e sob que restrições?

Esse é também o centro de desenho para sistemas de agentes práticos. Fluxos de trabalho multiagente precisam de encaminhamento, memória, ferramentas e caminhos de escalamento, mas também precisam de limites: o que pode correr automaticamente, o que exige revisão e o que fica registado para inspeção posterior. Se estiver a construir nessa direção, os problemas de engenharia sobrepõem-se mais à orquestração multiagente do que à engenhosidade de prompts.

As reportagens apontam para uma pequena lista de normas que reduziriam o atrito.

Primeiro, publicar artigos, não apenas anúncios. Os posts de blog podem explicar resultados, mas não devem substituir o objeto académico quando a afirmação é um teorema.

Segundo, separar demonstrações de capacidade de afirmações científicas. «O nosso modelo produziu esta demonstração» e «a comunidade aceita este resultado» são declarações diferentes. Mantê-las separadas protege tanto o laboratório como a área.

Terceiro, divulgar a proveniência. Se ferramentas de IA foram usadas por matemáticos externos, se um laboratório teve acesso a interações de utilizadores, ou se agentes internos foram mobilizados depois de ouvir falar de trabalho concorrente, a história de atribuição precisa de mais do que uma nota de rodapé.

Quarto, usar registos e infraestrutura de verificação. A WIRED relata que matemáticos incentivaram a OpenAI a usar ferramentas como o Hexagon e o Palomar. Se essas ferramentas não forem suficientes, os laboratórios devem ajudar a melhorar o processo em vez de o contornar.

Quinto, publicar a um ritmo que humanos consigam rever. Um despejo de centenas de resultados pode maximizar o espetáculo. Não maximiza a compreensão.

A crise de identidade, se existir, não é o facto de os matemáticos deixarem de importar. É que a profissão pode precisar de redefinir o seu trabalho escasso. Fazer boas perguntas, definir padrões, verificar resultados, atribuir crédito e transformar demonstrações isoladas em teoria utilizável tornam-se todos mais importantes quando as máquinas conseguem produzir mais respostas candidatas.

Essa mudança é desconfortável. Também é familiar. Todos os campos maduros desenvolvem filtros quando a produção se torna barata. A IA está a forçar a matemática a construir esses filtros em público.

Para mais notícias claras sobre IA e guias práticos, subscreva a newsletter da NeuraLIA Labs.

• A questão central não é apenas saber se a IA consegue resolver problemas matemáticos difíceis, mas se a comunidade matemática consegue verificar e absorver resultados à mesma velocidade.
• A OpenAI terá alegado grandes avanços em problemas de longa data, incluindo Navier–Stokes e mais de 100 outras questões em aberto, mas a aceitação depende do escrutínio de especialistas.
• O resultado das distâncias unitárias de Erdős mostra um padrão provável no curto prazo: sistemas de IA conseguem encontrar demonstrações importantes, enquanto os humanos ainda as simplificam, contextualizam e ampliam.
• As preocupações dos matemáticos centram-se no processo, na proveniência, na atribuição, nas normas de publicação e no risco de sobrecarregar os sistemas de revisão.
• O mesmo gargalo entre geração e verificação está a surgir no software, na ciência, no direito, na medicina e nos fluxos de trabalho de IA agêntica.

É a distância entre a rapidez com que os sistemas de IA conseguem gerar demonstrações ou afirmações plausíveis e a lentidão com que os especialistas conseguem verificá-las, contextualizá-las, atribuí-las e reutilizá-las.

A OpenAI terá afirmado que um modelo interno resolveu o problema do Prémio Millennium de Navier–Stokes, mas o artigo sublinha que é necessária verificação pela comunidade antes de tal afirmação ser aceite.

As suas preocupações incluem padrões de publicação, autoria, proveniência, disputas de prioridade e a possibilidade de grandes lotes de resultados gerados por IA sobrecarregarem a revisão por especialistas.

Segundo as reportagens discutidas, um modelo da OpenAI refutou a conjetura das distâncias unitárias de Erdős ao recombinar ideias conhecidas de forma útil, após o que matemáticos humanos limparam e ampliaram o trabalho.

Software, investigação científica, trabalho jurídico e trabalho médico enfrentam pressões semelhantes porque a IA consegue produzir outputs rapidamente, enquanto a validação continua cara e consequente.