As alegações matemáticas da OpenAI expõem o gargalo de verificação da IA

A reportagem da WIRED descreve um conflito crescente entre laboratórios de IA de fronteira e matemáticos profissionais em torno do processo. A porta-voz da OpenAI, Lindsay McCallum, disse à WIRED que, em 28 de agosto, a empresa começou a treinar um novo modelo interno e que, além de “resolver o problema do Prêmio do Milênio de Navier—Stokes”, o modelo havia “resolvido mais de 100 problemas em aberto de longa data na maioria das áreas da matemática”.

Essa é uma afirmação extraordinária, e ela aparece em um contexto frágil. O problema de Navier–Stokes é um dos Problemas do Prêmio do Milênio, uma classe de problemas cuja resolução normalmente exige análise prolongada de especialistas. Cobrimos os riscos de verificação em torno dessa alegação em a alegação de prova de Navier–Stokes da OpenAI: o resultado de manchete importa, mas o caminho de “o modelo produziu um argumento” até “a área aceita o teorema” é a parte difícil.

A WIRED também informou que a OpenAI havia dito a pessoas que planejava lançar centenas de soluções para problemas não resolvidos no GitHub. McCallum disse à WIRED que a empresa estava “trabalhando para lançar com responsabilidade” os próximos resultados matemáticos e se baseava em conselhos e recomendações públicas do Advisory Group on Mathematics and Artificial Intelligence do Institute for Advanced Study. Ela também disse que a OpenAI não havia definido uma data de lançamento.

Essa distinção importa. Um lançamento no GitHub é útil para software. Ele não é automaticamente a unidade certa para a matemática de fronteira. Matemáticos podem ler código, provas formais, esboços e artigos, mas cada formato responde a uma pergunta diferente. O argumento funciona? Quem teve a ideia-chave? De quais trabalhos anteriores ele depende? Quais partes são novas, e quais são recombinações? O que outros pesquisadores devem citar?

Bryna Kra, matemática da Northwestern University que participou da reunião de agosto, disse à WIRED que os participantes pediram à OpenAI que não publicasse resultados apenas em um post de blog ou tweet e, em vez disso, escrevesse artigos que matemáticos pudessem “absorver, digerir e usar”. Kra disse à WIRED: “Aparentemente, essa contribuição foi ignorada.”

O exemplo técnico mais claro no material-fonte não é o lote contestado de centenas de resultados. É o resultado anterior da OpenAI sobre distância unitária.

O problema de distância unitária de Erdős pergunta, em linhas gerais, quantos pares de pontos em um plano podem estar exatamente a uma unidade de distância. Paul Erdős conjecturou que o melhor arranjo possível cresceria apenas um pouco mais rápido do que o número de pontos. Segundo a Ars Technica, o modelo da OpenAI provou que ele estava errado ao construir um arranjo de pontos mais complexo do que as abordagens tradicionais baseadas em grades.

A Ars descreve o método como uma recombinação engenhosa de ideias matemáticas conhecidas. O modelo usou uma grade de alta dimensão, projetou-a em duas dimensões e usou inteiros algébricos para criar uma estrutura mais rica. O resultado, na avaliação da Ars, não introduziu técnicas genuinamente novas. Matemáticos humanos depois limparam e estenderam o trabalho.

Essa combinação é importante: autônoma o bastante para importar, mas não mágica. O sistema de IA encontrou uma prova que resolveu uma grande conjectura em aberto, mas o resultado ainda precisou de interpretação humana, simplificação, extensão e posicionamento na literatura.

Este é o retrato mais realista no curto prazo para a IA na pesquisa: modelos buscam amplamente, conectam subáreas e exploram estratégias de prova que seriam tediosas para pessoas; humanos decidem quais perguntas importam, reparam a exposição, checam o trabalho e constroem a próxima camada. Essa divisão talvez não dure para sempre, mas as evidências atuais nas reportagens fornecidas sustentam mais uma história híbrida do que uma história de substituição clara.

Ela também se parece com o que engenheiros estão vendo em agentes de software. As perguntas mais difíceis em produção não são apenas “o modelo consegue produzir uma resposta?”. Elas são “conseguimos avaliá-la, reproduzi-la, atribuí-la e deixá-la agir com segurança?”. É por isso que o desenho de avaliações se tornou central, de pequenos conjuntos dourados a medidas de execuções repetidas como pass@k; se você quer a versão de engenharia, comece por avaliação de LLMs.

A reação descrita pela WIRED não é anti-IA em um sentido simples. Vários matemáticos citados na reportagem parecem empolgados com ferramentas mais fortes. A preocupação deles é poder institucional e processo científico.

A WIRED escreve que alguns acadêmicos sentem que a matemática se tornou um campo de provas para OpenAI e Anthropic enquanto as empresas correm para demonstrar a capacidade dos modelos. Nestor Guillen, professor visitante de matemática na New York University, disse à WIRED que há “uma percepção de comportamento mafioso” entre matemáticos em relação às empresas de IA. McCallum, da OpenAI, respondeu: “Discordamos dessa caracterização.”

A disputa mais séria descrita pela WIRED envolve Tristan Buckmaster, professor da New York University, e Levent Alpöge, funcionário da Anthropic. A WIRED relata que a OpenAI implantou milhares de agentes em setembro para trabalhar em um Problema do Prêmio do Milênio depois de ouvir “rumores” de que outros estavam perto. Buckmaster acusou a OpenAI de se antecipar a um trabalho que ele havia feito com Alpöge, trabalho que a dupla ainda não havia publicado, mas vinha desenvolvendo com a ajuda de ferramentas da OpenAI.

O pesquisador da OpenAI Sébastien Bubeck negou ter pedido que Alpöge fosse excluído da autoria, segundo o relato da WIRED sobre sua resposta. Ainda assim, o episódio mostra por que a atribuição fica difícil quando pesquisadores usam ferramentas proprietárias, laboratórios conseguem observar parte do uso e modelos internos podem ser direcionados a problemas adjacentes em grande escala.

A comunidade já está respondendo. A WIRED menciona o Hexagon, um repositório para material matemático principalmente gerado por IA, e o Palomar, um registro de matemática verificada por máquina. Também cita a declaração de Leiden, um chamado assinado por mais de 4.000 matemáticos pedindo que empresas de IA atendam aos padrões dos matemáticos.

A direção é clara: se a matemática gerada por IA se tornar abundante, a matemática precisa de uma nova infraestrutura para proveniência, revisão e verificação. O GitHub pode fazer parte disso. Ele não pode ser o processo inteiro.

Uma prova não é aceita porque um modelo poderoso a emite. Ela é aceita porque uma comunidade consegue verificá-la.

Essa camada social é fácil de subestimar de fora. A matemática muitas vezes parece lógica pura: ou a prova é válida, ou não é. Na prática, uma prova também precisa ser legível, contextualizada e conectada ao trabalho existente. Uma área precisa saber quais lemas estão fazendo o trabalho, quais pressupostos estão ocultos, quais citações estão faltando e quais afirmações são fortes o bastante para serem reutilizadas.

A IA pressiona esse sistema ao mudar o volume. Uma prova difícil é um desafio. Centenas de soluções alegadas são um problema de fila. Se apenas um pequeno número de especialistas consegue avaliar cada resultado, lançar um grande lote pode criar um acúmulo que parece progresso da perspectiva do laboratório e detrito da perspectiva da área.

Para quem constrói IA, esta é a analogia útil: capacidade sem capacidade de revisão cria risco operacional. Um agente de programação que abre 200 pull requests pode ser menos útil do que um que abre cinco revisáveis. Um agente de pesquisa que produz milhares de alegações candidatas precisa de triagem. Um agente de negócios que executa ações entre ferramentas precisa de pontos de aprovação, logs de auditoria e caminhos de reversão. O mesmo padrão aparece em aprovações human-in-the-loop e em trabalhos longos de agentes, nos quais contexto, estado e supervisão importam mais do que uma única resposta impressionante.

A controvérsia matemática é uma prévia do que acontece quando gerar fica mais barato do que avaliar.

A matemática é um teste de estresse inicial porque tem propriedades incomuns. Problemas podem ser formulados com precisão. Provas às vezes podem ser verificadas formalmente. O prestígio está ligado à resolução de perguntas abertas nomeadas. E a comunidade tem normas fortes em torno de prioridade, atribuição e publicação.

Outras áreas enfrentarão uma versão da mesma pressão sempre que três condições se aplicarem:

Software já está nesse ponto. Código pode ser gerado rapidamente, mas correção, segurança, manutenibilidade e propriedade ainda exigem revisão. A literatura científica está perto: uma IA pode propor hipóteses ou análises mais rápido do que laboratórios conseguem testá-las. Trabalho jurídico e médico é mais restrito, mas compartilha a mesma assimetria entre produção fluente e verificação custosa.

A lição não é desacelerar todos os modelos por padrão. É desenhar instituições e sistemas em torno do gargalo. Se um modelo consegue produzir 1.000 artefatos plausíveis, a pergunta de produto passa a ser: quais 10 um humano deve ver, em que ordem, com quais evidências e sob quais restrições?

Esse também é o centro de design para sistemas práticos de agentes. Fluxos de trabalho multiagente precisam de roteamento, memória, ferramentas e caminhos de escalonamento, mas também precisam de limites: o que pode rodar automaticamente, o que exige revisão e o que fica registrado para inspeção posterior. Se você está construindo nessa direção, os problemas de engenharia se sobrepõem mais à orquestração multiagente do que à esperteza de prompts.

As reportagens apontam para uma lista curta de normas que reduziriam o atrito.

Primeiro, publiquem artigos, não apenas anúncios. Posts de blog podem explicar resultados, mas não devem substituir o objeto acadêmico quando a alegação é um teorema.

Segundo, separem demonstrações de capacidade de alegações científicas. “Nosso modelo produziu esta prova” e “a comunidade aceita este resultado” são afirmações diferentes. Mantê-las separadas protege tanto o laboratório quanto a área.

Terceiro, divulguem a proveniência. Se ferramentas de IA foram usadas por matemáticos externos, se um laboratório teve acesso a interações de usuários ou se agentes internos foram implantados depois de ouvir sobre trabalhos concorrentes, a história de atribuição precisa de mais do que uma nota de rodapé.

Quarto, usem registros e infraestrutura de verificação. A WIRED informa que matemáticos incentivaram a OpenAI a usar ferramentas como Hexagon e Palomar. Se essas ferramentas não forem suficientes, os laboratórios deveriam ajudar a melhorar o processo em vez de contorná-lo.

Quinto, lancem em um ritmo revisável por humanos. Um despejo de centenas de resultados pode maximizar o espetáculo. Não maximiza a compreensão.

A crise de identidade, se houver uma, não é que matemáticos deixaram de importar. É que a profissão talvez precise redefinir seu trabalho escasso. Fazer boas perguntas, definir padrões, verificar resultados, atribuir crédito e transformar provas isoladas em teoria utilizável se tornam ainda mais importantes quando máquinas conseguem produzir mais respostas candidatas.

Essa mudança é desconfortável. Também é familiar. Toda área madura desenvolve filtros quando a produção fica barata. A IA está forçando a matemática a construir esses filtros em público.

Para receber mais notícias claras sobre IA e guias práticos, assine a newsletter da NeuraLIA Labs.

• A questão central não é apenas se a IA consegue resolver problemas matemáticos difíceis, mas se a comunidade matemática consegue verificar e absorver resultados na mesma velocidade.
• A OpenAI teria alegado grandes avanços em problemas de longa data, incluindo Navier–Stokes e mais de 100 outras questões em aberto, mas a aceitação depende do escrutínio de especialistas.
• O resultado de distância unitária de Erdős mostra um padrão provável no curto prazo: sistemas de IA podem encontrar provas importantes, enquanto humanos ainda as simplificam, contextualizam e estendem.
• As preocupações dos matemáticos se concentram em processo, proveniência, atribuição, normas de publicação e no risco de sobrecarregar sistemas de revisão.
• O mesmo gargalo entre geração e verificação está aparecendo em software, ciência, direito, medicina e fluxos de trabalho de IA agentiva.

É a lacuna entre a rapidez com que sistemas de IA conseguem gerar provas ou alegações plausíveis e a lentidão com que especialistas conseguem verificá-las, contextualizá-las, atribuí-las e reutilizá-las.

A OpenAI teria alegado que um modelo interno resolveu o problema do Prêmio do Milênio de Navier–Stokes, mas o artigo enfatiza que a verificação pela comunidade é necessária antes que tal alegação seja aceita.

As preocupações incluem padrões de publicação, autoria, proveniência, disputas de prioridade e a possibilidade de grandes lotes de resultados gerados por IA sobrecarregarem a revisão especializada.

Segundo as reportagens discutidas, um modelo da OpenAI refutou a conjectura de distância unitária de Erdős ao recombinar ideias conhecidas de uma forma útil, depois do que matemáticos humanos limparam e estenderam o trabalho.

Software, pesquisa científica, trabalho jurídico e trabalho médico enfrentam pressões semelhantes porque a IA consegue produzir resultados rapidamente, enquanto a validação continua cara e consequente.