Klaim matematika OpenAI mengungkap bottleneck verifikasi AI

Laporan WIRED menggambarkan konflik yang melebar antara lab AI frontier dan matematikawan profesional soal proses. Juru bicara OpenAI Lindsay McCallum mengatakan kepada WIRED bahwa pada 28 Agustus perusahaan mulai melatih model internal baru dan bahwa, selain “menyelesaikan masalah Millennium Prize Navier—Stokes,” model itu telah “menyelesaikan lebih dari 100 masalah terbuka yang sudah lama ada di sebagian besar area matematika.”

Itu klaim yang luar biasa, dan ia berada dalam konteks yang rapuh. Masalah Navier–Stokes adalah salah satu Millennium Prize Problems, kelas masalah yang penyelesaiannya biasanya membutuhkan pengawasan panjang dari para pakar. Kami membahas taruhan verifikasi di sekitar klaim itu dalam klaim bukti Navier–Stokes OpenAI: hasil utamanya penting, tetapi jalan dari “model menghasilkan argumen” ke “bidang ini menerima teorema tersebut” adalah bagian yang sulit.

WIRED juga melaporkan bahwa OpenAI telah memberi tahu orang-orang bahwa mereka berencana merilis ratusan solusi untuk masalah yang belum terpecahkan di GitHub. McCallum mengatakan kepada WIRED bahwa perusahaan sedang “berupaya merilis” hasil matematika berikutnya “secara bertanggung jawab” dan mengambil masukan dari saran serta rekomendasi publik Advisory Group on Mathematics and Artificial Intelligence di Institute for Advanced Study. Ia juga mengatakan OpenAI belum menetapkan waktu rilis.

Pembedaan itu penting. Rilis GitHub berguna untuk software. Namun itu tidak otomatis menjadi unit yang tepat untuk matematika frontier. Matematikawan dapat membaca kode, bukti formal, garis besar, dan makalah, tetapi setiap format menjawab pertanyaan yang berbeda. Apakah argumennya bekerja? Siapa yang punya ide kunci? Karya terdahulu apa yang menjadi sandarannya? Bagian mana yang baru, dan bagian mana yang merupakan rekombinasi? Apa yang seharusnya dikutip peneliti lain?

Bryna Kra, matematikawan Northwestern University yang menghadiri pertemuan Agustus tersebut, mengatakan kepada WIRED bahwa peserta meminta OpenAI agar tidak memublikasikan hasil hanya dalam postingan blog atau cuitan, melainkan menulis makalah yang dapat “diserap, dicerna, dan digunakan” oleh matematikawan. Kra mengatakan kepada WIRED: “Rupanya, masukan itu diabaikan.”

Contoh teknis paling jelas dalam materi sumber bukanlah kumpulan ratusan hasil yang diperdebatkan. Contohnya adalah hasil jarak satuan OpenAI yang lebih awal.

Masalah jarak satuan Erdős bertanya, secara kasar, berapa banyak pasangan titik pada sebuah bidang yang dapat berjarak tepat satu satuan. Paul Erdős mengajukan konjektur bahwa susunan terbaik yang mungkin hanya akan tumbuh sedikit lebih cepat daripada jumlah titik. Menurut Ars Technica, model OpenAI membuktikan bahwa ia keliru dengan membangun susunan titik yang lebih kompleks daripada pendekatan tradisional berbasis grid.

Ars menggambarkan metodenya sebagai rekombinasi cerdas dari ide-ide matematika yang sudah dikenal. Model tersebut menggunakan grid berdimensi tinggi, memproyeksikannya ke dua dimensi, dan menggunakan bilangan bulat aljabar untuk menciptakan struktur yang lebih kaya. Dalam penilaian Ars, hasil itu tidak memperkenalkan teknik yang benar-benar baru. Matematikawan manusia kemudian merapikan dan memperluas karya tersebut.

Kombinasi itu penting: cukup otonom untuk berarti, tetapi bukan sihir. Sistem AI menemukan bukti yang menyelesaikan konjektur terbuka besar, tetapi hasilnya tetap membutuhkan interpretasi, penyederhanaan, perluasan, dan penempatan dalam literatur oleh manusia.

Inilah gambaran jangka dekat yang paling realistis untuk AI dalam riset: model mencari secara luas, menghubungkan subbidang, dan mengerjakan strategi pembuktian yang akan membosankan bagi manusia; manusia memutuskan pertanyaan mana yang penting, memperbaiki pemaparan, memeriksa pekerjaan, dan membangun lapisan berikutnya. Pembagian itu mungkin tidak akan bertahan selamanya, tetapi bukti saat ini dalam laporan yang tersedia lebih mendukung kisah hibrida daripada kisah penggantian yang bersih.

Ini juga mirip dengan apa yang dilihat engineer pada agen software. Pertanyaan produksi yang paling sulit bukan hanya “bisakah model menghasilkan jawaban?” Melainkan “bisakah kita mengevaluasinya, mereproduksinya, mengatribusikannya, dan membiarkannya bertindak dengan aman?” Itulah sebabnya desain evaluasi menjadi sentral, dari golden set kecil hingga ukuran repeated-run seperti pass@k; jika kamu ingin versi engineering-nya, mulai dari evaluasi LLM.

Reaksi balik yang dilaporkan WIRED bukan anti-AI dalam arti sederhana. Beberapa matematikawan yang dikutip dalam cerita itu tampak antusias terhadap tools yang lebih kuat. Kekhawatiran mereka adalah kekuasaan institusional dan proses ilmiah.

WIRED menulis bahwa sebagian akademisi merasa matematika telah menjadi arena pembuktian bagi OpenAI dan Anthropic saat perusahaan-perusahaan itu berlomba menunjukkan kemampuan model. Nestor Guillen, profesor matematika tamu di New York University, mengatakan kepada WIRED ada “persepsi perilaku seperti gangster” di kalangan matematikawan terhadap perusahaan AI. McCallum dari OpenAI menanggapi: “Kami tidak setuju dengan penggambaran itu.”

Sengketa paling serius yang dijelaskan WIRED melibatkan Tristan Buckmaster, profesor New York University, dan Levent Alpöge, karyawan Anthropic. WIRED melaporkan bahwa OpenAI menerapkan ribuan agen pada September untuk mengerjakan sebuah masalah Millennium Prize setelah mendengar “rumor” bahwa pihak lain sudah dekat. Buckmaster menuduh OpenAI mendahului karya yang ia kerjakan bersama Alpöge, karya yang belum mereka publikasikan tetapi telah mereka kembangkan dengan bantuan tools OpenAI.

Peneliti OpenAI Sébastien Bubeck membantah meminta agar Alpöge dikeluarkan dari kepengarangan, menurut rangkuman WIRED atas tanggapannya. Namun, episode ini menunjukkan mengapa atribusi menjadi sulit ketika peneliti menggunakan tools proprietary, lab dapat mengamati sebagian penggunaan, dan model internal dapat diarahkan ke masalah yang berdekatan dalam skala besar.

Komunitas sudah merespons. WIRED menyebut Hexagon, repositori untuk materi matematika yang terutama dihasilkan AI, dan Palomar, registri matematika yang diverifikasi mesin. WIRED juga mengutip deklarasi Leiden, seruan yang ditandatangani lebih dari 4.000 matematikawan yang meminta perusahaan AI memenuhi standar matematikawan.

Arah perubahannya jelas: jika matematika yang dihasilkan AI menjadi berlimpah, matematika membutuhkan infrastruktur baru untuk asal-usul, peninjauan, dan verifikasi. GitHub mungkin menjadi bagian dari itu. Namun GitHub tidak bisa menjadi keseluruhan proses.

Sebuah bukti tidak diterima hanya karena model yang kuat mengeluarkannya. Bukti diterima karena sebuah komunitas dapat memeriksanya.

Lapisan sosial itu mudah diremehkan dari luar. Matematika sering terlihat seperti logika murni: bukti itu valid atau tidak. Dalam praktiknya, bukti juga harus dapat dibaca, diberi konteks, dan dihubungkan dengan karya yang sudah ada. Sebuah bidang perlu tahu lemma mana yang bekerja, asumsi mana yang tersembunyi, kutipan mana yang hilang, dan klaim mana yang cukup kuat untuk digunakan kembali.

AI menekan sistem itu dengan mengubah volumenya. Satu bukti sulit adalah tantangan. Ratusan solusi yang diklaim adalah masalah antrean. Jika hanya sedikit pakar yang dapat mengevaluasi setiap hasil, merilis kumpulan besar dapat menciptakan backlog yang tampak seperti kemajuan dari sudut pandang lab dan seperti puing dari sudut pandang bidangnya.

Bagi pembangun AI, ini analogi yang berguna: kemampuan tanpa kapasitas peninjauan menciptakan risiko operasional. Agen coding yang membuka 200 pull request bisa kurang membantu dibandingkan agen yang membuka lima pull request yang dapat ditinjau. Agen riset yang menghasilkan ribuan klaim kandidat membutuhkan triase. Agen bisnis yang mengambil tindakan lintas tools membutuhkan titik persetujuan, log audit, dan jalur rollback. Pola yang sama muncul dalam persetujuan human-in-the-loop dan dalam pekerjaan agen jangka panjang ketika konteks, state, dan pengawasan lebih penting daripada satu jawaban yang mengesankan.

Kontroversi matematika ini adalah pratinjau tentang apa yang terjadi ketika generasi menjadi lebih murah daripada evaluasi.

Matematika adalah stress test awal karena memiliki sifat yang tidak biasa. Masalah dapat dirumuskan dengan tajam. Bukti terkadang dapat diperiksa secara formal. Prestise terkait dengan penyelesaian pertanyaan terbuka bernama. Dan komunitasnya memiliki norma kuat seputar prioritas, atribusi, dan publikasi.

Bidang lain akan menghadapi versi tekanan yang sama di mana pun tiga kondisi ini berlaku:

Software sudah berada di sana. Kode dapat dihasilkan dengan cepat, tetapi kebenaran, keamanan, kemudahan pemeliharaan, dan kepemilikan tetap membutuhkan peninjauan. Literatur ilmiah sudah dekat: AI dapat mengusulkan hipotesis atau analisis lebih cepat daripada kemampuan lab untuk mengujinya. Pekerjaan hukum dan medis lebih dibatasi, tetapi keduanya berbagi asimetri yang sama antara output yang lancar dan verifikasi yang mahal.

Pelajarannya bukan memperlambat setiap model secara default. Pelajarannya adalah merancang institusi dan sistem di sekitar bottleneck tersebut. Jika sebuah model dapat menghasilkan 1.000 artefak yang masuk akal, pertanyaan produknya menjadi: 10 mana yang harus dilihat manusia, dalam urutan apa, dengan bukti apa, dan di bawah batasan apa?

Itu juga pusat desain untuk sistem agen praktis. Workflow multi-agen membutuhkan routing, memori, tools, dan jalur eskalasi, tetapi juga membutuhkan batasan: apa yang dapat berjalan otomatis, apa yang membutuhkan peninjauan, dan apa yang dicatat untuk inspeksi nanti. Jika kamu membangun ke arah itu, masalah engineering-nya lebih banyak tumpang tindih dengan orkestrasi multi-agen daripada dengan kecerdikan prompt.

Laporan tersebut mengarah pada daftar singkat norma yang akan mengurangi gesekan.

Pertama, rilis makalah, bukan hanya pengumuman. Postingan blog dapat menjelaskan hasil, tetapi tidak seharusnya menggantikan objek ilmiah ketika klaimnya adalah teorema.

Kedua, pisahkan demo kemampuan dari klaim ilmiah. “Model kami menghasilkan bukti ini” dan “komunitas menerima hasil ini” adalah pernyataan yang berbeda. Memisahkannya melindungi lab sekaligus bidangnya.

Ketiga, ungkapkan asal-usul. Jika tools AI digunakan oleh matematikawan luar, jika lab memiliki akses ke interaksi pengguna, atau jika agen internal diterapkan setelah mendengar tentang pekerjaan pesaing, cerita atribusinya membutuhkan lebih dari sekadar catatan kaki.

Keempat, gunakan registri dan infrastruktur verifikasi. WIRED melaporkan bahwa matematikawan telah mendorong OpenAI untuk menggunakan tools seperti Hexagon dan Palomar. Jika tools tersebut belum memadai, lab seharusnya membantu memperbaiki prosesnya, bukan memintasnya.

Kelima, rilis dengan ritme yang dapat ditinjau manusia. Dump ratusan hasil mungkin memaksimalkan tontonan. Namun itu tidak memaksimalkan pemahaman.

Krisis identitasnya, jika memang ada, bukan bahwa matematikawan tidak lagi penting. Krisisnya adalah bahwa profesi ini mungkin perlu mendefinisikan ulang pekerjaan langkanya. Mengajukan pertanyaan yang baik, menetapkan standar, memverifikasi hasil, menetapkan kredit, dan mengubah bukti terisolasi menjadi teori yang dapat digunakan semuanya menjadi lebih penting ketika mesin dapat menghasilkan lebih banyak jawaban kandidat.

Pergeseran itu tidak nyaman. Ini juga tidak asing. Setiap bidang yang matang mengembangkan filter ketika produksi menjadi murah. AI memaksa matematika membangun filter tersebut di depan publik.

Untuk lebih banyak berita AI yang jelas dan panduan praktis, berlangganan newsletter NeuraLIA Labs.

• Isu utamanya bukan hanya apakah AI dapat memecahkan masalah matematika sulit, tetapi apakah komunitas matematika dapat memverifikasi dan menyerap hasil dengan kecepatan yang sama.
• OpenAI dilaporkan mengklaim kemajuan besar pada masalah yang sudah lama ada, termasuk Navier–Stokes dan lebih dari 100 pertanyaan terbuka lainnya, tetapi penerimaan bergantung pada pengawasan pakar.
• Hasil jarak satuan Erdős menunjukkan pola jangka dekat yang mungkin terjadi: sistem AI dapat menemukan bukti penting, sementara manusia tetap menyederhanakan, memberi konteks, dan memperluasnya.
• Kekhawatiran matematikawan berfokus pada proses, asal-usul, atribusi, norma publikasi, dan risiko membanjiri sistem peninjauan.
• Bottleneck generasi-versus-verifikasi yang sama muncul dalam software, sains, hukum, kedokteran, dan workflow AI agentic.

Ini adalah kesenjangan antara seberapa cepat sistem AI dapat menghasilkan bukti atau klaim yang masuk akal dan seberapa lambat pakar dapat memverifikasi, memberi konteks, mengatribusikan, dan menggunakannya kembali.

OpenAI dilaporkan mengklaim bahwa sebuah model internal menyelesaikan masalah Millennium Prize Navier–Stokes, tetapi artikel ini menekankan bahwa verifikasi komunitas diperlukan sebelum klaim semacam itu diterima.

Kekhawatiran mereka mencakup standar publikasi, kepengarangan, asal-usul, sengketa prioritas, dan kemungkinan bahwa kumpulan besar hasil yang dihasilkan AI dapat membanjiri peninjauan pakar.

Menurut laporan yang dibahas, sebuah model OpenAI membuktikan kekeliruan konjektur jarak satuan Erdős dengan merekombinasikan ide-ide yang sudah dikenal secara berguna, setelah itu matematikawan manusia merapikan dan memperluas karya tersebut.

Software, riset ilmiah, pekerjaan hukum, dan pekerjaan medis semuanya menghadapi tekanan serupa karena AI dapat menghasilkan output dengan cepat sementara validasi tetap mahal dan penuh konsekuensi.