OpenAI’ın matematik iddiaları yapay zekânın doğrulama darboğazını ortaya koyuyor

WIRED haberi, öncü yapay zekâ laboratuvarları ile profesyonel matematikçiler arasında süreç konusunda büyüyen bir çatışmayı anlatıyor. OpenAI sözcüsü Lindsay McCallum, WIRED’a 28 Ağustos’ta şirketin yeni bir dahili modeli eğitmeye başladığını ve modelin “Navier—Stokes Millennium Prize problemini çözmenin” yanı sıra “matematiğin çoğu alanında 100’den fazla uzun süredir açık problemi çözdüğünü” söyledi.

Bu olağanüstü bir iddia ve kırılgan bir bağlamın içinde duruyor. Navier–Stokes problemi, çözümü normalde uzmanlar tarafından uzun süreli inceleme gerektiren Millennium Prize Problems sınıfından biri. Bu iddianın etrafındaki doğrulama risklerini OpenAI’ın Navier–Stokes ispat iddiası yazısında ele almıştık: manşet sonuç önemli, ancak “model bir argüman üretti”den “alan teoremi kabul etti”ye giden yol asıl zor kısım.

WIRED ayrıca OpenAI’ın insanlara, çözülmemiş problemlere yönelik yüzlerce çözümü GitHub’da yayımlamayı planladığını söylediğini bildirdi. McCallum, WIRED’a şirketin sıradaki matematik sonuçlarını “sorumlu biçimde yayımlamak için çalıştığını” ve Institute for Advanced Study bünyesindeki Advisory Group on Mathematics and Artificial Intelligence’ın tavsiyelerinden ve kamuya açık önerilerinden yararlandığını söyledi. Ayrıca OpenAI’ın bir yayımlama zamanı belirlemediğini de ekledi.

Bu ayrım önemli. GitHub yayını yazılım için kullanışlıdır. Ancak öncü matematik için otomatik olarak doğru birim değildir. Matematikçiler kodu, biçimsel ispatları, taslakları ve makaleleri okuyabilir; fakat her format farklı bir soruyu yanıtlar. Argüman çalışıyor mu? Kilit fikir kimden çıktı? Hangi önceki çalışmalara dayanıyor? Hangi kısımlar yeni, hangileri yeniden birleştirme? Diğer araştırmacılar neye atıf vermeli?

Ağustos toplantısına katılan Northwestern University matematikçisi Bryna Kra, WIRED’a katılımcıların OpenAI’dan sonuçları yalnızca bir blog yazısında veya tweette yayımlamamasını, bunun yerine matematikçilerin “özümseyebileceği, sindirebileceği ve kullanabileceği” makaleler yazmasını istediğini söyledi. Kra, WIRED’a şöyle dedi: “Görünüşe göre bu geri bildirim göz ardı edildi.”

Kaynak materyaldeki en net teknik örnek, yüzlerce sonuçtan oluşan tartışmalı paket değil. OpenAI’ın daha önceki birim uzaklık sonucu.

Erdős birim uzaklık problemi, kabaca, bir düzlemde kaç nokta çiftinin birbirinden tam olarak bir birim uzaklıkta olabileceğini sorar. Paul Erdős, mümkün olan en iyi düzenlemenin nokta sayısından yalnızca çok az daha hızlı büyüyeceğini varsaymıştı. Ars Technica’ya göre OpenAI’ın modeli, geleneksel ızgara tabanlı yaklaşımlardan daha karmaşık bir nokta düzenlemesi kurarak onun yanıldığını kanıtladı.

Ars, yöntemi bilinen matematiksel fikirlerin zekice bir yeniden birleşimi olarak tanımlıyor. Model, yüksek boyutlu bir ızgara kullandı, bunu iki boyuta izdüşürdü ve daha zengin bir yapı oluşturmak için cebirsel tamsayılardan yararlandı. Ars’ın değerlendirmesine göre sonuç, gerçekten yeni teknikler ortaya koymadı. İnsan matematikçiler daha sonra çalışmayı temizledi ve genişletti.

Bu kombinasyon önemli: önem taşıyacak kadar otonom, ama sihir değil. Yapay zekâ sistemi büyük bir açık varsayımı çözen bir ispat buldu, ancak sonuç hâlâ insan yorumu, sadeleştirme, genişletme ve literatürde doğru konumlandırma gerektiriyordu.

Araştırmada yapay zekâ için yakın vadede en gerçekçi tablo bu: modeller geniş çapta arama yapar, alt alanları birbirine bağlar ve insanlar için zahmetli olacak ispat stratejilerini işler; insanlar ise hangi soruların önemli olduğuna karar verir, anlatımı onarır, çalışmayı kontrol eder ve bir sonraki katmanı inşa eder. Bu iş bölümü sonsuza kadar sürmeyebilir, ancak sunulan haberlerdeki mevcut kanıtlar, temiz bir ikame hikâyesinden çok hibrit bir hikâyeyi destekliyor.

Bu aynı zamanda mühendislerin yazılım ajanlarında gördüklerine de benziyor. Üretimdeki en zor sorular yalnızca “model bir yanıt üretebilir mi?” değil. Sorular şunlar: “bunu değerlendirebilir, yeniden üretebilir, atfını yapabilir ve güvenle harekete geçmesine izin verebilir miyiz?” Bu nedenle değerlendirme tasarımı, küçük altın veri setlerinden pass@k gibi tekrarlı çalıştırma ölçümlerine kadar merkezi hâle geldi; mühendislik versiyonunu istiyorsan LLM değerlendirmesi ile başlayabilirsin.

WIRED’ın bildirdiği tepki, basit anlamda yapay zekâ karşıtlığı değil. Haberde alıntılanan birkaç matematikçi daha güçlü araçlardan heyecan duyuyor gibi görünüyor. Kaygıları kurumsal güç ve bilimsel süreç.

WIRED, bazı akademisyenlerin şirketler model yetkinliğini göstermekte yarışırken matematiğin OpenAI ve Anthropic için bir kanıtlama alanına dönüştüğünü hissettiğini yazıyor. New York University’de misafir matematik profesörü olan Nestor Guillen, WIRED’a matematikçiler arasında yapay zekâ şirketlerine yönelik “mafya davranışı algısı” olduğunu söyledi. OpenAI’dan McCallum ise şöyle yanıt verdi: “Bu nitelemeye katılmıyoruz.”

WIRED’ın anlattığı en ciddi anlaşmazlık, New York University profesörü Tristan Buckmaster ile Anthropic çalışanı Levent Alpöge’yi içeriyor. WIRED, OpenAI’ın başkalarının yakın olduğu yönündeki “söylentileri” duyduktan sonra eylül ayında bir Millennium Prize problemi üzerinde çalışmak üzere binlerce ajan devreye aldığını bildiriyor. Buckmaster, OpenAI’ı Alpöge ile yaptığı çalışmanın önüne geçmekle suçladı; ikili bu çalışmayı henüz yayımlamamıştı, ancak geliştirmeye yardımcı olması için OpenAI araçlarını kullanıyordu.

WIRED’ın yanıtına ilişkin aktarımına göre OpenAI araştırmacısı Sébastien Bubeck, Alpöge’nin yazarlıktan dışlanmasını istediğini reddetti. Yine de bu olay, araştırmacılar özel mülk araçlar kullandığında, laboratuvarlar bazı kullanımları gözlemleyebildiğinde ve dahili modeller büyük ölçekte bitişik problemlere yönlendirilebildiğinde atfın neden zorlaştığını gösteriyor.

Topluluk şimdiden yanıt veriyor. WIRED, öncelikle yapay zekâ tarafından üretilmiş matematiksel materyaller için bir depo olan Hexagon’dan ve makine tarafından doğrulanmış matematik için bir kayıt sistemi olan Palomar’dan söz ediyor. Ayrıca yapay zekâ şirketlerini matematikçilerin standartlarını karşılamaya çağıran, 4.000’den fazla matematikçinin imzaladığı Leiden bildirgesine de atıf yapıyor.

Yön net: yapay zekâ üretimi matematik bollaşırsa, matematiğin köken bilgisi, inceleme ve doğrulama için yeni altyapıya ihtiyacı olacak. GitHub bunun bir parçası olabilir. Sürecin tamamı olamaz.

Bir ispat, güçlü bir model onu ürettiği için kabul edilmez. Bir topluluk onu kontrol edebildiği için kabul edilir.

Bu sosyal katman dışarıdan kolayca hafife alınır. Matematik çoğu zaman saf mantık gibi görünür: ispat ya geçerlidir ya değildir. Pratikte ise bir ispatın aynı zamanda okunabilir, bağlama oturtulmuş ve mevcut çalışmalarla bağlantılı olması gerekir. Bir alanın, hangi lemmaların işi yaptığını, hangi varsayımların gizli olduğunu, hangi atıfların eksik kaldığını ve hangi iddiaların yeniden kullanılacak kadar güçlü olduğunu bilmesi gerekir.

Yapay zekâ bu sistemi hacmi değiştirerek zorlar. Tek bir zor ispat bir meydan okumadır. Yüzlerce iddia edilen çözüm ise bir kuyruk problemidir. Her sonucu yalnızca az sayıda uzman değerlendirebiliyorsa, büyük bir paketi yayımlamak laboratuvar açısından ilerleme gibi, alan açısından ise enkaz gibi görünen bir birikim yaratabilir.

Yapay zekâ geliştiricileri için faydalı benzetme şu: inceleme kapasitesi olmadan yetkinlik operasyonel risk yaratır. 200 pull request açan bir kodlama ajanı, incelenebilir beş tane açan ajandan daha az faydalı olabilir. Binlerce aday iddia üreten bir araştırma ajanının triyaja ihtiyacı vardır. Araçlar arasında eyleme geçen bir iş ajanının onay noktalarına, denetim günlüklerine ve geri alma yollarına ihtiyacı vardır. Aynı örüntü insan onaylarında ve bağlam, durum ve gözetimin tek bir etkileyici yanıttan daha önemli olduğu uzun süreli ajan çalışmalarında da görülür.

Matematik tartışması, üretimin değerlendirmeden daha ucuz hâle geldiğinde neler olacağının bir ön izlemesi.

Matematik erken bir stres testi çünkü alışılmadık özellikleri var. Problemler keskin biçimde ifade edilebilir. İspatlar bazen biçimsel olarak kontrol edilebilir. Prestij, isimlendirilmiş açık soruları çözmeye bağlıdır. Ve topluluğun öncelik, atıf ve yayın etrafında güçlü normları vardır.

Aşağıdaki üç koşulun geçerli olduğu her yerde, diğer alanlar aynı baskının bir versiyonuyla karşılaşacak:

Yazılım zaten orada. Kod hızlıca üretilebilir, ancak doğruluk, güvenlik, sürdürülebilirlik ve sahiplik hâlâ inceleme gerektirir. Bilimsel literatür de yakın: bir yapay zekâ, laboratuvarların test edebileceğinden daha hızlı hipotez veya analiz önerebilir. Hukuk ve tıp çalışmaları daha kısıtlıdır, ancak akıcı çıktı ile maliyetli doğrulama arasındaki aynı asimetriyi paylaşırlar.

Ders, varsayılan olarak her modeli yavaşlatmak değil. Ders, kurumları ve sistemleri darboğazın etrafında tasarlamak. Bir model 1.000 makul çıktı üretebiliyorsa ürün sorusu şuna dönüşür: bir insan hangilerini görmeli, hangi sırayla, hangi kanıtlarla ve hangi kısıtlar altında?

Bu aynı zamanda pratik ajan sistemleri için de tasarım merkezidir. Çok ajanlı iş akışlarının yönlendirmeye, belleğe, araçlara ve yükseltme yollarına ihtiyacı vardır; ama sınırlara da ihtiyacı vardır: ne otomatik çalışabilir, ne inceleme gerektirir ve ne daha sonra denetlenmek üzere kaydedilir. Bu yönde geliştiriyorsan, mühendislik sorunları prompt ustalığından çok çok ajanlı orkestrasyon ile örtüşür.

Haberler, sürtüşmeyi azaltacak kısa bir norm listesine işaret ediyor.

Birincisi, yalnızca duyuru değil, makale yayımlayın. Blog yazıları sonuçları açıklayabilir, ancak iddia bir teorem olduğunda akademik nesnenin yerini almamalıdır.

İkincisi, yetkinlik demolarını bilimsel iddialardan ayırın. “Modelimiz bu ispatı üretti” ile “topluluk bu sonucu kabul ediyor” farklı ifadelerdir. Bunları ayrı tutmak hem laboratuvarı hem de alanı korur.

Üçüncüsü, köken bilgisini açıklayın. Dışarıdaki matematikçiler yapay zekâ araçları kullandıysa, bir laboratuvar kullanıcı etkileşimlerine erişebildiyse veya dahili ajanlar rakip çalışmalar hakkında duyum aldıktan sonra devreye sokulduysa, atıf hikâyesi bir dipnottan fazlasını gerektirir.

Dördüncüsü, kayıt sistemleri ve doğrulama altyapısı kullanın. WIRED, matematikçilerin OpenAI’ı Hexagon ve Palomar gibi araçları kullanmaya teşvik ettiğini bildiriyor. Bu araçlar yeterli değilse laboratuvarlar sürecin etrafından dolaşmak yerine onu iyileştirmeye yardımcı olmalıdır.

Beşincisi, insan tarafından incelenebilir bir tempoda yayımlayın. Yüzlerce sonuçtan oluşan bir döküm gösterişi maksimize edebilir. Anlayışı maksimize etmez.

Eğer bir kimlik krizi varsa, bu matematikçilerin artık önemini yitirmesi değildir. Mesleğin kıt işini yeniden tanımlaması gerekebilir. İyi sorular sormak, standartlar belirlemek, sonuçları doğrulamak, krediyi paylaştırmak ve izole ispatları kullanılabilir teoriye dönüştürmek, makineler daha fazla aday yanıt üretebildiğinde daha da önemli hâle gelir.

Bu değişim rahatsız edici. Aynı zamanda tanıdık. Her olgun alan, üretim ucuzladığında filtreler geliştirir. Yapay zekâ, matematiği bu filtreleri kamuoyu önünde inşa etmeye zorluyor.

Daha net yapay zekâ haberleri ve pratik rehberler için NeuraLIA Labs bültenine abone ol.

• Temel mesele yalnızca yapay zekânın zor matematik problemlerini çözüp çözememesi değil; matematik topluluğunun sonuçları aynı hızda doğrulayıp özümseyip özümseyememesidir.
• OpenAI’ın, Navier–Stokes ve 100’den fazla başka açık soru dahil, uzun süredir çözülmemiş problemler konusunda büyük ilerleme iddia ettiği bildiriliyor; ancak kabul, uzman incelemesine bağlıdır.
• Erdős birim uzaklık sonucu muhtemel bir yakın vadeli örüntüyü gösteriyor: yapay zekâ sistemleri önemli ispatlar bulabilirken, insanlar hâlâ bunları sadeleştirir, bağlama oturtur ve genişletir.
• Matematikçilerin kaygıları süreç, köken bilgisi, atıf, yayın normları ve inceleme sistemlerini bunaltma riski üzerinde yoğunlaşıyor.
• Aynı üretim-karşı-doğrulama darboğazı yazılım, bilim, hukuk, tıp ve ajan tabanlı yapay zekâ iş akışlarında da ortaya çıkıyor.

Yapay zekâ sistemlerinin makul ispatlar veya iddialar üretme hızı ile uzmanların bunları doğrulama, bağlama oturtma, atfetme ve yeniden kullanma hızı arasındaki boşluktur.

OpenAI’ın dahili bir modelin Navier–Stokes Millennium Prize problemini çözdüğünü iddia ettiği bildiriliyor; ancak makale, böyle bir iddianın kabul edilmesi için topluluk doğrulamasının gerekli olduğunu vurguluyor.

Endişeleri arasında yayın standartları, yazarlık, köken bilgisi, öncelik anlaşmazlıkları ve yapay zekâ tarafından üretilmiş büyük sonuç paketlerinin uzman incelemesini bunaltma olasılığı yer alıyor.

Ele alınan haberlere göre bir OpenAI modeli, bilinen fikirleri faydalı bir şekilde yeniden birleştirerek Erdős birim uzaklık varsayımını çürüttü; ardından insan matematikçiler çalışmayı temizledi ve genişletti.

Yazılım, bilimsel araştırma, hukuk çalışmaları ve tıbbi çalışmaların hepsi benzer baskıyla karşı karşıya; çünkü yapay zekâ çıktıları hızlı üretebilirken doğrulama pahalı ve sonuçları önemli olmaya devam ediyor.