คำกล่าวอ้างด้านคณิตศาสตร์ของ OpenAI เผยคอขวดการตรวจสอบของ AI

รายงานของ WIRED อธิบายความขัดแย้งที่กว้างขึ้นระหว่างแล็บ AI แนวหน้าและนักคณิตศาสตร์มืออาชีพในเรื่องกระบวนการ Lindsay McCallum โฆษกของ OpenAI บอก WIRED ว่าเมื่อวันที่ 28 สิงหาคม บริษัทเริ่มฝึกโมเดลภายในตัวใหม่ และนอกจาก “การแก้ปัญหา Navier—Stokes Millennium Prize problem” แล้ว โมเดลยัง “แก้ปัญหาเปิดที่ค้างคามายาวนานมากกว่า 100 ข้อในแทบทุกแขนงของคณิตศาสตร์”

นี่เป็นคำกล่าวอ้างที่ไม่ธรรมดา และอยู่ในบริบทที่เปราะบาง ปัญหา Navier–Stokes เป็นหนึ่งใน Millennium Prize Problems ซึ่งเป็นกลุ่มปัญหาที่โดยปกติการแก้ได้ต้องผ่านการพิจารณาอย่างยืดเยื้อจากผู้เชี่ยวชาญ เราเคยครอบคลุมเดิมพันด้านการตรวจสอบรอบคำกล่าวอ้างนั้นไว้ใน คำกล่าวอ้างบทพิสูจน์ Navier–Stokes ของ OpenAI: ผลลัพธ์พาดหัวนั้นสำคัญ แต่เส้นทางจาก “โมเดลสร้างข้อโต้แย้งขึ้นมา” ไปสู่ “วงการยอมรับทฤษฎีบท” คือส่วนที่ยาก

WIRED ยังรายงานว่า OpenAI เคยบอกผู้คนว่ามีแผนจะเผยแพร่คำตอบหลายร้อยรายการของปัญหาที่ยังแก้ไม่ได้บน GitHub McCallum บอก WIRED ว่าบริษัทกำลัง “ทำงานเพื่อเผยแพร่” ผลลัพธ์คณิตศาสตร์ชุดถัดไป “อย่างรับผิดชอบ” และกำลังอาศัยคำแนะนำกับข้อเสนอแนะสาธารณะจาก Advisory Group on Mathematics and Artificial Intelligence ที่ Institute for Advanced Study เธอยังกล่าวด้วยว่า OpenAI ยังไม่ได้กำหนดเวลาเผยแพร่

ความแตกต่างนี้สำคัญ การเผยแพร่บน GitHub มีประโยชน์สำหรับซอฟต์แวร์ แต่ไม่ใช่หน่วยที่เหมาะสมโดยอัตโนมัติสำหรับคณิตศาสตร์แนวหน้า นักคณิตศาสตร์อ่านโค้ด บทพิสูจน์เชิงรูปนัย โครงร่าง และเอกสารวิชาการได้ แต่แต่ละรูปแบบตอบคำถามต่างกัน ข้อโต้แย้งนั้นใช้ได้หรือไม่ ใครมีไอเดียสำคัญ มันพึ่งพางานก่อนหน้าใด ส่วนไหนใหม่ และส่วนไหนเป็นการผสมใหม่ นักวิจัยคนอื่นควรอ้างอิงอะไร

Bryna Kra นักคณิตศาสตร์จาก Northwestern University ที่เข้าร่วมการประชุมเดือนสิงหาคม บอก WIRED ว่าผู้เข้าร่วมขอให้ OpenAI อย่าเผยแพร่ผลลัพธ์เฉพาะในบล็อกโพสต์หรือทวีต แต่ให้เขียนเป็นเอกสารที่นักคณิตศาสตร์สามารถ “ซึมซับ ย่อย และนำไปใช้” ได้ Kra บอก WIRED ว่า “ดูเหมือนว่าข้อมูลป้อนกลับนั้นถูกเพิกเฉย”

ตัวอย่างทางเทคนิคที่ชัดที่สุดในแหล่งข้อมูลไม่ใช่ชุดผลลัพธ์หลายร้อยรายการที่ยังเป็นข้อโต้แย้ง แต่เป็นผลลัพธ์ unit distance ก่อนหน้าของ OpenAI

ปัญหา Erdős unit distance ถามโดยคร่าว่า ในระนาบหนึ่ง จุดกี่คู่ที่สามารถอยู่ห่างกันพอดีหนึ่งหน่วยได้ Paul Erdős คาดการณ์ว่าการจัดวางที่ดีที่สุดจะเติบโตเร็วกว่าแค่จำนวนจุดเพียงเล็กน้อยเท่านั้น ตามรายงานของ Ars Technica โมเดลของ OpenAI พิสูจน์ว่าเขาคิดผิดด้วยการสร้างการจัดวางจุดที่ซับซ้อนกว่าแนวทางดั้งเดิมที่อิงกริด

Ars อธิบายวิธีนี้ว่าเป็นการผสมผสานใหม่อย่างชาญฉลาดของแนวคิดทางคณิตศาสตร์ที่มีอยู่แล้ว โมเดลใช้กริดมิติสูง ฉายลงมาเป็นสองมิติ และใช้อินทีเจอร์เชิงพีชคณิตเพื่อสร้างโครงสร้างที่สมบูรณ์ยิ่งขึ้น ในการประเมินของ Ars ผลลัพธ์นี้ไม่ได้แนะนำเทคนิคใหม่อย่างแท้จริง ต่อมานักคณิตศาสตร์มนุษย์ได้ขัดเกลาและขยายงานดังกล่าว

การผสมกันเช่นนี้สำคัญ: อัตโนมัติมากพอที่จะมีความหมาย แต่ไม่ใช่เวทมนตร์ ระบบ AI พบพิสูจน์ที่แก้ข้อคาดการณ์เปิดสำคัญได้ แต่ผลลัพธ์ยังต้องการการตีความ การทำให้ง่ายขึ้น การขยาย และการจัดวางในวรรณกรรมวิชาการโดยมนุษย์

นี่คือภาพระยะใกล้ที่สมจริงที่สุดสำหรับ AI ในงานวิจัย: โมเดลค้นหาอย่างกว้าง เชื่อมสาขาย่อย และไล่บดกลยุทธ์พิสูจน์ที่น่าเบื่อสำหรับคน ขณะที่มนุษย์ตัดสินว่าคำถามใดสำคัญ ซ่อมแซมการนำเสนอ ตรวจสอบงาน และสร้างชั้นถัดไป การแบ่งงานเช่นนี้อาจไม่คงอยู่ตลอดไป แต่หลักฐานปัจจุบันในรายงานที่กล่าวถึงสนับสนุนเรื่องราวแบบผสมผสานมากกว่าเรื่องราวการแทนที่แบบหมดจด

มันยังคล้ายกับสิ่งที่วิศวกรเห็นในซอฟต์แวร์เอเจนต์ด้วย คำถามที่ยากที่สุดในการใช้งานจริงไม่ได้มีแค่ว่า “โมเดลสร้างคำตอบได้หรือไม่” แต่คือ “เราประเมินมัน ทำซ้ำได้ ระบุที่มาได้ และปล่อยให้มันลงมือทำอย่างปลอดภัยได้หรือไม่” นั่นคือเหตุผลที่การออกแบบการประเมินกลายเป็นศูนย์กลาง ตั้งแต่ golden set ขนาดเล็กไปจนถึงตัวชี้วัดแบบรันซ้ำ เช่น pass@k หากคุณต้องการเวอร์ชันเชิงวิศวกรรม ให้เริ่มที่ การประเมิน LLM

กระแสตีกลับที่ WIRED รายงานไม่ใช่การต่อต้าน AI ในความหมายง่าย ๆ นักคณิตศาสตร์หลายคนที่ถูกอ้างในเรื่องดูตื่นเต้นกับเครื่องมือที่ทรงพลังขึ้น ความกังวลของพวกเขาคืออำนาจเชิงสถาบันและกระบวนการทางวิทยาศาสตร์

WIRED เขียนว่านักวิชาการบางคนรู้สึกว่าคณิตศาสตร์กลายเป็นสนามพิสูจน์ฝีมือของ OpenAI และ Anthropic ขณะที่บริษัทเหล่านี้แข่งขันกันเพื่อแสดงความสามารถของโมเดล Nestor Guillen ศาสตราจารย์คณิตศาสตร์รับเชิญที่ New York University บอก WIRED ว่ามี “การรับรู้ว่าเป็นพฤติกรรมแบบมาเฟีย” ในหมู่นักคณิตศาสตร์ที่มีต่อบริษัท AI McCallum จาก OpenAI ตอบว่า “เราไม่เห็นด้วยกับการอธิบายลักษณะนั้น”

ข้อพิพาทที่ร้ายแรงที่สุดที่ WIRED อธิบายเกี่ยวข้องกับ Tristan Buckmaster ศาสตราจารย์จาก New York University และ Levent Alpöge พนักงาน Anthropic WIRED รายงานว่า OpenAI ปล่อยเอเจนต์หลายพันตัวในเดือนกันยายนเพื่อทำงานกับปัญหา Millennium Prize problem หลังได้ยิน “ข่าวลือ” ว่าคนอื่นใกล้ทำสำเร็จ Buckmaster กล่าวหา OpenAI ว่าชิงตัดหน้างานที่เขาทำร่วมกับ Alpöge ซึ่งเป็นงานที่ทั้งคู่ยังไม่ได้ตีพิมพ์ แต่เคยใช้เครื่องมือของ OpenAI ช่วยพัฒนา

Sébastien Bubeck นักวิจัยของ OpenAI ปฏิเสธว่าไม่ได้ขอให้ตัด Alpöge ออกจากการเป็นผู้เขียน ตามคำบอกเล่าในรายงานของ WIRED ถึงอย่างนั้น เหตุการณ์นี้แสดงให้เห็นว่าทำไมการระบุเครดิตจึงยากขึ้น เมื่อนักวิจัยใช้เครื่องมือกรรมสิทธิ์ แล็บสามารถสังเกตการใช้งานบางส่วนได้ และโมเดลภายในสามารถถูกชี้ไปยังปัญหาใกล้เคียงในสเกลใหญ่

ชุมชนเริ่มตอบสนองแล้ว WIRED กล่าวถึง Hexagon ซึ่งเป็นคลังเก็บวัสดุทางคณิตศาสตร์ที่สร้างโดย AI เป็นหลัก และ Palomar ซึ่งเป็นทะเบียนคณิตศาสตร์ที่ตรวจสอบด้วยเครื่อง นอกจากนี้ยังอ้างถึง Leiden declaration ซึ่งเป็นข้อเรียกร้องที่มีนักคณิตศาสตร์มากกว่า 4,000 คนลงนาม ขอให้บริษัท AI ปฏิบัติตามมาตรฐานของนักคณิตศาสตร์

ทิศทางชัดเจน: หากคณิตศาสตร์ที่สร้างโดย AI มีมากล้น คณิตศาสตร์ต้องมีโครงสร้างพื้นฐานใหม่สำหรับที่มา การทบทวน และการตรวจสอบ GitHub อาจเป็นส่วนหนึ่งของสิ่งนั้น แต่ไม่สามารถเป็นทั้งกระบวนการได้

บทพิสูจน์ไม่ได้รับการยอมรับเพราะโมเดลทรงพลังปล่อยมันออกมา แต่ได้รับการยอมรับเพราะชุมชนสามารถตรวจสอบได้

ชั้นทางสังคมนี้ถูกประเมินต่ำเกินไปได้ง่ายจากภายนอก คณิตศาสตร์มักดูเหมือนตรรกะล้วน ๆ: บทพิสูจน์ถูกต้องหรือไม่ถูกต้อง แต่ในทางปฏิบัติ บทพิสูจน์ยังต้องอ่านได้ มีบริบท และเชื่อมกับงานที่มีอยู่ สาขาหนึ่งต้องรู้ว่าเล็มมาใดกำลังรับน้ำหนัก สมมติฐานใดซ่อนอยู่ การอ้างอิงใดขาดไป และข้อกล่าวอ้างใดแข็งแรงพอให้นำไปใช้ซ้ำ

AI กดดันระบบนั้นด้วยการเปลี่ยนปริมาณ บทพิสูจน์ยากหนึ่งชิ้นคือความท้าทาย แต่คำกล่าวอ้างว่าแก้ได้หลายร้อยรายการคือปัญหาการเข้าคิว หากมีผู้เชี่ยวชาญจำนวนน้อยเท่านั้นที่ประเมินผลลัพธ์แต่ละชิ้นได้ การปล่อยชุดใหญ่สามารถสร้างงานค้างที่ดูเหมือนความก้าวหน้าจากมุมมองของแล็บ และดูเหมือนเศษซากจากมุมมองของวงการ

สำหรับผู้สร้าง AI นี่คืออุปมาที่มีประโยชน์: ความสามารถที่ไม่มีขีดความสามารถในการทบทวนสร้างความเสี่ยงเชิงปฏิบัติการ เอเจนต์เขียนโค้ดที่เปิด pull request 200 รายการอาจมีประโยชน์น้อยกว่าเอเจนต์ที่เปิด 5 รายการซึ่งตรวจทานได้ เอเจนต์วิจัยที่ผลิตข้อกล่าวอ้างผู้สมัครหลายพันรายการต้องมีการคัดแยก เอเจนต์ธุรกิจที่ลงมือทำข้ามเครื่องมือต้องมีจุดอนุมัติ audit logs และเส้นทาง rollback รูปแบบเดียวกันปรากฏใน การอนุมัติแบบ human-in-the-loop และในงานเอเจนต์ที่รันยาว ซึ่งบริบท สถานะ และการกำกับดูแลสำคัญกว่าคำตอบที่น่าประทับใจเพียงครั้งเดียว

ข้อถกเถียงด้านคณิตศาสตร์คือภาพตัวอย่างของสิ่งที่จะเกิดขึ้นเมื่อการสร้างถูกกว่าการประเมิน

คณิตศาสตร์เป็นการทดสอบความตึงเครียดระยะแรก เพราะมีคุณสมบัติไม่เหมือนใคร ปัญหาสามารถระบุได้คมชัด บทพิสูจน์บางครั้งตรวจสอบเชิงรูปนัยได้ เกียรติภูมิผูกกับการแก้คำถามเปิดที่มีชื่อเสียง และชุมชนมีบรรทัดฐานที่แข็งแรงเกี่ยวกับลำดับความสำคัญ การระบุเครดิต และการตีพิมพ์

สาขาอื่นจะเผชิญแรงกดดันเวอร์ชันเดียวกันในที่ที่มีเงื่อนไขสามข้อ:

ซอฟต์แวร์ไปถึงจุดนั้นแล้ว โค้ดสร้างได้รวดเร็ว แต่ความถูกต้อง ความปลอดภัย ความดูแลรักษาได้ และความเป็นเจ้าของยังต้องการการทบทวน วรรณกรรมวิทยาศาสตร์ก็ใกล้เคียง: AI เสนอสมมติฐานหรือการวิเคราะห์ได้เร็วกว่าที่แล็บจะทดสอบได้ งานกฎหมายและการแพทย์มีข้อจำกัดมากกว่า แต่ก็มีความไม่สมมาตรเดียวกันระหว่างผลลัพธ์ที่ไหลลื่นกับการตรวจสอบที่แพง

บทเรียนไม่ใช่การทำให้ทุกโมเดลช้าลงโดยค่าเริ่มต้น แต่คือการออกแบบสถาบันและระบบรอบคอขวด หากโมเดลสร้างสิ่งประดิษฐ์ที่ดูเป็นไปได้ 1,000 ชิ้น คำถามเชิงผลิตภัณฑ์จะกลายเป็นว่า: 10 ชิ้นไหนที่มนุษย์ควรเห็น เรียงลำดับอย่างไร พร้อมหลักฐานอะไร และอยู่ภายใต้ข้อจำกัดใด

นี่คือศูนย์กลางการออกแบบสำหรับระบบเอเจนต์ที่ใช้งานได้จริงเช่นกัน เวิร์กโฟลว์หลายเอเจนต์ต้องการ routing, memory, tools และเส้นทาง escalation แต่ยังต้องการขอบเขตด้วย: อะไรรันอัตโนมัติได้ อะไรต้องผ่านการทบทวน และอะไรต้องถูกบันทึกไว้เพื่อตรวจสอบภายหลัง หากคุณกำลังสร้างไปในทิศทางนั้น ปัญหาทางวิศวกรรมจะทับซ้อนกับ การประสานงานหลายเอเจนต์ มากกว่าความฉลาดในการเขียน prompt

รายงานชี้ไปยังรายการบรรทัดฐานสั้น ๆ ที่จะลดแรงเสียดทานได้

ข้อแรก เผยแพร่เอกสารวิชาการ ไม่ใช่แค่ประกาศ บล็อกโพสต์อธิบายผลลัพธ์ได้ แต่ไม่ควรแทนที่วัตถุทางวิชาการเมื่อคำกล่าวอ้างคือทฤษฎีบท

ข้อสอง แยกเดโมความสามารถออกจากคำกล่าวอ้างทางวิทยาศาสตร์ “โมเดลของเราสร้างบทพิสูจน์นี้” กับ “ชุมชนยอมรับผลลัพธ์นี้” เป็นข้อความคนละแบบ การแยกทั้งสองอย่างช่วยปกป้องทั้งแล็บและวงการ

ข้อสาม เปิดเผยที่มา หากนักคณิตศาสตร์ภายนอกใช้เครื่องมือ AI หากแล็บเข้าถึงปฏิสัมพันธ์ของผู้ใช้ หรือหากเอเจนต์ภายในถูกปล่อยหลังได้ยินเรื่องงานคู่แข่ง เรื่องราวการระบุเครดิตต้องการมากกว่าเชิงอรรถ

ข้อสี่ ใช้ทะเบียนและโครงสร้างพื้นฐานการตรวจสอบ WIRED รายงานว่านักคณิตศาสตร์สนับสนุนให้ OpenAI ใช้เครื่องมืออย่าง Hexagon และ Palomar หากเครื่องมือเหล่านั้นยังไม่เพียงพอ แล็บควรช่วยปรับปรุงกระบวนการ แทนที่จะเดินอ้อมมัน

ข้อห้า เผยแพร่ในจังหวะที่มนุษย์ตรวจทานได้ การเทผลลัพธ์หลายร้อยรายการอาจเพิ่มความตื่นตาได้สูงสุด แต่ไม่ได้เพิ่มความเข้าใจได้สูงสุด

วิกฤตอัตลักษณ์ ถ้ามีอยู่ ไม่ใช่ว่านักคณิตศาสตร์หมดความสำคัญ แต่คือวิชาชีพนี้อาจต้องนิยามใหม่ว่างานที่หายากของตนคืออะไร การตั้งคำถามที่ดี การกำหนดมาตรฐาน การตรวจสอบผลลัพธ์ การจัดสรรเครดิต และการเปลี่ยนบทพิสูจน์โดดเดี่ยวให้เป็นทฤษฎีที่ใช้ได้ ล้วนสำคัญขึ้นเมื่อเครื่องจักรสามารถผลิตคำตอบผู้สมัครได้มากขึ้น

การเปลี่ยนแปลงนั้นไม่สบายใจ แต่ก็เป็นเรื่องคุ้นเคย ทุกสาขาที่เติบโตเต็มที่จะพัฒนาตัวกรองเมื่อการผลิตกลายเป็นของถูก AI กำลังบังคับให้คณิตศาสตร์สร้างตัวกรองเหล่านั้นต่อหน้าสาธารณะ

หากต้องการข่าว AI ที่ชัดเจนขึ้นและคู่มือที่นำไปใช้ได้จริง สมัครรับ จดหมายข่าว NeuraLIA Labs

• ประเด็นหลักไม่ใช่แค่ว่า AI แก้โจทย์คณิตศาสตร์ยาก ๆ ได้หรือไม่ แต่คือชุมชนคณิตศาสตร์สามารถตรวจสอบและซึมซับผลลัพธ์ได้เร็วเท่ากันหรือไม่
• มีรายงานว่า OpenAI กล่าวอ้างความคืบหน้าครั้งใหญ่ในปัญหาที่ค้างคามายาวนาน รวมถึง Navier–Stokes และคำถามเปิดอื่น ๆ มากกว่า 100 ข้อ แต่การยอมรับขึ้นอยู่กับการพิจารณาของผู้เชี่ยวชาญ
• ผลลัพธ์ Erdős unit distance แสดงรูปแบบระยะใกล้ที่เป็นไปได้: ระบบ AI สามารถพบบทพิสูจน์สำคัญ ขณะที่มนุษย์ยังต้องทำให้ง่ายขึ้น ใส่บริบท และขยายต่อ
• ความกังวลของนักคณิตศาสตร์มุ่งไปที่กระบวนการ ที่มา การระบุเครดิต บรรทัดฐานการตีพิมพ์ และความเสี่ยงที่ระบบทบทวนจะถูกถาโถมจนล้น
• คอขวดแบบการสร้างเทียบกับการตรวจสอบเดียวกันกำลังปรากฏในซอฟต์แวร์ วิทยาศาสตร์ กฎหมาย การแพทย์ และเวิร์กโฟลว์ AI แบบเอเจนต์

คือช่องว่างระหว่างความเร็วที่ระบบ AI สร้างบทพิสูจน์หรือข้อกล่าวอ้างที่ดูเป็นไปได้ กับความช้าที่ผู้เชี่ยวชาญสามารถตรวจสอบ ใส่บริบท ระบุเครดิต และนำไปใช้ซ้ำ

มีรายงานว่า OpenAI กล่าวอ้างว่าโมเดลภายในแก้ปัญหา Navier–Stokes Millennium Prize problem ได้แล้ว แต่บทความนี้เน้นว่าต้องมีการตรวจสอบจากชุมชนก่อนที่คำกล่าวอ้างเช่นนี้จะได้รับการยอมรับ

ความกังวลของพวกเขารวมถึงมาตรฐานการตีพิมพ์ การเป็นผู้เขียน ที่มา ข้อพิพาทเรื่องลำดับความสำคัญ และความเป็นไปได้ที่ผลลัพธ์ที่สร้างโดย AI ชุดใหญ่จะถาโถมจนการทบทวนของผู้เชี่ยวชาญรับไม่ไหว

ตามรายงานที่กล่าวถึง โมเดลของ OpenAI หักล้างข้อคาดการณ์ Erdős unit distance ด้วยการผสมแนวคิดที่มีอยู่แล้วในแบบที่เป็นประโยชน์ หลังจากนั้นนักคณิตศาสตร์มนุษย์ได้ขัดเกลาและขยายงานต่อ

ซอฟต์แวร์ งานวิจัยทางวิทยาศาสตร์ งานกฎหมาย และงานการแพทย์ ล้วนเผชิญแรงกดดันคล้ายกัน เพราะ AI สร้างผลลัพธ์ได้รวดเร็ว ขณะที่การตรวจยืนยันยังมีต้นทุนสูงและมีผลตามมาสำคัญ