Các tuyên bố toán học của OpenAI phơi bày nút thắt xác minh của AI

Báo cáo của WIRED mô tả một xung đột ngày càng rộng giữa các phòng thí nghiệm AI tuyến đầu và giới toán học chuyên nghiệp về quy trình. Người phát ngôn OpenAI Lindsay McCallum nói với WIRED rằng vào ngày 28 tháng 8, công ty bắt đầu huấn luyện một mô hình nội bộ mới và rằng, ngoài việc “giải quyết bài toán Giải thưởng Thiên niên kỷ Navier—Stokes”, mô hình này đã “giải quyết hơn 100 bài toán mở tồn tại từ lâu trên hầu hết các lĩnh vực toán học”.

Đó là một tuyên bố phi thường, và nó nằm trong một bối cảnh mong manh. Bài toán Navier–Stokes là một trong các Bài toán Giải thưởng Thiên niên kỷ, nhóm bài toán mà việc giải quyết thường đòi hỏi sự thẩm định kéo dài từ các chuyên gia. Chúng tôi đã đề cập đến các rủi ro xác minh quanh tuyên bố đó trong tuyên bố chứng minh Navier–Stokes của OpenAI: kết quả tiêu đề rất quan trọng, nhưng con đường từ “mô hình tạo ra một lập luận” đến “lĩnh vực chấp nhận định lý” mới là phần khó.

WIRED cũng đưa tin rằng OpenAI đã nói với nhiều người rằng họ dự định phát hành hàng trăm lời giải cho các bài toán chưa giải trên GitHub. McCallum nói với WIRED rằng công ty đang “nỗ lực phát hành một cách có trách nhiệm” các kết quả toán học tiếp theo và đang dựa trên lời khuyên cũng như khuyến nghị công khai từ Advisory Group on Mathematics and Artificial Intelligence tại Institute for Advanced Study. Bà cũng nói OpenAI chưa ấn định thời điểm phát hành.

Sự phân biệt đó rất quan trọng. Phát hành trên GitHub hữu ích cho phần mềm. Nó không tự động là đơn vị phù hợp cho toán học tuyến đầu. Các nhà toán học có thể đọc mã, chứng minh hình thức, dàn ý và bài báo, nhưng mỗi định dạng trả lời một câu hỏi khác nhau. Lập luận có đúng không? Ai có ý tưởng then chốt? Nó phụ thuộc vào những công trình trước nào? Phần nào là mới, và phần nào là sự tái kết hợp? Các nhà nghiên cứu khác nên trích dẫn điều gì?

Bryna Kra, một nhà toán học tại Northwestern University tham dự cuộc họp tháng 8, nói với WIRED rằng những người tham dự đã đề nghị OpenAI không công bố kết quả chỉ trong một bài blog hoặc tweet, mà thay vào đó hãy viết các bài báo để nhà toán học có thể “hấp thụ, tiêu hóa và sử dụng”. Kra nói với WIRED: “Có vẻ như góp ý đó đã bị phớt lờ.”

Ví dụ kỹ thuật rõ ràng nhất trong tư liệu nguồn không phải là lô hàng trăm kết quả còn gây tranh cãi. Đó là kết quả khoảng cách đơn vị trước đó của OpenAI.

Bài toán khoảng cách đơn vị Erdős, nói đại khái, hỏi có bao nhiêu cặp điểm trong một mặt phẳng có thể cách nhau đúng một đơn vị. Paul Erdős phỏng đoán rằng cách sắp xếp tốt nhất có thể sẽ tăng chỉ nhỉnh hơn rất ít so với số điểm. Theo Ars Technica, mô hình của OpenAI đã chứng minh ông sai bằng cách dựng một cấu hình điểm phức tạp hơn các cách tiếp cận dựa trên lưới truyền thống.

Ars mô tả phương pháp này như một sự tái kết hợp thông minh các ý tưởng toán học đã biết. Mô hình dùng một lưới chiều cao, chiếu nó xuống hai chiều và dùng các số nguyên đại số để tạo cấu trúc phong phú hơn. Theo đánh giá của Ars, kết quả này không giới thiệu các kỹ thuật thật sự mới. Các nhà toán học con người sau đó đã chỉnh lý và mở rộng công trình.

Sự kết hợp đó rất quan trọng: đủ tự chủ để có ý nghĩa, nhưng không phải phép màu. Hệ thống AI đã tìm được một chứng minh giải quyết một giả thuyết mở lớn, nhưng kết quả vẫn cần con người diễn giải, đơn giản hóa, mở rộng và đặt vào văn liệu.

Đây là bức tranh ngắn hạn thực tế nhất cho AI trong nghiên cứu: mô hình tìm kiếm rộng, kết nối các phân ngành và nghiền qua các chiến lược chứng minh vốn sẽ rất tẻ nhạt với con người; con người quyết định câu hỏi nào quan trọng, sửa cách trình bày, kiểm tra công trình và xây lớp tiếp theo. Sự phân công đó có thể không tồn tại mãi, nhưng bằng chứng hiện tại trong các báo cáo được cung cấp ủng hộ câu chuyện lai hơn là câu chuyện thay thế hoàn toàn.

Nó cũng giống điều các kỹ sư đang thấy ở các tác tử phần mềm. Những câu hỏi sản xuất khó nhất không chỉ là “mô hình có thể tạo ra câu trả lời không?” Chúng là “chúng ta có thể đánh giá nó, tái lập nó, ghi nhận công lao và cho phép nó hành động an toàn không?” Đó là lý do thiết kế đánh giá đã trở thành trọng tâm, từ các bộ golden set nhỏ đến các thước đo chạy lặp lại như pass@k; nếu bạn muốn phiên bản kỹ thuật, hãy bắt đầu với đánh giá LLM.

Phản ứng dữ dội mà WIRED đưa tin không phải là chống AI theo nghĩa đơn giản. Một số nhà toán học được trích dẫn trong bài tỏ ra hào hứng với các công cụ mạnh hơn. Mối lo của họ là quyền lực thể chế và quy trình khoa học.

WIRED viết rằng một số học giả cảm thấy toán học đã trở thành bãi thử cho OpenAI và Anthropic khi các công ty chạy đua chứng minh năng lực mô hình. Nestor Guillen, giáo sư toán thỉnh giảng tại New York University, nói với WIRED rằng trong giới toán học có “cảm nhận về hành vi kiểu xã hội đen” đối với các công ty AI. McCallum của OpenAI đáp lại: “Chúng tôi không đồng ý với mô tả đó.”

Tranh chấp nghiêm trọng nhất được WIRED mô tả liên quan đến Tristan Buckmaster, giáo sư tại New York University, và Levent Alpöge, một nhân viên Anthropic. WIRED đưa tin rằng OpenAI đã triển khai hàng nghìn tác tử vào tháng 9 để làm việc trên một Bài toán Giải thưởng Thiên niên kỷ sau khi nghe “tin đồn” rằng những người khác đã ở rất gần. Buckmaster cáo buộc OpenAI đi trước để chiếm lợi thế từ công trình mà ông đã làm với Alpöge, công trình mà cặp đôi này chưa công bố nhưng đã dùng các công cụ OpenAI để hỗ trợ phát triển.

Nhà nghiên cứu OpenAI Sébastien Bubeck phủ nhận việc yêu cầu loại Alpöge khỏi quyền tác giả, theo tường thuật của WIRED về phản hồi của ông. Dù vậy, sự việc cho thấy vì sao việc ghi nhận công lao trở nên khó khăn khi các nhà nghiên cứu dùng công cụ độc quyền, các phòng thí nghiệm có thể quan sát một phần việc sử dụng, và các mô hình nội bộ có thể được hướng vào những bài toán lân cận ở quy mô lớn.

Cộng đồng đã bắt đầu phản ứng. WIRED nhắc đến Hexagon, một kho lưu trữ cho tư liệu toán học chủ yếu do AI tạo ra, và Palomar, một sổ đăng ký toán học được máy xác minh. Bài cũng trích dẫn tuyên bố Leiden, một lời kêu gọi được hơn 4.000 nhà toán học ký, yêu cầu các công ty AI đáp ứng các tiêu chuẩn của giới toán học.

Hướng đi đã rõ: nếu toán học do AI tạo ra trở nên dồi dào, toán học cần hạ tầng mới cho nguồn gốc, phản biện và xác minh. GitHub có thể là một phần trong đó. Nó không thể là toàn bộ quy trình.

Một chứng minh không được chấp nhận chỉ vì một mô hình mạnh phát ra nó. Nó được chấp nhận vì một cộng đồng có thể kiểm tra nó.

Tầng xã hội đó rất dễ bị người ngoài đánh giá thấp. Toán học thường trông như logic thuần túy: hoặc chứng minh hợp lệ, hoặc không. Trên thực tế, một chứng minh cũng phải dễ đọc, được đặt vào bối cảnh và được kết nối với công trình hiện có. Một lĩnh vực cần biết bổ đề nào đang gánh phần chính, giả định nào bị ẩn, trích dẫn nào còn thiếu và tuyên bố nào đủ mạnh để tái sử dụng.

AI gây áp lực lên hệ thống đó bằng cách thay đổi khối lượng. Một chứng minh khó là một thách thức. Hàng trăm lời giải được tuyên bố là một bài toán xếp hàng. Nếu chỉ một số ít chuyên gia có thể đánh giá từng kết quả, việc phát hành một lô lớn có thể tạo ra tồn đọng trông như tiến bộ từ góc nhìn của phòng thí nghiệm và như mảnh vụn từ góc nhìn của lĩnh vực.

Với những người xây dựng AI, đây là phép tương tự hữu ích: năng lực không đi kèm khả năng đánh giá sẽ tạo rủi ro vận hành. Một tác tử lập trình mở 200 pull request có thể kém hữu ích hơn một tác tử mở năm pull request có thể review được. Một tác tử nghiên cứu tạo ra hàng nghìn tuyên bố ứng viên cần được phân loại ưu tiên. Một tác tử kinh doanh thực hiện hành động trên nhiều công cụ cần các điểm phê duyệt, nhật ký kiểm toán và đường rollback. Mẫu hình tương tự xuất hiện trong phê duyệt có con người trong vòng lặp và trong công việc tác tử chạy dài, nơi ngữ cảnh, trạng thái và giám sát quan trọng hơn một câu trả lời ấn tượng đơn lẻ.

Tranh cãi toán học là bản xem trước cho điều xảy ra khi việc tạo ra trở nên rẻ hơn việc đánh giá.

Toán học là một bài kiểm tra áp lực sớm vì nó có những thuộc tính khác thường. Bài toán có thể được phát biểu rất sắc nét. Chứng minh đôi khi có thể được kiểm tra hình thức. Uy tín gắn với việc giải các câu hỏi mở có tên tuổi. Và cộng đồng có các chuẩn mực mạnh về quyền ưu tiên, ghi nhận công lao và xuất bản.

Các lĩnh vực khác sẽ đối mặt với một phiên bản của cùng áp lực ở bất cứ nơi nào hội đủ ba điều kiện:

Phần mềm đã ở đó rồi. Mã có thể được tạo nhanh, nhưng tính đúng đắn, bảo mật, khả năng bảo trì và quyền sở hữu vẫn cần review. Văn liệu khoa học cũng ở gần: AI có thể đề xuất giả thuyết hoặc phân tích nhanh hơn tốc độ phòng thí nghiệm có thể kiểm chứng. Công việc pháp lý và y tế bị ràng buộc nhiều hơn, nhưng chúng có cùng sự bất đối xứng giữa đầu ra trôi chảy và xác minh tốn kém.

Bài học không phải là mặc định làm chậm mọi mô hình. Mà là thiết kế các thể chế và hệ thống quanh nút thắt. Nếu một mô hình có thể tạo ra 1.000 hiện vật có vẻ hợp lý, câu hỏi sản phẩm trở thành: 10 thứ nào con người nên xem, theo thứ tự nào, với bằng chứng gì và dưới những ràng buộc nào?

Đó cũng là trọng tâm thiết kế cho các hệ thống tác tử thực tiễn. Luồng công việc đa tác tử cần định tuyến, bộ nhớ, công cụ và đường leo thang, nhưng cũng cần ranh giới: việc gì có thể chạy tự động, việc gì cần review và việc gì được ghi lại để kiểm tra sau. Nếu bạn đang xây dựng theo hướng đó, các vấn đề kỹ thuật sẽ trùng với điều phối đa tác tử nhiều hơn là với sự khéo léo trong prompt.

Các báo cáo chỉ ra một danh sách ngắn các chuẩn mực có thể giảm ma sát.

Thứ nhất, phát hành bài báo, không chỉ thông báo. Bài blog có thể giải thích kết quả, nhưng chúng không nên thay thế đối tượng học thuật khi tuyên bố là một định lý.

Thứ hai, tách biệt demo năng lực khỏi tuyên bố khoa học. “Mô hình của chúng tôi tạo ra chứng minh này” và “cộng đồng chấp nhận kết quả này” là hai phát biểu khác nhau. Giữ chúng tách biệt bảo vệ cả phòng thí nghiệm lẫn lĩnh vực.

Thứ ba, công bố nguồn gốc. Nếu các công cụ AI được nhà toán học bên ngoài sử dụng, nếu một phòng thí nghiệm có quyền truy cập tương tác người dùng, hoặc nếu các tác tử nội bộ được triển khai sau khi nghe về công trình cạnh tranh, câu chuyện ghi nhận công lao cần nhiều hơn một chú thích.

Thứ tư, dùng các sổ đăng ký và hạ tầng xác minh. WIRED đưa tin rằng các nhà toán học đã khuyến khích OpenAI dùng các công cụ như Hexagon và Palomar. Nếu các công cụ đó chưa đủ, các phòng thí nghiệm nên giúp cải thiện quy trình thay vì đi vòng qua nó.

Thứ năm, phát hành theo nhịp mà con người có thể review. Một đợt xả hàng trăm kết quả có thể tối đa hóa hiệu ứng trình diễn. Nó không tối đa hóa sự hiểu biết.

Cuộc khủng hoảng bản sắc, nếu có, không phải là các nhà toán học không còn quan trọng. Mà là nghề này có thể cần định nghĩa lại đâu là công việc khan hiếm của mình. Đặt câu hỏi hay, thiết lập tiêu chuẩn, xác minh kết quả, phân bổ công lao và biến các chứng minh rời rạc thành lý thuyết có thể dùng được đều trở nên quan trọng hơn khi máy móc có thể tạo thêm nhiều câu trả lời ứng viên.

Sự dịch chuyển đó gây khó chịu. Nó cũng quen thuộc. Mọi lĩnh vực trưởng thành đều phát triển bộ lọc khi sản xuất trở nên rẻ. AI đang buộc toán học xây các bộ lọc đó trước công chúng.

Để nhận thêm tin tức AI rõ ràng và hướng dẫn thực tế, hãy đăng ký bản tin NeuraLIA Labs.

• Vấn đề trung tâm không chỉ là AI có thể giải các bài toán khó hay không, mà là cộng đồng toán học có thể xác minh và hấp thụ kết quả với cùng tốc độ hay không.
• OpenAI được cho là đã tuyên bố có tiến bộ lớn trên các bài toán tồn tại từ lâu, bao gồm Navier–Stokes và hơn 100 câu hỏi mở khác, nhưng việc chấp nhận phụ thuộc vào thẩm định của chuyên gia.
• Kết quả khoảng cách đơn vị Erdős cho thấy một mẫu hình ngắn hạn có khả năng xảy ra: hệ thống AI có thể tìm ra chứng minh quan trọng, trong khi con người vẫn đơn giản hóa, đặt vào bối cảnh và mở rộng chúng.
• Mối lo của các nhà toán học tập trung vào quy trình, nguồn gốc, ghi nhận công lao, chuẩn mực xuất bản và rủi ro làm quá tải hệ thống phản biện.
• Cùng nút thắt giữa tạo ra và xác minh đang xuất hiện trong phần mềm, khoa học, luật, y học và các luồng công việc AI tác tử.

Đó là khoảng cách giữa tốc độ các hệ thống AI có thể tạo ra chứng minh hoặc tuyên bố có vẻ hợp lý và tốc độ chậm hơn nhiều mà chuyên gia có thể xác minh, đặt vào bối cảnh, ghi nhận công lao và tái sử dụng chúng.

OpenAI được cho là đã tuyên bố rằng một mô hình nội bộ đã giải quyết bài toán Giải thưởng Thiên niên kỷ Navier–Stokes, nhưng bài viết nhấn mạnh rằng cần có sự xác minh của cộng đồng trước khi một tuyên bố như vậy được chấp nhận.

Mối lo của họ bao gồm tiêu chuẩn xuất bản, quyền tác giả, nguồn gốc, tranh chấp quyền ưu tiên và khả năng các lô lớn kết quả do AI tạo ra có thể làm quá tải phản biện chuyên gia.

Theo các báo cáo được thảo luận, một mô hình OpenAI đã bác bỏ giả thuyết khoảng cách đơn vị Erdős bằng cách tái kết hợp các ý tưởng đã biết theo cách hữu ích, sau đó các nhà toán học con người đã chỉnh lý và mở rộng công trình.

Phần mềm, nghiên cứu khoa học, công việc pháp lý và công việc y tế đều đối mặt với áp lực tương tự vì AI có thể tạo đầu ra nhanh, trong khi xác thực vẫn tốn kém và có hệ quả lớn.