ادعاهای ریاضی OpenAI گلوگاه راستی‌آزمایی AI را آشکار می‌کند

گزارش WIRED از تعارضی رو به گسترش میان آزمایشگاه‌های پیشرو AI و ریاضی‌دانان حرفه‌ای بر سر فرایند سخن می‌گوید. لیندسی مک‌کالم، سخنگوی OpenAI، به WIRED گفت که شرکت در 28 اوت آموزش یک مدل داخلی جدید را آغاز کرد و این مدل، علاوه بر «حل مسئله جایزه هزاره ناویر–استوکس»، «بیش از 100 مسئله باز و دیرینه را در بیشتر شاخه‌های ریاضیات حل کرده است».

این ادعایی خارق‌العاده است و در بستری شکننده مطرح می‌شود. مسئله ناویر–استوکس یکی از مسائل جایزه هزاره است؛ دسته‌ای از مسائل که حل آن‌ها معمولاً نیازمند بررسی طولانی‌مدت متخصصان است. ما ریسک‌های راستی‌آزمایی پیرامون آن ادعا را در ادعای OpenAI درباره اثبات ناویر–استوکس پوشش دادیم: نتیجه اصلی مهم است، اما مسیر از «مدل یک استدلال تولید کرد» تا «این حوزه قضیه را می‌پذیرد» بخش دشوار ماجراست.

WIRED همچنین گزارش داد که OpenAI به برخی افراد گفته بود قصد دارد صدها راه‌حل برای مسائل حل‌نشده را در GitHub منتشر کند. مک‌کالم به WIRED گفت شرکت در حال «کار برای انتشار مسئولانه» نتایج ریاضی بعدی است و از توصیه‌ها و پیشنهادهای عمومی گروه مشورتی ریاضیات و هوش مصنوعی در Institute for Advanced Study استفاده می‌کند. او همچنین گفت OpenAI زمانی برای انتشار تعیین نکرده است.

این تمایز مهم است. انتشار در GitHub برای نرم‌افزار مفید است. اما به‌طور خودکار واحد درست برای ریاضیات مرزی نیست. ریاضی‌دانان می‌توانند کد، اثبات‌های صوری، طرح‌های کلی و مقاله‌ها را بخوانند، اما هر قالب به پرسشی متفاوت پاسخ می‌دهد. آیا استدلال درست کار می‌کند؟ ایده کلیدی از چه کسی بوده است؟ به چه کارهای پیشینی وابسته است؟ کدام بخش‌ها تازه‌اند و کدام‌ها بازترکیب‌اند؟ پژوهشگران دیگر باید به چه چیزی ارجاع دهند؟

برینا کرا، ریاضی‌دان دانشگاه نورث‌وسترن که در نشست اوت حضور داشت، به WIRED گفت شرکت‌کنندگان از OpenAI خواستند نتایج را فقط در یک پست وبلاگی یا توییت منتشر نکند و در عوض مقاله‌هایی بنویسد که ریاضی‌دانان بتوانند آن‌ها را «جذب، هضم و استفاده» کنند. کرا به WIRED گفت: «ظاهراً آن نظر نادیده گرفته شد.»

روشن‌ترین نمونه فنی در منابع موجود، آن دسته مورد مناقشه از صدها نتیجه نیست. نتیجه قبلی OpenAI درباره فاصلهٔ واحد است.

مسئله فاصلهٔ واحد اردوش، به‌طور خلاصه، می‌پرسد چند جفت نقطه در یک صفحه می‌توانند دقیقاً یک واحد از هم فاصله داشته باشند. پال اردوش حدس زده بود که بهترین آرایش ممکن فقط اندکی سریع‌تر از تعداد نقاط رشد می‌کند. به گزارش Ars Technica، مدل OpenAI با ساخت یک آرایش نقطه‌ای پیچیده‌تر از رویکردهای سنتی مبتنی بر شبکه، نشان داد او اشتباه می‌کرده است.

Ars این روش را بازترکیبی هوشمندانه از ایده‌های ریاضی شناخته‌شده توصیف می‌کند. مدل از یک شبکه با ابعاد بالا استفاده کرد، آن را به دو بعد تصویر کرد و از اعداد صحیح جبری برای ایجاد ساختاری غنی‌تر بهره گرفت. این نتیجه، به ارزیابی Ars، تکنیک‌های واقعاً تازه‌ای معرفی نکرد. ریاضی‌دانان انسانی بعداً کار را تمیزتر و گسترده‌تر کردند.

این ترکیب مهم است: به‌اندازه کافی خودمختار که اهمیت داشته باشد، اما جادویی نیست. سیستم AI اثباتی پیدا کرد که یک حدس باز مهم را حل می‌کرد، با این حال نتیجه همچنان به تفسیر انسانی، ساده‌سازی، گسترش و جای‌دادن در ادبیات علمی نیاز داشت.

این واقع‌بینانه‌ترین تصویر کوتاه‌مدت از AI در پژوهش است: مدل‌ها گسترده جست‌وجو می‌کنند، زیرشاخه‌ها را به هم وصل می‌کنند و راهبردهای اثباتی را که برای انسان‌ها خسته‌کننده است پیگیری می‌کنند؛ انسان‌ها تصمیم می‌گیرند کدام پرسش‌ها مهم‌اند، بیان کار را اصلاح می‌کنند، کار را بررسی می‌کنند و لایه بعدی را می‌سازند. این تقسیم کار شاید تا ابد پایدار نماند، اما شواهد فعلی در گزارش‌های ارائه‌شده بیشتر از یک روایت ترکیبی پشتیبانی می‌کنند تا روایت جایگزینی کامل.

این وضعیت همچنین شبیه چیزی است که مهندسان در agentهای نرم‌افزاری می‌بینند. دشوارترین پرسش‌های تولید فقط این نیستند که «آیا مدل می‌تواند پاسخی تولید کند؟» بلکه این‌اند که «آیا می‌توانیم آن را ارزیابی، بازتولید و منتسب کنیم و با ایمنی اجازه دهیم عمل کند؟» به همین دلیل طراحی ارزیابی از مجموعه‌های طلایی کوچک تا معیارهای اجرای تکراری مانند pass@k به موضوعی مرکزی تبدیل شده است؛ اگر نسخه مهندسی این بحث را می‌خواهید، از ارزیابی LLM شروع کنید.

واکنش منفی‌ای که WIRED گزارش می‌کند، به معنای ساده ضدیت با AI نیست. چند ریاضی‌دانی که در گزارش از آن‌ها نقل‌قول شده، ظاهراً از ابزارهای قوی‌تر هیجان‌زده‌اند. نگرانی آن‌ها قدرت نهادی و فرایند علمی است.

WIRED می‌نویسد برخی دانشگاهیان احساس می‌کنند ریاضیات به میدان آزمونی برای OpenAI و Anthropic تبدیل شده است، چون این شرکت‌ها برای نشان‌دادن توان مدل‌ها رقابت می‌کنند. نستور گیلن، استاد مدعو ریاضی در دانشگاه نیویورک، به WIRED گفت در میان ریاضی‌دانان نسبت به شرکت‌های AI «برداشتی از رفتار مافیایی» وجود دارد. مک‌کالم از OpenAI پاسخ داد: «ما با این توصیف موافق نیستیم.»

جدی‌ترین اختلافی که WIRED توصیف می‌کند به تریستان باک‌مستر، استاد دانشگاه نیویورک، و لونت آلپوگه، کارمند Anthropic، مربوط است. WIRED گزارش می‌دهد که OpenAI در ماه سپتامبر پس از شنیدن «شایعاتی» مبنی بر نزدیک‌بودن دیگران به حل، هزاران agent را برای کار روی یک مسئله جایزه هزاره به‌کار گرفت. باک‌مستر OpenAI را متهم کرد که از کاری که او با آلپوگه انجام داده بود جلو زده است؛ کاری که آن دو هنوز منتشر نکرده بودند اما برای توسعه آن از ابزارهای OpenAI کمک گرفته بودند.

طبق روایت WIRED از پاسخ سباستین بوبک، پژوهشگر OpenAI، او درخواست برای حذف آلپوگه از نویسندگی را رد کرده است. با این حال، این رخداد نشان می‌دهد وقتی پژوهشگران از ابزارهای اختصاصی استفاده می‌کنند، آزمایشگاه‌ها می‌توانند بخشی از استفاده را مشاهده کنند، و مدل‌های داخلی می‌توانند در مقیاس بزرگ به سمت مسائل مجاور هدایت شوند، انتساب تا چه حد دشوار می‌شود.

جامعه علمی همین حالا در حال واکنش است. WIRED به Hexagon، مخزنی برای مطالب ریاضی عمدتاً تولیدشده با AI، و Palomar، دفتر ثبت ریاضیات راستی‌آزمایی‌شده با ماشین، اشاره می‌کند. همچنین از بیانیه لیدن نام می‌برد؛ فراخوانی با امضای بیش از 4,000 ریاضی‌دان که از شرکت‌های AI می‌خواهد استانداردهای ریاضی‌دانان را رعایت کنند.

جهت روشن است: اگر ریاضیات تولیدشده با AI فراوان شود، ریاضیات به زیرساختی تازه برای منشأ، بازبینی و راستی‌آزمایی نیاز دارد. GitHub شاید بخشی از آن باشد. اما نمی‌تواند کل فرایند باشد.

یک اثبات فقط به این دلیل پذیرفته نمی‌شود که یک مدل قدرتمند آن را تولید کرده است. وقتی پذیرفته می‌شود که یک جامعه بتواند آن را بررسی کند.

این لایه اجتماعی از بیرون به‌راحتی دست‌کم گرفته می‌شود. ریاضیات اغلب شبیه منطق ناب به نظر می‌رسد: یا اثبات معتبر است یا نیست. در عمل، اثبات باید خواندنی، در بستر مناسب قرارگرفته و به کارهای موجود متصل باشد. یک حوزه باید بداند کدام لم‌ها بار اصلی را به دوش می‌کشند، کدام فرض‌ها پنهان‌اند، کدام ارجاع‌ها جا افتاده‌اند و کدام ادعاها آن‌قدر قوی‌اند که دوباره استفاده شوند.

AI با تغییر حجم، این سیستم را تحت فشار می‌گذارد. یک اثبات دشوار یک چالش است. صدها راه‌حل ادعایی یک مسئله صف‌بندی است. اگر فقط تعداد کمی متخصص بتوانند هر نتیجه را ارزیابی کنند، انتشار یک دسته بزرگ می‌تواند صفی ایجاد کند که از نگاه آزمایشگاه شبیه پیشرفت و از نگاه آن حوزه شبیه آوار به نظر برسد.

برای سازندگان AI، تشبیه مفید این است: توانمندی بدون ظرفیت بازبینی، ریسک عملیاتی ایجاد می‌کند. یک agent کدنویسی که 200 pull request باز می‌کند می‌تواند کمتر از agentی مفید باشد که پنج مورد قابل‌بررسی باز می‌کند. یک agent پژوهشی که هزاران ادعای نامزد تولید می‌کند به تریاژ نیاز دارد. یک agent کسب‌وکار که در ابزارهای مختلف اقدام می‌کند به نقاط تأیید، لاگ‌های حسابرسی و مسیرهای بازگشت نیاز دارد. همین الگو در تأییدهای human-in-the-loop و در کارهای agentی بلندمدت دیده می‌شود؛ جایی که context، state و نظارت از یک پاسخ چشمگیر مهم‌ترند.

مناقشه ریاضی پیش‌نمایشی است از آنچه وقتی تولید از ارزیابی ارزان‌تر می‌شود رخ می‌دهد.

ریاضیات یک آزمون فشار اولیه است، چون ویژگی‌های نامعمولی دارد. مسائل می‌توانند با دقت بیان شوند. اثبات‌ها گاهی می‌توانند به‌صورت صوری بررسی شوند. اعتبار به حل پرسش‌های بازِ نام‌دار گره خورده است. و این جامعه هنجارهای قوی‌ای درباره تقدم، انتساب و انتشار دارد.

هر جا سه شرط برقرار باشد، حوزه‌های دیگر هم با نسخه‌ای از همین فشار روبه‌رو خواهند شد:

نرم‌افزار همین حالا به آن نقطه رسیده است. کد می‌تواند سریع تولید شود، اما درستی، امنیت، نگهداشت‌پذیری و مالکیت همچنان به بازبینی نیاز دارند. ادبیات علمی نزدیک است: AI می‌تواند فرضیه‌ها یا تحلیل‌ها را سریع‌تر از آن پیشنهاد کند که آزمایشگاه‌ها بتوانند آن‌ها را بیازمایند. کار حقوقی و پزشکی محدودترند، اما همین عدم تقارن میان خروجی روان و راستی‌آزمایی پرهزینه را دارند.

درس این نیست که به‌طور پیش‌فرض سرعت هر مدل را کم کنیم. درس این است که نهادها و سیستم‌ها را حول گلوگاه طراحی کنیم. اگر یک مدل بتواند 1,000 مصنوعِ محتمل تولید کند، پرسش محصول این می‌شود: کدام 10 مورد را انسان باید ببیند، به چه ترتیبی، با چه شواهدی و تحت چه محدودیت‌هایی؟

این همان مرکز طراحی برای سیستم‌های agentی عملی هم هست. گردش‌کارهای چند-agentی به مسیریابی، حافظه، ابزارها و مسیرهای escalation نیاز دارند، اما به مرزها هم نیاز دارند: چه چیزی می‌تواند خودکار اجرا شود، چه چیزی نیازمند بازبینی است، و چه چیزی برای بررسی بعدی ثبت می‌شود. اگر در این مسیر در حال ساخت هستید، مسائل مهندسی بیشتر با ارکستراسیون چند-agentی هم‌پوشانی دارند تا با تیزهوشی در promptنویسی.

گزارش‌ها به فهرست کوتاهی از هنجارها اشاره می‌کنند که می‌توانند اصطکاک را کاهش دهند.

نخست، مقاله منتشر کنید، نه فقط اطلاعیه. پست‌های وبلاگی می‌توانند نتایج را توضیح دهند، اما وقتی ادعا یک قضیه است، نباید جایگزین شیء علمی شوند.

دوم، نمایش توانمندی را از ادعاهای علمی جدا کنید. «مدل ما این اثبات را تولید کرد» و «جامعه این نتیجه را می‌پذیرد» دو گزاره متفاوت‌اند. جدا نگه‌داشتن آن‌ها هم از آزمایشگاه محافظت می‌کند و هم از آن حوزه.

سوم، منشأ را افشا کنید. اگر ریاضی‌دانان بیرونی از ابزارهای AI استفاده کرده‌اند، اگر یک آزمایشگاه به تعاملات کاربران دسترسی داشته، یا اگر agentهای داخلی پس از شنیدن درباره کار رقیب به‌کار گرفته شده‌اند، روایت انتساب به چیزی بیش از یک پانویس نیاز دارد.

چهارم، از دفترهای ثبت و زیرساخت راستی‌آزمایی استفاده کنید. WIRED گزارش می‌دهد که ریاضی‌دانان OpenAI را تشویق کرده‌اند از ابزارهایی مانند Hexagon و Palomar استفاده کند. اگر آن ابزارها کافی نیستند، آزمایشگاه‌ها باید به بهبود فرایند کمک کنند، نه اینکه آن را دور بزنند.

پنجم، با آهنگی منتشر کنید که برای انسان قابل‌بررسی باشد. یک تخلیه ناگهانی از صدها نتیجه شاید نمایش را به حداکثر برساند. اما فهم را به حداکثر نمی‌رساند.

بحران هویت، اگر وجود داشته باشد، این نیست که ریاضی‌دانان دیگر اهمیتی ندارند. این است که این حرفه شاید لازم باشد کار کمیاب خود را بازتعریف کند. پرسیدن پرسش‌های خوب، تعیین استانداردها، راستی‌آزمایی نتایج، تخصیص اعتبار، و تبدیل اثبات‌های جداافتاده به نظریه قابل‌استفاده، وقتی ماشین‌ها می‌توانند پاسخ‌های نامزد بیشتری تولید کنند، همگی مهم‌تر می‌شوند.

این تغییر ناراحت‌کننده است. اما آشنا هم هست. هر حوزه بالغی وقتی تولید ارزان می‌شود، فیلترهایی ایجاد می‌کند. AI ریاضیات را وادار می‌کند این فیلترها را در برابر دید عموم بسازد.

برای خبرهای روشن‌تر درباره AI و راهنماهای عملی، در خبرنامه NeuraLIA Labs عضو شوید.

• مسئله اصلی فقط این نیست که آیا AI می‌تواند مسائل سخت ریاضی را حل کند یا نه؛ بلکه این است که آیا جامعه ریاضی می‌تواند نتایج را با همان سرعت راستی‌آزمایی و جذب کند یا نه.
• طبق گزارش‌ها، OpenAI ادعا کرده در مسائل دیرینه از جمله ناویر–استوکس و بیش از 100 پرسش باز دیگر پیشرفت بزرگی داشته است، اما پذیرش به بررسی دقیق متخصصان بستگی دارد.
• نتیجه فاصلهٔ واحد اردوش یک الگوی محتمل کوتاه‌مدت را نشان می‌دهد: سیستم‌های AI می‌توانند اثبات‌های مهم پیدا کنند، در حالی که انسان‌ها همچنان آن‌ها را ساده‌سازی، در بستر قرار داده و گسترش می‌دهند.
• نگرانی‌های ریاضی‌دانان بر فرایند، منشأ، انتساب، هنجارهای انتشار و خطر غرق‌کردن سیستم‌های بازبینی متمرکز است.
• همین گلوگاه تولید در برابر راستی‌آزمایی در نرم‌افزار، علم، حقوق، پزشکی و گردش‌کارهای agentی AI در حال ظهور است.

شکاف میان سرعتی است که سیستم‌های AI می‌توانند اثبات‌ها یا ادعاهای محتمل تولید کنند و کندی‌ای که متخصصان با آن می‌توانند آن‌ها را راستی‌آزمایی، در بستر قرار دهند، منتسب کنند و دوباره به‌کار بگیرند.

طبق گزارش‌ها، OpenAI ادعا کرده یک مدل داخلی مسئله جایزه هزاره ناویر–استوکس را حل کرده است، اما مقاله تأکید می‌کند که پیش از پذیرش چنین ادعایی، راستی‌آزمایی جامعه علمی ضروری است.

نگرانی‌های آن‌ها شامل استانداردهای انتشار، نویسندگی، منشأ، اختلافات بر سر تقدم و این احتمال است که دسته‌های بزرگ نتایج تولیدشده با AI بازبینی تخصصی را از ظرفیت خارج کند.

بر اساس گزارش‌های مطرح‌شده، یک مدل OpenAI با بازترکیب ایده‌های شناخته‌شده به شکلی مفید، حدس فاصلهٔ واحد اردوش را رد کرد؛ سپس ریاضی‌دانان انسانی کار را پاک‌سازی و گسترش دادند.

نرم‌افزار، پژوهش علمی، کار حقوقی و کار پزشکی همگی با فشار مشابهی روبه‌رو هستند، چون AI می‌تواند خروجی‌ها را سریع تولید کند، در حالی که اعتبارسنجی همچنان پرهزینه و پرپیامد باقی می‌ماند.