טענות המתמטיקה של OpenAI חושפות את צוואר הבקבוק באימות AI

הדיווח של WIRED מתאר עימות מתרחב בין מעבדות AI בחזית הטכנולוגיה לבין מתמטיקאים מקצועיים סביב התהליך. דוברת OpenAI לינדזי מקאלום אמרה ל-WIRED שב-28 באוגוסט החברה החלה לאמן מודל פנימי חדש, ושבנוסף ל„פתרון בעיית פרס המילניום של נאוויה—סטוקס“, המודל „פתר יותר מ-100 בעיות פתוחות ותיקות ברוב תחומי המתמטיקה“.

זו טענה יוצאת דופן, והיא מופיעה בהקשר שברירי. בעיית נאוויה–סטוקס היא אחת מבעיות פרס המילניום, סוג של בעיות שפתרונן דורש בדרך כלל בחינה ממושכת מצד מומחים. כיסינו את סיכוני האימות סביב הטענה הזו ב-טענת OpenAI להוכחה של נאוויה–סטוקס: התוצאה בכותרת חשובה, אבל הדרך מ„המודל הפיק טיעון“ ל„התחום מקבל את המשפט“ היא החלק הקשה.

WIRED דיווחה גם ש-OpenAI אמרה לאנשים שהיא מתכננת לפרסם ב-GitHub מאות פתרונות לבעיות לא פתורות. מקאלום אמרה ל-WIRED שהחברה „עובדת על פרסום אחראי“ של תוצאות המתמטיקה הבאות, ונעזרת בעצות ובהמלצות פומביות של Advisory Group on Mathematics and Artificial Intelligence במכון למחקר מתקדם. היא גם אמרה ש-OpenAI לא קבעה מועד פרסום.

ההבחנה הזו חשובה. פרסום ב-GitHub שימושי לתוכנה. הוא לא בהכרח יחידת הפרסום הנכונה למתמטיקה בחזית המחקר. מתמטיקאים יכולים לקרוא קוד, הוכחות פורמליות, מתווים ומאמרים, אבל כל פורמט עונה על שאלה אחרת. האם הטיעון עובד? למי היה הרעיון המרכזי? על איזו עבודה קודמת הוא נשען? אילו חלקים חדשים, ואילו הם שילובים מחדש? מה חוקרים אחרים צריכים לצטט?

ברינה קרא, מתמטיקאית מאוניברסיטת נורת׳ווסטרן שהשתתפה במפגש באוגוסט, אמרה ל-WIRED שהמשתתפים ביקשו מ-OpenAI לא לפרסם תוצאות רק בפוסט בבלוג או בציוץ, אלא לכתוב מאמרים שמתמטיקאים יוכלו „לספוג, לעכל ולהשתמש בהם“. קרא אמרה ל-WIRED: „כנראה שהתשומה הזו זכתה להתעלמות“.

הדוגמה הטכנית הברורה ביותר בחומרי המקור אינה מקבץ מאות התוצאות שבמחלוקת. היא תוצאת מרחק היחידה המוקדמת יותר של OpenAI.

בעיית מרחק היחידה של ארדש שואלת, בקירוב, כמה זוגות של נקודות במישור יכולים להיות במרחק של יחידה אחת בדיוק זה מזה. פול ארדש שיער שהסידור הטוב ביותר האפשרי יגדל רק מעט יותר מהר ממספר הנקודות. לפי Ars Technica, המודל של OpenAI הוכיח שהוא טעה באמצעות בניית סידור נקודות מורכב יותר מהגישות המסורתיות המבוססות על סריג.

Ars מתארת את השיטה כשילוב מחדש חכם של רעיונות מתמטיים מוכרים. המודל השתמש בסריג רב-ממדי, הטיל אותו לשני ממדים, והשתמש במספרים שלמים אלגבריים כדי ליצור מבנה עשיר יותר. לפי ההערכה של Ars, התוצאה לא הציגה טכניקות חדשות באמת. מתמטיקאים אנושיים ניקו לאחר מכן את העבודה והרחיבו אותה.

השילוב הזה חשוב: אוטונומי מספיק כדי להיות משמעותי, אבל לא קסם. מערכת ה-AI מצאה הוכחה שפתרה השערה פתוחה מרכזית, ועדיין התוצאה נזקקה לפרשנות אנושית, פישוט, הרחבה ומיקום בספרות המקצועית.

זו התמונה הריאליסטית ביותר לטווח הקרוב עבור AI במחקר: מודלים מחפשים לרוחב, מחברים תתי-תחומים וטוחנים אסטרטגיות הוכחה שהיו מייגעות לבני אדם; בני אדם מחליטים אילו שאלות חשובות, מתקנים את ההצגה, בודקים את העבודה ובונים את השכבה הבאה. ייתכן שהחלוקה הזו לא תחזיק לנצח, אבל הראיות הנוכחיות בדיווחים שסופקו תומכות בסיפור היברידי יותר מאשר בסיפור של החלפה נקייה.

זה גם דומה למה שמהנדסים רואים בסוכני תוכנה. השאלות הקשות ב-production אינן רק „האם המודל יכול להפיק תשובה?“ הן „האם אנחנו יכולים להעריך אותה, לשחזר אותה, לייחס אותה, ולאפשר לה לפעול בבטחה?“ לכן תכנון הערכה הפך למרכזי, מסטים קטנים של golden set ועד מדדים של הרצות חוזרות כמו pass@k; אם תרצו את הגרסה ההנדסית, התחילו ב-הערכת LLM.

תגובת הנגד שעליה מדווחת WIRED אינה אנטי-AI במובן הפשוט. כמה מהמתמטיקאים המצוטטים בכתבה נראים נלהבים מכלים חזקים יותר. החשש שלהם הוא כוח מוסדי ותהליך מדעי.

WIRED כותבת שחלק מהאקדמאים מרגישים שהמתמטיקה הפכה לשדה ניסוי עבור OpenAI ו-Anthropic, בזמן שהחברות מתחרות להראות את יכולות המודלים שלהן. נסטור גיין, פרופסור אורח למתמטיקה באוניברסיטת ניו יורק, אמר ל-WIRED שיש בקרב מתמטיקאים „תפיסה של התנהגות מאפיונרית“ כלפי חברות AI. מקאלום מ-OpenAI השיבה: „אנחנו לא מסכימים עם האפיון הזה“.

המחלוקת החמורה ביותר שמתארת WIRED מערבת את טריסטן באקמאסטר, פרופסור באוניברסיטת ניו יורק, ואת לבנט אלפגה, עובד Anthropic. WIRED מדווחת ש-OpenAI פרסה אלפי סוכנים בספטמבר כדי לעבוד על בעיית פרס מילניום לאחר ששמעה „שמועות“ שאחרים קרובים לפתרון. באקמאסטר האשים את OpenAI בהקדמת פרסום עבודה שעשה עם אלפגה, עבודה שהשניים עדיין לא פרסמו אבל השתמשו בכלי OpenAI כדי לסייע בפיתוחה.

חוקר OpenAI סבסטיאן בובק הכחיש שביקש להחריג את אלפגה מרשימת המחברים, לפי תיאור תגובתו ב-WIRED. ובכל זאת, הפרשה מראה מדוע ייחוס נעשה קשה כאשר חוקרים משתמשים בכלים קנייניים, מעבדות יכולות לצפות בחלק מהשימוש, ומודלים פנימיים יכולים להיות מופנים לבעיות סמוכות בקנה מידה גדול.

הקהילה כבר מגיבה. WIRED מזכירה את Hexagon, מאגר לחומר מתמטי שנוצר בעיקר ב-AI, ואת Palomar, מרשם של מתמטיקה מאומתת-מכונה. היא גם מצטטת את הצהרת ליידן, קריאה שעליה חתמו יותר מ-4,000 מתמטיקאים המבקשים מחברות AI לעמוד בסטנדרטים של מתמטיקאים.

הכיוון ברור: אם מתמטיקה שנוצרת ב-AI תהפוך לשופעת, המתמטיקה זקוקה לתשתית חדשה למקוריות, ביקורת ואימות. GitHub יכול להיות חלק מזה. הוא לא יכול להיות כל התהליך.

הוכחה אינה מתקבלת מפני שמודל חזק פולט אותה. היא מתקבלת מפני שקהילה יכולה לבדוק אותה.

קל לזלזל בשכבה החברתית הזו מבחוץ. מתמטיקה נראית לעיתים כמו לוגיקה טהורה: או שההוכחה תקפה או שלא. בפועל, הוכחה צריכה גם להיות קריאה, ממוקמת בהקשר ומחוברת לעבודה קיימת. תחום צריך לדעת אילו למות עושות את העבודה, אילו הנחות מוסתרות, אילו ציטוטים חסרים, ואילו טענות חזקות מספיק לשימוש חוזר.

AI מפעילה לחץ על המערכת הזו באמצעות שינוי הנפח. הוכחה קשה אחת היא אתגר. מאות פתרונות נטענים הם בעיית תורים. אם רק מספר קטן של מומחים יכול להעריך כל תוצאה, פרסום מקבץ גדול יכול ליצור צבר שנראה כמו התקדמות מנקודת המבט של המעבדה וכמו פסולת מנקודת המבט של התחום.

עבור בוני AI, זו האנלוגיה השימושית: יכולת ללא קיבולת ביקורת יוצרת סיכון תפעולי. סוכן קוד שפותח 200 pull requests יכול להיות פחות מועיל מסוכן שפותח חמישה שניתנים לביקורת. סוכן מחקר שמפיק אלפי טענות מועמדות זקוק למיון. סוכן עסקי שנוקט פעולות בין כלים זקוק לנקודות אישור, יומני ביקורת ונתיבי rollback. אותו דפוס מופיע ב-אישורי human-in-the-loop ובעבודה ארוכת טווח של סוכנים, שבה הקשר, מצב ופיקוח חשובים יותר מתשובה מרשימה אחת.

המחלוקת המתמטית היא קדימון למה שקורה כשיצירה נעשית זולה יותר מהערכה.

מתמטיקה היא מבחן לחץ מוקדם כי יש לה מאפיינים יוצאי דופן. בעיות יכולות להיות מנוסחות בחדות. הוכחות יכולות לפעמים להיבדק פורמלית. יוקרה קשורה לפתרון שאלות פתוחות בעלות שם. ולקהילה יש נורמות חזקות סביב קדימות, ייחוס ופרסום.

תחומים אחרים יתמודדו עם גרסה של אותו לחץ בכל מקום שבו מתקיימים שלושה תנאים:

תוכנה כבר שם. קוד יכול להיווצר במהירות, אבל נכונות, אבטחה, תחזוקתיות ובעלות עדיין דורשות ביקורת. הספרות המדעית קרובה לכך: AI יכולה להציע השערות או ניתוחים מהר יותר מכפי שמעבדות יכולות לבדוק אותם. עבודה משפטית ורפואית מוגבלות יותר, אבל הן חולקות את אותה אסימטריה בין פלט רהוט לבין אימות יקר.

הלקח אינו להאט כל מודל כברירת מחדל. הלקח הוא לתכנן מוסדות ומערכות סביב צוואר הבקבוק. אם מודל יכול להפיק 1,000 פריטים סבירים, שאלת המוצר הופכת להיות: אילו 10 אדם צריך לראות, באיזה סדר, עם אילו ראיות, ותחת אילו מגבלות?

זהו גם מרכז התכנון של מערכות סוכנים מעשיות. תהליכי עבודה מרובי-סוכנים צריכים routing, זיכרון, כלים ונתיבי הסלמה, אבל הם צריכים גם גבולות: מה יכול לרוץ אוטומטית, מה דורש ביקורת, ומה נרשם לבדיקה מאוחרת יותר. אם אתם בונים בכיוון הזה, הבעיות ההנדסיות חופפות יותר ל-תזמור מרובה-סוכנים מאשר להתחכמות ב-prompt.

הדיווחים מצביעים על רשימה קצרה של נורמות שיכולות להפחית חיכוך.

ראשית, לפרסם מאמרים, לא רק הודעות. פוסטים בבלוג יכולים להסביר תוצאות, אבל הם לא צריכים להחליף את האובייקט המחקרי כאשר הטענה היא משפט.

שנית, להפריד בין הדגמות יכולת לבין טענות מדעיות. „המודל שלנו הפיק את ההוכחה הזו“ ו„הקהילה מקבלת את התוצאה הזו“ הן אמירות שונות. ההפרדה ביניהן מגינה גם על המעבדה וגם על התחום.

שלישית, לחשוף מקוריות ותהליך. אם מתמטיקאים חיצוניים השתמשו בכלי AI, אם למעבדה הייתה גישה לאינטראקציות משתמשים, או אם סוכנים פנימיים הופעלו לאחר שמיעה על עבודה מתחרה, סיפור הייחוס צריך יותר מהערת שוליים.

רביעית, להשתמש במרשמים ובתשתיות אימות. WIRED מדווחת שמתמטיקאים עודדו את OpenAI להשתמש בכלים כמו Hexagon ו-Palomar. אם הכלים האלה אינם מספיקים, מעבדות צריכות לעזור לשפר את התהליך במקום לעקוף אותו.

חמישית, לפרסם בקצב שאדם יכול לבקר. הטלה של מאות תוצאות עשויה למקסם את האפקט התקשורתי. היא לא ממקסמת הבנה.

משבר הזהות, אם יש כזה, אינו שמתמטיקאים כבר אינם חשובים. הוא שהמקצוע עשוי להידרש להגדיר מחדש את העבודה הנדירה שלו. לשאול שאלות טובות, לקבוע סטנדרטים, לאמת תוצאות, להקצות קרדיט ולהפוך הוכחות מבודדות לתיאוריה שימושית — כל אלה נעשים חשובים יותר כאשר מכונות יכולות לייצר יותר תשובות מועמדות.

השינוי הזה לא נוח. הוא גם מוכר. כל תחום בוגר מפתח מסננים כאשר הייצור נעשה זול. AI מאלצת את המתמטיקה לבנות את המסננים האלה בפומבי.

לעוד חדשות AI ברורות ומדריכים מעשיים, הירשמו ל-ניוזלטר של NeuraLIA Labs.

• הסוגיה המרכזית אינה רק אם AI יכולה לפתור בעיות מתמטיות קשות, אלא אם הקהילה המתמטית יכולה לאמת ולספוג תוצאות באותה מהירות.
• לפי דיווחים, OpenAI טענה להתקדמות משמעותית בבעיות ותיקות, כולל נאוויה–סטוקס ויותר מ-100 שאלות פתוחות נוספות, אבל הקבלה תלויה בבחינה של מומחים.
• תוצאת מרחק היחידה של ארדש מציגה דפוס סביר לטווח הקרוב: מערכות AI יכולות למצוא הוכחות חשובות, בעוד בני אדם עדיין מפשטים, ממקמים בהקשר ומרחיבים אותן.
• החששות של מתמטיקאים מתמקדים בתהליך, מקוריות, ייחוס, נורמות פרסום והסיכון להצפת מערכות ביקורת.
• אותו צוואר בקבוק של יצירה מול אימות מופיע בתוכנה, מדע, משפט, רפואה ותהליכי עבודה סוכניים של AI.

זהו הפער בין המהירות שבה מערכות AI יכולות לייצר הוכחות או טענות סבירות לבין האיטיות שבה מומחים יכולים לאמת, למקם בהקשר, לייחס ולהשתמש בהן מחדש.

לפי דיווחים, OpenAI טענה שמודל פנימי פתר את בעיית פרס המילניום של נאוויה–סטוקס, אבל המאמר מדגיש שנדרש אימות קהילתי לפני שטענה כזו מתקבלת.

החששות שלהם כוללים סטנדרטים של פרסום, מחברות, מקוריות, מחלוקות קדימות והאפשרות שמקבצים גדולים של תוצאות שנוצרו ב-AI יציפו את ביקורת המומחים.

לפי הדיווחים שנדונו, מודל של OpenAI הפריך את השערת מרחק היחידה של ארדש באמצעות שילוב מחדש של רעיונות מוכרים בדרך שימושית, ולאחר מכן מתמטיקאים אנושיים ניקו והרחיבו את העבודה.

תוכנה, מחקר מדעי, עבודה משפטית ועבודה רפואית מתמודדים כולם עם לחץ דומה, כי AI יכולה לייצר פלטים במהירות בעוד האימות נשאר יקר ובעל השלכות.