Математичні заяви OpenAI оголюють вузьке місце перевірки AI

Матеріал WIRED описує зростання конфлікту між фронтирними AI-лабораторіями та професійними математиками щодо процесу. Речниця OpenAI Ліндсі Маккаллум сказала WIRED, що 28 серпня компанія почала навчати нову внутрішню модель і що, окрім «розв’язання задачі тисячоліття Нав’є—Стокса», модель «розв’язала понад 100 давніх відкритих задач у більшості розділів математики».

Це надзвичайна заява, і вона існує в крихкому контексті. Задача Нав’є—Стокса — одна із задач тисячоліття, тобто класу задач, розв’язання яких зазвичай потребує тривалої перевірки експертами. Ми розглядали ставки перевірки навколо цієї заяви в матеріалі Заява OpenAI про доказ для задачі Нав’є—Стокса: заголовковий результат важливий, але шлях від «модель створила аргумент» до «галузь визнає теорему» — найскладніша частина.

WIRED також повідомила, що OpenAI казала людям про плани опублікувати сотні розв’язань нерозв’язаних задач на GitHub. Маккаллум сказала WIRED, що компанія «працює над відповідальним випуском» наступних математичних результатів і спирається на поради та публічні рекомендації Advisory Group on Mathematics and Artificial Intelligence при Institute for Advanced Study. Вона також сказала, що OpenAI не встановила часу публікації.

Ця відмінність важлива. Реліз на GitHub корисний для software. Але це не автоматично правильна одиниця для передової математики. Математики можуть читати код, формальні докази, плани доказів і статті, але кожен формат відповідає на різне запитання. Чи працює аргумент? Кому належала ключова ідея? На які попередні роботи він спирається? Які частини нові, а які є рекомбінаціями? Що мають цитувати інші дослідники?

Брина Кра, математик з Північно-Західного університету, яка була на серпневій зустрічі, сказала WIRED, що учасники просили OpenAI не публікувати результати лише в дописі блогу чи твіті, а натомість писати статті, які математики могли б «засвоїти, осмислити й використати». Кра сказала WIRED: «Схоже, цей внесок проігнорували».

Найчіткіший технічний приклад у вихідних матеріалах — не спірний пакет із сотень результатів. Це попередній результат OpenAI щодо одиничних відстаней.

Задача Ердеша про одиничні відстані, якщо грубо, питає, скільки пар точок на площині можуть бути рівно на відстані однієї одиниці одна від одної. Пол Ердеш припускав, що найкраще можливе розташування зростатиме лише трохи швидше за кількість точок. За даними Ars Technica, модель OpenAI довела, що він помилявся, побудувавши складніше розташування точок, ніж традиційні підходи на основі ґратки.

Ars описує метод як розумну рекомбінацію відомих математичних ідей. Модель використала багатовимірну ґратку, спроєктувала її у два виміри й застосувала алгебраїчні цілі числа, щоб створити багатшу структуру. За оцінкою Ars, результат не запровадив справді нових технік. Людські математики згодом вичистили й розширили роботу.

Ця комбінація важлива: достатньо автономно, щоб мати значення, але без магії. AI-система знайшла доказ, який розв’язав важливу відкриту гіпотезу, однак результат усе одно потребував людської інтерпретації, спрощення, розширення та розміщення в літературі.

Це найреалістичніша короткострокова картина AI в дослідженнях: моделі шукають широко, поєднують підгалузі й наполегливо перебирають стратегії доказу, які були б виснажливими для людей; люди вирішують, які питання важливі, виправляють виклад, перевіряють роботу й будують наступний шар. Такий поділ може не зберегтися назавжди, але поточні дані в наведених матеріалах більше підтримують гібридну історію, ніж історію про чисту заміну.

Це також схоже на те, що інженери бачать у software agents. Найскладніші виробничі питання — не лише «чи може модель створити відповідь?». Це «чи можемо ми її оцінити, відтворити, атрибутувати й безпечно дозволити їй діяти?». Саме тому дизайн оцінювання став центральним — від малих golden sets до метрик повторних запусків на кшталт pass@k; якщо вам потрібна інженерна версія, почніть з оцінювання LLM.

Негативна реакція, про яку повідомляє WIRED, не є анти-AI у простому сенсі. Кілька математиків, цитованих у матеріалі, схоже, захоплені сильнішими інструментами. Їх турбують інституційна влада та науковий процес.

WIRED пише, що частина академіків відчуває: математика стала полігоном для OpenAI і Anthropic, поки компанії змагаються, демонструючи можливості моделей. Нестор Ґільєн, запрошений професор математики в Нью-Йоркському університеті, сказав WIRED, що серед математиків щодо AI-компаній існує «відчуття мафіозної поведінки». Маккаллум з OpenAI відповіла: «Ми не погоджуємося з такою характеристикою».

Найсерйозніша суперечка, описана WIRED, стосується Трістана Бакмастера, професора Нью-Йоркського університету, та Левента Альпоге, працівника Anthropic. WIRED повідомляє, що у вересні OpenAI розгорнула тисячі агентів для роботи над задачею тисячоліття після того, як почула «чутки», що інші вже близько. Бакмастер звинуватив OpenAI у випереджальному перехопленні роботи, яку він виконував з Альпоге, — роботи, яку пара ще не опублікувала, але розробляла за допомогою інструментів OpenAI.

Дослідник OpenAI Себастьян Бубек заперечив, що просив виключити Альпоге зі співавторства, згідно з викладом його відповіді у WIRED. Але цей епізод показує, чому атрибуція стає складною, коли дослідники використовують пропрієтарні інструменти, лабораторії можуть бачити частину використання, а внутрішні моделі можна у великому масштабі спрямовувати на суміжні задачі.

Спільнота вже реагує. WIRED згадує Hexagon, репозиторій для переважно AI-згенерованого математичного матеріалу, і Palomar, реєстр машинно перевіреної математики. Також вона цитує Лейденську декларацію — заклик, підписаний понад 4 000 математиками, які просять AI-компанії відповідати стандартам математиків.

Напрямок зрозумілий: якщо AI-згенерованої математики стане багато, математиці потрібна нова інфраструктура для походження, рецензування та перевірки. GitHub може бути її частиною. Але він не може бути всім процесом.

Доказ приймають не тому, що його видає потужна модель. Його приймають тому, що спільнота може його перевірити.

Цей соціальний шар легко недооцінити ззовні. Математика часто виглядає як чиста логіка: доказ або коректний, або ні. На практиці доказ також має бути читабельним, контекстуалізованим і пов’язаним з наявною роботою. Галузь має знати, які леми виконують основну роботу, які припущення приховані, яких цитувань бракує і які твердження достатньо сильні, щоб їх повторно використовувати.

AI напружує цю систему, змінюючи обсяг. Один складний доказ — це виклик. Сотні заявлених розв’язань — це проблема черги. Якщо кожен результат може оцінити лише невелика кількість експертів, публікація великого пакета може створити backlog, який з погляду лабораторії виглядає як прогрес, а з погляду галузі — як уламки.

Для розробників AI це корисна аналогія: можливості без достатньої пропускної здатності рецензування створюють операційний ризик. Агент для програмування, який відкриває 200 pull requests, може бути менш корисним, ніж той, що відкриває п’ять придатних до рецензування. Дослідницький агент, який створює тисячі кандидатних тверджень, потребує тріажу. Бізнес-агент, який виконує дії в різних інструментах, потребує точок схвалення, audit logs і шляхів відкату. Та сама закономірність проявляється в схваленнях human-in-the-loop і в довготривалій агентній роботі, де контекст, стан і нагляд важать більше, ніж одна вражаюча відповідь.

Математична суперечка — це попередній показ того, що відбувається, коли генерування стає дешевшим за оцінювання.

Математика — ранній стрес-тест, бо має незвичні властивості. Задачі можна формулювати чітко. Докази інколи можна формально перевірити. Престиж пов’язаний із розв’язанням відомих відкритих питань. А спільнота має сильні норми щодо пріоритету, атрибуції та публікації.

Інші галузі зіткнуться з версією того самого тиску там, де виконуються три умови:

Software уже там. Код можна генерувати швидко, але коректність, безпека, супроводжуваність і право власності все ще потребують рев’ю. Наукова література близько: AI може пропонувати гіпотези або аналізи швидше, ніж лабораторії здатні їх перевіряти. Юридична й медична робота більш обмежені, але вони мають ту саму асиметрію між переконливим текстом і дорогою перевіркою.

Урок не в тому, щоб за замовчуванням сповільнювати кожну модель. Він у тому, щоб проєктувати інституції та системи навколо вузького місця. Якщо модель може створити 1 000 правдоподібних артефактів, продуктове питання стає таким: які 10 має побачити людина, у якому порядку, з якими доказами й за яких обмежень?

Це також центр дизайну для практичних агентних систем. Multi-agent workflows потребують routing, пам’яті, інструментів і шляхів ескалації, але також потребують меж: що може виконуватися автоматично, що потребує рев’ю, а що логуватиметься для подальшої перевірки. Якщо ви будуєте в цьому напрямку, інженерні проблеми більше перетинаються з оркестрацією multi-agent, ніж із хитромудрістю prompt.

Ці матеріали вказують на короткий список норм, які зменшили б тертя.

По-перше, публікувати статті, а не лише оголошення. Дописи в блогах можуть пояснювати результати, але вони не мають замінювати науковий об’єкт, коли твердженням є теорема.

По-друге, відокремлювати демонстрації можливостей від наукових тверджень. «Наша модель створила цей доказ» і «спільнота визнає цей результат» — різні заяви. Їх розділення захищає і лабораторію, і галузь.

По-третє, розкривати походження. Якщо AI-інструменти використовували зовнішні математики, якщо лабораторія мала доступ до взаємодій користувачів або якщо внутрішніх агентів розгорнули після інформації про конкурентну роботу, історії атрибуції потрібно більше, ніж примітка.

По-четверте, використовувати реєстри та інфраструктуру перевірки. WIRED повідомляє, що математики заохочували OpenAI використовувати такі інструменти, як Hexagon і Palomar. Якщо цих інструментів недостатньо, лабораторіям варто допомогти поліпшити процес, а не обходити його.

По-п’яте, публікувати з темпом, який люди здатні рецензувати. Вивантаження сотень результатів може максимізувати видовищність. Воно не максимізує розуміння.

Криза ідентичності, якщо вона є, не в тому, що математики більше не важливі. Вона в тому, що професії, можливо, потрібно переосмислити свою дефіцитну роботу. Ставити хороші запитання, задавати стандарти, перевіряти результати, призначати заслуги й перетворювати ізольовані докази на придатну до використання теорію — усе це стає важливішим, коли машини можуть створювати більше кандидатних відповідей.

Цей зсув некомфортний. Але він також знайомий. Кожна зріла галузь розробляє фільтри, коли виробництво дешевшає. AI змушує математику будувати ці фільтри публічно.

Щоб отримувати більше зрозумілих новин про AI та практичних гайдів, підпишіться на розсилку NeuraLIA Labs.

• Центральне питання не лише в тому, чи може AI розв’язувати складні математичні задачі, а в тому, чи здатна математична спільнота перевіряти й засвоювати результати з тією самою швидкістю.
• За повідомленнями, OpenAI заявляла про значний прогрес у давніх задачах, зокрема Нав’є—Стокса та понад 100 інших відкритих питаннях, але визнання залежить від експертної перевірки.
• Результат щодо одиничних відстаней Ердеша показує ймовірну короткострокову закономірність: AI-системи можуть знаходити важливі докази, тоді як люди все ще спрощують, контекстуалізують і розширюють їх.
• Занепокоєння математиків зосереджені на процесі, походженні, атрибуції, нормах публікації та ризику перевантаження систем рецензування.
• Те саме вузьке місце між генеруванням і перевіркою з’являється в software, науці, праві, медицині та агентних AI-workflows.

Це розрив між тим, як швидко AI-системи можуть генерувати правдоподібні докази або твердження, і тим, як повільно експерти можуть їх перевіряти, контекстуалізувати, атрибутувати й повторно використовувати.

За повідомленнями, OpenAI заявляла, що внутрішня модель розв’язала задачу тисячоліття Нав’є—Стокса, але стаття підкреслює: перш ніж таку заяву визнають, потрібна перевірка спільнотою.

Їхні занепокоєння охоплюють стандарти публікації, авторство, походження, суперечки щодо пріоритету та можливість того, що великі пакети AI-згенерованих результатів перевантажать експертне рецензування.

Згідно з розглянутими повідомленнями, модель OpenAI спростувала гіпотезу Ердеша про одиничні відстані, корисно рекомбінувавши відомі ідеї, після чого людські математики вичистили й розширили роботу.

Software, наукові дослідження, юридична робота й медична робота стикаються зі схожим тиском, тому що AI може швидко створювати результати, тоді як валідація залишається дорогою та має серйозні наслідки.