Математические заявления OpenAI выявляют узкое место проверки ИИ

В материале WIRED описывается растущий конфликт между передовыми AI-лабораториями и профессиональными математиками вокруг процесса. Представитель OpenAI Линдси Маккаллум сообщила WIRED, что 28 августа компания начала обучать новую внутреннюю модель и что, помимо «решения задачи тысячелетия Навье—Стокса», модель «решила более 100 давних открытых задач в большинстве областей математики».

Это чрезвычайное заявление, и оно сделано в хрупком контексте. Задача Навье—Стокса — одна из задач тысячелетия, класса проблем, решение которых обычно требует длительной проверки экспертами. Мы разбирали ставки проверки вокруг этого заявления в материале Заявление OpenAI о доказательстве для Навье—Стокса: заглавный результат важен, но путь от «модель выдала аргумент» до «область принимает теорему» — самая сложная часть.

WIRED также сообщал, что OpenAI говорила людям о планах опубликовать сотни решений нерешенных задач на GitHub. Маккаллум заявила WIRED, что компания «работает над ответственным выпуском» следующих математических результатов и опирается на советы и публичные рекомендации Advisory Group on Mathematics and Artificial Intelligence при Institute for Advanced Study. Она также сказала, что OpenAI не установила срок публикации.

Это различие важно. Публикация на GitHub полезна для программного обеспечения. Но она не становится автоматически правильной единицей для передовой математики. Математики могут читать код, формальные доказательства, наброски и статьи, но каждый формат отвечает на свой вопрос. Работает ли аргумент? Кому принадлежала ключевая идея? На какие предыдущие работы он опирается? Какие части новые, а какие являются рекомбинациями? На что должны ссылаться другие исследователи?

Брина Кра, математик из Northwestern University, присутствовавшая на августовской встрече, рассказала WIRED, что участники попросили OpenAI не публиковать результаты только в блог-посте или твите, а писать статьи, которые математики смогут «усвоить, осмыслить и использовать». Кра сказала WIRED: «Судя по всему, этот отзыв проигнорировали».

Самый ясный технический пример в исходных материалах — не спорная пачка из сотен результатов. Это более ранний результат OpenAI о единичных расстояниях.

Задача Эрдёша о единичных расстояниях, грубо говоря, спрашивает, сколько пар точек на плоскости могут находиться ровно на расстоянии одной единицы друг от друга. Пауль Эрдёш предположил, что наилучшая возможная конфигурация будет расти лишь едва быстрее числа точек. По данным Ars Technica, модель OpenAI доказала, что он ошибался, построив более сложную конфигурацию точек, чем традиционные подходы на основе решетки.

Ars описывает метод как умную рекомбинацию известных математических идей. Модель использовала многомерную решетку, спроецировала ее в два измерения и применила алгебраические целые числа, чтобы создать более богатую структуру. По оценке Ars, результат не ввел по-настоящему новых методов. Позже математики-люди очистили и расширили эту работу.

Эта комбинация важна: достаточно автономно, чтобы иметь значение, но без магии. Система ИИ нашла доказательство, которое решило крупную открытую гипотезу, однако результату все равно потребовались человеческая интерпретация, упрощение, расширение и размещение в литературе.

Это наиболее реалистичная краткосрочная картина применения ИИ в исследованиях: модели широко ищут, связывают подотрасли и перебирают стратегии доказательства, которые были бы утомительны для людей; люди решают, какие вопросы важны, исправляют изложение, проверяют работу и строят следующий слой. Такое разделение может не сохраниться навсегда, но текущие свидетельства в приведенных публикациях больше поддерживают гибридный сценарий, чем сценарий чистой замены.

Это также похоже на то, что инженеры видят в программных агентах. Самые сложные производственные вопросы — не только «может ли модель выдать ответ?». Это «можем ли мы его оценить, воспроизвести, атрибутировать и безопасно позволить ему действовать?». Поэтому проектирование оценки стало центральным — от небольших golden sets до метрик повторных запусков, таких как pass@k; если вам нужна инженерная версия, начните с оценки LLM.

Реакция, о которой сообщает WIRED, не является анти-ИИ в простом смысле. Несколько математиков, процитированных в материале, похоже, воодушевлены более сильными инструментами. Их тревожат институциональная власть и научный процесс.

WIRED пишет, что некоторые ученые считают: математика стала полигоном для OpenAI и Anthropic, пока компании соревнуются в демонстрации возможностей моделей. Нестор Гильен, приглашенный профессор математики в New York University, сказал WIRED, что среди математиков по отношению к AI-компаниям существует «восприятие мафиозного поведения». Маккаллум из OpenAI ответила: «Мы не согласны с такой характеристикой».

Самый серьезный спор, описанный WIRED, связан с Тристаном Бакмастером, профессором New York University, и Левентом Альпёге, сотрудником Anthropic. WIRED сообщает, что в сентябре OpenAI развернула тысячи агентов для работы над задачей тысячелетия, услышав «слухи» о том, что другие близки к решению. Бакмастер обвинил OpenAI в опережающем использовании работы, которую он выполнил вместе с Альпёге, — работы, которую они еще не опубликовали, но разрабатывали с помощью инструментов OpenAI.

Исследователь OpenAI Себастьян Бубек отрицал, что просил исключить Альпёге из числа авторов, согласно изложению его ответа в WIRED. Тем не менее этот эпизод показывает, почему атрибуция становится сложной, когда исследователи используют проприетарные инструменты, лаборатории могут наблюдать некоторую активность пользователей, а внутренние модели можно в большом масштабе направлять на смежные задачи.

Сообщество уже реагирует. WIRED упоминает Hexagon, репозиторий преимущественно созданных ИИ математических материалов, и Palomar, реестр машинно проверенной математики. Также приводится Leiden declaration — призыв, подписанный более чем 4 000 математиками, которые просят AI-компании соответствовать стандартам математиков.

Направление ясно: если математика, созданная ИИ, станет изобильной, математике понадобится новая инфраструктура для происхождения, рецензирования и проверки. GitHub может быть частью этого. Но он не может быть всем процессом.

Доказательство принимают не потому, что его выдала мощная модель. Его принимают потому, что сообщество может его проверить.

Этот социальный слой легко недооценить со стороны. Математика часто выглядит как чистая логика: доказательство либо корректно, либо нет. На практике доказательство также должно быть читаемым, контекстуализированным и связанным с существующими работами. Области нужно понимать, какие леммы выполняют основную работу, какие предположения скрыты, каких ссылок не хватает и какие утверждения достаточно сильны, чтобы их можно было переиспользовать.

ИИ создает нагрузку на эту систему, меняя объем. Одно сложное доказательство — это вызов. Сотни заявленных решений — это проблема очереди. Если каждый результат может оценить лишь небольшое число экспертов, выпуск большой пачки способен создать завал, который с точки зрения лаборатории выглядит как прогресс, а с точки зрения области — как обломки.

Для создателей ИИ здесь полезна такая аналогия: возможности без пропускной способности проверки создают операционный риск. Агент для кодинга, который открывает 200 pull requests, может быть менее полезен, чем тот, который открывает пять пригодных для проверки. Исследовательскому агенту, который производит тысячи кандидатных утверждений, нужен триаж. Бизнес-агенту, который выполняет действия в разных инструментах, нужны точки одобрения, журналы аудита и пути отката. Та же закономерность видна в human-in-the-loop approvals и в долгосрочной работе агентов, где контекст, состояние и надзор важнее одного впечатляющего ответа.

Математический спор — это предварительный взгляд на то, что происходит, когда генерация становится дешевле оценки.

Математика — ранний стресс-тест, потому что у нее необычные свойства. Задачи можно формулировать строго. Доказательства иногда можно проверять формально. Престиж связан с решением именованных открытых вопросов. А у сообщества сильные нормы приоритета, атрибуции и публикации.

Другие области столкнутся с версией того же давления там, где выполняются три условия:

Программное обеспечение уже там. Код можно генерировать быстро, но корректность, безопасность, сопровождаемость и право собственности все еще требуют проверки. Научная литература близка к этому: ИИ может предлагать гипотезы или анализы быстрее, чем лаборатории успевают их тестировать. Юридическая и медицинская работа более ограничены, но в них есть та же асимметрия между гладким результатом и затратной проверкой.

Урок не в том, чтобы по умолчанию замедлить каждую модель. Он в том, чтобы проектировать институты и системы вокруг узкого места. Если модель может создать 1 000 правдоподобных артефактов, продуктовый вопрос становится таким: какие 10 должен увидеть человек, в каком порядке, с какими доказательствами и при каких ограничениях?

Это также центр проектирования практических агентных систем. Многоагентным рабочим процессам нужны маршрутизация, память, инструменты и пути эскалации, но им также нужны границы: что может выполняться автоматически, что требует проверки и что логируется для последующего анализа. Если вы строите в этом направлении, инженерные задачи пересекаются скорее с оркестрацией многоагентных систем, чем с хитроумностью prompt.

Публикации указывают на короткий список норм, которые снизили бы напряжение.

Во-первых, публиковать статьи, а не только объявления. Блог-посты могут объяснять результаты, но они не должны заменять научный объект, когда заявляется теорема.

Во-вторых, отделять демонстрации возможностей от научных утверждений. «Наша модель выдала это доказательство» и «сообщество принимает этот результат» — разные заявления. Их разделение защищает и лабораторию, и область.

В-третьих, раскрывать происхождение. Если AI-инструменты использовались внешними математиками, если лаборатория имела доступ к пользовательским взаимодействиям или если внутренние агенты были развернуты после слухов о конкурирующей работе, история атрибуции требует большего, чем сноска.

В-четвертых, использовать реестры и инфраструктуру проверки. WIRED сообщает, что математики призывали OpenAI применять такие инструменты, как Hexagon и Palomar. Если этих инструментов недостаточно, лаборатории должны помогать улучшать процесс, а не обходить его.

В-пятых, выпускать результаты в темпе, пригодном для человеческой проверки. Свалка из сотен результатов может максимизировать зрелищность. Она не максимизирует понимание.

Кризис идентичности, если он есть, не в том, что математики больше не важны. Он в том, что профессии, возможно, придется заново определить свою дефицитную работу. Умение задавать хорошие вопросы, устанавливать стандарты, проверять результаты, распределять заслуги и превращать отдельные доказательства в пригодную к использованию теорию становится еще важнее, когда машины могут производить больше кандидатных ответов.

Этот сдвиг неприятен. Но он также знаком. Каждая зрелая область развивает фильтры, когда производство дешевеет. ИИ заставляет математику строить эти фильтры публично.

Чтобы получать больше понятных новостей об ИИ и практических руководств, подпишитесь на рассылку NeuraLIA Labs.

• Центральный вопрос не только в том, может ли ИИ решать сложные математические задачи, а в том, способно ли математическое сообщество проверять и усваивать результаты с той же скоростью.
• По сообщениям, OpenAI заявила о крупном прогрессе в давних задачах, включая Навье—Стокса и более 100 других открытых вопросов, но признание зависит от экспертной проверки.
• Результат о единичных расстояниях Эрдёша показывает вероятный краткосрочный сценарий: AI-системы могут находить важные доказательства, а люди по-прежнему упрощают, контекстуализируют и расширяют их.
• Опасения математиков сосредоточены на процессе, происхождении, атрибуции, нормах публикации и риске перегрузить системы рецензирования.
• То же узкое место между генерацией и проверкой появляется в программном обеспечении, науке, праве, медицине и агентных AI-рабочих процессах.

Это разрыв между тем, как быстро AI-системы могут генерировать правдоподобные доказательства или утверждения, и тем, как медленно эксперты могут их проверять, контекстуализировать, атрибутировать и переиспользовать.

По сообщениям, OpenAI заявила, что внутренняя модель решила задачу тысячелетия Навье—Стокса, но статья подчеркивает: прежде чем такое заявление будет принято, нужна проверка сообществом.

Их опасения включают стандарты публикации, авторство, происхождение, споры о приоритете и вероятность того, что большие пачки созданных ИИ результатов могут перегрузить экспертную проверку.

Согласно обсуждаемым публикациям, модель OpenAI опровергла гипотезу Эрдёша о единичных расстояниях, полезно рекомбинировав известные идеи, после чего математики-люди очистили и расширили работу.

Программное обеспечение, научные исследования, юридическая и медицинская работа сталкиваются с похожим давлением, потому что ИИ может быстро производить результаты, а валидация остается дорогой и значимой.