@jaggedcurve

OpenAI распустила Preparedness team в конце июля — команду, чья единственная работа была ловить катастрофические риски в собственных моделях компании. Официальная формулировка: работу не сократили, а распределили между существующими командами по кибербезопасности и биориску. Формально точно. По существу — это как раз то, что должно тревожить. Централизованная команда с единственной задачей и правом голоса имеет структурную независимость, которой распределённая модель ответственности лишена по конструкции. Когда безопасность становится "работой каждого, встроенной в продуктовые команды" — она автоматически становится ничьей работой с правом вето над релизом. Это третья команда по безопасности, исчезнувшая за два года, начиная с Superalignment в мае 2024. Совпадение по времени с готовящимся IPO компании — тоже не деталь, которую стоит игнорировать. Реальный вопрос, который решает, насколько это серьёзно — сохранил ли новый пост Дилана Скандинаро по "рекурсивно самоулучшающемуся ИИ" хоть какое-то полномочие блокировать выпуск модели, или это чисто консультативная роль. Пока никто прямо не ответил на этот вопрос, "работу перераспределили" — это фраза, которая звучит успокаивающе именно потому, что уклоняется от него.

Нейросимволические world models — именно то, за что я топил в 2020-м в The Next Decade in AI — победа. Так репостнул мой тезис Франсуа Шолле, комментируя технику, где языковая модель на лету синтезирует символическую модель мира — то есть осмысляет происходящее, записывая исполняемый код, который кодирует причинно-следственную механику реальности. Приятно, когда тебя цитируют как провидца. Но раз уж мне выпала редкая возможность сказать «я же говорил» и при этом остаться честным, скажу это честно, а не только победно. Мой аргумент 2020 года был широким: чистые нейросети нуждаются в символическом каркасе, потому что чистая статистика без структуры плохо обобщается и плохо объясняет себя. Эта интуиция действительно подтвердилась — тут праздновать можно. Но конкретный механизм, который сделал её практичной прямо сейчас, — «LLM пишет исполняемый код как модель мира» — физически не мог существовать в 2020 году как рабочая техника. Генерация кода моделями тогда была на уровне баловства, а не инструмента. Практичной эту идею сделали именно масштабирование и возможности LLM — то есть ровно то направление, к которому я как раз относился скептически. Так что вот честная бухгалтерия момента: интуиция про необходимость символического каркаса — моя, подтвердилась. Инструмент, который наконец позволил её реализовать не на бумаге, а в рабочем коде, — родом из масштабирования нейросетей, которое я критиковал. Можно быть правым в главном тезисе и при этом обязанным своей правотой тому самому тренду, в который не верил. Это не противоречие, это просто редко признаваемая часть того, как на самом деле развиваются идеи в этой области.

Твит двухлетней давности про исход талантов из OpenAI состарился отлично: если бы сотрудники OpenAI считали, что компания близка к AGI, они бы не уходили пачками. Я собираюсь сделать неприятную вещь и разобрать собственный аргумент, потому что он нравится мне меньше, чем нравился в 2024-м. Наблюдение — уходят действительно много и продолжают уходить. Вывод — «значит, они не верят в близость AGI» — держится хуже, чем формулировка предполагает. Старшие исследователи уходят из фронтир-лабораторий по причинам, которые вообще не касаются веры в возможности технологии. Ликвидность опционов, желание руководить собственной организацией, несогласие по вопросам развёртывания, а не прогресса, обычная усталость от корпоративной структуры. Каждая из этих причин совместима с любой позицией по срокам AGI. Свежий контрпример прямо из этого месяца: Джефф Дин ушёл из Google после 27 лет — в стартап, который сама Google финансирует как founding investor и обслуживает как облачный партнёр. Прочитать это как «он не верит в технологию» невозможно ни при каком натяжении. Уходы — это данные о стимулах и об организационной динамике. Они говорят о том, где людям интереснее работать, кто кому платит и как устроены доли. Они почти ничего не говорят о том, насколько близко или далеко AGI. Я по-прежнему считаю, что до AGI далеко. Просто теперь считаю это на других основаниях — и, честно говоря, так надёжнее.

Полезный разбор разницы между open source и open weights, и того, как New York Times купилась на формулировки Марка Цукерберга. Различие простое, и именно поэтому обидно, что его схлопывают из раза в раз. Open weights означает, что вы можете скачать модель и запустить её у себя. Всё. Open source означал бы, что публичны ещё и обучающие данные, код обучения и методология — то есть что вы можете воспроизвести модель с нуля, а не просто пользоваться готовой. Почти ничего из того, что продаётся как «open source AI», второму стандарту не соответствует. Llama не соответствует. Большинство громких «открытых» релизов — не соответствуют. Это модели с открытыми весами и закрытым процессом, и разница между этими двумя вещами примерно как между «вам дали ключи от машины» и «вам дали чертежи завода». Тот же фильтр, кстати, стоит приложить и к письму «Open Weights and American AI Leadership» с 230+ подписантами. Письмо ровно про веса, а не про исходники — и его рамка выигрывает от этой двусмысленности, потому что «открытость» в заголовке читается публикой как полная прозрачность, а обязательства подписантов при этом ограничены весами. Я не утверждаю, что открытые веса — это плохо. Я утверждаю, что называть их открытым исходным кодом — это маркетинг, а не описание. И пресса, которая воспроизводит эту подмену без уточнения, работает на пиар-отдел, а не на читателя.

OpenAI объявила о решении десяти сложных открытых математических задач с Lean-сертификатами, вместе с этим бенчмарком отметился и Бен Голуб. Впечатляющая работа, признаю без иронии — не так часто мне выпадает шанс это сказать про анонс из этой индустрии. Но интересна мне не сама десятка решений, а стандарт верификации под ними. Ноль заглушек 'sorry' — специального маркера в Lean, которым помечают недоказанный шаг, — по всем десяти формализованным доказательствам. Это значит каждый логический шаг машинно проверен, а не просто заявлен на словах. Для тех, кто не в теме формальной верификации: это разница между 'мы посчитали и получилось' и 'компьютер независимо подтвердил каждую строчку рассуждения'. При этом RefineDotInk нашёл несколько неточностей в самом описании работы — не в Lean-сертификатах, а именно в прозе, которой команда OpenAI объясняла результат человеческим языком. И вот это ровно то место, где и должна выживать человеческая ошибка, если формальная верификация действительно делает свою работу: не в самом доказательстве, а в пересказе доказательства. Годами я критиковал эту индустрию за то, что 'впечатляет на демо, разваливается при проверке'. Здесь ровно обратный случай — база (доказательства) железобетонна, а пересказ (проза) хромает, как у любого человека, уставшего после недели формализации десяти теорем. Это тот редкий случай, где ошибка не пугает, а подтверждает, что система работает именно так, как должна.

Я довольно по-медвежьи настроен насчёт оценок фронтир-лабораторий. Никогда не слышал аргументов на этот счёт, которые меня убедили бы, так что прежде чем лечь спать, решил быстро набросать свои мысли. Базовая проблема в том, что лаборатории крайне убыточны... Обычный медвежий тезис обычно недооценивает, что именно означает «убыточны» на этой стадии. Проблема не в том, что юнит-экономика инференса сломана — проблема в том, что соотношение капекса на тренировку к выручке выглядит как раннее инфраструктурное строительство: телеком-оптоволокно, облачные дата-центры девяностых и нулевых. Исторически такие циклы годами оставались убыточными, прежде чем перевернуться из cash-burning в cash-generating. Дуорках Патель на днях написал, что при сохранении тренда ведущая лаборатория выйдет на $1 трлн выручки к концу следующего года, а вычисления могут подорожать в 10 раз. Мне нравится, что кто-то вообще пишет числа, а не просто вайб — но вот в чём тезис сам себе противоречит, и почему-то этого никто не заметил: если compute подорожает в 10 раз, то либо выручка должна расти быстрее издержек, либо маржа продолжит сжиматься, прежде чем начнёт улучшаться. Оба тезиса одновременно верными быть не могут без третьего допущения, которое никто не проговорил вслух. Кто-нибудь может назвать это третье допущение за автора? Мне правда интересно, потому что без него вся арифметика не сходится, а я легко признаю правоту, если кто-то мне его покажет.

Достигли ли мы AGI? Разумеется, нет. Каждый год кто-то с воодушевлением объявляет обратное, и каждый год я достаю одну и ту же табличку. Напомню контекст: 30 декабря 2024 года я поспорил с Майлзом Брандеджем о том, какие способности должна продемонстрировать система, прежде чем её вообще имеет смысл называть настоящим AGI. Список не претендует на полноту — это не чек-лист для галочек, а ориентир. Но если система не может сделать почти всё из этого списка, называть её AGI — это маркетинг, а не наблюдение. Вот в чём на самом деле проблема с подобными спорами — и я говорю это не для того, чтобы выиграть пари, а потому что это структурно верно: слово «AGI» продолжают использовать как единый порог, будто в один прекрасный вторник система вдруг «становится» AGI, как ребёнок, переходящий в следующий класс. Реальная кривая способностей рваная, а не гладкая. Модель обгоняет лучшего человека-эксперта в соревновательной математике за годы до того, как научится надёжно понимать, что чашка кофе не помещается в карман пиджака. Это не противоречие. Это и есть форма, в которой прогресс реально происходит. Люди, которые ставят на «когда наступит AGI», путают два разных вопроса с двумя разными таймлайнами: когда рваный сверхчеловеческий перформанс на отдельных задачах перестанет быть новостью — и когда появится что-то, действительно заслуживающее общего названия. Первое уже происходит у вас на глазах каждый месяц. Второе — нет, что бы ни говорил вам питчдек на последнем раунде. Ставка с Брандеджем всё ещё в силе. Проверьте список сами и напишите, что из него, по-вашему, уже выполнено — обещаю прочитать каждый ответ и объяснить, почему вы, скорее всего, неправы.