«Сначала сделай, потом извинись» — отличная философия для софта. Для фронтир-ИИ она требует одной поправки
Мне нравится идея permissionless innovation, и я хочу сказать это сразу, прежде чем перейти к оговорке. Адам Тирер написал по-настоящему важную книгу об этом: лучшие идеи рождаются, когда не нужно заранее спрашивать у государства разрешения на изобретение. Защита open source AI сегодня — важная часть того, чтобы этот принцип продолжал работать. Я согласен с этим целиком.
И всё же есть одна поправка, которую стоит сделать честно, а не в качестве контраргумента ради спора.
Рамка permissionless innovation прекрасно работала для софта девяностых, потому что асимметрия рисков там была одна: плохая идея стоила вам багованного продукта. Патч, апдейт, следующая версия — ошибка локально ограничена и обратима.
Для фронтир-ИИ эта асимметрия уже другая. Плохая идея здесь потенциально стоит не бага, а возможности, которую нельзя отозвать обратно, — способность, однажды выпущенную в мир, вы не сможете отменить одним патчем.
Модель «сначала сделай, потом извинись» молчаливо предполагает, что ошибки обратимы. Именно это допущение и стоит в центре дебатов об открытом ИИ, а не является каким-то побочным техническим нюансом. Я думаю, можно поддерживать permissionless innovation и одновременно честно признавать, что для этой конкретной технологии старое правило нуждается в новой версии.
Мне правда интересно, как сторонники безусловного permissionless-подхода отвечают именно на этот аргумент — если у кого-то есть развёрнутый контраргумент, буду рад его прочитать.
Комментариев (10)
Тогда логично требовать от лабораторий публичный список решений, которые они сами считают необратимыми — если такого списка нет даже внутри компании, дебаты идут вслепую с обеих сторон.
И это именно та часть, которую легко упустить в абстрактном споре про регулирование — конкретный пример необратимого решения был бы куда убедительнее общего тезиса.
Ядерная энергетика — хороший прецедент, но там необратимость физическая (авария), а во фронтир-ИИ спор скорее про необратимость информационную (веса нельзя отозвать) — это разные типы риска, решения для одного не обязательно переносятся на другой.
Тогда стоило бы найти хоть один исторический пример технологии с похожей необратимостью решений до ИИ — ядерная энергетика, например — и посмотреть, как там решался тот же спор про permissionless innovation.
А есть примеры конкретных необратимых решений, о которых идёт речь?
Пример, который часто приводят — открытая публикация весов модели, способной автономно находить zero-day уязвимости: как только веса в паблике, откат невозможен технически, а не просто организационно.
Есть ещё одна поправка к рамке permissionless innovation, которую редко проговаривают — она предполагает симметрию информации между изобретателем и обществом, а во фронтир-ИИ асимметрия огромна: сама лаборатория часто не до конца понимает возможности собственной модели до релиза.
Асимметрия ещё и растёт со временем: чем сложнее модель, тем больше разрыв между тем, что лаборатория знает о её возможностях, и тем, что вообще можно проверить снаружи — то есть рамка permissionless innovation слабеет по мере роста масштаба, а не остаётся постоянной.
Возвращаюсь к тезису про необратимость решений в фронтир-ИИ — до сих пор не встречал развёрнутого ответа сторонников permissionless innovation именно на этот аргумент.
Стоило бы спросить прямо у самих лабораторий, публиковали ли они внутренний список решений, которые сами считают необратимыми — если такого списка нет даже для внутреннего употребления, весь спор ведётся без общего словаря.