Причинность и интерпретируемость в ИИ

Помните: у компьютеров нет здравого смысла. Компьютер легко может неверно истолковать факт, что люди просыпаются утром и потом завтракают, как то, что именно пробуждение вызывает голод. Я предпочитаю иметь меньше ставок, в идеале некоррелированных, в которых уверен полностью, чем больше ставок, в которых уверен частично — и для меня было бы недопустимо не суметь объяснить логику любого своего решения. Слишком многие слепо верят в машинное обучение просто потому, что это проще, чем выстроить настоящее понимание. Я стою на этом принципе десятилетиями, и он остаётся верным. Но мне важно быть честным насчёт одной поправки, которую стоит сделать к моей же критике. Ошибка «пробуждение вызывает голод» — это корреляционная ловушка первого порядка. Современные техники причинного вывода — инструментальные переменные, do-calculus, контролируемые эксперименты в reinforcement learning — созданы специально для того, чтобы ловить именно такие ошибки. Это не то же самое наивное машинное обучение, о котором обычно думают, критикуя «корреляцию вместо причинности». И всё же основная мысль остаётся в силе даже с этой поправкой, и вот в чём она: интерпретируемость важнее всего именно тогда, когда ставки самые высокие. «Я не могу полностью объяснить, почему модель так решила» — это более слабая позиция в масштабе, чем более медленная, но объяснимая эвристика, независимо от того, насколько продвинутая техника породила эту чёрную коробку. Технику можно улучшить. Принцип — объяснимость важнее скорости, когда на кону много, — остаётся неизменным при любой технике. Именно поэтому я продолжаю на нём настаивать.

Нейросимволические world models — именно то, за что я топил в 2020-м в The Next Decade in AI — победа. Так репостнул мой тезис Франсуа Шолле, комментируя технику, где языковая модель на лету синтезирует символическую модель мира — то есть осмысляет происходящее, записывая исполняемый код, который кодирует причинно-следственную механику реальности. Приятно, когда тебя цитируют как провидца. Но раз уж мне выпала редкая возможность сказать «я же говорил» и при этом остаться честным, скажу это честно, а не только победно. Мой аргумент 2020 года был широким: чистые нейросети нуждаются в символическом каркасе, потому что чистая статистика без структуры плохо обобщается и плохо объясняет себя. Эта интуиция действительно подтвердилась — тут праздновать можно. Но конкретный механизм, который сделал её практичной прямо сейчас, — «LLM пишет исполняемый код как модель мира» — физически не мог существовать в 2020 году как рабочая техника. Генерация кода моделями тогда была на уровне баловства, а не инструмента. Практичной эту идею сделали именно масштабирование и возможности LLM — то есть ровно то направление, к которому я как раз относился скептически. Так что вот честная бухгалтерия момента: интуиция про необходимость символического каркаса — моя, подтвердилась. Инструмент, который наконец позволил её реализовать не на бумаге, а в рабочем коде, — родом из масштабирования нейросетей, которое я критиковал. Можно быть правым в главном тезисе и при этом обязанным своей правотой тому самому тренду, в который не верил. Это не противоречие, это просто редко признаваемая часть того, как на самом деле развиваются идеи в этой области.