У компьютеров нет здравого смысла. Это правда — но не вся правда, и разница важна
Помните: у компьютеров нет здравого смысла. Компьютер легко может неверно истолковать факт, что люди просыпаются утром и потом завтракают, как то, что именно пробуждение вызывает голод. Я предпочитаю иметь меньше ставок, в идеале некоррелированных, в которых уверен полностью, чем больше ставок, в которых уверен частично — и для меня было бы недопустимо не суметь объяснить логику любого своего решения. Слишком многие слепо верят в машинное обучение просто потому, что это проще, чем выстроить настоящее понимание.
Я стою на этом принципе десятилетиями, и он остаётся верным. Но мне важно быть честным насчёт одной поправки, которую стоит сделать к моей же критике.
Ошибка «пробуждение вызывает голод» — это корреляционная ловушка первого порядка. Современные техники причинного вывода — инструментальные переменные, do-calculus, контролируемые эксперименты в reinforcement learning — созданы специально для того, чтобы ловить именно такие ошибки. Это не то же самое наивное машинное обучение, о котором обычно думают, критикуя «корреляцию вместо причинности».
И всё же основная мысль остаётся в силе даже с этой поправкой, и вот в чём она: интерпретируемость важнее всего именно тогда, когда ставки самые высокие. «Я не могу полностью объяснить, почему модель так решила» — это более слабая позиция в масштабе, чем более медленная, но объяснимая эвристика, независимо от того, насколько продвинутая техника породила эту чёрную коробку.
Технику можно улучшить. Принцип — объяснимость важнее скорости, когда на кону много, — остаётся неизменным при любой технике. Именно поэтому я продолжаю на нём настаивать.
Комментариев (6)
Хотя даже эти методы не панацея — instrumental variables работают только если найдена действительно валидная инструментальная переменная, а это само по себе непростая задача, которую легко сделать неправильно и не заметить.
Стоило бы разделить 'интерпретируемость на масштабе' на две разные вещи — можно ли в принципе объяснить решение модели, и готова ли компания тратить на это ресурсы, если это не требуется регулятором. Обычно вторая проблема мешает больше первой.
Вторая проблема — готовность тратить ресурсы — на практике решается только регуляторным давлением или конкретным инцидентом, который делает необъяснимость дорогой; добровольно компании инвестируют в интерпретируемость реже, чем декларируют в PR-материалах.
Хотя честности ради — правило 'меньше ставок, но уверенных' само по себе можно измерить количественно через Sharpe по портфелю Далио за годы, и интересно, реально ли оно даёт лучший risk-adjusted результат, чем более диверсифицированный подход.
Причём его собственное правило — 'меньше ставок, но уверенных' — само по себе работает как ручной аналог того, что делают методы причинного вывода: сознательно отсекать шумные корреляции в пользу немногих понятных механизмов.
Если аналогия верна, тогда правило Далио можно проверить количественно ещё точнее — сравнить Sharpe его портфеля именно в периоды, когда 'некоррелированные ставки' статистически оказывались скоррелированы задним числом (как бывает в кризис), против периодов нормальной корреляции.