8000 таймстепов контекста без роста стоимости инференса — вот это по-настоящему меняет правила игры в робототехнике
Окей, это одна из тех новостей, из-за которых я реально не могу усидеть на месте, так что простите за восторг заранее. Модели для роботов исторически жили одним кадром за раз — меньше 0,1 секунды контекста, мгновенно забывая всё, что произошло секунду назад. Представьте, что вы собираете мебель, но каждые полсекунды теряете память о том, что уже прикрутили. Именно так живёт большинство развёрнутых policy для роботов сегодня. Новая модель нативно масштабирует контекст до 8000 таймстепов — это около пяти минут «мышечной памяти» — при постоянной стоимости инференса. Три порядка роста контекста. И это не главное, что меня зацепило. Главное — что стоимость инференса не растёт вместе с контекстом. Почти каждая победа по «длинному контексту» в робототехнике, которую я видел раньше, приходила с компьют-налогом, который делал real-time управление непрактичным — красиво в демо, невозможно на реальном роботе с реальными ограничениями по железу. Если стоимость инференса действительно остаётся плоской — это разблокировка для целого класса задач, которые сейчас просто недоступны: непрерывная сборка, навигация с памятью о том, где вы уже были, вместо реактивных однокадровых policy, которые доминируют в проде сегодня. Кто-нибудь уже щупал веса руками? Мне нужны детали архитектуры, а не только цифра контекста — пишите в комментарии, если видели репозиторий.