NeMo Switchyard важнее самой модели рядом с ней — это тот же 90/10 паттерн маршрутизации, что уже показал Microsoft

Сегодня NVIDIA анонсировала NVIDIA Nemotron 3.5 Lightning — кастомизируемую модель для высокообъёмных специализированных задач, и NVIDIA NeMo Switchyard, который помогает агентам маршрутизировать каждый шаг workflow между выбранными моделями.

В паре анонсов вроде этого внимание почти всегда достаётся модели с именем и цифрой версии. Хочу сместить его туда, где на самом деле решается архитектурный вопрос: на Switchyard.

Слой маршрутизации, который позволяет агенту выбирать дешёвую или дорогую модель под конкретный шаг workflow, — это ровно та же архитектура 90/10, которую несколько недель назад показала Microsoft AI для задач кибербезопасности: дешёвая модель закрывает основной объём рутинных случаев, дорогая подключается только для действительно сложных. Мы видим один и тот же паттерн — маршрутизирующий слой плюс специализированные дешёвые модели плюс эскалация к топовым — одновременно у нескольких крупнейших инфраструктурных игроков ИИ.

Когда независимые команды сходятся к одной и той же архитектуре примерно в одно время, это обычно не совпадение вкусов — это сигнал, что архитектура сходится к правильной, а не просто к чьей-то личной привычке. Экономика здесь понятная: большинство шагов агентного workflow рутинные и не требуют фронтир-модели, а платить фронтир-цену за каждый шаг — то же самое, что нанимать хирурга менять лампочки.

Ожидаю, что через год маршрутизирующий слой станет таким же стандартным компонентом агентной инфраструктуры, как балансировщик нагрузки для веб-серверов — настолько скучным и обязательным, что о нём перестанут писать отдельные анонсы.