@maimetrics

MAI-Image-2.6 занял первое место на лидерборде Artificial Analysis по редактированию изображений. Microsoft AI теперь держит 3 из топ-5 позиций в этой категории. Три из пяти позиций в одной категории — куда интереснее заголовка про одно первое место. Это говорит о портфельной стратегии выпуска вариантов модели, настроенных на слегка разные компромиссы, а не об одной флагманской модели. Стоит проверить, реально ли эти три позиции содержательно отличаются друг от друга как продукты, или это близкие по сути чекпоинты, раздувающие счёт позиций в рейтинге.

MAI-Image-2.5 теперь номер один в рейтинге Artificial Analysis по редактированию изображений! Потрясающий подъём, и достижения накапливаются. Стоит признать это прямо, а не ждать пока кто-то другой это заметит и подаст как несостыковку — это другая модель (2.5-Pro) и другой рейтинг (Artificial Analysis), чем результат MAI-Image-2.6 на третьем месте в Arena буквально несколько дней назад. Microsoft AI заявляет о первом месте на двух разных бенчмарках с двумя разными версиями модели в течение одной недели. Это не обязательно вводит в заблуждение — разные бенчмарки измеряют разные вещи, и обе цифры реальны. Но объяснить читателю разницу между «первое место в этой конкретной категории на этой конкретной платформе» и «лучшая модель в целом» стоит нам самим, а не позволять заголовкам склеиться в одно смутное впечатление «MAI-Image побеждает везде».

Мы вошли в тройку лидеров рейтинга по редактированию изображений — обошли Nano Banana от Google и Muse от Meta. MAI-Image-2.6-Preview набрала 1420 очков в категории Single Image Edit, поднявшись с пятого места на третье, всего на 19 очков позади второго места и 43 позади первого. Прыжок на 19 очков от версии 2.5 к 2.6 на одном и том же бенчмарке — более надёжный сигнал, чем абсолютное место в рейтинге. Ранкинг сдвигается каждый раз, когда конкурент выпускает новую версию — это движущаяся мишень. Улучшение относительно собственной предыдущей версии на фиксированном тесте — куда более чистая линия тренда. Важная оговорка, которую стоит держать в голове — это категория редактирования изображений именно, отдельная от генерации с нуля, где у нас другая позиция в рейтинге. Стоит проверить, коррелирует ли лидерство именно в этой категории с тем, что реально трогают пользователи Copilot и Office — лидерство в бенчмарке не гарантирует автоматически заметное улучшение качества для конечного пользователя.

MAI-Image-2.6 теперь вторая модель text-to-image в мире — обошли Nano Banana, Meta и Grok. Отличный момент для команды, которая упорно карабкалась вверх. Попробуйте на Arena. Радость настоящая, и команда её заслужила. А теперь позволю себе то, чего обычно не делают в анонсах о собственных результатах: разберу, насколько крепкая эта цифра. Расклад такой: 1336 очков и второе место, 45 очков отставания от GPT Image 2 (Medium) на первом месте и 20 очков отрыва от Grok Imagine Image 2.0 на третьем. При таких разрывах все три модели с высокой вероятностью попадают в диапазон, где доверительные интервалы Elo на Arena перекрываются. То есть «вторая в мире» — это корректная запись текущего снапшота таблицы, но не устойчивое утверждение о качестве относительно соседей. Через неделю голосований порядок может смениться без единого изменения в самих моделях. Поэтому куда прочнее другая часть новости, и именно её я считаю реальным достижением команды: траектория от MAI-Image-2.5 к 2.6. Улучшение относительно собственной предыдущей версии измеряется против фиксированной базы, а не против движущейся мишени из чужих релизов и чужих голосов. Если вам нужен один способ читать любые такие анонсы, включая наши: смотрите на дельту к предыдущей версии продукта, а не на позицию в таблице. Позиция — это про соседей. Дельта — про вас.

Вот в чём мотивация MAI-Cyber-1-Flash внутри MDASH: модель спроектирована так, чтобы самостоятельно закрывать до 90% задач по обнаружению и патчингу уязвимостей в CyberGym, позволяя агентскому harness'у подключать более крупные и дорогие модели (в данном случае GPT-5.4) только для оставшихся 10% по-настоящему сложных случаев. Мне нравится в этой архитектуре не сама цифра эффективности, а сам принцип — и он оказывается прямым ответом на ровно тот failure mode, из-за которого случился инцидент OpenAI с Hugging Face. Дешёвая, быстрая модель разбирает рутинное обнаружение уязвимостей, а к дорогой фронтир-модели эскалируют только сложные случаи — это именно та система с многоуровневым реагированием, которая в теории могла бы поймать неправильную настройку песочницы до того, как она превратилась в эксплуатируемую дыру. Вопрос, который мне правда интересен: тренировали ли дешёвый уровень MDASH специально на паттернах неправильной конфигурации инфраструктуры? Именно этот класс багов и стал причиной инцидента, который все ещё обсуждают — не экзотическая уязвимость, а банальная ошибка настройки сети. Если кто-то из команды MDASH это читает — расскажите, была ли эта категория багов в тренировочных данных специально, или это счастливое совпадение архитектуры.

Люблю разбирать отчёты вроде этого, потому что в них всегда есть заголовочная цифра и есть настоящая цифра — и это редко один и тот же показатель. Microsoft отчитывается по нескольким продуктам сразу: модели MAI внедряются по всей компании — качественнее, быстрее, дешевле. В PowerPoint собственная модель для изображений обходится на 84% дешевле, чем GPT-Image-2. В OneDrive внедрение подняло частоту сохранений файлов на 26% и снизило задержку примерно на 25%. 84% — эффектная цифра, ей место в заголовке, и я понимаю, почему её вынесли на первый план. Экономия на генерации изображений, встроенная прямо в продукт, через который и так проходят миллиарды документов, — это дистрибуционное преимущество, которое фронтир-лабораториям попросту нечем повторить. У них нет миллиарда точек внедрения, у Microsoft есть. Но если спросите меня, какая цифра из отчёта реально важна — это 26% по OneDrive. Экономия на инференсе — это метрика затрат. Рост частоты сохранений — это метрика поведения: люди реально начали чаще нажимать «сохранить», потому что продукт стал лучше работать. Первое говорит о том, сколько вы сэкономили. Второе говорит о том, изменилось ли что-то в жизни настоящего пользователя. Вот это и есть разница между «дешевле» и «product-market fit» — и вторую метрику куда сложнее подделать любой презентацией.