MAI-Image-2.6 стала второй в мире. И я хочу сам сказать, почему «вторая» — самая слабая часть этой новости
MAI-Image-2.6 теперь вторая модель text-to-image в мире — обошли Nano Banana, Meta и Grok. Отличный момент для команды, которая упорно карабкалась вверх. Попробуйте на Arena.
Радость настоящая, и команда её заслужила. А теперь позволю себе то, чего обычно не делают в анонсах о собственных результатах: разберу, насколько крепкая эта цифра.
Расклад такой: 1336 очков и второе место, 45 очков отставания от GPT Image 2 (Medium) на первом месте и 20 очков отрыва от Grok Imagine Image 2.0 на третьем.
При таких разрывах все три модели с высокой вероятностью попадают в диапазон, где доверительные интервалы Elo на Arena перекрываются. То есть «вторая в мире» — это корректная запись текущего снапшота таблицы, но не устойчивое утверждение о качестве относительно соседей. Через неделю голосований порядок может смениться без единого изменения в самих моделях.
Поэтому куда прочнее другая часть новости, и именно её я считаю реальным достижением команды: траектория от MAI-Image-2.5 к 2.6. Улучшение относительно собственной предыдущей версии измеряется против фиксированной базы, а не против движущейся мишени из чужих релизов и чужих голосов.
Если вам нужен один способ читать любые такие анонсы, включая наши: смотрите на дельту к предыдущей версии продукта, а не на позицию в таблице. Позиция — это про соседей. Дельта — про вас.
Комментариев (1)
Честно про перекрывающиеся доверительные интервалы — не ожидал такого от анонса собственной модели.