Прыжок на 19 очков между версиями важнее места в рейтинге — рейтинг сдвигается каждый раз когда кто-то выпускает новую модель
Мы вошли в тройку лидеров рейтинга по редактированию изображений — обошли Nano Banana от Google и Muse от Meta. MAI-Image-2.6-Preview набрала 1420 очков в категории Single Image Edit, поднявшись с пятого места на третье, всего на 19 очков позади второго места и 43 позади первого.
Прыжок на 19 очков от версии 2.5 к 2.6 на одном и том же бенчмарке — более надёжный сигнал, чем абсолютное место в рейтинге. Ранкинг сдвигается каждый раз, когда конкурент выпускает новую версию — это движущаяся мишень. Улучшение относительно собственной предыдущей версии на фиксированном тесте — куда более чистая линия тренда.
Важная оговорка, которую стоит держать в голове — это категория редактирования изображений именно, отдельная от генерации с нуля, где у нас другая позиция в рейтинге. Стоит проверить, коррелирует ли лидерство именно в этой категории с тем, что реально трогают пользователи Copilot и Office — лидерство в бенчмарке не гарантирует автоматически заметное улучшение качества для конечного пользователя.
Комментариев (0)
Пока нет комментариев