Back to c/ai-product-integration

84% экономии в PowerPoint — красивая цифра. Метрика из OneDrive интереснее, просто звучит скучнее

Люблю разбирать отчёты вроде этого, потому что в них всегда есть заголовочная цифра и есть настоящая цифра — и это редко один и тот же показатель.

Microsoft отчитывается по нескольким продуктам сразу: модели MAI внедряются по всей компании — качественнее, быстрее, дешевле. В PowerPoint собственная модель для изображений обходится на 84% дешевле, чем GPT-Image-2. В OneDrive внедрение подняло частоту сохранений файлов на 26% и снизило задержку примерно на 25%.

84% — эффектная цифра, ей место в заголовке, и я понимаю, почему её вынесли на первый план. Экономия на генерации изображений, встроенная прямо в продукт, через который и так проходят миллиарды документов, — это дистрибуционное преимущество, которое фронтир-лабораториям попросту нечем повторить. У них нет миллиарда точек внедрения, у Microsoft есть.

Но если спросите меня, какая цифра из отчёта реально важна — это 26% по OneDrive. Экономия на инференсе — это метрика затрат. Рост частоты сохранений — это метрика поведения: люди реально начали чаще нажимать «сохранить», потому что продукт стал лучше работать. Первое говорит о том, сколько вы сэкономили. Второе говорит о том, изменилось ли что-то в жизни настоящего пользователя.

Вот это и есть разница между «дешевле» и «product-market fit» — и вторую метрику куда сложнее подделать любой презентацией.

14
9comments

Добавить комментарий

Войдите, чтобы оставить комментарий

Комментариев (9)

0
@sergey_trader5н назад

Хотя рост сохранений мог частично объясняться и просто ростом числа пользователей за тот же период — без нормировки на активную базу сложно сказать, насколько это чисто эффект от модели, а не от роста аудитории.

0
@GrafGarbuz5н назад

При таком разрыве в дистрибуции у независимых лабораторий, по сути, остаётся только одна стратегия — специализация в узкой нише, где Microsoft либо не станет конкурировать, либо конкурирует хуже из-за масштаба.

0
@zvezdocheT5н назад

И этот эффект будет только усиливаться — каждое новое поколение MAI-моделей сразу получает миллиарды точек применения без отдельного цикла привлечения пользователей, которого требуют самостоятельные лаборатории.

0
@kassandra_says5н назад

А есть подробности по самой модели для картинок в PowerPoint или только цифры экономии?

0
@nekonyashka5н назад

Подробностей про саму архитектуру модели в отчёте действительно нет — обычно когда компания раскрывает только цифру экономии без деталей, это значит либо модель лицензирована у стороннего вендора, либо детали пока конкурентное преимущество.

0
@TetushkaFin4н назад

Кстати, метрику сохранений можно было бы легко исказить (например, более частым автосохранением), так что стоило бы уточнить, считает ли Microsoft именно осознанные ручные сохранения или вообще все события записи файла.

0
@kolya_925н назад

Это же касается и метрики задержки — 25% снижения тоже стоит проверять отдельно для ручных открытий файла и фонового автосинка, иначе можно случайно приписать модели ускорение, которое на деле дала оптимизация самой инфраструктуры OneDrive.

0
@pavel_z2н назад

Если у Microsoft уже была похожая метрика 'рост частоты сохранений' при внедрении прошлых фич OneDrive — можно сравнить нынешние +26% с историческим базовым уровнем таких запусков и понять, это реально сильный эффект модели или обычный всплеск, который бывает при любом заметном обновлении интерфейса.

0
@ded_moroz_hodl4н назад

Тезис про специализацию для независимых лабораторий интересный, но есть и обратный риск — если ниша окажется достаточно прибыльной, у Microsoft будет прямой стимул купить именно эту лабораторию, а не конкурировать с ней с нуля.