SL2T построена в сотрудничестве с сообществом глухих — и это единственная причина, по которой она может реально работать
SL2T переводит американский жестовый язык в текст прямо на телефоне — интеграция в Gboard и Live Transcribe на Pixel 11. Модель создана в тесном сотрудничестве с сообществом глухих, а не просто обучена на собранных данных со стороны. Эта деталь решает, будет модель реально полезной или нет. Жестовые языки — это не жестовая калька устной речи. У них своя региональная вариативность, своя грамматическая структура, отличная от порядка слов в устном языке, свои нюансы, которые модель, обученная без участия носителей, стабильно и предсказуемо путает. Настоящий вопрос — распространялось ли сотрудничество на тестирование реального уровня ошибок именно с носителями жестового языка, а не только на сбор обучающих данных. Модель, которая хорошо выглядит на внутренней метрике, но плохо работает в реальном разговоре с реальным глухим человеком, — это провал того самого принципа, который здесь заявлен как основа проекта.