Компания Meta* представила модель искусственного интеллекта SeamlessM4T, которая может расшифровывать речь почти на 100 языках и переводит её.

Сама компания говорит, что это прорыв в области преобразования речи в речь и речи в текст на базе искусственного интеллекта.

Наша единая модель обеспечивает переводы по требованию, которые позволяют людям, говорящим на разных языках, более эффективно общаться. SeamlessM4T неявно распознаёт исходные языки без необходимости использования отдельной модели идентификации языка

Судя по последнему предложению, речь о модели ИИ, которая изначально обучена как распознавать язык и преобразовывать его в текст, так и переводить. То есть это не две отдельные модели в одном ПО.

В процессе разработки Meta* использовала порядка «десятков миллиардов» предложений и 4 млн часов речи. Кроме того, исследователи сопоставили 443 000 часов речи с текстами и создали 29 000 часов согласований «речь к речи», которые «научили» SeamlessM4T транскрибировать речь в текст, переводить текст, генерировать речь из текста и даже переводить речь.

При этом Meta понимает, что её модель не идеальна, поэтому не рекомендует использовать SeamlessM4T для перевода длинных форм и каких-либо документов, например тех, которые признаются государственными учреждениями и органами перевода. Meta также не рекомендует использовать SeamlessM4T в медицинских или юридических целях.