12 月 4 日消息,Meta 日前公布了 AI 翻譯套件 Seamless Communication,該套件由 4 款 AI 模型組成,Meta聲稱,該 AI 套件能夠“精準再現說話者情緒”,可實現延遲僅 2 秒的同聲傳譯能力、并支持近百種語言輸入。
據悉,Seamless Communication 是 Meta 慶祝自家 AI 研究機構“Fundamental AI Research”成立 10 周年所發表的研究成果。
Meta 介紹稱,該套件包含用于加速翻譯的“第二代 SeamlessM4T模型”、口譯模型“Seamless Expressive”、同聲翻譯模型“Seamless Streaming”,與綜合模型“Seamless”,整理相關信息如下:
SeamlessM4T 模型號稱能在翻譯時基于用戶說話內容,自動聯想可能的后文,以加速翻譯。
Seamless Expressive 是一種口譯模型,號稱可以解決“傳統 AI 翻譯無法抓住用戶語調、停頓、讀詞重輕度的問題”,能夠在維持翻譯品質的基礎上,保存用戶情緒、風格、說話速度、停頓和節奏,從而為翻譯內容帶來更多“情感信息”。
Seamless Streaming 是同聲翻譯模型,主打 2 秒延遲的語音和文字翻譯,支持口譯(speech-to-speech translation)、聽寫翻譯(speech-to-text translation,S2TT)及自動語音識別功能(Automatic speech recognition,ASR)。
而綜合模型 Seamless,則是整合了上述三種語言模型,便于通用場景。
目前 Meta 已經將示例視頻發布在 GitHub 以及 HuggingFace 網站上,感興趣的小伙伴們可以點此進行查看。
本文鏈接:http://www.tebozhan.com/showinfo-45-2803-0.htmlMeta 推出 Seamless Communication AI 翻譯套件:支持近百種語言輸入、同聲延遲僅 2 秒
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com