人們對生成式人工智能 (GenAI) 的興趣激增所造成的最大影響之一是,人們越來越意識到迫切需要更輕松地訪問基于關鍵技術的工具。允許簡單的語言輸入來驅動數據的發現和分析或應用程序和設備的操作可以說是像 ChatGPT 這樣的基礎模型和應用程序正在實現的革命中最重要的部分。
雖然目前ChatGPU都集中在文本上,但下一個明顯的步驟是轉向語音輸入,這一過程已經開始。 例如,OpenAI 的 Whisper 和 Google 的 Chirp 等工具將允許我們簡單地與應用程序和設備直接對話,并執行操作。
當然,有些人會說,多年來我們已經以語音輸入實現數字助理。 從蘋果的 Siri 到亞馬遜的 Alexa 和谷歌的 Assistant,許多人已經習慣了使用語音與信息和應用程序交互的概念。
但正如大型語言模型 (LLM) 和其他 GenAI 工具已經徹底改變了“傳統”基于人工智能的分析和其他應用程序的運行方式一樣,下一代 GenAI 驅動的語音助手也必將徹底重新設定我們對基于語音的互動期望。
擁有真正強大的基于語音的交互將極大改變我們思考和使用計算設備、應用程序和數據的方式。
為了使這個夢想成為現實,需要將幾種不同的關鍵技術開發結合起來。首先,基于語音的交互工具需要進行現代化改造,并使用最新一代 GenAI 基礎模型進行訓練。 同樣重要但鮮為人知的是,針對基于音頻接口的獨特要求進行優化的半導體芯片也需要不斷發展。
在芯片和IP開發的早期,音頻半導體面臨著始終開啟、始終傾聽并始終準備在適當的觸發詞(或聲音)時做出響應的挑戰性任務。 他們還必須能夠區分單詞,理解它們的含義和上下文,并應對不同口音、不同語言和其他音頻噪音的挑戰,這些噪音通常會影響我們的環境。
Cadence 等公司及其 Tensilica IP 多年來一直致力于應對這些挑戰以及更多挑戰。 該公司的一些早期工作支持語音觸發/單詞喚醒、自動語音識別 (ASR) 和語音 ID 等功能。 現在,Cadence 正在開發更先進的解決方案,以滿足基于人工智能的新型語音應用的更苛刻要求,同時保持該類別一直以來的極低功耗。
滿足這些需求的最佳方法之一是通過稱為 DSP 或數字信號處理器的芯片架構。 DSP 經過優化,可處理音頻,以實現噪聲消除、均衡、語音識別等功能,并且能夠以節能的方式完成這些任務。
Cadence 多年來一直在增強指令集架構 (ISA) 并開發軟件庫和 AI 工具流程,以有效映射神經網絡以在其音頻 DSP IP 設計上運行。 例如,該公司當前的 Tensilica HiFi DSP 是智能揚聲器系統、現代汽車信息娛樂系統等的關鍵部分。 該公司的 NNE100 IP 進一步發揮了這些功能,可用于高級計算機視覺、駕駛員輔助和其他應用。
大多數包含 Tensilica IP 的設計都是更大的 SoC(片上系統)架構的一部分,該架構包含多個組件,包括 CPU 等。 Tensilica 組件充當音頻加速器,可以幫助從 CPU 卸載某些任務和工作負載,以便設備能夠更高效地運行并延長電池壽命。 隨著基于音頻的應用在設備中變得越來越重要和要求越來越高,提高效率和性能的需求變得至關重要。
這就是為什么設備供應商和芯片提供商常常如此癡迷于稱為 PPA 的指標,即給定區域的功耗和性能。 在指定尺寸的芯片設計中,TOPS越高越好。 但除了原始 TOPS 之外,考慮設計的整體效率也很重要,特別是對于電池供電的設備。
如上所述,實現突破性語音應用的關鍵是通過先進軟件和芯片的結合。 其中一個關鍵部分是提供允許軟件開發人員可能不了解或不了解 DSP 和其他音頻芯片架構的復雜性,無法充分利用其功能。 這些類型的橋接工具讓開發人員能夠利用當今流行的人工智能軟件框架,包括 PyTorch、TensorFlow 等,并讓他們在這些框架中構建的應用程序在以音頻為中心的硬件上無縫運行。 Cadence 的 Tensilica 也在這樣做,提供軟件工具來提供運行所需的關鍵轉換層。
即使有了這些能力,技術進化的步伐仍在繼續,因此我們有理由期待所有這些領域的進步。 例如,Tensilica 目前的產品都是在 GenAI 爆發之前構建的,雖然它們可以很好地運行許多音頻應用程序,但專門針對基于 GenAI 的音頻模型進行優化的新架構似乎是明智的一步。 下一代架構可以支持基于交互式語音的用戶界面進行查詢和響應(這在現有設計中是不可能或不實用的),對于推動零售、醫療保健和服務機器人助理等應用程序的發展至關重要。
與我們的設備和應用程序進行基于語音的交互的總體機會絕對是巨大的。 真正的智能機器和軟件的概念允許普通人以直觀的方式與它們交互,直到最近才出現在科幻小說領域。 然而,隨著我們開始看到的進步類型,很明顯,音頻驅動的操作和請求將成為我們近期未來的重要組成部分。
本文鏈接:http://www.tebozhan.com/showinfo-27-9720-0.html音頻DSP和AI將迅速興起
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 國芯科技與昆侖芯簽訂戰略合作協議