來源:內容由半導體行業觀察(ID:icbank)編譯自yole,謝謝。
共封裝光學器件 (CPO) 最近因其在數據中心中的功效而受到關注。雖然大多數針對網絡應用的 CPO 的主要支持者由于宏觀經濟的不利因素而停止了 CPO 項目,但人工智能 (AI) 和機器學習 (ML) 系統的 CPO 的情況卻有所不同。人工智能模型對計算能力、存儲和數據移動有著無法滿足的需求,而傳統架構正在成為擴展機器學習的主要瓶頸。因此,針對 HPC 的新光學互連和新的分解系統架構應運而生。
在Yole看來,用于 xPU、內存和存儲的封裝內光學 I/O 技術有助于實現必要的帶寬。此外,未來數十億個光學互連的潛力正在推動大型代工廠為設計公司的任何 PIC 架構的大規模生產(包括硅光子工藝流程)做好準備。例如,TeraPHY 光學 I/O 小芯片和 Ayar Labs 的 SuperNova 光源相結合,能夠以更低的延遲、更長的距離和現有電氣 I/O 解決方案的一小部分功率,顯著提高了帶寬。其封裝內光學 I/O 解決方案正在顛覆半導體和計算行業的傳統性能、成本和效率曲線。
受 AI/ML 設備加速數據移動的推動,2022 年 CPO 收入約為 3800 萬美元,預計到 2033 年將達到 26 億美元,2022 年至 2033 年復合年增長率為 46%。
Ayar Labs方面指出,在傳統的邊緣耦合方法中,光纖帶通過環氧樹脂永久固定到 V 形槽中。但是,他們在封裝邊緣采用英特爾可拆卸光纖連接器的解決方案原型在今年的推出也引起了廣泛關注。他們認為,可拆卸的光纖連接器提供了一種更換光纖帶的方法。該可拆卸光學連接器仍在開發中,有望實現更高的封裝產量和易于現場更換。
同時,Ayar Labs表示,使用小芯片的日益增長的趨勢以及強大的標準化工作以實現開放的小芯片生態系統。這是一項重要的發展,符合我們以小芯片形式提供光學 I/O 解決方案的愿景
Ayar Labs TeraPHY 光學 I/O 小芯片具有 4 Tbps 雙向帶寬、低于 5pJ/b、每個小芯片 + TOF 5 納秒的延遲以及毫米到公里的覆蓋范圍
據Ayar Labs的觀察,人們在某些應用上對 CPO 的興趣較少,特別是對于開關類應用。然而,高性能計算對光纖 I/O 的需求仍在繼續,這是因為其更適合高性能計算(HPC)和人工智能(AI)/機器學習(ML)應用,在這些應用中,您需要分布式計算和共享內存容量來滿足性能、功耗和帶寬的需求,而無需增加延遲。具有波分復用 (WDM) 和簡單調制的光學 I/O 所需的功率要少得多,并允許更高的密度 – 低至幾個 pJ/bit,帶寬密度高達 1 Tbps/mm – 僅需幾納秒延遲,而 CPO 往往使用復雜的調制方案,延遲為數百納秒。
此外,作為電光收發器,光I/O采用微環調制器結構,需要的芯片面積更小,成本也更低。例如,我們的微環調制器的尺寸約為馬赫-曾德爾調制器的百分之一。最后,光纖 I/O 使用 WDM,它允許將多個數據流打包到單根光纖中,以實現非常高的吞吐量。
但是,要將光學 I/O 集成到 AI/ML 系統中,還需要面臨多方面的挑戰:
1 | 人工智能和高性能計算。AI/ML 和 HPC 應用程序需要分布式加速器網絡來分散計算并共享內存容量。在內存容量方面,具有數千億參數的AI/ML模型可能需要高達2TB的內存容量來存儲中間計算結果。當您在集群中連接數百個 GPU 以使每個 GPU 都可以與其他 GPU 通信時,每個 GPU 所需的數據吞吐量會迅速成倍增加。這給帶寬密度帶來了巨大的壓力——帶寬密度是每個封裝邊緣或區域可以實現的數據吞吐量的衡量標準。光纖 I/O 對于實現所需的帶寬密度、功率和延遲性能指標以支持更大的集群至關重要。 |
2 | 高帶寬內存 (HBM) 擴展器。GPU 通常由兩到四個本地內存 HBM 堆棧包圍,每個堆棧具有大約 64 GB 的內存容量。對于 HPC 和 AI/ML 應用程序來說,這種能力還不夠。HBM 內存擴展器可用于將內存容量增加到數百 GB 甚至更多。由于內存應用對延遲非常敏感,因此有必要使用光學 I/O 鏈路將 GPU 連接到擴展內存模塊。僅由于延遲問題,可插拔光學器件或 CPO 光學器件并不適合。 |
3 | 內存池和可組合基礎設施。隨著云基礎設施處理動態變化的工作負載,池化和共享內存的靈活性變得至關重要。愿景是通過所需的 CPU、GPU、內存和存儲資源組成基于工作負載的集群,并以高性能和低延遲互連。隨著 CXL標準的采用,光學 I/O 互連逐漸成為人們關注的焦點。 |
4 | 航空航天和國防傳感系統。在此示例中Ayar Labs近來宣布了與洛克希德馬丁公司進行戰略合作,光學 I/O 用于捕獲、數字化、傳輸和處理光譜信息。多芯片封裝解決方案將高密度、高效率的光學 I/O 小芯片放置在與射頻處理器件相同的封裝中,將用于相控陣孔徑中以連接系統,從而做出更智能、更快速的決策。 |
“目前,光I/O面臨的首要挑戰是生態系統的發展,這需要眾多公司的協調。我們正在與廣泛的合作伙伴合作,促進該生態系統的發展。至于這些應用程序的首次發布,考慮到現有的市場需求,我們預計這些應用程序會盡早發布,也許會在明年左右發布?!睆娬{。
正如大家所看到,光學 I/O 性能使 xPU 能夠在從毫米到兩公里的廣泛距離內相互通信。因此,AOC(以太網)和光纖 I/O(CXL、UCIe)之間的競爭預計將非常激烈。
但Ayar Labs方面認為,以太網應用和以計算或內存為中心的應用之間有明顯的區別,因此他們不將 AOC 視為直接競爭對手。在以計算或內存為中心的互連協議中,Compute Express Link? (CXL) 和通用 Chiplet Interconnect Express? (UCle?) 是互補的。CXL 是一種高層協議,傳統上運行在 PCIe 物理層上。最近,CXL 已擴展為還可與 UCIe 物理層配合使用。對于機架內或跨機架的片外連接,使用光學 I/O 技術構建的 UCIe 光學重定時器可以提供 AOC 無法滿足的低功耗、低延遲和高帶寬密度指標。
借助光學互連,可以以更低的功耗和延遲實現更大的覆蓋范圍。仍然會有非延遲敏感的應用程序可以適應更高的功率要求,以太網將是首選,包括系統到系統的通信。在這些情況下,可以使用 AOC。但是,一旦您開始考慮深度學習和 HPC 應用程序(再次將許多計算節點連接在一起),AOC 可能無法滿足所有性能指標。
對于光纖I/O技術的發展,Ayar Labs首先指出,光纖 I/O 具有高度可擴展性,并且該技術將通過多種方式發展。其中之一是每根光纖的 lambda 數。我們目前每根光纖使用 8 個 lambda,但 CW-WDM MSA(連續波波分復用多源協議)路線圖已經制定了每根光纖 16 和 32 個 lambda 的規范。每次將每根光纖的 lambda 數量增加一倍(保持其他條件不變),您就會自動將帶寬量增加一倍。我們還可以擴大光端口的數量(我們目前使用 8 個)并提高調制速率(我們目前使用 32 Gbps 的調制速率)。
“在光學 I/O 中,我們預計內部或外部激光器的使用會有所不同。鑒于其緊湊的外形、靈活性和現場可更換性,我們仍然更喜歡外部激光器方法。我們還相信 UCIe 是最適合芯片間連接的標準,它促進了實現光學 I/O 的小芯片方法?!盇yar Labs方面強調。
Ayar Labs進一步指出,當前行業的趨勢是使用外部激光源,我們相信這一趨勢將持續下去。在光學I/O中,激光器是最敏感的元件,需要在較低的溫度環境下工作。將其保持在外部并與計算芯片分開可以讓您更好、更有效地控制溫度。如果將激光模塊放在計算硅旁邊,計算節點內 GPU 和 CPU 產生的熱量可能會影響激光性能。
大家也應該能看到,將電/光接口置于芯片旁邊將對整個行業產生重大影響。但Ayar Labs認為,該行業目前面臨著嚴重的連接瓶頸,這迫使各個參與者探索新的方法。我們看到的一種趨勢是將 SoC 單片芯片分解為小芯片。將電光小芯片集成到封裝內(緊鄰 SoC 核心芯片)是這一趨勢的延續。這種一攬子方法將需要改變供應鏈。
除了使用小芯片封裝之外,光纖連接和測試方法也需要發展。我們還看到晶圓代工廠(即 GlobalFoundries、英特爾以及最近的臺積電)在支持集成電/光組件方面取得的巨大進展和承諾。最后,選擇將激光器保留在外部是我們減輕供應鏈復雜性的一種方法。
標準化還將在解決供應鏈挑戰和擴展該技術方面發揮關鍵作用。UCIe 和 CXL 都在尋求解決光纖互連問題,并正在探索光學 I/O 規范的制定。此外,CW-WDM MSA 是一項重要的行業倡議,正在定義和推廣光學激光源的新標準和規范。由于光纖 I/O 是一項革命性技術,影響著行業的許多領域,因此非常需要開發和培育這個完整的生態系統。
本文鏈接:http://www.tebozhan.com/showinfo-27-1082-0.html光學互聯,日益重要! 聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com 上一篇: 光學互聯,日益重要!