谷歌KDD'23工作：如何提升推薦系統Ranking模型訓練穩定性
谷歌在KDD 2023發表了一篇工作，探索了推薦系統ranking模型的訓練穩定性問題，分析了造成訓練穩定性存在問題的潛在原因，以及現有的一些提升模型穩定性方法的不足，并提出了一種新
來源：內容由半導體行業觀察（ID：icbank）編譯自semianalysis，謝謝。
AI加速器對電力需求日益增加。Nvidia H100的熱設計功率（TDP）為700瓦特（W），而全球最常安裝的數據中心CPU，Intel Skylake/Cascade Lake的TDP則低于200W。下一代芯片將需要更多功率來支持更高的計算密度。這將需要機架級別的功率超過200千瓦，而目前傳統CPU服務器機架的功率只有15-20千瓦。
隨著功率的增加，需要解決更多挑戰。特別是，更高的功率導致了不成比例的傳輸和轉換損耗，即被浪費的功率。由于電力成本是數據中心最大的費用之一，減少功率損耗對于提高總擁有成本（TCO）至關重要。因此，我們現在看到功率傳遞網絡從機架級別到芯片級別被重新設計，以解決AI訓練和推理等高功率計算負載中的這個問題。
先進的功率傳遞架構的主要目的是提高效率。今天我們將深入探討這個主題的技術和競爭格局。功率傳遞公司Vicor在這一趨勢下受益最多。在過去的十年里，Vicor從供應普通功率組件的供應商發展為參與先進數據中心電源應用的公司，在各種超大規模數據中心機架級功率解決方案和Nvidia、谷歌、AMD、Cerebras、特斯拉和英特爾的AI加速器中獲得設計勝利。
然而，由于電力市場的動態性質，Vicor的命運近期迅速發生了變化。一年多前，我們獨家發現和披露，單片功率系統公司成功取代Vicor成為Nvidia H100 GPU的供應商。此外，Vicor的第二大客戶的關系也變得動蕩不安。此外，超大規模數據中心機架功率解決方案也發生了許多變化，包括多個新競爭對手（MPS、Delta、Renesas、ADI）。
這個故事一直變化不定，Vicor的未來角色變成了一個戰場。最近的新聞，Vicor對競爭對手的訴訟，超大規模數據中心的部署，以及公司領導層的不可思議的聲明都給了雙方有力的支持。
今天我們將介紹一下功率傳遞的基礎知識，Vicor的技術領先地位，我們對Vicor的因式分解電源架構和垂直電源傳遞技術的評估，重要的設計勝利，包括Vicor是否在H100或TPUv5中的細節，Vicor在汽車行業的潛力，以及對他們的長期影響。我們還將分享我們對他們的4個主要競爭對手（MPS、Delta、Renesas和ADI）的看法，以及目前正在爆發的法律戰爭。
芯片的電源傳輸簡介
電力在交流（AC）網格中以高達數十萬的電壓產生和傳輸。計算和存儲芯片需要穩定且干凈的低電壓直流（DC）電源。過多的電壓會使芯片的精密電路超負荷和損壞。電壓過低，芯片的電路將無法正確切換。變壓器、電源單元（PSU）和電壓調節模塊（VRM）的任務是將正確類型的電源傳遞給芯片。隨著功率需求的增加，高效的電源傳遞也變得更具挑戰性。
在像GPU或CPU這樣的電路中，有四個主要的值：功率、電流、電壓和電阻。功率（P）是每單位時間使用的能量的測量，通常用瓦特（W）表示。電流是電子流動的量的測量，或者換句話說，電子的流動速率。電流（I或A）通常用安培（A）表示。電壓（V）是兩點之間的電勢差。你可以把電壓想象成推動電子通過回路的壓力。
電壓通常以伏特（V）為單位給出。最后，我們有電阻（R），通常以歐姆（Ω）為單位給出，它表示電流在材料中流動的難度。為了使用這些值，我們需要歐姆定律，我們將重點討論歐姆定律的兩種不同形式。第一種形式是P = I * V，簡單地表示功率等于電流乘以電壓。第二種形式是P = R * I^2，意味著功率還等于電阻乘以電流的平方。
硅運行在約1V直流或更低的低電壓下。為追求功率效率，設計正在轉向較低的時鐘速度和較低的工作電壓，以在性能/功率曲線的更高效段運行。
然而，在低電壓和高電流下輸送電力會產生較大的功率損耗（I^2R）來自電力線的電阻。最小化功率損耗的關鍵是以更高的電壓和較低的電流來傳輸電力，然后盡可能靠近活動硅降低電壓。
什么構成了電壓調節模塊（VRM）？
VRM是一個重要的部件組合，它將系統電源單元（PSU）的輸入電壓轉換為正確的電壓來供電SoC。通常情況下，我們會在包含芯片的PCB上看到VRM，雖然在一些罕見的情況下，這些組件可能位于芯片本身上，甚至集成在硅上。現代VRM由三個主要部分組成：電容器、電感和功率級。電容器儲存電能，然后以恒定的速率釋放能量，平滑傳送給處理器的電力。電感用于抵抗電流變化，防止大量電流沖擊殺死處理器。
最后，而且可以說是VRM中最重要的部分是功率級，它將來自電源單元（PSU）的輸入電壓（例如12伏特）轉換為處理器所需的電壓。在CPU上，所需的電壓通常是傳統上的1.2至1.8伏特，而在GPU或大型FPGA、ASIC或AI加速器上，該電壓范圍為0.8至1.0伏特。
更高功率，更低效率
隨著未來架構和工藝技術中用于供電SoC的電壓降低，為了保持相同的功率，電流需要按電壓降低的相同倍數增加。例如，讓我們來看一個功率為240瓦的AMD Genoa CPU，其工作電壓為1.2伏特。將輸入從12伏特降至1.2伏特（降低10倍）以供給芯片，這意味著電流需要從12伏特時的20安培增加到1.2伏特時的200安培（增加10倍）以保持相同的功率水平。
相比之下，一個功率為700瓦的GPU的工作電壓為0.8伏特。如果將輸入從12伏特降至0.8伏特（降低15倍）以供給芯片，那么電流需要從12伏特時的60安培增加到0.8伏特時的875安培（增加15倍）。與功耗較低的CPU相比，GPU的電流要高得多。較高的電流意味著較高的電阻損耗，這可以從P = R * I^2的公式中得知（損耗等于電阻乘以電流的平方）。
隨著電壓降至0.8伏特，電阻急劇惡化：電流增加了15倍，導致電阻損耗呈指數級增加，達到225倍。這說明效率損耗在最近幾代數據中心芯片中已成為一個重大問題。隨著電壓繼續隨著工藝縮小和封裝變得更大，對高級封裝需求更高，這個問題只會變得更嚴重。
48V的興起
為了解決這個問題，人們開始使用更高的輸入電壓。很長一段時間以來，12伏特直流（DC）電源一直是電子產品電源單元（PSU）提供的標準電壓。在過去，由于功率較低，12伏特工作得足夠好，因此導致的效率損失微不足道。隨著行業對功率較高、電壓較低的SoC需求增加，效率受到雙重打擊。這些效率損失超過了相對廉價且普遍存在的12伏特元件所帶來的好處。
從12伏特轉換到48伏特意味著只需要4分之1的電流，因此損失將降低16倍（4^2）。這就是為什么許多公司開始轉向48伏特電源傳輸網絡的原因。但如果你最終要降到1伏特，這有什么意義呢？
將48伏特電壓降至SoC電壓的距離更近，所以導線長度更短。較長的導線長度會導致更大的電阻損耗。因此，只將48伏特輸入電壓降至盡可能接近負載點，其結果是總體電阻損耗更低。
谷歌是第一個在2016年左右在其數據中心采用48伏特電源的超大規模云服務提供商，并推動將48伏特電源在OpenCompute聯盟中進行標準化。
Vicor的崛起
作為回應，芯片公司和原始設備制造商（OEM）在其主板上放置了48伏特輸入的電壓調節模塊（VRM）。主要受益者是Vicor。雖然早前在電信設備中已有一個成熟的48伏特生態系統，但那是負電壓，而數據中心需要正電壓。Vicor是為計算用例提供48伏特VRM的主要供應商。
為了實現這種變化，電源單元將機架接收的380伏特交流電轉換為48伏特直流電。隨著數據中心在機架上提供48伏特電源，這也促使服務器主板開始采用48伏特輸入，以便能夠接受這個48伏特的輸入電壓并將其降壓。或者，為了使傳統的12伏特主板工作，還需要一個中間組件將48伏特降壓為12伏特。基本上，要么需要48伏特的輸出電壓，要么需要48伏特的輸入電壓，而Vicor是首家進入市場的公司。
Vicor的 48V 系統
在2018年，Vicor首次在主流商用硅芯片上取得了勝利，其設計贏得了Nvidia的V100 SXM3刷新項目。該項目采用了Vicor的48伏特電壓調節模塊（VRM）組件。接著是A100，整個產品線都采用了Vicor的部件用于VRM。谷歌也在與V100類似的時間框架內采用了Vicor的產品用于TPU（張量處理單元）。這進一步鞏固了Vicor在48伏特領域的主導地位，并表明Vicor是高性能電源傳輸的未來之路。
然而，隨后Vicor在H100中被Monolithic Power Systems (MPS)替代，這打破了之前的局面，SemiAnalysis首先報道了這一消息。此獨家報道導致Vicor的股價在發布后的第二天下跌超過20%，在接下來的一年里又下跌了30%，這主要是因為Nvidia對Vicor收入的巨大貢獻。直至今日，Vicor仍未大量發貨給Nvidia的H100項目，該項目正在大規模推進中。
上周，Vicor的首席執行官在聲稱其產品重新進入客戶的基礎平臺的同時，還對競爭對手提起訴訟，導致了一次巨大的空頭擠壓。需要明確的是，首席執行官在一年多前向分析員表示他們會重新進入客戶基礎平臺，但至今訂單仍未到來。
點擊文末【閱讀原文】，可查看原文鏈接。
*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯系半導體行業觀察。
今天是《半導體行業觀察》為您分享的第3485期內容，歡迎關注。
推薦閱讀
★索尼CIS，霸權不再？
★重磅，PCIe將走向光互聯，銅將被拋棄？
★韓國存儲雙雄，再次領先！
半導體行業觀察
『半導體第一垂直媒體』
實時 專業 原創 深度
識別二維碼，回復下方關鍵詞，閱讀更多
晶圓｜集成電路｜設備｜汽車芯片｜存儲｜臺積電｜AI｜封裝
回復 投稿，看《如何成為“半導體行業觀察”的一員 》
回復 搜索，還能輕松找到其他你感興趣的文章！
本文鏈接：http://www.tebozhan.com/showinfo-27-1130-0.htmlAI芯片供電競爭白熱化
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： MEMS五大巨頭，都有誰？
下一篇： CoWoS持續供不應求
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號