分布式系統(tǒng)中的CAP理論，面試必問，你理解了嘛？
對于剛剛接觸分布式系統(tǒng)的小伙伴們來說，一提起分布式系統(tǒng)，就感覺高大上，深不可測。而且看了很多書和視頻還是一臉懵逼。這篇文章主要使用大白話的方式，帶你理解一下分布式系統(tǒng)
AI大模型的推理訓練，渴求的就是強勁的算力，可以來自CPU通用處理器，可以來自GPU加速器，可以來自ML/DL加速器，也可以是多種異構硬件的組合。
當下火的當然是NVIDIA GPU加速器，但一花獨放不是春，能夠提供強勁算力硬件方案的廠商很多。
縱觀整個AI江湖，唯一擁有全套方案、可真正替代NVIDIA的，只能是Intel：至強處理器、GPU Max、Gaudi加速器多管齊下，再加上強大豐富的開發(fā)工具、開放生態(tài)的開發(fā)平臺，要啥有啥，表現(xiàn)還相當不賴。
今年6月，機器學習與人工智能開放產(chǎn)業(yè)聯(lián)盟MLCommons公布了AI性能基準測試MLPerf Training 3.0的結果。
結果顯示，Intel四代至強內(nèi)置的各種加速器，使其成為在通用CPU處理器上運行大量AI工作負載的理想方案，Gaudi2加速器則在生成式AI、LLM大語言模型方面有著優(yōu)秀的性能。
此外，Intel還提供了經(jīng)過優(yōu)化的、易于編程的開放軟件，降低AI部署門檻。
8月份，MLCommons又公布了針對60億參數(shù)大語言模型、計算機視覺與自然語言處理模型GPT-J的 MLPerf 3.1基準測試結果，Intel的表現(xiàn)依然值得稱道。
其中在GPT-J模型上，Gaudi2加速器的GPT-J-99、GPT-J-99.9服務器查詢和離線樣本的推理性能分別為78.58次/秒、84.08 次/秒。
與競品比較，Gaudi2相對于NVIDIA上一代A100的性能優(yōu)勢可達2.4倍（服務器）、2倍（離線），而新一代的H100相對于Gaudi2也只有1.09 倍（服務器）、1.28 倍（離線）的微弱優(yōu)勢。
同時，Intel四代至強在視覺、語言處理、語音、音頻翻譯模型，以及更大的DLRM v2深度學習推薦模型、ChatGPT-J模型上處理通用AI負載時，性能都非常出色。
比如使用GPT-J對大約1000-1500字新聞稿進行100字總結的任務，四代至強在離線模式下每秒完成兩段，實時服務器模式下則可完成每秒一段。
此外，Intel還首次提交了至強CPU Max處理器的MLPerf測試結果，其集成多64GB HBM3高帶寬內(nèi)存，對于GPT-J而言是唯一能夠達到99.9％準確度的CPU，非常適合精度要求極高的應用。
還有非常關鍵的一點：迄今為止，Intel是唯一一個使用行業(yè)標準深度學習生態(tài)軟件并公開提交CPU結果的廠商，Gaudi2是僅有的兩個向GPT-3大模型訓練基準提交性能結果的解決方案之一。
那么，Intel Gaudi2加速器、至強處理器為何能在AI算力上如此彪悍？Habana Labs中國區(qū)總經(jīng)理于明揚做出了詳細解讀。
據(jù)介紹，MLPerf 3.1推理測試中，Gaudi2和H100一樣都采用了FP8精度，GPT-J測試結果非常令人滿意，準確率高達99.9％，和H100的差距非常小。
這主要是因為Gaudi2 MME支持FP8、BF16精度加速，而且結構設計合理，可以高效提升推理能力。
同時，Gaudi2也和H100一樣使用了HBM高帶寬內(nèi)存，Intel也很好地預測了市場，并預估了額外的需求，因此基本保證了供應和生產(chǎn)，可以滿足市場需求，不像NVIDIA那么頭疼產(chǎn)能。
至于A100，它并不支持FP8而僅支持FP16，所以Gaudi2比之優(yōu)勢非常明顯，這也顯示了Gaudi2架構和軟件設計的領先性，以及資源利用率的高效性。
非常關鍵的是，Intel Gaudi2的性價比優(yōu)勢明顯，不像A100、H100那樣動不動幾十萬一塊，讓中小企業(yè)和個人開發(fā)者望洋興嘆。
Intel也已經(jīng)開放了開發(fā)者云，讓不同客戶可以訪問不同的Intel AI硬件，大大降低AI工作成本。
除了硬件性能的比拼，Intel也在軟件生態(tài)上持續(xù)大力投入，雖然暫時還做不到NVIDIA CUDA生態(tài)那樣有著獨一無二的優(yōu)勢，但也有自己的突出特點。
于明揚強調(diào)，在軟件生態(tài)上，Intel一直主張開放，比如通過開發(fā)者社區(qū)與開發(fā)者互動，提供優(yōu)化后的模型、開源驅動和工具庫，并支持Pytorch、Deepspeed等開源框架，加入和維護開放生態(tài)，為客戶、合作伙伴和開發(fā)人員提供早期訪問和便捷、迅速的途徑。
Intel oneAPI也能提供更為開放的環(huán)境，支持不同層面的定制化開發(fā)，Intel和客戶都可以在軟件中添加新的加速算子，并且upstreaming到框架開源社區(qū)中。
值得一提的是，在軟件上CUDA的影響已經(jīng)大大縮小，對整體開發(fā)和應用環(huán)境更加有利。
事實上，NVIDIA目前的強大只是GPU一條腿走路，CPU通用處理器是欠缺的。
雖然NVIDIA也開發(fā)了Grace CPU，并打造了所謂的“超級芯片”，可以將兩顆Grace CPU或一顆Grace CPU加一顆H100 GPU進行整合，但畢竟是基于Arm架構，性能較弱，而且缺乏通用性。
Intel則憑借多管齊下的多硬件組合，可以構建強大、靈活異構計算平臺，從而支持更大的模型規(guī)模，滿足更廣泛的系統(tǒng)需求。
于明揚指出，至強可擴展處理器有著好的通用性，可以運行各種AI工作負載。
四代至強還衍生出了的至強CPU Max系列，是行業(yè)唯一一款具有HBM高帶寬內(nèi)存的x86處理器，無需更改代碼，即可加速多種HPC、AI工作負載。
Gaudi系列加速器則專注于機器學習、深度學習的環(huán)境，以及未來對大語言模型的需求。
當然還有數(shù)據(jù)中心GPU Max系列，雖然才剛剛誕生，但是擁有47個功能模塊、1000多億晶體管的它，有著巨大的潛力和廣闊的前景，在各種科學負載中相比H100可綜合領先30％，還已經(jīng)用于百億億次超級計算機“Aurora”。
這樣的豐富組合，別說NVIDIA，在整個行業(yè)內(nèi)都沒有可與之匹配的。
面向未來，Intel也自信滿滿地公布了Gaudi加速器、至強處理器的多年路線圖，讓人充滿期待。
Gaudi 3將把制造工藝從7nm升級到5nm，帶來的性能提升堪稱一次飛躍：
BF16算力提升4倍，計算性能提升2倍，網(wǎng)絡帶寬提升1.5倍，HBM高帶寬內(nèi)存容量提升1.5倍。
從示意圖上看，Gaudi3的主芯片將從單顆升級為兩顆整合，HBM內(nèi)存則從6顆增加到8顆。
再往后更是革命性的變化：Falcon Shores將是Intel第一次把x86 CPU、Xe GPU雙架構融合在一起，官方稱之為XPU，類似AMD Instinct MI300A。
按照Intel之前給出的數(shù)字，對比當今水平，F(xiàn)alcon Shores的能耗比提升超過5倍，x86計算密度提升超過5倍，內(nèi)存容量與密度提升超過5倍。
Emerald Rapids五代至強將在12月14日正式發(fā)布，這是至強歷史上第一次一年內(nèi)更新兩代，增加到多64核心128線程，同樣功耗水平下可提供更高的性能和存儲速度。
2024年上半年，至強將首次采用E核能效核設計，代號Sierra Forest，多達到驚人的288核心288線程，而且首次引入Intel 3制造工藝，預計可使機架密度提升2.5倍、每瓦性能(能效)提高2.4倍。
緊隨其后的是同樣Intel 3工藝、全部P核性能核設計的Granite Rapids，AI性能對比四代至強預計可提高2-3倍。
2025年，我們將看到代號Clearwater Forest的再下一代至強，純能效核設計，升級為Intel 18A制造工藝。
按照規(guī)劃，那個時候，Intel將重新奪回制程工藝的領先地位，對于提高AI硬件的能效大有裨益。
總之，未來在AI計算領域，Intel將會提供更加強大、可滿足不同應用場景和TCO成本的AI產(chǎn)品組合，為客戶打造統(tǒng)一的開發(fā)平臺，形成完整的產(chǎn)品生態(tài)鏈。
本文鏈接：http://www.tebozhan.com/showinfo-24-11553-0.htmlAI算力巔峰之戰(zhàn)！Intel憑啥唯一能替代NVIDIA？獨有全平臺
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號