5月iOS設備好評榜：iPhone 14僅排第43？
來到新的一月，安兔兔的各個榜單又重新匯總了數據，像安卓陣營的榜單都有著比較大的變動，不過iOS由于設備的更新換代并沒有那么快，所以相對來說變化并不大，特別是iOS好評榜，老款設
高端GPU持續缺貨之下，一家要挑戰英偉達的芯片初創公司成為行業熱議焦點。
8枚芯片跑大模型，就能支持5萬億參數（GPT-4的三倍） 。
這是獨角獸企業SambaNova剛剛發布的新型AI芯片SN40L——
型號中40代表是他們第四代產品，L代表專為大模型（LLM）優化：高達1.5T的內存，支持25.6萬個token的序列長度。
CEO Rodrigo Liang表示，當前行業標準做法下運行萬億參數大模型需要數百枚芯片，我們的方法使總擁有成本只有標準方法的1/25。
SambaNova目前估值50億美元（約365億人民幣），累計完成了6輪總計11億美元的融資，投資方包括英特爾、軟銀、三星、GV等。
他們不僅在芯片上要挑戰英偉達，業務模式上也說要比英偉達走的更遠：直接參與幫助企業訓練私有大模型。
目標客戶上野心更是很大：瞄準世界上大的2000家企業。
1.5TB內存的AI芯片
新產品SN40L，由臺積電5納米工藝制造，包含1020億晶體管，峰值速度638TeraFLOPS。
與英偉達等其他AI芯片更大的不同在于新的三層Dataflow內存系統。
520MB片上SRAM內存
65GB的高帶寬HBM3內存
以及高達1.5TB的外部DRAM內存
與主要競品相比，英偉達H100高擁有80GB HBM3內存，AMD MI300擁有192GB HBM3內存。
SN40L的高帶寬HBM3內存實際比前兩者小，更多依靠大容量DRAM。
Rodrigo Liang表示，雖然DRAM速度更慢，但專用的軟件編譯器可以智能地分配三個內存層之間的負載，還允許編譯器將8個芯片視為單個系統。
除了硬件指標，SN40L針對大模型做的優化還有同時提供密集和稀疏計算加速。
他們認為大模型中許多權重設置為0，像其他數據一樣去執行操作很浪費。
他們找到一種軟件層面的加速辦法，與調度和數據傳輸有關，但沒有透露細節，“我們還沒準備好向公布是如何做到這一點的”。
咨詢機構Gartner的分析師Chirag Dekate認為，SN40L的一個可能優勢在于多模態AI。
GPU的架構非常嚴格，面對圖像、視頻、文本等多樣數據時可能不夠靈活，而SambaNova可以調整硬件來滿足工作負載的要求。
目前，SambaNova的芯片和系統已獲得不少大型客戶，包括世界排名前列的超算實驗室，日本富岳、美國阿貢國家實驗室、勞倫斯國家實驗室，以及咨詢公司埃森哲等。
業務模式也比較特別，芯片不單賣，而是出售其定制技術堆棧，從芯片到服務器系統，甚至包括部署大模型。
為此，他們與TogetherML聯合開發了BloomChat，一個1760億參數的多語言聊天大模型。
BloomChat建立在BigScience組織的開源大模型Bloom之上，并在來自OpenChatKit、Dolly 2.0和OASST1的OIG上進行了微調。
訓練過程中，它使用了SambaNova獨特的可重配置數據流架構，然后在SambaNova DataScale系統進行訓練。
這也是這家公司大被投資者熱捧之外的大爭議點之一，很多人不看好一家公司既做芯片又做大模型。
給每家大企業打造150個大模型
在與The Next Platform網站交流時，CEO Rodrigo Liang表示：
用于大模型訓練的公開數據已快耗盡，但對參數數量的追求還在不斷增加。
各種大模型的性能相差只有幾個百分點，這不是大家應該玩的游戲。
他認為大模型與生成式AI商業化的下一個戰場是企業的私有數據，尤其是大企業。
這些企業坐擁大量的數據，但自己不知道其中大部分內容是什么。
對于企業私有大模型的形態，SambaNova也有與眾不同的觀點。
他們認為終企業內部不會運行一個GPT-4或谷歌Gemini那樣的超大模型，而是根據不同數據子集創建150個獨特的模型，聚合參數超過萬億。
相當于把GPT-4等大模型內部的Mixture of Experts（專家混合）架構擴展到整個系統，稱為Composition of Experts（專家合成）。
在企業運轉的每個節點運行一個完整且經過專門調整的基礎模型，分別用法律語料庫、制造語料庫、風險管理語料庫、財富管理語料庫、客戶銷售語料庫、客戶支持語料庫等等不同數據訓練。
這些專家模型之間通過一種軟件路由或負載平衡器聯在一起，收到推理請求后決定具體向哪個模型推送提示詞。
這一策略與GPT-4和谷歌Gemini等做法形成鮮明對比，巨頭大多希望創建一個能泛化到數百萬個任務的巨型模型。
分析師認為技術上可能谷歌的做法性能更強，但SambaNova的方法對企業來說更實用。
沒有任何一個模型或人能完整訪問企業的所有數據，限制每個部門能訪問的專家模型，就能限制他們能訪問的數據。
斯坦福系芯片公司，華人工程師主力
SambaNova成立于2017年，2020年之前都比較低調。
聯創3人都是斯坦福背景，連產品系列名Cardinal（深紅色）都是斯坦福的昵稱與代表顏色。
CEO Rodrigo Liang是前Sun/甲骨文工程副總裁，也有人將這個名字解讀為暗指甲骨文老對頭IBM的DeepBlue（深藍）。
另外兩位聯合創始人都是斯坦福教授。
CTO Kunle Olukotun是電氣工程教授，因多核芯片架構方面的研究而聞名，開發了首批支持線程級推測 (TLS) 的芯片之一。
Christopher Ré是計算機科學副教授，重點研究方向機器學習和數據分析的速度和可擴展性。
此外團隊中還有不少華人工程師。
從官網公開信息來看，SambaNova的領導團隊中，至少有3名華人。
Jonathan Chang，擁有UC伯克利的機械工程學士學位以及南加州大學的MBA學位。
他在構建高增長方面擁有20多年的經驗。加入SambaNova之前，Chang在特斯拉工作了近9年。
Marshall Choy，此前曾擔任甲骨文公司系統產品管理和解決方案開發副總裁，監督了數十個行業的企業硬件和軟件產品的上市。
Penny Li，在EDA工具和微處理器設計方面擁有超過27年的經驗。此前，她曾在IBM和甲骨文工作過。
如果去領英搜索還能發現更多華人團隊成員。
目前SambaNova包含SN40L芯片的人工智能引擎已上市，但定價沒有公開。
根據Rodrigo Liang的說法，8個SN40L組成的集群總共可處理5萬億參數，相當于70個700億參數大模型。
全球2000強的企業只需購買兩個這樣的8芯片集群，就能滿足所有大模型需求。
參考鏈接：
[1]https://spectrum.ieee.org/ai-chip-sambanova
[2]https://www.nextplatform.com/2023/09/20/sambanova-tackles-generative-ai-with-new-chip-and-new-approach/
[3]https://sambanova.ai/resources/
本文鏈接：http://www.tebozhan.com/showinfo-17-11135-0.html1.5T內存挑戰英偉達！8枚芯片撐起3個GPT-4：華人AI芯片獨角獸估值365億
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號