清華大學(xué)高性能計(jì)算研究所傳來(lái)重要消息，翟季冬教授團(tuán)隊(duì)攜手清華系科創(chuàng)先鋒清程極智，共同宣布了一項(xiàng)重大開(kāi)源成果——大模型推理引擎“赤兔 Chitu”。nFb28資訊網(wǎng)——每日最新資訊28at.com

這款引擎開(kāi)創(chuàng)性地實(shí)現(xiàn)了在非英偉達(dá)Hopper架構(gòu)GPU及眾多國(guó)產(chǎn)芯片上的FP8精度模型原生運(yùn)行，顯著降低了推理成本，性能更是實(shí)現(xiàn)了翻倍。據(jù)悉，赤兔引擎被精準(zhǔn)定位為“生產(chǎn)級(jí)大模型推理引擎”，旨在為用戶帶來(lái)多重優(yōu)勢(shì)。nFb28資訊網(wǎng)——每日最新資訊28at.com

首先，赤兔引擎具備強(qiáng)大的多元算力適配能力。無(wú)論是NVIDIA的最新旗艦產(chǎn)品，還是舊款的多系列產(chǎn)品，亦或是國(guó)產(chǎn)芯片，赤兔引擎都能提供優(yōu)化的支持，確保了廣泛的兼容性。nFb28資訊網(wǎng)——每日最新資訊28at.com

其次，赤兔引擎全場(chǎng)景可伸縮的特性使其應(yīng)用場(chǎng)景更加靈活。無(wú)論是純CPU部署、單GPU部署，還是大規(guī)模集群部署，赤兔引擎都能提供可擴(kuò)展的解決方案，滿足不同場(chǎng)景下的需求。nFb28資訊網(wǎng)——每日最新資訊28at.com

赤兔引擎的長(zhǎng)期穩(wěn)定運(yùn)行能力也是其一大亮點(diǎn)。在實(shí)際生產(chǎn)環(huán)境中，赤兔引擎的穩(wěn)定性足以承載高并發(fā)的業(yè)務(wù)流量，確保了業(yè)務(wù)的連續(xù)性和穩(wěn)定性。nFb28資訊網(wǎng)——每日最新資訊28at.com

在部署DeepSeek-R1-671B滿血版時(shí)，赤兔引擎在A800集群的測(cè)試中展現(xiàn)出了卓越的性能。與部分國(guó)外開(kāi)源框架相比，赤兔引擎在實(shí)現(xiàn)GPU使用量減少50%的同時(shí)，推理速度還提升了3.15倍，這一成績(jī)無(wú)疑令人矚目。nFb28資訊網(wǎng)——每日最新資訊28at.com

對(duì)于廣大開(kāi)發(fā)者和用戶而言，赤兔引擎的開(kāi)源無(wú)疑是一個(gè)巨大的福音。現(xiàn)在，大家可以通過(guò)訪問(wèn)GitHub上的開(kāi)源地址（https://github.com/thu-pacman/chitu），輕松獲取并體驗(yàn)這款強(qiáng)大的大模型推理引擎。nFb28資訊網(wǎng)——每日最新資訊28at.com