北京清程極智科技有限公司,由清華大學電腦系團隊孵化,近日發布了開源AI推論引擎“赤兔”及全場景解決方案。該引擎可在本土芯片上運行,減少對NVIDIA芯片的依賴,推動技術自主。
赤兔引擎支持大型語言模型(LLM),如DeepSeek R1,并在NVIDIA A800 GPU上運行DeepSeep R1時,推論速度提升315%,GPU使用率降低50%。
其加速效果來自算力系統和代碼優化,實現模型無損前提下的效能大幅提升。赤兔已兼容ComfyUI,支持多圖片生成場景。
赤兔還支持阿里通義千問、Meta LlaMA 3等熱門模型及用戶自定義模型,滿足各國多元算力平臺需求。
清程極智由翟季冬教授發起,核心團隊多畢業于QS排名前50名校,其中清華電腦系博士占3成。公司已獲多家機構投資,并與摩爾線程、燧原科技等達成合作。
鑒于美國對中國AI芯片出口管制,中國AI企業正尋求替代方案,如DeepSeek和字節跳動研究團隊通過系統優化提升LLM訓練效率,節省GPU使用量。
本文鏈接:http://www.tebozhan.com/showinfo-27-137798-0.html中國赤兔AI推論架構,助力AI芯片自主化
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 英特爾新CEO陳立武薪酬方案揭曉