Redmi Pad評測：紅米充滿野心的一次嘗試
從Note系列到K系列，從藍牙耳機到筆記本電腦，紅米不知不覺之間也已經形成了自己頗有競爭力的產品體系，在中端和次旗艦市場上甚至要比小米新機的表現來得更好，正所謂“大丈夫生居
2023年9月 29日,由阿里云、NVIDIA聯合主辦,阿里云天池平臺承辦的“NVIDIA TensorRT Hackathon 2023生成式AI模型優化賽”圓滿落幕。該賽事自2020年以來,已成功舉辦三屆,本屆賽事于今年 7月啟動,吸引了來自全國729支開發者團隊報名參賽,其中共有40支團隊晉級復賽,最終 26支團隊于決賽中脫穎而出,分獲冠軍/亞軍/季軍及優勝獎,展現出了卓越的技術實力。
解鎖 TensorRT-LLM挖掘生成式 AI新需求
今年的NVIDIA TensorRT Hackathon著重提升選手開發 TensorRT應用的能力。
在過去的一年里,生成式 AI迎來了爆發式增長。計算機能夠批量生成大量圖像和文本,有的甚至能夠媲美專業創作者的作品。這為未來生成式AI模型的發展鋪平了道路,令人充滿期待。正因如此,NVIDIA TensorRT Hackathon 2023選擇生成式AI模型作為比賽的主題,以激發選手的創新潛力。
今年的比賽設置了初賽和復賽兩組賽題——初賽階段,選手需要利用 TensorRT加速帶有 ControlNet的 Stable Diffusionpipeline,以優化后的運行時間和出圖質量作為主要排名依據;復賽為開放賽題,選手可自由選擇公開的 Transformer模型,并利用 TensorRT或NVIDIA TensorRT-LLM進行模型推理優化。
NVIDIA TensorRT?作為 GPU上的 AI推理加速庫,一直以來都備受業界認可與青睞。本次比賽的背后是 NVIDIATensorRT開發團隊對產品不斷進行改進和優化的結果。通過讓更多模型能夠順利通過 ONNX自動解析得到加速,并對常見模型結構進行深度優化,極大地提高了TensorRT的可用性和性能。這意味著大部分模型無需經過繁瑣的手工優化,就能夠在 TensorRT上有出色的性能表現。
TensorRT-LLM是NVIDIA即將推出用于大語言模型推理的工具,目前已于官網開放試用。作為此次復賽推薦使用的開發工具之一,TensorRT-LLM包含TensorRT深度學習編譯器,并且帶有經過優化的 CUDA kernel、前處理和后處理步驟,以及多 GPU/多節點通信,可以在 NVIDIAGPU上提供出類拔萃的性能。它通過一個開源的模塊化 Python應用 API提高易用性和可擴展性,使開發人員能夠嘗試新的LLM,提供最頂尖的性能和快速自定義功能,且不需要開發人員具備深厚的 C++或 CUDA知識。
作為本次大賽的主辦方之一,阿里云天池平臺為參賽選手提供了卓越的云上技術支持,在阿里云GPU云服務器中內置 NVIDIA A10 Tensor CoreGPU,參賽者通過云上實例進行開發和訓練優化模型,體驗云開發時代的AI工程化魅力。同時,由NVIDIA 30名工程師組成導師團隊,為晉級復賽的40支隊伍提供一對一輔導陪賽,助力選手獲得佳績。
從實踐到迭代腦力與創造力的集中比拼
本次比賽中涌現出大量優秀的開發者。在獲獎的 26支團隊中,有不少團隊選擇借助 TensorRT-LLM對通義千問-7B進行模型推理優化。
通義千問-7B(Qwen-7B)是阿里云研發的通義千問大模型系列的 70億參數規模的模型,基于Transformer的大語言模型,在超大規模的預訓練數據上進行訓練得到。在 Qwen-7B的基礎上,還使用對齊機制打造了基于大語言模型的 AI助手Qwen-7B-Chat。
獲得此次比賽一等獎的“無聲優化者(著)”團隊,選擇使用 TensorRT-LLM完成對 Qwen-7B-Chat實現推理加速。在開發過程中,克服了Hugging Face轉 Tensor-LLM、首次運行報顯存分配錯誤、模型logits無法對齊等挑戰與困難,最終在優化效果上,吞吐量最高提升了4.57倍,生成速度最高提升了5.56倍。
而獲得此次賽事二等獎的“NaN-emm”團隊,在復賽階段,則選擇使用 TensorRT-LLM實現RPTQ量化。RPTQ是一種新穎的基于重排序的量化方法,同時量化了權重與中間結果(W8A8),加速了計算。從最開始不熟悉任何LLM模型,到后續逐步學習和了解相關技術,“NaN-emm”團隊啟用了GEMM plugin,GPT Attention plugin,完成了VIT、Q-Former、Vicuna-7B模型的轉化,最終通過 40個測試數據,基于 Torch框架推理耗時 145秒,而經過TensorRT-LLM優化的推理引擎耗時為 115秒。
本次大賽還涌現了一批優秀的開發者,本屆參賽選手鄧順子不僅率領隊伍獲得了一等獎,還收獲了本次比賽唯一的特別貢獻獎。他表示,2022年的Hackathon比賽是他首次接觸TensorRT,這使他對模型推理加速產生了濃厚的興趣。盡管當時未能進入復賽,但那次經歷讓他深感自身技能的不足。在上一次比賽中,他目睹了頂尖選手使用FasterTransformer在比賽中取得領先地位,這一經歷讓他對 AI技術有了更深入的理解和追求。隨后,他積極做 TensorRT上的模型開發,特別是對ChatGLM/Bloom等新興模型進行了優化,感受到了 TensorRT的強大。
今年,他再次參加了 TensorRT Hackathon 2023,利用 TensorRT-LLM成功優化了QWen大模型,實現了自己的夢想。他感謝主辦方給予的機會,團隊的支持,以及所有參賽者的努力,他期待未來能與大家一起為 AI技術的發展創造更多奇跡。
人工智能應用場景創新日新月異,AI模型的開發與部署也需要注入新的動能。在此次賽事中,選手們基于TensorRT挖掘出更多的潛能和功能需求。未來,阿里云和NVIDIA還將持續為開發者和技術愛好者提供展示技能和創意的平臺,天池平臺將與更多優秀的開發者一同推進TensorRT的發展,讓 AI在 GPU上更容易、更高效地部署。
本文鏈接：http://www.tebozhan.com/showinfo-16-13883-0.html阿里云& NVIDIA TensorRT Hackathon 2023 決賽圓滿收官
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 特斯拉上海超級工廠成功出口煥新版Model 3至歐洲
下一篇： 英偉達與鴻海宣布聯手打造AI工廠
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號