5月iOS設(shè)備好評榜：iPhone 14僅排第43？
來到新的一月，安兔兔的各個榜單又重新匯總了數(shù)據(jù)，像安卓陣營的榜單都有著比較大的變動，不過iOS由于設(shè)備的更新?lián)Q代并沒有那么快，所以相對來說變化并不大，特別是iOS好評榜，老款設(shè)
從ChatGPT發(fā)布后的一段時間，我們見證了大型語言模型（LLM）爆炸式增長，在來自四面八方的消息中，我們了解了大模型似乎在不斷滲透到各行各業(yè)，改變著生產(chǎn)模式。但，在實際行業(yè)應(yīng)用上還是很難跟上所有技術(shù)上已經(jīng)取得的發(fā)展，數(shù)據(jù)安全以及大量的硬件資源需求等方面成了大模型應(yīng)用落地過程中經(jīng)常需要討論的重要內(nèi)容，本地運行開源LLM也成為了熱門方案。
大模型參數(shù)的大小從一個層面反映了模型的能力，但是，實際應(yīng)用真的必須用到那么大參數(shù)的大模型嗎？
比較實在的思路是：用較少的資源，在本地搭建較小的模型，為某些場景提供大模型的某些方面的能力。這種方式可以根據(jù)需要選擇適合場景的模型，同時也能夠確保數(shù)據(jù)限制在自己的網(wǎng)絡(luò)空間。
搭建本地大模型的關(guān)鍵內(nèi)容：
（1）哪里下載開源大模型？
Huggine Face可以說是大模型的集中營。可以下載到各種開源模型庫。
（2）如何部署大模型？
部署大模型的方式很多，其中一個比較簡單的方式是使用一些框架工具，例如：LangChain、Ollama。其中Ollama是一個開源的大模型服務(wù)工具，使用起來非常簡單，旨在為用戶提供本地化的運行環(huán)境，滿足個性化的需求。
其實，Ollama已經(jīng)提供了許多流行的大模型可以選擇。
而，Huggine Face目前擁有超過25萬的大模型，最新、最全的開源大模型應(yīng)該都在里面，選擇性更多。
下面主要介紹如何利用Ollama從Huggine Face安裝自定義模型。
以模型Llama3-8B-Chinese-Chat為例，步驟如下：
（1）下載安裝Ollama，并確保您已安裝Ollama并正在運行。
ollama的下載地址：
https://ollama.com/br（2）去Huggingface網(wǎng)站下載模型的GGUF。
https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bitbr（3）創(chuàng)建一個模型描述文件，并輸入必要的東西。
創(chuàng)建一個名為 Modelfile 的文件，并使用 FROM 指令，填寫的模型的本地文件路徑。Modelfile文件中還可以添加系統(tǒng)提示詞以及各項參數(shù)：
# ModelfileFROM "./Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf"# set the temperature to 1 [higher is more creative, lower is more coherent]PARAMETER temperature 1#許多聊天模式需要提示模板才能正確回答。默認提示模板可以使用TEMPLATE中的Modelfile指令指定TEMPLATE "[INST] {{ .Prompt }} [/INST]"br(4)從這個模型文件中創(chuàng)建一個模型，并在終端中本地運行它。
創(chuàng)建大模型：
ollama create llama3_chinese example -f Modelfilebr運行大模型：
ollama run llama3_chinesebr具體的過程也可以參考Ollama的文檔：
本文鏈接：http://www.tebozhan.com/showinfo-26-87493-0.html如何在Ollama創(chuàng)建自定義模型？構(gòu)建本地大模型
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號