直屏旗艦來(lái)了 iQOO 12和K70 Pro同臺(tái)競(jìng)技
旗艦機(jī)基本上使用的都是雙曲面屏幕，這就讓很多喜歡直屏的愛(ài)好者在苦等一款直屏旗艦，這次，你們等到了。據(jù)博主數(shù)碼閑聊站帶來(lái)的最新爆料稱，Redmi下代旗艦K70 Pro和iQOO 12兩款手
效率相關(guān)部門的合作，多維度打標(biāo)總正確率取得 2 倍以上提升。利用大模型開(kāi)辟了新的業(yè)務(wù)，提升了效率部門的人力產(chǎn)出。
某業(yè)務(wù)訂單 NPS 的識(shí)別準(zhǔn)確率由 70% (PROMPT 方式)提升到 85% (平臺(tái)訓(xùn)練大模型) 。
本文基于我們與業(yè)務(wù)合作的經(jīng)驗(yàn)，將分享如何在大模型平臺(tái)上實(shí)現(xiàn)業(yè)務(wù)效果指標(biāo)提升。我們將以大模型平臺(tái)上從訓(xùn)練到推理部署的全鏈路流程為基礎(chǔ)，提供優(yōu)化思路，最終達(dá)成業(yè)務(wù)效果指標(biāo)的提升。這些流程包括大模型選擇、數(shù)據(jù)準(zhǔn)備、大模型訓(xùn)練、效果評(píng)估和推理部署。
圖片
我們期望更多的業(yè)務(wù)方能與大模型平臺(tái)合作，以實(shí)現(xiàn)業(yè)務(wù)效果的提升。
自然語(yǔ)言處理：例如文本分類、情感分析、機(jī)器翻譯等，這些應(yīng)用可以幫助人們更好地理解和處理不同的語(yǔ)言文本，提高準(zhǔn)確率。
文本生成和摘要：例如新聞報(bào)道、廣告文案、科技論文摘要等，這些應(yīng)用可以通過(guò)對(duì)文本內(nèi)容的分析和理解，自動(dòng)生成符合語(yǔ)法和語(yǔ)義規(guī)則的文本內(nèi)容。
智能問(wèn)答系統(tǒng)：例如智能客服、在線教育等，這些應(yīng)用可以通過(guò)對(duì)問(wèn)題的理解和分析，自動(dòng)回答用戶的問(wèn)題。
社交媒體分析：例如情感分析、主題分類等，這些應(yīng)用可以通過(guò)對(duì)社交媒體文本內(nèi)容的分析和理解，提取出其中的情感、主題等信息，幫助企業(yè)了解用戶的反饋和情感傾向。
此外還有一些行業(yè)大模型的應(yīng)用場(chǎng)景，比如，法律大模型可以提供專業(yè)的法務(wù)咨詢，醫(yī)療大模型可以提供醫(yī)療咨詢等場(chǎng)景，Code 大模型可以專業(yè)去做編碼等工作。
目前企業(yè)內(nèi)在很多業(yè)務(wù)場(chǎng)景中都有對(duì)接，而且取得不錯(cuò)的效果，比如：智能問(wèn)答，商品評(píng)論信息分析，自動(dòng)化編碼等場(chǎng)景。
1. 使用 PROMPT 工程：
通過(guò)設(shè)計(jì)具有引導(dǎo)性的輸入提示詞，可以調(diào)整大模型的狀態(tài)，使其能夠按照特定的方式響應(yīng)新的輸入數(shù)據(jù)。比如在文本生成任務(wù)中，可以設(shè)計(jì)一些特定的提示詞，讓大模型生成符合要求的文本。
2. 微調(diào)訓(xùn)練大模型：
這是一種使用特定任務(wù)的標(biāo)簽數(shù)據(jù)來(lái)訓(xùn)練大模型的方法。首先需要準(zhǔn)備相應(yīng)的數(shù)據(jù)集，然后將預(yù)訓(xùn)練的大模型作為基礎(chǔ)模型進(jìn)行訓(xùn)練。完成訓(xùn)練后，可以對(duì)模型進(jìn)行評(píng)估，并根據(jù)評(píng)估結(jié)果進(jìn)行優(yōu)化或調(diào)整。最后，將微調(diào)后的模型部署到實(shí)際應(yīng)用中。
大模型訓(xùn)練與推理平臺(tái)主要提供微調(diào)訓(xùn)練的方式接入大模型。經(jīng)過(guò)微調(diào)訓(xùn)練的大模型通常在效果指標(biāo)上明顯優(yōu)于直接使用 PROMPT 工程，這得到了我們與業(yè)務(wù)方的充分驗(yàn)證支持。在之前使用 PROMPT 工程接入的業(yè)務(wù)中，轉(zhuǎn)向微調(diào)訓(xùn)練后，效果顯著提升。例如，在某業(yè)務(wù)訂單 NPS 的識(shí)別準(zhǔn)確率方面，之前基于 PROMPT 與各種工程優(yōu)化，準(zhǔn)確率最多 70%，轉(zhuǎn)由大模型微調(diào)訓(xùn)練后，可以提升到 85%。
圖片
開(kāi)源系列的大模型是指開(kāi)源了模型的參數(shù)和部分訓(xùn)練數(shù)據(jù)，使用戶能夠下載模型并進(jìn)行進(jìn)一步的微調(diào)訓(xùn)練。例如：
Llama2 系列，由 Meta 公司提供，開(kāi)源了模型參數(shù)和訓(xùn)練論文。
Llama2 生態(tài)系列，指的是各組織在 Llama2 的基礎(chǔ)上進(jìn)行微調(diào)訓(xùn)練，以獲得更好的效果，然后進(jìn)一步將其開(kāi)源。當(dāng)前一些不錯(cuò)的開(kāi)源系列包括 Vicuna 系列、XinLM 系列、WizardLM 系列、UltraLM 系列等。
國(guó)內(nèi)開(kāi)源系列，國(guó)內(nèi)一些廠商也會(huì)自己去訓(xùn)練一些大模型開(kāi)源，效果也不錯(cuò)。比如：QianWen 系列，BaiChuan 系列等等。
行業(yè)大模型系列是指一些組織基于開(kāi)源大模型進(jìn)行領(lǐng)域特定的微調(diào)訓(xùn)練，以在特定行業(yè)領(lǐng)域獲得良好的效果，然后將這些模型進(jìn)行開(kāi)源分享。這種做法可以滿足特定行業(yè)的需求，例如法律領(lǐng)域、金融領(lǐng)域、醫(yī)療領(lǐng)域等。這些行業(yè)大模型可以更好地適應(yīng)特定領(lǐng)域的任務(wù)和語(yǔ)境，提供更準(zhǔn)確的結(jié)果，因此在相關(guān)行業(yè)中非常有價(jià)值。
評(píng)測(cè)的題目又可以分為客觀題與主觀題，客觀題主要看回答的是否正確，主觀題則需要評(píng)測(cè)回答的質(zhì)量等。
圖片
下面我們介紹下一些常用的大模型評(píng)測(cè)方式。
圖片
下面是最近 AlpacaEval 的大模型評(píng)分排行榜單。
圖片
圖片
在通用場(chǎng)景，例如情感分析、機(jī)器翻譯和文本摘要等，您可以選擇通用大模型。可以查看一些評(píng)分排行榜，如 AlpacaEval，或其他排行榜如 MMLU、CMMLU、CEVAL 等，以了解一些性能良好的大模型。一旦選擇了大模型，您也可以在大模型平臺(tái)上重新運(yùn)行評(píng)分以便進(jìn)行進(jìn)一步驗(yàn)證。
對(duì)于專業(yè)領(lǐng)域，如法務(wù)、醫(yī)療和編程等，您需要關(guān)注領(lǐng)域?qū)Ｓ玫拇竽Ｐ汀＠纾诰幊填I(lǐng)域，您可以查看大模型在 HuamEval 上的評(píng)分來(lái)作出選擇。這將有助于確保模型在特定行業(yè)場(chǎng)景中的性能和適用性。
以 Alpaca 格式為例，指令調(diào)優(yōu)的數(shù)據(jù)通常具有以下格式：
{ "instruction": "簡(jiǎn)單解釋人工智能的概念。", "input": "", "output": "人工智能（Artificial Intelligence，簡(jiǎn)稱AI）是指用計(jì)算機(jī)程序來(lái)模擬人類智能的過(guò)程。它是一種能讓計(jì)算機(jī)或程序在執(zhí)行任務(wù)時(shí)表現(xiàn)出類似人類智能的技術(shù)。人工智能包括了機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、語(yǔ)音識(shí)別和計(jì)算機(jī)視覺(jué)等領(lǐng)埴。簡(jiǎn)言之，人工智能就是賦予計(jì)算機(jī)類似人類的思維和行為能力。" }在這個(gè)示例中，"instruction"表示輸入的指令，"input"表示您的輸入，而"output"則是由大模型生成的答復(fù)。因此，進(jìn)行大模型的訓(xùn)練需要準(zhǔn)備符合這種格式的指令調(diào)優(yōu)數(shù)據(jù)，而這些數(shù)據(jù)應(yīng)該與您的具體業(yè)務(wù)相關(guān)。
圖片
大模型的訓(xùn)練數(shù)據(jù)通常分為兩類：通用數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)。通用數(shù)據(jù)，例如 GPT4-Cleaned 數(shù)據(jù)，主要用于提高大模型的泛化能力。另一類是業(yè)務(wù)數(shù)據(jù)，通常是業(yè)務(wù)方自己獨(dú)有的數(shù)據(jù)。在訓(xùn)練過(guò)程中，通常會(huì)將這兩種類型的數(shù)據(jù)按照一定的比例混合在一起進(jìn)行訓(xùn)練。
此外，在數(shù)據(jù)準(zhǔn)備過(guò)程中，強(qiáng)調(diào)一個(gè)非常重要的原則：數(shù)據(jù)質(zhì)量將直接影響模型的效果。因此，確保數(shù)據(jù)的質(zhì)量和準(zhǔn)確性對(duì)于獲得良好的模型性能至關(guān)重要。
圖片
上圖展示了一個(gè)完整的大模型訓(xùn)練過(guò)程，從大模型選擇到應(yīng)用于業(yè)務(wù)場(chǎng)景，通常包括三個(gè)階段：
在前述步驟中，已經(jīng)完成了基礎(chǔ)大模型的選擇，這些模型是經(jīng)過(guò)預(yù)訓(xùn)練的。因此，在大多數(shù)情況下，您確實(shí)無(wú)需再次進(jìn)行預(yù)訓(xùn)練。通常，您只需要準(zhǔn)備好業(yè)務(wù)指令數(shù)據(jù)，然后進(jìn)行指令調(diào)優(yōu)即可，以使大模型適應(yīng)和優(yōu)化特定的業(yè)務(wù)場(chǎng)景和需求。這簡(jiǎn)化了訓(xùn)練流程，使其更加高效和針對(duì)性。
1. 如何開(kāi)啟訓(xùn)練
圖片
在大模型平臺(tái)上，用戶可以按照以下步驟迅速啟動(dòng)大模型訓(xùn)練并進(jìn)行自動(dòng)部署：
2. 訓(xùn)練結(jié)果評(píng)估
圖片
在前面的大模型選型過(guò)程中，我們介紹了如何使用通用數(shù)據(jù)集進(jìn)行大模型的通用評(píng)測(cè)。類似地，一旦業(yè)務(wù)方完成了微調(diào)訓(xùn)練，他們需要設(shè)置業(yè)務(wù)相關(guān)的測(cè)試集，并進(jìn)行與業(yè)務(wù)相關(guān)的指標(biāo)評(píng)測(cè)，以確保模型在特定業(yè)務(wù)場(chǎng)景下的性能和效果。這個(gè)業(yè)務(wù)相關(guān)的評(píng)測(cè)是確保模型在實(shí)際應(yīng)用中能夠滿足預(yù)期需求的關(guān)鍵步驟。
目前的推理加速方案有哪些
圖片
當(dāng)前業(yè)界對(duì)大模型部署加速的技術(shù)如下：
一些常見(jiàn)的優(yōu)化框架，如 AWQ（用于量化）、GPTQ（用于量化）、VLLM（包括PageAttention）、TGI（包括PageAttention和FlashAttention）、Tensorrt-llm（用于算子融合和 PageAttention）等，可以幫助加速大模型的部署，并提高性能。這些技術(shù)和框架是業(yè)界在大模型部署方面的一些關(guān)鍵進(jìn)展。
如何選擇推理加速方案
圖片
在大模型平臺(tái)上，您實(shí)際上無(wú)需擔(dān)心選擇加速方案。這是因?yàn)槠脚_(tái)會(huì)根據(jù)業(yè)界的技術(shù)進(jìn)展和業(yè)務(wù)中所需的大模型場(chǎng)景進(jìn)行評(píng)估，并自動(dòng)為您選擇當(dāng)前最優(yōu)的推理方案。比如 VLLM，Tensorrt-llm 等。
目前，我們已經(jīng)與超過(guò) 10 個(gè)業(yè)務(wù)領(lǐng)域合作，涵蓋了自然語(yǔ)言處理、文本生成、智能問(wèn)答等領(lǐng)域，并取得了顯著的業(yè)務(wù)成果。我們鼓勵(lì)大家積極探索大模型平臺(tái)，以提高業(yè)務(wù)效果。
由于大模型社區(qū)持續(xù)發(fā)展，未來(lái)必定會(huì)涌現(xiàn)出更先進(jìn)的微調(diào)訓(xùn)練和量化部署技術(shù)。我們將密切關(guān)注這些進(jìn)展，如果發(fā)現(xiàn)新方法在效果和性能方面優(yōu)于目前支持的方法，我們將及時(shí)將其整合到平臺(tái)的框架中。
本文鏈接：http://www.tebozhan.com/showinfo-26-35294-0.html得物大模型平臺(tái)，業(yè)務(wù)效果提升實(shí)踐
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 圖像搜索的新紀(jì)元：Milvus與CLIP模型相伴的搜圖引擎
下一篇： Python 中的單下劃線和雙下劃線
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)