讓我們一起聊聊文件的操作
文件【1】文件是什么？文件是保存數(shù)據(jù)的地方，是數(shù)據(jù)源的一種，比如大家經(jīng)常使用的word文檔、txt文件、excel文件、jpg文件...都是文件。文件最主要的作用就是保存數(shù)據(jù)，它既可以保
使用LangChain開(kāi)發(fā)LLM應(yīng)用時(shí)，需要機(jī)器進(jìn)行GLM部署，好多同學(xué)第一步就被勸退了，那么如何繞過(guò)這個(gè)步驟先學(xué)習(xí)LLM模型的應(yīng)用，對(duì)Langchain進(jìn)行快速上手？本片講解3個(gè)把LangChain跑起來(lái)的方法，如有錯(cuò)誤歡迎糾正。
Langchain官方文檔地址：https://python.langchain.com/
LLM 調(diào)用
Prompt管理，支持各種自定義模板
擁有大量的文檔加載器，比如 Email、Markdown、PDF、Youtube …
對(duì)索引的支持
Chains
詳細(xì)地址可參考：https://www.langchain.cn/t/topic/35
為了節(jié)約時(shí)間,直接上代碼
import osfrom decouple import configfrom langchain.agents import initialize_agentfrom langchain.agents import AgentTypefrom langchain.agents import load_tools這里mock下ChatGPT,使用mockLLm
#from langchain.llms import OpenAIfrom langchain.llms.fake import FakeListLLMos.environ["OPENAI_API_KEY"] = config('OPENAI_API_KEY')REPL 是 “Read–Eval–Print Loop”（讀取-求值-打印-循環(huán)）的縮寫(xiě)，它是一種簡(jiǎn)單的、交互式的編程環(huán)境。
在 REPL 環(huán)境中，用戶可以輸入一條或多條編程語(yǔ)句，系統(tǒng)會(huì)立即執(zhí)行這些語(yǔ)句并輸出結(jié)果。這種方式非常適合進(jìn)行快速的代碼試驗(yàn)和調(diào)試。
tools = load_tools(["python_repl"])responses=[ "Action: Python REPL/nAction Input: chatGpt原理", "Final Answer: mock答案"]llm = FakeListLLM(responses=responses)agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)agent.run("chatGpt原理2")from langchain.llms.human import HumanInputLLMfrom langchain.agents import load_toolsfrom langchain.agents import initialize_agentfrom langchain.agents import AgentTypefrom wikipedia import set_lang使用維基百科工具
tools = load_tools(["wikipedia"])這里必須要設(shè)置為中文url前綴，不然訪問(wèn)不了
set_lang("zh")初始化LLM
llm = HumanInputLLM(prompt_func=lambda prompt: print(f"/n===PROMPT====/n{prompt}/n=====END OF PROMPT======"))初始化agent
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)agent.run("喜羊羊")1）注冊(cè)賬號(hào)
2）創(chuàng)建Access Tokens
Demo： 使用模型對(duì)文檔進(jìn)行摘要
from langchain.document_loaders import UnstructuredFileLoaderfrom langchain.chains.summarize import load_summarize_chainfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain import HuggingFaceHubimport osfrom decouple import configfrom langchain.agents import load_tools這里mock下ChatGPT,使用HUGGINGFACEHUB
os.environ["HUGGINGFACEHUB_API_TOKEN"] = config('HUGGINGFACEHUB_API_TOKEN')導(dǎo)入文本
loader = UnstructuredFileLoader("docment_store/helloLangChain.txt")將文本轉(zhuǎn)成 Document 對(duì)象
document = loader.load()print(f'documents:{len(document)}')初始化文本分割器
text_splitter = RecursiveCharacterTextSplitter( chunk_size = 500, chunk_overlap = 0)切分文本
split_documents = text_splitter.split_documents(document)print(f'documents:{len(split_documents)}')加載 LLM 模型
overal_temperature = 0.1flan_t5xxl = HuggingFaceHub(repo_id="google/flan-t5-xxl", model_kwargs={"temperature":overal_temperature, "max_new_tokens":200} ) llm = flan_t5xxltools = load_tools(["llm-math"], llm=llm)創(chuàng)建總結(jié)鏈
chain = load_summarize_chain(llm, chain_type="refine", verbose=True)執(zhí)行總結(jié)鏈
chain.run(split_documents)作者：京東科技 楊建
來(lái)源：京東云開(kāi)發(fā)者社區(qū)
本文鏈接：http://www.tebozhan.com/showinfo-26-84-0.html把LangChain跑起來(lái)的三個(gè)方法
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)