5 月 9 日消息，阿里巴巴達(dá)摩院（湖畔實(shí)驗(yàn)室）、新加坡南洋理工大學(xué)等聯(lián)合提出了大模型知識鏈（CoK）框架。相比傳統(tǒng)的檢索增強(qiáng)生成（RAG）技術(shù)，該框架可實(shí)時(shí)檢索異構(gòu)知識源并逐步糾正推理錯誤，進(jìn)一步提高大模型問答知識型問題的準(zhǔn)確率，降低幻覺現(xiàn)象。相關(guān)論文入選正在奧地利維也納舉行的國際表征學(xué)習(xí)大會（ICLR 2024）。yTI28資訊網(wǎng)——每日最新資訊28at.com

“執(zhí)導(dǎo)了《El Tio Disparate》的阿根廷演員出生于哪一年？”面對此類需要多步推理的知識型問題，大模型可能會“胡言亂語”，給出看似符合邏輯，實(shí)則錯誤或并不存在的回答。這個問題被稱作大模型“幻覺”，極大制約了大模型的應(yīng)用場景。學(xué)界也在重點(diǎn)研究給大模型“外掛知識庫”的 RAG 等技術(shù)路線。yTI28資訊網(wǎng)——每日最新資訊28at.com

在論文《Chain-of-Knowledge: Grounding Large Language Models via Dynamic Knowledge Adapting over Heterogeneous Sources》中，達(dá)摩院領(lǐng)銜的聯(lián)合研究團(tuán)隊(duì)提出了一種名為“知識鏈”（Chain-of-Knowledge, CoK）的新框架，包括推理準(zhǔn)備、動態(tài)知識適應(yīng)和答案整合三個步驟。對于知識密集型問題，知識鏈先確定知識領(lǐng)域，并準(zhǔn)備若干中間推理步驟和相應(yīng)答案。如若這些初步結(jié)論沒有共識，知識鏈將實(shí)時(shí)檢索相應(yīng)知識領(lǐng)域內(nèi)的不同知識源，逐步生成、糾正推理步驟，給出最終答案。yTI28資訊網(wǎng)——每日最新資訊28at.com

yTI28資訊網(wǎng)——每日最新資訊28at.com

圖說：“知識鏈”（CoK）框架包括（I）推理準(zhǔn)備（II）動態(tài)知識適應(yīng)和（III）答案整合yTI28資訊網(wǎng)——每日最新資訊28at.com

與傳統(tǒng)的 RAG 相比，知識鏈框架創(chuàng)新性地設(shè)計(jì)了對推理分析過程的逐步糾錯，最大程度地防止錯誤層層傳導(dǎo)。有別于此前的大模型知識增強(qiáng)方案主要使用非結(jié)構(gòu)化數(shù)據(jù)源，知識鏈框架同時(shí)支持結(jié)構(gòu)化數(shù)據(jù)源，并引入了經(jīng)過指令微調(diào)的自適應(yīng)查詢生成器，從而更精準(zhǔn)地生成查詢語句，從知識源提取到有效信息。yTI28資訊網(wǎng)——每日最新資訊28at.com

在通用知識、醫(yī)學(xué)、物理、生物等多個領(lǐng)域的實(shí)驗(yàn)結(jié)果顯示，相比起思維鏈（Chain-of-Thought, CoT）方法，知識鏈框架可將大模型的回答準(zhǔn)確率平均提高 4.3%。對比 ReAct、Verify-and-Edit 等 RAG 方法，知識鏈也表現(xiàn)出穩(wěn)定的優(yōu)勢。據(jù)論文介紹，知識鏈有望連接各類大模型和不同格式的知識源，幫助解決隱私保護(hù)、知識源可靠性和快速信息更新等關(guān)鍵問題。yTI28資訊網(wǎng)——每日最新資訊28at.com

據(jù)介紹，ICLR 由圖靈獎得主、深度學(xué)習(xí)領(lǐng)軍人物 Yoshua Bengio 和 Yann LeCun 牽頭舉辦，是國際 AI 頂級學(xué)術(shù)會議之一。達(dá)摩院共有三篇大模型研究論文入選，另外兩篇涉及大模型推理長度外推、多語言安全等課題。yTI28資訊網(wǎng)——每日最新資訊28at.com

論文鏈接：https://openreview.net/forum?id=cPgh4gWZlzyTI28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-26-87525-0.html阿里達(dá)摩院提出“知識鏈”框架，逐步糾錯降低大模型幻覺

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： PITAKA x 偶遇 - 韋斯?安德森 | 全新色彩編織手機(jī)殼

下一篇： 電影《坂本龍一：杰作》定檔 5 月 31 日全國上映，記錄其生前最后一場鋼琴演奏音樂會