10億基金，李彥宏呼喚下一個AI獨角獸
©?深響原創(chuàng) · 作者｜何文 AI太熱了。 在海外，OpenAI估值已超270億美元、英偉達市值破萬億、微軟把GPT整合進了全線產(chǎn)品。在國內(nèi)，百度、阿里、華為、商湯等大公司，以及
11 月 11 日消息，圖夫茨大學的研究人員發(fā)現(xiàn)，大型語言模型在對話中的“插話”方面普遍表現(xiàn)不佳，這限制了它們的對話能力。
據(jù)了解，2024 年 11 月 12 日至 16 日在邁阿密舉行的自然語言處理經(jīng)驗方法會議（EMNLP 2024）上，圖夫茨大學的語言學和計算機科學研究人員將介紹一項研究，該研究揭示了人工智能對話能力的不足之處，并指出了改進其對話能力的可能途徑。這項研究結(jié)果已發(fā)表在 arXiv 預(yù)印本服務(wù)器上。
人類在對話中通常會避免同時說話，輪流發(fā)言和傾聽。每個人都會評估許多輸入線索，以確定語言學家所謂的“話輪轉(zhuǎn)換點”（TRP），可以理解為插話的合適時機。TRP 在對話中經(jīng)常出現(xiàn)，許多時候我們會略過一個 TRP，讓說話者繼續(xù)。其他時候，我們會利用 TRP 來輪流發(fā)言，分享我們的想法。
長期以來，人們認為對話中的“副語言”信息 —— 語調(diào)、單詞和短語的延長、停頓和一些視覺線索 —— 是識別 TRP 最重要的信號。然而，圖夫茨大學心理學和計算機科學教授 JP de Ruiter 表示，如果去掉單詞，只給人們提供韻律 —— 就像你隔著襪子說話時傳出的那種言語的旋律和節(jié)奏，他們就無法再察覺出合適的 TRP。
相反，如果只以單調(diào)的語音提供語言內(nèi)容，研究對象將在其中找到大部分與自然語音中相同的 TRP。這表明，對話中輪流發(fā)言最重要的線索是語言內(nèi)容本身，而停頓和其他線索并不那么重要。
人工智能擅長檢測內(nèi)容中的模式，但無法以接近人類的能力檢測到合適的 TRP。
原因在于 AI 的訓(xùn)練數(shù)據(jù)。大型語言模型，包括最先進的 ChatGPT，都是基于互聯(lián)網(wǎng)上的大量書面內(nèi)容進行訓(xùn)練的，包括維基百科條目、在線討論組、公司網(wǎng)站、新聞網(wǎng)站等。
這些數(shù)據(jù)集中缺少大量轉(zhuǎn)錄的口語對話，這些對話是即興的，使用更簡單的詞匯和更短的句子，結(jié)構(gòu)也與書面語言不同。AI 不是在對話中“成長”起來的，因此它沒有能力以更自然、更人性化的方式建模或參與對話。
研究人員認為，可以通過對基于書面內(nèi)容訓(xùn)練的大型語言模型進行微調(diào)，并用一小組對話內(nèi)容進行額外訓(xùn)練，使其能夠更自然地參與新的對話。然而，當他們嘗試這樣做時，發(fā)現(xiàn)仍然存在一些限制，無法完全復(fù)制人類般的對話。
研究人員警告稱，AI 進行自然對話可能存在根本性的限制。它們是基于膚淺的統(tǒng)計相關(guān)性來預(yù)測下一個單詞，但輪流發(fā)言涉及到從對話更深層次的語境中汲取信息，也就是說，AI 可能無法真正理解對話的語境和意圖。
研究人員表示，可以通過對大型語言模型進行預(yù)訓(xùn)練，使其在更大規(guī)模的自然口語語料庫上進行訓(xùn)練，從而克服這些限制。然而，收集如此規(guī)模的數(shù)據(jù)來訓(xùn)練今天的 AI 模型仍然是一個重大挑戰(zhàn)。與互聯(lián)網(wǎng)上的書面內(nèi)容相比，可用的對話錄音和轉(zhuǎn)錄數(shù)量要少得多。
本文鏈接：http://www.tebozhan.com/showinfo-45-9422-0.html研究揭示 AI 對話方面的缺陷：不知道何時該插話
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號