1月初的一個早晨,京東智能客戶服務產品部緊急開會,進行關于尚未對外公布的“X項目”的初討論。
1月5日,這個神秘的X項目對外公布,京東成為央視2022年春晚獨家互動合作伙伴,保留項目“給全國人民發紅包”由京東承包了。
沒人會低估春晚的力量。即使是多次經歷京東618、京東11.11等高并發數億級流量洪峰的團隊,在全國十幾億觀眾面前仍然保持著緊張、謹慎、兢業。
“當時面臨很多未知,唯一確定的是,系統的穩定性和并發量要做到極致。”京東智能客服言犀團隊的軟件開發工程師彭定邦告訴「深響」,團隊里許多成員跟他有著相似的第一反應, “有點懵,又很緊張,也蠻興奮”。
春節前的京東內部
團隊最初的“懵”來自于這個任務的絕對難度。春晚有近13億的觀眾規模,脈沖式的流量高峰使其成為互聯網大廠技術能力的試煉場。紅包互動的峰值達到數億級別,加上愈加復雜的交互場景以及需要保障全國人民使用體驗的責任,都讓團隊壓力重重。
京東云自主研發的京東智能客服言犀(下稱言犀)在這場“戰役”中的重要性不言而喻——
言犀是京東結合語音語義、知識獲取與推理、情感智能、人機對話與交互、多模態內容智能、決策智能等AI技術和與全鏈條客戶服務場景深度融合打造的系列智能服務產品,已經在成熟支持電商等京東集團內部業務,能力也開始輸出給外部的合作伙伴。
作為與用戶直接聯絡接觸的端口,言犀是超大規模流量的“接待員”,除了應對常規客服問詢,在春節春晚的特殊背景下,言犀還需要做得更多:回答用戶“春晚活動規則”、“如何查看春晚獎勵”、“如何使用春晚紅包”。又因為是消費紅包,言犀要為紅包使用的售后、物流環節提供服務,還要針對春節這個對所有華人來說特殊的時間節點做節日氛圍渲染。
這場春晚注定是京東智能交互服務的“成人禮”,年貨節啟動至春晚結束,言犀共計服務5.5億次,為16.5萬商家提供1億次服務,物流大件外呼累計290萬通,將能力最大化展現給了全國人民。
言犀團隊如何在短時間內完成任務抗住考驗?此次項目背后有怎樣積年累月技術和產品服務經驗沉淀?在AI商業化進入快車道,帶來更多想象力的當下,京東智能客服的能力如何外延拓展?
燈火通明的京東園區
嘀嗒,嘀嗒,嘀嗒,春晚倒計時開始。 留給團隊的時間不到一個月。
時間緊張,激動的情緒必須平復下來,各項部署和拉齊開始爭分奪秒地進行,言犀團隊內部成立“SWAT快速反應部隊”備戰。這是一個由內部經驗豐富的核心業務骨干組成的小組,包括算法、產品、工程以及測試整個條線的工作人員。
其中有經歷過20次備戰的京東老員工,也有年輕的新鮮血液:負責系統研發的梁仕強、馬浩,架構師彭定邦,負責應答機器人算法的俞曉光,負責春晚策略設計、優化的產品經理李楊晶、關力,負責質量保障和性能壓測的張大建......這個名單很長。
京東集團副總裁何曉冬對項目進行前期部署
得益于數次京東618、京東11.11等大促的經驗,言犀團隊節奏穩健,周六啟動、周日盤點、周一就拉齊團隊進行了計劃制定。但是相比往年的大促,春晚還是有其特殊性,難點拆解下來主要有三點:
首先是對流量動態和峰值的預測。
經過與業務方以及有過春晚紅包項目經驗的團隊的交流,考慮到春晚流量峰值巨大,且相較大促累計持續時間更長,當晚包含7輪互動活動。為了保險起見,團隊需完成的目標是達到可以一秒內同時承接上萬人的咨詢。
用何曉冬的話說,“這次春晚項目應該屬于人機對話與交互應用的珠穆朗瑪峰了”。
作為業內頂級的AI科學家,何曉冬見證了深度學習及人工智能技術迎來新一輪爆發,也經歷了數個618、11.11,但春晚卻是第一次。
其次,在智能客服自主應答的完成度上,面向全國人民的春晚項目需要更高。
雖然言犀已經在服務京東超5億的消費者以及商家,平日里,可以承擔起六七成的咨詢量,做到獨立接待。但是春晚的峰值讓大規模人員調度成為不可能的事,因此,95%的咨詢量都將由機器人來支撐,而且要做到“接的起、答得上、答得好”。這無疑是對言犀整套系統性能、架構的挑戰。
第三,在體驗和功能上,雖然言犀已經可以支撐內部業務需求。但是春晚是個之前從未做過的場景,對模型的通用性和遷移性而言是考驗。
而且,言犀在春晚不僅僅是個App客服的角色,還要修煉新技能跟用戶互動營造節日氛圍,比如對對聯、猜燈謎等,讓科技的呈現更有年味兒。
科技與年味兒
雖說任務艱巨,但是士氣高漲,畢竟春晚項目對于每個技術人來說也是不可多得的一次鍛煉機會。辦公室里掛起了數條紅底橫幅,“一起干件大事,不負每份熱愛”,“智能客服就看言犀,對話服務永不宕機”......
這個除夕夜,很多京東人早早就做好了留守公司保障春晚項目的準備。親人在家看春晚,自己在“守護”他們的紅包,也是一種團圓。
值班員工給父母拜年
春晚紅包從來不缺戲劇性的故事,歷屆春晚互動合作伙伴除了獲得充足的流量,同時也會帶來不小的技術壓力。
反觀京東的部署,其關鍵詞或許是“從容”。
多年以來,京東內部要求大促備戰常態化,面對京東618、京東11.11,甚至春晚,團隊并不會有超常規的動作。常態化方案的應對,200%重視的心態?!拔覀兊南到y隨時可以上大戰場,來之即戰,戰之必勝,這是現在這個團隊所具備的能力?!本〇|智能客服前臺產品與運營部總經理劉丹在與「深響」的對話中表示。
言犀團隊在工作中
從容不迫的態度背后是技術和經驗沉淀帶來的底氣。哪有什么天賦異稟,不過是百煉成鋼。
面對春晚的流量洪峰,以及春晚活動疊加日常網購業務的復雜場景,京東做到了“開源節流”,通過云原生技術,實現快速彈性的資源配備,全過程沒有增加一臺服務器。
資源有效利用對各個環節的運行而言是最底層的保障,讓齒輪真正轉動了起來,在應用、體驗上游刃有余地去做研發。
接到任務之后,擺在言犀團隊眼前的問題就是如何拆解本次任務?
言犀的算法工程師俞曉光詳細解釋了背后的秘密:
第一,言犀長期積累的數據強化技術就發揮了作用,通過深度生成模型,結合大模型預訓練、意圖一致性約束、多任務學習、受限解碼等技術,能夠無中生有地產出海量語料,大大提升了模型的覆蓋度和識別意圖的精準度。
第二,模型本身有泛化、遷移能力,意思是說,可以從其他領域積累的知識點基礎上進行調整。這跟人的學習過程可以類比,從小學到大學,每一步并非完全從零開始,而是在之前的知識和思考模式基礎上進階。
言犀通過模型蒸餾、模型量化、優化線上實時推理引擎等方式,將大規模預訓練語言模型蒸餾為輕量級預訓練模型,從而在保證效果不出現顯著損失的前提下,模型的推理速度和并發性能得到10倍左右的提升,最終在資源、性能、效果三者取得一個比較好的平衡點。
在春晚之前的一次對話中,當被問到對于這次項目的準備能打幾分時,俞曉光自信地說“當然是100分”。
作為在智能客服團隊8年的元老,他一路看著言犀從“小孩”到“成人”的進化,從摸索著做簡單的文本一問一答,到產生有上下文能力的真正對話,到能力繼續外延,可以做到識別意圖,主動服務。言犀變得越來越流暢,越來越“聰明”。而春晚這個特殊的項目,就是言犀的一次“成人禮”。
技術團隊的備戰
AI的情感智能也是這次近幾年言犀發力的重點目標之一。智能客服這類服務被用戶詬病的無非就是兩點,一是不夠準確,二是太機械化。隨著言犀的IQ在提升,EQ也在進步。
“京東的情感智能,是在解決問題的能力之上提供溫暖。”言犀的產品經理李楊晶說。
舉個簡單的例子,這種帶有人情味的服務體現在,當用戶催促快遞時,客服不僅僅會說“請不要著急,我正在幫您催”,也會主動在某個時間點接觸用戶,告訴他物流的進展或是送上代金券作為補償。在這次春晚紅包項目中,言犀也有識別情緒的能力,像人一樣去安撫、開玩笑,但都建立在能解決問題的基礎之上。
按著制定好節奏走,從容,但不松懈。打磨持續進行中,團隊通過一輪輪壓測發現問題,優化系統瓶頸,也為春晚設計了多個應急預案。在正式上線前,團隊進行了不止7次壓測。
春晚尚未來到的時候,讓子彈再飛一會兒。
《難忘今宵》熟悉的旋律響起,晚會圓滿結束,近2000名在公司度過除夕夜的京東工程師們懸著的心也隨之放下。
春晚4個多小時,京東APP紅包累計互動量達691億次,順利通過這次最強考驗。不少網友馬上在社交媒體上曬出自己搶到的紅包和使用訂單,分享“薅”到了羊毛的開心。把紅包和優惠順暢地給到全國人民,不就是這半個多月以來這群京東人備戰的目標嗎?
但對于言犀來說,這既不是起點,也不是終點。
著眼整個智能客服行業,因其成本低、可24小時在線、服務標準化等天然優勢,普及范圍逐年擴大,應用場景多元,行業規模不斷擴大。據艾媒咨詢數據顯示,2020年中國人工智能核心產業規模達到1500億元,預計2030年將達到1萬億元,隨之,2021年中國智能客服行業整體市場規模預計超過了400億元。智能客服作為企業AI應用的重要分支,保守估計占比20%。
許多正處于數字化浪潮中行業也將智能客服作為降本增效的手段之一。政務、金融、零售等等行業的客戶希望看到應答能力更強、解決問題效率更高的智能客服,并與原有的數字化系統形成耦合。
隨著行業的發展,智能客戶服務還不止于傳統客服。
它可以滿足服務、營銷、運營一體化需求,并且能夠貫穿服務客戶的全生命周期。隨著AI技術的成熟,客戶服務從一個傳統上的成本項走向利潤的創造,可以與營銷、獲客相結合,提升用戶粘性。還可以通過人機協作,提供最好的客戶體驗。
要滿足這樣的需求,技術、行業認知、服務,都是必要條件。
近年來,京東科技智能客戶服務產品部從微軟、蘋果等科技巨頭吸收人才,在各大國際級學術會議發表論文220余篇,創造了260余項技術突破和創新,獲得國內外權威科技獎項60余個,多次獲得人工智能領域國際大賽冠軍,團隊也在實戰中歷練,不斷優化算法和模型。
經過多年沉淀,言犀這套智能對話與交互系統,已經涵蓋了“在線咨詢機器人”、“語音外呼”、“語音導航”、“語音應答”、“數字人”以及面向商家的“京小智”服銷一體化智能SaaS產品。
行業認知層面,言犀首先經過京東內部業務的驗證,在零售場景具有極強的優勢。而且在2019年開啟商業化后, 通過一個又一個實際案例,在政務、金融、零售、泛互等各個行業積累、完善有強復用性的場景經驗。
言犀為京東首個智能數字人客服芊言
提供了智能多模態交互技術
為滿足客戶快速部署的需求,言犀系統高度模塊化,能與原業務系統兼容,從而能高效交付。隨著商業化步伐的加快,邊際成本遞減效益越來越明顯,更低的部署成本讓言犀的大規模商用成為可能。例如針對春晚活動的知識庫配置,提供了一套全自動分析的流程,完善了線上識別、實時數據挖掘、新語料的解決方案,3分鐘即可快速上線,保障了活動期間識別和應答無空白區域。
春晚項目是最新的實證。成功抗住春晚這個史上最高的智能人機對話與交互的SaaS流量洪峰是京東AI技術產品化發展路上的一個里程碑??偨Y京東的這場備戰,堅實的底層技術支持、先進的算法模型、運營和產品體驗的精細化、團隊的備戰經驗和精神, 缺一不可。
一次春晚,也讓更多人了解到了智能客服產品現在的水平和能力,“他們”早就不是人們印象中的那個“聽不懂話的客服了”。
隨著AI不斷深入和落地,像京東這樣有業務、有場景的公司正在展示出更大的智能未來前景。一方面是對前沿技術的迅速應用,另一方面則是在落地應用和數據迭代中,創造出更強的模型和研究成果。
言犀將如何進化?技術人的攻堅和場景需求正在不斷碰撞出新的火花。
本文鏈接:http://www.tebozhan.com/showinfo-40-112-0.html智能人機交互技術的春晚大考
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 元宇宙時代NFT的價值衡量
下一篇: 百度元宇宙希壤是什么?(附下載)