5月17日消息，谷歌在其I/O開發者大會上發布了最新的通用大語言模型PaLM2。據ITBEAR科技資訊了解，該模型的訓練數據幾乎是其上一代模型的5倍，達到了3.6萬億個令牌。PaLM2在編程、數學和創意寫作方面表現更為優秀，得益于其龐大的訓練數據。p6F28資訊網——每日最新資訊28at.com

谷歌此次發布的PaLM2模型采用了比之前版本多得多的令牌進行訓練。令牌是指訓練大語言模型所使用的單詞串，它們對于教導模型如何預測字符串中可能出現的下一個單詞至關重要。內部文件顯示，2022年發布的上一代模型PaLM僅使用了7800億個令牌，而PaLM2則提升到了3.6萬億個令牌。p6F28資訊網——每日最新資訊28at.com

盡管谷歌希望展示其人工智能技術的實力，并在搜索、電子郵件、字處理和電子表格等領域實現更高效的應用，但該公司并未公開披露訓練數據的具體規模和其他細節。與谷歌類似，微軟支持的OpenAI也對其最新的GPT-4大語言模型保密了細節信息。這兩家公司之所以保密，是因為它們都希望吸引那些希望通過聊天機器人直接獲取答案的用戶，從而在商業競爭中占據優勢。p6F28資訊網——每日最新資訊28at.com

然而，隨著人工智能軍備競賽的白熱化，一些研究人員呼吁企業增加透明度。雖然谷歌聲稱新模型比之前的大語言模型更小，但其技術效率卻得到提升，能夠完成更復雜的任務。根據內部文件顯示，PaLM2是基于3400億個參數進行訓練的，而初始版本的PaLM則基于5400億個參數。p6F28資訊網——每日最新資訊28at.com

據谷歌在一篇關于PaLM2的博文中介紹，該模型采用了一種名為“計算機優化擴張”的新技術，使得大語言模型具備更高的效率和整體性能，包括加快推理速度、減少參數調用和降低服務成本。p6F28資訊網——每日最新資訊28at.com

此次發布的PaLM2模型針對100種語言進行了訓練，能夠執行更廣泛的任務，并已被應用于谷歌的25個功能和產品，包括實驗性聊天機器人Bard。PaLM2共有四個規模，從小到大分別是壁虎(Gecko)、水獺(Otter)、野牛(Bison)和獨角獸(Unicorn)。p6F28資訊網——每日最新資訊28at.com

根據公開披露的信息來看，PaLM2比現有的任何模型都更加強大。Facebook在今年2月宣布的LLaMA大語言模型僅采用了1.4萬億個令牌進行訓練。而OpenAI在披露GPT-3訓練規模時表示，其當時基于3000億個令牌進行訓練。今年3月，OpenAI發布GPT-4時宣稱其在許多專業測試中展示出與人類媲美的表現。p6F28資訊網——每日最新資訊28at.com

LaMDA是谷歌兩年前推出的對話型大語言模型，今年2月與Bard一同亮相。該模型基于1.5萬億個令牌進行訓練。p6F28資訊網——每日最新資訊28at.com

隨著新的人工智能應用快速進入主流，圍繞底層技術的爭議也日益激烈。谷歌高級研究科學家艾爾·邁赫迪·艾爾·麥哈麥迪(El Mahdi ElMhamdi)今年2月辭職，其中一個主要原因是人工智能技術缺乏透明度。本周二，OpenAI的CEO山姆·阿爾特曼(SamAltman)在美國國會舉行的隱私和技術聽證會上表示，我們需要建立一套新的制度來應對人工智能潛在的問題。p6F28資訊網——每日最新資訊28at.com

阿爾特曼說：“對于一種全新的技術，我們需要一套全新的框架。當然，像我們這樣的公司應當為我們推出的工具承擔許多責任?！?span style="display:none">p6F28資訊網——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-45-1448-0.html谷歌發布最新通用大語言模型PaLM2，訓練數據達3.6萬億個令牌

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 騰訊云推出TI平臺 助力人工智能應用快速開發

下一篇： 馬斯克透露與谷歌聯合創始人的交流 佩奇漠視人工智能安全