2 月 14 日消息，科技媒體 marktechpost 昨日（2 月 13 日）發布博文，報道稱谷歌 DeepMind 團隊發布了 WebLI-100B 千億級數據集，并通過增強文化多樣性和多語言性，以及減少子組之間的性能差異來提高包容性。ate28資訊網——每日最新資訊28at.com

注：機器通過學習大型數據集來連接圖像和文本，數據越多，模型識別模式和提高準確性的能力就越強。視覺語言模型 (VLMs) 依賴這些數據集執行圖像字幕和視覺問答等任務。ate28資訊網——每日最新資訊28at.com

視覺語言模型目前依賴于 Conceptual Captions 和 LAION 等大型數據集，包含數百萬到數十億的圖像-文本對。這些數據集支持零樣本分類和圖像字幕生成，但其發展已放緩至約 100 億對。ate28資訊網——每日最新資訊28at.com

這種限制降低了進一步提高模型精度、包容性和多語言理解的前景，現有方法基于網絡爬取的數據，存在樣本質量低、語言偏差和多元文化代表性不足等問題。ate28資訊網——每日最新資訊28at.com

Google DeepMind 的研究人員為了緩解視覺語言模型在文化多樣性和多語言性方面的局限性，提出了 WebLI-100B 數據集，該數據集包含 1000 億個圖像-文本對，比之前的數據集大十倍。ate28資訊網——每日最新資訊28at.com

該數據集捕獲了罕見的文化概念，并提高了模型在低資源語言和多樣化表示等較少探索領域的性能。與先前的數據集不同，WebLI-100B 不是依賴嚴格的過濾（通常會刪除重要的文化細節），而是專注于擴展數據。ate28資訊網——每日最新資訊28at.com

該框架涉及在 WebLI-100B 數據集的不同子集（1B、10B 和 100B）上預訓練模型，以分析數據縮放的影響。ate28資訊網——每日最新資訊28at.com

在完整數據集上訓練的模型在文化和多語言任務中的表現優于在較小數據集上訓練的模型，即使使用相同的計算資源。該數據集沒有進行激進的過濾，而是保留了語言和文化元素的廣泛代表性，使其更具包容性。ate28資訊網——每日最新資訊28at.com

研究結果表明，將數據集大小從 10B 增加到 100B 對以西方為中心的基準測試的影響很小，但在文化多樣性任務和低資源語言檢索方面帶來了改進。ate28資訊網——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-45-10809-0.html谷歌 DeepMind 發布 WebLI-100B：千億級數據集解鎖 AI 視覺語言模型的文化多樣性

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 兩輪電動車行業首個，九號將深度融合 DeepSeek 大模型

下一篇： 英國政府同 Anthropic 深化合作：Claude 有望增強該國公共服務能力