4 月 24 日消息，科技媒體 marktechpost 昨日（4 月 23 日）發布博文，報道稱英偉達為應對圖像和視頻中特定區域的詳細描述難題，最新推出了 Describe Anything 3B（DAM-3B）AI 模型。ODv28資訊網——每日最新資訊28at.com

視覺-語言模型（VLMs）在生成整體圖像描述時表現出色，但對特定區域的細致描述往往力不從心，尤其在視頻中需考慮時間動態，挑戰更大。ODv28資訊網——每日最新資訊28at.com

英偉達推出的 Describe Anything 3B（DAM-3B）直面這一難題，支持用戶通過點、邊界框、涂鴉或掩碼指定目標區域，生成精準且貼合上下文的描述文本。DAM-3B 和 DAM-3B-Video 分別適用于靜態圖像和動態視頻，模型已在 Hugging Face 平臺公開。ODv28資訊網——每日最新資訊28at.com

獨特架構與高效設計ODv28資訊網——每日最新資訊28at.com

DAM-3B 的核心創新在于“焦點提示”和“局部視覺骨干網絡”。ODv28資訊網——每日最新資訊28at.com

ODv28資訊網——每日最新資訊28at.com

焦點提示技術融合了全圖信息與目標區域的高分辨率裁剪，確保細節不失真，同時保留整體背景。ODv28資訊網——每日最新資訊28at.com

局部視覺骨干網絡則通過嵌入圖像和掩碼輸入，運用門控交叉注意力機制，將全局與局部特征巧妙融合，再傳輸至大語言模型生成描述。ODv28資訊網——每日最新資訊28at.com

DAM-3B-Video 進一步擴展至視頻領域，通過逐幀編碼區域掩碼并整合時間信息，即便面對遮擋或運動也能生成準確描述。ODv28資訊網——每日最新資訊28at.com

數據與評估雙管齊下ODv28資訊網——每日最新資訊28at.com

為解決訓練數據匱乏問題，NVIDIA 開發了 DLC-SDP 半監督數據生成策略，利用分割數據集和未標注的網絡圖像，構建了包含 150 萬局部描述樣本的訓練語料庫。ODv28資訊網——每日最新資訊28at.com

ODv28資訊網——每日最新資訊28at.com

通過自訓練方法優化描述質量，確保輸出文本的高精準度，團隊同時推出 DLC-Bench 評估基準，以屬性級正確性而非僵硬的參考文本對比衡量描述質量。ODv28資訊網——每日最新資訊28at.com

ODv28資訊網——每日最新資訊28at.com

DAM-3B 在包括 LVIS、Flickr30k Entities 等七項基準測試中領先，平均準確率達 67.3%，超越 GPT-4o 和 VideoRefer 等模型。ODv28資訊網——每日最新資訊28at.com

DAM-3B 不僅填補了局部描述領域的技術空白，其上下文感知架構和高質量數據策略還為無障礙工具、機器人技術及視頻內容分析等領域開辟了新可能。ODv28資訊網——每日最新資訊28at.com

附上參考地址ODv28資訊網——每日最新資訊28at.com

Describe Anything: Detailed Localized Image and Video CaptioningODv28資訊網——每日最新資訊28at.com

Hugging FaceODv28資訊網——每日最新資訊28at.com

項目頁面ODv28資訊網——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-45-12581-0.html英偉達推 DAM-3B 模型：突破局部描述難題，讓 AI 看懂圖像 視頻每一個角落

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 50 → 100 條：OpenAI 放寬限制，Plus 等用戶每周可用 o3 AI 模型消息數翻倍

下一篇： “AI 教父”等發布聯名公開信： OpenAI 重組背離初衷，呼吁監管介入