FMIFAwards獎項即將揭曉！
來源：X增強現實FMIF Awards未來元宇宙創新獎是由未來元宇宙創新論壇、ARinChina以及多家投資機構、媒體、研究院聯合發起的一項評選活動。旨在推動新技術的融合與集成低成本
Claude 團隊來搞開源了 ——推出“電路追蹤”（circuit tracing）工具，可以幫大伙兒讀懂大模型的“腦回路”，追蹤其思維過程。
該工具的核心在于生成歸因圖（attribution graphs），其作用類似于大腦的神經網絡示意圖，通過可視化模型內部超節點及其連接關系，呈現 LLM 處理信息的路徑。
研究人員通過干預節點激活值，觀察模型行為變化，從而驗證各節點的功能分工，解碼 LLM 的“決策邏輯”。
官方表示，此次發布的開源庫支持在主流開源權重模型上快速生成歸因圖，而 Neuronpedia 托管的前端界面則進一步允許用戶交互式探索。
總之，研究人員能夠：
通過生成自有歸因圖，在支持的模型上進行電路追蹤；
在交互式前端中可視化、注釋和分享圖表；
通過修改特征值并觀察模型輸出變化來驗證假設。
Anthropic CEO Dario Amodei 表示：
目前，我們對 AI 內部運作的理解遠遠落后于其能力的發展。通過開源這些工具，我們希望讓更廣泛的社區更容易研究語言模型的內部機制。我們期待看到這些工具在理解模型行為方面的應用，以及對工具本身的改進拓展。
目前，該項目開源不到 24 小時，在 GitHub 就已攬獲 400+Star。
在 Reddit、X 上都有不少網友點贊 & 討論。
有網友直呼“DeepSeek 肯定喜歡這個”。
還有網友認為“歸因圖可能成為 LLM 研究的顯微鏡”。
除了宣布開源外，Anthropic 依據介紹電路追蹤方法的原始論文《On the Biology of a Large Language Model》中多步推理和多語言電路示例，利用該工具深入探究了幾個涉及 Gemma-2-2b 的歸因圖。
一起來看看具體示例和分析。
如果想生成自己的圖，可以在 Neuronpedia 上進行操作，也可以直接在 Colab 中使用這個起始 notebook 進行操作。
先來看一個兩階推理示例。
問題：包含達拉斯的州的首府是？（Fact: The capital of the state containing Dallas is → Austin）
模型必須首先推斷出包含達拉斯的州是得克薩斯州；然后，回答得克薩斯州首府是奧斯汀。
介紹電路追蹤方法的原始論文中表明，模型 Claude 3.5 Haiku 使用以下電路解決了該問題，計算了“包含達拉斯的州”這一中間步驟。
而對 Gemma 2（2B）進行歸因分析表明，它使用以下電路成功完成了 prompt 任務：
該電路結構與 Claude 3.5 Haiku 的類似，存在一個對應“得克薩斯州”的節點，并同時顯示從“達拉斯”到“奧斯汀”的直接路徑以及經過“得克薩斯州”的間接路徑。
歸因圖基于使用 transcoders 來近似多層感知機（MLP）的行為，提出了關于模型行為的假設。
Anthropic 表示，可以通過直接對底層模型進行干預，來驗證他們對模型行為的理解是否正確。
對圖中所示的每個超節點（supernodes）進行干預，首先需要從該圖中獲取超節點。
Anthropic 提供了一個便捷函數，可將電路 URL（及其中存儲的超節點）映射到 Feature 對象列表。每個 Feature 對象是一個 (layer, position, feature_index) 元組。
然后，創建用于解決此任務的電路表示。
首先需定義一些超節點對象（Supernode objects），這些對象將存儲底層 Feature 列表，以及受其因果影響的子超節點。
再初始化一個干預圖（InterventionGraph），用于存儲所有超節點并跟蹤它們的狀態。
另外，還需要獲取模型在此提示下的 logits 和激活值。
設置每個節點的默認激活值（即未進行干預時，原始提示下的激活值），并設定其激活分數，激活分數為節點當前激活值與默認激活值的比值。
由于當前激活值與默認激活值相同，因此每個節點的激活分數均為 100%。
另外還將記錄 top-5 的 logits，然后對圖表進行可視化。
結果顯示電路與在可視化完整圖表時創建的超節點吻合。
現在，通過干預驗證每個超節點是否如假設般發揮作用，每次干預會將節點值設定為原始值的特定倍數。
在介紹電路追蹤方法的原始論文中，關閉“說出一個首府”（Say a capital）Feature 會導致“說出奧斯汀”（Say Austin）超節點關閉，且模型的最高 logits 變為得克薩斯州（Texas）。
若接下來對 Gemma 2（2B）歸因圖進行相同操作，會發生什么？
結果觀察到了完全相同的現象。強行關閉“說出一個首府”超節點后，“說出奧斯汀”節點也隨之關閉，模型的最高 logit 變為了得克薩斯州。
那如果關閉“首府”（capital）超節點會怎樣？
與之前的干預行為類似：關閉“說出一個首府”超節點，但沒有像之前那樣強烈，也部分關閉了“說出奧斯汀”節點。
如果我們關閉“得克薩斯州”超節點會怎樣？
關閉“得克薩斯州”超節點同樣會使“說出奧斯汀”節點失效，導致模型輸出其它州的首府。
如果關閉“州”（state）超節點會怎樣？
關閉“州”超節點效果并不明顯，它對其它超節點的激活狀態幾乎沒有影響，模型的 logits 也幾乎沒有變化。
現在已經通過剔除節點驗證了其行為。
那么，能否注入完全不同的節點并驗證其是否產生預期效果？
以 prompt“包含奧克蘭的州的首府是（ Fact: The capital of the state containing Oakland is → Sacramento）”中的電路為例，從該圖中提取兩個超節點“加利福尼亞州”（California）和“說出薩克拉門托”（Say Sacramento），并將其添加到干預圖中。
然后，進行干預操作：關閉“得克薩斯州”超節點，并激活“加利福尼亞州”超節點。
這樣做導致“說出奧斯汀”節點完全關閉，而“說出薩克拉門托”節點開始激活，模型最高輸出現在也變為薩克拉門托。
還可以將州替換為國家進行類似實驗。以 Prompt“包含上海的國家的首都是（Fact: The capital of the country containing Shanghai is → Beijing）”的電路為例，執行與之前完全相同的操作：
禁用“得克薩斯州”超節點，并激活“中國”超節點。這次雖然沒有“說出北京”節點，但這種干預的效果應該會在 logits 中顯現。
結果同樣有效，北京現在成為模型最可能的輸出。
那總是會有效嗎？
再用 Prompt“包含溫哥華的地區的首府是（Fact: the capital of the territory containing Vancouver is → Victoria）”的電路來試試。
在這種情況下，干預效果并不顯著。
模型的輸出看起來與僅剔除“得克薩斯州”時的結果類似，這表明“不列顛哥倫比亞省”（British Columbia）節點的加入幾乎沒有產生作用。
多語言電路接下來 Anthropic 還探討了原論文中研究的多語言電路。
具體而言，將考察三個電路，分別對應三種語言的同一句子：
關于 Claude 3.5 Haiku 的研究展示了一個共享的多語言電路：
與 Haiku 的電路不同，Gemma 2（2B）的電路從本質上完全具備多語言特性。
模型中并不存在獨立的“Say big”或“Say grand”超節點來驅動其用特定語言輸出對應答案。相反，所有電路均采用“Say big”Feature，若答案為非英語，則會結合“French”或“Chinese”Feature 共同作用。
接下來，通過對這些電路進行干預實驗來展開研究。
首先，如前所述創建超節點對象（Supernode objects）：
然后，獲取這些節點的激活值，對其進行初始化，并生成可視化圖表。
現在進行第一次干預操作：關閉“French”超節點。
在關閉“French”超節點后，模型輸出變成了英文。
值得注意的是，這對“Say big”超節點僅產生輕微影響，二者的作用似乎相互獨立。
再嘗試將語言切換為另一種：關閉“French”超節點，并激活“Chinese”超節點。
正如預期，干預后的模型輸出與中文示例的原始輸出一致。
那如果將“small”Feature 替換為“big”會怎樣？
將“small”超節點替換為“big”超節點后，導致“說出 big”超節點關閉，同時一個新的“Say small”超節點被激活。
模型的輸出在法語中變為“petit”（即“small”）。
接下來是最后一項干預，能否將“opposite”（反義詞）超節點替換為“synonym”（同義詞），以獲取同義輸出？
雖然該模型并不擅長處理同義詞：當輸入“Un synonyme de ‘petit’ est ‘”（“petit”的同義詞是“”）時，模型會重復輸出“petit”，而非其它同義詞。
但是，仍可觀察此干預是否會復現該行為。
不過最終這項干預并未奏效。盡管“Say small”超節點被激活，但“Say big”也保持激活狀態，模型的輸出并未改變。
Anthropic 團隊認為這并不意外，如果觀察該任務的原始電路，會發現“opposite”（反義詞）超節點與輸出端僅存在弱連接。因此，盡管它本應發揮作用，但其因果效應相當有限。
更多細節大伙兒可自行查閱。
另外作為啟發，Anthropic 在 demo notebook 和 Neuronpedia 上提供了尚未分析的額外歸因圖，感興趣的童鞋可以親自上手研究研究。
GitHub 鏈接：
https://github.com/safety-research/circuit-tracer?tab=readme-ov-file
參考鏈接：
[1]https://x.com/anthropicai/status/1928119229384970244?s=46
[2]https://www.anthropic.com/research/open-source-circuit-tracing
本文來自微信公眾號：量子位（ID：QbitAI），作者：西風，原標題《Claude 團隊打開大模型「腦回路」，開源 LLM 思維可視化工具來了》
本文鏈接：http://www.tebozhan.com/showinfo-45-13328-0.htmlClaude 團隊打開大模型“腦回路”，推出開源 LLM 思維可視化工具
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號