跳到內容

Reading note

Schut et al., Bridging the Human–AI Knowledge Gap through Concept Discovery and Transfer in AlphaZero

作者從 AlphaZero 的內部表徵抽出新穎、可教的西洋棋概念,讓四位世界冠軍級特級大師研究 AlphaZero 的解法,之後他們在沒看過的題目上表現提升。

洪偉的作者圖像
Author

洪偉

偉鐸資訊技術長、台大哲學博士候選人與哲學普及寫作者,長期投入 AI、公共議題與 TRPG。

Published: at 03:40 PM
編輯本頁下載圖卡

閱讀來源:Schut 2025

關於這篇筆記

本篇依 PNAS 正式版(PMC 全文)寫成。全文沒有頁碼,以下以節次引用。本篇未讀線上附錄(SI Appendix),附錄收有各概念的棋譜、特級大師的完整評論與圖論分析細節。

核心論點

我們通常把 AI 系統當成解決問題的機器:它做人做得到的事,只是更有效率。作者提出另一個目標:把 AI 當成「學習機器」,要它把決策背後的原理教給我們(Schut et al. 2025: §1)。

他們的主張分三步(Schut et al. 2025: §1.4):首先,AlphaZero(AZ)編碼了人類沒有的西洋棋知識;其次,有方法能從 AZ 的內部表徵中抽出新穎而可教的概念;最後,這些概念能傳給人類的頂尖專家。實驗中,四位前任或現任世界冠軍級的特級大師研究過 AZ 的解法後,在沒看過的題目上表現提升(Schut et al. 2025: §4.1)。

機器獨有的知識

作者以 M 代表機器知道的,H 代表人類知道的(Schut et al. 2025: §1.1)。兩者都知道的是 M∩H,只有機器知道的是 M−H。既有的可解釋性研究,大多試著把 M 硬塞進 M∩H;作者認為,能增強人類的是 M−H。他們舉 AlphaGo 對李世乭第二局的第 37 手為例:這手棋出乎評論者和李世乭本人的意料,至今人們仍拿它當超人知識的代表。

作者選擇西洋棋,有幾個理由(Schut et al. 2025: §1.2)。人類累積了很長時間的西洋棋知識,H 的範圍相對清楚;Elo 等級分也能量化人與機器的能力。而且,自從 Deep Blue 與 Kasparov 對局以來,引擎早已超越人類,M−H 很可能存在。但作者指出,人類至今利用引擎的方式,主要是請它評估某個局面或著法,或者研究它的對局、自己整理出模式;這仍是透過 H 的眼光看 M。

作者的假說是,M−H 存在而且可教(Schut et al. 2025: §1.3)。對特級大師而言,M−H 也許正落在 Vygotsky 所說的近側發展區(zone of proximal development):學習者獨立做不到、但在指導下做得到的範圍。在其他領域,傳達 M−H 可能需要新的語言;在西洋棋,作者不需要新語言,因為冠軍棋手能從最佳著法的範例中辨認、學會新概念。

概念是什麼

作者把概念定義為「知識的單位」(unit of knowledge)(Schut et al. 2025: §2.1)。這個定義有兩個要點:概念含有知識,也就是對解決某個任務有用的資訊;「單位」則表示它是精簡的,去掉了無關的資訊。他們用鳥喙當例子:學會鳥喙這個概念的人,能用它辨認鳥的喙。這個定義有很多種操作化的方式,作者選的是:概念要能傳給另一個行動者,幫它解決任務。

技術上,作者假設概念以線性方式編碼在神經網路的內部表徵空間中(Schut et al. 2025: §2.2)。他們找的是動態概念(dynamic concept):會引出計畫的概念,而計畫是有理由的一連串行動(Schut et al. 2025: §2.3)。所有計畫的最終目標都一樣,是贏或和;但在特定局面中,計畫會有特定的工具性目標,例如在有利的位置吃掉某個子,或擴大對棋盤的控制。

篩選:可教性與新穎性

這套方法會找出大量候選概念,作者再以兩道篩選,留下可教而新穎的(Schut et al. 2025: §3.2)。

可教性。 作者要的學生,是懂西洋棋、卻還不懂這個概念的行動者。從零訓練一個學生太難,他們便從 AZ 的訓練存檔中挑:在這個概念的原型(prototype,即題目與 AZ 的解答)上,和完整 AZ 選同一個最佳著法的比例低於兩成的存檔中,最晚的那一個(Schut et al. 2025: §3.2.1.2)。教的方式,是用一部分原型調整學生的參數,讓它的著法分布貼近老師的;再拿學生沒看過的原型測試,看它和老師選同一手的比例(Schut et al. 2025: §3.2.1.3)。老師比學生強,教什麼學生都可能進步,所以作者另用隨機抽出的 AZ 局面訓練學生,當作對照(Schut et al. 2025: §3.2.1.4)。結果,用概念原型訓練的學生進步更多;測試題目既然是學生沒看過的,作者認為可以排除死記(Schut et al. 2025: §3.2.1.5)。作者說,依上述條件選學生,結果濾掉了 97.6% 的候選概念,但沒有說明這些概念是怎麼被濾掉的(Schut et al. 2025: §3.2.1.5)。

新穎性。 作者先找出兩個相差 75 Elo 的 AZ 版本選擇不同著法的局面,因為訓練後期才學會的概念比較可能複雜(Schut et al. 2025: §3.2.2.1)。接著,分別以 AZ 對局與人類對局的表徵為基底重建概念向量,只留下 AZ 基底重建誤差較小的概念(Schut et al. 2025: §3.2.2.3)。這一步再濾掉 27.1%。

作者也承認,新穎性很難用質性方式確立(Schut et al. 2025: §3.2.2.2)。新的複雜概念,可能和犧牲子力、動態補償這些既有的一般概念有關。任何自然語言描述都會像既有概念,因為字詞本來就連著既有的觀念;真正新的概念,可能需要新的詞。他們的方法也不提供文字描述,所以改用量化指標,避開主觀判斷。

特級大師實驗

實驗分三個階段(Schut et al. 2025: §4):

  1. 建立基準:棋手解一組對應某些概念的題目。
  2. 向 AZ 的計算學習:棋手再看同一組題目,以及 AZ 依 MCTS 算出的最佳延續。作者說這是最簡單的教法,也避開了自動產生解說可能出錯的地方。
  3. 評估:棋手解同一批概念中沒看過的題目,和基準比較。

全程不告訴棋手題目背後是哪個概念,但請他們寫下自己的思考過程。每位棋手看 3 到 4 個概念、每個概念 4 題,而且每人拿到的概念不同;作者說這是為了探索更多概念,因為事先很難知道哪些概念人類學得會。

結果,四位棋手都進步了(Schut et al. 2025: §4.1)。表 2 的數字分別是:0/12 到 5/12、4/12 到 7/12、3/12 到 5/12、6/16 到 7/15。「解對」的標準,是與 AZ 的解法一致。以概念計算,平均每個概念多解對 0.85 題,標準誤 0.12;13 個概念中,8 個進步,3 個不變,2 個退步。

棋手在質性回饋中說這些想法「聰明」「很有趣」,也常說它們「是新東西」「不自然」(Schut et al. 2025: §4.2.1)。他們覺得題目「很複雜,不容易看出該做什麼」;看過解答後,仍說這是「很好的想法,但很難發現」。

作者舉了一題為例(Schut et al. 2025: §4.2.3)。特級大師下了 9.Be3,這是合乎發展子力、控制中心等一般原則的自然一手。 AZ 則下 9.Bg5,先逼黑方走出 h6 這個弱點,再退回 e3;之後的變化裡,AZ 犧牲了后。依一般原則,不該用價值 9 分的后換價值合計 6 分的馬和象;但 AZ 的犧牲是為了長期利益,犧牲之後白方繼續發展子力。作者指出,關鍵在黑方 h6 那個兵:兵在 h6,黑王就容易受攻擊,白方占優;兵不在 h6,白方就輸了。

作者承認的限制

樣本很小。 受試者是世界頂尖棋手,人數很少,結果只能當作概念驗證(Schut et al. 2025: §4.1.1)。

干擾因素。 題目難度不一、概念本身的可教性、想太多,都可能影響表現(Schut et al. 2025: §4.1.2)。進步也可能部分來自實驗讓棋手傾向尋找更複雜、更反直覺的模式,而不是他們理解了特定的概念。作者認為頂尖棋手平時就會尋找不明顯的想法,所以比較不容易受這種影響,但影響有多大並不清楚。

概念說不清楚。 作者坦言,他們對概念的描述只是盡力而為;這些概念很複雜,描述未必完全掌握它們的深度(Schut et al. 2025: §4.2.2)。從 AZ 的角度看,同一個概念的幾個例子究竟有什麼共同點、是什麼讓它們成為一個獨立的概念,作者說「也許並不清楚」(Schut et al. 2025: §4.2.3)。他們提出圖論分析作為起點,找出新概念和「空間」「回吃」等既有概念的關係(Schut et al. 2025: §4.2.4)。

人與 AZ 的差異

作者推測,人與 AZ 的內部表徵不同,有兩個來源(Schut et al. 2025: §6)。一是對概念的先入之見:哪些概念適用、多重要、怎麼和其他概念組合;例如 AZ 比較不看重子力價值,也更能靈活地在棋盤兩側之間轉換。二是下棋的動機與目標:AZ 受訓練是為了下出最佳著法,不是為了競爭;人類棋手則會利用對手在棋力、時間或體力上的弱點。

作者最後提議,未來可以加入互動:讓人類自己走棋,並詢問 AZ 會怎麼應(Schut et al. 2025: §6)。這能讓人類探究反事實情境,更深入地理解 AZ 為什麼不選他們的解法。

註釋

編輯本頁

Podcast

關於語音摘要

此語音摘要由 Google NotebookLM 提供,不完全代表作者本人對文章的理解。