類人神經網絡再進一步，DeepMind最新50頁論文提出AligNet框架：用層次化視覺概念「對齊」人類

DeepMind最近的研究提出了一種新框架AligNet，通過模擬人類判斷來訓練教師模型，並將類人結構遷移到預訓練的視覺基礎模型中，從而提高模型在多種任務上的表現，增強了模型的泛化性和魯棒性，為實現更類人的人工智能系統鋪平了道路。

近年來，深度學習在人工智能領域，如自然語言處理和計算機視覺方面取得了快速進展，但即便是最強大的模型，也經常會在那些，對於人類說非常簡單的case上摺戟。

人類感知對環境變化具有魯棒性，並能在不同的視覺設置中泛化，相比之下，對於深度學習模型來說，如果訓練和測試數據集之間的分佈發生偏移，其性能往往會急劇下降。

人類在判斷視覺相似性時往往能夠很好地校準自己的判斷，即人類對某個問題的確定性往往與預測準確率成正比，而AI系統則過於自信，即使在預測錯誤時也表現出高度的確定性。

所以說，在真正實現通用人工智能之前，深度學習模型和人類之間仍然存在諸多差異需要調和、對齊。

值得思考的是，神經網絡訓練和人類學習在根本上有所不同，其無法像人類一樣穩健地泛化，是否是因為其底層表徵的相似性的問題？現代學習系統要表現出更像人類的行為，還缺少什麼？深度學習模型在概念層次結構的各個層次上缺乏這種全局組織，是否可能導致了這些模型的前述弱點？

最近，DeepMind等機構的研究人員聯合發佈了一篇長達50頁的論文，提出了一個可能導致AI模型與人類表現存在差異的原因：人類概念知識是從精細到粗尺度進行分層組織的，而深度學習模型表徵無法捕捉到人類感知的多層次概念結構。

論文鏈接：https://arxiv.org/pdf/2409.06509

雖然說模型表徵在一定程度上可以對局部視覺和語義特徵（例如，不同犬種的紋理或顏色）進行編碼，共享實體之間的人類感知相似性結構，但對於在視覺和語義上更為不同的概念之間的全局關係（例如，狗和魚都是有生命的，但在視覺上根本不相似）的建模則遠沒有那麼系統化。

然而，人類的神經表示是由全局特徵（如生命性）組織起來的，並且在多個更細的尺度上捕捉微妙的語義關係。

為瞭解決這種不一致問題，研究人員提出了一個新的框架，通過模擬大量類似人類的相似性判斷數據集，來提高模型與人類的對齊度。

首先訓練一個教師模型來模仿人類的判斷，然後將這種類人的結構（human-link structure）表徵遷移到預訓練後的視覺基礎模型中，從而使這些與人類對齊的模型在包括一個新的跨越多個語義抽像層次的人類判斷數據集在內的一系列相似性任務中，更準確地近似人類的行為和不確定性。

結果顯示，該模型在各種機器學習任務上表現更好，提高了泛化性和分佈外的魯棒性，此外，將額外的人類知識注入神經網絡後，學習到的表徵更符合人類認知，也更實用，為更強大、可解釋和類人的AI系統鋪平了道路。

此外，文中還提供了一套開源的視覺模型，通過軟對齊編碼了分層的人類知識，其普遍意義在於使科學、醫學和工業能夠使用更類人和魯棒的視覺模型進行下遊應用，任何研究人員或從業者都可以無限制地使用。

總的來說，這項工作不僅有助於更好地理解人工智能與人類智能之間的主要差異，而且還提出了一種可能對實現類似人類智能的人工智能至關重要的原則，即關注人類知識中的多解像度關係結構。

AligNet框架

研究人員首先使用仿射變換來對齊神經網絡模型表示與人類在三元組異類任務中的語義判斷，利用THINGS數據集開發了一個人類判斷的教師模型；

與此同時，通過保持模型的局部表徵結構來規範對齊過程，並額外利用人類恢復的不確定性度量來改善模型校準。

然後將該模型應用於ImageNet，將其潛在表示聚類到語義上有意義的類別，從而能夠生成大量的語義相似性三元組，研究人員將該數據集稱為AligNet。

為了將這種精心構造的類人相似性結構信息遷移到預訓練的神經網絡基礎模型中，研究人員引入了一種基於Kullback-Leibler散度的新目標函數，將語義信息蒸餾到一個學生視覺基礎模型（VFM）中。

實驗結果

為了驗證AligNet框架的有效性，即是否有助於提高模型與人類之間的對齊度，研究人員驗證了模型在THINGS三元組異類（triplet odd-one-out ）數據上的表現接近人類噪聲上限的66.67%。在對教師模型表示應用不確定性蒸餾優化後，可以觀察到在THINGS數據中的所有三元組中，三元組異類響應與人類響應的一致性達到了61.7%

此外，研究人員還發現，在模型生成的三元組異類響應數據上微調視覺基礎模型後，所有模型的表現都有了顯著的提升，無論預訓練任務和用於訓練基礎模型的目標函數是什麼，或是其他認知相似性任務和相似性度量方式，軟對齊技術都能夠提高模型在特定任務上的表現，使模型的行為更加接近人類的思維方式。

為了驗證軟對齊技術是否能夠使模型的內部表示更好地反映人類概念知識的層次結構，研究人員利用眾包方式收集了一個全新的人類語義判斷評估數據集Levels，設計了三種不同難度級別的三元組異類任務，包括需要在大類別間判斷異類的全局粗粒度語義任務，需要在相同類別內識別微妙差異的局部細粒度語義任務，以及測試識別不同類別邊界的能力的類別邊界任務。

實驗結果正如預期，研究人員發現模型在預測涉及視覺或語義重疊較少的實體之間關係（即更抽像的）時表現最差。