兩位本科生一作，首次提出「持續學習」+「少樣本」知識圖譜補全 | CIKM 2024

新智元報導  

編輯：LRST

【新智元導讀】上海大學本科生研發的新框架能有效應對知識圖譜補全中的災難性遺忘和少樣本學習難題，提升模型在動態環境和數據稀缺場景下的應用能力。這項研究不僅推動了領域發展，也為實際應用提供了寶貴參考。

知識圖譜（Knowledge Graphs）是一種結構化的，用於展示和管理信息，組織現實世界知識的形式。其通常被表達為三元組形式（<頭實體，關係，尾實體>）。KGs 為問答系統、推薦系統和搜索引擎等各種實際應用提供了極其重要支持。

然而現有知識圖譜的顯著不完整性嚴重限制了其在實際應用中的有效性。

同時，在現實實際應用中，知識圖譜中的關係呈現長尾分佈，即大多數關係只有少量相關的三元組。這種稀缺導致了模型對於長尾關係的泛化能力不足，從而使得知識圖譜補全模型的整體效果較差 (Few-shot Learning) 。

進一步，隨著時間的推演，越來越多的新關係被添加到關係集中，並在不同時間點集成到知識圖譜中。這意味著模型不僅需要學習當前階段的知識更需要記住在之前階段學習過的知識 (Continual Learning) 。

最近，上海大學的本科生李卓風、張灝翔（第一作者以及共同第一作者）在信息檢索和數據挖掘領域頂級學術會議CIKM 2024上發表了一篇文章，首次提出了在持續學習 (Continual Learning) 和少樣本 (Few-shot) 的場景下對知識圖譜進行補全，提供了一套全面且有效的框架來處理這一問題。

論文標題：Learning from Novel Knowledge: Continual Few-shot Knowledge Graph Completion

論文鏈接：https://dl.acm.org/doi/10.1145/3627673.3679734

代碼鏈接：https://github.com/cfkgc-paper/CFKGC-paper/tree/main

該研究的發表將有助於提高知識圖譜補全（KGC）模型在實際應用中的泛化能力，使其能夠更好地適應動態環境和數據稀缺的場景，從而推動相關領域的應用發展。

通過提供有效的解決方案，本研究為後續研究奠定了基礎，同時也為實際應用提供了重要的參考。

研究背景

目前在持續學習 (Continual Learning) 和少樣本 (Few-shot) 的場景下對知識圖譜進行補全面臨兩大挑戰：

1. 災難性遺忘問題，即模型在不斷學習新關係時，對之前學到的關係的推理性能下降。這會導致模型退化和對稀有關係的推斷能力大幅減弱。

2. 新關係的稀缺導致模型在稀有關繫上的泛化能力不足。

為解決這些挑戰，該研究提出了一個完整且有效的知識圖譜補全框架，以適應不斷出現的少量的關係。

1. 為了解決災難性遺忘問題，研究人員從數據和模型兩個維度入手。

在數據層面，通過特定的指標評估每個三元組在知識圖譜中的重要性，包括拓撲感知和關係異質感知係數；利用這些重要性得分，可以識別出並存儲來自最重要的三元組；這些緩存的三元組可以在優化過程中重放，以應對新關係的出現，確保模型回憶起最重要的知識。

在模型層面，研究人員實施了一種參數凍結的策略。在每個階段，模型會識別與當前任務相關的一個模型子網絡，並將其凍結，從而有效減輕遺忘問題。

2. 為瞭解決關係的稀缺導致模型在稀有關繫上的泛化能力不足的問題，研究人員引入了一種多視角關係增強技術。該方法通過自監督學習提升模型的泛化能力。

技術方法

三元組的記憶重播

為了緩解災難性遺忘問題，研究人員從數據和模型兩個層面提出瞭解決方案。在數據層面，通過特別設計的指標來評估每個實體的重要性，並在內存中存儲最重要的三元組。

這些緩存的三元組可以在新關係出現時進行重播，以確保模型能夠回憶起最重要的知識。

具體來說，從兩個角度評估實體的重要程度：

1. 拓撲感知重要度。在知識圖譜中，一個實體的重要性應當由與其相連的其他實體的重要性共同決定。

其中du表示實體u的出邊數量，N(v)表示實體v在Gr中的鄰居集合。

是實體v的最終拓撲感知重要性得分。

2. 除了拓撲結構外，還考慮了實體參與關係的多樣性，即關係異質性感知重要度：

其中|Rv|表示實體v連接的不同關係數量。

最終，可以計算三元組的重要性分數：

元學習器的調製

文中進一步在模型層面實施了參數調製策略來保存最重要的參數。

具體來說，首先使用權重分數s來衡量網絡參數的重要性：

然後，通過下面的優化公式來更新模型參數：

θ是元學習器參數，Qr代表關係集，

表示之前會話中識別的子網絡掩碼的並集。

是學習率，

通過這種參數調製機制，可以在學習新任務時保護已獲得的重要知識，從而有效緩解災難性遺忘問題。

增強少樣本和自監督學習

通過引入基於自監督的多視圖關係增強技術來增強模型的泛化能力，通過兩種擾動方式生成關係的不同視圖。

1. 元學習器參數擾動：

2. 輸入實體嵌入擾動：

然後通過對比學習損失來優化：

其中τ是溫度參數，

分別代表經過1或者2擾動之後生成的關係。

與

一個 Batch 之內的關係集。

實驗結果

研究人員在 NELL-ONE 和 Wiki-ONE 兩個數據集上對模型進行持續學習以及小樣本學習的全面驗證。

持續學習能力

該框架在持續學習方面的表現，與基線模型相比，能夠顯著減輕災難性遺忘，且該模型不僅能有效保留先前會話的知識，還在後續會話中表現出更好的性能。該框架相對於基線模型，在減輕災難性遺忘方面顯示出顯著優勢。

例如，在NELL-One數據集中，方法在後續任務（Task1至Task7）中，平均比第二佳的基線方法改進了+13.3%，而在Wiki-One數據集中，平均改進為+27.0%。這表明該模型不僅有效地保留了之前學習會話的知識，還在隨後的學習任務中展示了更優越的性能。

少樣本學習能力

在快速適應新的學習進程中的未見關係時，模型能夠維持穩定或增強的少樣本學習性能。

相反，基線模型由於每個新會話中元任務數量有限，表現出明顯的性能下降。這進一步證明了提出的多視角關係增強策略在解決與元任務稀缺相關的過擬合問題中的有效性。

模型在少樣本學習方面顯示了出色的性能，特別是在快速適應未見關係的新學習環境中。

以NELL-One數據集為例，MRR指標相較於第一個task（11.1%），模型在最後一個任務中表現出11.35%的性能，期間最高達到12.55%。

在Wiki-One數據集中，從基線的38.9%提高到了最後一個任務的40.05%，相對於其他的方法——隨著更新的知識的學習，小樣本性能也在下降，模型實現了對於更好的小樣本學習性能的保持。

結果驗證了所提出的多視角關係增強策略在緩解元任務稀缺導致的過擬合問題上的高效性。

結果表明模型不僅可以充分記住先前階段的知識同時還可以有效學習新的知識。

消融實驗

總結

本篇文章探討了在持續學習以及少量樣本的場景下對知識圖譜補全的問題，提出了一種全面且有效的框架，旨在應對災難性遺忘以及少樣本帶來的挑戰。

該方案包括三元組重演策略，模型參數調製策略，多視角關係增強策略。該研究的發表將有助於提高知識圖譜補全（KGC）模型在實際應用中的泛化能力，使其能夠更好地適應動態環境和數據稀缺的場景，從而推動相關領域的應用發展。

通過提供有效的解決方案，本研究為後續研究奠定了基礎，同時也為實際應用提供了重要的參考。

參考資料：

https://dl.acm.org/doi/10.1145/3627673.3679734