時序預測再出新範式！華東師大提出DUET：「雙向聚類」新設計，性能刷新SOTA！| KDD 2025

新智元報導  

編輯：LRST

【新智元導讀】DUET創新性的引入了一種時間和通道雙向聚類架構，有效解決了時序分佈漂移以及多變量時間序列中變量關係難以動態建模的難題。研究團隊在最新時間序列預測基準評測TFB的25個數據集上進行了廣泛驗證，證明了DUET的卓越性能，為各行業的時間序列預測任務提供了全新的解決方案。

多變量時間序列預測（MTSF）在金融投資、能源管理、天氣預測和交通優化等領域具有重要應用。然而，現實中的時間序列通常面臨兩大挑戰：

1. 時間模式的異質性，即由於外部因素的影響，真實時間序列往往表現出非平穩性（Temporal Distribution Shift, TDS），導致其分佈和模式發生顯著變化；

2. 通道間的複雜關係，即不同通道（變量）之間通常存在複雜且交錯的相關性，包括顯著相關的通道、噪聲通道以及無關通道，這種複雜性使得精準建模變得尤為困難。

近日，來自華東師範大學和丹麥阿爾堡大學的科研人員合作，創新性地提出了一種基於時間和通道雙向聚類架構的時間序列預測模型DUET，在多變量時間序列預測領域取得了巨大的突破。

Github：https://github.com/decisionintelligence/DUET

主要挑戰

由時序漂移引起的異質性時間模式難以建模

在實際應用中，描述不穩定系統的時間序列往往容易受到外部因素的影響。這種時間序列的非平穩性意味著數據分佈會隨著時間的推移發生變化，這一現象被稱為時間分佈漂移（Temporal Distribution Shift, TDS）TDS會導致時間序列呈現出不同的時間模式，這種現象正式被稱為時間模式的異質性。

例如，圖1(a) 展示了一個經濟領域的時間序列，反映了隨國際環境變化而產生的波動。

可以觀察到，三個時間區間 A、B 和 C 遵循不同的時間分佈，這一點可以通過圖1 (b)、圖1 (c) 和圖1 (d) 所示的值直方圖得到證明。這種分佈的變化伴隨著時間模式的差異。正如圖1 (a) 所示，藍色區間 A 呈現下降趨勢，綠色區間 B 呈現上升趨勢，而黃色區間 C 則表現為更陡峭的下降趨勢。

考慮到這些模式在時間序列中的普遍存在，將其納入建模過程顯得尤為重要。然而，近期的研究大多以隱式方式處理時間模式的異質性，這在很大程度上削弱了預測的準確性。

複雜的通道間關係難以靈活建模

多變量時間序列預測任務中，建模不同通道之間的相關性至關重要，因為利用其他相關通道的信息往往可以提升特定通道的預測精度。

例如，在天氣預測中，溫度的預測可以通過結合濕度、風速和氣壓等數據得到改進，因為這些因素之間相互關聯，可以提供更全面的天氣狀況信息。

研究人員探索了多種通道策略，包括：將每個通道獨立對待 (Channel-Independent, CI); 假設每個通道與其他所有通道相關(Channel-Dependent, CD); 以及將通道分組為若干簇 (Channel-Hard-Clustering, CHC)。

CI強製對不同通道使用相同的模型。儘管這一策略具有一定的魯棒性，但它忽略了通道之間的潛在交互，可能在未見通道的泛化能力和建模容量上受到限制；

CD 則同時考慮所有通道，並生成用於解碼的聯合表示，但可能受到無關通道噪聲的干擾，從而降低模型的魯棒性；

CHC 通過硬聚類將多變量時間序列劃分為互不相交的簇，在每個簇內使用 CD 建模方法，而在簇之間使用CI方法。

然而，該方法僅考慮同一簇內的關係，限制了其靈活性和通用性。目前尚未有一種方法能夠精確且靈活地建模通道之間的複雜交互關係。

核心貢獻

為瞭解決多變量時間序列預測（MTSF）問題，論文提出了一個通用框架——DUET。該框架通過時間維度和通道維度的雙向聚類，學習準確且自適應的預測模型。

研究人員設計了時間聚類模塊（TCM），將時間序列劃分為細粒度的分佈簇。針對不同的分佈簇設計了多種模式提取器，以捕捉其獨特的時間模式，從而建模時間模式的異質性。

通道聚類模塊（CCM），通過度量學習在頻率域中靈活捕捉通道間的關係，並進行稀疏化處理以抑制噪聲通道的影響，從而實現靈活且高效的通道關係建模。

最後，在TFB的25個數據集上進行了廣泛實驗，實驗結果表明，DUET優於現有的最先進基線。此外，所有數據集和代碼已公開。

模型框架

時間聚類模塊 (TCM)

分佈路由器：通過兩層全連接網絡將時間序列的潛在分佈投影到高維空間，利用 Noisy Gating 技術選擇最可能的分佈簇。

線性模式提取器：將時間序列分解為趨勢部分和季節性部分，分別通過線性變換提取特徵。

聚合器：利用分佈路由器的權重，動態聚合提取的特徵，整合為全局時間特徵表示。

通道聚類模塊 (CCM)

頻域通道表示：利用傅里葉變換將時間序列映射到頻率空間，以頻域特徵衡量通道的相關性；使用可學習的Mahalanobis距離構建通道間的關係矩陣。

稀疏化：通過Gumbel Softmax重采樣策略，將通道關係矩陣轉化為稀疏的掩碼矩陣，僅保留對預測任務有益的通道連接。

融合模塊 (FM)

使用掩碼注意力機制，將時間特徵與通道掩碼矩陣相結合，以生成最終的特徵表示。

實驗效果

整體性能

DUET在10個被廣泛認可的真實數據集上大幅領先於當前最先進模型。從絕對性能的角度來看，DUET 相較於表現次優的基線模型 PDF，有顯著提升，均方誤差（MSE）降低了6.9%，平均絕對誤差（MAE）降低了 6.2%。

DUET 在應對由時間分佈漂移引起的時間異質性問題時表現出卓越的能力。此外，在不同通道策略的對比中，DUET 同樣展現了 CSC 策略的顯著優勢。

消融實驗

文中進一步提供了一系列消融實驗來驗證模型框架設計的合理性。實驗表明，DUET的設計在提升模型精度上是有效的。

參數敏感性分析：

DUET根據時間序列的時間分佈將其聚類為M類，其中M是模式提取器的數目，研究人員分析了不同M值對預測精度的影響，並得出以下觀察結論：

1）當M=1時，模型性能低於M≠1的情況

2）對於來自相同領域的數據集，例如電力領域的數據集E湯臣h1和E湯臣h2，最佳M值相同，均為4

3）對於來自不同領域的數據集，例如 ILI（健康領域）和 Exchange（經濟領域），最佳N值分別為2和5

4）在選擇最合適的M時，模型性能在大多數情況下顯著優於其他變體，突顯了在時間視角下進行聚類的有效性，並表明來自相同領域的數據集通常具有相似的時間分佈，反之亦然。

總結

論文提出了一種通用框架DUET，該框架通過在時間維度和通道維度上引入雙向聚類來提升多變量時間序列的預測能力。

DUET集成了一個時間聚類模塊（Temporal Clustering Module，TCM），該模塊將時間序列聚類為細粒度的分佈簇，並針對不同分佈簇設計多種模式提取器，以捕捉其獨特的時間模式，從而建模時間模式的異質性。

此外，研究人員引入了通道聚類模塊（Channel Clustering Module，CCM），採用通道軟聚類策略，通過度量學習在頻率域中捕捉通道之間的關係，並進行稀疏化處理。

最後，融合模塊（Fusion Module，FM）基於掩碼注意力機制，將TCM提取的時間特徵與CCM生成的通道掩碼矩陣高效結合，這些創新機制共同賦予DUET卓越的預測性能。

參考資料：

https://github.com/decisionintelligence/DUET

https://decisionintelligence.github.io/OpenTS/

團隊成員相關論⽂：

TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods, PVLDB 2024 (Best Research Paper Award Nomination).

https://arxiv.org/abs/2403.20150