無需 Transformer，簡單濾波器即可提高時間序列預測精度 | NeurIPS 2024

範瑋 投稿

量子位 | 公眾號 QbitAI

無需Transformer，簡單濾波器即可提高時間序列預測精度。

由國家信息中心、牛津大學、北京理工大學、同濟大學、中國科學技術大學等機構的團隊提出了一個FilterNet。

目前已被NeurlPS 2024接收。

準確預測時間序列，對於能源、氣象、醫療等領域中來說都非常重要。

目前很受歡迎的一類預測模式是基於Transformer網絡進行建構的。

但是，Transformer並不是萬能的，尤其是對於時間序列預測這樣的問題來說，它的結構顯得有點過於複雜。

以iTransformer模型為例，它存在很多問題，比如對高頻信號的響應較弱從而導致全頻段信息利用受限、計算效率低下等，這些問題會大大影響模型的預測精度。

那麼，FilterNet有哪些創新之處？

研究動機：現有模型架構存在頻段信息利用瓶頸

時間序列信號往往由不同頻段信號組成，為了探究現有模型能否對頻域信號進行準確捕捉，團隊設計一個簡單的模擬驗證實驗。

首先，他們利用低頻、中頻和高頻份量合成的信號作為實驗數據（見圖1(a)）來測試時序模型的預測性能。從圖1(b)可以看出，當前時序預測的先進模型iTransformer表現不佳。

這表明，即使是由三種不同頻率成分組成的簡單信號，當前先進的基於Transformer的模型仍無法充分學到相對應的頻譜信息。

相比之下，在傳統的信號處理（signal processing）領域，簡單的頻率濾波器具備許多優秀特性，例如頻率選擇性、信號調製和多速率處理。這些特性有望顯著提升模型在時間序列預測中提取關鍵信息頻率模式的能力。

因此，受信號處理中濾波過程的啟發，研究團隊提出了一種非常簡單並且高效的學習框架—-FilterNet，用於時間序列預測任務。

研究方法：濾波器網絡（FilterNet）

FilterNet的設計極其簡單，整體框架如下圖所示：

FilterNet的核心模塊是頻率濾波模塊（Frequency Filter Block），包含團隊設計的2種可學習濾波器：

1.Plain Shaping Filter：使用最簡潔的、可學習的頻率濾波器，實現信號濾波與時間關係的建模。

2.Contextual Shaping Filter：針對利用濾波後的頻率與原始輸入信號的兼容性，進行依賴關係的學習。

具體來說，FilterNet的各個組件有：

1.實例歸一化（Instance Normalization）

時間序列數據通常是在較長時間跨度內收集的，這些非平穩序列不可避免地使預測模型面臨隨時間變化的分佈偏移。像很多時序預測模型一樣，團隊採用了可逆Instance Normalization，如下所示：

2.頻率濾波模塊（Frequency Filter Block）

時間序列預測器可以視為針對關鍵信號的捕捉，從某種程度上，也可以看作在頻域上進行了一次濾波過程。

基於此，研究人員直接設計了一個濾波器模塊來建模相應的關係，具體為：

文中包含兩類濾波器，分別為plain shaping filter (PaiFilter)和contextual shapingfilter (TexFilter)。PaiFilter直接通過初始化一個權重參數𝓗𝜙來模擬對應的濾波器，具體為：

相對應的，TexFilter則通過一個可學習的神經網絡來生成相應的濾波器，完成對應的濾波學習，具體為：

3.前饋神經網絡（Feed-forward Network）

頻率濾波模塊建模了時間序列數據中的一些主要時間依賴關係，隨後他們利用前饋神經網絡（Feed-Forward Network）建立這些時間依賴關係和未來τ個時刻數據的關係，最後進行預測，並對預測值進行反歸一化操作。

FilterNet在各種場景下都表現優越

1.預測結果

實驗在八個時間序列預測基準數據集上進行了廣泛的測試，結果表明，與最新的預測算法相比，FilterNet模型在不同預測場景中均表現出卓越的性能。

其中，PaiFilter在小數據集上（變量數較小，如E湯臣、Exchange數據集）表現更好，而TexFilter則在大數據集上（變量數較多，關係更為複雜，如Traffic、Weather數據集）表現出強有力的競爭力。

2.頻率濾波器的可視化

此外，如圖8所示，在E湯臣m1數據集上針對不同預測長度進行的可視化實驗進一步證明了FilterNet的強大處理能力。

3.預測結果的可視化

與其他最新模型相比，FilterNet在預測未來序列變化方面展現了出色的準確性，充分證明了其卓越的性能。

4.效率分析

團隊還在兩個不同的數據集上對FilterNet進行了相應的效率分析實驗，實驗結果表明，無論數據集大小，FilterNet都表現出比Transformer方法更高的效率。

雖然在每個epoch訓練時間上，FilterNet比DLinear略差，但是FilterNet效果比DLinear要好。

為時間序列預測提供新思路

這篇論文是首次嘗試將頻率濾波器直接應用於時間序列預測的工作，從信號處理的角度切入是一個非常有趣的新思路。

研究團隊提出了一種簡單而高效的架構——FilterNet，該架構基於他們設計的兩類頻率濾波器來實現預測目標。在八個基準數據集上的全面實驗證明了FilterNet在效果和效率方面的優越性。

此外，團隊成員還對FilterNet及其內部濾波器進行了細緻深入的模型分析，展示了其諸多優秀特性。

他們表示，希望這項工作能夠推動更多研究，將信號處理技術或濾波過程與深度學習相結合，提高時間序列建模與精確預測的效果。

Paper Link：https://arxiv.org/abs/2411.01623

Code Repository：https://github.com/aikunyi/FilterNet