經典卡爾曼濾波器改進影片版「分割一切」，網民：好優雅的方法

金磊 發自 凹非寺

量子位 | 公眾號 QbitAI

Meta的影片版分割一切——Segment Anything Model 2（SAM 2），又火了一把。

因為這一次，一個全華人團隊，僅僅是用了個經典方法，就把它的能力拔到了一個新高度——

任你移動再快，AI跟丟不了一點點！

例如在電影《1917》這段畫面里，主角穿梭在眾多士兵之中，原先的SAM 2表現是這樣的：

嗯，當一大群士兵湧入畫面的時候，SAM 2把主角給跟失了。

但改進版的SAM 2，它的表現截然不同：

這個改進版的SAM 2，名叫SAMURAI（武士），由華盛頓大學全華人研究團隊提出。

一言蔽之，這項工作就是把SAM 2之前存在的缺點（記憶管理方面的局限性）給填補上了。

更有意思的是，這項改進工作所用到的核心關鍵方法，是非常經典的卡爾曼濾波器（Kalman Filter，KF）。

並且還是無需重新訓練、可以實時運行的那種！

前Google產品經理、國外知名博主Bilawal Sidhu在看完論文後直呼「優雅」：

有時候你不需要複雜的全新架構——只需要聰明地利用模型已知的信息，再加上一些經過驗證的經典方法。

我們的「老朋友」卡爾曼濾波器，這麼多年過去了，它的表現依然如此出色。有時候老派的方法就是管用。

嗯，頗有一種「薑還是老的辣」的感覺了。

黑悟空、女團舞蹈，統統都能hold住

我們先繼續看下SAMURAI能力實現的更多效果。

團隊在項目主頁中便從多個不同維度秀了一波實力。

首先就是打鬥遊戲場景，例如在《隻狼：影逝二度》中，即便人物都「彈出」了畫面，SAMURAI也能再次把目標捕捉回來：

《黑神話：悟空》的打鬥名場面，人物動作變化可以說是非常之快，而且和背景非常複雜的交織在一起。

即便如此，SAMURAI也能精準跟蹤，細節到金箍棒的那種：

但畢竟這兩個遊戲場景的例子，所涉及到的主體還不夠多，那麼我們接下來繼續看下更複雜的case。

例如橄欖球比賽場景，不僅人物移動的快，後來隊員們都撲到了一起，SAMURAI也能hold住：

在女團舞蹈的案例中，人物在變換隊形的時候都已經被其他隊員擋住了，也擋不住SAMURAI的「眼神鎖定你」：

很work的經典方法

在看完效果之後，我們接下來扒一扒SAMURAI的技術細節。

正如我們剛才提到的，這項工作彌補了SAM 2此前存在的缺點。

主要的問題就是處理視覺目標跟蹤時，尤其是在擁擠場景中快速移動或遮擋的物體時，它會出現跟失了的情況。

SAM 2的組成部分包括圖像編碼器、掩碼解碼器、提示編碼器、記憶注意力層和記憶編碼器。

在視覺目標跟蹤中，SAM 2使用提示編碼器來處理輸入的提示信息，如點、框或文本，這些提示信息用於指導模型分割圖像中的特定對象。

掩碼解碼器則負責生成預測的掩碼，而記憶注意力層和記憶編碼器則用於處理跨幀的上下文信息，以維持長期跟蹤。

然而，SAM 2在處理快速移動的對象或在擁擠場景中，往往忽視了運動線索，導致在預測後續幀的掩碼時出現不準確。

特別是在遮擋發生時，SAM 2傾向於優先考慮外觀相似性而非空間和時間的一致性，這可能導致跟蹤錯誤。

而SAMURATI，作為SAM 2的增強版，可以說是很好地解決了此前的痛點。

整體來看，SAMURAI主要包含兩個技術關鍵點：

• 運動建模（Motion Modeling）

• 運動感知記憶選擇（Motion-Aware Memory Selection）

讓目標「動」起來

運動建模部分的目的是有效地預測目標的運動，從而在複雜場景中，如擁擠場景或目標快速移動和自遮擋的情況下，提高跟蹤的準確性和魯棒性。

而這裏用到的具體方法，就是那個經典的卡爾曼濾波器，以此來增強邊界框位置和尺寸的預測，從而幫助從多個候選掩碼中選擇最有信心的一個。

在SAMURAI中，狀態向量包括目標的位置、尺寸及其變化速度；通過預測-校正循環，卡爾曼濾波器能夠提供關於目標未來狀態的準確估計。

目標的狀態向量被定義為：

其中，x和y表示目標邊界框的中心坐標；w和h表示邊界框的寬度和高度；後四個變量則表示坐標與尺寸的速度。

濾波的過程則主要分為兩個步驟。

第一個就是預測階段，即根據目標的上一幀狀態，預測下一幀位置：

其中，F是狀態轉移矩陣。

第二個則是更新階段，會結合實際測量值（目標的候選掩膜），校正預測值：

在運動建模部分，除了基於卡爾曼濾波器的運動預測之外，還涉及運動分數（Motion Score）。

主要是通過計算 Kalman 濾波器預測的邊界框與候選掩膜之間的交並比（IoU），生成運動分數sKf，用以輔助掩膜選擇：

最終的掩膜選擇基於運動分數與掩膜親和分數的加權和：

挑出最關鍵的記憶

SAMURAI第二個關鍵技術，則是運動感知記憶選擇（Motion-Aware Memory Selection）。

主要是為瞭解決SAM 2的固定窗口記憶機制容易引入錯誤的低質量特徵，導致後續跟蹤的誤差傳播的情況。

這部分首先涉及一個混合評分系統，包括掩膜分數、目標出現分數和運動分數三種評分，用於動態選擇記憶庫中最相關的幀。

• 掩膜分數smask：衡量掩膜的準確性。

• 目標出現分數 sobj：判斷目標是否存在於該幀中。

• 運動分數 skf：預測目標位置的準確性。

其次是一個記憶選擇機制——

如果某幀滿足以下條件，則其特徵會被保留到記憶庫中：

動態選擇的記憶庫可以跳過遮擋期間的低質量特徵，從而提高後續幀的預測性能。

從實驗結果來看，SAMURAI在多個視覺目標跟蹤基準上表現出色，包括 LaSOT、LaSOText和GOT-10k數據集。

值得一提的是，SAMURAI是在無需重新訓練或微調的情況下，在所有基準上都超過了SAM 2，並與部分有監督方法（如 LoRAT 和 ODTrack）表現相當。

全華人團隊出品

SAMURAI這項工作背後的研究團隊，有一個亮點便是全華人陣容。

例如Cheng-Yen Yang，目前是華盛頓大學電氣與計算機工程系的一名四年級博士生。

研究方向主要包括在複雜場景（水下，無人機，多相機系統）中的多目標跟蹤（單視圖，多視圖，交叉視圖）。

Hsiang-Wei Huang和Zhongyu Jiang也是華盛頓大學電氣與計算機工程系的博士生，而Wenhao Chai目前則是攻讀研究生。

他們的導師是華盛頓大學教授Jenq-Neng Hwang。

他是IEEE信號處理協會多媒體信號處理技術委員會的創始人之一，自2001年以來，黃教授一直是IEEE院士。

項目地址：

https://yangchris11.github.io/samurai/

論文地址：

https://arxiv.org/abs/2411.11922

參考鏈接：

[1]https://x.com/EHuanglu/status/1860090091269685282

[2]https://x.com/bilawalsidhu/status/1860348056916369881