賈揚清共一論文獲ICML時間檢驗獎:首個開源版AlexNet,著名框架Caffe前身,最佳論文獎也已公佈
西風 發自 凹非寺
量子位 | 公眾號 QbitAI
ICML 2024時間檢驗獎出爐,賈揚清共同一作論文獲獎!
論文題為「DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition」,是賈揚清及其團隊10年前在UC伯克利期間完成的工作。
![](http://n.sinaimg.cn/spider20240724/670/w1080h390/20240724/55a1-851f178f27c1ce205342a1e8746df4f5.png)
ICML官方第一時間發推文表示祝賀,賈揚清回應道「深感榮幸DeCAF獲ICML2024時間檢驗獎,這是人工智能發展驚人的十年」,並把其他作者艾特了個遍。
![](http://n.sinaimg.cn/spider20240724/200/w888h912/20240724/5f1b-524cad711ebed2426bff6b6804450288.png)
作者之一、現GoogleDeepMind副總裁、Gemini項目聯合負責人Oriol Vinyals也開麥表示「非常感謝這個獎(讓我感覺自己老了)」:
DeCAF是AlexNet的首個開源版本,我們通過它測試了這個卓越的ImageNet分類器學習到的特徵是否能廣泛應用於其他視覺任務。事實證明,這個想法在今天仍然與最好的多模態模型非常相關!
![](http://n.sinaimg.cn/spider20240724/302/w886h1016/20240724/03ab-cb6c49131c663488acd6c8303f543400.png)
兩位老搭檔也在評論區敘上了舊:
![](http://n.sinaimg.cn/spider20240724/612/w884h528/20240724/936f-9e6ea76f1ef3b1f82499535b4d918055.png)
ICML今年是其舉辦的第41屆,投稿量9000+,接受率27.5%。除了時間檢驗獎,最佳論文獎也已出爐,Stable Diffusion 3論文等上榜。
獲得時間檢驗獎的這篇論文,目前Google學術被引6012次:
![](http://n.sinaimg.cn/spider20240724/775/w1080h495/20240724/67e4-ab6ad95ebcfb3ec26af7d2d5443cf549.png)
先來看這篇論文都講了什麼。
著名框架Caffe的前身
這篇論文提出了一種名為DeCAF(Deep Convolutional Activation Feature)的深度卷積激活特徵,用於解決通用視覺識別問題。
主要是探索了在ImageNet等大規模標記數據集上預訓練的深度卷積神經網絡,其中間層特徵是否能夠有效遷移到其他視覺任務中,即transfer learning的可行性。
作者採用了Geoffrey Hinton、Alex Krizhevsky、Ilya Sutskever2012年提出的AlexNet卷積神經網絡架構,包含5個卷積層和3個全連接層。在ImageNet數據集上進行預訓練後,凍結網絡權重。
![](http://n.sinaimg.cn/spider20240724/644/w1080h364/20240724/be01-1b318de91cc344bfb1bc04e36e73cf34.png)
提取了不同層的激活作為特徵,具體包括DeCAF5、DeCAF6和DeCAF7(最後一個隱藏層的激活)。並在新任務上僅訓練簡單的線性分類器,同時保持DeCAF特徵不變。
為了驗證這種方法的有效性,作者在多個標準計算機視覺基準測試上進行了實驗,包括對象識別(Caltech-101)、域適應(Office數據集)、細粒度識別(Caltech-UCSD鳥類數據集)和場景識別(SUN-397)。
實驗結果顯示,DeCAF在所有這些任務上都取得了優秀的表現,常常超越當時的最佳方法。
使用t-SNE算法將高維特徵映射到2D空間,展示了DeCAF特徵在語義聚類方面優於GIST和LLC等傳統特徵。
![](http://n.sinaimg.cn/spider20240724/596/w1080h316/20240724/8c5a-9a6c0df194c7e58159d6a7f1ed108682.png)
![](http://n.sinaimg.cn/spider20240724/572/w826h546/20240724/874f-25487b786796d9ff34e00e1a93e4f174.png)
即使在訓練樣本稀缺的情況下,如單樣本學習,DeCAF仍然表現出色。論文還詳細分析了網絡各層的計算時間分佈,發現全連接層佔用了大部分計算時間。
![](http://n.sinaimg.cn/spider20240724/566/w820h546/20240724/2ae5-b2490d6ebbbe3baa1b57a0b750672559.png)
此外,論文還探討了dropout等正則化技術的影響,特別是在DeCAF6和DeCAF7層上的應用。
最終作者開源了DeCAF特徵提取工具和預訓練模型。
有網民看到這篇論文在十年後的今天獲獎後,突然反應過來「這是不是Caffe的起源?」
![](http://n.sinaimg.cn/spider20240724/738/w1080h458/20240724/7571-b0d224e8333d508ea467117ab669904f.png)
賈揚清也做出了回覆:
DeCAF的訓練速度不夠快(我們估計訓練時間需要超過一個月),因此我們轉而使用了Caffe。這就是為什麼一個名字中含caffeine(咖啡因)成分為零而另一個有的原因——無論是人還是機器,含caffeine都運行得更快。
![](http://n.sinaimg.cn/spider20240724/454/w886h368/20240724/07a6-8f39736e0cd938765e102804cd482a5f.png)
最佳論文獎
除時間檢驗獎,ICML 2024最佳論文獎也出爐了,今年獲獎論文共有10篇。
其中包括Stable Diffusion 3論文「Scaling Rectified Flow Transformers for High-Resolution Image Synthesis」。
Pika聯合創始人兼CTO Chenlin Meng參與的「Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution」這項工作也獲獎了。
![參考鏈接:](http://n.sinaimg.cn/spider20240724/633/w1080h353/20240724/0796-89cd65f006e09c068d7636a6ffa060ed.png)
![參考鏈接:](http://n.sinaimg.cn/spider20240724/787/w1080h507/20240724/1268-1308475989313cee0d0e22ea27dc6fda.png)
![參考鏈接:](http://n.sinaimg.cn/spider20240724/655/w1080h375/20240724/d050-6fd644d09e4657139ef2ce62ca57e72e.png)
![參考鏈接:](http://n.sinaimg.cn/spider20240724/670/w1080h390/20240724/36e5-93f3367dc6a3e660ab45cf3ef0e609cd.png)
![參考鏈接:](http://n.sinaimg.cn/spider20240724/657/w1080h377/20240724/2677-250c77e7cdd366a3c213597413961544.png)
![參考鏈接:](http://n.sinaimg.cn/spider20240724/694/w1080h414/20240724/9746-9c4106d66711534e456506e27ba35e02.png)
![參考鏈接:](http://n.sinaimg.cn/spider20240724/651/w1080h371/20240724/6644-845746230a45958db7b1640de77a28b4.png)
![參考鏈接:](http://n.sinaimg.cn/spider20240724/691/w1080h411/20240724/d1a0-0112a9cecdde4645f1a0d6a2d6827476.png)
![參考鏈接:](http://n.sinaimg.cn/spider20240724/662/w1080h382/20240724/e0d5-c5de3a201d2da7035b0e35cf0467c4a3.png)
![參考鏈接:](http://n.sinaimg.cn/spider20240724/678/w1080h398/20240724/5df2-a2151202e653977dfb9decffc569d118.png)
[1]https://icml.cc/virtual/2024/awards_detail
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796