2024 ACM計算獎出爐！ETU教授、超算架構革命者獲獎，貢獻加速ChatGPT誕生

新智元報導  

編輯：編輯部 ZKY

【新智元導讀】就在剛剛，2024 ACM計算獎出爐！蘇黎世聯邦理工學院Torsten Hoefler教授獲獎，理由是對高性能計算HPC及持續推進的AI革命的貢獻。在20多歲時，他就完成了許多重要工作，這證明年齡絕非在CS取得突破的障礙。

2024 ACM計算獎揭曉了！

當地時間26日，美國計算機協會正式公佈「ACM計算獎」，頒給了蘇黎世聯邦理工學院Torsten Hoefler教授。

獲獎原因，因對高性能計算HPC及持續推進的AI革命做出了基礎性的貢獻。

Hoefler的工作使得如今的深度學習工作負載加速了10到1000倍，惠及了數十萬名AI和HPC程序員，由此受益的總人數可達數百萬。

ACM計算獎旨在表彰職業生涯早期至中期的科學家，其研究成果不僅具有開創性，更對計算機領域產生了深遠廣泛的影響。

曆屆獲獎者包括GoogleAI掌門人Jeff Dean、AlphaGo之父David Silver等領軍人物。

本年度獎項獎金高達25萬美元。

超算架構革命者，開創分佈式計算基石

從MPI 3到3D並行性，再到高性能網絡設計，Torsten Hoefler用他的智慧和創新，重新定義了超級計算機的能力邊界。

ACM主席Yannis Ioannidis對其評價道，「Hoefler在學生時代，便提出了多項關鍵創新，這些創新至今仍是大規模並行系統編程的標杆，賦予了這些系統的卓越能力，從而推動了AI、自然科學及其他諸多領域的顯著進步」。

Infosys首席執行官Salil Parekh表示，「Torsten Hoefler在推動高性能計算方面做出了重要貢獻，這一進展也極大地促進了當前AI革命的到來。Hoefler的許多重要工作是在他20多歲時完成的，這充分證明了年齡絕非在計算領域取得突破的障礙」。

高性能計算AI

他的貢獻構成了現代高性能AI系統的核心部分，用於訓練大語言模型等。

Hoefler的工作惠及了數十萬名AI和HPC程序員，從這些技術和社會變革中受益的總人數高達數百萬。

Hoefler教授不僅開發了現代超級計算機的許多核心功能，還定義了在這些計算機上分發AI模型的關鍵算法。

從此，大型系統的能力被徹底革新，AI算法可以在數十萬個節點（計算機或服務器）上進行處理。

在整個超算系統層面，他都做出了諸多創新，為大規模並行集群的使用開闢了新局面，突破了並行系統設計的邊界，顯著提升了超算的性能和可擴展性。

這些創新，已被納入當前最大、最強大的超級計算機中。

3D並行性

他是最早發現並推廣「3D並行性」這一現象的學者之一，這一概念已成為整個AI行業基礎設施設計的驅動力。

他和他的合作者繼續開發了更多創新技術，如高效流水線、稀疏通信、模型稀疏性和量化等。

這些算法貢獻使得如今的深度學習工作負載加速了10到1000倍。

同樣值得注意的是Hoefler教授在基準測試和可重覆性方面的奉獻。

他在建立基準測試和可重覆性的最佳實踐方面的開創性工作，為高性能計算（HPC）研究的嚴格性和透明性設立了黃金標準。

路由協議和網絡拓撲

Hoefler教授在超級計算機的可擴展網絡設計方面的貢獻，徹底改變了大型系統的能力，使其能夠擴展到成千上萬的節點。

他在互聯網絡方面的專業知識，包括他早期在InfiniBand優化方面的工作以及在消息傳遞接口（MPI）發展中的重要角色，為大規模並行集群的使用提供了全新的可能。

此外，他在新型網絡拓撲、路由、擁塞避免和性能等方面的諸多創新——

包括對Slim Fly、PERCS和HammingMesh的關鍵貢獻——

不僅推動了網絡設計的邊界，還轉化為超級計算機性能和可擴展性的顯著提升，現已被當今最大的機器廣泛採用。

這些貢獻構成了現代高性能AI系統的核心部分，這些系統被用於訓練大模型，如ChatGPT。

他和團隊為InfiniBand開發的低級網絡路由協議，支撐著數千台AI和高性能計算（HPC）超級計算機。

高性能計算MPI

Hoefler教授是MPI 3規範的主要貢獻者之一。

在MPI-3標準的製定過程中，他曾主持「過程拓撲」和「集體操作」工作組。

MPI作為一種行業中的非正式標準，主要用於高性能計算網絡中獨立節點之間的信息交換。

Hoefler主導的MPI-3標準於2012年正式實施，近幾年在模擬與AI應用領域取得的許多關鍵計算突破，都是奠基於這項標準之上。

他開發的非阻塞集體操作(Nonblocking Collective Operations)，如Iallreduce、Iallgather和Ibcast，以及它們在各類集體通信庫中的相應版本，已被廣泛納入各類集合通信庫中，甚至超出了MPI-3的應用範圍。

現在，這項操作已經成為了分佈式深度學習的核心力量。

得主簡介

Torsten Hoefler教授，目前是瑞士蘇黎世聯邦理工學院計算機科學教授，現任可擴展並行計算實驗室主任。他還是瑞士國家超級計算中心（CSCS）的人工智能與機器學習首席架構師。

Hoefler教授在Chemnitz大學獲得計算機科學碩士學位，並在印第安納大學獲得計算機科學博士學位。

Torsten Hoefler是ACM Fellow、IEEE Fellow，並且是歐洲科學院（Academia Europaea）成員。

他於2019年獲得了ACM Gordon Bell獎。他是IEEE Sidney Fernbach獎的最年輕獲得者，該獎項是高性能計算領域歷史最久的職業獎項。

他還於2023年成為ISC Jack Dongarra獎的首位得主。

Hoefler教授還獲得了許多其他職業獎項，包括2015年蘇黎世聯邦理工學院的Latsis獎、2012年SIAM SIAG/超級計算年輕科學家獎、2005年化學大學技術學院的最佳學生獎、2013年IEEE TCSC可擴展計算領域年輕成就獎、2019年IEEE TCSC卓越獎，以及印第安納大學頒發的2014年年輕校友獎和2023年傑出校友獎。

他還獲得了德國的Max Planck-Humboldt獎章。

最後，附上一段Torsten Hoefler教授最新獲獎感言的影片。

參考資料：

https://awards.acm.org/about/2024-acm-prize

https://awards.acm.org/award-recipients/hoefler_4381890