AI一鍵解析九大生物醫學成像模式，用戶只需文字prompt交互，微軟UW等新研究登Nature Methods

BiomedParse團隊 投稿

量子位 | 公眾號 QbitAI

用AI大模型一鍵解析MRI、CT和病理學等九大生物醫學成像模式。

不僅複雜、不規則形狀對象能高精度識別：

而且通過對象識別閾值建模，模型能夠檢測無效的提示請求，並在圖像中不存在指定對象時拒絕分割。

用戶更是無需手動進行標註或邊界框操作——

只需通過簡單的臨床語言提示指定目標對象，例如「腫瘤邊界」或「免疫細胞」，便能讓AI準確識別、檢測並分割圖像中的相關區域。

還可一次性同時分割和標記所有感興趣的生物醫學對象：

這就是來自微軟、華盛頓大學等的研究團隊最新發佈的基礎模型BiomedParse，已登Nature Methods。

醫學圖像的成像模式差異巨大（如CT、MRI、病理切片、顯微鏡圖像等），傳統上需要訓練專家模型進行處理。

而BiomedParse，通過文本驅動圖像解析將九種醫學成像模式整合於一個統一的模型中，聯合預訓練處理對象識別、檢測與分割任務。

無論是影像級別的器官掃瞄，還是細胞級別的顯微鏡圖像，BiomedParse都可以直接利用臨床術語進行跨模式操作，為科學家和臨床醫生提供了更統一、更智能的多模式圖像解析方案。

在分割不規則形狀的生物醫學對象方面，BiomedParse相較傳統模型表現卓越。通過將圖像區域與臨床概念關聯，相比手動框選分割精度提升39.6%，提高了在關鍵任務中的可靠性。

目前，研究團隊已將BiomedParse開源並提供Apache 2.0許可，相關演示demo和Azure API均已上線。

只需文字提示，精度超越SOTA

為支持BiomedParse的預訓練，研究團隊利用GPT-4從45個公開的醫學圖像分割數據集生成了首個覆蓋對象識別、檢測和分割任務的數據集BiomedParseData。

該數據集包含超過600萬個圖像、分割標註與文字描述三元組，涵蓋64種主要生物醫學對象類型及82個細分類別，涉及CT、MRI、病理切片等九種成像模式。

通過GPT-4的自然語言生成能力，研究人員將散落在各種現有數據集中的分割任務用統一的醫學概念和語言描述整合起來，讓BiomedParse能在更大，更多樣的數據中融會貫通。

在測試集上，BiomedParse在Dice係數上顯著超越了當前最優方法MedSAM和SAM，並且無需對每個對象手動提供邊界框提示。

即使在給MedSAM和SAM提供精準邊界框的情況下，BiomedParse的純文本提示分割性能仍能超越5-15個百分點。

此外，BiomedParse的性能還優於SEEM、SegVol、SAT、CellViT、Swin UNETR等多個模型，尤其在複雜不規則的對象識別上表現突出。

生物醫學圖像中的不規則對像一直是傳統模型的難題，而BiomedParse通過聯合對象識別和檢測任務，通過文本理解實現了對對象特定形狀的建模。對複雜對象的識別精度遠超傳統模型，且在多模態數據集中進一步凸顯了其優勢。

展望未來，團隊表示BiomedParse擁有廣闊的發展潛力，可進一步擴展至更多成像模式和對象類型，並與LLaVA-Med等高級多模態框架集成，支持「對話式」圖像分析，實現數據交互式探索。

作者簡介

論文共同一作及通訊作者均為華人學者，分別來自微軟和華盛頓大學。

趙正德（Theodore Zhao），論文一作，為該研究作出主要技術貢獻。

微軟高級應用科學家，現主要研究方向包括多模態醫療AI模型，圖像分割與處理，大模型的安全性分析。

本科畢業於複旦大學物理系，博士畢業於華盛頓大學應用數學系，期間研究高治伯特-黃變換和分數布朗運動的多尺度特徵，以及隨機優化在醫療領域的應用。

顧禹（Aiden Gu），論文一作。

微軟高級應用科學家。本科畢業於北京大學微電子與經濟專業。

其研究方向專注於醫療健康、生物醫學，以及機器人多模態模型。代表性工作包括創建首個醫學領域特定的大語言模型PubMedBERT，以及患者旅程模擬模型BiomedJourney。

潘海峰（Hoifung Poon），論文通訊作者。

微軟研究院健康未來（Health Futures）General Manager，華盛頓大學（西雅圖）計算機博士。研究方向為生成式AI基礎研究以及精準醫療應用。在多個頂級AI會議上獲得最佳論文獎，在HuggingFace上發佈的生物醫學開源大模型總下載量已達數千萬次，在《自然》上發表首個全切片數字病理學模型GigaPath，部分研究成果開始在合作的醫療機構和製藥公司中轉化為應用。

王晟（Sheng Wang），論文通訊作者。

華盛頓大學計算機科學與工程系助理教授，微軟研究院訪問學者。

他專注於人工智能與醫學的交叉研究，利用生成式AI解決生物醫學問題。其科研成果已在《Nature》《Science》《Nature Biotechnology》《Nature Methods》和《The Lancet Oncology》等頂級期刊上發表十餘篇論文，並被Mayo Clinic、Chan Zuckerberg Biohub、UW Medicine、Providence等多家知名醫療機構廣泛應用。

Mu Wei，論文通訊作者。

微軟Health and Life Sciences首席應用科學家，擁有十餘年醫療與金融領域的AI模型研發與部署經驗。

他的團隊聚焦於健康領域的多模態AI模型，研究成果涵蓋生物醫學圖像解析、數字病理學基礎模型、臨床文檔結構化的大模型應用以及大模型錯誤率估計等方向。

感興趣的童鞋可自行查閱～

論文地址：https://www.nature.com/articles/s41592-024-02499-w

項目網頁：https://microsoft.github.io/BiomedParse/

代碼：https://aka.ms/biomedparse-release

Azure API網頁：https://ai.azure.com/explore/models/MedImageParse/version/3/registry/azureml?flight=ModelCatalogIndustryFilters&tid=72f988bf-86f1-41af-91ab-2d7cd011db47