以人類神經系統為靈感，山大團隊研發多模態傳感內計算系統，感知存儲光電信號的同時模擬人腦處理過程

在小時候，山東大學教授鄭立梅就對數學和物理很感興趣。她發現在數學現象和物理現象的萬般變化背後，隱藏著樸實而簡單規律，只要掌握基本規律就能應對各種表象。

她還發現物理是一門非常重要的學科，人類歷史的每一次科技革命都是基於物理領域的新發現和新認知。

因此，在本碩博期間，鄭立梅均選擇物理學作為主修專業。雖然目前女性物理學者的人數並不多，但她認為女性的執行力、創新力和邏輯思維能力和男性科研工作者是同等的。

德裔美國物理學家、盧保物理學獎獲得者瑪麗亞·格佩特-梅耶（Maria Goeppert-Mayer），是鄭立梅非常敬佩的一位女性物理學。

梅耶對於物理學的深刻見解、及其在核殼模型上的開創性工作深深吸引了鄭立梅，她的成就也證明了女性在科學領域同樣能夠取得卓越成績。

而在鄭立梅的學術生涯中，她也有幸遇到一些在凝聚態物理領域工作的傑出女性導師。在前輩的指引以及自己的努力之下，鄭立梅近年來取得了不少成果。

這不，近日她和團隊研發出一款光電器件，它不僅可以感知和存儲光信號和電信號，而且可以通過模擬人腦計算原理來處理信號。

研究中，他們從人類神經系統獲得了靈感。人類神經系統具有感存算一體的架構模式，即能夠通過視覺、聽覺等多種感官渠道，既快速又準確地感知和響應環境變化。

這種多模態信號的融合處理能力，為課題組設計這種新型傳感系統帶來了啟發。基於此，他們提出多模態感存算一體的概念。

通過集成多種模態信號的感知功能與處理功能，該團隊不僅提升了傳感系統的集成度，也減小了傳感系統的尺寸，還減少了能耗消耗和時間延遲，讓傳感系統的工作效率得以提高。

據介紹，本次器件是一個由氧化銦錫和 NSTO 光電突觸器件組成的陣列。

通過模擬一個能同時感知和處理視聽信息的多模態神經網絡系統，以及通過一個能用於實時監測動態車輛信息的神經形態視覺系統，課題組驗證了本次器件的實際應用能力。

同時，它的製備工藝也十分簡單，很容易實現大面積的器件陣列。

總的來說，這款器件不僅為神經形態計算領域貢獻了新型硬件解決方案，也為發展低能耗、高效率、高感知、高決策精度的傳感系統提供了硬件基礎。

在應用上：

首先，本次器件能被用於智能家居場景和智慧城建場景中的物聯網設備，即為它們搭載上多模態的傳感存算一體化系統。

對於智能家居設備來說，它將能在本地處理多種環境數據，比如處理溫度、濕度、光照等數據，從而更高效地調節室內環境。

對於城市中的智能傳感器來說，它將能實時分析和實時處理交通流量、空氣質量等數據，從而更及時地作出響應，進而改善城市管理。

其次，本次器件能被用於 AI 設備，例如充當智能穿戴設備和無人駕駛汽車的機器視覺工具。

在健康監測設備中，它能讓智能穿戴設備實時處理生物數據，比如處理心率、血氧等數據，從而提供更加精確的健康管理和即時反饋。

在機器視覺系統中，它能讓自動駕駛汽車同時處理來自雷達和攝像頭等不同來源的數據，從而提高對於環境感知的反應精度和反應速度。

亟待發展新型傳感範式

據瞭解，隨著物聯網和大數據的發展，也給傳感系統提出了前所未有的挑戰。針對傳感系統的效率、尺寸和功耗加以優化，也成為一個日益迫切的需求。

然而，對於傳統的傳感系統來說，它採用的是由傳感模塊、存儲模塊、數據處理模塊等不同模塊構成的分離式架構。

模塊之間頻繁的數據傳輸，會導致時間延遲和能量消耗等問題。

此外，為了捕捉不同模態的信號，必須在傳統傳感系統之中部署多種傳感器，這不僅會增加系統複雜性，也會增大系統的尺寸。

因此，學界開始致力於開發新型傳感系統，即打造不僅能感知多模態信號、而且具有感存算一體能力的架構，以便減少數據傳輸和數據存儲帶來的額外能耗。

對於傳統傳感系統來說，它需要將傳感器獲取的數據，傳輸到中央處理單元進行處理。這一過程不僅耗時，而且會提高功耗。

此外，傳統傳感器僅能處理單一類型的數據。而現代應用通常需要處理多模態的數據，這時就需要一種能夠支持多模態信號感知的新型傳感範式。

基於此，該團隊開展了一系列的研究，希望研發一款結構簡單、具有多信息響應能力、以及集感知&存儲&數據預處理等功能於一體的神經形態器件。

從而能夠解決能耗與延遲問題，還能滿足多模態數據處理的需求。

「一位偶然的詢問打破僵局」

確定研究目標之後，他們研究了領域內的已有文獻，借此發現憶阻器器件原型在構建「存算一體」和「感存算一體」架構中具有巨大潛力。

這兩個架構能夠顯著減少功耗和延遲，故被視為是突破傳統馮諾依曼瓶頸的關鍵架構。

課題組由此意識到：這些架構也將為物聯網時代和大數據時代的算力提升帶來一條有效途徑。

此前，該團隊曾利用氧空位與鐵電極化的協同作用，設計出一款高性能的鐵電人工神經突觸，並將其成功用於人工神經網絡之中。

利用這款突觸他們針對手寫字母實現了高精度識別，借此展示了憶阻器在「存算一體」架構中的應用前景。

進一步地，在人類感官系統的啟發之下，他們認為應該研發一款新型憶阻器。

對於這種新型憶阻器來說，它要具備對於多模態信號的感知能力，並且要具有傳感功能、存儲功能和處理功能。只有這樣，才能有效解決傳統傳感系統的各種不足。

緊接著，他們開發出幾款多模態感官系統，但是這些系統大多必須通過多個傳感器，才能捕獲各種感官信息，這不僅會增加硬件設計的難度，也會帶來較高的功耗。

為了彌補此前研究中存在的不足，課題組將本次研究的具體目標定為：在單一憶阻器件中，集成對於多模態信號的傳感功能、存儲功能和處理功能，並以單一憶阻器為核心，構建出一款多模態傳感內計算系統。

而只有合適的材料和結構，才能設計出可以感知和處理多模態信號的神經形態器件。

當鄭立梅和團隊正深陷於如何選擇合適的材料時，一位朋友的偶然詢問打破了僵局，對方問鄭立梅是否可以幫他濺射氧化銦錫薄膜。

氧化銦錫，是一種廣泛用於光電器件的電極材料，以其卓越的透光性和導電性而聞名。

然而，鄭立梅之前並未考慮過它在自己項目中的潛在應用。「這個看似隨意的問題，卻像一顆種子一樣在我們心中生根發芽。」鄭立梅說。

於是，她和團隊立刻開始研究氧化銦錫，結果發現這可能正是他們一直在尋找的答案。

於是，他們決定在 NSTO 襯底上嘗試製備氧化銦錫電極，希望能為光電神經形態器件帶來新突破。實驗結果令人十分鼓舞，器件的性能基本符合預期。

氧化銦錫/NSTO 氧化物異質結的好處在於：不僅便於實現器件的陣列化集成，也具備簡單的器件結構，同時能夠兼顧器件的製備成本與工藝難度。

此外，它還在光電雙模態信號的感知與存儲上展現出卓越性能，有望在多模態感存算系統中實現一定應用。

完成器件製備之後，他們又設計了多模態傳感內計算系統，該系統可以集成多種模態信號的感知功能與處理功能，故能顯著地提升工作效率和功能集成度。

此外，他們還構建出一種神經形態視覺系統，以用於實時監測和實時分析動態車輛信息，借此證明了本次器件的應用潛力。

Hong Fang 是第一作者，齊魯工業大學趙樂博士、山東大學顏世申教授和鄭立梅教授擔任論文共同通訊作者。

圖 | 相關論文（來源：Advanced Functional Materials）

後續，他們將採取四步走的策略，力爭繼續推進這一領域的進步。

首先，優化材料與器件性能。

儘管目前已經證明氧化物異質結在多模態傳感-計算一體化中的潛力，但是器件性能依然存在較大改進空間。

下一步，課題組將繼續優化材料的選擇性和異質結結構，以便進一步地提高器件的靈敏度、能效比和計算速度。

這可能需要引入新的氧化物材料組合，或者針對現有材料進行摻雜和表面處理，以便提升其電學性能和光學性能。

另外，為了推動器件的商業應用，還需要研發更加成熟的製備工藝，以便提升器件的長期穩定性和應用可靠性。

其次，擴展多模態傳感功能。

目前，本次研究主要集中在少數幾種物理量的多模態感知上。後續，他們將嘗試擴展傳感器的功能，使其能夠感知更多類型的物理信號、化學信號甚至生物信號。

比如，將傳感功能擴展到氣體檢測、生物分子識別等領域，從而使多模態感存算系統在環境監測、醫療診斷等領域中也能發揮作用。

再次，進一步優化集成功能。

除了開展單一器件的性能優化之外，他們還計劃開展進一步的集成工作與優化工作。

包括將多個異質結傳感器集成到更複雜的系統中，並優化它們之間的數據處理和通信機制，進而構建出更複雜的智能應用系統。

最後，開展跨領域的探索。

課題組還計劃與其他學科的學者進行合作，探索本次設備在更廣泛領域中的創新應用。

例如，通過與生物醫學工程領域的課題組開展合作，探索多模態感存算系統在疾病診斷和健康監測中的應用。

通過這些後續計劃，他們希望能夠推動下一代智能設備、物聯網系統和邊緣計算技術的發展。

參考資料：

1.https://onlinelibrary.wiley.com/doi/10.1002/adfm.202409045

運營/排版：何晨龍