科學家設計可重構神經形態視覺傳感器，能用於運動目標監測

近日，香港理工大學郝建華教授團隊將鐵電與二維材料進行融合，設計出新型的可重構神經形態視覺傳感器來實現對運動目標的監測。

圖 | 郝建華（來源：https://www.polyu.edu.hk/sc/academicians/our-distinguished-scholars/hao-jianhua/）

鐵電門的特性源於雙向完全極化的狀態之間，存在多個中間級別，使其能夠靈活調節。這種特性有助於精確控制原子超薄二維材料的摻雜程度和電子輸運行為。

這種方法增強了對神經形態突出權重的準確編程的靈活性和可調性，能夠實現優異的線性度和多態下均勻的步長變化，從而抵消難以控制的方法和不可預測的波動限制。

並且，基於鐵電與二維材料的可重構神經形態視覺傳感器具有可連續逐漸調節的正負光電導，因此可以成功模擬視網膜中信號接收感知、轉換傳導、信息處理和修改的過程。

運動目標的檢測與識別已成為智能場景中的核心需求，如智能家居、人工視覺、安全監控、無人駕駛汽車和軍事防禦。

鐵電材料是一種非中心對稱晶體材料，由於形成穩定的電偶極子而表現出非易失可調節的電極化的能力，其優異的特性可以用作存儲單元。

未來結合大規模材料生長和器件製備手段，有望代替基於互補金屬氧化物半導體的圖像傳感器平台。

談及開展本次研究的原因，該團隊表示傳統的基於每一幀的圖像傳感器，以固定的幀率傳遞絕對光強度，忽視了被探測主題的主要變化，因此生成大量冗餘的視覺數據並且傳遞的有效信息有限。

受生物視網膜的啟發，神經節細胞對不同的運動表現出選擇性響應，所以可以基於事件驅動，僅響應場景中的相關變化。

傳統的圖像傳感器芯片在不同模塊之間需要大量額外的塊和複雜的數據轉換、傳輸、存儲和處理操作，與智能應用所追求的便攜性和高效率的目標相悖。

此外他們還發現，在推斷和學習神經形態應用的背景下，具有高準確性和能量效率的神經網絡發揮著至關重要的作用。

具有多態可區分和高線性突觸權重更新影響了視覺傳感器系統的均一性和準確性的表現。同時，提高整體能量效率並建立自供電系統對於視覺傳感器至關重要。

基於此，他們定下本次課題並根據要實現的性能和特徵，確定基本的器件結構，進行一系列的表徵和測試。

在時域算法的實現部分，他們與香港理工大學同在應用物理系的柴揚教授課題組合作。

感存算一體架構由於運動目標的驅動特性，在光照強度變化時觸發並輸出信息，避免了靜態背景導致的冗餘信息，因此適合用於處理動態場景任務。

再結合時域算法，他們發現每讀取一個圖片的像素值陣列，鐵電器件的正負響應的範圍會生成兩個新的像素值陣列，根據時間順序進行疊加，便可以突出運動的事件。

與此同時，生物視覺系統可以在複雜環境中高效地感知運動。這種自然特徵帶動了高效硬件資源的設計以及機器視覺系統的推進。

而用於動作識別的傳統機器視覺系統通常涉及複雜的人工神經網絡，因此近幾年來他們也逐漸進入神經形態器件和人工視覺領域。

本次研究中，他們探討了重要一個問題：即是否可以利用傳感器感知動態運動，並且將感知存儲和信息的處理集合在同一個器件單元中？基於這一討論，他們在本次研究中結合鐵電的非易失性和多級中間態以及二維材料易受外場控制的特性，借助人工神經網絡識別出了運動目標的特徵。

受到人類視網膜的運動感知啟發，這項研究在機器視覺系統中以智能方式顯著提高了對於靜態信息和動態信息的區分和處理。

至此，研究正式完成。日前，相關論文以《基於鐵電調製的可重構神經形態視覺傳感器實現目標運動檢測》（Object Motion Detection Enabled by Reconfigurable Neuromorphic Vision Sensor under Ferroelectric Modulation）為題發在 ACS Nano[1]，黨兆盈是第一作者，香港理工大學郝建華教授擔任通訊作者。

研究人員表示，利用他們之前研究中使用的仿生視覺傳感器為基礎，他們成功模擬了類似於生物視覺系統中發現的一系列感知和預處理功能。

這些功能包括適應不同的光強度、在傳感器內執行神經網絡處理、檢測運動和編碼視覺信息 [2]。

為了促進視覺傳感器的實際實施，整合多模感知變得至關重要。這突顯了改進特定視覺傳感器以捕捉更廣泛的與光相關的數據的重要性。

參考資料：

1.Dang, Z., Guo, F., Wang, Z., Jie, W., Jin, K., Chai, Y., & Hao, J. (2024). Object Motion Detection Enabled by Reconfigurable Neuromorphic Vision Sensor under Ferroelectric Modulation. ACS nano, 18(40), 27727-27737.

2.ACS Nano DOI: 10.1021/acsnano.4c10231 (2024)；Adv. Electron.Mater. DOI: 10.1002/aelm.202400528 (2024)；Adv. Funct. Mater. 34, 2400105 (2024)；Mater. Horiz. 10, 3719 (2023)；Nano Lett. 23, 6752 (2023)

3. Feng Guo, Menglin Song, Man-Chung Wong, Ran Ding, Weng Fu Io, Sin-Yi Pang, Wenjing Jie, and Jianhua Hao, “Multifunctional optoelectronic synapse based on ferroelectric Van der Waals heterostructure for emulating the entire human visual system”, Adv. Funct. Mater., 32, 2108014 (2022) (Top 10 most downloaded papers).

運營/排版：何晨龍