西北師大發佈DeepJiandu數據集:AI解密簡牘 全球與眾共享
中新網蘭州3月28日電 (丁思 劉玉桃)為破解智能化簡牘文字識別與內容理解這一重大難題,近日,西北師範大學聯合甘肅簡牘博物館推出了DeepJiandu數據集,全球與眾共享。
DeepJiandu數據集,是在該校簡牘學術資源數據共享平台的基礎之上,研究發佈的全球首個專門用於複雜場景下簡牘字符檢測與識別的大規模數據集。該數據集的發佈,極大促進人工智能技術對簡牘文獻信息的理解,為簡牘學搭上AI技術快車提供有力支撐。

該工作由西北師範大學簡牘研究院、甘肅省簡牘智能計算與數字人文工程研究中心張強教授團隊負責開展,甘肅簡牘博物館、上海中西書局、甘肅文化出版社、西南大學等單位參與了該項工作。
據張強介紹,在紙張普及前的千餘年中,簡牘是中國古代記錄歷史信息的重要媒介,承載了戰國、秦、漢、魏晉等時期的典籍、律令、契約等,形成了完整的文明記憶鏈條,簡牘是文字傳播的核心媒介。
然而,簡牘因竹木材質易受腐蝕,尤其在出土後易出現氧化、變色或粘連問題;同時由於簡牘材料的脆弱性,長期埋藏環境導致字符模糊、字跡缺損、產生畸變等問題,使得人工識別與整理這些珍貴文獻極為困難。現有的數字化技術雖在甲骨文、東巴文、古彝文、古希臘銘文、古埃及象形文字、瑪雅文字等相關文獻資料等領域取得突破,但在簡牘文獻資料的智能化處理與分析程度不高,特別缺乏高質量的數據集,製約了人工智能技術在該領域的應用。

「DeepJiandu數據集的構建正是為瞭解決這一問題。」張強介紹說,研究團隊通過高光譜成像、圖像增強、多光譜融合等技術,確保了高質量的數據構建。數據集涵蓋2242種字符類別,並由簡牘學專家與計算機專家合作標註,確保數據的專業性與準確性。此外,數據集的設計考慮到簡牘中字符的殘損、異形字、多種佈局等複雜場景,有效提升了模型對歷史文獻的適應能力。
DeepJiandu數據集的發佈,填補了歷史文獻數字化與人工智能結合的空白,為簡牘整理與自動識別提供了重要支持,提升考古學者對簡牘文獻的解讀效率。此外,結合計算機視覺與歷史語言學,該數據集還將推動文博機構的數字化轉型,為多模態文化遺產保護提供新的技術路徑。
張強表示,隨著DeepJiandu數據集的推廣,研究團隊預計將有更多深度學習、計算機視覺領域的研究者加入簡牘文獻的數字化處理研究,並推動人工智能在歷史文獻解析、文化遺產保護等多學科交叉領域的應用。未來,團隊將繼續優化數據集,並探索多模態融合等前沿技術,為數字人文研究提供更強大的技術支持。
目前,DeepJiandu數據集已載入西北師範大學簡牘學術資源數據共享平台。該平台已開發了實物庫、釋文庫、字形庫、著錄庫、文獻庫和專家庫六個庫,利用人工智能、大數據分析、虛擬現實等先進技術,完成了對4萬枚西北漢簡的數字化收錄,不僅為專家學者提供了便捷的研究工具,也向公眾展示了簡牘文化的獨特魅力。該平台現擁有千餘名國內外在線用戶,覆蓋了國內外384個科研、文化機構和高等院校。(完)