Science子刊封面：500年前拉斐爾怎麼作畫，AI看一眼就知道

新智元報導  

編輯：祖楊

【新智元導讀】AI的跨界，只有想不到，沒有辦不到。藝術學家們用深度學習模型分析拉斐爾的畫作，不僅能分析出用了什麼顏料、怎麼畫的，還能知道500年前拿著畫筆的是不是拉斐爾本人。

DALL-E、MidJourney等工具的誕生，讓我們看到了GenAI高超的「創作技能」。但如果反過來，讓AI去分析藝術大師的畫作，它們又會有怎樣的表現？

最近，Science Advances封面刊登了一篇來自意大利文化遺產科學研究所的論文。他們將兩幅著名的拉斐爾畫作進行了MA-XRF掃瞄，並使用深度學習模型進行分析。

結果發現，AI不僅處理速度快，給出的結果也相當準確，還能為我們提供全新的見解和視角。

給油畫做CT，讓AI看片子

過去十年中，利用成像技術對繪畫進行非侵入性研究方面取得了飛快的進展。

藝術學家們不再只憑藉自己的肉眼或實驗對畫作進行分析，而是採用類似於MA-XRF（宏觀X射線螢光）的技術，進行顏料識別、顏料分解、虛擬修復等應用。

然而，無論進行哪種用途，每次成像都會產生大量數據集，並且分析數據也需要特定的專業知識。因此，為了高效地利用這些複雜數據，計算機輔助的程序分析和計算方法也隨之發展。

比如，MA-XRF掃瞄繪畫表面後可以得到含大量數據的XRF光譜。掃瞄區域通常包含上百萬個像素，這就意味著輸出是三維立方體形式的數百萬個XRF光譜。

在這個過程中，研究人員們發現，人工智能大有用武之地，而且不僅僅止於數據的處理分析，還可以找出人類學者和經典分析方法容易忽視的新見解。

而這篇論文所使用的模型正是基於CNN架構，同時借鑒了XRF分析中常用的標準反捲積（deconvolution）方法，以MA-XRF光譜作為輸入，預測畫面上的元素分佈，以及每種元素的絕對計數，就能夠對所用顏料進行分析。

訓練數據集既包括實際MA-XRF掃瞄得到的數據，也使用了合成數據進行訓練，共包含50萬個蒙特卡羅模擬生成的光譜。

MC模擬進行光譜合成的過程如圖1A所示，圖1B則描述了所用深度神經網絡的總體架構，可以分為卷積塊和稠密塊兩部分。

原有的CNN假定圖像各部分具有平移不變性，但顯然MA-XRF光譜不是如此，每種元素所在的位置就代表了能量大小，這是用於預測的關鍵信息。

為了移除原有CNN中的平移不變性，訓練卷積塊時會先保持密集塊參數固定，卷積塊訓練完成後才會啟用。

圖1 方法示意圖（A）MC模擬中使用的圖像模型示意圖，生成用於訓練網絡的合成XRF光譜（B)神經網絡的示意圖，分為兩部分：卷積塊和密集塊

為了進行試點實驗，研究人員對兩幅拉斐爾的畫作進行了掃瞄，分別是《God the Father》（ 聖父上帝）和《Virgin Mary》（聖母瑪利亞）。

1500年，「文藝複興三傑」之一的拉斐爾為教堂創作了一幅宏偉的祭壇畫，但目前僅存有四幅殘片，這兩幅就是其中之二，現藏於意大利拿玻里的卡波迪蒙特博物館。

對《聖母瑪利亞》的人物面部分析如圖3所示。從元素分佈圖像中可以推斷出，打底層和高光中使用鉛白（PB-L），人物膚色和明暗對比中使用了朱紅色（Hg-L）。

窗簾上的綠色是銅綠（Cu-K），而且人物的藍色鬥篷上也存在銅元素，表明使用的顏料礦石是藍銅礦，並與天青石、鉛白進行了混合，這一點可以從鉀和鉛的分佈圖推斷出來。

圖3 從B至F依次是PB-L、Hg-L、Au-L、Cu-K、Fe-K等元素的映射圖，左側顯示模型預測結果，右側顯示參考結果

除了推斷顏料成分，這項技術還能幫我們分析拉斐爾的繪畫技巧，幫我們看到這位大師在面部造型中採取了怎樣的微妙技法。

和上圖一樣，依舊有大量的鉛白色打底，使用土黃色的赭石（含大量鐵）賦予面部的三維度和陰影，眼周的紅硃砂（汞）和銅基顏料共同打造出了一種微妙的膚色。

圖5B則能讓我們更精細地看到拉斐爾如何用鉛勾勒出建築的細節，此外，鐵元素和鋅元素含量的顯著線性關係（圖5E）則能告訴我們，他使用的赭石中包含大量鋅元素。

從圖3-5的元素分佈圖，以及圖7的量化結果中可以看出，模型的預測結果與參考值匹配程度很高，元素淨計數也遵循相同的分佈。

此外，經過藝術學家的判斷，神經網絡推斷出的顏料調色板符合15世紀畫家的實踐方法，並與其他方法所調查出的拉斐爾早期作品調色板相匹配。

這些發現代表了人工智能集成的關鍵進步，AI可以幫助更準確、更高效地分析XRF光譜，從而進一步促進藝術領域各個學科的專家之間的合作。

這項方法的成功建立在兩個關鍵支柱之上。首先，我們已知的關於X射線如何與物質相互作用，包括能量色散探測器的光譜響應；其次，先進的模擬軟件能夠生成與XRF儀器所獲得的非常相似的合成光譜。

AI+畫作，發展「計算機輔助鑒賞」

事實上，Science刊登的這篇研究並不是藝術學家們首次和AI進行跨界合作。

去年11月，《福布斯》雜誌就報導過一位英國學者的研究，而且同樣是針對拉斐爾的畫作。

他們使用深度學習算法分析了這幅《Madonna of the Rose》（玫瑰聖母），發現其中男性人物的臉（Joseph）並不是拉斐爾本人繪製的。

更加巧合的是，這個結果與藝術學家們長期以來的懷疑不謀而合。

長期以來，學者們就推測這幅畫有拉斐爾以外的其他人參與，並且還注意到，Joseph面部的構圖和描繪水平比不上畫面中的其他人物。

研究人員僅用了49幅經過認證的拉斐爾畫作，就訓練出了一個深度學習系統，通過筆觸、調色板和陰影等4000多個視覺特徵識別藝術家的作品，準確率高達98%。

論文作者Hassan Ugail表示，相比任何人在不借助任何工具的情況下進行分類或鑒別，AI的準確率要好得多。

然而，論文合著者、史丹福大學的David G. Strok提醒我們，目前僅靠計算機結果扔不足以完成大多數藝術史領域的任務。

如果與傳統的鑒賞方法和藝術史研究相結合，計算機工具與AI技術將大有可為。一個正確的算法、一個經過恰當訓練的AI模型，將節省寶貴的時間和資源，幫助我們更好地發掘藝術寶庫。

參考資料：

https://www.science.org/doi/10.1126/sciadv.adp6234

https://www.forbes.com/sites/lesliekatz/2023/12/22/ai-uncovers-hidden-secret-in-painting-by-renaissance-master-raphael/