蘋果新功能「空間拍攝」是如何實現的？

今天，蘋果宣佈推出一項新的iPhone功能。據悉，該功能還將與其在今年早些時候發佈的XR頭顯Apple Vision Pro相結合：借助新發佈的iPhone 15 Pro，用戶將能夠捕捉並獲得“空間視頻”。該公司表示，這些視頻將讓用戶在Vision Pro上以一種新的方式“重溫過去的記憶。”此外，用戶還可以與任何擁有Vision Pro的人分享這些讓人產生身臨其境感覺的空間視頻。

當蘋果推出Vision Pro時，“空間計算”的概念就深入人心，本次推出的iPhone 15 Pro還採用了新的納米級塗層來減少鏡頭眩光，以及一些計算攝影技術，可實現一系列新的肖像模式來拍攝3D“空間視頻”，然後用戶可以將其轉化在Vision Pro上，進而獲得更加具有深度感知的視頻和圖像。

對用戶來說，蘋果的這項技術可以讓人更輕鬆地使用隨身攜帶的手機，而不是額外使用某些單獨的設備來拍攝視頻，這樣就不會錯過特殊時刻的記錄。當然據官方介紹，低配版的iPhone 15和iPhone 15 plus似乎並不具備該項功能。在蘋果提供的示例中，體驗者使用iPhone 15 Pro記錄了一個家庭的海灘渡假，從現有畫面來看，真實和細膩的畫面所呈現出的空間視頻，彷彿確實讓體驗者“回到了那個時刻。”

從技術角度分析，在新推出的iPhone 15 Pro中，用戶似乎可以體驗到超廣角攝像頭和主攝像頭的雙重配合。這種看似類似傳統3D電影的拍攝方式，主要是通過兩個一定間距的鏡頭進行畫面捕捉，通過利用鏡頭間的畫面視差，並分別呈現給人的左眼和右眼，最終產生3D的畫面。

不過蘋果的3D拍攝功能可能會與現有的雙目技術不同，它可能使用多個攝像頭和傳感器來捕捉3D信息。雖然這項技術的具體細節尚未公佈，但根據此前的報導來看，Vision Pro頭顯具有12個攝像頭和5個傳感器，包括1LiDAR、2結構光深度傳感和2*IR紅外傳感，這些傳感器用於處理空間環境感知、手勢識別、三維建模和眼動追蹤等功能，因此引入LiDAR深度傳感器的數據，對iPhone拍攝的原畫面進行重投影和修正，進而生成符合雙眼舒適視差的畫面可能更為符合蘋果的實際情況。

如果蘋果的3D拍攝功能主要通過多攝像頭和傳感器來實現，那麼就意味著這些設備可以捕捉到物體的多個角度和深度信息，並將其合成為三維模型。同樣的這種技術也可以應用於手機、平板電腦、筆記本電腦等設備，並支持在AR應用程序中使用。

事實上，利用脈衝激光測量目標距離的LiDAR技術，早已廣泛應用於測繪學、考古學、地理學等學科領域。但作為少數載移動設備上加載LiDAR技術的廠商，蘋果在2020年推出的iPad Pro、iPhone 12 Pro等產品上就將這項技術成功應用於消費電子市場。儘管如此，對於非專業用戶來說，LiDAR技術的價值和功能並不像攝像頭像素提升所帶來的圖像清晰度提高那樣直觀，也不像廣角鏡頭所帶來的視野擴展那樣顯而易見。不過本次蘋果推出的空間拍攝也許將徹底改變這一局面。

iPhone在LiDAR技術的加成下，可以輔助攝像頭元件獲取對象和空間的測量值，檢測人或物體的位置和距離，繼而結合場景幾何體生成的三維網格數據，通過啟用虛擬對象的即時放置並將與物理環境無縫混合，令虛擬對象更為逼真。不過也有專業人士表示，本次蘋果發佈的Vision Pro演示內容，看似是帶景深的3D視頻，但其實際上不需要3D重建技術，它也不是3D模型，而是一種是一種立體顯示技術，其優勢是可以讓用戶看到具有物理景深的三維圖像，獲得更好的體驗感。

畢竟除了空間定位之外，LiDAR還可以輔助3D建模。雖然LiDAR對於特別是小的靜態物體的重建精度不夠，但其用於空間定位時可以實現精準的效果，因此可以使用LiDAR獲取深度信息，結合RGB攝像頭捕捉高精圖片，雙方進行結合融彙，完成高精度3D重現的視覺效果。

但使用LiDAR配合進行空間檢測同樣有利有弊，這種對算力要求超高的過程會增加設備的運行負擔，因此，有專業人士推測，蘋果的3D體三維視頻在錄製時可能會出現算力不足的問題，從而影響畫質和幀率。

不過目前具體的使用體驗和畫質效果尚不得知，但似乎可以肯定的是，蘋果的3D拍攝功能可能是一種新的3D捕捉技術，能夠完整地記錄對象的三維信息。而通過蘋果Vision Pro頭顯可以觀看空間視頻，呈現出空間感，並且可以錄製空間視頻或照片，也表明蘋果的3D拍攝功能可能與此有關。未來也許這項技術可以應用於iPhone或更多的蘋果設備，以拍攝和呈現3D內容。

雖然蘋果並沒有公佈空間視頻錄製過程及如何工作，或Vision Pro上的觀看和共享體驗的詳細技術細節，而是將其視為未來產品體驗計劃的重要部分。

但不可否認的是，本次蘋果提出的空間拍攝概念，將原有的3D拍攝技術推向了更高層次。這種能夠在真實空間中對這些信息進行處理和呈現的技術，顯然需要更加複雜的技術和算法，例如空間點雲技術、三維重建技術、可視化技術等。

從某種意義上說，蘋果的3D拍攝功能在一定程度上已經實現，但是要在全行業中真正實現還為時尚早。如果能夠實現空間拍攝，AR應用程序中的物體將會更加真實、準確，這將有助於推動AR技術的發展，並帶來更多創新的應用場景。同時三維模型也將在諸多領域大放異彩，例如通過三維模型來輔助醫生進行手術計劃和手術導航，或者是工業設計和製造過程。總之，空間拍攝這一概念代表著重要應用前景，但是要真正實現空間拍攝，還需要更多的技術突破和實驗驗證。