蘋果Vision Pro和AI的重磅新大招,被提前扒出來了

蘋果秋季發佈會的預熱已在路上,關於iPhone 16和Apple Watch更新的消息更是滿天飛,無論是熱議新的A18芯片還是更加智能的Siri,蘋果新品的亮相總能吊足胃口。

蘋果高級副總裁基爾格·費德里吉(Craig Federighi)曾在WWDC 24上提到,蘋果要做的是更懂你的個人化智能系統。自和OpenAI官宣合作以來,蘋果在AI領域的野心便不斷展露,搭載在產品上的各類新玩法讓人應接不暇,但除此之外,蘋果在技術上的研發與創新從未止步。

我們從Patently Apple網站中梳理了近半年來蘋果在AI及可穿戴設備上的專利,通過瞭解發現,不少新奇的玩法和功能已經在蘋果的「錘煉打磨」中變得讓人愈發期待:

例如一項涉及Vision Pro的專利可以支持用戶進行「虛擬演講」,不僅可以模擬現實環境中排練演講的方式,還可以引入一兩個來自虛擬觀眾的干擾,並最終由系統為你的演講效果總結打分,社恐狂喜;3D導航系統也將配備在Vision Pro上。

更有一項專利表示,Apple Intelligence將會出現在Apple Watch上並支持「智能手勢」!讓用戶「揮揮手」便能輕鬆實現智能購物等非接觸式體驗。

除此之外,更加智能的Siri可能會憑藉AirPods的「外殼觸摸屏」和你對話,AirPods也或將變身成為可彎曲的柔軟耳機;Apple Watch的健康檢測功能將更加豐富;Vision Pro的面部界面傳感器也可以支持健康檢測,並且整個設備佩戴的舒適度也有升級。

我們從眾多專利中梳理了13項關於Apple Vision Pro、Apple Watch以及AirPods未來的重大升級,透過這些,我們總結髮現了蘋果產品佈局的三大關鍵趨勢——空間交互應用場景更豐富,健康檢測功能不斷拓展,用戶體驗持續改進

一、揭秘空間交互新玩法,智能手勢可實現無接觸體驗

蘋果不僅在強化空間交互上做出很多技術更新,也創新性地拓展了很多趣味性和實用性兼具的應用場景,這些專利從用戶角度出發,闡述了蘋果在Vision Pro、Apple Watch以及AirPods上的巧思。

為減輕社恐焦慮打敗「怯場」,蘋果研發了一項可以在XR環境中排練演講的功能。

這項功能旨在為用戶提供一種在虛擬現實環境中排練演講的方式。它甚至可能會引入一兩個來自虛擬觀眾的干擾,以訓練演講者的應變能力。該系統還允許用戶像在真實演示中一樣更改演示文稿中的幻燈片。最後,它還會幫你智能總結批評並提供改進意見

▲虛擬演講場景下的XR環境(圖源:Patently Apple)▲虛擬演講場景下的XR環境(圖源:Patently Apple)

雖然該專利強調將這項功能是與Vision Pro等頭戴式設備結合使用的,但蘋果也確實表明,該功能最終也可以在iPad、iPhone或MacBook等其他設備上提供。

第二個讓人耳目一新的便是Vision Pro的3D導航系統。蘋果在其專利背景中稱,在一些3D環境視圖中,辨別方向的用戶容易受到虛擬內容的干擾從而失去方向感,在這種情況下,Vision Pro會在檢測到的環境中提供方向意識指示器,例如微妙的音效或視覺圖形,蘋果的空間音頻技術還可以讓提示音從3D位置播放從而補充用戶的自然方向感。

方向感知指示器還可以識別經許可共享的其他設備的位置,從而為用戶進行沉浸式導航,和搭子彙合再也不怕「錯過」。

▲3D導航狀態下的用戶示例視圖(圖源:Patently Apple)▲3D導航狀態下的用戶示例視圖(圖源:Patently Apple)

另一項將空間交互和用戶體驗做到極致的技術便是「姿勢感知系統」。

這種技術主要應用於VR和AR設備中,系統通過多個層次的傳感器和算法來檢測和理解用戶的頭部和手部動作,以實現更精確和自然的用戶交互。

專利提到,用戶的姿勢會影響3D內容的呈現方式,空間音頻的音量也會隨之發生變化。它利用3D攝像系統和深度映射來捕捉手勢,並提供實時反饋,使用戶無需使用控製器就能輕鬆導航和操作虛擬界面,例如,更加自如地移動虛擬空間中的物體。

▲肌肉應變引擎與人體觸發應變的示意圖(圖源:Patently Apple)▲肌肉應變引擎與人體觸發應變的示意圖(圖源:Patently Apple)

除此之外,Vision Pro的視覺效果技術也擁有多處升級,包括失真補償、重影消除、生成沉浸式影片和共享狀態下的隱私保護

蘋果在專利中描述到,在使用Vision Pro時,設備的透鏡組件包括固定透鏡元件和可拆卸透鏡元件,可拆卸透鏡的組件可能會導致觀看者觀看圖像時產生幾何失真。蘋果的失真補償技術通過光線追蹤來確定透鏡組件引起的幾何失真從而進行動態補償。

Vision Pro顯示屏背後的一些複雜之處非常明顯,在專利「具有重影緩解功能的光學系統」中,我們瞭解到,如果不小心,鏡頭內的反射可能會產生用戶眼睛可見的重影。在該顯示系統中包括重影緩解結構,可用於消除或最小化重影,以為用戶提供最好的視覺效果。

一項專利涉及給佩戴Vision Pro的用戶流式傳輸沉浸式影片內容。沉浸式影片內容的某些部分可以選擇性地呈現給用戶,讓用戶覺得自己正在根據特定的視野或視角觀看視覺數據。此外,還可以根據用戶身體的位置和方向,向用戶呈現沉浸式影片內容的不同部分。

在該項專利背景中,他們指出,在共存體驗中,用戶的一部分內容可能不希望向其他用戶公開,希望保持某些圖形內容的隱私。因此用戶可以通過語音命令、手勢命令等手動操作將特定內容指定為私人內容。其中包括一個空間定義的區域,其中圖形內容對用戶來說是私人的,而該區域之外的圖形內容對共存體驗中的其他用戶是公開可見的。

除了Vision Pro之外,Apple Watch在空間交互上也有新動作。

在WWDC24上,蘋果推出了Apple Intelligence,這是蘋果版本的AI。雖然發佈會的焦點是有關iOS 18中和AI相關的事情,但6月20日發佈的一項新蘋果專利顯示,Apple Intelligence將出現在Apple Watch上。

▲智能手勢示意圖(圖源:Patently Apple)▲智能手勢示意圖(圖源:Patently Apple)

該項專利表明,未來Apple Intelligence將與智能手勢結合,讓用戶在佩戴可穿戴電子設備時,對一個或多個所需物品做出自然的手勢,從而實現智能購物和其他非接觸式體驗。Apple Watch 可以通過接收多個項目的位置數據、根據智能手勢的第一位置和第二位置確定矢量、將矢量延伸到某個位置、並使用位置數據來確定並執行智能手勢的指令。

蘋果還有一項涉及Apple Watch錶帶的特殊專利,包括隱形標記和透鏡組件,專利稱該技術可以在XR環境中使用。該錶帶可以幫助佩戴Vision Pro的用戶在XR環境中正確定位手臂或手的位置,以便將有關用戶手部定位的信息納入VR、AR或MR系統中。

未來還可以允許為手錶疊加與特定應用程序相關的定製虛擬用戶界面。這是Apple Watch與Vision Pro在空間交互上的一種聯動。

一項關於AirPods的專利中提到,未來在AirPods的保護殼上可能會出現一塊觸摸顯示屏,並且這塊屏幕還可以支持Apple Pencil。在這項專利中展現了大量相關的應用場景,例如通過這塊屏幕使用Apple Music、Apple TV+、地圖、天氣和有聲讀物等程序。除此之外,這塊屏幕還可以實現喚醒Siri並與其對話。

▲AirPods的觸摸顯示屏以及和Siri的對話(圖源:Patently Apple)▲AirPods的觸摸顯示屏以及和Siri的對話(圖源:Patently Apple)

二、健康檢測技術大升級,Vision Pro面部檢測和AirPods Max心臟監測或成亮點

健康檢測功能一直是Apple Watch的招牌之一,但我們在梳理這些蘋果專利的過程中發現,健康檢測功能將被拓展到Vision Pro和AirPods Max上,相關被用於檢測的傳感器也在迭代。

一項面部界面傳感器的相關專利表示Vision Pro在未來將會擁有相關的健康檢測功能

該項專利涉及頭戴式設備的面部界面,其中包括用於獲取生物特徵信息的壓力傳感器組件,傳感器可以獲取用戶相關的生物特徵信息,例如脈搏、呼吸、面部表情、心率、血壓、軟骨變化、咀嚼或任何其他相關數據,以檢測用戶在進行活動時的情況,例如在運動過程中的呼吸和心率。

Apple Watch的健康檢測功能拓展更為豐富,其中包括檢測用戶的呼吸週期、測量體溫以及排汗檢測。

在呼吸檢測上,蘋果專利中提到了生物阻抗傳感器,該項技術可以通過測量皮膚和組織的電阻變化來監測呼吸。這種方法可以提供更準確和詳細的呼吸數據。相比目前的呼吸功能(主要基於運動傳感器和心率數據),阻抗傳感器可以捕捉更微小的呼吸變化,提供更高的測量精度。

▲(圖源:Patently Apple)▲(圖源:Patently Apple)

在測量體溫方面,蘋果在專利中稱,Apple Watch想實現非侵入式地(不進入人體口腔或耳腔)測量用戶體溫,並達到一定的精準度,但在使用過程中,設備的溫度和使用環境會隨時發生變化,因此使用可穿戴設備檢測用戶的核心溫度可能具有挑戰性。

蘋果的專利可以通過測量設備內兩個位置之間的溫差來克服這些挑戰,其中一個位置靠近設備與用戶皮膚接觸的部分,並根據皮膚通過設備的熱通量計算熱通量校正係數,從而提高測量結果的準確性。

在排汗檢測方面,蘋果在相關專利里稱,將會在Apple Watch中配備多個排汗傳感器進行檢測,當使用Apple Watch跟蹤鍛鍊過程時(例如,當用戶進行步行、跑步、騎單車等身體活動時),該設備可以為用戶提供有關鍛鍊過程中平均出汗率或總液體流失的信息。

在健康檢測領域中還有兩項較為新鮮的專利,是有關於未來版本的AirPods Max,蘋果表示這款頭戴式耳機在未來將會添加心臟監測系統

▲(圖源:Patently Apple)▲(圖源:Patently Apple)

蘋果在專利中提到,該系統會讓在用戶耳朵內或耳朵上的設備的馬克風產生馬克風信號,通過處理馬克風信號以確定心臟活動,並通過應用至少基於心臟活動的預測算法來檢測心臟活動與一種或多種心臟病理之間的關聯。這種預測算法包括機器學習模型(例如神經網絡),該模型經過訓練,可根據接收用戶確定的心臟活動來檢測心臟病理。

三、體驗感升級黑科技,或將開啟設備自適應並引進柔性新材料

一些Vision Pro的客戶抱怨說,長時間佩戴會讓人感覺不舒服。據彭博社知名科技記者馬克·哥亞曼(Mark·Gurman)稱:「蘋果正在將Apple商店中Vision Pro演示的預設頭帶從單圈改為雙圈(因為許多人覺得雙圈更舒適)。我想知道Apple是否也會在包裝盒中作出這樣的改變?」

蘋果的一項新專利或許對此有了回答,該專利涉及未來或將出現的新頭戴系統,該系統將允許用戶調整整個設備施加到用戶臉部的力量的大小、位置和方向。

▲Vision Pro頭帶調節機制(圖源:Patently Apple)▲Vision Pro頭帶調節機制(圖源:Patently Apple)

專利中描述的調節機制允許用戶控制頭戴式設備相對於頭部固定元件的傾斜度,以及頭部固定元件的鬆緊度。因此,用戶可以選擇一種能夠廣泛分佈力、最大程度提高舒適度的貼合度,讓用戶能夠更長時間地享受頭戴式設備。

除此之外,蘋果在升級用戶體驗方面還作出了其他努力。

例如,一項關於Apple Watch的專利詳細介紹了未來版本手錶錶帶的新功能——「捲繞力」。

▲錶帶自動調整,這種調整被稱為捲繞力(圖源:Patently Apple)▲錶帶自動調整,這種調整被稱為捲繞力(圖源:Patently Apple)

這個功能允許手錶通過貼合度檢測自動調節錶帶的緊度,以確保佩戴舒適和準確的傳感器讀數。其中的張緊元件可以通過響應佩戴手錶的用戶發出的熱量來改變錶帶的貼合度,手錶可以生成帶有指令的信號進行調整,調整包括多種模式,例如收緊模式、放鬆模式、柔性模式、剛性模式等。

關於提升AirPods的佩戴體驗,蘋果在專利中稱,未來或將採用柔性可彎曲材料製作耳機的外殼,例如可彎曲的金屬構件、鉸鏈或可用於形成耳機的柔性結構。

利用這種材料的外殼可在兩種或多種狀態之間彎曲或通過其他方式調整,例如正常、非睡眠、行走狀態,其中在用戶坐著或行走時外殼會展開以進行正常操作,在睡眠狀態,外殼可以通過彎曲增強用戶佩戴的舒適度。

▲柔性可彎曲材料的應用可以讓用戶更加舒適的佩戴AirPods(圖源:Patently Apple)▲柔性可彎曲材料的應用可以讓用戶更加舒適的佩戴AirPods(圖源:Patently Apple)

四、結語:蘋果三大領域佈局大招,AI也在默默發力

蘋果在空間交互、健康檢測、用戶體驗三大方面的專利為我們展示了它在未來的迅速發展的野心,空間交互的玩法更多樣也更便捷,健康檢測將貫穿到蘋果更多的產品中並為用戶提供更精確的測量,蘋果各類產品的使用體驗也在向更人性化的方向改進,我們可以期待這些專利在未來得以運用並走進我們的生活。

總的來看,在近半年的蘋果專利里,各類功能和玩法中也都多多少少融入了AI的身影。通過整合先進的AI技術,Vision Pro、Apple Watch和AirPods在各自的領域中不斷突破,為用戶帶來更好的互動體驗和健康管理解決方案。

通過AI技術的深度應用,在未來,智能設備將會變得更加個性化和智能化,整個科技行業也將向更高效、更智能的方向發展。

本文來自微信公眾號:智東西(ID:zhidxcom),作者:羅添瑾