首頁 > 數(shù)據(jù)中心 > 大數(shù)據(jù)服務(wù) > 擴展現(xiàn)實

擴展現(xiàn)實

擴展現(xiàn)實（Extended Reality），又稱XR技術(shù)

擴展現(xiàn)實是指通過計算機技術(shù)和可穿戴設(shè)備產(chǎn)生的一個真實與虛擬結(jié)合、可人機交互的環(huán)境。擴展現(xiàn)實技術(shù)可以看作一種涵蓋性術(shù)語，包含了虛擬現(xiàn)實VR、增強現(xiàn)實AR、混合現(xiàn)實MR及其他因技術(shù)進步而可能出現(xiàn)的新型沉浸式技術(shù)。英文為“Extended Reality"或者“Cross Reality”，常見的縮寫簡稱為"XR”或"ER”等。

XR是隨著計算機圖形與仿真技術(shù)的不斷發(fā)展而產(chǎn)生，沉浸式技術(shù)就是其發(fā)展的基石。首先誕生的是虛擬現(xiàn)實技術(shù)VR，隨著VR的發(fā)展又衍生出增強現(xiàn)實AR、混合現(xiàn)實MR等。區(qū)別于傳統(tǒng)的超文本、平面圖像等二維媒介及傳統(tǒng)3D圖像/視頻，沉浸式技術(shù)依托跨媒介、非結(jié)構(gòu)化的視、聽、觸等多感官刺激途徑，進一步解放人的感性思維，激發(fā)創(chuàng)造性思維。而在技術(shù)深度融合的大背景下，更具包容性的擴展現(xiàn)實橫空出世，將VR、AR、MR等諸多人們所熟悉的沉浸式交互技術(shù)融合在一起，以實現(xiàn)虛擬世界與現(xiàn)實世界之間的無縫轉(zhuǎn)換。

擴展現(xiàn)實的業(yè)務(wù)形態(tài)

從哲學(xué)角度講，擴展現(xiàn)實是創(chuàng)造人類“虛實融合”的新世界模式，尤其強調(diào)在拓展現(xiàn)實中人類的自由意志活動。XR作為沉浸式虛擬與現(xiàn)實融合技術(shù)總稱，從中演繹出VR（虛擬現(xiàn)實）、AR（增強現(xiàn)實）、MR（混合現(xiàn)實）等不同的技術(shù)分支。VR能讓人完全沉浸在虛擬環(huán)境中；AR能創(chuàng)建一個疊加虛擬內(nèi)容的世界，但不能與真實環(huán)境交互；MR則是虛擬與現(xiàn)實的混合體，它能創(chuàng)造出可以與真實環(huán)境交互的虛擬物體。

1.虛擬現(xiàn)實VR

以聲音和視覺為主導(dǎo)，通過計算機模擬虛擬環(huán)境而給人以環(huán)境沉浸感，是一種多源信息融合的、交互式的、三維動態(tài)實景和實體行為的系統(tǒng)仿真。在此仿真系統(tǒng)中，用戶必須頭戴VR眼鏡或者VR頭顯才能獲得一個模擬世界360度視圖。

2.增強現(xiàn)實AR

是一種實時根據(jù)現(xiàn)實世界的位置和角度，并加上相應(yīng)的虛擬圖像、三維物體的技術(shù)，說簡單點就是在真實空間里疊加虛擬物體，把虛擬信息，如物體、圖片、視頻、聲音等映射在現(xiàn)實環(huán)境中。

3.混合現(xiàn)實MR

是對VR和AR的進一步發(fā)展，指的是現(xiàn)實世界數(shù)字化，并與虛擬世界融合所產(chǎn)生的新世界，虛擬物體和現(xiàn)實世界的對象共存并且可以實時交互。

擴展現(xiàn)實的技術(shù)架構(gòu)

XR技術(shù)框架包括終端、網(wǎng)絡(luò)、平臺和應(yīng)用四部分組成，其中終端側(cè)，主要通過內(nèi)置各種傳感器、攝像頭、顯示屏等元器件，實現(xiàn)本地化的XR應(yīng)用顯示、位置追蹤與定位、多種操控方式及本地化運行的邏輯運算和圖形渲染等；網(wǎng)絡(luò)側(cè)為平臺和終端構(gòu)建暢通的傳輸通道，主要實現(xiàn)XR低時延交互、全景視頻等應(yīng)用內(nèi)容大帶寬下發(fā)等；平臺側(cè)，按照是否實現(xiàn)XR應(yīng)用上云作為依據(jù)，分為通用功能和云化功能兩類；應(yīng)用側(cè)，采用XR應(yīng)用開發(fā)框架，并結(jié)合通用的圖形開發(fā)引擎，完成XR應(yīng)用的研發(fā)。

（1）終端：

作為XR服務(wù)的用戶端設(shè)備入口，主要實現(xiàn)XR服務(wù)的顯示、定位與追蹤、操控等功能以及本地化的邏輯運算、圖形渲染等功能。

①高清顯示：采用全景拼接/FOV裁剪等畫面顯示技術(shù)，雙目渲染/注視點渲染/增強渲染等圖形渲染及光場顯示等技術(shù)，實現(xiàn)高清顯示功能。

②位置追蹤與定位：主要通過內(nèi)置終端的磁力儀、加速度計、陀螺儀、深度攝像頭等，實現(xiàn)針對當(dāng)前位置和周邊環(huán)境或虛擬空間物體之間相對關(guān)系的確定。技術(shù)實現(xiàn)方式包括激光定位、紅外光學(xué)和可見光定位等。

③擬人式操控：包括鍵鼠操控、遙控器操控、語音識別、手勢識別和腦波識別等多種操控技術(shù)。

④本地運行相關(guān)功能：在XR服務(wù)本地化運行模式下，需要在終端實現(xiàn)XR應(yīng)用導(dǎo)入、邏輯處理和圖形渲染輸出等功能。

（2）網(wǎng)絡(luò)：

為了滿足XR超低時延交互，需要提供低時延的傳輸保障；為了滿足XR全景畫面等傳輸需求，需要提供大通道的網(wǎng)絡(luò)傳輸機制。同時包括為了實現(xiàn)精致的XR內(nèi)容和降低網(wǎng)絡(luò)傳輸壓力，所采用的創(chuàng)新邊緣計算部署等。

（3）平臺：

從服務(wù)角度，提供XR的用戶管理、應(yīng)用管理、終端管理、運維管理等運營服務(wù)，應(yīng)用部署、渠道分發(fā)等營銷服務(wù)及支付計費、內(nèi)容接入、終端適配等能力服務(wù)。XR云化模式，還需提供云化移植、云端運行、圖形渲染等云端XR功能。

（4）應(yīng)用：

主要是指各種XR應(yīng)用的內(nèi)容研發(fā)，包括XR專屬的開發(fā)框架及通用的圖形開發(fā)引擎等，通過二者的結(jié)合，實現(xiàn)各種XR應(yīng)用的邏輯編程、圖形渲染和定位操控等開發(fā)工作。

擴展現(xiàn)實的關(guān)鍵技術(shù)

XR還是以終端運行為主，因此XR終端測的處理技術(shù)尤為重要，本章將聚焦XR相關(guān)終端的關(guān)鍵技術(shù)。XR終端以三維高清顯示技術(shù)，構(gòu)建沉浸式的視覺體驗；以精準(zhǔn)追蹤定位技術(shù)，構(gòu)建擬人式的操作體驗；以精準(zhǔn)識別技術(shù)，構(gòu)建現(xiàn)實與虛擬之間無縫銜接的橋梁。

XR顯示技術(shù)

XR中的顯示技術(shù)要服務(wù)于XR顯示的結(jié)果，即具有真實世界的色彩、情景化的感官體驗。顯示效果直接決定了用戶的體驗，包括全景拼接、FOV、全息投影、3D立體技術(shù)等關(guān)鍵技術(shù)。

全景拼接技術(shù)

全景拼接技術(shù)，通過相機的平移或者旋轉(zhuǎn)拍攝的一組和多組具有部分重合的照片拼接成一個360度的全景平面圖像，然后通過計算機技術(shù)實現(xiàn)全方位互動式觀看真實場景的技術(shù)。目前，全景圖像可分為柱面、立方體、球面等形式。

FOV技術(shù)

FOV（Field Of View），指視場角。根據(jù)應(yīng)用場景不同，其定義也不盡相同。在光學(xué)儀器中，是指以被測目標(biāo)的物像通過鏡頭的最大范圍的兩條邊緣構(gòu)成的夾角，F(xiàn)OV的大小決定了光學(xué)儀器的視野范圍。根據(jù)顯示效果不同，VR的核心在于全景顯示，根據(jù)VR設(shè)備的不同，VR全景顯示對FOV的要求也不同。

無論是VR設(shè)備還是AR設(shè)備，F(xiàn)OV技術(shù)都是支撐其達到完美效果顯示的不可或缺的技術(shù)，不同之處在于VR一體機頭顯需要大于120度的視場角；VR移動設(shè)備需要與之尺寸匹配的視場角；而AR講究增大視場角的同時，需保證AR設(shè)備能夠全天舒適佩戴。

全息投影技術(shù)

全息投影技術(shù)（front-projected holographic display）是一種基于光的干涉和衍射原理，并利用投影設(shè)備將不同角度的影響內(nèi)容投影拼接至全息圖上，以此還原物體真實三維圖像的技術(shù)，呈現(xiàn)出的三維立體圖形為XR環(huán)境提供具有視覺感知性功能。因為在原始光場中，由于原始物體的缺失不復(fù)存在時，相片是無法直接保存到相位信息，通過引入?yún)⒖脊獠ㄅc物光波產(chǎn)生干涉，把相位信息保存在條紋中；用參考光波照射全息圖，就可以再現(xiàn)（衍射）出物光波。

全息投影技術(shù)包括拍攝和成像兩步驟。全息投影技術(shù)是使用一種激光光源來記錄圖像，并組成各種排列方式，常見的排列方式是激光束被分成兩束，一束被稱為目標(biāo)光束，另一束被稱為參考光束。拍攝過程是利用光的干涉原理，將目標(biāo)光束照射被攝物體，以形成滿射式的物光束。參考光束照射到全息投影膠片上與物光束疊加產(chǎn)生干涉信息，利用干涉條紋間的反差和間隔將物體光波各點的相位信息、振幅信息和光強信息記錄下來。記錄著干涉條紋的底片經(jīng)過顯影、定影等處理程序后，便成為一張全息圖度。

XR定位技術(shù)

由于XR是模擬、修改現(xiàn)實，所以需要準(zhǔn)確地追蹤對象是如何在現(xiàn)實中移動，并映射在XR環(huán)境中，產(chǎn)生相應(yīng)的效果。實現(xiàn)XR場景里的空間定位以及更多的人機交互，精度高、延遲低的追蹤定位技術(shù)是目前的主流。目其主要技術(shù)流派包括：外向內(nèi)追蹤OutSide-in和內(nèi)向外追蹤Inside-out。

外向內(nèi)追蹤技術(shù)（OutSide-in Tracking）

外向追蹤技術(shù)，是依靠外接各種定位設(shè)備（如基站、信標(biāo)、追蹤塔或攝像頭）的追蹤定位方式。outside-in具有高定位精度和低延遲等特點，是目前XR追蹤定位技術(shù)的主流，但因其固定的外接設(shè)備，限制了可移動范圍，XR沉浸感也被限制。目前outside-in定位技術(shù)又可分為北斗定位技術(shù)、光學(xué)定位技術(shù)、WiFi定位技術(shù)、低功耗藍牙定位技術(shù)和超聲波定位技術(shù)等。

內(nèi)向外追蹤技術(shù)（Inside-out Tracking）

相比outside-in技術(shù)，inside-out定位技術(shù)是不用依賴于外部硬件，而是通過內(nèi)置環(huán)境感知攝像頭、深度攝像頭和傳感器的頭戴式設(shè)備實時拍攝外部圖像，讀取環(huán)境深度信息，從而獲取位置數(shù)據(jù)。簡便安裝、無可移動范圍限制、移動性增加和更高自由度的Inside-out定位技術(shù)更符合未來XR追蹤定位技術(shù)的要求，但是也存在定位精度不高，有一定延遲等缺點。也因為不依賴于外接設(shè)備進行運算，而對頭戴式設(shè)備的要求更高。雖然存在以上缺陷，但是由內(nèi)向外的追蹤定位技術(shù)正逐步取代由外向內(nèi)的技術(shù)，成為目前XR追蹤定位所研究的核心方向。

XR識別技術(shù)

人與虛擬環(huán)境的互動是XR中很重要的一部分，即人體動作的融入、虛擬環(huán)境對人體的動作產(chǎn)生聲覺、視覺、光覺的反饋作用。所以交互的前提是精準(zhǔn)實現(xiàn)到對人體各種狀態(tài)的識別以及對真實物體的識別。對人體狀態(tài)的識別技術(shù)目前有兩種方式，一種是基于硬件的識別方式，如佩戴數(shù)據(jù)手套，第二種是基于計算機視覺技術(shù)的識別方式。

基于硬件的識別方式

基于硬件的識別方式，將集成傳感器的可穿戴姿勢輸入設(shè)備與用戶肢體連接，從而獲取用戶的肢體運動信息。目前基于硬件的識別大多數(shù)采用的是數(shù)據(jù)手套，數(shù)據(jù)手套是指在手套內(nèi)集成彎曲傳感器，采集手部運動數(shù)據(jù)的硬件設(shè)備。數(shù)據(jù)手套實現(xiàn)采集現(xiàn)實中手部姿勢的關(guān)鍵在于通過覆蓋手部所有關(guān)鍵位置的傳感器和手部各關(guān)節(jié)運動自提的對應(yīng)關(guān)系，對人體手部姿勢的建模。數(shù)據(jù)手套基于真實還原人體手部自然的動作，同時由于傳感器的抗遮擋性和抗干擾性高，動作識別精度高。但操作者需要穿戴繁瑣的設(shè)備，這種方式限制了用戶和設(shè)備的自然交流，且設(shè)備的價格昂貴，難以推廣使用。

基于計算機視覺技術(shù)的識別方式

基于計算機視覺的識別方式是利用攝像頭捕捉用戶的手勢，并傳輸?shù)接嬎銠C，計算機對手勢信息進行分析處理。而對真實物體的識別大多數(shù)采用計算機視覺技術(shù)，該方法具有方便、直觀、成本低等優(yōu)勢，因此應(yīng)用于XR領(lǐng)域中?；谟嬎銠C視覺技術(shù)的識別流程，借助攝像頭將用戶姿態(tài)或真實物體轉(zhuǎn)換成圖像信息，然后利用計算機視覺技術(shù)進行圖像分析、建模和識別，最終向XR應(yīng)用提供處理識別后的信息，如手勢、姿態(tài)、物體信息、物體位姿信息等。

基于計算機視覺技術(shù)的識別主要步驟：

（1）圖像預(yù)處理：將攝像機拍攝獲取到的包含人體姿態(tài)或物體信息的視頻資源分割成許多靜態(tài)的圖片，方便計算機對內(nèi)容的分析和提取。隨后處理靜態(tài)圖片中的冗余信息，并利用平滑、濾波等手段對圖像進行處理。

（2）圖像分析：對處理好的圖像進行分析建模，結(jié)合數(shù)學(xué)模型和圖像處理技術(shù)分析底層特征和上層結(jié)構(gòu)，用以獲取具有一定智能性的信息。

（3）圖像識別：對處理好的圖像特征進行提出和分析，并利用不同的算法進行計算，同時將計算后的信息與系統(tǒng)設(shè)定的圖像信息進行對比，從而完成圖像的識別。