通過UE4 的 INTEL REALSENSE 插(chā)件(jiàn)以(yǐ)新的方式觀察世界
Intel 一直(zhí)都對引入創新的工具和(hé)科技感(gǎn)興趣,這些工具能夠為世界上(shàng)熱情的內容開發者增加能量。如果你還不甚了解,Intel RealSense camera 在普通的 RGB 照片和視頻(pín)技術上,采用紅外光線來計算深度(dù)。為了(le)幫助開發這個技術的應用程序,Intel 創建了 RealSense SDK,一個用來做可視化算法的庫,包括麵部識別,圖片碎片化,以及 3D 掃描(miáo)。
由於看到了這個技術在遊戲中的潛在應用,我們現在來為大家介紹 RealSense 插件,這是 Intel 的(de)遊戲工程師(shī)們合作的產物,將(jiāng) RealSense SDK 中的各(gè)種特性提(tí)供出來(lái)以便在虛幻 4 的藍圖可視化腳本係統中使(shǐ)用。
插(chā)件概述
這個插件是一(yī)組 Actor 組件的形式存在(zài),每個組件(jiàn)封裝了 RealSense SDK 中的一些特定(dìng)的功能。通過使用這些相對輕(qīng)量的組件,可以為遊戲中幾乎每種 Actor 添加 3D 的感應能力,並且訪問這些數據也很簡單,隻需要對同一個組件在初(chū)始(shǐ)化一個實例即可。
插件組建
目前,插件有三個 RealSense 組件:
- Camera Streams 組件: 提供(gòng) RealSense 攝像頭(tóu)的原始顏(yán)色和深度的視頻(pín)流。
- 3D 掃描組件: 支(zhī)持真實世界的物體掃描(miáo),以及人臉掃描(如上圖)。
- 頭部跟蹤組件(jiàn)(預覽): 支持對(duì)用戶頭部的位置和角度的檢測和跟蹤。
接著(zhe)很快就(jiù)會更(gèng)新,可以期待該插件即將到來的更多組建:
- 頭部跟蹤組件(完整版): 用於檢測和跟蹤高達 76 麵部標誌點,脈搏速率,和(hé)麵(miàn)部表情附加功能。
- 背景碎片組件: 將圖(tú)片的前景(jǐng)和背景分離開(kāi),為(wéi)實時(shí)視頻創建“綠幕”的效果(如上圖)。
- 場景掃描組件: 對大場景(約 2m x 2m 的區域)生成 3D 模型來協助創建用戶生成的內容並加強現實世界的體驗(如下圖)。
- 手部跟蹤組件: 檢測(cè)並跟蹤 22 個手部標誌點,識別 14 種手勢,或者跟蹤一個點來作(zuò)為鼠標類型的(de)交互響應。
- 語音識別組建: 將輸入語音轉換為文本來翻譯(yì),或者用於檢測關鍵字來作為語音控製功能輸入。
- 上一篇:Unity3d網絡通(tōng)信 - NetWork組件使用 2019/5/28
- 下一篇:HOLOLENS的SOCKET網絡通訊1 2019/5/23