Intel RealSense D435i(實（shí）感技術)概覽，本文對Intel RealSense D435i 3D麵部和動作捕（bǔ）捉功能做簡要介紹

前（qián）段時間CES的報道滿（mǎn）天飛，網上逛了幾圈，感（gǎn）覺料猛的還（hái）數Intel：老樹開新花，推出14nm的第五代酷睿處理器；在智能可（kě）穿戴設（shè）備及物聯網上雄（xióng）起；RealSense實感技術開（kāi）啟（qǐ）未來人機交互模式（shì）。之前總聽老哥講（jiǎng），鼠標鍵盤這些傳（chuán）統交互模式統治了二三（sān）十年，目（mù）前跟蹤（zōng）識別（bié）爆火且技（jì）術趨於成熟，新的交互革命快要打響了。看RealSense這陣勢，估計不出三五年新的交互便會普及開來（lái）。

英特爾早在2012年左（zuǒ）右（yòu）就著重研發實感技術，當時叫Perceptual Computing，即感知計算，並開放英特爾® 感知計算軟件開發套件 2013 版（Intel® Perceptual Computing Software Development Kit, SDK 2013），設重獎舉辦因特爾（ěr）感知計算挑戰（zhàn）賽，吸引眾多開發者參與（yǔ）。隨（suí）著技術完善與成熟，2014年初更（gèng）名為RealSense，即實感技術，而後發布了新的Intel® RealSense™ SDK 2014 ，同時舉行（háng）2014英特爾®RealSense™應用挑戰賽。

基於此技術的應用在IDF2014及今年CES上大放異彩。

Intel® RealSense™ SDK的架構：SDK core,I/O module和Capability modules組成整個SDK堆（duī）棧的基礎。SDK core管理I/O module和Capability modules同時組織並管理管線的執行。I/O module捕獲設備的輸入數據而後發送（sòng）數據到輸出設備或Capability modules。Capability modules也叫algorithm modules，主要包括各種模式檢測和識別算法（麵部跟蹤和檢測、手部跟（gēn）蹤（zōng）、手勢識別、語音識別及合（hé）成等）。

各功能：手部和手指（zhǐ）跟蹤、麵部分析、語音識別、背景移（yí）除、目標跟蹤、增強現實、3D掃描（miáo）。

1. 手

SDK將手抽象（xiàng）出（chū）骨架，並從背景中剝離出來。允許在照相機（jī）的0.2–1.2米範（fàn）圍內跟蹤手上的22個（gè）點（diǎn）的位置和方向，如圖。左右手是區分的，因而可以雙手進行交互。

手勢識別：包括靜態手勢識別和動態手勢識別。SDK中內嵌了一係列手勢如下圖。你可以用內嵌的（de）這（zhè）些手勢組合（hé）出新的（de）手勢，也可（kě）以根據（jù）手骨架上那22個點位置創建出新的手勢。

動態手（shǒu）勢識別：靜（jìng）態手勢可以單獨使用（yòng），當然也可以組合使用形（xíng）成一定的動（dòng）作。組合時要求開（kāi）始的（de）手勢和結束的手勢都已在手勢識別係統（tǒng）中注冊。

SDK給出（chū）了一（yī）係列（liè）動作如下（xià）：

2．臉

臉部檢測：SDK提供準確的3D臉部（bù）檢測和跟蹤，且（qiě）可以同時跟蹤4張人臉。每張人臉用長方形來標記，你可以獲得長方形的XYZ坐標（biāo）。與2D跟蹤（zōng）相比，3D頭部跟蹤在頭部（bù）運動方麵更給力。

臉部識別（bié）：SDK提供識別特定人臉的能力（lì）。特定（dìng）ID對應注冊的特定人臉，並將此人臉的信息存儲到人臉庫的內存中。如果同（tóng）張人臉被注冊多次，那這張人臉被正確識別的機（jī）會將會增（zēng）大。當沒被識別的人臉出現時，識別模塊將與（yǔ）數據庫中的可能數據（jù）進行比對，如果找到匹配則返回此人臉（liǎn）對應的ID。

用戶不用（yòng）擔心自己（jǐ）的頭像被存儲，因為存儲（chǔ）的隻是算法從圖像中提（tí）取的特征的集合。

頭（tóu）的運動：SDK提供頭部運動的3D方向：俯仰、左右轉動、左右偏轉，如圖。

所（suǒ）以（yǐ）可以輕鬆獲（huò）得用戶頭部指向（xiàng）哪裏（lǐ）。也可以以此做粗略的眼神跟蹤，下一版將會推出更精細的眼神跟蹤。

標記點跟蹤：SDK提供臉部（bù）78個標記點的跟蹤以（yǐ）提（tí）高臉（liǎn）部識別和分析的準確（què）度。在圖像和坐標（biāo）係中給出這78個標記點的位置。臉部標記點跟蹤支持頭像創建、臉部動畫、擬態及簡單的表情識別（bié）。可以直（zhí）接（jiē）用這些點或這些點（diǎn）的（de）相對位置來作分析（xī）。不管你有沒有劉海、戴不戴眼鏡，這種標記點跟蹤都支持。但用戶頭部在屏幕30度內效果*好。

麵部表情識別：SDK也包括更高級的麵部表情識別。這使（shǐ）得你創建卡（kǎ）通頭像更簡單。每一種（zhǒng）表情有（yǒu）1到100的強度等級使得你做的動畫更平滑自然。SDK中表情：

情感識別：SDK中的情感識別算法用的（de）是2D RGB數據（jù）。情感模塊是獨立的模（mó）塊，並非臉部模塊的一部分。為（wéi）保障情感識別正常工作，圖像中的人臉至少要有48×48個像素。此（cǐ）算法並不局限於RGB數據，灰度（dù）數據同樣可行。利用SDK，你可以檢測並估計以下六種原始情感的強度。

頭像控製：SDK通過結合麵部表情及78個標記點提供簡單的頭像控製功能。SDK提供動畫角色的示例代碼，使你的應用可以適（shì）應任何臉型並把用戶頭像動畫化。

應用（yòng）場（chǎng）景：

3. 語音

主要包括語（yǔ）音命令和控製、聽寫、從文字轉譯成語（yǔ）音等功能。隻支持（chí）英語，語音（yīn）識別對成年人（rén）效果*好。

語音識別：分為（wéi）命令模式和聽（tīng）寫模式。命（mìng）令模式需提前設定命令列表，特（tè）定命令綁（bǎng）定（dìng）特（tè）定動作。聽寫（xiě）模式內置了一個通用的（de）詞典，包括50k個常用單詞。如果你覺得不夠用，也可以自己添加詞典中沒有的單詞。聽寫模式限（xiàn）時30秒。命令和聽寫模式不可同時開啟。

語音分（fèn）析：SDK也可以根據文本動態的生成語音，由女聲讀出。

4. 背景移（yí）除

可以實時的移除（chú）背景並替換成新的背景。

應用場（chǎng）景：

5. 目（mù）標跟（gēn）蹤

Metaio*3D目標跟蹤模（mó）塊提供基於（yú）光學的跟蹤技術，可以跟蹤視頻序列或場景中（zhōng）的目標物。Metaio工具箱（xiāng）可以訓練、創建並編輯（jí）3D模型，這些模型可（kě）以傳給各種目標檢（jiǎn）測及跟蹤算法。

跟蹤（zōng）技術支持平麵的2D目標跟蹤、基於特（tè）征的3D跟蹤、CAD模型的基於邊界的（de）3D跟蹤及即時3D跟蹤。

6. 增強現（xiàn）實

用音頻、視頻、圖像或其他信（xìn）息來添加、增強或補充英特爾實感技術遊戲的內容。

7. 三維掃描（miáo）和打印

可以掃（sǎo）描、編輯、打（dǎ）印和分享三維物（wù）體，並（bìng）與 3D Systems展開合作。

目前因特爾已經與騰（téng）訊合作（zuò）創立遊戲創新實驗（yàn）室，推進實感技術，並打造了《軒轅傳奇》。與京（jīng）東合作建立“京東因特（tè）爾聯合創新實驗室”，推出虛擬試（shì）衣、3D物品展示等（děng），使實感技術落地電商平台（tái）。同時因（yīn）特爾（ěr）自己也在不斷推出自己的實感技術產品。這不（bú）前兩天在北京推出其全新的（de）第五代酷睿處理器家族（zú），搭載（zǎi）此處理器的多款產品還（hái）配備了英特爾（ěr）實感技術，看來這項技術很快就會遍地開花。

隻要（yào）你的處理器（qì）是第四代（dài）及四（sì）代以後英特爾® 酷睿™處理器，操作係統滿足Microsoft* Windows 8.1（僅限64 bit），再外購一個英特爾® RealSense™ 3D 攝像頭就可以下載（zǎi）SDK玩（wán）起來。估計（jì）不（bú）久聯想、戴爾、華碩、宏基、惠普等等搭載第五代酷睿處理（lǐ）器並內嵌因（yīn）特（tè）爾3D攝像頭的超很本、二合一及一體機設備就會上市，那時玩（wán）起來會更爽。

資料來源：RealSenseSDKdesignGuidelinesGold

補充一點自己的實際體會：

1.基於結構光方案的深度相機，受光線影響很大，下午太陽光照進來，深度數據殘缺嚴（yán）重，這個（gè）就是所謂的激光散斑受強光淹沒掉了。

2.手（shǒu）勢識別中，靜態手勢，手型識別效（xiào）果不錯。同時，對著深度相機方向的手勢運動，識別效果也不錯。但左右方向的運動手勢，效（xiào）果很（hěn）差。主要是視場角（jiǎo）小，深度數據殘缺嚴重。

3.SDK可支持多個設備（bèi）同時鏈接 。采（cǎi）用一台設備，一個線程來管理維護。線程內部，SDK所有功能都支持。也就是多個設備互不影響。

4.手（shǒu）勢，采用22點骨架模型。大致的手型是可以捕捉的， 但是容易受到環境光影響，在準確獲取手（shǒu）部動作時還是考慮使用專業的數據手套設備，比如（rú）WONGLOVE數據手（shǒu）套（tào）。

5.手勢識別，在20~55cm範圍內可用。其實，整體來看，隻能是小範圍運動情況了。