3 月 22 日?qǐng)?bào)道，近日，在 2021 版 IEEE VR 會(huì)議論文集中，蘇黎世聯(lián)邦理工學(xué)院的研究人員研發(fā)出一種手環(huán)，能夠?yàn)?VR 頭顯提供沉浸式的手勢(shì)交互。無(wú)需手握控制器，點(diǎn)點(diǎn)手指，就能獲得像操作電腦、平板一樣的體驗(yàn)。
如果這一技術(shù)被商用，有望大大解放 VR 設(shè)備的交互限制，為 VR 設(shè)備釋放新的市場(chǎng)潛力。
01. 懸空動(dòng)動(dòng)手指，就能寫文案、彈鋼琴
傳統(tǒng)的 VR 手勢(shì)操作一般有兩種方案，一個(gè)是通過(guò) VR 頭顯上的攝像頭識(shí)別，另一個(gè)是手握控制器檢測(cè)。但研究人員認(rèn)為這兩種方案都不能很好的滿足 VR 交互需求，因此提出這種名為 TapID 的手環(huán)。
TapID 是一種可以用來(lái)檢測(cè)手部動(dòng)作的腕帶設(shè)備，將跟蹤的手部姿勢(shì)與 VR 設(shè)備聯(lián)動(dòng)。用戶在左右手佩戴 TapID，就能夠配合 VR 體驗(yàn)虛擬現(xiàn)實(shí)交互。比如，可以向用戶顯示一個(gè)像電腦鍵盤一樣的頁(yè)面，進(jìn)行文本輸入。
可以像面前有一臺(tái)電腦一樣，預(yù)覽網(wǎng)頁(yè)，進(jìn)入搜索引擎搜索信息。
還可以在熟悉的應(yīng)用程序，進(jìn)行圖片、文檔操作。
也可以使用 TapID 來(lái)檢測(cè)手臂上的觸覺，比如識(shí)別到手指的觸碰，從而旋轉(zhuǎn)手握的模型。
是不是輕裝上陣，又獲得了沉浸感十足的體驗(yàn)?
02. 識(shí)別精度達(dá) 99.7%，采用兩個(gè)加速度計(jì)
下圖為 TapID，中心的芯片為 Dialog 半導(dǎo)體公司的 DA14695，該芯片是 Dialog 的藍(lán)牙低功耗微控制器，最大的特性是 “多核 + 藍(lán)牙 BLE5.1”。DA14695 對(duì)所有慣性傳感器進(jìn)行采樣，通過(guò)串行連接將 IMU 數(shù)據(jù)傳輸?shù)诫娔X上。
TapID 配置兩個(gè)意法半導(dǎo)體的 LIS2DH，是兩個(gè)低功耗加速度計(jì)，通過(guò)柔性 PCB 嵌入腕帶，以及兩個(gè)板載加速度計(jì)，用于測(cè)試和比較不同的傳感器配置。
上圖為動(dòng)作識(shí)別的流程示意模型。數(shù)據(jù)采集來(lái)自于兩個(gè) 3D 加速度計(jì)的連續(xù)流，通過(guò)其使用變化率分?jǐn)?shù)識(shí)別手指點(diǎn)擊動(dòng)作。在檢測(cè)到動(dòng)作后，輸入到神經(jīng)網(wǎng)絡(luò)分類器中識(shí)別點(diǎn)擊動(dòng)作。
神經(jīng)網(wǎng)絡(luò)分類器架構(gòu)包括五個(gè)卷積層塊和兩個(gè)最終的線性層，它們構(gòu)成 softmax 激活函數(shù)，根據(jù)手指動(dòng)作呈現(xiàn)概率分布。當(dāng)確定了那個(gè)手指導(dǎo)致波動(dòng)后，會(huì)檢測(cè)指尖位置，從而將動(dòng)作傳輸給應(yīng)用程序。TapID 在靈活的表帶上嵌入了一對(duì)慣性傳感器，可以可靠地檢測(cè)表面觸覺，更重要的是，它還可以識(shí)別手指作動(dòng)。研究人員在一批用戶中評(píng)估了 TapID 的識(shí)別精度，能夠達(dá)到 99.7%。
03. 結(jié)語(yǔ)：觸覺反饋將成為 VR、AR 釋放潛力的關(guān)鍵技術(shù)
自 2020 年以來(lái)，VR、AR 出現(xiàn)回暖的跡象，并且朝著更加深層次的交互方向發(fā)展。本次我們看到的 TapID 就是從手勢(shì)控制角度打破原有邊界的研發(fā)。
正如扎克伯格所說(shuō)，VR、AR 在未來(lái)十年有望改變智能手機(jī)統(tǒng)治的霸權(quán)。以 TapID 為代表的觸覺反饋技術(shù)有望成為 VR、AR 釋放潛力的關(guān)鍵技術(shù)。
