該裝置使用一種類似于微軟Kinect的、具有感應功能的攝像頭和一個能夠放置在用戶肩膀上的微型激光投影儀。攝像頭能夠在任何表面上捕捉到用戶手指動作,投影儀不但能夠?qū)㈡I盤或控制按鈕投射到任何表面上,還能根據(jù)不同物體的形狀和方向,自動修正投影以減少圖像失真。借助這種設備,用戶能夠像在智能手機或平板電腦上一樣當空操作軟件和程序。
卡內(nèi)基梅隆大學人機交互研究所的克里斯·哈里森博士說:“凡是你能想象得到的、在現(xiàn)今任何移動設備上進行的操作幾乎都可以通過該系統(tǒng)實現(xiàn)。非但如此,使用這種裝置還可以讓操作電腦的過程更加輕松愜意:手掌可以被用作電話撥號盤或是便簽紙,地圖可以被投射到墻壁上并通過手指運動任意放大縮小……”哈里森表示,未來該設備有可能只有一張撲克牌或一個火柴盒那么大,這樣不但更易攜帶使用,還能方便地集成到其他手持設備當中。
微軟研究院自適應系統(tǒng)和交互組研究員赫沃奇·本克說,通過這種裝備,“該裝置將能夠充分利用現(xiàn)實世界所提供的各種表面,而不用被顯示屏和輸入裝置所束縛。我們認為這項工作進一步拓寬了人際交互的用戶界面,讓我們在鍵盤鼠標、觸摸外又多了一種新的輸入方式,有望讓計算無處不在夢想盡快成為現(xiàn)實?!?
哈里森此前還曾與微軟研究院開發(fā)出一種名為Skinput的技術(shù),該技術(shù)通過一種聲音傳感器,能夠?qū)τ脩粲|動手臂或輕彈手指的聲音作出響應,用來控制智能手機或其他小型計算機設備。
哈里森是在微軟研究院實習時與赫沃奇·本克以及安德魯·威爾遜合作開發(fā)出這一系統(tǒng)的。在10月19日美國加利福尼亞州圣巴巴拉舉行的計算機用戶界面軟件和技術(shù)(UIST)研討會上,有哈里森對該系統(tǒng)進行的更為詳細的介紹。