MediaPIPE是款由Google推出的開源機器學習管線框架,可以用來處理影像、聲音等時間序列資訊(Time Series Data),而最新整合進來的手部姿態辨識功能,提供了快速且精確的辨識品質,甚至能夠進行即時辨識,大大提升了應用的可能性。
解決手勢辨識難題
感應手部姿態或是手勢在各領域應用的使用者體驗占了重要的一席之地,由於手勢可以用於傳達資訊,同時也是手勢控制的基礎,並且也在AR應用中扮演了搓合現實與虛擬世界的媒介。
雖然擺出各種不同的手勢對人們來說是很自然的事,我們也能很直覺地分辨各種手勢並瞭解其意義,但是對於電腦或人工智慧系統來說,精準且即時的手勢辨識仍是個充滿挑戰性的影像辨識任務,再加上手部常常會被自己或另一支手遮擋,且不同手勢間的差異往往不大,因為讓辨識更加困難。
Google最新推出的手勢辨識感知技術,可以透過機器學習從單一畫格推算出21個手部的關鍵3D定位點,以提供準確的手部及手指姿態追蹤資料,而且更厲害的是它不需要像目前先進的感知技術需要依賴效能強大的電腦負責運算,只需輕量的運算設備就能滿足辨識的需求,不但能在智慧型手機上達到即時辨識的成果,甚至能同時辨識多支手的手勢,有助於將技術推廣至一般使用者,並激勵研究和開發社群創造各種利用實例。
▲ MediaPipe是款可以處理影像、聲音資訊的機器學習管線框架。
▲ Google最新的手勢辨識感知技術可以即時辨識手部動作。(GIF動圖連結,影像尺寸12.5MB)
▲ 系統會鎖定21個手部的關鍵定位點,並判斷使用者所擺出的手勢。
從2D圖像推算3D位置
在辨識的過程中,系統會先使用稱為BlazePalm的手掌偵測模型從圖像中鎖定手掌的區域,接著使用手部區域辨識模型在鎖定區域中標記關鍵3D定位點,最後則是使用手勢辨識系統判讀定位點,根據關節的角度判斷每根指頭是伸直或彎曲,並對照事先參考多國文化建立的手勢資料庫,輸出辨識結果。
有趣的是,系統可以從2D平面的圖像,推算出21個手部關鍵3D定位點在立體空間中的位置,也就是說這些定位點除了有X、Y軸的座標資訊外,也有Z軸座標。而且為了提高演算法的準確度,研發團隊在訓練模型的過程中,除了以實際拍攝手部的影片外,還運用3D繪圖的動畫(如此一來可以完全掌握定位點的座標,並比對演算法是否判斷正確),讓模型能更精準標記定位點。
▲ 在運作過程中,系統會在第1個畫格標定手部區域(Hand Bounding Box),後續的畫格會直接辨識區域內的手勢。
▲ 辨識模型會併用實際影片與3D動畫進行訓練。
▲ 標定手部關鍵3D定位點後,系統就能比對資料庫進行辨識。(GIF動圖連結,影像尺寸6.7MB)
▲ 系統能辨識多種不同手勢。(GIF動圖連結,影像尺寸5.6MB)
▲ 同時辨識多隻手也沒問題。(GIF動圖連結,影像尺寸9.6MB)
研發團對表示他們希望在未來的時間中,提升系統的可靠度與追蹤手部影像的穩定性,同時也在資料庫加入更多手勢,同時也邀請所有開發者發揮創意,將這套開源的系統實作於更多應用情境。
想看小編精選的3C科技情報&實用評測文,快來加入《T客邦》LINE@查看原始文章商品推薦
- 以為就是卸妝液抹一抹?用錯方法卸妝小心皮膚會加速老化!女生絕對要知道的正確卸妝步驟大公開~
- 史上最帥氣佛地魔!粉絲集資拍攝《佛地魔的起源》由法國超帥小鮮肉模特主演~這個佛地魔我可以
- 別再羨慕別人的牛奶肌~女生的化妝小心機!「偽素顏」淡妝技巧公開,自然的你更討人喜歡!
- 以為他很愛你就可以任性了事?小心你的這4個行為正在默默消耗他對你的愛!到時候哭也沒用了
- 神準心理測驗!第一眼,你會留意異性哪個部位呢?憑直覺選出來,測試你的性格和對異性的渴望~
- 【十月優惠懶人包】美食餐廳、咖啡飲料、甜點午茶通通有,好康折扣資訊一把抓!吃好吃滿準備過冬啦~
- 光收藏不練當然沒效!想要瘦下來卻懶得不想動?堅持5個日常瘦腿小方法讓你保持雙腿不變粗~
- 今秋就用歐洲大熱Superfood護髮新寵改善頭髮髮質!
- 朋友介紹、網路認識「第一次見面注意事項」做好這3點!才能讓讓人有好感,繼續約妳出來唷~
- 最強卸妝產品「NIVEA 小黑瓶」!難卸的眼唇妝也能乾淨溜溜~彩妝大師游絲棋也親自跟大家分享,這瓶有多好用!
- 【週年慶小編精選特輯】抗老要提早準備呀~快趁週年慶購入超便宜「優惠組」連李英愛都愛!送媽媽或自己用都超實用~
- 【想脫單的SIS必看】交不到男朋友肯定是你的問題?一秒看明白你至今還是單身的原因!
- 老師看不出來的素顏妝?!上學也要打扮得漂漂亮亮~感覺自然的妝感教學趕緊敲黑板記下來!
- 給自己一個藉口買鞋!換季就是好時機,2019年秋冬最紅鞋款大公開,還未入冬就要入手!
- 無論多早躺床上都睡不著?數數字這種老套做法已經OUT了!快嘗試坊間流傳的這三種快速入睡法吧~
- 蘋果價格高攀不起?最潮 『AirPods造型』 耳飾配件平價登場!戴上就威風走跳潮流界啦!
- 《湖口特賣會》湖口換季品牌最大型Outlet -萬件牛仔x坦克犀牛服飾x五大運動用品出清特賣︱(影片)
- 不想再過孤獨聖誕?!快看十二星座中誰最能夠在年末前擺脫單身!高分卻還是單身就說不過去了~ 下集
- 他到底對我有沒有心?渣男的3大特徵,來檢視男友有沒有上榜!趕快放生渣男吧~
- 【10/07-10/13】十二星座每週愛情運勢 (下集) ~ 天蠍座可能在感情中顯得太過獨立!