如何正確辨視透明物體一直是電腦視覺領域的一大難題,雖然自駕車或工業自動化機器人大多搭載先進且複雜的影像辨識系統,但往往敗在透明物體上。為了解決這項挑戰,來自哥倫比亞大學、Synthesis Ai與Google的研發團隊共同推出ClearGrasp技術,透過人工智慧的方式強化辨識效果。
透明物體常被辨識成雜訊
目前電腦視覺常使用RGB-D相機(可以記錄景深資訊的相機,如Kinect)、光達(Lidar)等光學距離感應器建立準確的3D環境模型,然而使用光學方式偵測的缺點,就是很容易受到玻璃容器等透明物體干擾。
其中主要的原因,在於這類感應器在運作過成中,會假設所有的物體表面均為完全漫反射(Lambertian Reflectance,指表面能將光線均勻反射至所有方向,從而在所有視角下產生均勻的表面亮度),然而透明物體的表面除了有反射光之外,還會有折射光,所以違背了這個假設,造成無法辨識或是被辨識為雜訊等情況。
根據ClearGrasp的論文(PDF)指出,ClearGrasp可以在深度學習的協助下,使用深度卷積網絡判斷物體表面的法線,以及透明物體的表面遮罩、遮擋邊界(Occlusion Boundary,即景深的不連續性),以精確推算單張RGB-D圖像中的景深資訊。
▲ 使用Intel RealSense D415景深攝影機拍攝透明物體的效果並不理想。(圖片來源:Google,下同)
▲ 以傳統方式建立的3D模型中,許多透明物體無法正常偵測並顯示出來。
▲ ClearGrasp(右下)能大幅提升辨識透明物體的準確度。
使用模擬圖像訓練
ClearGrasp運作過程總計使用3個神經網路,第1個是用於標記物體表面的法線,第2個則用於標記遮擋邊界,最後的則用於標記透明物體,以利後續透過遮罩過慮屬於透明物體的所有像素,並在最後補上正確的景深數據。
由於目前沒有現成的透明物體圖片與景深資料庫,因此在訓練過程中,開發團隊使用3D繪圖的方式產生了超過50,000張的RGB-D模擬圖像,這樣一來不但可以快速建立資料庫,還能夠使用逼真的CG圖像搭配準確的景深資料訓練系統,並依需要改變背景和照明條件,增加訓練資料庫的豐富性。
為了驗證訓練成果,研發團隊準備了286組真實照片,每組由2張照片構成,其中1張包含透明物品,而另1張則將透明物品替換為外型一模一樣的非透明物品,藉以分析2種情況下的辨識情況是否相同。
值得注意的是,雖然這種訓練能準確辨識真實照片中的透明物體,但對於其他表面(如牆壁或一般物品)的表面辨識確不太理想,因此開發團隊還補充使用Matterport3D與ScanNet資料庫訓練系統一般物品,以強化整體表現。
在驗證實驗部分,開發團對使用UR5機械手臂測試抓取透明物體,使用平行爪抓取物體的成功率可以從12%提升到74%,如果使用吸盤吸取物體的話,成功率則從64%提高升到86%,證明ClearGrasp的準確度相當理想。
▲ ClearGrasp總共使用3個神經網路分析輸入的影像。
▲ 研發團隊使用大量電腦繪圖的模擬圖像訓練深度學習系統。
▲ 並使用包含透明、非透明對照物品的真實照片驗證。
▲ 此外研發團隊還使用Matterport3D與ScanNet資料庫訓練系統辨識一般物品,強化整體準確度。
▲ClearGrasp的成果展示。影片最後可以看到ClearGrasp(右上)的辨識情況與真實條件(左上)相當接近。
ClearGrasp目前已經以開源型式釋出,有興趣的讀者可以參考專案網頁或GitHub取得更多資訊。
想看小編精選的3C科技情報&實用評測文,快來加入《T客邦》LINE@查看原始文章商品推薦
- 打字不夠快用說的!如何在Office、Google 文件中利用多種語音輸入法來讓你說的比打得快?
- recALL 可找出你電腦裡已儲存的所有軟體序號、密碼的免費工具,支援備份功能
- Onlogic EPM160系列迷你無風扇電腦,最高搭載4核心Intel Pentium N4200處理器
- 為什麼電腦主機板上面有電池?很多人可能根本不知道!
- 新電腦、重灌系統必備! Ninite 集結近百款常用免費軟體,輕鬆一鍵點選安裝
- 電腦少根「筋」很不賴
- 2018,2019最強麥克風【"GP金點科技"】[F1+]數位掌上KTV無線麥克風藍芽喇叭。
- 原來哆啦 A 夢也是搖滾咖?長達數十年的祕密終於曝光…
- amber酷存 – AI個人雲端自動分類、單一帳號隨時分享影音檔案
- PineBook Pro預購啟動,14吋筆電真的只要6,280元
- MK 2019話題小包~小資女要時尚出門,今年春天絕對是首選
- FB粉絲專頁相片+影片同時上傳四格2018.4.26最新教學
- MacBook Pro 優惠方案購買教學 – Back to School 購物流程全紀錄,解答所有教育方案的問題
- 數位遊戲商城戰爭開打,關於 Steam 與 Epic Games 的崛起,他們竟如此相似
- 新聞分享 / 你可能穿過它但這次有點不同 adidas Pro Model 2G 搭載 BOUNCE 中底科技重生
- 說溜嘴了?暖男「喵喵」自曝選女友的首要條件惹怒「古娃娃」挨揍:反正你就是嫌我
- 吹風機好朋友!小巧可愛的掌型吹風機讓你不再吹到手好痠
- 5款頭皮護理水推薦!PTT油頭人狂推~改善頭皮搔癢、油臭味,頭皮長痘也有效!
- 「加油,你是最胖的!」:10句寫進心坎裡的「減肥毒雞湯」,讓你哭笑不得的負能量爆炸!
- 想從頭到腳當個韓妞嗎?精選15張「韓系色塊桌布」給你~所有韓韓的小元素都不能放過!
- 電動機車Gogoro3正式上市!最高補助、優惠重點懶人包
- 2019最新智慧手錶推薦:Garmin、Fitbit、Apple watch、小米手錶、Amazfit|運動手錶品牌推薦
- 2019 全台最夯【跨年行程推薦】:觀景101餐館、路德威手工啤酒餐廳、萬豪INGE'S、高空露天酒吧等10家人氣餐廳,讓你跨年前盡情晚餐、跨年後徹夜狂歡!
- 2019熱門底片相機推薦,膠捲入門:富士、lomography
- 上班好厭世?就靠『辦公室實用好物/上班族紓壓小物』療癒你!
- 你知道對你而言什麼東西是最重要的嗎?讓心測告訴你答案~
- 為何男生喜歡和年上姊姊談戀愛!?原來她們的這些魅力,有這麼大的優勢阿~
- 12星座專屬「勾心術」用這招讓妳的他對你更加分!(中)
- 你是一個合群的人嗎?快來測試看看~對於什麼樣的髒亂,令你最不能接受?
- 伤人的话一直在脑海徘徊, 该如何才能忘掉别人可能无心的一句话?
- 快來玩心測!你最討厭最看不順眼哪種顏色的氣球?測看看你最近缺了些甚麼吧~
- 爆紅心測來囉~從你第一眼看見什麼,測出你的感情觀怎麼樣?
- 嘗試主動出擊吧!想要當主動的女生,謹記以下4點就不怕尷尬了!
- Iphone 12外觀大預測!除了「乾燥玫瑰」色,居然多了超迷人的「夜幕藍」!
- 質感小資女內衣推薦!不小心就緊緊抓住男友的心~