【研究摘要與重點】

針對透明容器或具光澤的包裝材料等傳統3D測量技術難以處理的對象，開發出一項能從單台相機影像推算形狀，並使機器手臂能夠進行抓取的技術。

即便在需要從多個視角進行觀測的情況下，也開發出一種能兼顧形狀推算精度與移動距離，並自動決定拍攝位置與移動路徑的方法。

經實機機器人驗證，抓取成功率達到96.0%，與傳統方法相比，相機移動距離縮短了52%，整體處理執行時間縮短了19%。

本研究成果預期將能促進過去依賴人工之製程的自動化，並透過高精度抓取與高效動作的並行，為提升生產力做出貢獻。

【研究概要】

東京理科大學創域理工學部機械航空宇宙工學科的荒井翔悟副教授，以及同大學研究所創域理工學研究科機械航空宇宙工學專攻的Kenis Ginga（2025年度碩士課程二年級）研究小組，針對透明物體或具光澤物體等機器手臂難以抓取的對象，開發了「3D測量（＊1）」與「抓取規劃（＊2）」的方法。此外，在手眼配置（＊3）中，成功減少了影像拍攝所需的移動時間與處理時間。

過去，透明容器或具光澤的包裝材料因表面光線的反射與穿透，導致深度感測器或一般3D測量變得不穩定，使得機器手臂的自動抓取相當困難。因此，本研究小組著眼於一種結合了不易受光學特性影響的RGB影像語義分割（＊4），以及從多視角輪廓資訊復原形狀的「Shape from Silhouette（＊5）」之方法。然而，多視角拍攝雖然能提升精度，但相機移動耗時，如何與製造現場要求的作業時間（節拍時間）取得平衡成為了一項課題。為了解決此課題，研究小組導入了能同時提升3D測量精度並縮短相機移動距離的成本函數，進而優化了拍攝位置與移動路徑。

在實機機器人的驗證中，針對透明、具光澤及不透明物體達成了96.0%的抓取成功率，並與基準方式相比，成功將相機移動距離縮短了52%，整體處理執行時間縮短了19%。

本研究實現了針對具有困難光學特性物體抓取的穩健性，以及削減了伴隨多視角觀測而來的時間成本。這將擴大機器人的應用範圍，預期能為製造現場的自動化推進與生產力提升做出貢獻。

本研究成果已於2026年1月12日刊載於國際學術期刊「IEEE ROBOTICS AND AUTOMATION LETTERS」線上版。此外，本成果預計將於機器人領域的頂級會議「2026 IEEE International Conference on Robotics & Automation（ICRA 2026）」中發表，正受到全球矚目。

圖1 先行研究（VGN, GraspNeRF）與本研究開發之方法（HEAPGrasp w/o VP, HEAPGrasp）的性能比較

圖2 （左）透明物體抓取情形 （中）透明袋裝物體抓取情形 （右）光澤物體抓取情形

【研究背景】

機器手臂是能自動執行零件或產品的抓取、移載、排列等作業，並為工廠及生產現場的生產力提升與減少人力作業做出貢獻的裝置。近年來，隨著高精度相機與3D測量技術的發展，其應用已擴展至複雜作業。然而，針對透明物體或具光澤物體，因光線反射與穿透的影響，3D測量變得不穩定，存在自動抓取困難的課題。此外，若要精確掌握對象物的姿勢與位置，必須從多個視角進行相機拍攝，這需要耗費測量與處理時間。結果導致作業節拍時間下降，進而降低了系統整體的效率。

因此，本研究小組著眼於利用RGB影像進行語義分割以及Shape from Silhouette。進一步地，透過導入能平衡3D測量精度與相機移動距離的成本函數，並優化手眼相機的軌跡，旨在同時實現精度與效率。

【研究結果詳情】

本研究使用傳統基準方法（VGN、GraspNeRF）與新開發的方法（HEAPGrasp、HEAPGrasp w/o VP），進行了實機機器人驗證。

傳統方法VGN在不透明物體上達成了88.5%的抓取成功率，但在光澤物體上降至72.0%，透明物體上降至53.8%。GraspNeRF也呈現相同趨勢，在不透明物體上達成了91.7%的抓取成功率，但在光澤物體上降至52.2%，透明物體上降至68.2%。相對地，本研究開發的HEAPGrasp w/o VP與HEAPGrasp在所有類別中皆達成了92.6%以上的高抓取成功率。此外，對於學習時未使用的未知物體也展現出強大的泛化能力，分別達成了98.0%與96.0%的抓取成功率。此成功率的差異，主要源於3D測量精度的不同。

傳統方法GraspNeRF因需要在作業空間周圍設置6個視角，故需要2.33公尺的相機移動距離與18.8秒的執行時間。另一方面，本研究開發的HEAPGrasp w/o VP將相機移動距離縮短至2.03公尺，執行時間縮短至9.91秒。進一步地，HEAPGrasp與HEAPGrasp w/o VP相比，將相機移動距離削減了52%至0.97公尺，執行時間削減了19%至8.01秒。

主導本研究的荒井副教授表示：「在製造與物流現場，透明托盤或光澤袋等難以自動化的對象仍存在於製程中，成為依賴人力的瓶頸。因此，我們致力於開發一種不易受光學特性影響，且能以最小必要動作實現『看見並抓取』的機制。本研究成果預期將能推動過去依賴人力的製程機器人化，並為提升生產力做出貢獻。此外，透過減少事前調整的設計，將使導入現有設備及對應多品種變得更加容易。未來，我們目標實現即使在換線頻繁或對象物增加的現場，也能根據運作條件輕鬆生成最佳動作的機器人系統。」

【用語】

＊1: 3D測量

利用相機或距離感測器，將對象物的位置與形狀作為3D資訊（x, y, z）取得的技術。是機器人掌握對象物精確位置與姿勢，並進行抓取或移載的基礎。

＊2: 抓取規劃

基於3D測量所得之形狀與姿勢資訊，決定機器人能穩定抓取對象物之位置與姿勢的過程。

＊3: 手眼配置

在機器人末端（手部）搭載相機，並根據相機視覺資訊來控制機器人動作的機制。

＊4: 語義分割

將影像中的每個像素分類為物體或背景等語義類別的影像辨識方法。由於能以像素層級提取對象物區域，因此被用於提升3D測量或抓取規劃中的對象物辨識精度。

＊5: Shape from Silhouette

利用從多個視角取得之對象物輪廓影像，推算3D形狀的方法。雖然難以重現對象物內部形狀，但具有計算相對簡單，且能穩定復原對象物外形的特徵。

【論文資訊】

期刊名稱

：IEEE ROBOTICS AND AUTOMATION LETTERS

論文標題

：HEAPGrasp: Hand-Eye Active Perception to Grasp Objects with

Diverse Optical Properties

作者

：Ginga Kennis and Shogo Arai

DOI

：10.1109/LRA.2026.3653331

※由於PR TIMES系統無法使用上標、下標文字或特殊字元等，正式標記可能與本內容有所差異，敬請見諒。正式標記請參閱東京理科大學網頁（https://www.tus.ac.jp/today/archive/20260327_9176.html）。

FACT BOX · 重點整理

  • 來源：PR TIMES
  • 分類：research