科技部AI創新研究中心專案計畫
由人類動作演示引導機器人學習之方法與系統的研究─演示學習型機器人研發(1/4)
MOST 107-2634-F-003-001
計畫年度

 

 
 

亮點二:機械手臂與夾爪教導之動作再現

重點項目

項目一:人類教導手臂之運動模型建立 (已完成)
我們的機械手臂各個關節之間以連桿進行連結,一個 n 自由度的機械手臂就必須包含 n 個關節以及 n 個連桿,為了方便描述相鄰關節之間位置和運動關係,Devavit 和 Hartenberg 提出了一種為機械手臂每一個關節和連桿建立座標系的矩陣表示方法。

項目二:高精度示教機械手臂與夾爪之整合與硬體組裝 (已完成)
我們使用由 UNIVERSAL ROBOTS 公司製作的 UR3 六軸機械手臂作為示教手臂。手掌方面,除了兩指平行機械夾爪外,我們亦使用 qb robotics 公司所製造的 qb softhand 彷人形五指機械手掌。

項目三:機械手臂正逆向運動學之分析和模擬 (已完成)
正向運動學的目的在於透過已知的機械手臂各個關節角度計算機械手臂應到達的位置與姿態,基於 UR3 機械手臂的 DH 參數,我們可進一步求出機械手臂各個關節中的轉換矩陣。逆向運動學的概念為將已知的末端執行器位置與姿態轉換成各個關節的旋轉角度,我們透過 UR3 的 DH 參數和數學模型計算 UR3各個關節的逆向運動學解析解。

項目四:深度學習技術應用於人類示範目標物體之視覺辨識 (已完成)
由於機械手臂在模仿示教過程中需要識別待夾取物體之類別與位置。因此,我們使用 YOLOv2 於整體示教系統中。在本實驗中我們在終端機上進行神經網路的訓練和測試,之後將測試平台與機械手臂系統整合。我們將各種角度和不同顏色的杯子送入訓練好的 YOLOv2 網路中進行辨識。

項目五:機械手臂教導-學習之再現軌跡對應規劃與分析 (已完成)

我們透過 Kinect 2 深度攝影機捕捉人體骨架以及手掌的位置,使用 Kinect for Microsoft SDK 抓取手部特徵點,並將攝影機坐標系轉換成機械手臂坐標系,以得到手掌的 XYZ 座標位置。

項目六:開發多模式感知技術於人-機械手臂協作與學習 (已完成)
除了上述所提到的物件辨識模式、機械夾爪/手掌抓取模式,我們亦設計了避免機械手臂碰撞模式。在實際環境中,我們透過改變拿取物品的順序或者改變拿取的姿勢來達成任務。

項目七:應用深度學習技術來實現機械手臂演示學習與動作再現 (已完成)
我們使用 YOLOv2 同時偵測模仿區與示範區兩個區域內的物件變化,當使用者進行動作演示的過程中,偵測示範區內每一次物品的位置變化,並依照畫面物體中物件大小辨識深度距離以取代紅外線的深度資訊,將位置進行座標轉換後傳入機械手臂進行模仿。

成果影片

 

電話: (02)7749-3539, 傳真: (02)2351-5092, E-mail: andychien265@gmail.com

校址: 臺北市和平東路一段129-1號, 國立臺灣師範大學(圖書館校區) 科技與工程學院大樓4樓TA410研究室

Copyright © Computational Intelligence and Robotics Lab at NTNU. All rights reserved.