[IEEE 2018年第15届控制、自动化、机器人和视觉国际会议（ICARCV）- 新加坡，新加坡（2018.11.18-2018.11.21）] 2018年第15届控制、自动化、机器人和视觉国际会议（ICARCV）- 基于外部RGB-D深度传感器的双手关节机器人遥操作

摘要： 本文介绍了一种基于三维（3D）骨架提取技术实现的双臂遥操作系统，该系统由人类通过体感控制操作。输入数据来自廉价的RGB-D深度传感器（如华硕Xtion PRO）。为此，我们实现了最新开发的OpenPose软件包的3D版本：首先使用RGB图像序列作为输入运行OpenPose卷积神经网络（CNN），提取人体二维（2D）骨架姿态定位后，将关节点位置估计映射到相机坐标系中的三维姿态；随后将该过程输出作为驱动信号，通过笛卡尔空间全身逆运动学计算，使机械手末端位姿相对于人类手部动作进行实时跟随。最终我们将该方法封装为ROS功能包，并在类人马机器人CENTAURO上进行了测试，成功演示了人类示范驱动下的实时箱盒与杠杆操控任务。