研究目的
开发并实现一种用于仿人机器人的双手遥操作系统，利用廉价的RGB-D传感器进行三维骨架提取与控制，以实现实时操控任务。
研究成果
该系统利用低成本的RGB-D传感器和基于深度学习的姿态估计技术，有效控制双手机器人完成操作任务。系统展现出实时响应能力且动作流畅，但存在一定精度误差。未来工作包括采用立体相机等其他传感器，并改进手部状态追踪以实现更精准的夹爪控制。
研究不足
由于传感器校准误差、遮挡导致关节识别错误、控制帧率有限（7.13Hz）以及人机比例差异影响触及范围，可能存在潜在不准确情况。遮挡情况下方向追踪具有挑战性。
1：实验设计与方法选择：
系统采用RGB-D传感器（华硕Xtion PRO）作为输入，通过OpenPose卷积神经网络进行二维姿态估计，利用深度信息映射到三维空间，并借助ROS与XBotCore中间件通过笛卡尔空间的逆运动学控制机器人。
2：样本选择与数据来源：
实时采集人类操作员动作；在CENTAURO机器人上测试。
3：实验设备与材料清单：
华硕Xtion PRO传感器、CENTAURO机器人、NVIDIA Titan Xp显卡、搭载ROS的计算机。
4：实验流程与操作步骤：
以30Hz采集RGB和深度图像，以8-10Hz运行OpenPose进行二维关节检测，映射为三维坐标，过滤并平滑数据，通过笛卡尔接口控制机器人，执行推箱、扳动杠杆等任务。
5：数据分析方法：
通过欧氏距离误差测量运行频率与动作差异；演示任务并分析其性能表现。
独家科研数据包，助您复现前沿成果，加速创新突破
获取完整内容-
NVIDIA Titan Xp
Titan Xp
NVIDIA
GPU used for running the OpenPose neural network and other computations in the system.
-
ASUS Xtion PRO
Xtion PRO
ASUS
RGB-D range sensor for capturing color and depth images used as input for human pose estimation.
-
CENTAURO robot
CENTAURO
Istituto Italiano di Tecnologia (IIT)
Bi-manual humanoid robot used for testing the teleoperation system, featuring 42 degrees of freedom and wheeled legs.
-
OpenPose
OpenPose
Carnegie Mellon University
Deep learning-based system for real-time 2D human pose estimation from RGB images.
-
ROS
Robotic Operating System
Open Source Robotics Foundation
Middleware used for implementing the system as a wrapper package, handling communication and data processing.
-
XBotCore
XBotCore
Istituto Italiano di Tecnologia (IIT)
Real-time middleware for controlling the robot, used in conjunction with OpenSoT for whole-body inverse kinematics.
-
OpenSoT
OpenSoT
Istituto Italiano di Tecnologia (IIT)
Library for hierarchical whole-body robot control, used to maintain balance and handle constraints during manipulation.
-
登录查看剩余5件设备及参数对照表
查看全部
