基于块匹配与图像金字塔立体视觉的RGB-D传感器深度信息增强技术

摘要： 配备RGB摄像头的深度传感设备能够以像素级为单位为传统图像增添深度信息。目前市面上的RGB-D传感器包括华硕Xtion Pro、微软Kinect和英特尔RealSense?。但这些传感器存在一定局限：反光、透明或吸光哑光表面的物体会因反射问题造成干扰；多台RGB-D相机同时使用时红外图案可能产生串扰；且深度信息仅在相机与物体间距较近时才能准确解析。 本系统提出的块匹配立体视觉(BMSV)方案，采用RGB-D相机结合校正/非校正块匹配、图像金字塔算法及动态规划技术，实现人体追踪功能，并能从反光/透明物体获取精确深度信息。该系统通过IR发射器生成已知红外图案，通过对比聚焦物体的多视角图像来还原深度信息。将BMSV RGB-D相机的深度图与视差图进行融合处理，可填补因干扰或反射透明表面产生的空洞区域，从而获得增强型密集立体图像。 本研究将该方法应用于三维真实头部模型和功能性磁共振成像(fMRI)，实验结果表明：该方案提升了RGB-D传感器的工作速度与精度，且能不受物体表面特性影响，持续提供准确的深度信息密度。