基于触觉感知和伺服的物体三维边缘重建方法

胡静怡; 崔少伟; 张超凡; 张伯约; 王硕

doi:10.11959/j.issn.2096-6652.202226

您当前的位置：

首页 >

文章列表页 >

基于触觉感知和伺服的物体三维边缘重建方法

专题：自主智能体灵巧精准操作学习 | 更新时间：2024-06-05

- 基于触觉感知和伺服的物体三维边缘重建方法
- 3D edge reconstruction method based on tactile sensing and servo
- 智能科学与技术学报 2022年4卷第2期页码：233-245
- 作者机构：
  
  1. 中国科学院自动化研究所复杂系统管理与控制国家重点实验室，北京 100190
  2. 中国科学院大学未来技术学院，北京 100049
  3. 中国科学院大学人工智能学院，北京 100049
  4. 中国科学院脑科学与智能技术卓越创新中心，上海 200031
- 作者简介：
  
  [ "胡静怡（1997− ），女，中国科学院自动化研究所博士生，主要研究方向为机器人触觉主动感知" ]
  [ "崔少伟（1996− ），男，中国科学院自动化研究所博士生，主要研究方向为机器人触觉感知与灵巧操作" ]
  [ "张超凡（1998− ），女，中国科学院自动化研究所博士生，主要研究方向为机器人多模态感知与灵巧操作" ]
  [ "张伯约（1998− ），男，中国科学院自动化研究所博士生，主要研究方向为基于触觉的机器人的灵巧操作" ]
  [ "王硕（1973− ），男，博士，中国科学院自动化研究所复杂系统管理与控制国家重点实验室研究员，中国科学院大学人工智能学院首席教授，国家重点研发计划“智能机器人”重点专项总体组专家，国际标准化组织ISO/TC 299专家，中国机电一体化技术应用协会常务理事。主要从事机器人学习、视触融合灵巧操作、仿生机器鱼、水下机器人−作业臂系统等研究。在国内外期刊和会议上发表学术论文120余篇，合著图书4本，获授权发明专利21项、软件著作权12项，主持制定机器人国家标准2项。主持我国科学技术部科技创新2030—“新一代人工智能”重大项目“自主智能体灵巧精准操作学习方法研究与验证”、国家863计划项目、国家自然科学基金联合基金重点项目和面上项目、支撑计划项目、国际合作项目、北京市科学技术委员会项目等多项项目。曾获得国家自然科学奖二等奖1项，北京市科学技术奖一等奖1项，省部级二等奖4项，中国自动化学会技术发明奖一等奖1项，中国自动化学会科普奖1项。中国科学院、中国自动化学会、中国人工智能学会优秀博士论文指导教师，曾获得中国科学院大学“领雁银奖·振翅奖”" ]
- 基金信息：
  
  科技创新2030—“新一代人工智能”重大项目;The National Key Research and Development Program of China(2018AAA0103003);国家自然科学基金资助项目;The National Natural Science Foundation of China(U1913201)
- DOI：10.11959/j.issn.2096-6652.202226
  中图分类号： TP242.6
- 网络出版日期：2022-06，
  
  纸质出版日期：2022-06-15
- 稿件说明：
移动端阅览
胡静怡, 崔少伟, 张超凡, 等. 基于触觉感知和伺服的物体三维边缘重建方法[J]. 智能科学与技术学报, 2022,4(2):233-245.

Jingyi HU, Shaowei CUI, Chaofan ZHANG, et al. 3D edge reconstruction method based on tactile sensing and servo[J]. Chinese journal of intelligent science and technology, 2022, 4(2): 233-245.
胡静怡, 崔少伟, 张超凡, 等. 基于触觉感知和伺服的物体三维边缘重建方法[J]. 智能科学与技术学报, 2022,4(2):233-245. DOI： 10.11959/j.issn.2096-6652.202226.

Jingyi HU, Shaowei CUI, Chaofan ZHANG, et al. 3D edge reconstruction method based on tactile sensing and servo[J]. Chinese journal of intelligent science and technology, 2022, 4(2): 233-245. DOI： 10.11959/j.issn.2096-6652.202226.

摘要

机器人的灵巧操作一直是机器人领域研究的前沿热点问题。在很多灵巧操作任务中，机器人不仅需要视觉反馈，指尖的触觉反馈也至关重要，尤其是在光照条件不佳等情况下。目前，利用触觉伺服对物体进行三维形状感知的工作仍然非常具有挑战性。平面的GelSight触觉传感器并不适用于对物体进行三维形状的感知。因此，对GelSight触觉传感器设计进行了改进，使其更适用于获取三维物体边缘信息。同时，提出一种基于触觉伺服的物体边缘跟踪控制策略和基于触觉点云的物体三维边缘重建方法，以支持机器人的三维物体灵巧操作策略生成。针对多种复杂三维边缘模型，通过机器人的触觉伺服跟踪和三维边缘重建实验验证了所提方法的有效性。

Abstract

The dexterous manipulation of robots has always been a hot topic in the field of robotics.In many dexterous manipulation tasks

robots need not only visual feedback

but also tactile feedback at the fingertips

especially in poor lighting conditions.Currently

3D shape sensing of objects using tactile servo is still very challenging.The flat GelSight tactile sensors are not suitable for 3D shape sensing of objects.Therefore

the design of GelSight tactile sensor was improved to make it more suitable for the acquisition of edge information of 3D objects.At the same time

an object edge tracking control strategy based on tactile servo and a 3D object edge reconstruction method based on tactile point cloud were proposed to support the generation of dexterous manipulation strategies for robots.For a variety of complex 3D edge models

the effectiveness of the proposed method was verified by the tactile servo tracking and 3D edge reconstruction experiments.

关键词

Keywords

references

郑太雄 , 黄帅 , 李永福 , 等 . 基于视觉的三维重建关键技术研究综述 [J ] . 自动化学报 , 2020 , 46 ( 4 ): 631 - 652 .

ZHENG T X , HUANG S , LI Y F , et al . Key techniques for vision based 3D reconstruction:a review [J ] . Acta AutomaticaSinica , 2020 , 46 ( 4 ): 631 - 652 .

QIAO X , RAUSCHENBACH T , LI D L . Review of underwater machine vision technology and its applications [J ] . Marine Technology Society Journal , 2017 , 51 ( 1 ): 75 - 97 .

SHAO L , WANG Y , GUO B Z , et al . A review over state of the art of in-pipe robot [C ] // Proceedings of 2015 IEEE International Conference on Mechatronics and Automation . Piscataway:IEEE Press , 2015 : 2180 - 2185 .

REDDY A H , KALYAN B , MURTHY C S N . Mine rescue robot system - a review [J ] . Procedia Earth and Planetary Science , 2015 , 11 : 457 - 462 .

CHEN N , ZHANG H , RINK R . Edge tracking using tactile servo [C ] // Proceedings of 1995 IEEE/RSJ International Conference on Intelligent Robots and Systems.Human Robot Interaction and Cooperative Robots . Piscataway:IEEE Press , 1995 : 84 - 89 .

SHIMONOMURA K . Tactile image sensors employing camera:a review [J ] . Sensors , 2019 , 19 ( 18 ): 3933 .

LEPORA N F , LLOYD J . Pose-based servo control with soft tactile sensing [J ] . arXiv preprint,2020,arXiv:2012.02504 .

CHEN N N , ZHANG H , RINK R E . Touch-driven robot control using a tactile Jacobian [C ] // Proceedings of the International Conference on Robotics and Automation . Piscataway:IEEE Press , 1997 : 1737 - 1742 .

LI Q , SCHÜRMANN C , HASCHKE R , et al . A control framework for tactile servoing [C ] // Proceedings of Robotics:Science and Systems IX . Robotics:Science and Systems Foundation , 2013 .

MARTINEZ-HERNANDEZ U , METTA G , DODD T J , et al . Active contour following to explore object shape with robot touch [C ] // Proceedings of 2013 World Haptics Conference . Piscataway:IEEE Press , 2013 : 341 - 346 .

LEPORA N F , AQUILINA K , CRAMPHORN L . Exploratory tactile servoing with active touch [J ] . IEEE Robotics and Automation Letters , 2017 , 2 ( 2 ): 1156 - 1163 .

LEPORA N F , CHURCH A , DE KERCKHOVE C , et al . From pixels to percepts:highly robust edge perception and contour following using deep learning and an optical biomimetic tactile sensor [J ] . IEEE Robotics and Automation Letters , 2019 , 4 ( 2 ): 2101 - 2107 .

STONE E A , LEPORA N F , BARTON D A W . Learning to live life on the edge:online learning for data-efficient tactile contour following [C ] // Proceedings of 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems . Piscataway:IEEE Press , 2021 : 9854 - 9860 .

BERGER A D , KHOSLA P K . Using tactile data for real-time feedback [J ] . The International Journal of Robotics Research , 1991 , 10 ( 2 ): 88 - 102 .

KAPPASSOV Z , CORRALES J A , PERDEREAU V . Touch driven controller and tactile features for physical interactions [J ] . Robotics and Autonomous Systems , 2020 , 123 : 103332 .

YUAN W Z , DONG S Y , ADELSON E . GelSight:high-resolution robot tactile sensors for estimating geometry and force [J ] . Sensors , 2017 , 17 ( 12 ): 2762 .

LI R , PLATT R , YUAN W Z , et al . Localization and manipulation of small parts using GelSight tactile sensing [C ] // Proceedings of 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems . Piscataway:IEEE Press , 2014 : 3988 - 3993 .

TIAN S , EBERT F , JAYARAMAN D , et al . Manipulation by feel:touch-based control with deep predictive models [C ] // Proceedings of 2019 International Conference on Robotics and Automation . Piscataway:IEEE Press , 2019 : 818 - 824 .

LU C , WANG J , LUO S . Surface following using deep reinforcement learning and a GelSightTactile sensor [J ] . arXiv preprint,2019,arXiv:1912.00745 .

DONG S Y , WANG S X , SHE Y , et al . Cable manipulation with a tactile-reactive gripper [C ] // Proceedings of Robotics:Science and Systems XVI . Robotics:Science and Systems Foundation , 2020 .

WANG S X , WU J J , SUN X Y , et al . 3D shape perception from monocular vision,touch,and shape priors [C ] // Proceedings of 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems . Piscataway:IEEE Press , 2018 : 1606 - 1613 .

WARD-CHERRIER B , PESTELL N , CRAMPHORN L , et al . The TacTip family:soft optical tactile sensors with 3D-printed biomimetic morphologies [J ] . Soft Robotics , 2018 , 5 ( 2 ): 216 - 227 .

JOHNSON M K , ADELSON E H . Retrographic sensing for the measurement of surface texture and shape [C ] // Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition . Piscataway:IEEE Press , 2009 : 1070 - 1077 .

浏览量

455

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于少量图像的三维重建综述