汉堡大学 | 基于多模态强化学习的多指抓取

在这项工作中，论文解决了使用高自由度拟人手臂系统抓取新物体的挑战性问题。结合指尖触觉传感、关节扭矩和本体感觉，多模态代理在模拟中进行训练，以学习手指运动并确定何时举起物体。二进制接触信息和基于水平的关节扭矩简化了将学习模型转移到真实机器人的过程。为了减少探索空间，论文首先通过收集涵盖各种抓取类型的数据集并使用主成分分析来生成姿势协同作用。课程学习进一步应用于根据训练表现调整和随机化初始物体姿势。具有专用初始抓取姿势的仿真和真实机器人实验表明，论文的方法在抓取可见和不可见物体的成功率方面均优于两个基线模型。这种学习方法进一步成为基于多感官系统的复杂手动操作的基础技术。
论文链接：https://ieeexplore.ieee.org/document/9664242