以机器人抓取场景为例,抓取和操作物体是完成各种复杂任务的基础,目前实现稳定的抓取和操作仍然具有挑战。

先是视觉感知的局限性,尤其是在复杂环境下,遮挡、噪音和背景复杂性等因素可能 影响视觉感知效果,导致抓取任务失败。其次是视觉反馈往往无法提供物体的具体物理 特性信息,如材质、刚度、重量等,这也限制了机器人在抓取过程中的准确性和稳定性。 目前可以通过导人触觉传感器以解决单视觉感知的局限性,通过在机器人执行器上安装 触觉传感器,可以记录整个抓取过程中物体的受力变化,为机器人提供丰富的抓取解决 时序数据。通过合适的数据处理和分类器,有效提G机器人在复杂环境中抓取稳定性和 分类准确性。

同样仅凭触觉信息而不具备视觉系统,尽管灵巧手能感知到与接触物体的受力关系,但 是由于不清楚物体的特征,无法准确判断机械臂、灵巧手相对操作物体的位置及是否选 择正确的动作抓取轨迹与区域,亦会导致抓取失败。

一个典型的手眼协同能通过视觉做好对灵巧手位置的判断、动作的规划及与物体交互策略判定,并能够根据手的传感器信息,判断力的大小方向是否合适,从而大幅提升定向抓取操作的成功率。而人形机器人的上肢操作功能核心为灵巧手的手眼协同,手眼协同的能力决定了人形机器人上肢能力上限。