机械手也会写字了!

最近,西安交大毕业生杭凯宇研发出一款算法,只需提前设计好路线,机械手就能写出英文单词“SCIENCE”,平均控制精度高达 0.42 ± 0.34 mm。

打开网易新闻 查看更多图片

图 | 正在写字的机械手(来源:受访者)

通过该算法,机械手还能操作迷宫模型,并控制小球按照特定路线、走向迷宫终点。在没有任何位置约束的前提下,机械手的方向控制精度达 1.20° ± 1.38°。

图 | 写字和走迷宫任务(来源:受访者)

在堆叠杯子的应用中,针对桌上五个杯子,机械手能按大小顺序、依次拿起其中四个,然后堆叠到蓝色杯子上。

打开网易新闻 查看更多图片

图 | 机械手在叠放杯子(来源:受访者)

为让任务更具挑战性,杭凯宇将杯子随机倾斜摆放,要求机械手必须始终从桌子的垂直方向来接近和抓取杯子。即便如此,机械手仍能完成任务,并可把控制精度在 2.1 ± 0.92 mm。

图 | 夹起随机摆放的杯子(来源:受访者)

而且,就像壁虎尾巴断了还能长出来一样,假如机械手的手指坏掉,换上新的还可照样工作。

这一切都得益于本次算法,他告诉 DeepTech,以往基于模型的机器人操控系统,往往依赖模型参数。这些参数要么来自先验知识,要么来自传感模块的实时捕捉,比如基于视觉、触觉和力觉的传感器等。然而,这种基于模型的操控系统,需要非常多的模型参数。

图 | 实验装置(来源:受访者)

假如遇到不稳定的物理环境,亦或者机器人尺寸比较有限,传感模块的数量和性能也会被限制。如果机器人的执行环境比较陌生,同时又缺乏先验知识,那么操控系统就会陷入无参数可用的尴尬境地,相关功能会遭受极大影响。

已从西安交大毕业、目前正在耶鲁大学做博后研究的杭凯宇,攻克了上述难题,并以上面几个案例证明了算法可用性。

打开网易新闻 查看更多图片

图 | 杭凯宇(来源:受访者)

他以第一作者身份撰写了相关论文,并于近日发表在 Science Robotics 上,论文题为《以机器人操作实现自我识别, 和以自我识别实现更好的机器人操作》(Manipulation for self-Identification, and self-Identification for better manipulation)。

图 | 相关论文(来源:受访者)

据悉,基于虚拟链接模型(Virtual linkage-based representations,VLR)的概念,杭凯宇研发出上述新算法,该算法可通过探索性操控动作、以及概率推理,去自我识别机械手、和目标物体之间的基本互动机制,从而让机械手实现精确操控。

图 | 实验中使用的机械手 Yale Model O(来源:受访者)

在实验中,他将算法应用到一款名为 Yale Model O 的欠驱动机械手上,该机械手既没有关节编码器、也没有触觉传感器。

但即便在缺少传感模块的情况下,搭载该算法的机械手也具备被动适应能力,从而极大促进自我识别过程,并能确保机械手在随机探索过程中、与目标物体的稳定交互。

据悉,该系统只依靠机械手上的手内摄像头,即使给原装手指增加新设计,它也能有效地自我识别。

从人类第一次知道火苗烫手说起

事实上,传统基于模型的操控系统,除了需要较多模型参数,还面临着多模态传感、硬件设计、规划和控制等复杂问题。

此前,已有学者使用传统设计理念简化了个别问题。仍以可抓取物体的机械手为例,虽然它能通过手臂运动完成拾取和放置等任务,但这种方法不仅缺乏灵活,能耗也比较高,用户在使用时也不安全。

正因此,许多学者都尝试打造与人类灵巧双手类似的机械手,即仅凭手指运动就能提供目标性更强的物体操控。但是,机械手的高敏捷性和高自由度,也意味着更复杂的控制系统,所以同时协调多根手指、并进行稳健操作并非一件易事。

(来源:受访者)

在该研究中,杭凯宇尝试用最少的传感模块,让机械手去识别自己与物体互动时所需的参数。

期间,他提出一种自我识别概念,可将机械手操控的传统范式从感知-规划-行动,转变为行动-感知-规划。

这种转变后的范式,对你我来说并不陌生。比如,人类首次面对火苗时,可能并不知道它会烧伤人类,当用手指触摸火苗,感到极其烫手之后,才明白原来火苗不可用手直接碰触,这便是先行动后感知的范式。

存在的意义是什么?机械手自己就能解释

近年来,各种机械手层出不穷。但是,每个机械手与物体的互动系统各不相同,即使是同一物体和同一只机械手,每次抓握时的接触位置、机械手的关节配置、以及力量分布等参数也不一样。而这些复杂的参数,也组成了机械手操控机制的基本参数。

打开网易新闻 查看更多图片

(来源:受访者)

尽管参数并非恒定,但本次研究中的机械手系统,具备通用且不变的属性,因此可有效描述机械手和物体之间的相互作用。

基于此,杭凯宇制定了一款框架,它主要面向运动学约束,在捕捉到机械手和物体的属性后,借助该框架即可进行建模。

所谓虚拟链接(Virtual linkage),指的是先在机械手模型中建立虚拟链接,然后将触点、关节和操控点三者连接起来。由于不同物体的抓握方式不同,因此会生成不同的连接方式。

和多数传统方法不同的是,当机械手接触物体、并处于稳定状态时,即使没有机械手或者物体的任何几何信息,虚拟链接模型也能描述系统运动。

(来源:受访者)

就在这时难题来了,虚拟链接模型以接触点为中心,要想让它正确反映出物理系统,机械手所接触位置的精度至关重要。

要想拓宽虚拟链接模型的应用范围,就得让它在没有传感器的前提下,也具备预估接触位置的能力。

此外,虚拟链接模型的虚拟链接和关节配置也要进行实时更新。但是,机械手关节的角度配置,取决于机械手与物体接触的角度,而这种角度参数无法从关节编码器中直接获取。

为解决该挑战,杭凯宇又开发出一套自我识别机制。在该机制下,机械手不仅能解释自身的存在,也能解释从机械手电机运动、到机械手自身行为的映射,以及机械手的运动行为如何与世界交互。

图 | 自识别过程(来源:受访者)

断指之后,换上新手指照样能抓握物体

一般来说,机械手在感知自身变化、以及自身行为产生的外界变化时,采用的是交互式感知法。期间,机械手会不断估算本体行为和运动行为,但是仅凭虚拟链接模型,机械手无法对控制系统进行建模。

故此,杭凯宇引入一系列物理属性如摩擦系数、关节扭力限制和物体重量,这些物理属性能描述出机械手和物体之间的动力学模型。

为了找到未知参数,机械手会通过执行一些探索性操作,借此来尝试和物体互动。在互动初期,虽然它还不能精准控制物体,但不断增加探索时间和次数,就能逐渐估算出来原本未知的参数,最终实现参数的自我识别。

(来源:受访者)

为了验证自我识别的表现,杭凯宇将虚拟链接模型应用到 Yale Model O 机械手上,该机械手有三根手指,分别是左指、右指和拇指,其中左指和右指之间有连接关节。

(来源:受访者)

其中,每根手指都配有两个关节,里面的弹簧负责控制手指,此外还有电机带动肌腱来驱动手指。当电机动作导致肌腱长度改变时,手指关节会根据弹簧的柔度重新配置。

实验中,杭凯宇使用了四个摄像头,它们的分布如下:为省去外部感知设备以及额外校准,机械手上只安装了一个手内摄像头,来观察操控点的运动状态;余下三个摄像头都安装在观察架上,用来捕捉指尖的活动、以及收集相关数据。

在实验中,由虚拟链接模型和自我识别驱动的机械手,主要面临三方面挑战:一是由于不使用编码器,因此无法获得关节配置数据;二是没有触觉传感器,故此无法直接获得位置一类的接触信息;三是关节不具备单独控制的能力,所以机械手没有完整驱动。

(来源:受访者)

除文章开头的应用展示之外,杭凯宇还测试了机器手在原装手指被替换后的表现。在实际应用中,给机械手更换零件属于常事,有时还会面临原装零件缺货,只能用类似零件暂时代替的状况。

在测试中,他分别假设一根、两根、三根手指断裂并需要更换的情况,为让实验更具挑战性,他还使用了三种长短和形状各不相同的替换手指。

结果显示,被替换的手指越多,机械手的控制精度下滑就越厉害,这具体体现在模型对手指长短和关节位置的估算误差上,但多出来的误差并未对机械手的表现造成太大影响,自我识别框架和虚拟链接模型都能较好、较快地适应新手指,并重新掌握操控物体的“窍门”。

图 | 用长短不一的新手指也能操控物体(来源:受访者)

本次成果可被 Science Robotics 报道,也得益于他在机器人工程领域的多年积累。其本科毕业于西安交通大学信息工程系,硕士专业是通信系统专业,博士专业则是机器人专业。其中,硕士和博士均就读于瑞典皇家理工学院(KTH Royal Institute of Technology),博士毕业后来到耶鲁大学做博士后研究。

关于该成果的应用,杭凯宇表示凡是需要在复杂环境中工作的机械手,都可使用该成果。尤其在物理不确定性较大,以及可用感知器无法完全支持精准操作的情况下,比如工业机器人、家用服务机器人和医疗机器人等均可搭载虚拟链接系统。

-End-