前不久,上海 “导盲犬排便争议事件” 发生后,50 岁的盲人阿姨被质疑 “不像盲人”。正在加州大学伯克利读博的李钟毓,看到该新闻后,在朋友圈评论称“这个时候就需要机器狗导盲”。
就在最近,他已经和合作者将 mit 四足机器人 mini cheetah,改造成导盲犬机器人(下称导盲犬)。该团队由三位本科生肖岸星、童闻哲、杨立之组成,博士生李钟毓、曾俊、和导师 prof. koushil sreenath 带领。
如下图,由导盲犬带领的蒙眼小伙子,穿过迷宫般的纸板箱后,到达一条狭窄的小路时,导盲犬会停下来调整姿态、并拉上牵引绳,让小伙子知道继续前进是安全的。测试中,导盲犬成功地将他引向最终目标,且没有发生任何碰撞。
图 | 穿过纸板箱隔离出来的小路(来源:受访者)
可做到分秒不离人
导盲犬的机身是 mini cheetah,是由麻省理工学院(mit) sangbae kim 教授课题组开发的硬件平台,在 2019 年租借给李钟毓所在实验室用于算法研究。
(来源:uc berkeley)
导盲犬上的传感器,由 2d 激光雷达(lidar)、3d 相机、以及安装在绳上的力传感器组成,其中力传感器用于探测牵引绳上的张力,相机则用于跟踪被引导人员,并进行光检测和测距定位。
它还带有一个计算机大脑,从而实现四处走动,同时还可避免与物体发生碰撞、并能沿着预定路线行走。其中,相机安装在机器人顶面的云台上,经过编程以后,相机可以始终跟随着被牵引的人。
(来源:受访者)
此外,凭借 mini cheetah 现有的速度跟踪控制器,其中的模型预测控制(model-predictive control,mpc),可用来计算导盲犬每只脚所需的地面反作用力,从而来追踪所需的速度。
激光测绘系统,可用来定位导盲犬在全局地图上的位置。研究中,李钟毓的团队还测绘出来了相关地图,该地图可进行重复利用,并能在已有地图上规划路径。通过激光雷达,就能实时获悉导盲犬在地图上的位置。
这样的好处是,盲人在出行前,只需设置目的地,导盲犬就能规划路线、并进行导航。零件价格上,2d 激光雷达价格是 2000 元左右,3d 摄像头不到 1400 元。李钟毓告诉 deeptech,这在同类机器人中,价格已经比较低廉。
开发首个端到端混合物理人机交互模型
研究中,李钟毓的团队提出了首个端到端混合物理人机交互( physical human-robot interaction,phri)模型,并用实验数据验证了该混合模型的有效性。据悉,phri 模型可用于捕获人机系统的状态,并有助于路线规划和人机交互。
在路径规划器中,他们还制定了一个混合整数规划方案,以便让导盲犬在带领盲人行走时,可以避开障碍物。
导盲犬在工作时,主要用绳子引导,之前所有基于机器人的导盲工作,是用刚性的机器手去拉盲人,经过非常狭窄的地方,机器手容易被卡住,使用绳子则可避免这种不足。
(来源:受访者)
李钟毓告诉 deeptech,引入绳子是在模仿动物导盲犬,并且绳子能在松弛状态和张紧状态之间切换。
实验中,导盲犬通过不到 1m 宽的通道,为了让自己和被牵引的人顺利通过,它会调整姿态,让绳子进入松弛状态。这时,由于盲人手上没有感受到力,就会停下脚步。
接下来,在通过狭窄通道后,导盲犬通过调整自身姿态,绳子可再次进入张紧状态,盲人手上会重新感受到牵引力,从而跟着导盲犬继续前进。
(来源:受访者)
为获悉导航效果,团队就不同情况做了测试,测试环境包含了较多元素,其中有两个非常狭窄的通道,导盲犬如果不用绳子,就会无法带领盲人通过。
而它身上的算法系统,可通过模拟的狭窄走廊、或者通过模拟的门等场景,来帮助盲人通过。
在苛刻的测试环境下,他们还换了不同的实验对象,把要使用的地图加载到导盲犬身上,只需简单设置目的地,就可帮助盲人到达目的地。当盲人用手抓住绳子,即可开始行走。
此前,多数机器人的引导系统,都有很大的移动底盘,通常需要驱动刚性手臂来引导人类,较大的轮式平台和驱动臂,导致它们很难在狭窄和杂乱环境中操作。而使用绳子的导盲犬,则可避免这一问题。
图 | 人机引导系统的模型(来源:受访者)
研究中,他们把绳子搭载到四足机器人上,通过改变绳子的松弛程度,来适应狭窄的空间。
此外,他们还提出一个基于交互力的人机交互的混合模型,它可以用绳子的张力,来描述“导盲犬-牵引绳-人”系统中的动力学关系。
该混合模型可用于混合整数规划问题,从而开发出一个在线轨迹规划器,并利用松弛紧张两个状态的来回切换,来引导盲人在有限的空间中安全行走。
(来源:受访者)
目前,导盲犬主要用于室内平地的情况,未来会考虑户外上斜坡、下斜坡、走台阶甚至是室内坐电梯等场景。
就以上应用场景来说,相比轮式机器人,导盲犬这样的四足机器人实现起来也比较有优势。
现实生活中的狗,需要进过严格训练后才能成为导盲犬。据李钟毓介绍,在英国从预订一只动物导盲犬,到真正收到动物导盲犬,并可以为人类服务,需要一年时间左右。而使用这样的导盲犬机器人,有望大规模生产,理论上无需等待太久。
(来源:受访者)
他还表示,动物导盲犬属于稀缺资源,中国能用到动物导盲犬的人非常少,而且往往是“量身定制”。
一只动物导盲犬训练好的能力,无法移植到另一只狗上,当另外的盲人需要属于自己的导盲犬时,就需要重新训练,这会重新耗费训练人员的时间和精力。
此外,动物导盲犬的另一个缺点是它们无法阅读地图,也无法让它导航到所需位置,假如想从家中到地铁站,你对着狗说它也不明白,但对于盲人设置的出发地和目的地,导盲犬机器人是可以理解的。
此外,导盲犬机器人的相关代码,可从 a 导盲犬直接复制到 b 导盲犬上,导盲能力也可得到大规模复制,从而惠泽更多盲人。
假如有 10 位盲人都需要导盲犬,那只需制备 10 台这样的机器人,并将代码进行复制,即可进行导盲工作。
实验结果表明,本次开发的系统,可安全有效地指导、眼睛被完全蒙住的使用者通过狭窄空间,包括避障和混合状态的转换。
如下图所示,借助导盲犬的引导,引导蒙住眼睛的人到达最终目标位置,耗时约 75 秒。
在任务开始时,导盲犬的绳子被拉紧。路程中,最狭窄的地方位于在第二个拐口,这时绳子会切换到松弛模式,从而引导被试者停止走动。
图 | 导盲过程(来源:受访者)
此外,如下图所示,实验开始时测得的牵引绳上的张力 f 为 12n,从 45 秒到 60 秒时,当导盲犬走近第二个拐口的狭窄位置时,随着系统的切换模式,绳子上的张力变的极小并开始进入松弛模式。
图 | 绳子张力(左)和被引导人速度(右)的实验结果对比(来源:受访者)
这时,导盲犬正在更改其姿态,以便它能够引导人类通过拐口。在此期间,受试者停止移动,因为这时受试者不再能感受到绳上的牵引力,因此其运动速度接近零,即每秒钟行走 0.05m。
60 秒之后,导盲犬改变自身位置,并切换到张紧模式,以便应用绳子的牵引力,受试者再次感受到绳子牵引力,从而跟随导盲犬到达目的地。
相关论文已被机器人顶会收录,未来会开发更新颖的功能
目前,该工作的相关论文已经被机器人顶会 ieee icra 2021 收录。除了导盲,它还可帮人类取物、以及进行安防监控等。
未来,李钟毓的团队将专注于更细致的系统建模,并尝试研发出具备更新颖的功能的导盲犬,比如怎样在不同楼层间做轨迹规划、怎样辨别红绿灯以及带领盲人过马路等。
在落地方面,李钟毓表示非常乐见有企业能采取本次研究提出的导盲凯发游戏平台的解决方案,从而实现回报社会。对于价格,他表示:“导盲犬机器人的价格有望低于一万美元。一旦开发了一种导盲算法,我们就可以为各种机器狗复制粘贴。不会太久,价格会越来越低。”