墙后的所有姿势,全被“瞎眼”AI透视

subtitle 量子位06-13 13:27 跟贴 1 条

李林 若朴 发自 凹非寺
量子位 出品 | 公众号 QbitAI

打开网易新闻 查看更多精彩图片

古人云,隔墙有耳。

但想要做到“隔墙有眼”,就像二娃那样,能穿墙透视,似乎是种遥不可及的本领。

现在,MIT CSAIL的一群科学家,就用AI构建了一双透视眼。你在墙后的一举一动,它就都能看见。这项研究,作为spotlight论文发表在CVPR 2018上。

呐,效果就是这样。

识别的方式,就是把人体简略成一套基本的骨架结构。不同部位,用不同的颜色标示,左右手、左右腿都不一样。

即便你走到墙后,人眼看不到,但AI一样能准确判断你的位置与姿势。基本算是开了一个透视外挂。

墙都挡不住这套系统,窗帘就更不在话下了。

黑灯瞎火的地方,也完全不是问题。

上面这个演示,我们还可以看到,这个AI认出了两个人。没错,这个AI还能同时识别多人的姿态。

而且即便是多人同时交叉行进的复杂场景,这个AI也能顺利搞定。

看到这,你可能会说:除了穿墙之外,其他的演示,并不算炸裂啊,这种人体姿态的识别,已经早有人做了,不是么?

没错。

但这个AI,其实是个眼瞎的“盲AI”!

穿墙透视也好,多人识别也好,依靠的全都不是视觉信号,实际上,根本没给AI视觉信号。

那,这个AI靠什么识别人体?

无线电波。

它用的无线电波有点类似大家常见的WiFi信号,但是功率更弱一些。利用无线信号在人身上的反射,来“看清”人体。

因此,这个AI的名字就叫RF-Pose,从射频到姿势的意思。

来,感受下这两张图。看看你能不能脑补出人体姿势。

透视眼修炼之道

我们前面提到过,RF-Pose识别人类动作时,根据的并不是视频,而是无线电波的反射。

而想要训练这样一个AI,面临着一个严重困难:

根本没有标注好的数据集可用。

更要命的是,就算你纠集一批人类,想群策群力标注一个这样的数据集,也完全不可行——无线电信号那个微弱粗糙的分辨率,我们人类根本认不出。

这个困难,在训练过程中无法回避。于是,他们用上了“跨模态监督”方法,在无线电波接收器旁边加了个摄像头,同步记录无线电波和视频,然后从视频流中提取人体姿势信息,用作无线电波的监督信号。

他们在MIT校园里收集了50小时的数据集,男女老少都不放过,场景包括办公室、食堂、教师、报告厅、楼梯、走廊等等50余处。

在这个数据集里,最热闹的数据帧包含14个人,最少的当然是完全没有人。

也就是说,数据集包含两大部分:图像上能看到人的、和人被遮挡了的。MIT团队从图像上能看到人的部分选取70用于训练,30%留作测试用,而人被遮挡的数据全都用来测试。

70%能看见人的数据,拿来训练了一个跨模态“师生网络”。

在这个网络中,老师以图像为输入,预测出人体关键点的置信图,学生以射频信号为输入,以和老师最接近为目标,学着预测人体关键点置信图。

从置信图再生成出我们最终看到的骨架模型,RF-Pose的透视技能就算修炼完成了。

无线新方向

这篇论文的作者,包括Mingmin Zhao、Tianhong Li、Mohammad Abu、Alsheikh Yonglong、Tian Hang Zhao、Antonio Torralba、Dina Katabi等。

其中一作Mingmin Zhao(赵明敏),本科毕业于北京大学,目前在MIT读博。去年夏天,赵明敏发表过另一篇AI+无线信号的论文,主要用这个技术来监测人类的睡眠情况。论文发表在ICML 2017上。

论文传送门链接

此前,他还研究过使用无线信号识别表情。

传送门链接

你看,这其实是一整套技术。不用安装摄像头,只需要通过类似WiFi的无线信号,现在就能知道你在哪,有什么动作,是什么姿势,情绪怎么样,心跳快不快以及睡眠质量怎么样……等等。

当然这套技术并不是要窥探你的隐私。

而是有更广泛的应用场景。例如,帮忙监测家里的老人或者医院的病人。这套系统有几个好处。

首先,不用摄像头,省却了很多隐私的担忧。

其次,这个技术能比较准确的识别出不同的人,并且追踪行动、姿态、情绪等相关数据。

再次,监测可以穿墙而过,不受干扰。

以及,被监测对象可以不必佩戴随身任何其他设备,轻松高效。

总之这是个很有意思的方向。当然这一方向的研究,还有大量的工作需要完成。比方,这个团队会继续寻求捕捉更细微的动作,例如老人的手部颤抖等。当然透视监测的准确率,也需要进一步提升。

而赵明敏之所以一直研究这个方向,其实源于他的导师:Dina Katabi。

Katabi教授一直在研究无线技术,她是CSAIL实验室NETMIT研究组负责人,也是MIT无线网络和移动计算中心的主任。

上面提到的所有研究,其实都没有细讲无线信号的问题。

实际上,Katabi团队在2015年发表的一篇论文里,对这件事有更为详细的描述,论文题目:Capturing the Human Figure Through a Wall。

在这篇论文里,披露了当时那套无线设备的一些细节。

呐,就是这样。

研究传送门

项目主页
链接

论文

Through-Wall Human Pose Estimation Using Radio Signals
Mingmin Zhao, Tianhong Li, Mohammad Abu Alsheikh, Yonglong Tian, Hang Zhao, Antonio Torralba, Dina Katabi
Computer Vision and Pattern Recognition (CVPR), 2018
链接

说明一下,目前这个AI的监测效果,在没有遮挡的情况下,准确率62.4%,需要穿墙透视的时候,它的准确率是58.1%。

先别太苛刻,这个AI还是个宝宝嘛。就算是看着视频来识别姿势,现在AI的准确率也并没有非常高。2017年旷视在MS COCO人体关键点检测夺冠的成绩,也才73%而已。

推断出人体姿势之后,AI还能进行一些其他工作:比如根据这个骨架结构来认人。给AI两秒钟的骨架活动片段,它认人的准确率就能达到83%。

特别声明:本文为网易自媒体平台“网易号”作者上传并发布,仅代表该作者观点。网易仅提供信息发布平台。
打开网易新闻,阅读体验更佳
大家都在看