MIT团队训练“透视”机器视觉,隔墙看清人体动作,不被光影响

机器视觉有超人的识别人类面部、识别物体的能力。它还可以识别很多种不同的动作,尽管目前的识别能力还比不上人类。但它也有一定的局限,当人脸或物体部分被遮挡时,机器就懵了;在光线严重不足的时候,它们也会“两眼一抹黑”。

但是,电磁波却不会因为遮挡或者光线问题而受限。不论是白天还是黑夜,无线电都充斥着我们的世界。它们很容易穿过墙壁,并通过人体传播和反射。研究人员根据这一特性已经开发出各种利用Wi-Fi无线信号来观察门后情况的方法。但是这些无线电有一个缺陷,其分辨率非常低,图像十分嘈杂,有各种干扰物的反射,这使得人们很难真的知道门背后发生了什么。

这种情况下,可见光图像和无线电图像就可以成为一对最佳伴侣,完全可以用一方的优势来克服另一方的缺点。

麻省理工学院的李天红和他的同事们找到了一种模型,可以通过可见光图像训练无线电视觉系统来识别人们的动作。新的无线电视觉系统可以在可视光成像失败的情况下,在大范围内看到人们在做什么。“我们引入了一个神经网络模型,在光线不好的情况下,它可以穿过墙壁和遮挡物来检测人类的行为。”李天红说。

图 | 图片显示了研究人员的两个测试用例。左边,两个人在握手,其中一个在墙后面。在右边,一个人躲在黑暗中,把一个物体扔向另一个正在打电话的人。下面一行显示了模型生成的骨骼标识和动作预测。(来源:论文)

他们使用了一个巧妙的技巧,即利用可见光和无线电波记录同一场景的视频图像。机器视觉系统可以从可见光图像中识别人类行为,然后将这些图像与同一场景的无线电图像融合起来。

但难点在于,要确保整个学习过程关注的是人体动作,而不是像背景这样的其他特征。因此,他们引入了一个中间步骤,在这个步骤中,机器生成三维简笔画模型,重现场景中人们的动作。

“通过将信号输入转换成这种基于骨架的简化表示,我们的模型可以从基于视觉和基于无线电频率的数据进行集中学习,并允许这两个任务互相帮助。”论文中显示。

图 | 定性的结果。图中显示了各种场景下 RF-Action 的输出。最上面的两行显示了模型在可见场景中的表现;最下面的两行显示了研究者的模型在部分/完全遮挡和糟糕的照明条件下的性能。所示骨架为模型生成的中间三维骨架的二维投影(来源:论文)

通过这种方式,系统学会在可见光下识别动作,在黑暗中或者有障碍物的情况下,利用无线电波识别同样的动作。研究人员称:“我们的研究表明,在可视场景下,我们模型的识别精度和基于视觉的动作识别系统的精度是一样的,但是在不可见的情况下,我们的系统依然可以达到精确的识别率。”

这是一项有很大应用潜力的技术。因为它超出了当下基于视觉的识别系统的性能。

最基础的应用是在弱光条件下或者门紧闭的情况下,在出现故障的场景中进行救援或者侦查工作。另外,因为在可见光识别系统下人们都是可识别的,这就带来了严重的隐私问题。但是无线电系统没有面部识别的分辨率,只识别行为而不识别人脸,这就不会带来隐私恐慌。

这套动作识别系统可以安装在人们家中,并将其整合到智能家居系统中。当然,它也可以安装在老人院,有老人摔倒时可以提醒相关服务部门,而且这样做不会有太大的隐私风险。它比传统的视频监控少了些许侵入性,老人也不必佩戴传感器或要记着给他们的设备充电。