又见谷歌黑科技,用电子纺织绳控制智能设备

随着材料科学和半导体技术的进步,集两者之大成的电子纺织物逐渐成为了热门研究领域,也被视为是可穿戴设备和纺织行业最值得期待的发展方向之一。

早在 2014 年,谷歌 ATAP 团队就曾与 Levi’s 合作,推动 “Project Jacquard(缇花项目)”,并于次年推出了一款带有导电纱线的智能夹克,能够借助小型终端设备,在衣服上实现基本的音频播放操作和手机控制。

该项目目前已经拓展到背包和球鞋,而谷歌的其他团队正在进行类似的努力。

这一次,谷歌的人工智能团队将重点放在了智能线绳上。

比如下面这条看似平平无奇的线绳,其实暗藏玄机:

如果结合手势识别技术,就可以控制手机:

研究人员希望在很多衣服和电子产品都有的软线绳上做文章,探索出更符合直觉的人机交互方式,比如轻轻挤压耳机线,就可以播放或暂停歌曲,或者用扭转帽衫线绳的方式滑动网页等等。

目前谷歌 AI 团队已经做出三款原型产品,有耳机线、帽衫抽绳和交互式电源线,均采用新型螺旋感应矩阵技术来识别触摸手势,支持六种操作类别,包括扭转,轻弹 / 轻拂,滑动,挤压,抓握和拍打。配合上力度、速度和方向等参数,每种操作类型还可以衍生出五花八门的响应动作。

这项工作其实是该团队在 2018 年进行的另一项研究的拓展,他们将其命名为 “电子纺织微交互”,以论文的形式发表于人机交互领域顶级学术会议 ACM CHI 2020 上。

谷歌研究科学家亚历克斯 · 奥尔瓦尔(Alex Olwal)表示,“通过改善美学、舒适度和人体工程学,纺织物可以帮助高科技融入我们的日常环境和物品中。材料和柔性电子技术的进步,使得带有传感和显示功能的衣服成为可能。”

螺旋感应矩阵

在织物中加入导电纤维并非新鲜技术,只要加入一些电容感应传感器,就可以实现基本的手势捕捉和控制。但谷歌 AI 团队没有采用这种传统方式制作线绳,而是开发了一种新型的螺旋感应矩阵(Helical Sensing Matrix)结构,可以识别更大的手势操作空间,同时减少误操作。

简单来说,采用 HSM 结构的编织物由包裹了绝缘层的导电纱线和无导电能力的支撑纱线组成,其中一部分支撑纱线还可以用光纤代替,从而实现高效的视觉反馈。从官方图片来看,其外表几乎和普通线绳没什么区别。

织物中的导电纱线有正负方向之分,承担着在多个电极中传递电流的任务,以实现电容感应,捕捉和识别手势。由于导电纱线是沿着整条线绳编织的,因此理论上在任何一个位置都可以施加操控手势。

经过特殊设计的螺旋结构可以分辨单根纱线的相对角度。对于扭转类的动作来说,这是非常关键的特征。在电极被激活后,通过追踪纱线之间的角度变化,就可以捕捉它们的相对运动,进而准确识别用户的手势操作。

举个例子,如果两条对称纱线的相对初始位置偏移超过 90 度,就意味着用户可能正在有意扭转线绳。当然,触碰的力度、面积和时间等参数也会纳入考量,以减少误判。

图 | 纺织绳的基本结构(来源:谷歌)

基于软线绳的触敏性,其交互原则不同于玻璃或塑料这样的硬性结构,研究团队为此设计了两条交互准则:简单手势和闭环反馈。

前者强调操作手势必须是简短的,无论是一触即发,还是连续操作,都必须符合直觉。后者则意味着,在整个交互过程中,用户会得到适当且持续的视觉、触觉和听觉反馈,减少不确定性。

前文提到的在织物中加入光纤,就是提供视觉反馈的核心方式,不同颜色的光束可以向用户提供多样化的动态实时反馈。

为了进行概念验证,谷歌团队已经开发了三种结合电子纺织线的产品,都是生活中常见的东西,包括能够控制手机媒体播放的 USB-C 耳机(线),在衣服上添加音乐控制功能的帽衫抽绳,以及能够控制智能音箱的电源线。

恰当的操作手势

为了确定什么是简单的、符合直觉的操作手势,谷歌团队曾经进行过手势操作研究。针对新研究,他们又额外收集了 12 位志愿者的 864 个手势样本,每个人被要求执行 8 种手势,重复 9 次。

在重复相同动作时,人们不可能做到完全一致,而且每个人又有个体差异,比如有的人习惯用拇指和食指捏住并扭转,有的人习惯用拇指和中指,有的人力量大,有的人力量小,等等。因此对于手势的分析必须经过训练和筛选,减少个人风格和偏好的影响。

为了增强一致性,团队还对志愿者进行了培训,并且引入了实时反馈系统,帮助他们调整其行为差异。

对于动作捕捉系统来说,每种手势有 16 个特征,随着时间的变化线性分布在 80 个观察点中。换句话说,每种手势从开始到结束都会被仔细观察,捕捉到的关键特征会用于训练一套与用户风格无关的系统。

最终,志愿者的操作数据显示,在软线绳上执行的手势识别精度可以达到 94%。谷歌团队认为这一结果是积极的,因为实验中的概念验证线绳只有 8 个电极,精度较低,仍然有很大的提升空间。

图 | 不同手势造成的形变和位移

除此之外,他们还对不同操作手段进行了量化对比,用电子纺织线绳,对比传统耳机控件和触摸板。

结果显示,操控电子线绳的速度比按钮式传统耳机线控件更快,与笔记本电脑上的触控板相当。而且相比耳机控件,纯线绳操作的交互体验更受青睐。其中一个原因是电子线绳更加敏感,而且可以在耳机线的任何一个位置施加有效操作,不用特意寻找按钮的位置,也不会按错键。

作为一条耳机线,触碰皮肤和衣服在所难免。为了避免误操作,研究团队还加入了高通滤波器。但他们也承认,未来需要完成更多的工作来评估其耐用性,以及实际使用情况下的长期表现是否稳定。

谷歌 AI 团队最后表示,希望未来能够拓展更多的应用场景,在现有可穿戴设备和传统纺织物中引入微交互技术,在保留工业设计精髓的同时提升人与科技的交互体验。