Nature子刊 | 通过眼动控制机器人的脑机接口

人机交互是一个快速发展的领域，机器人在我们的日常生活中发挥着越来越积极的作用。病人护理是机器人越来越多出现的领域之一，尤其是对残疾人来说。患有神经退行性疾病的人可能不会有意识或自愿地进行除眼睛或眼睑以外的运动。在这种情况下，脑机接口(BCI)系统提供了与外部世界通信或交互的另一种方式。为了改善残障人士的生活，本文提出了一种新的脑机接口，用于控制辅助机器人。在本研究中，脑电图(EEG)信号的眼睛伪影被认为是有价值的信息来源，通过检测脑电图信号中的眼睑伪影，以及眨眼的双阈值方法，成功实现了通过脑机接口控制机器人的目标。该技术的应用对改善残障人士的生活具有重要意义。

在前人的文献中，眼睛伪影相关的论文一般都集中在眨眼检测上，使用脑电图信号的工作是强迫受试者不移动他们的眼睛。针对眼动检测的研究很少，大多是利用眼动传感器而不是脑电图。此外，与大多数有用的脑电信号相比，眼动伪影具有更高的信噪比(SNR)，并且在时域上可以被观察到，因此可以被认为是有价值的信息来源。

实验方法

在这项工作中，研究人员让5名受试者(男3名，女2名，年龄27±3岁)参与机器人平台控制实验。具体来说，在所有的测试过程中，受试者都被要求舒适地坐在监视器前。眼睛一侧与屏幕的中心对齐，因此不影响空闲节奏。在每次试验开始时，受试者被告知所需的眼部伪影。

信号处理

人眼伪影会在特定频段引起功率增加。短时傅里叶变换(STFT)用于确定信号局部部分随时间变化的正弦相位和频率内容。信号在100个数据点的窗口中分割，重叠50个数据点。在计算STFT之前，对信号进行滤波，去除与上述EEG信号频段一致的高于100hz的高频分量和低于0.5 Hz的低频分量。额叶通道比其他通道显示出更清晰的结果。振幅的上升与事件完全一致，如图1所示。通过观察颞叶皮层的电极，可以观察到0.5 - 15赫兹之间的功率上升，而在额叶皮层，它的频率范围高达30赫兹。

图1. 当眨眼并向右看时F1, FT7, FT8, Fp1, F7, F8通道的STFT。

计算空闲、眨眼、向左看和向右看的事件傅里叶变换(FT)，以进一步检查0.5 - 30 Hz之间的信号分量。在FT图(如图2所示)的可视化之后，很明显，主导频段确实在0.5和15hz之间。由于主频段在15hz之前，因此选择1 - 13hz之间的二阶巴特沃斯滤波器来滤波信号。

图2. 空闲，眨眼，左看和右看Fp1, F7, F8通道的FFT。

阈值确定

在实验中，研究人员为Fp1通道选择了两个值，为F7和F8通道选择了4个值，为F7和F8通道选择了4个值。信号对事件的一般行为如图3所示。

遵循类似的过程来查找F7和F8的阈值，如图3所示，左和右看起来具有相反的行为，由多个波峰和波谷组成。一条通道的峰和另一条通道的谷几乎同时被观测到。每个试验的每个通道的均值和标准差分别计算。然后检查波峰和波谷的分布以确定阈值，结果如表1所示。

表1. 为每个通道设置的阈值以及相应的事件。

图3. 眼伪影对Fp1, F7和F8通道的影响。

数据流和处理模式

图4显示了数据流和处理模式，以及提出的眼动分类算法。该算法通过检测信号中的眨眼和眼动特征来识别眨眼和眼动事件。算法首先检查Fp1通道是否有高于阈值的值，如果是，则触发眨眼标志。接下来，新批次的数据将进入眨眼状态，以捕获信号峰值之后的剩余信号。另外，算法还检查F7和F8通道的峰谷形状来触发眼动事件的标志。如果没有眨眼事件发生，所有新批次将进入眼动事件的状态。算法的思想是根据窗口的大小和通道值的峰谷形状来识别眼动事件。最后，如果没有眨眼或眼动事件发生，当前批次将作为下一批次的前一个窗口。这种算法的设计使其能够有效地捕获眨眼和眼动事件，从而实现对辅助机器人的控制。

图4. 给出了数据流和处理模式。数据是从SAGA设备获取的。然后，对数据进行预处理和过滤。训练算法是用处理后的数据进行训练的。最后，将训练好的算法在线应用于人机交互中。

BCI实验验证

受试者能够控制基本运动，并通过使用他们的眼睛伪影为机器人选择一个预定义的任务来执行。受试者对机器人的所有功能进行了测试，以验证整个系统的可用性。图7展示了BCI系统验证实验视频中的部分画面。图8显示了为BCI实现的GUI。实验结果表明，本文提出的基于阈值的眼伪影识别算法能够通过眼伪影对机器人进行控制。虽然人眼伪影检测算法在检测左侧表情方面效果不佳，存在大量将左侧表情误分类为右侧表情的现象。但受试者依然能够完成所有的任务。

图7. BCI系统验证实验视频中的部分画面。(A) TIAGo带着物体向后移动，(B) TIAGo到达安全位置，©受试者移动TIAGo的底座，(D)同事从TIAGo上取下物体。

图8. 为BCI实现GUI。

结论和未来发展

本研究提出了一种带眼伪影的BCI机器人控制算法，为残疾人提供了改善生活质量的方法。该算法通过特征形状检测脑电图信号中的眼伪影，并使用阈值检测眨眼。实时检测到的事件被送到第二个算法分发器中，以进一步区分连续眨眼，并确定用户执行的是单次、两次还是四次眨眼。该算法在离线测试中表现良好，但在在线过程中的性能下降。未来的研究可以考虑迁移学习和深度学习技术以提高在线性能，并研究全身运动的控制以提高人机交互性能。优化软件以减少在线计算时间也是一个重要的方向。