Chemical Engineering Journal 面向空间舱外智能操作的受皮肤启发的多模态触觉传感器

一、研究背景：
人类皮肤的触觉感知能力重塑了手与物理世界的交互，这主要归功于人类性能卓越的感知系统。但是对于宇航员来说，但对于在太空或月球上的宇航员来说，他们佩戴的太空手套通常是由非常厚的多层结构组成来提高密封性，以确保宇航员的安全，但却阻碍了有效的触觉反馈，特别是指尖的触觉反馈，导致手的灵巧操作受到限制，严重阻碍了宇航员在舱外活动的灵活性。因此，随着人类计划在月球上建立空间基地，恢复触觉感知能力以帮助宇航员执行复杂且频繁的舱外任务显得尤为重要。实现宇航员舱外活动的多模态触觉感知，帮助宇航员实现像未穿戴手套一样的智能多指操作，仍是一个挑战。
二、文章简介：
南京航空航天大学王林锋副研究员、孔凯旋博士生等人以人体皮肤为灵感，基于热敏、压电、摩擦电和压阻材料的有效多层组合，开发了一种仿生多层触觉传感器(BMLTS)，它可以像指尖的快适应（FA,fast adaptive）和慢适应（SA，slow adaptive）触觉机械感受器一样工作，实现多模态触觉感知。基于BMLTS，成功实现了对温度、表面粗糙度判别和物体智能抓取的触觉感知，充分模拟了典型舱外操作的基本触觉感知。结合BMLTS和深度学习技术，构建了能像人脑一样对触觉信号进行决策的仿生智能感知系统(BIPS)，为宇航员提供实时触觉信息。利用BIPS进行智能实时物体材料识别、书写和记录，识别准确率达到95%以上。该工作为触觉传感器的系统化和集成化奠定了基础，为航天员智能舱外活动灵巧触觉感知的发展铺平了道路。相关研究成果发表于Chemical Engineering Journal上。论文第一作者为南京航空航天大学博士生孔凯旋，南京航空航天大学王林锋副研究员为论文通讯作者。

图1. 仿生多层触觉传感器（BMLTS）和仿生智能感知系统（BIPS）。

三、研究内容：

1、仿生多层触觉传感器（BMLTS）和仿生智能感知系统（BIPS）的设计
仿生多层触觉传感器(BMLTS)由五层组成，包括硅橡胶层、嵌入其中的铂层、铜电极层、PVDF层和压阻层(图2a)。受人体皮肤末梢神经、FA（Fast adaptive）和SA(Slow adaptive)触觉感受器机制的启发，铂层、PVDF层和压阻层分别用于感知温度、高频振动和静压或长时间刺激。将仿生多层触觉传感器与深度学习相结合，构建完整的仿生智能感知系统(BIPS)，与人类处理触觉信号一样，该系统对触觉信息进行智能识别。BMLTS产生的信号由硬件采集模块采集后传递给深度学习模块(图2b)，就像指尖的触觉信息沿着神经回路传递到大脑体感皮层。然后，深度学习模块基于多通道一维深度学习网络结构(Multi-channel ResNet18-1d)对传感器信号进行有效训练并识别。最后，预测结果显示在可视化界面上(图2c)。

图2. BMLTS和BIPS的灵感和设计。a) BMLTS的灵感与设计。BMLTS由Pt层、硅橡胶层、铜电极层、PVDF层和压阻层等5层组成，它与人体指尖皮肤机械感受器如默克尔细胞（Merkel cell）和鲁菲尼末端（Ruffini endings）的静压，迈斯纳小体（Meissner corpuscle）和帕西尼小体(Pacinian corpuscle)的动态力或振动以及神经末梢的温度密切相关。b) SA受体包括Merkel细胞和Ruffini末梢和SA型神经元模拟信号，FA受体包括迈斯纳小体（Meissner corpuscle）和帕西尼小体(Pacinian corpuscle)和FA型神经元模拟信号，电路板。压阻层和压电层充分模拟了SA和FA受体的生物触觉机制，并通过电路板采集信号进行进一步分析，如触觉信息通过传入神经传递到大脑的体感皮层。c)基于触觉感知的物体表面、物体材质、物体把握、书写等信号处理与识别。深度学习模拟大脑信号的处理过程，并将识别结果显示在宇航员手臂装置的屏幕上。d)协助宇航员在月球基地舱外活动中进行多指任务的触觉反馈示意图，以及由BMLTS生成的触觉信号示意图。

2、基于单指触觉感知的BMLTS表面粗糙度判别

单指佩戴BMLTS能够完成对不同形貌物体表面的有效表征。压电PVDF可以有效地感知不同表面的粗糙度，完全模仿了上述人体FA受体机制。图3d为佩戴BMLTS的指尖在不同粗糙度表面(100目、200目、400目砂纸和光滑玻璃)上滑动时产生的压电信号。进一步的时频分析表明了该信号与轮廓仪及光学相机下的表面形貌十分吻合。单指的表面粗糙度识别表征为将来的航天手套有效识别不同物体如空间陨石或未知物体的表面形貌奠定了基础。

图3.单指触觉感知用于表面粗糙度判别。a)单指佩戴BMLTS的触觉感知图。b) d输出信号的时频分析。c)用轮廓仪和光学显微镜对100目、200目、400目砂纸和光滑玻璃进行表征。d) BMLTS压电信号对100目砂纸、200目砂纸、400目砂纸和光滑玻璃的响应。e)轮廓仪测量不同表面得到信号的频率分布。

3、BMLTS对物体抓取的四指触觉感知

通过四个手指佩戴BMLTS，能够完成对抓取过程的有效动态表征。四个手指所产生的八路信号（四路压电信号、四路压阻信号）能够对抓取过程中所接触到不同区域如边、面进行有效表征，对抓取过程中所产生的滑移现象进行动态表征，多指的抓取实验研究能够为进一步的航天员舱位活动中抓取各类工具物体奠定基础，为后续的舱外复杂抓取触觉反馈研究铺平道路。

图4。四指佩戴BMLTS对物体抓取的触觉感知。a) 4个BMLTSs多指抓取物体示意图。b)压阻传感单元在不同压力下的输出信号。c)在同一长方体铁块的表面或边缘抓取物体时的输出信号，用灰色虚线隔开。信号由8个通道组成，包括拇指、食指、中指和无名指上的压电和压阻信号。一个抓取过程可分为抓取前(①)、接触(②)、抓取(③)、结束抓取(④)和抓取后(⑤)五个小步骤。d)抓握滑移检测。如上所述，信号也由八个通道组成。抓握滑移的感知过程由抓握前(①)、抓握开始(②)、用力不够时滑移(③)、用力较大时滑移(④)、抓握平稳无滑移(⑤)五个过程组成。
4、BIPS实时智能物料识别
单指操作下的BMLTS识别物体材料的能力取决于由硅橡胶层和铜电极层组成的摩擦电单元。通过BMLTS与不同物体之间的接触和分离所触发的摩擦电信号来识别各种接触物体的材料类型(图5a)。将训练好的模型输入到BIPS中，系统可以完成对五种材料的实时智能感知，充分展示了BMLTS和BIPS在实时材料识别方面的巨大应用潜力，为宇航员在舱外活动中实时识别不同陨石或未知物体的材料方面奠定了基础。

图5。单指触觉识别材料。a) BMLTS与铝、POM（聚甲醛树脂）、玻璃、纸张、纤维等不同材料的接触图。b)基于单电极垂直接触分离方式的摩擦电传感工作机理。以硅橡胶为摩擦层与Al接触分类的摩擦电传感原理。c)由铝、POM、玻璃、纸张和纤维材料等五种材料产生的摩擦电信号和放大图像。d)深度学习模型ResNet18-1D的网络结构。e)摩擦电信号的产生过程。整个过程分为接触前(①)、开始接触(②)、接触后(③)、开始分离(④)、接触后(⑤)五个步骤。f)深度学习模型的识别准确率混淆图。
5、使用BIPS智能书写和记录

BMLTS压电单元的超高感知灵敏度和快速响应特性，使其能够产生有效的振动信号，再现指尖的触觉反馈。通过将BMLTS与深度学习融合构建而成的BIPS系统能够完成对实时书写过程的动态表征。如图所6c示，通过处理电路将拇指和食指的触觉压电信号输入到基于Arduino的CPU中，完成信号采样，再输入到多通道ResNet18-1d深度学习模型中，判断结果显示在PC软件界面上。通过对大量数据集的采集和训练，总体识别准确率可达到96.92%(图6e)。BIPS可以实现对书写对象“n”、“u”、“a”、“南”、“航”的实时感知判断。双指的实时书写检测一方面为进一步研究宇航员双指操作的复杂动作奠定基础，另一方面为实现宇航员彼此之间通讯提供了一种通过书写传递信息的新方式。

图6。使用BIPS的触觉感知智能书写和记录。a)佩戴BMLTS时使用拇指和食指写字的示意图。b)书写26个受试者时得到的两根手指的压电信号，以及“1”、“b”、“航”、“大”四个受试者的放大信号。c)实时触觉感知过程和BIPS图像，包括阵列BMLTSs、硬件采集和软件显示界面。d)拇指和食指的书写过程和压电信号。写字过程分为写字前(①)、开始写字(②)、写字过程(③)、完成写字(④)和写字后(⑤)五个步骤。e)训练好的模型对26个书写对象的识别准确率混淆图。总体准确率达到96.92%。

四、结论与展望：

本文受人体指尖皮肤下各种触觉感受器机制的启发，我们开发了一种具有温度、振动、静压和材料多模态感知能力的仿生多层触觉传感器(BMLTS)。利用振动压电信号感知滑动过程中表面粗糙度。此外，BMLTS可以同时检测压阻式静压和振动式压电信号，完成抓取过程的动态触觉表征，可用于区分出舱外操作过程中的接触、滑动、分离等抓取状态。结合BMLTS和深度学习的仿生智能感知系统(BIPS)可以实现基于摩擦电的对Al、POM、玻璃、纸张、纤维等5种材料的实时感知，实现对数字、字母、汉字书写和记录的智能识别。简而言之，温度、表面形态、物体材料和书写的触觉感知研究可以为未来宇航员舱外活动的设备温度检测、陨石形态检测、陨石成分材料感知和无纸化书写交流提供重要参考。