手势意图识别（Gesture Intent Recognition）是近年来人机交互领域非常热门的研究方向，在外骨骼和假肢控制^［1-2］、康复辅助^［3-4］等领域都有重要的应用价值.现有的手势意图识别系统主要基于肌电技术^［5-7］，此外，超声^［8-10］、视觉识别^［11-12］等技术也有一定的运用.

表面肌电信号以无创方式收集肌肉收缩时产生的与手势运动意图相关的微弱电信号，然而，由于信号串扰、衰减、低信噪比等原因，表面肌电信号很难保持稳定以达到较高的手势识别率^［13-14］.此外，B超信号以超声影像的形式展现，数据量庞大，数据处理难度高^［15］.视觉信号由高速摄像头采集生成，设备体系复杂，应用环境受限.综上，现有的手势意图识别技术主要面临的问题：（1）信号获取设备体积大且昂贵，使用场所受限；（2）获取的信号不稳定，噪声多，去噪复杂；（3）信号的数据量大，处理难度大.

力传感器具有信号稳定且易于处理、体积小、易于佩戴等优势，可用于手势意图识别系统以克服上述技术的缺点^［16-17］，但是其识别准确率依赖于力传感器的灵敏度及稳定性.此前的工作中，我们制备了一种具有非常规电学性能的液态金属复合材料（Liquid Metal⁃filled Magnetorheological Elastomer，LMMRE）^［18-22］，其表现出各向异性的压阻效应（Piezoresistivity）以及极高的灵敏度，同时具有高柔性和可拉伸性、易于制备等优点.

本文基于上述LMMRE材料，设计了一种高灵敏度力传感手环以及基于此手环开发的手势意图识别系统.使用LMMRE力传感器采集前臂肌肉的表面张力信号，利用前臂肌肉运动前置于手势变化的机理，通过前臂肌肉张力的信号变化识别手势意图.系统使用myRIO嵌入式系统开发平台进行数据采集，通过机器学习的模式识别方法进行手势识别.本系统具有反应速度快、识别准确率高、穿戴便捷、场景泛用性广等优势，更重要的是，设备仅需穿戴在前臂，无须在手部佩戴即可识别手势信息，因此也可用于手部功能缺失群体的手势意图识别^［1］.

LMMRE复合材料是我们此前的工作中研发的一种具有各向异性导电性和压阻效应的柔性压阻材料^［20］，其制备过程如图1所示.EGaIn（Sigma公司）由融化的镓（质量分数75%）和切碎的铟片（厚2 mm，质量分数25%）混合，60 ℃超声处理10 min制成.LMMRE的原材料质量比为PDMS（道康宁公司，固化剂和PDMS基底的质量比为1∶9）∶羰基铁粉（Sigma公司）∶EGaIn=1∶4∶1（体积比为1∶0.495∶0.154）.将原料按以上顺序放入透明塑料杯中，使用配有聚乳酸塑料搅拌头（直径4 mm）的电动搅拌器，400 r·min^-1搅拌2 min，将EGaIn破碎至直径6~25 μm.混合物在真空泵中脱气10 min，去除混合物中的气泡，倒入铁质模具（100 mm×100 mm×1 mm），放置在1 T的匀强磁场中（模具垂直于磁场方向），80 ℃固化20 min，获得各向异性LMMRE复合材料.

之前的研究已证明，以上方法制备的各向异性LMMRE复合材料具有各向异性的压阻效应以及高柔性，尤其是在沿施加磁场的方向上具有极高的压力灵敏度^［20］.利用这些优势，本文基于LMMRE材料开发了压力传感手环.

LMMRE传感单元的组成如图2所示，由LMMRE片（1 mm×10 mm×10 mm）、线圈、导电银胶带、绝缘层、盒体、盖子、加压球组成.电极直径为6 mm，由直径为0.2 mm的铁氟龙线绕制而成.LMMRE两侧放置电极，并用银胶带确保电极与LMMRE之间的紧密接触.用绝缘胶带将LMMRE片、电极和银胶带封装，制成LMMRE传感单元的核心部件.LMMRE传感单元外壳的盒体尺寸为42 mm×30 mm×10 mm，盖子尺寸为30 mm×30 mm×2 mm，加压球直径为12 mm，外壳部分的零件通过光固化3D打印制成.传感单元被固定在盒体内侧，导线（直径为0.2 mm的铁氟龙线）从盒体侧边引出.加压球被固定在传感单元上，在盒体上盖上盖子.外壳盒体的两侧有耳，用于连接弹性绑带（宽度为20 mm）.

将LMMRE传感单元与一个1 MΩ的电阻串联并施加5 V的电压，可以获得其上的分压信号，该电压信号可用于LMMRE传感单元的性能表征.LMMRE传感单元压力灵敏度的定义如下：

其中，U是LMMRE传感单元的电压，F是LMMRE传感单元所受的压力.由图3可见，LMMRE材料与加压球配合后，灵敏度比无加压球时提高了一个数量级，在0.75 N时，无加压球时灵敏度约为0.25，有加压球时灵敏度约为0.61，灵敏度提高了约2.5倍.加压球通过应力集中效果放大了较小的作用力（如本系统中的肌肉张力），较明显地改变了LMMRE的阻值，显著提高传感手环的灵敏度.因此，装备加压球的LMMRE传感单元表现出高灵敏度的优点.

如图4所示，一个LMMRE传感手环由四个LMMRE传感单元、导线和弹性绑带组成.通过调节绑带，传感器可以同时测量手臂任意位置的压力信号.本系统使用两条LMMRE传感手环采集手臂肌肉张力信号.

图5展示了依托于myRIO嵌入式系统开发平台（简称myRIO）的手势识别系统，它主要包括三个部分：采集电路模块、数据采集模块和手势识别模块.

myRIO为串联的LMMRE传感单元与分压电阻提供5 V直流电源并采集传感单元的电压信号，构成本系统的采集电路模块.本模块中，前臂肌肉表面张力挤压LMMRE传感器表面，使LMMRE材料的电阻因受力而减小，LMMRE传感器的分压信号因而产生变化，得到基础信号.该信号由数据采集模块进行滤波，并传输至上位机.

数据采集模块中，信号通过myRIO的FPGA （Field Programmable Gate Array）模块被传输至上位机.FPGA模块调用底层数字I/O接口锁存采集的数据，采集八个通道的数据并保存在创建好的FIFO缓存中，FIFO的大小为2 kB，可以保存1024个数据点，一段缓存数据映射时长约为100 μs.FIFO存满之后，触发直接存储器访问（Direct Memory Access，DMA）中断向上位机发送数据.信号的滤波和存储依托LabVIEW开发环境（简称LabVIEW），上传至上位机的信号在LabVIEW进行平滑滤波以减少数据的细小波动，减少噪声对模式识别结果的干扰.实验过程中，通过LabVIEW对信号标记手势标签，并将信号数据存储至上位机本地.

手势识别模块将信号采集系统存储至计算机本地的数据读取出来，再进行数据分割、数据随机分组等处理，最后对数据进行离线识别，得到手势分类及离线识别准确率.手势识别模块依托Pycharm集成开发环境和Anaconda集成环境，利用线性判别分析（Latent Dirichlet Allocation，LDA）分类器和支持向量机（Support Vector Machine，SVM）分类器进行手势识别.LDA分类器是一种线性映射，将输入的特征映射为类别分数；SVM分类器是按监督学习方式对数据进行二元分类的广义线性分类.两者的适用场景不同，线性分类器适用于数据结构简单、对分类速度要求较高的场景，而支持向量机适用于样本线性不可分的场景^［23-26］.

本节详细介绍手势识别系统中的信号处理方法，包括数据采集模块中的信号预处理（滤波、数据标签采集）和手势识别模块中的意图识别（数据分割、随机划分训练数据、离线识别、离线识别准确率计算、混淆矩阵计算）.

本文的信号预处理包含信号滤波与数据标签采集，均在LabVIEW平台进行.

实验室环境搭建的采集电路大多存在一定程度的接触不稳定、信号互相干扰等问题，采集的信号存在较多的细小波动，但对信号整体变化的趋势没有影响.因此，本系统采用平滑滤波来过滤信号波动，使滤波后的信号更稳定平滑，减少了手势识别的误差.平滑滤波是低频增强的滤波技术，一般采用简单平均法，即求邻近数据点的均值.邻域的大小与平滑的效果直接相关，邻域越大，平滑的效果越好，但邻域过大也会使信号的整体趋势发生较大的变形.经过反复实验验证，平滑滤波窗口在15个数据点时，可将系统的手势识别准确率维持在较高水平.

为了信号处理后期的手势识别，需要将滤波后的数据打上对应手势的手势标签，因此，在LabVIEW中加上了标签标记功能模块，在八个信号通道产生的数据外又增加了一列数据.在数据采集的过程中，将数据对应的手势的标签加入信号.

信号预处理的最终结果是得到一个保存至本地的数据文件.如图6所示，数据共10列，分别为相对时间、八个通道的信号数据以及最后一列的手势标签数据.

经过预处理的信号存储于计算机本地.意图识别包括对该数据文件的数据分割、随机划分训练数据、离线识别、离线识别准确率计算、混淆矩阵计算等步骤.

其中，数据分割是将图6中的数据文件的最后一列手势标签从数据文件中分割出去，作为单独的标签文本使用.随机划分训练数据是将数据按一定比例随机生成训练数据和识别数据，进行交叉验证.

系统的离线识别应用了LDA分类器和SVM分类器.图7a是本文的部分实验数据在LDA分类器中的分类原理.LDA分类器将实验数据投影到某一条直线上，将复杂数据线性化，找到可以尽可能地将各类数据分类的直线.

图7b展示了本文部分实验数据在SVM分类器中的分类原理.两个类别相距最近的一些点成为支持向量，SVM分类器寻找数据的支持向量，并找到一条直线，使不同类别数据的分离向量之间离得尽可能远.

使用识别准确率（Recognition Rate，RA）来评估系统的整体性能，通过识别正确的样本在整体样本中的占比来表征RA.RA的计算式为：

混淆矩阵是在离线识别准确率的基础上生成的，可以展示更多的识别细节.

共招募六名健康志愿者参与实验，其中四名男性，两名女性，均无肌肉损伤病史，并签署了实验知情同意书，收集了身高、体重、BMI指数（Body Mass Index）等生理数据，具体如表1所示.

本系统使用了两条传感绑带，各有四个LMMRE传感单元.八个传感单元通过绑带固定在前臂末端（腕骨位置）和中端，具体佩戴位置如图8所示.前臂末端佩戴四个传感单元，手腕内侧（C4）和外侧（C2）放置的传感器为主要传感信号采集单元，手腕两侧（C1和C3）放置的传感器为辅助传感信号采集单元.前臂中段佩戴四个传感单元，均为主要传感信号采集单元.它们分别被佩戴在旋前圆肌（C5）、尺侧腕伸肌（C6）、肱桡肌（C7）、尺侧腕屈肌（C8）处.这几处肌肉都是前臂的浅层肌肉，在手势变化时可产生较大的表面肌张力，便于传感器探测用力.

选择生活中常用的七个特征手势来评估LMMRE可穿戴式实时手势识别系统的性能.如图9所示，七个手势分别为松握（G1）、握拳（G2）、五指伸张（G3）、五指抓握（G4）、半握（G5）、拇指食指中指伸张（G6）、拇指和小指伸张（G7）.

实验过程中，为了让六名志愿者均按相同的标准实验流程进行数据采集，研究人员在每个志愿者实验之前都会先演示一遍实验流程.首先，志愿者被要求将肘部放在扶手上，抬起前臂，手掌朝前，手部放松，保持松握的状态，即为手势G1.然后实验开始，按照图9所示的顺序进行实验.从G1开始，每个手势保持5 s，进行数据采集.为了防止实验过程中因为肌肉疲劳产生误差，每个动作之间有一个5 s的肌肉放松时间，放松的对应手势是G1.实验过程中，由操作人员在LabVIEW程序中使用手势标签功能记录手势种类.上述实验过程为一组实验，每次实验都连续重复三组，三组后实验结束，数据自动存储至计算机本地.

通过上一节的实验，数据采集模块采集了六名志愿者的手势数据，并通过数据预处理和意图识别来计算离线识别准确率.

图10给出了六名志愿者基于LDA和SVM分类器的离线识别准确率（离线RA）.六名志愿者基于LDA分类器的离线RA均值为87.57%，区间为81.28%~91.43%；基于SVM分类器的离线RA均值为97.19%，区间为95.71%~98.19%.由图可见，除了志愿者S4外，其余志愿者基于两种分类器的离线RA相近，系统的手势识别能力较稳定.为了保证志愿者样本的多样性，在设计实验之初，寻找了两位BMI指数25左右的志愿者，志愿者S2是健身爱好者，志愿者S4运动较少，胳膊的肌肉含量少于其他志愿者（包括BMI指数同为25的志愿者S2），这对基于压力传感进行手势识别的本系统有较大影响.由图易见，本系统在基于SVM分类器的情况下，每位志愿者的离线RA均高于基于LDA分类器，离线RA提高了10%左右，且志愿者间的离线RA相差不足3%.因此，SVM分类器在本系统中的识别准确率更高，识别效果更稳定，且用户适用范围更广.

图11展示了手势G1至G7的离线RA.七个手势基于LDA分类器的离线RA均值为87.57%，区间为77.83%~98.83%；基于SVM分类器的离线RA均值为97.19%，区间为93.17%~100%.此外，两种分类器中手势G1的离线RA均高于其余手势，与之相对，手势G2和G3的离线RA均低于其余手势.造成这一现象的原因是手势G1是实验全程的放松手势，其数据是在肌肉放松的情况下采集的，数据特征最明显，且重复次数多，样本量远高于其余手势.模式识别中，数据样本越多，识别效果越好，因此G1的识别准确率高于其余手势.而手势G2和G3分别对应握拳和伸掌两个动作，这两个动作的五个手指动作一致，因此手指间的动作区别最小，反映在前臂肌肉的变化差异也小，因此识别准确率较低.从图11易见，和图10一样，SVM分类器的效果好于LDA分类器，更适合作为本系统的手势识别分类器.

为了得到更详细的数据以进一步优化系统，本文运用混淆矩阵来进行手势识别效果的细节展示.混淆矩阵是模式识别中常见的识别效果展示方式，其中每行的数据是真实的分类值（真值），由系统采集得到，每列的数据是系统的预测值.矩阵的对角线即为预测成功的数据.

图12a是六名志愿者基于LDA分类器的离线RA，可以看到更多的数据细节.除了上文已经描述的几个问题外，还可以清晰地观察到大多数识别错误的手势都是将该手势识别成手势G1，即放松状态.造成这个现象的原因也与上文手势G1的RA较高的原因类似，手势G1的样本量远高于别的手势，导致一些不易识别的数据更容易被分类到手势G1的类别中.此外，另一个比较明显的细节就是实验者S4的手势G6的识别效果较差，很大一部分手势G6的数据被分类到手势G3中，这是因为手势G3和G6的差异仅只有两根手指（小指和无名指），且小指与无名指的力量和灵活度小于其余手指.图12b是六名志愿者基于SVM分类器的离线RA.从两个混淆矩阵的颜色对比可以明显地观察到，本系统中SVM分类器的识别效果远好于LDA分类器，且对志愿者的个体差异和手势差异的适应性更好，识别效果更稳定，也证明使用SVM分类器的本系统的手势识别效果是有效且稳定的.

本文利用液态金属复合材料LMMRE的正压电导效应、高灵敏度和柔性特性，设计了一款力传感器，并开发了基于此力传感器的手势识别系统.整个系统包含LMMRE传感器、采集电路模块、数据采集模块和手势识别模块.系统基于LDA分类器的离线RA为87.57%，而基于SVM分类器的离线RA高达97.19%.

本文得出以下三点结论：

（1）本系统使用LDA分类器时，在肌肉含量较低的情况下，识别准确率受影响较大.

（2）本系统在使用SVM分类器时，每名志愿者的离线RA均高于使用LDA分类器，且SVM分类器在志愿者肌体差异和手势差异较明显的情况下，有更好的适用性.SVM分类器使系统在使用过程中的识别效果更稳定，更适用于本系统.

（3）基于液态金属复合材料传感手环的本系统在手势识别中是可用且稳定的.

下一步将开发实时的手势识别系统，并将其应用到假肢机械手的实时主从控制中.