基于雷达的手势识别研究

基于雷达的手势识别研究

王伟杰

宿州学院 安徽 宿州 234000

摘要:围绕雷达手势识别技术中的动态手势信息感知、手势回波信号预处理，手势特征提取及分类算法等关键技术，对国内外公开发表的相关文献进行了归纳总结，对现有方法的性能进行了分析和评价;梳理了该研究近年来基于毫米波雷达技术的手势识别研究发展方向上亟待解决的问题，并对未来的研究方向进行了展望。结果表明，雷达手势识别技术已经在人机交互应用中取得了长足进步。随着相关研究的深入，毫米波雷达技术的手势识别系统将向着智能化方向发展。

关键词:手势识别;毫米波雷达;预处理;特征提取;分类识别;机器学习

一、引言

作为人际交流的一种重要方式，手势这种肢体语言可实现丰富的信息交换。根据手势行为可将手势分为静态手势和动态手势2种。顾名思义，静态手势是指在某个时间点上手的稳定形状，而动态手势则包含一系列的手部动作。动态手势的研究是目前学界研究的热点。作为较为新型的人机交互方式，手势识别技术的强大性和有效性都是毋庸置疑的。使用者借助该交互技术，摆脱了冗余器件的操作，使双手得到极大解放，自然有效地利用动态手势实现对目标设备的控制，进而完成人与计算机等电子设备之间的信息传递。

二、发展历程

早期手势识别技术是利用可穿戴电子设备传感器，通过检测感知人手与各个关节的空间位置信息，从而实现手势识别的目的。可穿戴电子设备传感器的典型代表如数据手套，利用加速度计和陀螺仪等传感器，能够得到操作者丰富的手部运动信息。此外基于光学标记法的穿戴设备也具有良好的识别性能和稳定性。但以上2种手势识别技术操作繁琐且设备价格昂贵，在日常生活中未能得到广泛应用。之后基于视觉图像的手势识别技术逐渐发展起来，与可穿戴式手势识别系统相比，视觉手势识别技术摒弃了额外的穿戴系统，使用户以徒手的方式便可进行人机交互。视觉手势识别技术是利用计算机图像采集设备(如摄像头等)、计算机视觉技术，对目标用户的手势动作进行感知、追踪与识别，进而达到理解用户意图的目的。虽然高分辨率相机使视觉手势识别技术的识别率高达90%以上，但该技术极大程度上受限于光线条件，同时也存在隐私泄露的安全问题。

随着雷达技术的快速发展和广泛应用，雷达手势识别已成为人机交互技术领域的一个重要分支。与传统光学传感器相比，雷达传感器在雨、雪、雾霾等恶劣天气情况或者黑暗条件下均能够正常工作，具有全天候、全天时的优势;其次雷达传感器可固定到电子设备内部，从而可提高装置的抗干扰性和灵活性;另外，雷达信号在隐私安全方面也有着较大优势，可以有效的保护用户隐私信息。

三、雷达手势识别流程

通常，毫米波雷达手势识别可分为3大步骤:首先，利用毫米雷达传感器检测并采集用户的动态手势信息;然后，对雷达接收的回波信号进行预处理操作，最大限度的对动态手势特征进行提取，同时滤除干扰杂波;最后，根据手势特征预处理的结果，选择恰当的算法对手势进行分类和识别。基于雷达技术的手势识别系统基本流程如图1所示。本文以雷达手势识别主要步骤为脉络来阐述手势识别中所涉及的关键技术。

图1雷达手势识别系统基本流程框图

四、手势特征提取与分类识别算法

动态时间归整(dynamictimewarping，DTW)是目前雷达手势识别中最普遍的模板匹配算法。DTW算法是一种常用在语音匹配当中的算法，目前在图像处理里面也有一定的应用。该算法采用动态编程的思想，利用归整函数计算测试数据和参考模板的时间相似性，从而获得两个时间相关序列的相似度。利用DTW对雷达数据进行处理时，首先需要构建出参考模板集合，通过比较测试数据和参考模板间的相似度，计算获得差别性最小的手势数据作为输出结果。ZhouZhi等人采用DTW方法对多模态信号进行分类。以太赫兹雷达采集到的10种手势信号为例，验证了分析和识别系统的有效性，实验结果表明，识别精度达到91%以上。Pl-ouffe等人利用DTW算法对目标手势进行识别，识别率达到96．25%。但是，DTW算法也存在计算复杂度高、鲁棒性差的局限性，尤其在手势动作复杂、训练样本量较大时，识别率会大幅度下降。因此，对于原始DTW算法的改进研究应运而生。RuanX等人在算法执行时增加全局路径约束以及过程匹配持续更新机制，同时通过失真阈值算法动态调节待测手势与参考模板匹配的过程，与传统的DTW算法相比，改进的DTW算法处理速度提升了15%。

循环神经网络(recurrentneuralnetwork，RNN)是一类具有短期记忆能力的神经网络，将卷积神经网络用于雷达手势识别是目前国内外研究者的最新课题。Infineon公司人员利用所构造的距离多普勒特征图像，通过对长循环全卷积模型神经网络进行训练，实验结果对于5种小幅度运动的手势识别效果较好，准确率达到94．34%;Soli团队通过手势的距离多普勒特征，提出一种端到端的循环神经网络方法，进行动态手势识别的实验结果表明:当识别目标为4类微动手势时，识别率为92．1%;当识别目标为11种小运动幅度手势时，识别率仅为87%。但以上2种基于RNN的识别系统均采用原始的距离多普勒特征，对于多种类的微动手势识别问题效果不明显。ChoiJ利用数据处理产生的距离多普勒序列，作为长短期记忆网络(longshort-termmemory，LSTM)的输入，使得手势识别系统成功地识别出10个手势，分类准确率达99．10%。同时对于新参与者的手势，识别准确率为98．48%。但该方法在小数据集的性能最佳，对于训练样本数量较大时，计算效率会大幅度降低。

五、存在的问题

基于雷达的手势识别系统克服了传统数据手套及视觉手势识别的局限性，具有诸多的优势;同时该技术也由理论探索阶段向实践商品阶段过渡，与智能汽车、智慧家庭、医疗辅助等领域也有着密切的联系，雷达技术手势识别向智能化发展是必然趋势。利用雷达技术进行动态手势识别已经取得一定的成果，但是技术层面仍存在一些不足:

1)复杂场景下的雷达手势识别

与实际的复杂应用环境相比，现有研究的实验场景比较单一，毫米波雷达进行手势探测时无太多的干扰物体，即背景环境较为理想。而实际应用中，由于环境的不确定性，检测的手势信号样本数据往往夹杂各种噪声。因此，未来的研究工作中可以考虑设置较为复杂的实验场景，或者人为的添加干扰信息，确保手势识别系统在较为复杂的应用情景下，能够保持较高的识别速度和准确率。

2)多雷达传感器的多视角数据融合

现有的成果中，大多数研究者均通过使用单独的雷达传感器进行动态手势信息感知，并取得了一定效果。但某些特定条件下，所获得的手势特征信息不够丰富与准确，因而，通过多个雷达传感器进行多视角多尺度的数据融合，获得更为丰富完整的手势信息，为后续分类识别系统构造高质量的特征向量，从而能够保证手势识别系统拥有更高精度与稳定性，是该领域中一个值得研究的潜在方向。

3)多用户下的雷达手势识别

同独立用户手势的识别比较，多用户下的雷达手势识别不但要考虑到不同手势特征的提取以及手势模型的构建，还需在同一场景中对不同使用者迅速准确做出响应。故研究同一场景下的多用户手势识别，是该领域未来需要突破的方向。

4)对训练数据要求较高

雷达手势识别算法对训练样本的质量和数量都有很高的要求，有效的样本数据是提高动态手势识别准确率的前提和基础。在雷达采集手势信号的过程中，存在着数据污染和数据丢失的情况。针对接收数据质量较差问题，提高模型的鲁棒性及保持较高的识别率是要开展的研究方向之一。

六、结论

毫米波雷达手势识别技术的进步为新型人机交互方式开辟了方向，该技术所带来的便利性、自然性与灵活性，彻底让使用者摒弃了外部穿戴电子设备的束缚，极大程度地解放了用户双手。伴随着技术进步，雷达手势识别系统的智能化是未来重要的发展方向。机器学习是人工智能的核心技术，将机器学习与雷达手势识别结合是很好的解决方案。本文可为下一步研究作为参考。

参考文献 :

[1]  CHENG N H，DAI N Z，LIU N Z．Image-to-Class Dynamic

TimeWarpingfor3D hand gesture recognition [C] / /IEEE InternationalConferenceonMultimedia ＆ Expo．IEEE Com- puterSociety，2013．

[2]NASR-ESFAHANI E，KARIMI N，SOROUSHMEHR S．M．

R，etal．Hand Gesture Recognition for Contactless Device ControlinOperatingRooms[J]．2016．

[3]   GUPTA H P，CHUDGAR H S，MUKHERJEE S，et al．A ContinuousHandGestures Recognition Technique for Hu- man-Machine Interaction  Using  Accelerometer  and  Gyro- scopeSensors[J]．IEEE Sensors Journal，2016，16 ( 16 ) : 6425－6432．

[4]   MISTRYC，MAES P，LINK C．WUW-Wear ur world-A wearablegesturalinterface[C] / /International Conference Extended Abstracts on Human Factors in Computing Sys- tems．2009．

[5] OHN-BAR E，TRIVEDI M M．Hand Gesture Recognition in

RealTimeforAutomotive Interfaces : A Multimodal Vision- Based Approach and Evaluations [J]．IEEE Transactions on IntelligentTransportationSystems，2014，15  ( 6 ) : 2368

－2377．

[6]REN Z，YUAN J，MENG J，et al．Robust Part-Based Hand

GestureRecognitionUsingKinectSensor[J]．IEEE Trans- actionsonMultimedia

，2013，15(5):1110－1120．

[7]  GREGORY ROGEZ，III J S S，RAMANAN D．Understand-

ingEverydayHandsin Action from RGB-D Images [C] / / IEEE  International   Conference   on   Computer   Vision． IEEE，2015．

[8]  何坚，廖俊杰，张丞，等．基于长短时记忆和深度神经网

络的视觉手势识别技术 [J]．图学学报，2020，41 (3) : 372 －381．

HeJ，LiaoJ，ZhangC，etal．Visualgesturerecognitiontech- nologybasedonlongandshort-termmemoryanddeepneu- ral network  [J]．Journal  of Graphics，2020，41 ( 3 ) : 372

－381．

[9]  沙洁，麻建，牟海军，等．基于视觉的动态手势识别综述

[J]．计算机科学与应用，2020，10(05) :990 －1001．         ShaJ，Ma J，Mou H J，et al．Overview of dynamic gesture recognitionbasedon vision [J]．Computer Science and Ap- plications，2020，10(05):990－1001．