视觉技术在手术机器人领域的应用

视觉技术在手术机器人领域的应用

李丹

哈尔滨思哲瑞智能医疗设备有限公司

关键词：医疗机器人，手术机器人，视觉技术

手术机器人因其准确度高、灵活度高、创伤小等优势，在近些年的发展非常迅猛。最为典型的是美国直觉外科公司的“达芬奇”手术系统。目前，达芬奇手术机器人已经成功应用于泌尿外科、普外科、心胸外科和妇科等手术中。而国产手术机器人虽然起步较晚，但也在近些年取得了较大的发展。

一般来说，手术机器人可以分为两类，一种为手术参与型机器人系统，手术机器人在系统中参与和完成手术过程，医生起到指导和辅助的作用。另一种为手术辅助机器人系统，机器人起到辅助医生的作用，包括术前规划和术中定位等。而在这两类手术机器人系统中，视觉技术都是必不可少的，视觉作为机器人的“眼睛”，一方面可以给医生提供更直观、真实的视野以保证手术更为顺利的进行，另一方面，视觉处理技术可以帮助医生更准确、快速的分析，同时作为机器人执行运动的参考^[1]。本文将从面向手术对象和面向机器人的视觉技术出发，简要介绍视觉技术在手术机器人领域的部分应用。

在面向手术对象的应用中，随着近些年来深度学习技术的飞速发展，基于二维图像及三维数据的研究越来越多^[2]。二维图像分析主要对采用单目相机获取到的各类特征进行提取，如软组织等。三维数据包括采用CT等设备进行获取、采用图像进行三维重建的数据，其具有更直观、数据量更大的特点。这一类的分析包括传统方法及基于统计机器学习的方法，传统方法主要包括对获取的图像进行分割提取，通常基于不同的规则可分为基于阈值、区域、边缘、特定理论、基因编码、小波变换等方法，而以上方法也可以结合应用。基于统计机器学习的方法中，较为典型的是基于神经网络的方法，采用该方法需要大量的训练样本进行神经网络的参数训练，进而对新的图像进行特征分割与提取。而经过三维重建的三维数据分析，传统方法一般采用基于各类算子的方式进行特征提取，如边缘、角点算子，而采用神经网络的方法在近些年也取得了较大的进展，如PointNet等。一般来说，对于手术机器人的对象而言，医学图像一般具有模态多样化、像素值范围大、噪声大、具有伪影等特点，而分析对象也包含肺部、心脏等各类器官^[3]。

图1医学图像分割

除了对于手术对象的应用外，在机器人系统的构建中，视觉技术应用也非常多。对于机器人本体，比较多的包括机器人本体标定和手眼标定。而机器人本体标定主要依靠于高精度的视觉定位系统，如激光跟踪仪。激光跟踪仪可以对单点进行高精度、大范围的测量，对手术机器人而言，一般来说，首先需要建立运动学模型，进而对模型参数进行辨识，最常用的模型是基于D-H法的建模，此外还有采用旋量法等方法的建模。在标定时，也分为直接法和间接法，直接法是采用机器人进行各个关节的运动，进而记录运动过程中的离散点坐标。对于每个关节，均可以通过拟合离散点的坐标获取运动轨迹，如圆弧。最终，对于每个运动轨迹，即可求得关节轴的空间位置，对每个关节轴位置进行获取后，即可获取运动学模型参数，实现标定。间接法一般采用误差模型，最终求取各个参数误差值，数据一般采用在机器人末端的很多组绝对位置，通过其绝对位置与名义位置的误差进行各个运动学参数误差的求取。出本体标定外，借助一些精密的光学仪器，可以对整个手术系统的对象进行精确的标定，进而对手术对象进行位置获取。

图2机器人建模方法

机器人手眼标定也是常用的标定，其具体标定对象为摄像头相对于机器人末端的位置与姿态，在手术时，因为清洗等原因，有时需要频繁拆卸镜头，因此，手眼标定也比较重要。在标定时，常用的方法是采用机器人在各个不同的姿态分别去拍摄位于同一位置的标定物。标定物样式多样，有点阵式、棋盘格等多种方法。标定数据为机器人末端的位姿及对应的摄像头拍摄的标定物的位姿，对这些位姿每两组进行相对运算，即可利用这些数据构成AX=XB的手眼标定方程^[4]，其中A为机器人位姿，B为标定物位姿，X为待标定的手眼矩阵。进而可以通过采用各种数学方法进行求解，如对偶四元数法、优化方法等。在完成了准确的标定后，即可获取到摄像头所测量的物体相对于机器人基坐标系的位置，进而为后续手术操作提供参考。

综上，视觉技术在手术机器人的部分应用中起到至关重要的作用。一方面，准确的视觉信息可以给医生提供有效的视野，而对手术对象的分割和提取等也能起到辅助的作用。另一方面，视觉信息可以给机器人操作提供有效的参考位置，同时采用基于视觉的方法可以进行有效的机器人系统标定。目前，除了传统的方法外，基于深度学习的方法也逐渐取得了越来越多的应用。相信在未来，随着计算机运算能力和算法的提升，视觉技术能在手术机器人领域取得越来越多成功的应用。

参考文献

1. 唐明. 面向机器人辅助微创手术的单目重建和语音控制研究[D].哈尔滨工业大学,2020.

2. 闫超,孙占全,田恩刚,赵杨洋,范小燕.基于深度学习的医学图像分割技术研究进展[J].电子科技,2021,34(02):7-11.

3. 周茂. 基于深度学习的医学CT图像分割技术研究[D].重庆大学,2019.

4. 张妍. 工业机器人手眼标定精度分析研究[D].扬州大学,2019.