CN113842209B - 超声设备控制方法、超声设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种超声设备控制方法，步骤包括：获取实时影像，若所述实时影像中存在解锁手势时，则将所述超声设备的手势锁定状态转换为所述解锁手势对应的手势控制状态，采集所述实时影像中的预设控制手势；若所述预设控制手势为预设的锁定跟踪手势，则锁定跟踪所述锁定跟踪手势对应的目标锁定人员；若采集到由所述目标锁定人员的目标手部发出的预设跟随手势，则将所述手势控制状态转换为预设的手部跟随状态，并判断所述实时影像是否符合预设安全规则；若所述实时影像符合所述预设安全规则，则控制机械臂跟随所述目标手部进行移动。本发明还公开了一种超声设备及计算机可读存储介质。本发明的超声设备控制方法成本低、自由度高、安全性高。

Description

超声设备控制方法、超声设备及计算机可读存储介质

技术领域

本发明涉及医疗器械领域，尤其涉及一种超声设备控制方法、超声设备及计算机可读存储介质。

背景技术

机械臂在很多领域都发挥作用，可以协助人们完成一些比较繁琐、高负重、高精度等的工作，极大地方便了生产和劳动。人们甚至不需要去到工作现场，就可以通过机械臂自动完成一些工作或通过控制台操控机械臂完成相关工作。在医疗器械领域，对于传统的超声设备也可以与机械臂进行结合形成更方便医生进行操控的机械臂超声设备，在执行手术过程中，医生既可以通过手动操作机械臂超声设备本体或者通过上位机菜单指令等传统手段操作机械臂超声设备，也可以通过远端控制器对机械臂超声设备完成远程控制。但目前来讲，对机械臂超声设备进行控制操作的方式比较单一，也无法对机械臂超声设备进行协同控制，并且依赖于复杂且昂贵的配套控制设备，所以导致操控机械臂超声设备的方式局限性很大。

发明内容

本发明提出的一种超声设备控制方法、超声设备及计算机可读存储介质，旨在解决控制超声设备的方式局限性很大的技术问题。

为实现上述目的，本发明提供一种超声设备控制方法，所述超声设备控制方法应用于超声设备，所述超声设备包括机械臂；所述超声设备控制方法包括以下步骤：

获取实时影像，若所述实时影像中存在解锁手势时，则将所述超声设备的手势锁定状态转换为所述解锁手势对应的手势控制状态，采集所述实时影像中的预设控制手势；

若所述预设控制手势为预设的锁定跟踪手势，则锁定跟踪所述锁定跟踪手势对应的目标锁定人员；

若采集到由所述目标锁定人员的目标手部发出的预设跟随手势，则将所述手势控制状态转换为预设的手部跟随状态，并判断所述实时影像是否符合预设安全规则；

若所述实时影像符合所述预设安全规则，则控制机械臂跟随所述目标手部进行移动。

可选地，所述判断所述实时影像是否符合预设安全规则的步骤之后，还包括：

若所述实时影像不符合预设安全规则，则将所述手部跟随状态转换为预设的安全保护状态，并控制所述机械臂恢复到开机初始位置；

若接收到预设复位指令，将所述安全保护状态转换为所述手势控制状态。

可选地，所述采集所述实时影像中的预设控制手势的步骤之后，还包括：

确定所述预设控制手势对应的机械臂待运行轨迹，并检测所述机械臂待运行轨迹是否超出预设范围；

若所述机械臂待运行轨迹超出预设范围，则停止执行所述预设控制手势对应的预设控制指令。

可选地，所述机械超声设备还包括超声探头和压力感应装置，所述超声探头由所述机械臂夹持；所述控制机械臂跟随所述目标手部进行移动的步骤还包括：

控制机械臂跟随所述目标手部进行移动，并通过压力感应装置实时监测所述超声探头的探头压力；

判断所述探头压力是否大于或等于预设压力阈值；

若所述探头压力大于或等于预设压力阈值，则控制所述机械臂调整至所述探头压力低于所述预设压力阈值时的状态。

可选地，所述若所述实时影像中存在解锁手势时的步骤包括：

确定所述实时影像中所有人员的人体轮廓模型；

实时采集各所述人体轮廓模型的所有的手部关键点；

根据各所述手部关键点的位置变化，判断各所述手部关键点的位置变化是否与解锁手势对应的手部关键点变化信息匹配；

若与解锁手势对应的手部关键点变化信息匹配，则判定所述实时影像中存在解锁手势。

可选地，所述若所述预设控制手势为预设的锁定跟踪手势，则锁定跟踪所述锁定跟踪手势对应的目标锁定人员的步骤包括：

判断所述预设控制手势对应手部关键点的位置变化是否与预设的锁定跟踪手势对应的手部关键点变化信息匹配；

若与预设的锁定跟踪手势对应的手部关键点变化信息匹配，则判定所述预设控制手势为预设的锁定跟踪手势，并执行所述锁定跟踪手势对应的预设的锁定跟踪指令；

根据执行的所述锁定跟踪指令，锁定跟踪所述锁定跟踪手势对应的目标锁定人员的人体轮廓模型，其中，所述目标锁定人员的人体轮廓模型包含所有人体关键点。

可选地，所述若采集到由所述目标锁定人员的目标手部发出的预设跟随手势，则将所述手势控制状态转换为预设的手部跟随状态的步骤包括：

若采集到所述目标锁定人员的目标手部中的手部关键点位置变化，且所述手部关键点位置变化和预设跟随手势对应的手部关键点变化信息匹配，则确定所述目标锁定人员的目标手部发出预设跟随手势，并将所述手势控制状态转换为预设的手部跟随状态。

可选地，所述将所述超声设备的手势锁定状态转换为所述解锁手势对应的手势控制状态的步骤之后，还包括：

若接收到预设手势锁定指令，则将所述手势控制状态或手部跟随状态转换为所述手势锁定状态。

此外，为实现上述目的，本发明还提供一种超声设备，所述超声设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的超声设备控制程序，其中：所述超声设备控制程序被所述处理器执行时实现如上所述的超声设备控制方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有超声设备控制程序，所述超声设备控制程序被处理器执行时实现如上所述的超声设备控制方法的步骤。

本发明中的超声设备控制方法获取实时影像，若所述实时影像中存在解锁手势时，则将所述超声设备的手势锁定状态转换为所述解锁手势对应的手势控制状态，采集所述实时影像中的预设控制手势，可以使得超声设备很方便地通过实时影像获取到的解锁手势就能从其他非手势控制方式切换为手势控制方式，又使得用户可以使用多种手势对超声设备进行各种操控；若所述预设控制手势为预设的锁定跟踪手势，则锁定跟踪所述锁定跟踪手势对应的目标锁定人员，可以排除实时影像中其他人员的手势干扰，并且降低了对接下来手势识别的负载；再若采集到由所述目标锁定人员的目标手部发出的预设跟随手势，则将所述手势控制状态转换为预设的手部跟随状态，并判断所述实时影像是否符合预设安全规则，最后若所述实时影像符合所述预设安全规则，则控制机械臂跟随所述目标手部进行移动，可以使得机械臂能够目标手部的运动而进行相应的移动并且保证了患者的安全。本发明所提供的超声设备控制方法成本低、局限性小，可实现多种手势控制和多人协同操作，并且保证了使用手势操控超声设备的安全性。

附图说明

图1为本发明实施例方案涉及的超声设备的硬件运行环境的终端结构示意图；

图2为本发明超声设备控制方法第一实施例的流程示意图；

图3为本发明超声设备控制方法第四实施例的流程示意图；

图4为本发明超声设备控制方法第五实施例的流程示意图；

图5为本发明超声设备控制方法涉及的人体关键点识别图；

图6为本发明超声设备控制方法涉及的部分状态切换流程图；

图7为本发明超声设备控制方法涉及的锁定跟踪过程序列图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的超声设备的硬件运行环境的终端结构示意图。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示器(Display)、输入单元比如控制面板，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WLAN接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。作为一种计算机存储介质的存储器1005中可以包括超声设备控制程序。

可选地，终端还可以包括麦克风、扬声器、RF(Radio Frequency，射频)电路，传感器、音频电路、无线模块等等。其中，传感器比如压力传感器、视觉传感器以及其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图2所示，图2是本发明超声设备控制方法第一实施例的流程示意图，在本实施例中，所述方法包括：

步骤S10，获取实时影像，若所述实时影像中存在解锁手势时，则将所述超声设备的手势锁定状态转换为所述解锁手势对应的手势控制状态，采集所述实时影像中的预设控制手势；

超声设备的工作方式是由机械臂夹持超声探头，进行检查部位的超声扫描，超声设备由控制端和执行端两部分组成，执行端由计算机系统、超声探头、超声图像显示器、机械臂监控摄像头、手势捕捉摄像头、机械臂等设备组成。机械臂监控摄像头是指用来监控机械臂的摄像头，手势捕捉摄像头是指在执行端的获取实时影像的摄像头，而远程控制端仅需一台摄像头和一台显示器，当然如果医护人员如果有特殊需要也可根据实际情况增加摄像头和显示器的数量，另外对于摄像头和显示器的规格不做限制。

远程控制端的摄像头和或执行端的手势捕捉摄像头通过拍摄摄像范围内的实时影像信息来获取医护人员的手势动作，显示器用于显示超声图像和由机械臂监控摄像头获取到的机械臂姿态。控制端与执行端之间通过以太网或局域网或其他任何通信方式实现数据连接，将控制端采集的医生影像传送到执行端计算机系统，通过人体轮廓采集和手势识别算法识别医生的手势，控制超声设备执行对应操作，完成超声图像采集。

获取到实时影像之后，识别并获取影像中所有医护人员的影像信息，可以将所有人员的影像信息在计算机系统中转化为动态的人体轮廓模型，同时在人体轮廓模型上创建多个人体关键点，具体可以参照图5，图5为本发明超声设备控制方法涉及的人体关键点识别图。人体关键点包括躯干关键点和手部关键点，也可以包括面部关键点，躯干关键点和面部关键点可以用做对不同医护人员特征的识别。随着所有人员的姿态的变化会导致人体轮廓中的人体关键点在空间上的位置和各个关键点相对位置的变化。根据躯干关键点的相关变化，实时采集并检测出人体轮廓模型的动态变化。根据手部关键点的相关变化，实时采集到医护人员发出的手势变化。其中躯干关键点和手部关键点以及面部关键点的数量和在哪些人体部位创建关键点可根据实际情况进行调整，图5仅做理解参考，并不是对本发明的限制。因为每个人的体型和面部特征都有不同差别，所以利用人体轮廓模型和人体关键点能够将不同医护人员的影像信息进行清晰的区分。在形成人体轮廓模型和人体关键点之后，实时影像中由任一医护人员发出由摄像头获取到的的手势影像在超声设备系统中就自动转换为该医护人员的人体轮廓模型的手部关键点的变化从而完成手势的采集，并根据超声设备的手势控制系统完成对手势的识别并执行相应的指令。

当采集到手部关键点位置信息的变化符合存储在超声设备的手势控制系统中的解锁手势对应的手部关键点位置变化信息，识别为解锁手势，即实时影像中存在解锁手势，进而执行手势解锁指令，从而由最开始的手势锁定状态转换到手势控制状态，这样接下来就可以采集实时影像中各个医护人员发出的各个预设控制手势，使得超声设备执行不同控制手势对应的指令完成不同的操作，其中解锁手势可以由医护人员自己自由设置选择什么样的手势并在设置完成之后将该手势对应的手部关键点变化信息存储在手势控制系统，也可以按照手势控制系统中内置的解锁手势进行学习操控。另外手势锁定状态是一种除解锁手势外忽略其他任何手势的状态，即相当于除解锁手势禁用其他任何手势的状态。可以使用解锁手势将手势控制系统从锁定状态切换到手势控制状态，也可以使用其他指令，比如语音解锁手势指令，上位机菜单指令中的解锁手势指令等其他指令将将手势控制系统从手势锁定状态切换到手势控制状态。另外，使用锁定手势以及其他优先级更高的指令，比如上位机菜单指令中除解锁手势指令中的其他指令，就能将手势控制状态切换到手势锁定状态。

步骤S20，若所述预设控制手势为预设的锁定跟踪手势，则锁定跟踪所述锁定跟踪手势对应的目标锁定人员；

参照图7，先通过实时影像获取到所有人员的影像，再将所有人员的影像转换为所有人员的动态的人体轮廓模型，并根据预设关键点数量和预设人体识别部位同时在人体轮廓模型上创建人体关键点，在采集到任何医护人员的手部关键点的位置变化之后，将手部关键点的位置变化与预存在手部识别系统中的锁定跟踪手势对应的手部关键点变化信息进行模糊比较，如果经比较发现二者在合理误差范围内匹配，则识别出医护人员发出的预设控制手势为锁定跟踪手势，进而执行锁定跟踪指令，对发出锁定跟踪手势的人员标识为目标锁定人员，锁定跟踪该目标锁定人员的人体轮廓并将该目标锁定人员的人体轮廓与该目标锁定人员人员任意手势引发的指令进行关联，对该目标锁定人员的手部关键点进行采集识别从而执行该目标锁定人员的所有手势指令；未被锁定跟踪的人员不识别除锁定跟踪手势之外的其他手势，降低手势识别的负载。当目标锁定人员的人体轮廓无法识别，例如该目标锁定人员移出摄像范围之外，结束对该人员的锁定跟踪，该人员重新发出锁定跟踪手势，重新开始对该人员的锁定跟踪。其中，人体关键点包括躯干关键点、手部关键点、面部关键点，躯干关键点和面部关键点的作用可以为识别不同医护人员和及时将医护人员的姿态变化转化为人体轮廓模型的变化。

步骤S30，若采集到由所述目标锁定人员的目标手部发出的预设跟随手势，则将所述手势控制状态转换为预设的手部跟随状态，并判断所述实时影像是否符合预设安全规则；

在采集到目标医护人员的任一手部的手部关键点的位置变化之后，将该手部的手部关键点的位置变化与预存在手部识别系统中的跟随手势对应的手部关键点变化信息进行模糊比较，如果经比较发现二者在合理误差范围内匹配，则识别出目标医护人员的该手部发出的预设控制手势为跟随手势，将执行跟随指令锁定并将该手部作为目标手部，将手势控制状态转换为手部跟随状态，接下来机械臂可以跟随目标手部进行移动，同时在手部跟随状态下，实时判断实时影像中的目标医护人员的姿态动作，包括手部动作是否符合预存在手势控制系统中的安全规则，例如安全规则可以是：1、机械臂运动不超出限定区域；2、目标手部没有运动过快，超出机械臂的安全运动速度；3、目标手部没有丢失，即跟随的那只手没有移动出摄像头画面之外；4、跟随目标锁定人员没有丢失，即跟随的那只手所属医护人员的躯干没有移动到摄像头画面之外或无法识别。对获取到的实时影像与系统中所有安全规则进行一一对比，从而判断实时影像是否符合预设安全规则。另外，在手部跟随状态下，接收到另一只手或另一个被锁定跟踪医护人员的取消跟随手势之后，停止跟随，机械臂保持当前姿态，手势控制系统就转换为手势控制状态。

另外，预设控制手势除了锁定跟踪手势和跟随手势外，也可以包括“解锁跟踪”手势，在采集识别“解锁跟踪对象”手势之后，目标医护人员发出该手势后，不再响应该目标医护人员发出的除“锁定跟踪对象”手势之外的其他手势。

预设控制手势也可以包括“沿扫描路径步进”手势，在采集识别“沿扫描路径步进”手势之后，例如，先找到扫描路径上与当前探头位置最近的点A，沿扫描路径移动预设距离得到点B，控制机械臂将探头移动到B点，并在移动过程中根据压力感受器的信号实时调整机械臂姿态，保持探头对检查部位的压力在一定范围内。

预设控制手势也可以包括“逆扫描路径步进”手势，在采集识别“逆扫描路径步进”手势之后，例如，找到扫描路径上与当前探头位置最近的点A，逆扫描路径移动预设距离得到点B，控制机械臂将探头移动到B点，并在移动过程中根据压力感受器的信号实时调整机械臂姿态，保持探头对检查部位的压力在一定范围内。

预设控制手势也可以包括“沿扫描路径正向自动移动”手势，在采集识别“沿扫描路径正向自动移动”手势之后，例如，找到扫描路径上与当前探头位置最近的点A，控制机械臂将探头移动至A点，然后以A点为起点，控制机械臂沿扫描路径移动，移动到扫描路径终点自动停止。在移动过程中根据压力感受器的信号实时调整机械臂姿态，保持探头对检查部位的压力在一定范围内。

预设控制手势也可以包括“沿扫描路径逆向自动移动”手势，在采集识别“沿扫描路径逆向自动移动”手势之后，例如，找到扫描路径上与当前探头位置最近的点A，控制机械臂将探头移动至A点，然后以A点为起点，控制机械臂沿扫描路径逆向移动，移动到扫描路径起点自动停止。在移动过程中根据压力感受器的信号实时调整机械臂姿态，保持探头对检查部位的压力在一定范围内。

预设控制手势也可以包括“停止移动”手势，在采集识别预设“停止移动”手势之后，例如，在沿扫描路径自动移动过程中，通过“停止移动”手势中止移动。另外超声设备也可以因其他指令或其他原因而中止移动，例如，如果感知到外力干涉机械臂的运动，则认为是医护人员在手动操作设备本体，此时停止手势控制指令动作的执行，响应手动操作设备本体。同样，如果在指令执行动作过程中，收到了上位机菜单指令，此时也停止手势控制指令动作的执行，响应上位机菜单指令。在本实施例中，手势控制指令在计算机系统中拥有较低的优先级。

预设控制手势也可以包括“锁定”手势，在采集识别“锁定”手势之后，进入锁定状态，仅响应“解锁”手势，忽略其他手势，避免手术中做出手势，错误操作机械臂。

预设控制手势也可以包括“解锁”手势，在采集识别“解锁”手势之后，从锁定状态退出，进入手势控制状态，开始解读锁定跟踪对象的手势指令。

预设控制手势也可以包括“退出手部跟随”手势，在采集识别“退出手部跟随”手势之后，退出手部跟随状态，机械臂保持当前姿态。

预设控制手势也可以包括“超声图像冻结”手势，在采集识别“超声图像冻结”手势之后，冻结当前的超声图像。

预设控制手势也可以包括“超声图像解冻”手势，在采集识别“超声图像解冻”手势之后，解冻当前超声图像。

预设控制手势也可以包括“超声图像参数调节”手势，在采集识别“超声图像参数调节”手势之后，调节对应的超声图像参数。

除了上述的预设手势之外，还可以根据实际需求添加不同手势指令，从而在采集不同控制手势之后执行不同控制手势对应的预设控制指令。

步骤S40，若所述实时影像符合所述预设安全规则，则控制机械臂跟随所述目标手部进行移动；

如果判断实时影像符合系统中所有的安全规则，以当前超声探头位置为起点，机械臂开始跟随目标手部运动进行相应的移动。目标手部可以是左手或者右手。例如，目标医护人员的目标手部往上抬起一定的幅度，机械臂就抬高相应的幅度，目标医护人员的目标手部往右移动一定的幅度，机械臂也跟着移动相应的幅度，上述目标医护人员的目标手部的移动幅度和机械臂相应的移动幅度可以相等，也可以按照一定比例，例如2：1，即目标手部移动10厘米，那么机械臂就相应地移动5厘米，这和跟随移动的灵敏度有关，跟随移动的灵敏度可以根据医护人员的习惯进行调整设置，以提高跟随移动的精确度。

另外，如果判断实时影像不符合任一安全规则，例如机械臂运动超出限定区域，那么系统就自动进入到预设安全保护状态，不再采集任何人员发出的手势，等待医护人员的现场操作。

另外，参照图6，图6是本发明超声设备控制方法涉及的部分状态切换流程图在手势控制状态是由手势锁定状态切换而来，手势锁定状态是一种除解锁手势忽略其他任何手势引发的指令的状态，即相当于除解锁手势禁用其他任何手势的状态。使用解锁手势就能从手势锁定状态切换到手势控制状态，使用锁定手势以及其他优先级更高的指令，比如上位机菜单指令，就能将手势控制状态切换到手势锁定状态。在接收采集到所有医护人员的锁定跟踪手势之后，锁定该手势发出的人员，该人员再发出跟随手势，计算机手势控制系统就进入到了手部跟随状态，在手部跟随的状态下，判断摄像头获取到实时影像是否符合预存在手势控制系统的安全规则，如果不符合，就进入到安全保护状态，在安全保护状态下，为了保障患者的安全，需要医护人员的手动复位将计算机手势控制系统切换会手势控制状态。

本发明中的超声设备控制方法获取实时影像，若所述实时影像中存在解锁手势时，则将所述超声设备的手势锁定状态转换为所述解锁手势对应的手势控制状态，采集所述实时影像中的预设控制手势，可以使得超声设备很方便地通过实时影像获取到的解锁手势就能从其他非手势控制方式切换为手势控制方式，又使得用户可以使用多种手势对超声设备进行各种操控；若所述预设控制手势为预设的锁定跟踪手势，则锁定跟踪所述锁定跟踪手势对应的目标锁定人员，可以排除实时影像中其他人员的手势干扰，并且降低了对接下来手势识别的负载；再若采集到由所述目标锁定人员的目标手部发出的预设跟随手势，则将所述手势控制状态转换为预设的手部跟随状态，并判断所述实时影像是否符合预设安全规则，最后若所述实时影像符合所述预设安全规则，则控制机械臂跟随所述目标手部进行移动，可以使得机械臂能够目标手部的运动而进行相应的移动并且保证了患者的安全。本发明所提供的超声设备控制方法成本低、局限性小，可实现多种手势控制和多人协同操作，并且保证了使用手势操控超声设备的安全性。

进一步地，基于本发明超声设备控制方法的第一实施例提出本发明超声设备控制方法的第二实施例，在本实施例中，步骤S30之后，包括:

步骤a，若所述实时影像不符合预设安全规则，则将所述手部跟随状态转换为预设的安全保护状态，并控制所述机械臂恢复到开机初始位置；

如果实时影像不符合系统中任一安全规则，例如机械臂运动超出限定区域，那么系统就自动进入到预设安全保护状态，在安全保护状态下，对任何人员发出的手势都不做出响应，并且在进入安全保护状态的同时，控制机械臂回复到刚开机时的位置，对于开机初始位置，在开机之后会记录该位置至超声设备系统。

步骤b，若接收到预设复位指令，将所述安全保护状态转换为所述手势控制状态。

预设复位指令需要执行端的医护人员现场对超声设备进行手动复位，例如，医护人员手动移动机械臂，调整超声探头的位置至复位状态时，系统就自动生成复位指令并接收执行，从而超声设备系统就重新进入到手势控制状态，开始采集所有医护人员发出的手势。

进一步地，基于本发明超声设备控制方法的第一实施例提出本发明超声设备控制方法的第三实施例，在本实施例中，步骤S10之后，包括:

步骤c，确定所述预设控制手势对应的机械臂待运行轨迹，并检测所述机械臂待运行轨迹是否超出预设范围；

在医护人员发出任一控制手势之后，对该控制手势进行识别，在执行该控制手势对应的控制指令之前，会预测执行该控制指令之后机械臂的运行轨迹和运行速度，检测该运行轨迹是否超出预设范围和运行速度是否超出预设速度。

步骤d，若所述机械臂待运行轨迹超出预设范围，则停止执行所述预设控制手势对应的预设控制指令。

如果运行轨迹超出预设范围或者运行速度超出预设速度，或者判断出执行该控制指令会造成其他可能伤害到患者的任一情形，例如，检测到探头压力超过安全压力阈值，就停止执行该控制手势对应的控制指令。

如图3所示，进一步地，基于本发明超声设备控制方法的第一实施例提出本发明超声设备控制方法的第四实施例，在本实施例中，所述机械超声设备还包括超声探头和压力感应装置，所述超声探头由所述机械臂夹持；步骤S40还包括:

步骤S41，控制机械臂跟随所述目标手部进行移动，并通过压力感应装置实时监测所述超声探头的探头压力；

在机械臂加持超声探头跟随目标手部进行移动扫描工作的过程中，为了保证患者的安全，防止因采集识别的各种手势和其他指令的误操作而导致超声探头的压力超过安全阈值对患者造成伤害，在机械臂上安装有压力感应装置，用来在机械臂加持超声探头工作的过程中实时检测超声探头的探头压力。

步骤S42，判断所述探头压力是否大于或等于预设压力阈值；

因为医用超声探头有多种规格，对于不同规格的超声探头有不同的压力面积，所以可以根据实际所使用的超声探头设置预设压力阈值，保证患者在进行超声扫描的过程中不会感觉到明显按压感，更不会对患者产生其他不安全的因素。实时将探头实际的探头压力值与预存在超声设备系统中的超声探头压力阈值进行比较，判断实际的探头压力是否大于或等于预存在超声设备系统中的超声探头压力阈值。

若所述探头压力大于或等于预设压力阈值，则执行步骤S43，控制所述机械臂调整至所述探头压力低于所述预设压力阈值时的状态。

如果探头压力大于或等于预设压力阈值，则会立即控制机械臂缓缓抬高，直到检测到超声探头的压力低于预设压力阈值才停止抬高，抬高的过程可以与先前执行的手势指令并行，保证超声扫描的效率。

如果探头压力小于预设压力阈值，则不执行机械臂抬高调整的操作，正常按照先前执行的手势指令进行相关操作。

如图4所示，并可以参照图5，进一步地，基于本发明超声设备控制方法的第一实施例提出本发明超声设备控制方法的第五实施例，在本实施例中，所述若所述实时影像中存在解锁手势时的步骤包括：

步骤S100，确定所述实时影像中所有人员的人体轮廓模型；

在通过摄像头获取到实时影像之后，先确定实时影像中所有医护人员的影像，对所有医护人员进行自动对焦处理并虚化实时影像里的背景影像，目的是提高人物影像的清晰度，排除非人影像的干扰，在超声设备的手势控制系统确定所有医护人员的影像之后，转化为所有医护人员的人体轮廓模型。在人体轮廓模型中预设的人体部位创建一定数量的人体关键点，比如在人体躯干部分的肩关节、髋关键、肘关节、膝关节、以及手部各关节等创建多个关键点。除了躯干和手部也可以在所有医护人员的人体轮廓的面部创建一定数量的关键点以进行面部识别，从而提高了对各个医护人员特征的区分度。

步骤S110，实时采集各所述人体轮廓模型的所有的手部关键点；

所有医护人员实时通过手部的变化和运动作出各种手势，被手势控制系统获取到包含各种手势的实时影像即转化为各人体轮廓模型的手部关键点的动态变化。

步骤S120，根据各所述手部关键点的位置变化，判断各所述手部关键点的位置变化是否与解锁手势对应的手部关键点变化信息匹配；

因为作出任何手势都是一个手部动作的产生，反应在各人体轮廓上就是各手部关键点的位置变化，判断手部关键点的位置变化是否与预存在手势控制系统中的解锁手势对应的手部关键点变化信息匹配。

步骤S130，若与解锁手势对应的手部关键点变化信息匹配，则判定所述实时影像中存在解锁手势。

如果手部关键点的位置变化与预存在手势控制系统中的解锁手势对应的手部关键点变化信息匹配，那么就可以判定在实时影像中有人员做出了解锁手势。例如，预存在手势控制系统中的解锁手势对应的手部关键点变化信息为：由拳头形状所对应的各手部关键点的相对位置转变为手掌形状对应的各手部关键点的相对位置，如果医护人员做出了握上拳头再张开，就可以由手势控制系统识别为解锁手势。

进一步地，基于本发明超声设备控制方法的第一实施例提出本发明超声设备控制方法的第六实施例，在本实施例中，步骤S20包括：

步骤e，判断所述预设控制手势对应手部关键点的位置变化是否与预设的锁定跟踪手势对应的手部关键点变化信息匹配；

步骤f，若与预设的锁定跟踪手势对应的手部关键点变化信息匹配，则判定所述预设控制手势为预设的锁定跟踪手势，并执行所述锁定跟踪手势对应的预设的锁定跟踪指令；

步骤g，根据执行的所述锁定跟踪指令，锁定跟踪所述锁定跟踪手势对应的目标锁定人员的人体轮廓模型，其中，所述目标锁定人员的人体轮廓模型包含所有人体关键点。

判断所有医护人员中任一医护人员作出的手势对应的手部关键点的变化是否与预存在手势控制系统中锁定跟踪手势对应的手部关键点变化信息匹配，如果该手势手部关键点的变化与预存在手势控制系统中锁定跟踪手势对应的手部关键点变化信息匹配，就被手势控制系统识别为锁定跟踪手势，进而执行锁定跟踪指令，锁定跟踪作出该手势的目标医护人员，具体地，根据目标医护人员的躯干关键点或者目标医护人员躯干关键点加面部关键点，锁定跟踪反映在手势识别系统中的目标医护人员的人体轮廓模型。

在一实施例中，所述若采集到由所述目标锁定人员的目标手部发出的预设跟随手势，则将所述手势控制状态转换为预设的手部跟随状态的步骤包括：

步骤h，若采集到所述目标锁定人员的目标手部中的手部关键点位置变化，且所述手部关键点位置变化和预设跟随手势对应的手部关键点变化信息匹配，则确定所述目标锁定人员的目标手部发出预设跟随手势，并将所述手势控制状态转换为预设的手部跟随状态。

如果采集到任一目标医护人员的任一单手做出的手势对应的手部关键点的位置变化与预存在手势控制系统的跟随手势对应的手部关键点变化信息匹配，就识别为跟随手势，进入跟随手势状态同时进一步锁定发出跟随手势那只手，在手势跟随状态下，只跟随该只手，即该手如何移动，机械臂就相应的进行移动。例如，右手做出的预设跟随手势，识别到右手的手部关键点的变化符合预设在系统中的跟随手势对应手部关键点变化信息，就将右手作为目标手部，右手在符合安全规则的情况下作出怎样的移动，机械臂就相应地作出移动，比如右手向前移动，机械臂就向前移动，但移动的距离可以不相等，可以按照预设的比例进行相应的跟随移动，例如，比例为3:1，如果右手向上移动9厘米，机械臂就向上移动3厘米。

在另一实施例中，所述将所述超声设备的手势锁定状态转换为所述解锁手势对应的手势控制状态的步骤之后，还包括：

步骤i，若接收到预设手势锁定指令，则将所述手势控制状态或手部跟随状态转换为所述手势锁定状态。

在手势控制系统处于手势控制状态或手部跟随状态转换时，无论在执行什么手势引发的指令，只要接收到手势锁定指令，立刻停止执行并将当前状态转换为手势锁定状态。手势锁定指令可以来源于锁定手势，也可以来源于其他优先性较高的指令，比如上位机菜单发出的指令，锁定语音指令、锁定脚踏开关指令或其他优先性较高的状态切换指令，在接收到任一上述优先性较高的指令后该指令就可以作为手势锁定指令，将手势控制系统切换到手势锁定状态，在手势锁定状态下，仅响应解锁手势对应的指令或其他非手势指令以将手势锁定状态切换到手势控制状态，而忽略其他手势，避免手术中做出的手势被手势控制系统响应，误操作机械臂。

此外，本发明还提出一种超声设备，所述超声设备包括存储器、处理器及存储在存储器上并可在处理器上运行的超声设备控制程序，所述处理器执行所述超声设备控制程序时实现如以上实施例所述的超声设备控制方法的步骤。

本发明的超声设备具体实施方式与上述超声设备控制方法各实施例基本相同，在此不再赘述。

此外，本发明还提出一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括超声设备控制程序，所述超声设备控制程序被处理器执行时实现如以上实施例所述的超声设备控制方法的步骤。

本发明计算机可读存储介质具体实施方式与上述超声设备控制方法各实施例基本相同，在此不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是电视机，手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

在本发明中，术语“第一”“第二”“第三”“第四”“第五”仅用于描述的目的，而不能理解为指示或暗示相对重要性，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，本发明保护的范围并不局限于此，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改和替换，这些变化、修改和替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种超声设备控制方法，其特征在于，所述超声设备控制方法应用于超声设备，所述超声设备包括机械臂；所述超声设备控制方法包括以下步骤：

获取实时影像，若所述实时影像中存在解锁手势时，则将所述超声设备的手势锁定状态转换为所述解锁手势对应的手势控制状态，采集所述实时影像中的预设控制手势；

若所述预设控制手势为预设的锁定跟踪手势，则锁定跟踪所述锁定跟踪手势对应的目标锁定人员；

若采集到由所述目标锁定人员的目标手部发出的预设跟随手势，则将所述手势控制状态转换为预设的手部跟随状态，并判断所述实时影像是否符合预设安全规则；其中，所述预设安全规则包括：所述机械臂的安全运动速度；

若所述实时影像符合所述预设安全规则，则控制机械臂跟随所述目标手部进行移动；

所述采集所述实时影像中的预设控制手势的步骤之后，还包括：

确定所述预设控制手势对应的机械臂待运行轨迹，并检测所述机械臂待运行轨迹是否超出预设范围；

若所述机械臂待运行轨迹超出预设范围，则停止执行所述预设控制手势对应的预设控制指令；

其中，所述若所述预设控制手势为预设的锁定跟踪手势，则锁定跟踪所述锁定跟踪手势对应的目标锁定人员的步骤包括：

判断所述预设控制手势对应手部关键点的位置变化是否与预设的锁定跟踪手势对应的手部关键点变化信息匹配；

若与预设的锁定跟踪手势对应的手部关键点变化信息匹配，则判定所述预设控制手势为预设的锁定跟踪手势，并执行所述锁定跟踪手势对应的预设的锁定跟踪指令；

根据执行的所述锁定跟踪指令，锁定跟踪所述锁定跟踪手势对应的目标锁定人员的人体轮廓模型，其中，所述目标锁定人员的人体轮廓模型包含所有人体关键点；

其中，所述锁定跟踪所述锁定跟踪手势对应的目标锁定人员的步骤之后，还包括：

若所述目标锁定人员的人体轮廓无法识别，则结束对所述目标锁定人员的锁定跟踪；

其中，所述控制机械臂跟随所述目标手部进行移动的步骤之后，还包括：

若接收到所述目标锁定人员除目标手部之外的另一手部或其他锁定人员的取消跟随手势，则停止跟随。

2.如权利要求1所述的超声设备控制方法，其特征在于，所述判断所述实时影像是否符合预设安全规则的步骤之后，还包括：

若所述实时影像不符合预设安全规则，则将所述手部跟随状态转换为预设的安全保护状态，并控制所述机械臂恢复到开机初始位置；

若接收到预设复位指令，将所述安全保护状态转换为所述手势控制状态。

3.如权利要求1所述的超声设备控制方法，其特征在于，所述超声设备还包括超声探头和压力感应装置，所述超声探头由所述机械臂夹持；所述控制机械臂跟随所述目标手部进行移动的步骤还包括：

控制机械臂跟随所述目标手部进行移动，并通过压力感应装置实时监测所述超声探头的探头压力；

判断所述探头压力是否大于或等于预设压力阈值；

若所述探头压力大于或等于预设压力阈值，则控制所述机械臂调整至所述探头压力低于所述预设压力阈值时的状态。

4.如权利要求1所述的超声设备控制方法，其特征在于，所述若所述实时影像中存在解锁手势时的步骤包括：

确定所述实时影像中所有人员的人体轮廓模型；

实时采集各所述人体轮廓模型的所有的手部关键点；

根据各所述手部关键点的位置变化，判断各所述手部关键点的位置变化是否与解锁手势对应的手部关键点变化信息匹配；

若与解锁手势对应的手部关键点变化信息匹配，则判定所述实时影像中存在解锁手势。

5.如权利要求1所述的超声设备控制方法，其特征在于，所述若采集到由所述目标锁定人员的目标手部发出的预设跟随手势，则将所述手势控制状态转换为预设的手部跟随状态的步骤包括：

若采集到所述目标锁定人员的目标手部中的手部关键点位置变化，且所述手部关键点位置变化和预设跟随手势对应的手部关键点变化信息匹配，则确定所述目标锁定人员的目标手部发出预设跟随手势，并将所述手势控制状态转换为预设的手部跟随状态。

6.如权利要求1所述的超声设备控制方法，其特征在于，所述将所述超声设备的手势锁定状态转换为所述解锁手势对应的手势控制状态的步骤之后，还包括：

若接收到预设手势锁定指令，则将所述手势控制状态或手部跟随状态转换为所述手势锁定状态。

7.一种超声设备，其特征在于，所述超声设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的超声设备控制程序，其中：所述超声设备控制程序被所述处理器执行时实现如权利要求1至6中任一项所述的超声设备控制方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有超声设备控制程序，所述超声设备控制程序被处理器执行时实现如权利要求1至6中任一项所述的超声设备控制方法的步骤。