Nothing Special   »   [go: up one dir, main page]

CN117541648A - 手术机器人远程手术传输延迟判断及安全保护方法、控制系统、可读存储介质及电子设备 - Google Patents

手术机器人远程手术传输延迟判断及安全保护方法、控制系统、可读存储介质及电子设备 Download PDF

Info

Publication number
CN117541648A
CN117541648A CN202311495085.0A CN202311495085A CN117541648A CN 117541648 A CN117541648 A CN 117541648A CN 202311495085 A CN202311495085 A CN 202311495085A CN 117541648 A CN117541648 A CN 117541648A
Authority
CN
China
Prior art keywords
surgical instrument
calculating
image
point
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311495085.0A
Other languages
English (en)
Inventor
李建民
徐欣
王炳强
王树新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Weigao Surgical Robot Co Ltd
Original Assignee
Shandong Weigao Surgical Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Weigao Surgical Robot Co Ltd filed Critical Shandong Weigao Surgical Robot Co Ltd
Priority to CN202311495085.0A priority Critical patent/CN117541648A/zh
Publication of CN117541648A publication Critical patent/CN117541648A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Geometry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种手术机器人远程手术传输延迟判断及安全保护方法、控制系统、可读存储介质及电子设备，涉及医疗设备的技术领域，该方法包括：获取内窥镜和手术器械的位置信息；计算手术器械在内窥镜下的初始位置P0；获取医生控制端的主手操作信息；根据主手操作信息，计算手术器械在内窥镜下的运动目标位置Pn’；控制从手操作端手术器械由初始位置P0运动至运动目标位置Pn’；根据远程传输回的手术器械显示画面，实时计算手术器械在内窥镜下的位置Pn。通过该方法，缓解了主从控制之间存在控制延迟，造成实际操作与观察者不同步，使得手术操作风险增大的技术问题，达到了安全保护、降低手术操作风险的技术效果。

Description

手术机器人远程手术传输延迟判断及安全保护方法、控制系 统、可读存储介质及电子设备
技术领域
本发明涉及医疗设备的技术领域，尤其是涉及一种手术机器人远程手术传输延迟判断及安全保护方法、控制系统、可读存储介质及电子设备。
背景技术
众所周知，远程手术机器人与本地手术机器人最大的差别在于网络延迟与医生间交流障碍造成的手术难度提升与风险提高。无论是远程手术机器人还是本地手术机器人，主从控制之间都存在控制延迟，手术是否能够顺利进行，与延迟有着极大的相关性，即使是本地手术机器人如果延迟达到医生无法接受的程度，仍然会造成手术失败或者时间延长。
在手术过程中，“延迟”会造成操作中的卡顿现象，并且造成实际操作与观察者不同步的现象，这无疑增大了手术操作的风险。
发明内容
本发明的目的在于提供一种手术机器人远程手术传输延迟判断及安全保护方法、控制系统、可读存储介质及电子设备，以缓解现有技术中存在的主从控制之间存在控制延迟，造成实际操作与观察者不同步，使得手术操作风险增大的技术问题。
本发明的第一目的在于提供一种手术机器人远程手术传输延迟判断及安全保护方法，包括以下步骤：
获取内窥镜和手术器械的位置信息；
计算手术器械在内窥镜下的初始位置P0；
获取医生控制端的主手操作信息；
根据所述主手操作信息，计算手术器械在内窥镜下的运动目标位置Pn’；
控制从手操作端手术器械由初始位置P0运动至运动目标位置Pn’，内窥镜拍摄手术器械动作，并通过网络传输，更新医生控制端远程传输回的手术器械显示画面；
根据所述手术器械显示画面，实时计算手术器械在内窥镜下的位置，该位置为手术器械屏幕位置Pn；
将手术器械运动目标位置Pn’与手术器械屏幕位置Pn进行对比，如果两者的差值超出阈值，则控制从手操作端手术器械停止运动和/或发出报警信息。
进一步的，在更新医生控制端远程传输回的手术器械显示画面的步骤中，具体包括：
截取内窥镜单目视频中的图像；
对所述图像进行标注、分割和边缘重绘处理，计算出每支手术器械末端两条可视边缘线段，并对所述可视边缘线段进行分析；
根据手术器械末端的实际直径与所述图像中的像素直径建立像素、毫米尺寸间的空间映射关系，计算出手术器械末端Pn点的二维坐标；
再计算出手术器械末端Pn点的实际深度距离，以得到手术器械末端Pn点对应的三维坐标。
进一步的，所述截取内窥镜单目视频中的图像可以替换为：
截取内窥镜双目视频中的图像，并根据双目摄像机的相对位置关系校正每路图像的识别精度，然后针对每路图像分别进行标注、分割和边缘重绘处理。
进一步的，在对所述图像进行分割的步骤中，具体包括：
选用U-Net网络作为图像分割算法，以分割和计算出后续操作所需的掩膜图像。
进一步的，在对所述图像进行分割与边缘重绘处理的步骤之间还设有以下步骤：
将分割后得到的掩膜图像进行预处理操作，采用渐进概率霍夫变换算法(Progressive Probabilistic Hough Transform，PPHT)将掩膜图像空间上的直线映射到参数空间上的点的原理，对直线检测后生成的线段进行分析，并将其参数空间点坐标进行聚类和融合，优化直线检测效果。
进一步的，对所述掩膜图像进行预处理操作的步骤中，具体包括：
对分割图像进行一次开运算，将不明确的分界线转为明确的分界线；
采用加权平均法对RGB颜色空间中三个分量进行加权平均处理，根据人眼对三个颜色通道敏感程度不同，将三个颜色通道赋予不同的权重，加强目标区域的特征信息；
通过边缘检测，识别出手术器械末端轮廓上像素点的集合。
进一步的，在对手术器械末端进行边缘重绘时，选取过可视边缘线段较远端点与骨线相垂直的线段作为手术器械末端的有效识别半径，具体包括：
对于单支器械，在直线检测中获得两条可视边缘线段，对两条可视边缘线段的四个端点通过判断其相对位置的方式进行两两对应，连接两组端点的中点，连接得到器械刀柄部分的中线；
计算所述中线上两组端点到图像中心点的距离，其中距离较小者为头部端点，距离较大者为尾部端点；
根据目标线段与所述中线的垂直关系，得到目标线段的斜率和其通过两组端点的截距；
计算两垂线分别与所述中线的交点Pinter，并计算所述交点与其对应端点间的距离，取两距离较小者对应线段为有效边缘线段。
进一步的，手术器械末端Pn点对应的三维坐标的计算方法包括以下步骤：
根据所述中线的交点Pinter坐标及对应的有效边缘线段长度，获取目标线段实际半径，计算得出交点Pinter的实际坐标(xReal，yReal)；
基于前述步骤，引入任意已知尺寸圆柱体的图像尺寸，利用物、像尺寸比例规律计算交点Pinter的二维坐标和z方向实际距离；
根据相似定理，计算两组端点与消隐点间实际距离，并计算得出交点Pinter处的深度方向坐标zReal；
其中，Pn点的三维坐标为(xReal，yReal，zReal)。
本发明的第二目的在于提供一种控制系统，用于实现前述的手术机器人远程手术传输延迟判断及安全保护方法，所述控制系统包括：
第一采集模块，用于获取内窥镜和手术器械的位置信息；
第二采集模块，用于获取医生控制端的主手操作信息；
计算模块，用于计算手术器械在内窥镜下的初始位置P0，并根据所述主手操作信息，计算手术器械在内窥镜下的运动目标位置Pn’；
运动控制模块，用于控制从手操作端手术器械由初始位置P0运动至运动目标位置Pn’；
摄像模块，用于拍摄手术器械动作，并通过网络传输，更新医生控制端远程传输回的手术器械显示画面；根据所述手术器械显示画面，通过所述计算模块实时计算手术器械在内窥镜下的位置，该位置为手术器械屏幕位置Pn；
对比模块，用于将手术器械运动目标位置Pn’与手术器械屏幕位置Pn进行对比；
判断模块，用于判断Pn’与Pn两者的差值是否超出阈值，如果超过阈值，则控制从手操作端手术器械停止运动和/或发出报警信息。
本发明的第三目的在于提供一种可读存储介质，其上存储有程序，所述程序运行时，实现前述的手术机器人远程手术传输延迟判断及安全保护方法。
本发明的第四目的在于提供一种电子设备，包括处理器和前述的可读存储介质，所述处理器用于执行所述可读存储介质上所存储的程序。
本发明提供的手术机器人远程手术传输延迟判断及安全保护方法、控制系统、可读存储介质及电子设备，至少具有以下有益效果：
手术器械运动目标位置Pn’可根据主手操作信息由系统计算得出，手术器械屏幕位置Pn可根据远程传输回的手术器械显示画面，实时计算出手术器械在内窥镜下的位置，若网络存在延迟，则两个位置数据不一致，如果两者的差值超出阈值，预示延迟较大，此时可控制从手操作端手术器械停止运动和/或发出报警信息；在此过程中，医生控制端远程传输回的手术器械显示画面为真实手术器械画面，无需设置仿真手术器械画面，与现有技术中设置仿真模型与真实模型对比的方案相比，在延迟判断上更加简单、方便，同时，该方法能够有效判断延迟，实施安全保护，从而降低了手术操作的风险。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的手术机器人远程手术传输延迟判断及安全保护方法的流程示意图；
图2为本发明实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
参照图1，本实施例提供一种手术机器人远程手术传输延迟判断及安全保护方法，包括以下步骤：
S101：获取内窥镜和手术器械的位置信息；
S102：计算手术器械在内窥镜下的初始位置P0；
S103：获取医生控制端的主手操作信息；
S104：根据主手操作信息，计算手术器械在内窥镜下的运动目标位置Pn’；
S105：控制从手操作端手术器械由初始位置P0运动至运动目标位置Pn’，内窥镜拍摄手术器械动作，并通过网络传输，更新医生控制端远程传输回的手术器械显示画面；
S106：根据手术器械显示画面，实时计算手术器械在内窥镜下的位置，该位置为手术器械屏幕位置Pn；
S107：将手术器械运动目标位置Pn’与手术器械屏幕位置Pn进行对比，如果两者的差值超出阈值，则控制从手操作端手术器械停止运动和/或发出报警信息。
本实施例中，手术器械运动目标位置Pn’可根据主手操作信息由系统计算得出，手术器械屏幕位置Pn可根据远程传输回的手术器械显示画面，实时计算出手术器械在内窥镜下的位置，若网络存在延迟，则会使两个位置数据不一致，如果两者的差值超出阈值，预示延迟较大，此时可控制从手操作端手术器械停止运动和/或发出报警信息；在此过程中，医生控制端远程传输回的手术器械显示画面为真实手术器械画面，无需设置仿真手术器械画面，与现有技术中设置仿真模型与真实模型对比的方案相比，本实施例的方案在延迟判断上更加简单、方便，同时，本方法能够有效判断延迟，实施安全保护，从而降低了手术操作的风险。
步骤S105，具体包括：
截取内窥镜单目视频中的图像；
对图像进行标注、分割和边缘重绘处理，计算出每支手术器械末端两条可视边缘线段，并对可视边缘线段进行分析；
根据手术器械末端的实际直径与图像中的像素直径建立像素、毫米尺寸间的空间映射关系，计算出手术器械末端Pn点的二维坐标；
再计算出手术器械末端Pn点的实际深度距离，以得到手术器械末端Pn点对应的三维坐标。
当内窥镜为双目内窥镜时，前述截取内窥镜单目视频中的图像可以替换为：截取内窥镜双目视频中的图像，并根据双目摄像机的相对位置关系校正每路图像的识别精度，然后针对每路图像分别进行标注、分割和边缘重绘处理，其中，标注、分割和边缘重绘处理的具体操作同截取内窥镜单目视频的操作步骤。
在对图像进行分割的步骤中，具体包括：选用U-Net网络作为图像分割算法，以分割和计算出后续操作所需的掩膜图像。U-Net网络于2015年发布，具有较高的影响力，其主要应用领域是生物医学影像，也启发了大量研究者在该模型的基础上加以思考、分析和优化，形成效果更佳的分割网络。该网络适用于图像语义较为简单、结构较为固定的数据，由于该网络具有较为简单的模型结构和较少的参数规模，训练所需的数据量也比较少，因此可适用于本实施例的图像分割。
在对图像进行分割与边缘重绘处理的步骤之间还设有以下步骤：将分割后得到的掩膜图像进行预处理操作，采用渐进概率霍夫变换算法将掩膜图像空间上的直线映射到参数空间上的点的原理，对直线检测后生成的线段进行分析，并将其参数空间点坐标进行聚类和融合，优化直线检测效果。
对掩膜图像进行预处理操作的步骤中，具体包括：
(1)开运算，图像分割网络预测出的掩膜图像往往会为了增加其网络速度对图像进行一定程度上的压缩，所以生成的网络分割结果会出现大量锯齿状和不明确的颜色分界线，掩膜图像中存在与标签颜色和背景颜色均不相同的像素区域，首先对分割图像进行一次开运算，将不明确的分界线转为明确的分界线。
(2)灰度化。由于不同操作人员采用了不同的标注方法和不同的网络设置，所以得到的掩膜图像颜色不尽相同，但这些颜色信息对本文提出的算法没有价值，所以为了减少计算量，将三通道的RGB图片进行灰度化，为后续的图像识别提供方便。当前灰度化处理的方法有加权平均法、平均值法、最大值法和分量法等，本实施例选用加权平均法，该方法对RGB颜色空间中三个分量进行加权平均处理，根据人眼对三个颜色通道的敏感程度不同，该方法将三个颜色通道赋予不同的权重，可加强目标区域的特征信息，该图像灰度计算公式如下：
I(x，y)＝0.3IR(x，y)+0.59IG(x，y)+0.11IB(x，y)
其中，IR为图像像素中R通道的数值，IG为图像像素中G通道的数值，IB为图像像素中B通道的数值。
(3)边缘检测。数字图像中颜色变化或亮度变化明显的像素点往往代表了这部分图像在深度上不连续、方向上不连续及亮度上不连续，这部分不连续的像素即为图像的边缘。在图像特征提取的过程中，边缘检测是至关重要的一部分，通过边缘检测，可以识别出手术器械末端轮廓上像素点的集合。图像的边缘检测是基于图像的梯度来实现的，而获得图像的梯度就转化为使用算子对图像进行卷积运算。
可选的，边缘检测一阶模型可以为Roberts算子、Prewitt算子、Sobel算子、Canny算子等；二阶模型可以为Laplacian算子等。本实施例可选用Canny算子，Canny算子在边缘检测实验效果上优于其他，是一个综合了滤波、增强、检测等多阶段的边缘检测算子，能够标示出更多的边缘，也能够更好地标示出实际边缘，不多标，不误标。该方法能够准确并精确形成图像的边缘，但计算量大，不过在对掩膜图像进行边缘检测任务上，其图像构成较为简单，边缘信息较少，检测计算量较小，综合考虑得出该算子适用于本实施例算法的预处理操作。
前述提到的“采用渐进概率霍夫变换算法将掩膜图像空间上的直线映射到参数空间上的点的原理”，具体包括：该渐进概率霍夫变换算法在上述的基础上引入了识别机制，即不再对图像中每个点进行遍历和正弦曲线绘制，而是在检测到像素点时首先判断属于该直线的像素，并在后续的检测中不再对这些像素进行操作。其具体流程如下：
1)检查输入图像，若为空则结束；
2)在输入的图像中随机计算一个像素点，并使用该像素更新累加器；
3)从输入图像中移除该像素；
4)检查更新过的累加器中的最高点是否高于阈值，如果低于该阈值则跳转到步骤1)；
5)沿着累加器中的峰值所在的连接线查看，找出连续的最长线段，或其中间的间隙不超过给定阈值的最长线段；
6)将处在该线段上的像素点从图片中去除；
7)从累加器中将当前峰值中所有像素删除，清零累加结果；
8)如果检测到的线段超过给定最小长度，则将其添加到输出列表中，该输出列表由两个点坐标组成，分别代表线段的首末两端点；
9)跳转到步骤1)。
在对手术器械末端进行边缘重绘时，选取过可视边缘线段较远端点与骨线相垂直的线段作为手术器械末端的有效识别半径，具体包括：对于单支器械，在直线检测中获得两条可视边缘线段，对两条可视边缘线段的四个端点通过判断其相对位置的方式进行两两对应，连接两组端点的中点，连接得到器械刀柄部分的中线；计算中线上两组端点到图像中心点的距离，其中距离较小者为头部端点，距离较大者为尾部端点；根据目标线段与中线的垂直关系，得到目标线段的斜率和其通过两组端点的截距；计算两垂线分别与中线的交点Pinter，并计算交点与其对应端点间的距离，取两距离较小者对应线段为有效边缘线段。
具体的，对单支器械，其在优化后的直线检测中获得两条边线line1和line2，对两边线的4个端点通过判断其相对位置的方式进行两两对应，连接两组端点的中点A和B，连接得到器械刀柄部分的中线，其斜截式表示为：
y＝kcenterx+bcenter
计算中线上两端点A和B到图像中心点(xo,yo)的距离dA、dB，其计算式为：
由器械的图像位置特征可知，靠近刀头位置的点更接近图像中心点，故可得dA、dB对应的最小值为头部端点，对应的最大值为尾部端点。同理，可得出一支手术器械上两边线靠近刀头位置的端点Phead1和Phead2。
由于目标线段与中线垂直，故目标线段斜率kver表示为：
kver＝-1/kcenter
其通过两刀头端点有不同截距，其表达式为：
两垂线分别与中线交点Pinter1和Pinter2通过联立以下方程计算得出：
y＝kverx+bver
y＝kcenterx+bcenter
计算交点Pinter1、Pinter2与其对应端点Phead1、Phead2间距离dedge1、dedge2：
取两距离dedge1、dedge2中的较小值对应线段作为有效边缘。
手术器械末端Pn点对应的三维坐标的计算方法包括以下步骤：根据中线的交点Pinter坐标及对应的有效边缘线段长度，获取目标线段实际半径，计算得出交点Pinter的实际坐标(xReal，yReal)；基于前述步骤，引入任意已知尺寸圆柱体的图像尺寸，利用物、像尺寸比例规律计算交点Pinter的二维坐标和z方向实际距离；根据相似定理，计算两组端点与消隐点间实际距离，并计算得出交点Pinter处的深度方向坐标zReal；其中，Pn点的三维坐标为(xReal，yReal，zReal)。
具体的包括以下内容：欧氏空间中两条平行直线相交于无穷远点，在理想小孔模型下，两条平行直线经过摄像机得到的投影交点称为消隐点(vanish point)，它是无穷远点在平面上的投影。
目标手术器械末端为圆柱体，故其两条可视母线(即前述提到的边线)也是两条平行直线，其在图像上也会交于一消隐点，利用该特性可求出图像视野内刀柄部分实际长度。
设定P1和P2为两边线远端点，P3和P4为两边线近端点，P12为两远端点中点，P34为两近端点中点，O为两边线相交的消隐点。消隐点与两边线及圆柱体首末端边线组成的两三角形相似，在同一组平行线中，各处点的半径到消隐点的距离成正比。
OP12/P1P2＝OP34/P3P4
在相机内参未知的情况下，按照小孔成像原理计算图像视野内刀柄部分的首末端实际深度尺寸缺少部分已知量，而由于相机成像时不改变物体之间的尺寸比例，即在同等距离下，物体的实际尺寸之比等于图像中像素尺寸之比，利用该特征可计算出目标点在成像平面上的二维物理坐标(x,y)。计算流程如下：
交点Pinter坐标以及对应的有效边缘线段长度dedge，并获取目标实际半径rReal，存在如下比例关系：
故可求得目标交点Pinter的实际坐标(xReal，yReal)分别为：
在此基础上，引入任意已知尺寸圆柱体的图像尺寸，利用物、像尺寸比例规律计算交点Pinter的实际坐标，计算流程如下：
已知在同一深度距离下，两物体的实际尺寸之比等于图像尺寸之比，即：
sizeReal1/sizeReal2＝sizeImale1/sizeImage2
此处引入已知长度lc和rc的圆柱体的任意角度图像，可算出圆柱体两端圆心的二维坐标分别为：
可求出两端z方向实际距离dzc：
根据相似定理，联立下两个方程可求得两端与消隐点间实际距离zc1、zc2，即：
zc1/zc2＝dedge1/dedge2
zc2-zc1＝dzc
若器械上某点处深度距离与参考图片中某处距离相同，则其图像尺寸之比等于其实际尺寸之比，若距离不同，则在图示中绘制出其相应比例的图像尺寸rpic0，将消隐点与等深度下图像端点相连，延长至实际图像尺寸上，此时该交点对应坐标值即为该点处的实际深度坐标。
故可计算得出所求点的深度方向坐标zReal的计算方法为：
由推导出，/>
由推导出，/>
综合以上，Pn点的三维坐标为
本实施例还提供一种控制系统，用于实现前述实施例的手术机器人远程手术传输延迟判断及安全保护方法，该控制系统包括：第一采集模块，用于获取内窥镜和手术器械的位置信息，具体获取内窥镜在从手操作端整体坐标下的位置以及手术器械在与其同一坐标系下的位置；
第二采集模块，用于获取医生控制端的主手操作信息；
计算模块，用于计算手术器械在内窥镜下的初始位置P0，并根据主手操作信息，计算手术器械在内窥镜下的运动目标位置Pn’；
运动控制模块，用于控制从手操作端手术器械由初始位置P0运动至运动目标位置Pn’；
摄像模块，用于拍摄手术器械动作，摄像模块为单目内窥镜或双目内窥镜，通过网络传输，可以更新医生控制端远程传输回的手术器械显示画面；
根据手术器械显示画面，通过计算模块实时计算手术器械在内窥镜下的位置，该位置为手术器械屏幕位置Pn；
对比模块，用于将手术器械运动目标位置Pn’与手术器械屏幕位置Pn进行对比；
判断模块，用于判断Pn’与Pn两者的差值是否超出阈值，如果超过阈值，则控制从手操作端手术器械停止运动和/或发出报警信息。其中，发出报警信息的模块可以为声音报警器、光报警器或声光报警器。
本实施例还提供一种可读存储介质，其上存储有程序，程序运行时，实现根据前述实施例的手术机器人远程手术传输延迟判断及安全保护方法。
可读存储介质可以是但不限于为电、磁、光或半导体的形态或装置，更具体的例子包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
参照图2，本实施例还提供一种电子设备，包括处理器和前述实施例的可读存储介质，处理器用于执行可读存储介质上所存储的程序。其中，处理器的处理或计算结果会在医生所在的主手控制端的显示屏上进行显示。
具体的，处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种手术机器人远程手术传输延迟判断及安全保护方法，其特征在于，包括以下步骤：
获取内窥镜和手术器械的位置信息；
计算手术器械在内窥镜下的初始位置P0；
获取医生控制端的主手操作信息；
根据所述主手操作信息，计算手术器械在内窥镜下的运动目标位置Pn’；
控制从手操作端手术器械由初始位置P0运动至运动目标位置Pn’，内窥镜拍摄手术器械动作，并通过网络传输，更新医生控制端远程传输回的手术器械显示画面；
根据所述手术器械显示画面，实时计算手术器械在内窥镜下的位置，该位置为手术器械屏幕位置Pn；
将手术器械运动目标位置Pn’与手术器械屏幕位置Pn进行对比，如果两者的差值超出阈值，则控制从手操作端手术器械停止运动和/或发出报警信息。
2.根据权利要求1所述的手术机器人远程手术传输延迟判断及安全保护方法，其特征在于，在更新医生控制端远程传输回的手术器械显示画面的步骤中，具体包括：
截取内窥镜单目视频中的图像；
对所述图像进行标注、分割和边缘重绘处理，计算出每支手术器械末端两条可视边缘线段，并对所述可视边缘线段进行分析；
根据手术器械末端的实际直径与所述图像中的像素直径建立像素、毫米尺寸间的空间映射关系，计算出手术器械末端Pn点的二维坐标；
再计算出手术器械末端Pn点的实际深度距离，以得到手术器械末端Pn点对应的三维坐标。
3.根据权利要求2所述的手术机器人远程手术传输延迟判断及安全保护方法，其特征在于，所述截取内窥镜单目视频中的图像可以替换为：
截取内窥镜双目视频中的图像，并根据双目摄像机的相对位置关系校正每路图像的识别精度，然后针对每路图像分别进行标注、分割和边缘重绘处理。
4.根据权利要求2所述的手术机器人远程手术传输延迟判断及安全保护方法，其特征在于，在对所述图像进行分割的步骤中，具体包括：
选用U-Net网络作为图像分割算法，以分割和计算出后续操作所需的掩膜图像。
5.根据权利要求4所述的手术机器人远程手术传输延迟判断及安全保护方法，其特征在于，在对所述图像进行分割与边缘重绘处理的步骤之间还设有以下步骤：
将分割后得到的掩膜图像进行预处理操作，采用渐进概率霍夫变换算法将掩膜图像空间上的直线映射到参数空间上的点的原理，对直线检测后生成的线段进行分析，并将其参数空间点坐标进行聚类和融合，优化直线检测效果。
6.根据权利要求5所述的手术机器人远程手术传输延迟判断及安全保护方法，其特征在于，对所述掩膜图像进行预处理操作的步骤中，具体包括：
对分割图像进行一次开运算，将不明确的分界线转为明确的分界线；
采用加权平均法对RGB颜色空间中三个分量进行加权平均处理，根据人眼对三个颜色通道敏感程度不同，将三个颜色通道赋予不同的权重，加强目标区域的特征信息；
通过边缘检测，识别出手术器械末端轮廓上像素点的集合。
7.根据权利要求2所述的手术机器人远程手术传输延迟判断及安全保护方法，其特征在于，在对手术器械末端进行边缘重绘时，选取过可视边缘线段较远端点与骨线相垂直的线段作为手术器械末端的有效识别半径，具体包括：
对于单支器械，在直线检测中获得两条可视边缘线段，对两条可视边缘线段的四个端点通过判断其相对位置的方式进行两两对应，连接两组端点的中点，连接得到器械刀柄部分的中线；
计算所述中线上两组端点到图像中心点的距离，其中距离较小者为头部端点，距离较大者为尾部端点；
根据目标线段与所述中线的垂直关系，得到目标线段的斜率和其通过两组端点的截距；
计算两垂线分别与所述中线的交点Pinter，并计算所述交点与其对应端点间的距离，取两距离较小者对应线段为有效边缘线段。
8.根据权利要求7所述的手术机器人远程手术传输延迟判断及安全保护方法，其特征在于，手术器械末端Pn点对应的三维坐标的计算方法包括以下步骤：
根据所述中线的交点Pinter坐标及对应的有效边缘线段长度，获取目标线段实际半径，计算得出交点Pinter的实际坐标(xReal，yReal)；
基于前述步骤，引入任意已知尺寸圆柱体的图像尺寸，利用物、像尺寸比例规律计算交点Pinter的二维坐标和z方向实际距离；
根据相似定理，计算两组端点与消隐点间实际距离，并计算得出交点Pinter处的深度方向坐标zReal；
其中，Pn点的三维坐标为(xReal，yReal，zReal)。
9.一种控制系统，其特征在于，用于实现权利要求1～8中任一项所述的手术机器人远程手术传输延迟判断及安全保护方法，所述控制系统包括：
第一采集模块，用于获取内窥镜和手术器械的位置信息；
第二采集模块，用于获取医生控制端的主手操作信息；
计算模块，用于计算手术器械在内窥镜下的初始位置P0，并根据所述主手操作信息，计算手术器械在内窥镜下的运动目标位置Pn’；
运动控制模块，用于控制从手操作端手术器械由初始位置P0运动至运动目标位置Pn’；
摄像模块，用于拍摄手术器械动作，并通过网络传输，更新医生控制端远程传输回的手术器械显示画面；根据所述手术器械显示画面，通过所述计算模块实时计算手术器械在内窥镜下的位置，该位置为手术器械屏幕位置Pn；
对比模块，用于将手术器械运动目标位置Pn’与手术器械屏幕位置Pn进行对比；
判断模块，用于判断Pn’与Pn两者的差值是否超出阈值，如果超过阈值，则控制从手操作端手术器械停止运动和/或发出报警信息。
10.一种可读存储介质，其上存储有程序，其特征在于，所述程序运行时，实现根据权利要求1～8中任一项所述的手术机器人远程手术传输延迟判断及安全保护方法。
11.一种电子设备，其特征在于，包括处理器和权利要求10所述的可读存储介质，所述处理器用于执行所述可读存储介质上所存储的程序。
CN202311495085.0A 2023-11-10 2023-11-10 手术机器人远程手术传输延迟判断及安全保护方法、控制系统、可读存储介质及电子设备 Pending CN117541648A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311495085.0A CN117541648A (zh) 2023-11-10 2023-11-10 手术机器人远程手术传输延迟判断及安全保护方法、控制系统、可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311495085.0A CN117541648A (zh) 2023-11-10 2023-11-10 手术机器人远程手术传输延迟判断及安全保护方法、控制系统、可读存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN117541648A true CN117541648A (zh) 2024-02-09

Family

ID=89789150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311495085.0A Pending CN117541648A (zh) 2023-11-10 2023-11-10 手术机器人远程手术传输延迟判断及安全保护方法、控制系统、可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN117541648A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118319213A (zh) * 2024-06-11 2024-07-12 湖南省华芯医疗器械有限公司 一种引导鞘管、内窥镜组件及检测方法
CN118869982A (zh) * 2024-09-03 2024-10-29 广东欧谱曼迪科技股份有限公司 内窥镜摄像系统的传输延迟检测方法及相关设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118319213A (zh) * 2024-06-11 2024-07-12 湖南省华芯医疗器械有限公司 一种引导鞘管、内窥镜组件及检测方法
CN118869982A (zh) * 2024-09-03 2024-10-29 广东欧谱曼迪科技股份有限公司 内窥镜摄像系统的传输延迟检测方法及相关设备
CN118869982B (zh) * 2024-09-03 2025-02-14 广东欧谱曼迪科技股份有限公司 内窥镜摄像系统的传输延迟检测方法及相关设备

Similar Documents

Publication Publication Date Title
CN117541648A (zh) 手术机器人远程手术传输延迟判断及安全保护方法、控制系统、可读存储介质及电子设备
US20240169566A1 (en) Systems and methods for real-time multiple modality image alignment
KR101537174B1 (ko) 스테레오스코픽 영상에서의 주요 객체 검출 방법
EP3537375B1 (en) Image segmentation methods, image segmentation system and device comprising same, and storage medium
JP6681729B2 (ja) オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
US20150297313A1 (en) Markerless tracking of robotic surgical tools
US20130163883A1 (en) Apparatus for measuring three-dimensional position, method thereof, and program
CN102106758B (zh) 立体定向神经外科手术中病人头部标记的自动视觉定位装置及方法
US20130107010A1 (en) Surface segmentation from rgb and depth images
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
CN113344986B (zh) 点云配准结果的评估方法、装置、设备及存储介质
CN106503605A (zh) 基于立体视觉技术的人体目标识别方法
CN110832542A (zh) 识别处理设备、识别处理方法和程序
JP2021108193A (ja) 画像処理装置、画像処理方法、及びプログラム
Bernhardt et al. Robust dense endoscopic stereo reconstruction for minimally invasive surgery
JP4203279B2 (ja) 注目判定装置
EP4060612A1 (en) Improved orientation detection based on deep learning
WO2020016886A1 (en) Systems and methods of navigation for robotic colonoscopy
JP2014102805A (ja) 情報処理装置、情報処理方法及びプログラム
EP2506212B1 (en) Image processing apparatus, image processing method, and image processing program
CN113269732A (zh) 一种基于特征扫描图像的线性物体检测方法
CN111489384B (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
JP6606340B2 (ja) 画像検出装置、画像検出方法およびプログラム
JP7533937B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination