CN111743628A - 一种基于计算机视觉的自动穿刺机械臂路径规划的方法 - Google Patents
一种基于计算机视觉的自动穿刺机械臂路径规划的方法 Download PDFInfo
- Publication number
- CN111743628A CN111743628A CN202010694957.6A CN202010694957A CN111743628A CN 111743628 A CN111743628 A CN 111743628A CN 202010694957 A CN202010694957 A CN 202010694957A CN 111743628 A CN111743628 A CN 111743628A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- path planning
- computer vision
- patient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000003709 image segmentation Methods 0.000 claims abstract description 4
- 210000000056 organ Anatomy 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000009877 rendering Methods 0.000 claims abstract description 3
- 238000000926 separation method Methods 0.000 claims abstract description 3
- 238000005266 casting Methods 0.000 claims abstract 2
- 238000005070 sampling Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims 3
- 206010028980 Neoplasm Diseases 0.000 claims 2
- 230000008859 change Effects 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 11
- 238000001356 surgical procedure Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 230000000399 orthopedic effect Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007675 cardiac surgery Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000002682 general surgery Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
一种基于计算机视觉的自动穿刺机械臂路径规划，包括三维重建和双目视觉图像获取及配准两个过程；三维重建包括：步骤S1：基于数字图像处理技术方法，对手术场景进行预处理，得到更清晰的图像，即病灶部分；步骤S2：基于图像分割的方法，实现器官与周围组织的有效分离，将所需区域分割精准的出来便于之后的三维重建；步骤S3：利用光线投射法的体绘制重建方法将患者的CT数据进行三维重建，获取患者的病灶区域的三维模型；本发明通过机械臂自动手术，减少了外科医生在手术过程中操作失误的问题；同时通过双目视觉和点配准，将原来医生只可以依靠二维图像转变为依靠三位图像，并根据三维图像进行手术路径规划，提高了手术的准确性，降低手术风险。
Description
技术领域
本发明涉及图像处理、计算机视觉、三维重建技术、手术机器人技术领域。尤其涉及一种基于计算机视觉的自动穿刺机械臂路径规划的方法。
背景技术
近年来，在微创手术技术、机器人技术、医疗图像技术和计算机技术进步的共同推动下，外科手术机器人的研究得到快速发展，并开始应用于临床，其中最具代表性的手术机器人——达芬奇(DA VINCI)手术机器人，在心脏外科、泌尿外科、普通外科和妇科中有着较好的应用。但由于手术对象、手术器械及手术目的的不同，达芬奇一类的通用型手术机器人,虽然在目前的骨科手术中有着实验和临床的应用，但是达芬奇手术机器人是专为内窥镜系统设计的手术机器人，这一特点决定了其在骨科手术中无法发挥其优势，所以这类通用机器人并不适合用于骨科手术，因此研制专用于骨科手术的手术机器人，受到越来越多的关注。
现有的骨科手术机器人大多是使用工业机器人改造而来的手术机器人。在稳定性,定位精度和重复定位精度上具有明显的优势。然而，这种优势是建立在手术机器人良好的刚性基础上，导致了机器人本体体积大且笨重。对于骨科手术室这类相对狭小且存在较多器械障碍的应用环境,其可用性差的问题限制了进一步发展.因此,小型化、专业化成为骨科手术机器人发展的一个趋势。
计算机视觉发展初期相关的研究都是基于二维平面的，随着近些年计算机相关技术的发展，三维视觉技术也得到了飞速发展，相比单目视觉，双目视觉在空间测量重建方面的优势也得到了很好的展现。MIT人工智能实验室的Marr提出了视觉相关理论，该理论为双目视觉的研究奠定了坚实的基础。
双目立体视觉技术就像人类视觉系统一样，通过两个参数一样的相机从两个角度捕获目标的左右两侧图像。通过三角测量原理获得目标的三维信息，并根据该信息恢复对应目标的三维模型。
基于点的配准(Point-based Registration,PBR)是1987年由Arun提出来的。它通过两个空间中有限的几组标志点来计算二者之间的映射变换关系，达到了空间一致的目的。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于计算机视觉的自动穿刺机械臂路径规划的方法。本方法根据术前得到的患者图像，对病人图像进行三维重建，其中包括病症区域和病症区域周围的组织神经。并利用两台CMOS相机获得从不同的位置获取被测物体的两幅图像，将得到数据导入计算机，通过计算图像对应点间的位置偏差，来获取物体三维几何信息。并将得到的三维信息和病人重建后的三维模型进行匹配，根据匹配结果邀请医生确定下针点、下针角度和深度。将得到将计算后的规划路径传递给机械臂，最后机械臂根据规划的路径以全自动的方式完成相应的操作。
为解决上述技术问题，本发明所采取的技术方案是：
一种基于计算机视觉的自动穿刺机械臂路径规划的方法，包括三维重建部分、病人双目视觉图像获取部分、计算机配准空间转换部分和机械臂部分。
所述三维重建部分包括：病人全身或局部的医学影像数据，图像预处理模块，图像分割模块以及三维重建模块。医学影像数据往往使用病人的CT以及MRI数据配合，采集的数据以DICOM格式保存，扫描层厚度均已降至1mm以下，以起到更清晰的重建效果；图像预处理模块流程包括窗宽窗位处理，P-M扩散滤波，线性灰度增强，直方图均衡化，得到预处理后的较为清晰的图像；图像分割模块预设了不同的方法和默认参数进行三维模型粗分割；在粗分割的基础上进行灰度距离拉伸分割，这是我们优化的分割方法，它的作用就是将器官与周围组织的灰度区间距离拉大，实现器官与周围组织的有效分离，将所需区域分割精准的出来便于之后的三维重建；三维重建模块为光线投射法的体绘制重建方法，从屏幕上每一个像素点出发，沿着视线方向发射出一条光线，当这条光线穿过体数据时，沿着光线方向等距离采样，利用插值计算出采样点的颜色值和不透明度；接着按照从前到后或从后到前的顺序对光线上的采样点进行合成，计算出这条光线对应的屏幕上像素点的颜色值，最终得到所需的三维模型。
病人双目视觉图像获取及配准部分：通过两台已经标定好的CMOS相机观察病人手术前的位置信息，然后再拍摄到两幅图像根据图像内容进行特征点匹配，进而计算深度，从而得到病人的病灶位置的三维信息。本方法采用四元数方法来实现虚实空间之间的点配准。基于四元数点配准的目标是求得一个旋转矩阵R和一个平移矩阵T，使得图像空间和患者实体空间经过旋转和平移变换后，能够达到空间上的一致。假设点集M和点集D分别表示图像空间坐标系下的标志点集和患者实体空间坐标系下的标志点集，
和
分别表示对应标志点在图像空间和患者空间下的三维坐标。配准的目标函数为：
其中
和
分别表示患者实体空间坐标系D相对于图像空间坐标系M的旋转变换矩阵和平移变换矩阵。
设两个点集M和D的质心分别为
和
则可求得M和D之间的协方差矩阵为：
令Trace(C)表示协方差矩阵C的迹，定义对称矩阵H：
利用Jacobi方法可以计算出对称矩阵H的特征值和特征向量，其中最大特征值所对应的特征向量就是使目标函数E取最小值的四元数q＝(q1，q2，q3，q4)T。将q代入旋转矩阵：
即可求出旋转矩阵
然后通过两点集质心可求得平移向量：
进而求出平移矩阵
由
可求出实体空间中的目标点在图像空间坐标系下所对应的坐标，从而完成点配准。并可进一步求得点配准误差：
确定下针点、下针角度和深度由医生根据当前匹配和配准结果确定，并将传入机械臂中。此后机械臂根据计算结果进行手术。
采用上述技术方案所产生的有益效果在于：本发明提供的基于计算机视觉的自动穿刺机械臂路径规划的方法，通过机械臂自动手术，减少了外科医生在手术过程中操作失误的问题。同时通过双目视觉和点配准，将原来医生只可以依靠二维图像转变为依靠三位图像，并根据三维图像进行手术路径规划，极大的提高了手术的准确性，降低手术风险。
附图说明
图1为本发明基于计算机视觉的自动穿刺机械臂路径规划流程图；
图2为本发明实例进行三维重建后结果图像。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任向具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
如图1所示，本发明提供了一种基于无标记增强现实的手术导航系统；
如图2所示，为根据实例进行的三维重建后得到的三维重建模型。
本发明的优势在于：
采用两台CMOS相机相比较于其他深度相机而言大大减少了成本，与此同时也得到了近似相同的结果，这为本发明提供了强大的硬件支持。点匹配的配准方法可以准确的算出三维模型和三维信息的对应关系，这为医生提供了广阔的视角和准确的定位，避免了医生因为不清楚患者病灶信息而带来的医疗事故。
综上所述，本发明提供了一种基于计算机视觉的自动穿刺机械臂路径规划的方法，可以让医生对手术进行规划，找到准确的下针点、下针角度和深度，对于医生在外科手术过程中可能出现的问题起到了良好的规避效果。极大的节约实验资源，提升手术成功率的效果。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种基于计算机视觉的自动穿刺机械臂路径规划，其特征在于，包括三维重建和双目视觉图像获取及配准两个过程；
三维重建，包括如下步骤：
步骤S1：基于数字图像处理技术方法，对手术场景进行预处理，得到更清晰的图像，即病灶部分；
步骤S2：基于图像分割的方法，实现器官与周围组织的有效分离，将所需区域分割精准的出来便于之后的三维重建；
步骤S3：利用光线投射法的体绘制重建方法将患者的CT数据进行三维重建，获取患者的病灶区域的三维模型；
双目视觉图像获取及配准，包括如下步骤：
步骤H1：通过相机获得含有病人术前的位置信息图片；
步骤H2：对步骤H1得到的图片采取特征点匹配法，计算深度信息。
2.根据权利要求1所述的基于计算机视觉的自动穿刺机械臂路径规划，其特征在于，所述步骤S1中的具体过程如下：
步骤S11：对所述手术场景进行灰度处理，得到灰度图像；
步骤S12：选取适合本发明的阈值，将得到的灰度图像进行窗宽窗位处理；
步骤S13：对步骤S12得到的图像进行P-M扩散滤波处理；
步骤S14：对步骤S13得到的图像进行线性灰度增强处理；
步骤S15：对步骤S14得到的图像进行直方图均衡化处理，最终得到预处理后的较清晰的图像。
3.根据权利要求1所述的基于计算机视觉的自动穿刺机械臂路径规划，其特征在于，所述步骤S2中的具体过程如下：
步骤S21：对步骤S1中得到的预处理图像经进行粗分割处理；
步骤S22：对步骤S21步骤得到的处理图像进行灰度距离拉伸分割，得到目标区域的分割图像。
4.根据权利要求1所述的基于计算机视觉的自动穿刺机械臂路径规划，其特征在于，所述步骤S3中的具体过程如下：
步骤S31：基于步骤S2得到的分割图像，从屏幕上每一个像素点出发，沿着视线方向发射出一条光线，当这条光线穿过体数据时，沿着光线方向等距离采样，利用插值计算出采样点的颜色值和不透明度；
步骤S32：基于S31中的数据，将分离出来的肿瘤的CT数据进行三维重建，得到患者肿瘤三维模型接着按照从前到后或从后到前的顺序对光线上的采样点进行合成，计算出这条光线对应的屏幕上像素点的颜色值，最终得到所需的三维模型。
5.根据权利要求1所述的基于计算机视觉的自动穿刺机械臂路径规划，其特征在于，所述步骤H1中的具体过程如下：
步骤H11：对步骤S1中找到的病灶区域进行特征检测，得到一组特征点P1；
步骤H12：对手术场景用同样的特征检测方法进行特征检测，得到一组特征点P2；
步骤H13：对两组特征点进行匹配，得到对应关系，同时要剔除误匹配特征点；
步骤H14：根据步骤H13得到的匹配信息，进行计算得到深度信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010694957.6A CN111743628A (zh) | 2020-07-18 | 2020-07-18 | 一种基于计算机视觉的自动穿刺机械臂路径规划的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010694957.6A CN111743628A (zh) | 2020-07-18 | 2020-07-18 | 一种基于计算机视觉的自动穿刺机械臂路径规划的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111743628A true CN111743628A (zh) | 2020-10-09 |
Family
ID=72710965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010694957.6A Pending CN111743628A (zh) | 2020-07-18 | 2020-07-18 | 一种基于计算机视觉的自动穿刺机械臂路径规划的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111743628A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012236A (zh) * | 2021-03-31 | 2021-06-22 | 武汉理工大学 | 一种基于交叉式双目视觉引导的机器人智能打磨方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577001A (zh) * | 2009-05-20 | 2009-11-11 | 电子科技大学 | 基于光线投射体绘制的三维医学图像剖分方法 |
| CN107767423A (zh) * | 2017-10-10 | 2018-03-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
| CN109785374A (zh) * | 2019-01-23 | 2019-05-21 | 北京航空航天大学 | 一种牙科增强现实手术导航的自动实时无标记图像配准方法 |
| CN110123453A (zh) * | 2019-05-31 | 2019-08-16 | 东北大学 | 一种基于无标记增强现实的手术导航系统 |
| CN110916799A (zh) * | 2019-11-22 | 2020-03-27 | 江苏集萃智能制造技术研究所有限公司 | 基于5g网络的穿刺机器人导航系统 |
-
2020
- 2020-07-18 CN CN202010694957.6A patent/CN111743628A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577001A (zh) * | 2009-05-20 | 2009-11-11 | 电子科技大学 | 基于光线投射体绘制的三维医学图像剖分方法 |
| CN107767423A (zh) * | 2017-10-10 | 2018-03-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
| CN109785374A (zh) * | 2019-01-23 | 2019-05-21 | 北京航空航天大学 | 一种牙科增强现实手术导航的自动实时无标记图像配准方法 |
| CN110123453A (zh) * | 2019-05-31 | 2019-08-16 | 东北大学 | 一种基于无标记增强现实的手术导航系统 |
| CN110916799A (zh) * | 2019-11-22 | 2020-03-27 | 江苏集萃智能制造技术研究所有限公司 | 基于5g网络的穿刺机器人导航系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012236A (zh) * | 2021-03-31 | 2021-06-22 | 武汉理工大学 | 一种基于交叉式双目视觉引导的机器人智能打磨方法 |
| CN113012236B (zh) * | 2021-03-31 | 2022-06-07 | 武汉理工大学 | 一种基于交叉式双目视觉引导的机器人智能打磨方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110010249B (zh) | 基于视频叠加的增强现实手术导航方法、系统及电子设备 | |
| US10198872B2 (en) | 3D reconstruction and registration of endoscopic data | |
| US20200405433A1 (en) | System and method for dynamic validation, correction of registration for surgical navigation | |
| US8147503B2 (en) | Methods of locating and tracking robotic instruments in robotic surgical systems | |
| Zhang et al. | A markerless automatic deformable registration framework for augmented reality navigation of laparoscopy partial nephrectomy | |
| WO2017211087A1 (zh) | 一种内窥镜手术导航方法和系统 | |
| CN110264504B (zh) | 一种用于增强现实的三维配准方法和系统 | |
| US20060269108A1 (en) | Registration of three dimensional image data to 2D-image-derived data | |
| WO2016170372A1 (en) | Apparatus and method for registering pre-operative image data with intra-operative laparscopic ultrasound images | |
| JP2003265408A (ja) | 内視鏡誘導装置および方法 | |
| JP2013517909A (ja) | 気管支鏡検査法ガイダンスに適用される画像ベースのグローバル登録 | |
| CN107689045B (zh) | 内窥镜微创手术导航的图像显示方法、装置及系统 | |
| CN110288653B (zh) | 一种多角度超声图像融合方法、系统及电子设备 | |
| KR101767005B1 (ko) | 표면정합을 이용한 영상정합방법 및 영상정합장치 | |
| Nosrati et al. | Simultaneous multi-structure segmentation and 3D nonrigid pose estimation in image-guided robotic surgery | |
| CN115619790B (zh) | 一种基于双目定位的混合透视方法、系统及设备 | |
| Lapeer et al. | Image‐enhanced surgical navigation for endoscopic sinus surgery: evaluating calibration, registration and tracking | |
| Kumar et al. | Stereoscopic visualization of laparoscope image using depth information from 3D model | |
| KR100346363B1 (ko) | 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치 | |
| Reichard et al. | Intraoperative on-the-fly organ-mosaicking for laparoscopic surgery | |
| CN115105204A (zh) | 一种腹腔镜增强现实融合显示方法 | |
| CN111743628A (zh) | 一种基于计算机视觉的自动穿刺机械臂路径规划的方法 | |
| CN115245303A (zh) | 一种用于内窥镜三维导航的图像融合系统和方法 | |
| Vagdargi et al. | Pre-clinical development of robot-assisted ventriculoscopy for 3-D image reconstruction and guidance of deep brain neurosurgery | |
| CN117323002A (zh) | 一种基于混合现实技术的神经内镜手术可视化系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201009 |
|
| RJ01 | Rejection of invention patent application after publication |