CN115311405A - 一种双目内窥镜的三维重建方法 - Google Patents
一种双目内窥镜的三维重建方法 Download PDFInfo
- Publication number
- CN115311405A CN115311405A CN202110487483.2A CN202110487483A CN115311405A CN 115311405 A CN115311405 A CN 115311405A CN 202110487483 A CN202110487483 A CN 202110487483A CN 115311405 A CN115311405 A CN 115311405A
- Authority
- CN
- China
- Prior art keywords
- endoscope
- image
- feature points
- focus
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 210000000056 organ Anatomy 0.000 claims description 4
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241000722363 Piper Species 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
Abstract
本发明涉及一种应用于双目内窥镜医学图像的实时三维重建方法，更具体地说，本发明涉及一种能够追踪病灶位置并重点展示病灶图像的三维图像显示方法。该方法首先通过对病灶特征点的提取，然后对所获得的特征点进行整理并均匀地划分到图像的每个区域上。之后对所有特征点进行特征匹配，将摄像机准确地定位到每一帧上，处理和优化数据，迅速追踪病灶的位置并清晰地呈现出三维图像。本发明不仅提供了操作简单便捷的三维重建方法，也方便了医生对病灶的寻找和更具体的观察，有望提高医生的手术效率。
Description
技术领域
发明涉及一种应用于双目内窥镜医学图像的实时三维重建方法，更具体地说，本发明涉及一种能够追踪病灶位置并重点展示病灶图像的三维图像显示方法。
背景技术
随着医疗技术的不断发展，内窥镜作为集光学、人体工程学、精密机械、现代电子、数学、软件等技术于一体的检测仪器，应用范围越来越广。内窥镜有限的视界和深度感知能力的缺失给医生术中定位病灶带来了挑战，极大影响了手术操作的精确性和安全性。近年来，三维立体视觉技术逐渐渗透到各个领域，而临床医学领域对立体可视化图像的需求已成为计算机视觉方向的重要内容之一，依赖该技术研制的三维腹腔镜已在临床实验中获得成功，并显著降低手术并发症，减少病人痛楚，提高微创手术水平，促进医学发展。
3D内窥镜相比传统内窥镜能够提供三维信息，更能反映场景真实情况，一方面能够让医生在手术过程中感受到3D画面的视觉效果，提供逼真的视觉感受，帮助医生更加准确地操作内窥镜；另一方面3D内窥镜可集成三维测量功能，不仅能够检测出内窥镜前端与观察组织之间的距离，避免在移动内窥镜时使内窥镜太靠近或者无意接触到待检测部位的组织的风险，而且能够对一些病灶目标进行精确的三维测量。相比传统手术过程中医生凭经验判断病灶大小，三维测量的结果无疑给医生提供了快捷可靠的参考，降低了医生的负担，提高了手术的效果。
目前，三维重建通常通过单目或者双目相机获得某一场景的左右视图，使用双目匹配算法获得视差图，然后计算得到深度图，获得图像中每一点的三维坐标，进行三维重建。此方法操作简单便捷，但该方法得到的内窥镜三维图像纹理特征较弱，背景与病灶目标颜色近似，极易发生混淆，影响医生对病灶的观察，加大医生的手术难度。
发明内容
本发明设计了一种应用于双目内窥镜医学图像的三维重建方法，该方法能够应用于采用三维内窥镜的手术中，在获取三维影像的同时能够迅速追踪到病灶的位置，并且对病灶进行重点呈现，可以让医生快速地了解病灶情况，大大缩短手术时间，减少手术风险。
所述的双目内窥镜医学图像实时三维重建方法对病灶进行追踪的硬件装置包括：
LED冷光源一个；
光学硬式内窥镜两根；
用于建立高精度坐标基准的标定平台；
用于采集图像的2304*1728的彩色相机两部；
用于精度控制、图像采集和数据处理的计算机；
用于放置所述的光源和所述的相机的扫描平台。
本发明所设计的应用于双目内窥镜医学图像的实时三维重建，且能追踪病灶位置并重点展示病灶图像的三维图像显示方法，其操作步骤如下：
步骤1：对双目相机进行标定，设左相机1所在的坐标系为O1X1Y1Z1，设右相机2所在的坐标系为O2X2Y2Z2，两个相机之间的旋转矩阵为N，平移矩阵为M，标定的关系如公式(2)所示：
其中，
,
,n11-n33为所述的右相机2相对于所述的左相
机1的旋转矩阵分量，mx，my，mz为所述的右相机2相对于所述的左相机1的平移矩阵分量。
步骤2：将双目内窥镜采集的器官表面图像采用均值滤波法和高斯滤波法消除椒盐噪声和高斯噪声，然后进行高光处理，去除原始内窥镜视频图像的镜面反射，之后进行直方图均衡化，提高输入图像的对比度并增强细节。
步骤3：校正图像后，预设好病灶的像素强度阈值，然后在校正好的图像中将每个像素点与其附近区域采样点的像素值进行比较来提取特征点。
步骤4：根据FAST算法提取到特征点后，并用四叉树方法对提取到的特征点进行划分，四叉树的节点由检测到的图像层的特征点数量来划分，保证每个节点都有相应的特征，来达到使检测到的特征点均匀分布在整幅图像中的目的，尽可能地使得图像每个区域都有可用于匹配的特征点。
步骤5：将预存的特征与步骤4得到的特征点在图像中进行特征匹配，将摄像机定位到每个帧的位置；同时进行的还有本地映射来管理本地地图并优化它，执行局部地图跟踪（BA）；同时进行的还有循环闭合，检测大环，并通过进行pose图优化来修正累积漂移；当姿态图优化后，执行完整的地图跟踪（BA），以计算最优结构和运动解决方案。
步骤6：在步骤5得到的内窥镜运行轨迹上对双目内窥镜拍摄的一帧中的两张图作进行稠密的立体匹配，并通过三维重建原理及坐标转换原理在当前帧所在的坐标上提取出三维的内窥镜图像表面，达到实时地对双目内窥镜视频流进行重建的目的，同时可以跟踪到内窥镜的运行轨迹与病灶的位置。
本发明的有益效果是：本发明所涉及的获取特征点是基于FAST算法得到的，不仅步骤没有那么繁琐，而且获取特征点的速度更快。还有通过对获取的特征点进行特征匹配，将像机定位到每个帧的位置，准确识别需要观察的病灶位置，并进行实时显示和优化，进而获得更加清晰的病灶三维图像。
附图说明
图1为三维重建方法流程图。
具体实施方式
本发明所设计的应用于双目内窥镜医学图像的实时三维重建，且能追踪病灶位置并重点展示病灶图像的三维图像显示方法，所述的三维重建方法如图1所示，其具体操作步骤如下：
完成工具的准备后，先进行双目内窥镜的搭建，然后对双目相机进行标定，设左相机1所在的坐标系为O1X1Y1Z1，设右相机2所在的坐标系为O2X2Y2Z2，两个相机之间的旋转矩阵为N，平移矩阵为M，标定的关系如公式(3)所示：
其中，
,
, n11-n33为所述的右相机2相对于所述的左
相机1的旋转矩阵分量，mx，my，mz为所述的右相机2相对于所述的左相机1的平移矩阵分量。
将双目内窥镜的探测镜头伸入病人体内，以获取器官表面图像，并将双目内窥镜采集的器官表面图像采用均值滤波法和高斯滤波法消除椒盐噪声和高斯噪声，然后进行高光处理，去除原始内窥镜视频图像的镜面反射，之后进行直方图均衡化，提高输入图像的对比度并增强细节。
采用Bouguet 法校正图像，将相机的参数旋转矩阵N和平移矩阵M分别进行分解，使得左右相机各进行一半的旋转和平移，从而使得由于左右图像重投影而导致的畸变最小，同时最大化左右视图的公共视野，得到校正好的图像。
校正图像后，预设好病灶的像素强度阈值，然后在校正好的图像中用FAST 算法将每个像素点与其附近区域采样点的像素值进行比较来提取特征点。将图像中可能是特征点的像素点设为p，将其像素强度记为，考虑以其为中心的半径为4个像素点长度的圆上的16个像素点，将这些点从1到16编号，如果该圆周上存在连续的n个像素点，这些点与p的像素强度差都大于或者都小于某个预定的阈值t，那么将p点记为特征点，否则p为非特征点。
根据FAST算法提取到特征点后，用四叉树方法对提取到的特征点进行划分，四叉树的节点由检测到的图像层的特征点数量来划分，保证每个节点都有相应的特征，来达到使检测到的特征点均匀分布在整幅图像中的目的，尽可能地使得图像每个区域都有可用于匹配的特征点。
将预存的特征与步骤4得到的特征点在图像中进行特征匹配，将摄像机定位到每个帧的位置；同时进行的还有本地映射来管理本地地图并优化它，执行局部地图跟踪（BA）；同时进行的还有循环闭合，检测大环，并通过进行pose图优化来修正累积漂移；当姿态图优化后，执行完整的地图跟踪（BA），以计算最优结构和运动解决方案。
在步骤5得到的内窥镜运行轨迹上对双目内窥镜拍摄的一帧中的两张图作进行稠密的立体匹配，并通过三维重建原理及坐标转换原理在当前帧所在的坐标上提取出三维的内窥镜图像表面，达到实时地对双目内窥镜视频流进行重建的目的，同时可以跟踪到内窥镜的运行轨迹与病灶的位置。由此可以得到实时的三维影像同时能够迅速追踪到病灶的位置，并且对于病灶进行重点呈现，可以让医生快速的了解病灶情况，大大缩短手术时间，减少手术风险。
以上所述都是对本发明及其实施方式进行的相关描述，该描述没有局限性，附图中所示的也只是本发明的实施方式之一。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，采用其它形式的同类部件或其它形式的各部件布局方式，不经创造性的设计出与该技术方案相似的技术方案与实施例，均应属于本发明的保护范围。
Claims (1)
1.本发明设计了一种应用于双目内窥镜医学图像的实时三维重建方法，其特征是，包含步骤如下：
步骤1：对双目相机进行标定，设左相机1所在的坐标系为O1X1Y1Z1，设右相机2所在的坐标系为O2X2Y2Z2，两个相机之间的旋转矩阵为N，平移矩阵为M，标定的关系如公式(1)所示：
其中，
,
,n11-n33为所述的右相机2相对于所述的左相机1的旋转矩阵分量，mx，my，mz为所述的右相机2相对于所述的左相机1的平移矩阵分量；
步骤2：将双目内窥镜采集的器官表面图像采用均值滤波法和高斯滤波法消除椒盐噪声和高斯噪声，然后进行高光处理，去除原始内窥镜视频图像的镜面反射，之后进行直方图均衡化，提高输入图像的对比度并增强细节；
步骤3：校正图像后，预设好病灶的像素强度阈值，然后在校正好的图像中将每个像素点与其附近区域采样点的像素值进行比较来提取特征点；
步骤4：根据FAST算法提取到特征点后，并用四叉树方法对提取到的特征点进行划分，四叉树的节点由检测到的图像层的特征点数量来划分，保证每个节点都有相应的特征，来达到使检测到的特征点均匀分布在整幅图像中的目的，尽可能地使得图像每个区域都有可用于匹配的特征点；
步骤5：将预存的特征与步骤4得到的特征点在图像中进行特征匹配，将摄像机定位到每个帧的位置；同时进行的还有本地映射来管理本地地图并优化它，执行局部地图跟踪（BA）；同时进行的还有循环闭合，检测大环，并通过进行pose图优化来修正累积漂移；当姿态图优化后，执行完整的地图跟踪（BA），以计算最优结构和运动解决方案；
步骤6：在步骤5得到的内窥镜运行轨迹上对双目内窥镜拍摄的一帧中的两张图作进行稠密的立体匹配，并通过三维重建原理及坐标转换原理在当前帧所在的坐标上提取出三维的内窥镜图像表面，达到实时地对双目内窥镜视频流进行重建的目的，同时可以跟踪到内窥镜的运行轨迹与病灶的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110487483.2A CN115311405A (zh) | 2021-05-06 | 2021-05-06 | 一种双目内窥镜的三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110487483.2A CN115311405A (zh) | 2021-05-06 | 2021-05-06 | 一种双目内窥镜的三维重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115311405A true CN115311405A (zh) | 2022-11-08 |
Family
ID=83854280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110487483.2A Pending CN115311405A (zh) | 2021-05-06 | 2021-05-06 | 一种双目内窥镜的三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115311405A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908366A (zh) * | 2022-12-13 | 2023-04-04 | 北京柏惠维康科技股份有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN117062280A (zh) * | 2023-08-17 | 2023-11-14 | 北京美中爱瑞肿瘤医院有限责任公司 | 一种神经外科自助式手术灯自动跟随系统 |
| CN118141307A (zh) * | 2024-05-08 | 2024-06-07 | 江西赛新医疗科技有限公司 | 基于ar技术的内窥镜操控方法和内窥镜系统 |
-
2021
- 2021-05-06 CN CN202110487483.2A patent/CN115311405A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908366A (zh) * | 2022-12-13 | 2023-04-04 | 北京柏惠维康科技股份有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN117062280A (zh) * | 2023-08-17 | 2023-11-14 | 北京美中爱瑞肿瘤医院有限责任公司 | 一种神经外科自助式手术灯自动跟随系统 |
| CN117062280B (zh) * | 2023-08-17 | 2024-03-08 | 北京美中爱瑞肿瘤医院有限责任公司 | 一种神经外科自助式手术灯自动跟随系统 |
| CN118141307A (zh) * | 2024-05-08 | 2024-06-07 | 江西赛新医疗科技有限公司 | 基于ar技术的内窥镜操控方法和内窥镜系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110033465B (zh) | 一种应用于双目内窥镜医学图像的实时三维重建方法 | |
| JP6045417B2 (ja) | 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法 | |
| EP3073894B1 (en) | Corrected 3d imaging | |
| WO2014119047A1 (ja) | 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム | |
| WO2017211066A1 (zh) | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 | |
| CN115311405A (zh) | 一种双目内窥镜的三维重建方法 | |
| CN104809424B (zh) | 一种基于虹膜特征实现视线追踪的方法 | |
| WO2014044126A1 (zh) | 坐标获取装置、实时三维重建系统和方法、立体交互设备 | |
| KR20110016896A (ko) | 다차원 영상 생성 방법 및 시스템 | |
| Giancardo et al. | Textureless macula swelling detection with multiple retinal fundus images | |
| Qiu et al. | Endoscope navigation and 3d reconstruction of oral cavity by visual slam with mitigated data scarcity | |
| JP6150554B2 (ja) | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム | |
| WO2019047820A1 (zh) | 内窥镜微创手术导航的图像显示方法、装置及系统 | |
| Richa et al. | Fundus image mosaicking for information augmentation in computer-assisted slit-lamp imaging | |
| EP2939586A1 (en) | Image processing device, program and image processing method | |
| JP6150555B2 (ja) | 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム | |
| KR101818005B1 (ko) | 얼굴 데이터 관리 시스템 및 그 방법 | |
| US20230316639A1 (en) | Systems and methods for enhancing medical images | |
| CN109091099A (zh) | 双目视觉的高清微型电子内窥镜系统 | |
| Liu et al. | Cognitive tracking of surgical instruments based on stereo vision and depth sensing | |
| Wang et al. | Stereo video analysis for instrument tracking in image-guided surgery | |
| US20180225538A1 (en) | Device and method for automatically detecting a surgical tool on an image provided by a medical imaging system | |
| Bansal et al. | 3D optic disc reconstruction via a global fundus stereo algorithm | |
| Ahmad et al. | 3D reconstruction of gastrointestinal regions using shape-from-focus | |
| CN111743628A (zh) | 一种基于计算机视觉的自动穿刺机械臂路径规划的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |