CN115379121B - 对眼底相机的图像预览结果进行优化的方法和相关产品 - Google Patents
对眼底相机的图像预览结果进行优化的方法和相关产品 Download PDFInfo
- Publication number
- CN115379121B CN115379121B CN202211269310.4A CN202211269310A CN115379121B CN 115379121 B CN115379121 B CN 115379121B CN 202211269310 A CN202211269310 A CN 202211269310A CN 115379121 B CN115379121 B CN 115379121B
- Authority
- CN
- China
- Prior art keywords
- position information
- image
- parameter
- information
- eye image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 210000001747 pupil Anatomy 0.000 claims abstract description 44
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 238000003860 storage Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Ophthalmology & Optometry (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本申请公开了一种用于对眼底相机的图像预览结果进行优化的方法和相关产品。所述方法包括:获取眼部的瞳孔中心在所述第一眼部图像中的第一位置信息和在所述第二眼部图像中的第二位置信息;根据所述第一位置信息和所述第二位置信息计算与优化相关的第一截取参数和第二截取参数;利用所述第一截取参数和所述第二截取参数分别对所述第一眼部图像和所述第二眼部图像进行截取,以对应获得以所述第一位置信息为中心的第一截取图像和以所述第二位置信息为中心的第二截取图像,以实现对眼底相机的图像预览结果进行优化。利用本申请的方案,可以针对没有经过精密调整的双摄像头拍摄的眼部图像的图像预览结果进行优化,使得在工作距离对齐后眼部瞳孔处于图像最中间。
Description
技术领域
本申请一般涉及自动眼底相机技术领域。更具体地,本申请涉及一种用于对眼底相机的图像预览结果进行优化的方法、设备和计算机可读存储介质。
背景技术
自动眼底相机一般是通过双目摄像头对眼部的瞳孔进行定位,进而将主镜筒对齐到眼底相机的工作距离(Working Distance,“WD”)处,以在眼底相机的工作距离处对眼部进行拍摄。通常,为了方便操作者对工作距离对齐过程的认知与理解,在安装双目眼底相机时进行了精密的位置调整,使得工作距离对齐时瞳孔位于画面的最中间。对于此,在眼底相机操作的相关教材中也明确描述,双目摄像头的上下两个瞳孔对齐,拼接成一个完整的“瞳孔”时,工作距离对齐达到理想的状态。
然而,对双目眼底相机的安装进行精密的位置调整,不仅增加了设备结构的复杂度,而且为产线生产带来了很大的工作量。目前,为了简化生产流程,降低副摄像头安装调试的复杂度,有些眼底相机并没有设计双目摄像头的位置调整支架。因此,工作距离对齐后瞳孔不一定在图像的最中间,并且由于每台设备的双目摄像头组装存在误差,工作距离对齐后瞳孔的位置也存在不一样。这些情况,都会导致操作人员在观看副摄像头的预览图像时,无法直观地得知眼底相机工作距离的状态,影响了操作人员对眼底相机工作状态的理解。
发明内容
为了至少部分地解决背景技术中提到的技术问题,本申请提供了一种用于对眼底相机的图像预览结果进行优化的方案。利用本申请的方案,可以针对没有经过精密调整的双摄像头拍摄的眼部图像的图像预览结果进行优化,使得工作距离对齐时眼部瞳孔处于图像最中间。为此,本申请在如下的多个方面提供解决方案。
在第一方面中,本申请提供一种用于对眼底相机的图像预览结果进行优化的方法,所述眼底相机至少包括两个副摄像头,并且所述两个副摄像头分别拍摄获得第一眼部图像和第二眼部图像,其中所述方法包括:基于对眼底相机的工作距离的标定参数获取眼部的瞳孔中心在所述第一眼部图像中的第一位置信息和在所述第二眼部图像中的第二位置信息;根据所述第一位置信息和所述第二位置信息计算与优化相关的第一截取参数和第二截取参数;以及利用所述第一截取参数和所述第二截取参数分别对所述第一眼部图像和所述第二眼部图像进行截取,以对应获得以所述第一位置信息为中心的第一截取图像和以所述第二位置信息为中心的第二截取图像,以实现对眼底相机的图像预览结果进行优化。
在一个实施例中,其中所述第一截取参数包括第一截取定位信息和第一截取尺寸信息,所述第二截取参数包括第二截取定位信息和第二截取尺寸信息,并且根据所述第一位置信息和所述第二位置信息计算与优化相关的第一截取参数和第二截取参数包括:根据所述第一位置信息和所述第二位置信息确定截取框的宽度参数和高度参数;以及基于所述第一位置信息、所述第二位置信息、所述宽度参数以及所述高度参数计算所述第一截取定位信息和所述第一截取尺寸信息以及所述第二截取定位信息和所述第二截取尺寸信息。
在另一个实施例中,其中根据所述第一位置信息和所述第二位置信息确定截取框的宽度参数和高度参数包括:根据所述第一位置信息分别计算所述瞳孔中心距离所述第一眼部图像的竖直边界的最小距离和距离所述第一眼部图像的水平边界的最小距离;根据所述第二位置信息分别计算所述瞳孔中心距离所述第二眼部图像的竖直边界的最小距离和距离所述第二眼部图像的水平边界的最小距离;以及基于所述瞳孔中心距离各眼部图像的竖直边界的最小距离和距离各眼部图像的水平边界的最小距离确定截取框的宽度参数和高度参数。
在又一个实施例中,其中基于所述瞳孔中心距离各眼部图像的竖直边界的最小距离和距离各眼部图像的水平边界的最小距离确定截取框的宽度参数和高度参数包括:将所述瞳孔中心距离所述第一眼部图像的竖直边界的最小距离和距离所述第二眼部图像的竖直边界的最小距离之间的最小值确定为截取框的宽度参数;以及将所述瞳孔中心距离所述第一眼部图像的水平边界的最小距离和距离所述第二眼部图像的水平边界的最小距离之间的最小值确定为截取框的高度参数。
在又一个实施例中,其中基于所述第一位置信息、所述第二位置信息、所述宽度参数以及所述高度参数计算所述第一截取定位信息和所述第一截取尺寸信息以及所述第二截取定位信息和所述第二截取尺寸信息包括:基于所述第一位置信息、所述第二位置信息、所述宽度参数以及所述高度参数分别计算所述第一截取定位信息和所述第二截取定位信息;以及基于所述宽度参数和所述高度参数分别计算所述第一截取尺寸信息和所述第二截取尺寸信息。
在又一个实施例中,其中基于所述第一位置信息、所述第二位置信息、所述宽度参数以及所述高度参数分别计算所述第一截取定位信息和所述第二截取定位信息包括:将所述第一位置信息和所述第二位置信息分别沿宽度和纵向移动相应宽度参数和相应高度参数,以获得所述第一截取定位信息和所述第二截取定位信息。
在又一个实施例中,其中基于所述宽度参数和所述高度参数分别计算所述第一截取尺寸信息和所述第二截取尺寸信息包括:将所述宽度参数和所述高度参数分别乘以预设倍数,以计算所述第一截取尺寸信息和所述第二截取尺寸信息。
在又一个实施例中,所述方法还包括:响应于所述眼底相机执行工作距离对齐,将所述第一截取图像和所述第二截取图像分别沿水平方向裁剪成上半区域和下半区域;以及将所述第一截取图像的上半区域和所述第二截取图像的下半区域进行拼接,使得所述眼底相机中的工作距离对齐后拼接出完整的瞳孔,以对优化后的图像预览结果进行展示。
在第二方面中,本申请提供了一种用于对眼底相机的图像预览结果进行优化的设备,包括:处理器;以及存储器,其存储有用于对眼底相机的图像预览结果进行优化的程序指令,当所述程序指令由所述处理器执行时,使得所述设备实现前述第一方面中的多个实施例。
在第三方面中,本申请提供了一种计算机可读存储介质,其上存储有用于对眼底相机的图像预览结果进行优化的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现前述第一方面中的多个实施例。
通过本申请的方案,根据工作距离标定的瞳孔中心在双摄像头各自拍摄的眼部图像中的第一、第二位置信息计算相应的第一、第二截取参数,进而通过第一、第二截取参数分别对双摄像头各自拍摄的眼部图像进行截取,以对应获得以第一位置信息为中心的第一截取图像和以第二位置信息为中心的第二截取图像。这可以使得眼底相机在完成工作距离对齐时,眼部瞳孔中心处于各眼部图像的最中间位置,以便操作人员在观看双摄像头的图像时,可以直观地得知眼底相机工作距离的状态,从而理解眼底相机工作距离的状态。进一步地,本申请实施例还可以在眼底相机执行工作距离对齐时将前述第一截取图像的上半区域和第二截取图像的下半区域进行拼接,使得眼底相机中的工作距离对齐后拼接出完整的瞳孔,以便为操作人员提供一种评判工作距离是否对齐的标准。基于此,通过利用本申请的方案,可以提高双摄像头预览图像的“可读”和“可理解性”,降低了操作人员的使用难度。
附图说明
通过参考附图阅读下文的详细描述,本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本申请的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
图1是示出双目眼底相机部分结构的示例性示意图;
图2是示出根据本申请实施例的用于对眼底相机的图像预览结果进行优化的方法的示例性流程框图;
图3是示出根据本申请实施例的获得截取图像的示例性示意图;
图4是示出根据本申请实施例的拼接效果展示的示例性示意图;
图5是示出根据本申请实施例的图像预览结果优化的示例性结果图;
图6是示出根据本申请实施例的用于对眼底相机的图像预览结果进行优化的整体的示例性流程框图;以及
图7是示出根据本申请实施例的用于对眼底相机的图像预览结果进行优化的设备的示例性结构框图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本申请为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例,而并非可以实现本申请的所有实施例。基于本说明书公开的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1是示出双目眼底相机部分结构的示例性示意图。如图1中所示,该双目眼底相机可以至少包括两个副摄像头101。此外,该双目眼底相机还可以包括一个主摄像头102。其中,前述两个副摄像头101可以布置于主摄像头102的两侧,以用于分别从不同角度拍摄获得关于眼部的第一眼部图像(例如图5的(a)图中左图所示)和第二眼部图像(例如图5的(a)图中右图所示)。前述主摄像头102用于拍摄眼底图像。在应用场景中,根据眼部瞳孔在第一眼部图像和第二眼部图像中的位置,可以对瞳孔进行定位。基于定位信息,眼底相机可以将主摄像头102移动至眼底相机的工作距离处,进而在工作距离处拍摄眼底图像。
如背景技术描述可知,对于没有经过精密位置调整获得的眼部图像,即使工作距离对齐后瞳孔不一定在图像的最中间。进一步地,由于每台设备的双目摄像头组装存在误差,工作距离对齐后瞳孔的位置也存在不一样。这就使得操作人员在观看副摄像头的预览图像时,无法直观地得知眼底相机工作距离的状态。
基于此,本申请提出对眼底相机中副摄像头的图像预览结果进行优化的方案,使得优化后的预览图像在工作距离对齐后瞳孔处于最中间,以提高双摄像头预览图像的“可读”和“可理解性”。
图2是示出根据本申请实施例的用于对眼底相机的图像预览结果进行优化的方法200的示例性流程框图。如图2中所示,在步骤202处,基于对眼底相机的工作距离的标定参数获取眼部的瞳孔中心在第一眼部图像中的第一位置信息和在第二眼部图像中的第二位置信息。在一个实现场景中,前述第一眼部图像和第二眼部图像可以由眼底相机中的两个副摄像头(例如上述图1中所示)分别从不同角度拍摄获得。在一个实施例中,前述第一位置信息和第二位置信息可以基于双目进行视觉导航的眼底相机在出厂时对工作距离的位置标定获得。经位置标定后,记录工作距离对齐后瞳孔中心在双目系统两个副摄像头(包括第一副摄像头和第二副摄像头)各自图像坐标系中的位置,例如记为(x1, y1, x2, y2)。其中,(x1, y1)为瞳孔位于工作距离处时,瞳孔中心在第一副摄像头拍摄的第一眼部图像上的第一位置信息;(x2, y2)为瞳孔位于工作距离处时,瞳孔中心在第二副摄像头拍摄的第二眼部图像上的第二位置信息。
基于获取的第一位置信息和第二位置,在步骤204处,根据第一位置信息和第二位置信息计算与优化相关的第一截取参数和第二截取参数。在一个实施例中,前述第一截取参数包括第一截取定位信息和第一截取尺寸信息,前述第二截取参数包括第二截取定位信息和第二截取尺寸信息。可以理解,前述截取参数包括截取框的信息。具体地,前述截取定位信息和截取尺寸信息分别指截取框的位置(包括横坐标和纵坐标)和尺寸大小(包括宽和高)。特别地,截取定位信息是指截取框左上角的角点的位置。
作为示例,假设第一截取参数分别记为Rect1和第二截取参数Rect2,其中Rect1=(), Rect2=(),则()和()分别表示第一截取定位信息和第二截取定位信息,也即两个截取框左上角的角点的位置。 和 、和分别表示第一截取尺寸信息和第二截取尺寸信息,也即两个截取框的宽和高。
在一个实施例中,首先可以根据第一位置信息和第二位置信息确定截取框的宽度参数和高度参数,接着基于第一位置信息、第二位置信息、宽度参数以及高度参数计算第一截取定位信息和第一截取尺寸信息以及第二截取定位信息和第二截取尺寸信息。更为具体地,在截取框的宽度参数和高度参数时,首先可以根据第一位置信息分别计算瞳孔中心距离第一眼部图像的竖直边界的最小距离和距离第一眼部图像的水平边界的最小距离,接着根据第二位置信息分别计算瞳孔中心距离第二眼部图像的竖直边界的最小距离和距离第二眼部图像的水平边界的最小距离,进而基于瞳孔中心距离各眼部图像的竖直边界的最小距离和距离各眼部图像的水平边界的最小距离确定截取框的宽度参数和高度参数。
进一步地,将瞳孔中心距离所述第一眼部图像的竖直边界的最小距离和距离第二眼部图像的竖直边界的最小距离之间的最小值确定为截取框的宽度参数以及将瞳孔中心距离第一眼部图像的水平边界的最小距离和距离第二眼部图像的水平边界的最小距离之间的最小值确定为截取框的高度参数。也就是说,本申请实施例先通过分别计算瞳孔中心距离两个眼部图像的左右边界的最小距离和距离两个眼部图像的上下边界的最小距离,再将距离两个眼部图像的左右边界的最小距离中的最小值以及距离两个眼部图像的水平边界的最小距离中的最小值分别确定为截取框的宽度参数和高度参数。
例如在一个示例性场景中,假设上述第一位置信息记为(x1, y1),第一眼部图像的宽度和高度分别记为 和 。在该场景下,首先可以分别计算瞳孔中心距离第一眼部图像的竖直(左右)边界的最小距离和距离第一眼部图像的水平(上下)边界的最小距离。例如,假设瞳孔中心距离第一眼部图像的竖直(左右)边界的最小距离记为 ,假设瞳孔中心距离第一眼部图像的水平(上下)边界的最小距离记为,则,。
在另一个示例性场景中,假设上述第二位置信息记为(x2, y2),第二眼部图像的宽度和高度分别为 和 。在该场景下,首先可以分别计算瞳孔中心距离第二眼部图像的竖直(左右)边界的最小距离和距离第二眼部图像的水平(上下)边界的最小距离。例如,假设瞳孔中心距离第二眼部图像的竖直(左右)边界的最小距离记为,假设瞳孔中心距离第二眼部图像的水平(上下)边界的最小距离记为,则 ,。
根据前文知,在获得瞳孔中心距离两个眼部图像的左右边界的最小距离、以及距离两个眼部图像的上下边界的最小距离 、 后,可以将距离两个眼部图像的左右边界的最小距离中的最小值以及距离两个眼部图像的水平边界的最小距离中的最小值分别确定为截取框的宽度参数和高度参数。例如,假设截取框的宽度参数记为,截取框的高度参数记为 ,则 ,。
基于上述获得的截取框的宽度参数和高度参数,通过结合第一位置信息、第二位置信息可以计算第一截取定位信息和第一截取尺寸信息以及第二截取定位信息和第二截取尺寸信息。在一个实施例中,可以基于第一位置信息、第二位置信息、宽度参数以及高度参数分别计算第一截取定位信息和第二截取定位信息以及基于宽度参数和高度参数分别计算第一截取尺寸信息和第二截取尺寸信息。
具体地,将第一位置信息和第二位置信息分别沿横向和纵向移动相应宽度参数和相应高度参数,以获得第一截取定位信息和第二截取定位信息。进一步地,将宽度参数和高度参数分别乘以预设倍数,以计算第一截取尺寸信息和第二截取尺寸信息。
以上述第一位置信息和第二位置信息分别记为(x1, y1)和(x2, y2),截取框的宽度参数和高度参数分别记为和为例。假设第一截取定位信息记为(),第二截取定位信息记为(),则和可以分别为,,和 可以分别为,。即,将(x1, y1)和(x2, y2)分别沿横向和纵向移动和获得两个截取框的定位信息,也即两个截取框左上角的角点的位置,其分别对应为和。进一步地,假设第一截取尺寸信息和第二截取尺寸信息分别记为和、和,则和可以均为,和可以均为。即,截取框的尺寸大小(包括宽和高)为,。
根据上述获得的第一截取定位信息、第二截取定位信息、第一截取尺寸信息和第二截取尺寸信息,可以确定第一截取参数和第二截取参数。如前所述,假设第一截取参数分别记为Rect1和第二截取参数Rect2,其中Rect1=(), Rect2=(),则Rect1=( ), Rect2=()。
在获得第一截取参数和第二截取参数后,在步骤206处,利用第一截取参数和第二截取参数分别对第一眼部图像和第二眼部图像进行截取,以对应获得以第一位置信息为中心的第一截取图像和以第二位置信息为中心的第二截取图像,以实现对眼底相机的图像预览结果进行优化。在一个实现场景中,通过第一截取参数和第二截取参数确定的截取框分别对第一眼部图像和第二眼部图像进行截取,使得截取后的图像在工作距离对齐后瞳孔处于最中间,从而实现对眼底相机中两个副摄像头的图像预览结果进行优化。稍后将结合图3详细描述前述优化过程。
结合上述描述可知,本申请实施例通过根据对工作距离标定时瞳孔中心处于各眼部图像中的位置信息分别计算对应的截取参数,即计算对应的截取框左上角的角点的位置和尺寸大小。接着,利用各自对应的截取参数分别截取各眼部图像,以获得以瞳孔中心为中心的截取图像。由此,可以使得眼底相机的工作距离对齐时,两个副摄像头拍摄的眼部图像中的瞳孔处于最中间,以便操作人员在观看双摄像头的预览图像时,可以直观地得知眼底相机工作距离的状态,从而理解眼底相机工作距离的状态。
在一个实施例中,本申请实施例还提出在眼底相机执行工作距离对齐时,将第一截取图像和第二截取图像分别沿水平方向裁剪成上半区域和下半区域,并且将第一截取图像的上半区域和第二截取图像的下半区域进行拼接,使得眼底相机中的工作距离对齐后拼接出完整的瞳孔,以实现对优化后的图像预览结果进行展示。
可以理解,采用双目摄像头进行工作距离定位的眼底相机,会把“两个摄像头拍摄的两张图像的上、下部分拼接成完整的瞳孔”当成眼底相机工作距离对齐完成的标志,操作人员会根据是否达到了前述效果作为评判工作距离是否对齐的标准。因此,本申请实施例通过对两张图像的上、下部分拼接成的瞳孔,提高了双摄像头预览图像的“可读”和“可理解性”,便于操作人员理解眼底相机工作距离对齐的状态,从而降低了操作人员的使用难度。
图3是示出根据本申请实施例的获得截取图像的示例性示意图。如图3中所示,假设图3中的(a)图示出为眼底相机处于工作距离时第一副摄像头拍摄的第一眼部图像301,图3中的(b)图示出为眼底相机处于工作距离时第二副摄像头拍摄的第二眼部图像302。在图像预览时,眼部瞳孔303在第一眼部图像301中偏向左侧,眼部瞳孔303在第二眼部图像302中偏向右侧。在实现场景中,可以利用本申请实施例对前述图像预览结果进行优化,使得眼底相机工作距离对齐时,瞳孔处于各图像的最中间。
具体地,首先可以根据眼底相机出厂时的标定参数获取眼部瞳孔303的瞳孔中心分别在第一眼部图像301的第一位置信息(x1, y1)和在第二眼部图像302上的第二位置信息(x2, y2)。接着,根据各位置信息分别确定第一截取参数Rect1=()和第二截取参数Rect2=()。如前所述,()和()分别表示第一截取定位信息和第二截取定位信息,也即两个截取框(例如图中虚线框所示)左上角的角点(例如图中实心圆点所示)的位置。和、 和 分别表示第一截取尺寸信息和第二截取尺寸信息,也即两个截取框的宽和高。
在实施场景中,首先可以根据第一位置信息和第二位置信息确定截取框的宽度参数和高度参数,进而基于第一位置信息、第二位置信息、宽度参数以及高度参数计算第一截取定位信息和第一截取尺寸信息以及第二截取定位信息和第二截取尺寸信息。其中,截取框的宽度参数和高度参数由瞳孔中心距离两个眼部图像的左右边界的最小距离中的最小值以及距离两个眼部图像的水平边界的最小距离中的最小值来确定。
例如,假设第一眼部图像301的宽度和高度分别记为和,第二眼部图像302的宽度和高度分别为 和 ,则瞳孔中心距离第一眼部图像301的竖直(左右)边界的最小距离,瞳孔中心距离第一眼部图像301的水平(上下)边界的最小距离。进一步地,瞳孔中心距离第二眼部图像302的竖直(左右)边界的最小距离,瞳孔中心距离第二眼部图像302的水平(上下)边界的最小距离 。在该场景下,可以获得截取框的宽度参数 ,截取框的高度参数。
接着,可以根据第一位置信息、第二位置信息、宽度参数以及高度参数计算第一截取定位信息()和第一截取尺寸信息 、以及第二截取定位信息()和第二截取尺寸信息、 。作为示例,前述第一截取定位信息()为,第二截取定位信息()为。第一截取尺寸信息和第二截取尺寸信息对应的宽度和可以均为,第一截取尺寸信息和第二截取尺寸信息对应的高度和 可以均为。通过利用前述截取参数可以分别对第一眼部图像301和第二眼部图像302进行截取,以对应获得截取图像,例如图3中(a)图和(b)图中虚线框内所示分别为第一截取图像和第二截取图像。
在一个实施例中,可以将第一截取图像和第二截取图像分别沿水平方向裁剪成上半区域和下半区域,并且将第一截取图像的上半区域和第二截取图像的下半区域进行拼接,使得能够拼接出完整的瞳孔,例如图4中所示。
图4是示出根据本申请实施例的拼接效果展示的示例性示意图。如图4中上半部分为第一截取图像的上半区域401,图4中下半部分为第二截取图像的下半区域402。在眼底相机完成工作距离对齐后,第一截取图像的上半区域401和第二截取图像的下半区域402可以拼接出完整的瞳孔。
图5是示出根据本申请实施例的图像预览结果优化的示例性结果图。如图5的(a)图中左图所示为第一副摄像头拍摄的第一眼部图像,图5的(a)图中右图所示为第二副摄像头拍摄的第二眼部图像。经本申请实施例优化后,可以获得第一截取图像和第二截取图像,通过沿水平方向对第一截取图像和第二截取图像进行裁剪,获得图5的(b)图中左图所示的第一截取图像的上半区域和图5的(b)图中右图所示的第二截取图像的下半区域。由图可知,截取后的图像中瞳孔处于最中间位置。图5中的(c)图进一步示出第一截取图像的上半区域和第二截取图像的下半区域的拼接效果图。由图中可以看出,在眼底相机完成工作距离对齐后,第一截取图像的上半区域和第二截取图像的下半区域能够拼接出完整的瞳孔。
图6是示出根据本申请实施例的用于对眼底相机的图像预览结果进行优化的整体的示例性流程框图。如图6中所示,在步骤602处,获取眼底相机出厂时的标定参数,例如(x1, y1,x2, y2)。接着,在步骤604处,通过前述标定参数可以获取瞳孔中心在各眼部图像中的位置信息,包括第一位置信息(x1, y1)和第二位置信息(x2, y2)。
在获得前述位置信息后,在步骤606处,可以基于各位置信息计算第一截取参数Rect1=()和第二截取参数Rect2=()。具体地,根据各位置信息确定第一截取参数和第二截取参数中对应的定位信息()和()以及确定第一截取参数和第二截取参数中对应的尺寸信息和 、 和 。在一个实施例中,可以根据第一位置信息和第二位置信息确定截取框的宽度参数和高度参数,进而基于第一位置信息、第二位置信息、宽度参数以及高度参数计算第一截取定位信息和第一截取尺寸信息以及第二截取定位信息和第二截取尺寸信息。
接着,在步骤608处,利用上述截取参数分别对第一眼部图像和第二眼部图像进行截取,以获得第一截取图像和第二截取图像,从而实现对图像预览结果进行优化。关于优化的更多细节,可以参考上述图2-图3所述描述的内容,本申请在此不再赘述。进一步地,在步骤610处,分别将第一截取图像和第二截取图像分别沿水平方向裁剪成上半区域和下半区域,进而在步骤612处,将第一截取图像的上半区域和第二截取图像的下半区域进行拼接,以获得拼接效果图。基于获得的拼接效果图,在步骤614处,可以对拼接效果图进行展示,以便操作人员可以直观地得知眼底相机工作距离的状态。
图7是示出根据本申请实施例的用于对眼底相机的图像预览结果进行优化的设备700的示例性结构框图。可以理解的是,实现本申请方案的设备可以是单一的设备(例如计算设备)或包括各种外围设备的多功能设备。
如图7中所示,本申请的设备可以包括中央处理器或中央处理单元(“CPU”)711,其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步,设备700还可以包括大容量存储器712和只读存储器(“ROM”)713,其中大容量存储器712可以配置用于存储各类数据,包括各种与第一眼部图像和第二眼部图像、算法数据、中间结果和运行设备700所需要的各种程序。ROM 713可以配置成存储对于设备700的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。
可选地,设备700还可以包括其他的硬件平台或组件,例如示出的张量处理单元(“TPU”)714、图形处理单元(“GPU”)715、现场可编程门阵列(“FPGA”)716和机器学习单元(“MLU”)717。可以理解的是,尽管在设备700中示出了多种硬件平台或组件,但这里仅仅是示例性的而非限制性的,本领域技术人员可以根据实际需要增加或移除相应的硬件。例如,设备700可以仅包括CPU、相关存储设备和接口设备来实现本申请的用于对眼底相机的图像预览结果进行优化的方法。
一些实施例中,为了便于数据与外部网络的传递和交互,本申请的设备700还包括通信接口718,从而可以通过该通信接口718连接到局域网/无线局域网(“LAN/WLAN”)705,进而可以通过该LAN/WLAN连接到本地服务器706或连接到因特网(“Internet”)707。替代地或附加地,本申请的设备700还可以通过通信接口718基于无线通信技术直接连接到因特网或蜂窝网络,例如基于第3代(“3G”)、第4代(“4G”)或第5代(“5G”)的无线通信技术。在一些应用场景中,本申请的设备700还可以根据需要访问外部网络的服务器708和数据库709,以便获得各种已知的算法、数据和模块,并且可以远程地存储各种数据,例如用于呈现例如眼部图像、截取图像、拼接图像等的各类数据或指令。
设备700的外围设备可以包括显示装置702、输入装置703和数据传输接口704。在一个实施例中,显示装置702可以例如包括一个或多个扬声器和/或一个或多个视觉显示器,其配置用于对本申请的优化眼底相机的图像预览结果进行语音提示和/或图像视频显示。输入装置703可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件,其配置用于接收音频数据的输入和/或用户指令。数据传输接口704可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机系统接口(“SCSI”)、串行ATA、火线(“FireWire”)、PCI Express和高清多媒体接口(“HDMI”)等,其配置用于与其他设备或系统的数据传输和交互。根据本申请的方案,该数据传输接口704可以接收来自于眼底相机的两个副摄像头拍摄的眼部图像,并且向设备700传送包括两个副摄像头拍摄的眼部图像或各种其他类型的数据或结果。
本申请的设备700的上述CPU 711、大容量存储器712、ROM 713、TPU 714、GPU 715、FPGA 716、MLU 717和通信接口718可以通过总线719相互连接,并且通过该总线与外围设备实现数据交互。在一个实施例中,通过该总线719,CPU 711可以控制设备700中的其他硬件组件及其外围设备。
以上结合图7描述了可以用于执行本申请的用于对眼底相机的图像预览结果进行优化的设备。需要理解的是这里的设备结构或架构仅仅是示例性的,本申请的实现方式和实现实体并不受其限制,而是可以在不偏离本申请的精神下做出改变。
根据上述结合附图的描述,本领域技术人员也可以理解本申请的实施例还可以通过软件程序来实现。由此本申请还提供了一种计算机程序产品。该计算机程序产品可以用于实现本申请结合附图1-图6所描述的用于对眼底相机的图像预览结果进行优化的方法。
应当注意,尽管在附图中以特定顺序描述了本申请方法的操作,但是这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
应当理解,当本申请的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时,其仅用于区别不同对象,而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
虽然本申请的实施方式如上,但所述内容只是为便于理解本申请而采用的实施例,并非用以限定本申请的范围和应用场景。任何本申请所述技术领域内的技术人员,在不脱离本申请所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本申请的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种用于对眼底相机的图像预览结果进行优化的方法,所述眼底相机至少包括两个副摄像头,并且所述两个副摄像头分别拍摄获得第一眼部图像和第二眼部图像,其特征在于,所述方法包括:
基于对眼底相机的工作距离的标定参数获取眼部的瞳孔中心在所述第一眼部图像中的第一位置信息和在所述第二眼部图像中的第二位置信息;
根据所述第一位置信息和所述第二位置信息计算与优化相关的第一截取参数和第二截取参数;以及
利用所述第一截取参数和所述第二截取参数分别对所述第一眼部图像和所述第二眼部图像进行截取,以对应获得以所述第一位置信息为中心的第一截取图像和以所述第二位置信息为中心的第二截取图像,以实现对眼底相机的图像预览结果进行优化。
2.根据权利要求1所述的方法,其特征在于,所述第一截取参数包括第一截取定位信息和第一截取尺寸信息,所述第二截取参数包括第二截取定位信息和第二截取尺寸信息,并且根据所述第一位置信息和所述第二位置信息计算与优化相关的第一截取参数和第二截取参数包括:
根据所述第一位置信息和所述第二位置信息确定截取框的宽度参数和高度参数;以及
基于所述第一位置信息、所述第二位置信息、所述宽度参数以及所述高度参数计算所述第一截取定位信息和所述第一截取尺寸信息以及所述第二截取定位信息和所述第二截取尺寸信息。
3.根据权利要求2所述的方法,其特征在于,根据所述第一位置信息和所述第二位置信息确定截取框的宽度参数和高度参数包括:
根据所述第一位置信息分别计算所述瞳孔中心距离所述第一眼部图像的竖直边界的最小距离和距离所述第一眼部图像的水平边界的最小距离;
根据所述第二位置信息分别计算所述瞳孔中心距离所述第二眼部图像的竖直边界的最小距离和距离所述第二眼部图像的水平边界的最小距离;以及
基于所述瞳孔中心距离各眼部图像的竖直边界的最小距离和距离各眼部图像的水平边界的最小距离确定截取框的宽度参数和高度参数。
4.根据权利要求3所述的方法,其特征在于,基于所述瞳孔中心距离各眼部图像的竖直边界的最小距离和距离各眼部图像的水平边界的最小距离确定截取框的宽度参数和高度参数包括:
将所述瞳孔中心距离所述第一眼部图像的竖直边界的最小距离和距离所述第二眼部图像的竖直边界的最小距离之间的最小值确定为截取框的宽度参数;以及
将所述瞳孔中心距离所述第一眼部图像的水平边界的最小距离和距离所述第二眼部图像的水平边界的最小距离之间的最小值确定为截取框的高度参数。
5.根据权利要求2所述的方法,其特征在于,基于所述第一位置信息、所述第二位置信息、所述宽度参数以及所述高度参数计算所述第一截取定位信息和所述第一截取尺寸信息以及所述第二截取定位信息和所述第二截取尺寸信息包括:
基于所述第一位置信息、所述第二位置信息、所述宽度参数以及所述高度参数分别计算所述第一截取定位信息和所述第二截取定位信息;以及
基于所述宽度参数和所述高度参数分别计算所述第一截取尺寸信息和所述第二截取尺寸信息。
6.根据权利要求5所述的方法,其特征在于,基于所述第一位置信息、所述第二位置信息、所述宽度参数以及所述高度参数分别计算所述第一截取定位信息和所述第二截取定位信息包括:
将所述第一位置信息和所述第二位置信息分别沿宽度和纵向移动相应宽度参数和相应高度参数,以获得所述第一截取定位信息和所述第二截取定位信息。
7.根据权利要求5所述的方法,其特征在于,基于所述宽度参数和所述高度参数分别计算所述第一截取尺寸信息和所述第二截取尺寸信息包括:
将所述宽度参数和所述高度参数分别乘以预设倍数,以计算所述第一截取尺寸信息和所述第二截取尺寸信息。
8.根据权利要求1所述的方法,其特征在于,还包括:
响应于所述眼底相机执行工作距离对齐,将所述第一截取图像和所述第二截取图像分别沿水平方向裁剪成上半区域和下半区域;以及
将所述第一截取图像的上半区域和所述第二截取图像的下半区域进行拼接,使得所述眼底相机中的工作距离对齐后拼接出完整的瞳孔,以对优化后的图像预览结果进行展示。
9.一种用于对眼底相机的图像预览结果进行优化的设备,其特征在于,包括:
处理器;以及
存储器,其存储有用于对眼底相机的图像预览结果进行优化的程序指令,当所述程序指令由所述处理器执行时,使得所述设备实现根据权利要求1-8任意一项所述的方法。
10.一种计算机可读存储介质,其上存储有用于对眼底相机的图像预览结果进行优化的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现如权利要求1-8任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211269310.4A CN115379121B (zh) | 2022-10-17 | 2022-10-17 | 对眼底相机的图像预览结果进行优化的方法和相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211269310.4A CN115379121B (zh) | 2022-10-17 | 2022-10-17 | 对眼底相机的图像预览结果进行优化的方法和相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115379121A CN115379121A (zh) | 2022-11-22 |
CN115379121B true CN115379121B (zh) | 2022-12-20 |
Family
ID=84074001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211269310.4A Active CN115379121B (zh) | 2022-10-17 | 2022-10-17 | 对眼底相机的图像预览结果进行优化的方法和相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115379121B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103491857A (zh) * | 2011-04-27 | 2014-01-01 | 卡尔蔡司医疗技术股份公司 | 用于改善眼科成像的系统和方法 |
CN110604543A (zh) * | 2018-06-15 | 2019-12-24 | 株式会社拓普康 | 眼科装置 |
CN111449620A (zh) * | 2020-04-30 | 2020-07-28 | 上海美沃精密仪器股份有限公司 | 一种全自动眼底相机及其自动照相方法 |
CN113572964A (zh) * | 2021-08-04 | 2021-10-29 | 上海传英信息技术有限公司 | 图像处理方法、移动终端及存储介质 |
CN114972462A (zh) * | 2022-07-27 | 2022-08-30 | 北京鹰瞳科技发展股份有限公司 | 对眼底相机的工作距离对齐效果进行优化的方法及其相关产品 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6349878B2 (ja) * | 2014-03-31 | 2018-07-04 | 株式会社ニデック | 眼科撮影装置、眼科撮影方法、及び眼科撮影プログラム |
-
2022
- 2022-10-17 CN CN202211269310.4A patent/CN115379121B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103491857A (zh) * | 2011-04-27 | 2014-01-01 | 卡尔蔡司医疗技术股份公司 | 用于改善眼科成像的系统和方法 |
CN110604543A (zh) * | 2018-06-15 | 2019-12-24 | 株式会社拓普康 | 眼科装置 |
CN111449620A (zh) * | 2020-04-30 | 2020-07-28 | 上海美沃精密仪器股份有限公司 | 一种全自动眼底相机及其自动照相方法 |
CN113572964A (zh) * | 2021-08-04 | 2021-10-29 | 上海传英信息技术有限公司 | 图像处理方法、移动终端及存储介质 |
CN114972462A (zh) * | 2022-07-27 | 2022-08-30 | 北京鹰瞳科技发展股份有限公司 | 对眼底相机的工作距离对齐效果进行优化的方法及其相关产品 |
Also Published As
Publication number | Publication date |
---|---|
CN115379121A (zh) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3105921B1 (en) | Photo composition and position guidance in an imaging device | |
US8854359B2 (en) | Image processing apparatus, image processing method, storage medium, and image processing system | |
WO2020140758A1 (zh) | 图像显示方法、图像处理方法和相关设备 | |
CN105814876B (zh) | 图像处理设备和方法 | |
WO2021204296A1 (zh) | 三维模型远程展示方法、第一终端、电子设备及存储介质 | |
WO2019052534A1 (zh) | 图像拼接方法及装置、存储介质 | |
WO2012025042A1 (zh) | 视频画面显示方法及装置 | |
US11893081B2 (en) | Map display method and apparatus | |
WO2017032035A1 (zh) | 调节方法、调节装置和终端 | |
WO2024139491A1 (zh) | 一种全景图像的确定方法、装置、设备及存储介质 | |
CN106506987B (zh) | Led显示控制方法、图像拼接边缘优化方法及处理装置 | |
TWI524258B (zh) | 電子書顯示調整系統及方法 | |
WO2021135683A1 (zh) | 一种显示终端调整方法及显示终端 | |
WO2023005050A1 (zh) | 全自动实现多屏拼接方法、设备及存储介质 | |
US10802786B2 (en) | Content sharing methods and apparatuses | |
WO2023246302A1 (zh) | 字幕的显示方法、装置、设备及介质 | |
CN115379121B (zh) | 对眼底相机的图像预览结果进行优化的方法和相关产品 | |
CN105446687A (zh) | 一种拼墙窗口图像信号局部放大的方法和装置 | |
WO2019114653A1 (zh) | 一种导航引导图的生成方法和装置 | |
CN110928509A (zh) | 显示控制方法、显示控制装置、存储介质、通信终端 | |
CN114928718A (zh) | 视频监控方法、装置、电子设备及存储介质 | |
CN108510433B (zh) | 空间展示方法、装置及终端 | |
WO2019179023A1 (zh) | 室内图像处理方法、服务器及计算机可读存储介质 | |
CN115866353B (zh) | 应用于车辆显示屏的屏幕方向的控制方法、装置及设备 | |
AU2011314243B2 (en) | Presenting two-dimensional elements in three-dimensional stereo applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |