CN113974546A - 一种翼状胬肉检测方法和移动终端 - Google Patents
一种翼状胬肉检测方法和移动终端 Download PDFInfo
- Publication number
- CN113974546A CN113974546A CN202010731055.5A CN202010731055A CN113974546A CN 113974546 A CN113974546 A CN 113974546A CN 202010731055 A CN202010731055 A CN 202010731055A CN 113974546 A CN113974546 A CN 113974546A
- Authority
- CN
- China
- Prior art keywords
- region
- pterygium
- eye
- contour
- iris
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 201000002154 Pterygium Diseases 0.000 title claims abstract description 114
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 210000001747 pupil Anatomy 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 44
- 210000000744 eyelid Anatomy 0.000 claims abstract description 35
- 230000009545 invasion Effects 0.000 claims abstract description 21
- 210000001508 eye Anatomy 0.000 claims description 130
- 210000003786 sclera Anatomy 0.000 claims description 16
- 238000005259 measurement Methods 0.000 abstract description 3
- 210000000554 iris Anatomy 0.000 description 66
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 210000004087 cornea Anatomy 0.000 description 4
- 230000000284 resting effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 239000013589 supplement Substances 0.000 description 4
- 241001621636 Pterygia Species 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001179 pupillary effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010020565 Hyperaemia Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000000795 conjunctiva Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002789 length control Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001613 neoplastic effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种翼状胬肉检测方法,适于在移动终端中执行,该方法包括步骤:采集待测用户的眼部图像序列,从中选取合格的目标图像,所述目标图像从内而外依次包括瞳孔区域、虹膜区域、巩膜区域、以及眼睑和眼角区域;对目标图像的瞳孔轮廓、虹膜轮廓、眼睑轮廓进行检测,并根据检测结果标记翼状胬肉的侵入区域;获取侵入区域的实测轮廓线或拟合轮廓线,并在侵入区域内确定一个或多个种子点;以该种子点为起点,采用区域增长算法得到侵入区域的翼状胬肉,该区域增长算法在生长到本区域的轮廓线时停止生长;以及根据各区域的区域增长结果计算目标图像中出现翼状胬肉的概率值。本发明还公开了用于执行该方法的移动终端。
Description
技术领域
本发明涉及AI(Artificial Intelligence,人工智能)医疗领域,尤其涉及一种翼状胬肉检测方法和移动终端。
背景技术
翼状胬肉是一种眼科常见病和多发病,多见于鼻侧,呈三角形,是睑裂部球结膜与角膜上一种赘生组织。胬肉覆盖到角膜上可能引起散光,侵犯角膜后日渐增大,甚至可覆盖至瞳孔区而严重影响视力。
翼状胬肉可表现为静止期或进行期。静止期的胬肉多年不生长,头部扁平,体部不充血,表面平滑,呈薄膜状,该时期的胬肉可以观察暂不治疗。进行期的胬肉不断增长扩大,头部隆起,体部肥厚,表面不平,有粗大而扩张的血管,因为充血看起来比较红,该时期的胬肉可能需要手术治疗。
翼状胬肉的发病原因尚无公认的理论,一般认为与紫外线长时间接触关系密切,另外可能与风尘、化学物刺激、烟雾等长期的慢性刺激有关。因此,在易发人群中开展广泛的定期检查、早期预警、病情评估等措施,有助于尽早发现、尽早治疗。传统的方法需要通过医生现场对病人进行线下的亲自诊断,需要病人到现场,不方便也不便捷。即使病人到现场拍摄了眼部图像,现有技术中也大多是基于虹膜圆来识别出虹膜区域内的翼状胬肉,而实际上翼状胬肉可以分布在眼部多个区域,单单对虹膜进行识别,并不准确。
发明内容
为此,本发明提供一种翼状胬肉检测方法和移动终端,以力图解决或至少缓解上面存在的问题。
根据本发明的一个方面,提供了一种翼状胬肉检测方法,适于在移动终端中执行,该方法包括步骤:采集待测用户的眼部图像序列,从中选取合格的目标图像,目标图像从内而外依次包括瞳孔区域、虹膜区域、巩膜区域、以及眼睑和眼角区域;对目标图像的瞳孔轮廓、虹膜轮廓、眼睑轮廓进行检测,并根据检测结果确定翼状胬肉的侵入区域;获取侵入区域的实测轮廓线或拟合轮廓线,并在所述侵入区域内确定一个或多个种子点;以该种子点为起点,采用区域增长算法得到所述侵入区域的翼状胬肉,区域增长算法在生长到本区域的轮廓线时停止生长;以及根据各区域的区域增长结果计算目标图像中出现翼状胬肉的概率值。
可选地,在根据本发明的翼状胬肉检测方法中,还包括步骤:从侵入区域的种子点,采用区域增长算法识别出包含该种子点的完整翼状胬肉;将从所有侵入区域内识别出的完整翼状胬肉取并集,作为该目标图像中翼状胬肉的总区域。
可选地,在根据本发明的翼状胬肉检测方法中,种子点为以下任意一种:用户指定的翼状胬肉点、各区域内的随机点、或者根据翼状胬肉的先验知识而识别的特征点。
可选地,在根据本发明的翼状胬肉检测方法中,区域增长算法根据像素颜色和像素亮度进行识别,区域增长结果包括各侵入区域内翼状胬肉的面积占比。
可选地,在根据本发明的翼状胬肉检测方法中,概率值根据翼状胬肉与瞳孔区域、虹膜区域、巩膜区域的亮度和颜色差异、以及翼状胬肉的亮度和颜色的先验知识计算得到。
可选地,在根据本发明的翼状胬肉检测方法中,还包括步骤:将目标图像、面积占比、概率值以及用户信息一并上传至服务器进行保存。
可选地,在根据本发明的翼状胬肉检测方法中,检测结果包括以下任意一种:瞳孔轮廓完整度,瞳孔左右差异,虹膜轮廓完整度,虹膜左右差异、巩膜左右差异、与正常眼睛的颜色和亮度差异。
可选地,在根据本发明的翼状胬肉检测方法中,移动终端具有翼状胬肉检测应用,应用具有眼部位置提示框和拍照按钮,获取待测用户的眼部图像序列的步骤包括:在眼部位置提示框的引导下,通过所述应用的拍照按钮调用所述移动终端的相机镜头组件,以获取多张待测用户的眼部图像,所述眼部图像不含景物反射光斑。
可选地,在根据本发明的翼状胬肉检测方法中,眼部位置提示框具有眼部轮廓提示线和/或眼部特征提示点;眼部轮廓提示线包括眼睑轮廓线和/或虹膜轮廓线;眼部特征提示点包括左眼角定位点和/或右眼角定位点。
可选地,在根据本发明的翼状胬肉检测方法中,移动终端具有LED补光灯和/或微距镜头,用于采集所述眼部图像序列。
可选地,在根据本发明的翼状胬肉检测方法中,选取合格的目标图像的步骤包括:选取图像对焦、运动模糊性和眼部角度均合格的图像作为目标图像;图像对焦、运动模糊性和眼部角度根据移动终端的相机参数、眼睛生理参数和眼部图像序列参数计算得到。
可选地,在根据本发明的翼状胬肉检测方法中,相机参数包括焦距、光学中心和失真参数;眼睛生理数据包括瞳间距、虹膜直径、瞳孔和虹膜相对位置;眼部图像序列参数包括图像序列中各图像的频谱、瞳间距、虹膜直径、瞳孔和虹膜的相对位置、瞳孔和虹膜轮廓的离心率。
可选地,在根据本发明的翼状胬肉检测方法中,瞳孔轮廓和虹膜轮廓采用Hough圆算法检测,所述眼睑轮廓和眼角采用人脸特征点算法检测。
根据本发明的另一方面,提供了一种移动终端,包括:一个或多个处理器;存储器;和一个或多个程序,其中该一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行,该一个或多个程序包括用于执行如上所述的翼状胬肉检测方法的指令。
根据本发明的又一方面,提供了一种存储一个或多个程序的可读存储介质,所述一个或多个程序包括指令,该指令当被移动终端执行时,使得该移动终端执行如上所述的翼状胬肉检测方法。
根据本发明的技术方案,采用移动终端获取到待测用户的眼部图像,通过该终端程序即可识别出该眼部图像中的翼状胬肉问题,能够快速筛查、检测和评估眼部图像中的翼状胬肉,实现了翼状胬肉远程检测。本发明可部署在移动终端的应用程序上,易于推广应用,能够早期发现病情并给与医学处理。进一步地,本发明还可以利用移动终端的后置相机和遮挡衰减的补光灯,捕捉眼睛图像,检测进展期和静止期的翼状胬肉,并生成严重程度的计算结果。之后,应用程序将该检测结果上传至服务器,建立患者档案,以辅助医生进行远程诊断、预防和治疗。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的移动终端100的示意图;
图2示出了根据本发明一个实施例的翼状胬肉检测方法200的流程图;
图3示出了根据本发明一个实施例的捕捉眼部图像时多种复杂情况的示意图;
图4和图5分别示出了根据本发明一个实施例的目标图像、以及该目标图像中翼状胬肉分割结果的示意图;
图6和图7分别示出了根据本发明一个实施例的应用程序检测翼状胬肉的界面图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的移动终端100的结构框图。移动终端100可以包括存储器接口102、一个或多个数据处理器、图像处理器和/或中央处理单元104,以及外围接口106。
存储器接口102、一个或多个处理器104和/或外围接口106既可以是分立元件,也可以集成在一个或多个集成电路中。在移动终端100中,各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子系统可以耦合到外围接口106,以便帮助实现多种功能。
例如,运动传感器110、光线传感器112和距离传感器114可以耦合到外围接口106,以方便定向、照明和测距等功能。其他传感器116同样可以与外围接口106相连,例如定位系统(例如GPS接收机)、加速度传感器、温度传感器、生物测定传感器或其他感测设备,由此可以帮助实施相关的功能。
相机子系统120和光学传感器122可以用于方便诸如记录照片和视频剪辑的相机功能的实现,其中所述相机子系统和光学传感器例如可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器。可以通过一个或多个无线通信子系统124来帮助实现通信功能,其中无线通信子系统可以包括射频接收机和发射机和/或光(例如红外)接收机和发射机。无线通信子系统124的特定设计和实施方式可以取决于移动终端100所支持的一个或多个通信网络。例如,移动终端100可以包括被设计成支持LTE、3G、GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及BlueboothTM网络的通信子系统124。
音频子系统126可以与扬声器128以及麦克风130相耦合,以便帮助实施启用语音的功能,例如语音识别、语音复制、数字记录和电话功能。I/O子系统140可以包括触摸屏控制器142和/或一个或多个其他输入控制器144。触摸屏控制器142可以耦合到触摸屏146。举例来说,该触摸屏146和触摸屏控制器142可以使用多种触摸感测技术中的任何一种来检测与之进行的接触和移动或是暂停,其中感测技术包括但不局限于电容性、电阻性、红外和表面声波技术。
一个或多个其他输入控制器144可以耦合到其他输入/控制设备148,例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、USB端口、和/或指示笔之类的指点设备。所述一个或多个按钮(未显示)可以包括用于控制扬声器128和/或麦克风130音量的向上/向下按钮。
存储器接口102可以与存储器150相耦合。该存储器150可以包括高速随机存取存储器和/或非易失性存储器,例如一个或多个磁盘存储设备,一个或多个光学存储设备,和/或闪存存储器(例如NAND,NOR)。存储器150可以存储操作系统152,例如Android、iOS或是Windows Phone之类的操作系统。该操作系统152可以包括用于处理基本系统服务以及执行依赖于硬件的任务的指令。存储器150还可以存储应用154(即,应用程序,以下简称应用)。在移动终端运行时,会从存储器150中加载操作系统152,并且由处理器104执行。应用154在运行时,也会从存储器150中加载,并由处理器104执行。应用154运行在操作系统之上,利用操作系统以及底层硬件提供的接口实现各种用户期望的功能,如即时通信、网页浏览、图片管理、视频播放等。应用154可以是独立于操作系统提供的,也可以是操作系统自带的,包括各种社交应用软件,如QQ、微信、微博等,也包括各种视频播放游戏直播等应用软件,还可以包括相册、计算器、录音笔等系统自带应用程序。另外,应用154被安装到移动终端100中时,也可以向操作系统添加驱动模块。
本发明的实施例所提供的用于执行翼状胬肉检测方法200的程序为应用154的一种。在一些实施例中,移动终端100被配置为执行根据本发明的翼状胬肉检测方法200,该移动终端可以为iOS终端。
图2示出了根据本发明一个实施例的翼状胬肉检测方法200的流程图,适于在移动终端中执行,如在移动终端100中执行,用于检测用户眼部图像中的翼状胬肉。
如图2所示,该方法始于步骤S210。在步骤S210中,采集待测用户的眼部图像序列,从中选取合格的目标图像,该目标图像从内而外依次包括瞳孔区域、虹膜区域、巩膜区域、以及眼睑和眼角区域。
根据本发明的一个实施例,移动终端具有翼状胬肉检测应用,该应用具有眼部位置提示框和拍照按钮。该眼部位置提示框具有眼部轮廓提示线和/或眼部特征提示点;眼部轮廓提示线包括眼睑轮廓线和/或虹膜轮廓线;眼部特征提示点包括左眼角定位点和/或右眼角定位点。拍照按钮可调用相机镜头组件,如调用后置相机。另外,移动终端具有LED补光灯和/或微距镜头,用于采集眼部图像序列。其中,自供电LED辅助照明的微距镜头夹在终端的后置相机上,用于获得较高分辨率的眼睛图像。此时,拍照按钮可开启补光灯、后置相机或微距镜头等,来获取待测人员的眼部图像,该眼部图像通过预览的形式显示在终端屏幕上。
基于此,获取待测用户的眼部图像序列的步骤包括:在眼部位置提示框的引导下,通过应用的拍照按钮调用移动终端的相机镜头组件,以获取多张待测用户的眼部图像,该眼部图像不含景物反射光斑。其中,相机以一定帧率连续捕捉图像,将一段时间内捕捉到的图像都保存到内存或存储卡中,得到眼部图像序列。
这里,可分左右眼分别获取人的眼部图像,待测人员可以根据终端屏幕中的左右眼的文字提示来拍照对应的眼部图像。每次拍照时,在屏幕的矩形框中显示眼部提示线或提示点,方便用户完成眼睛定位后进行拍照。
而且,考虑到捕捉眼睛图像时面临时可能面对的复杂情况,如图3所示,从上到下a-f六种情况分别为正视情况、斜视情况、遮挡一侧虹膜瞳孔情况、遮挡两侧虹膜情况、撑开眼睑情况、反射外界景物情况。因此,本发明提供了多种眼睛定位方法,具体包括自动眼睛定位、半自动眼睛定位、半自动眼部特征点定位。自动眼睛定位基于传统的Adaboost算法或基于深度学习的SSD等算法。自动眼睛定位的眼部特征点是LBP特征或经过卷积神经网络训练得到的特征。半自动定位时由人工辅助眼睛定位框,标记眼角、眼睑上的若干点等人类容易理解的特征。采集时,尽量使眼睛落在界面上的提示框内。当自动眼睛定位失败时,可将该提示框内截取的目标图像用于后续半自动检测的人工标记过程。
考虑到存在病变的眼睛可能影响眼睛的自动检测,可利用眨眼辅助眼睛定位和眼睑边界检测,必要时可以人工辅助标记眼睛位置并跟踪。对于老年人较松弛的眼睑或眼睑开度小需要撑开眼睑进行检查等复杂情况,可以采取人工辅助标记特征点的方式进行目标区域的定位和跟踪。
另外,获取眼部图像时,应避免外界光线干扰,在室内进行,避免阳光直射。采集过程需要尽量保持移动终端和人眼相对稳定,以便尽快完成采集和检测过程。同时,使用可见光弥散照明法均匀照亮眼睛区域,光源在眼睛图像上呈现为反射光斑;还应避免在角膜上形成室内景物的反射图像,例如窗户、屏幕和灯等较亮的物体。理想的眼睛图像中至多只有补光灯的光斑。
而且,本发明还可以使用终端LED补光灯、裂隙灯等光源加附磨砂滤光片或其它替代物,以便减少对眼睛的刺激。其中,移动终端摄像闪光灯的白光LED光谱通常由400~460nm范围内的蓝光和460~610范围内的激发光波段组成。对于305~700nm波段的可见光,加权视网膜辐照度应小于220μW/cm2。而使用裂隙灯作为辅助照明时,应需从最暗档开始操作。
应当理解的是,用终端拍摄眼睛时,可能存在前后对焦过程和抖动,引起离焦模糊和运动模糊。为了观察到眼角处是否存在翼状胬肉,采集眼睛图像时,需要被采集者左右转动眼球。因此需要对获取到的图像序列进行筛选,得到目标图像。
根据本发明的另一个实施例,选取合格的目标图像的步骤包括:选取图像对焦、运动模糊性和眼部角度均合格的图像作为目标图像。其中,图像对焦、运动模糊性和眼部角度根据移动终端的相机参数、眼睛生理参数和眼部图像序列参数计算得到。
具体地,相机参数包括焦距、光学中心和失真参数;眼睛生理数据包括瞳间距、虹膜直径、瞳孔和虹膜相对位置;眼部图像序列参数包括图像序列中各图像的频谱、瞳间距、虹膜直径、瞳孔和虹膜的相对位置、瞳孔和虹膜轮廓的离心率。本发明用于选取合格的图像的指标包括清晰图像的频谱应包含较多的高频成分,角度合适的瞳孔和虹膜轮廓应接近同心圆等。当挑选出来的合格眼睛图像得到认可后,继续进行翼状胬肉检测。
随后,在步骤S220中,对目标图像的瞳孔轮廓、虹膜轮廓、眼睑轮廓进行检测,并根据检测结果确定翼状胬肉的侵入区域。
其中,检测结果包括以下至少一种:瞳孔轮廓完整度、瞳孔左右差异、虹膜轮廓完整度、虹膜左右差异、巩膜左右差异、与正常眼睛的颜色和亮度差异。其中,实际瞳孔轮廓可能不是完整的圆,瞳孔轮廓完整度可以定位为实际瞳孔轮廓长度与拟合的圆的周长之比(length_contour_pupil_left/perimeter_circle_pupil_left)。虹膜左右差异可以包括虹膜直径的差异(abs(d_iris_left-d_iris_right)/d_iris_right)、虹膜区域亮度直方图的差异等。本发明可根据这些综合结果来判断翼状胬肉的侵入区域。
根据一个实施例,在步骤S220中,本发明检测目标图像的瞳孔轮廓、虹膜轮廓、眼睑轮廓是否完整,并将完整轮廓外的一个或多个区域均标记为侵入区域。相应地,完整轮廓内的一个或多个区域均标记为未侵入区域。
在眼睛图像中,翼状胬肉通常表现为没有清晰的轮廓的不规则形状。对于不同发展程度的翼状胬肉,从眼角开始,可能依次覆盖巩膜、虹膜和瞳孔。分割算法尝试检测瞳孔轮廓、虹膜轮廓、眼睑轮廓、眼角和巩膜区域等目标,然后分析巩膜、虹膜和瞳孔中存在翼状胬肉的可能性及其严重程度。已知瞳孔轮廓、虹膜轮廓、眼睑轮廓时,就可自动确定巩膜区域。检测顺序是瞳孔轮廓、虹膜轮廓、眼睑轮廓、眼角、巩膜区域,或者眼睑轮廓、眼角、瞳孔轮廓、虹膜轮廓、巩膜区域。
当瞳孔轮廓检测失败时,可能是由于翼状胬肉已侵入瞳孔区域较多,此时侵入区域包括瞳孔区域、虹膜区域、巩膜区域、眼睑和眼角区域。若瞳孔轮廓检测完整,则代表翼状胬肉未侵入瞳孔区域。
当瞳孔轮廓完整但虹膜轮廓检测失败,则代表翼状胬肉侵入到了虹膜区域,此时侵入区域包括虹膜区域、巩膜区域、眼睑和眼角区域。若当虹膜轮廓检测完整,则代表翼状胬肉未侵入虹膜区域和瞳孔区域。
当虹膜轮廓完整但眼睑和眼角轮廓检测失败,则代表翼状胬肉侵入到了巩膜区域,此时侵入区域包括巩膜区域、眼睑和眼角区域。若当眼睑和眼角轮廓检测完整,一般指翼状胬肉未发生。
存在多种瞳孔轮廓、虹膜轮廓和眼睑轮廓的检测方法,本发明不受限于具体的形式,所有能够检测出眼部图像的瞳孔轮廓、虹膜轮廓和眼睑轮廓的算法,均在本发明的保护范围之内。根据一个实施例,瞳孔轮廓和虹膜轮廓采用Hough圆算法检测,眼睑轮廓和眼角采用人脸特征点算法检测。
随后,在步骤S230中,获取侵入区域的实测轮廓线或拟合轮廓线,并在侵入区域内确定一个或多个种子点。
当然,各侵入区域的轮廓线还可以是用户在眼部图像中手绘的轮廓线。优选用实测轮廓线,也就是步骤S220中检测出的轮廓线,如果实测轮廓线没有,则根据已有的轮廓点得到拟合后的轮廓线。如果拟合轮廓线也不太准确,则可采用用户手绘的轮廓线。获取各侵入区域的实测轮廓线或拟合轮廓线,实际也就是分割出各侵入区域。
根据一个实施例,种子点为以下任意一种:用户指定的翼状胬肉点、各区域内的随机点、或者根据翼状胬肉的先验知识而识别的特征点。每个侵入区域内,均可确定一个或多个种子点。
随后,在步骤S240中,以该种子点为起点,采用区域增长算法得到侵入区域的翼状胬肉,区域增长算法在生长到本区域的轮廓线时停止生长。
也就是,当瞳孔轮廓检测失败时,可由用户指定瞳孔和瞳孔中的近似翼状胬肉区域。算法进行瞳孔中的翼状胬肉分割,并利用该信息采用区域增长等方法检测虹膜和巩膜中的翼状胬肉。当虹膜轮廓检测失败时,可由用户指定估计的虹膜轮廓点和虹膜中的近似翼状胬肉区域。算法进行虹膜中的翼状胬肉分割,并利用该信息采用区域增长等方法检测巩膜中的翼状胬肉。当眼睑轮廓和眼角检测失败,从而巩膜区域检测失败时,可由用户指定巩膜区域和巩膜中的近似翼状胬肉区域。一般地,只存在于巩膜中的翼状胬肉通常是早期的,显著程度较低,可由用户进一步指定多个巩膜区域,算法通过对比分析的方式检测翼状胬肉。
这里,区域增长算法根据像素颜色和像素亮度等特征进行识别。瞳孔区域、虹膜区域、巩膜区域、眼睑和眼角区域都有对应的图像原色和亮度,在这些区域内生长出的翼状胬肉也有对应的像素颜色和亮度。根据这些区别来逐渐识别出翼状胬肉。
另外,以上实现方式中,区域增长算法生长到轮廓线时会自动停止生长,以确定每个区域内的翼状胬肉。在另一种实现方式中,区域增长算法生长到轮廓线时并不会停止生长,而会继续生长到把整条翼状胬肉都识别出来。具体而言,从侵入区域的种子点,采用区域增长算法识别出包含该种子点的完整翼状胬肉;将从所有侵入区域内识别出的完整翼状胬肉取并集,作为该目标图像中翼状胬肉的总区域。此时,可根据该总区域所占像素点面积与眼睑轮廓内的面积,计算该翼状胬肉总区域在目标图像的面积占比。
随后,在步骤S250中,根据各区域的区域增长结果计算目标图像中出现翼状胬肉的概率值。
根据一个实施例,区域增长结果包括各侵入区域内翼状胬肉的面积占比。已知各区域的轮廓线,以及每个区域内检测出的翼状胬肉像素点,则根据平面几何知识可以计算该区域内翼状胬肉的面积占比。本发明的应用程序逐像素地标记出眼睛图像中存在翼状胬肉的可能性,并统计翼状胬肉在瞳孔、虹膜和巩膜等区域中的占比。
结合前文可知,本发明计算了每个侵入区域内的翼状胬肉占比,同时还可计算整个目标图像中的翼状胬肉占比。根据这些占比值可计算目标图像中出现翼状胬肉的概率值,各占比值与概率值的对应关系,本领域技术人员可以根据需要自行设定,本发明对此不作限制。
在另一种实现方式中,概率值根据翼状胬肉与瞳孔区域、虹膜区域、巩膜区域的亮度和颜色差异、以及翼状胬肉的亮度和颜色的先验知识计算得到。该概率值可以是这些差异和先验知识的加权,加权系数通过实验或训练得到。
根据另一个实施例,在计算得到概率值之后,方法200还可以包括步骤:将目标图像、面积占比、概率值以及用户信息一并上传至服务器进行保存。图4为本发明的一张目标图像的示意图,图5为对该目标图像进行处理后的结果图,其中分割出了眼睑区域、虹膜区域、瞳孔区域。
图6和图7示出了根据本发明一个实施例的移动终端的应用程序界面示意图,其显示了翼状胬肉的检测结果,其中图6为竖屏模式,图7为横屏模式,横屏模式可进一步放大眼部图像。图6和图7在图5的基础上,计算得到了翼状胬肉的面积占比和概率值。将这些检测结果上传至服务器后,可建立患者档案,为医生远程评估提供参考。
在进行终端操作时,首先点击采集功能按钮后进入姓名等信息采集页面(可以点击跳过输入),输入后进入采集页面。采集界面包含预览画面、指示性矩形框、采集按钮、图像/结果查看按钮,以及一个展示是否得病结果的简单图形。此外,图像被点击后可以在结果图和原图间进行切换,左右滑动可以切换图像。之后,选取原始图像和相应的检测结果上传到服务器,建立患者档案。同时,本发明提供修改参数选项功能,点击后出现滑动按钮,滑动按钮可以修改部分参数实现对算法的控制。
根据本发明的技术方案,通过终端应用程序,利用后置相机和遮挡衰减的补光灯,捕捉眼睛图像,检测该眼部图像内进展期和静止期的翼状胬肉,并评估严重程度。之后,应用程序上传检测结果到服务器,为诊断过程提供参考。
A9、如A8所述的方法,其中,所述眼部位置提示框具有眼部轮廓提示线和/或眼部特征提示点;所述眼部轮廓提示线包括眼睑轮廓线和/或虹膜轮廓线;所述眼部特征提示点包括左眼角定位点和/或右眼角定位点。A10、如A1-A9中任一项所述的方法,其中,所述移动终端具有LED补光灯和/或微距镜头,用于采集所述眼部图像序列。A11、如A1-A10中任一项所述的方法,其中,所述选取合格的目标图像的步骤包括:选取图像对焦、运动模糊性和眼部角度均合格的图像作为目标图像;所述图像对焦、运动模糊性和眼部角度根据移动终端的相机参数、眼睛生理参数和眼部图像序列参数计算得到。
A12、如A11所述的方法,其中,所述相机参数包括焦距、光学中心和失真参数;所述眼睛生理数据包括瞳间距、虹膜直径、瞳孔和虹膜相对位置;所述眼部图像序列参数包括图像序列中各图像的频谱、瞳间距、虹膜直径、瞳孔和虹膜的相对位置、瞳孔和虹膜轮廓的离心率。A13、如A1所述的方法,其中,所述瞳孔轮廓和虹膜轮廓采用Hough圆算法检测,所述眼睑轮廓和眼角采用人脸特征点算法检测。
这里描述的各种技术可结合硬件或软件,或者它们的组合一起实现。从而,本发明的方法和设备,或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介,例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式,其中当程序被载入诸如计算机之类的机器,并被所述机器执行时,所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下,计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件),至少一个输入装置,和至少一个输出装置。其中,存储器被配置用于存储程序代码;处理器被配置用于根据该存储器中存储的所述程序代码中的指令,执行本发明的方法。
以示例而非限制的方式,计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
在此处所提供的说明书中,算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。
Claims (10)
1.一种翼状胬肉检测方法,适于在移动终端中执行,所述方法包括步骤:
采集待测用户的眼部图像序列,从中选取合格的目标图像,所述目标图像从内而外依次包括瞳孔区域、虹膜区域、巩膜区域、以及眼睑和眼角区域;
对所述目标图像的瞳孔轮廓、虹膜轮廓、眼睑轮廓进行检测,并根据检测结果确定翼状胬肉的侵入区域;
获取所述侵入区域的实测轮廓线或拟合轮廓线,并在所述侵入区域内确定一个或多个种子点;
以该种子点为起点,采用区域增长算法得到所述侵入区域的翼状胬肉,所述区域增长算法在生长到本区域的轮廓线时停止生长;以及
根据各区域的区域增长结果计算所述目标图像中出现翼状胬肉的概率值。
2.如权利要求1所述的方法,还包括步骤:
从所述侵入区域的种子点,采用区域增长算法识别出包含该种子点的完整翼状胬肉;
将从所有侵入区域内识别出的完整翼状胬肉取并集,作为该目标图像中翼状胬肉的总区域。
3.如权利要求1所述的方法,其中,所述种子点为以下任意一种:用户指定的翼状胬肉点、各区域内的随机点、或者根据翼状胬肉的先验知识而识别的特征点。
4.如权利要求1-3中任一项所述的方法,其中,所述区域增长算法根据像素颜色和像素亮度进行识别,所述区域增长结果包括各侵入区域内翼状胬肉的面积占比。
5.如权利要求1-4中任一项所述的方法,其中,所述概率值根据翼状胬肉与瞳孔区域、虹膜区域、巩膜区域的亮度和颜色差异、以及翼状胬肉的亮度和颜色的先验知识计算得到。
6.如权利要求4所述的方法,还包括步骤:将所述目标图像、面积占比、概率值以及用户信息一并上传至服务器进行保存。
7.如权利要求1-6中任一项所述的方法,其中,所述检测结果包括以下任意一种:瞳孔轮廓完整度,瞳孔左右差异,虹膜轮廓完整度,虹膜左右差异、巩膜左右差异、与正常眼睛的颜色和亮度差异。
8.如权利要求1-7中任一项所述的方法,其中,所述移动终端具有翼状胬肉检测应用,所述应用具有眼部位置提示框和拍照按钮,所述获取待测用户的眼部图像序列的步骤包括:
在所述眼部位置提示框的引导下,通过所述应用的拍照按钮调用所述移动终端的相机镜头组件,以获取多张待测用户的眼部图像,所述眼部图像不含景物反射光斑。
9.一种移动终端,包括:
存储器;
一个或多个处理器;
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1-8所述方法中的任一方法的指令。
10.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当计算设备执行时,使得所述计算设备执行根据权利要求1-8所述的方法中的任一方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010731055.5A CN113974546A (zh) | 2020-07-27 | 2020-07-27 | 一种翼状胬肉检测方法和移动终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010731055.5A CN113974546A (zh) | 2020-07-27 | 2020-07-27 | 一种翼状胬肉检测方法和移动终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113974546A true CN113974546A (zh) | 2022-01-28 |
Family
ID=79731453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010731055.5A Pending CN113974546A (zh) | 2020-07-27 | 2020-07-27 | 一种翼状胬肉检测方法和移动终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113974546A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023150229A1 (en) * | 2022-02-04 | 2023-08-10 | Genentech, Inc. | Guided self-capture of diagnostic images |
CN116999017A (zh) * | 2023-09-04 | 2023-11-07 | 指南星视光(武汉)科技有限公司 | 基于数据分析的辅助眼部护理智能控制系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015177878A (ja) * | 2014-03-19 | 2015-10-08 | キヤノン株式会社 | 眼科装置及び制御方法 |
CN106960199A (zh) * | 2017-03-30 | 2017-07-18 | 博奥生物集团有限公司 | 一种真彩色眼象图白睛区域的完整提取方法 |
CN109344808A (zh) * | 2018-07-24 | 2019-02-15 | 中山大学中山眼科中心 | 一种基于深度学习的眼部图像处理系统 |
CN109636796A (zh) * | 2018-12-19 | 2019-04-16 | 中山大学中山眼科中心 | 一种人工智能眼部图片分析方法、服务器和系统 |
WO2019190194A1 (ko) * | 2018-03-27 | 2019-10-03 | 중앙대학교 산학협력단 | 의사결정모델 기반 군날개 수술 여부 진단 장치 및 그 방법 그리고 스마트폰을 이용한 pov 등급 판단 방법 |
CN111128382A (zh) * | 2019-12-30 | 2020-05-08 | 清华大学 | 一种人工智能多模成像分析装置 |
-
2020
- 2020-07-27 CN CN202010731055.5A patent/CN113974546A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015177878A (ja) * | 2014-03-19 | 2015-10-08 | キヤノン株式会社 | 眼科装置及び制御方法 |
CN106960199A (zh) * | 2017-03-30 | 2017-07-18 | 博奥生物集团有限公司 | 一种真彩色眼象图白睛区域的完整提取方法 |
WO2019190194A1 (ko) * | 2018-03-27 | 2019-10-03 | 중앙대학교 산학협력단 | 의사결정모델 기반 군날개 수술 여부 진단 장치 및 그 방법 그리고 스마트폰을 이용한 pov 등급 판단 방법 |
CN109344808A (zh) * | 2018-07-24 | 2019-02-15 | 中山大学中山眼科中心 | 一种基于深度学习的眼部图像处理系统 |
CN109636796A (zh) * | 2018-12-19 | 2019-04-16 | 中山大学中山眼科中心 | 一种人工智能眼部图片分析方法、服务器和系统 |
CN111128382A (zh) * | 2019-12-30 | 2020-05-08 | 清华大学 | 一种人工智能多模成像分析装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023150229A1 (en) * | 2022-02-04 | 2023-08-10 | Genentech, Inc. | Guided self-capture of diagnostic images |
CN116999017A (zh) * | 2023-09-04 | 2023-11-07 | 指南星视光(武汉)科技有限公司 | 基于数据分析的辅助眼部护理智能控制系统 |
CN116999017B (zh) * | 2023-09-04 | 2024-06-04 | 指南星视光(武汉)科技有限公司 | 基于数据分析的辅助眼部护理智能控制系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4196714B2 (ja) | デジタルカメラ | |
JP6577454B2 (ja) | 軸上視線追跡システム及び方法 | |
EP3776583B1 (en) | Guidance method and system for teledentistry imaging | |
US20230263385A1 (en) | Methods and apparatus for making a determination about an eye | |
WO2018161289A1 (zh) | 基于深度的控制方法、基于深度的控制装置和电子装置 | |
JP2004317699A (ja) | デジタルカメラ | |
WO2015100294A1 (en) | Wide field retinal image capture system and method | |
WO2016195066A1 (ja) | 眼球の運動を検出する方法、そのプログラム、そのプログラムの記憶媒体、及び、眼球の運動を検出する装置 | |
CN107077596A (zh) | 用于产生针对所选择识别文档的符合的面部图像的系统 | |
JP2004320286A (ja) | デジタルカメラ | |
CN110916608B (zh) | 一种屈光度检测装置 | |
WO2021204211A1 (zh) | 人脸和虹膜图像采集方法、装置、可读存储介质及设备 | |
CN113974546A (zh) | 一种翼状胬肉检测方法和移动终端 | |
US11969210B2 (en) | Methods and apparatus for making a determination about an eye using color temperature adjusted lighting | |
JP2004320285A (ja) | デジタルカメラ | |
CN112069986A (zh) | 高龄老人眼动机器视觉跟踪方法及装置 | |
CN110363782B (zh) | 一种基于边缘识别算法的区域识别方法、装置及电子设备 | |
CN108852280A (zh) | 一种视力筛查的图像采集与分析方法、系统及设备 | |
CN102655565B (zh) | 防红眼人像拍摄系统及方法 | |
CN107273847B (zh) | 虹膜采集方法及设备、电子装置和计算机可读存储介质 | |
US11872050B1 (en) | Image integrity and repeatability system | |
CN112528713B (zh) | 一种注视点估计方法、系统、处理器及设备 | |
US11969212B2 (en) | Methods and apparatus for detecting a presence and severity of a cataract in ambient lighting | |
US20230156320A1 (en) | Apparatus and method for imaging fundus of eye | |
EP4081098A1 (en) | Methods and apparatus for making a determination about an eye using color temperature adjusted ambient lighting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230826 Address after: No. 8, Row 9, Fatou Dongli Middle Yard, Chaoyang District, Beijing, 100020 Applicant after: Wang Xiaopeng Address before: 541000 building D2, HUTANG headquarters economic Park, Guimo Avenue, Qixing District, Guilin City, Guangxi Zhuang Autonomous Region Applicant before: Guangxi Code Interpretation Intelligent Information Technology Co.,Ltd. |