CN113327202B - 一种图像畸变的矫正方法及其应用 - Google Patents
一种图像畸变的矫正方法及其应用 Download PDFInfo
- Publication number
- CN113327202B CN113327202B CN202110330313.3A CN202110330313A CN113327202B CN 113327202 B CN113327202 B CN 113327202B CN 202110330313 A CN202110330313 A CN 202110330313A CN 113327202 B CN113327202 B CN 113327202B
- Authority
- CN
- China
- Prior art keywords
- image
- data set
- voltage value
- distortion
- height value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012937 correction Methods 0.000 claims abstract description 17
- 230000004075 alteration Effects 0.000 claims description 7
- 238000012014 optical coherence tomography Methods 0.000 claims description 4
- 230000001225 therapeutic effect Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 9
- 230000003287 optical effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 210000001525 retina Anatomy 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及成像系统领域,具体涉及一种图像畸变的矫正方法及其应用。本发明的第一个方面揭示了一种图像畸变的矫正方法,本发明中的图像畸变的矫正方法,包括以下步骤:S1:确定图像扫描点数n;S2:获取每个图像扫描点的电压值和像高值,记为第一数据组,分别为(x1,y1)、(x2,y2)、(x3,y3)…(xn,yn);通过所述第一数据组得到y=f(x);其中,电压值为x,像高值为y;其中,y=f(x)为非线性函数;S3:对所述y=f(x)进行线性补偿矫正,获得第二数据组;S4:将所述第二数据组进行输入控制系统,获取矫正后的图像。
Description
技术领域
本发明涉及成像系统领域,具体涉及一种图像畸变的矫正方法及其应用。
背景技术
目前,利用激光扫描进行成像的设备越来越多,针对激光扫描成像的图像畸变变成为了一个很常见的问题。不同的成像系统会由于不同的原因导致各种各样的图像畸变问题,分析成像系统产生畸变的原因,并对其进行矫正是一个非常重要的图像畸变矫正手段。产生的畸变主要原因包含如下几种:光学相机自身的畸变、眼底视网膜曲面在成像时导致的图像畸变、横向纵向振镜扫描速度变化导致的图像畸变,该畸变导致图像和真实物体之间的出现失真。在成像系统中,由于振镜扫描的角速度不变,而视网膜却是曲面,从而使得入射光照在视网膜中心和边缘位置时,光程不相等,存在光程差。而该光程差导致振镜扫描时产生不同的线速,进而使得图像产生畸变。
现有技术中主要是利用图像处理的算法对失真的图像进行校正。例如基于棋盘格的图像畸变矫正:通过对已知宽度的一定数量的棋盘格方格网进行不同位置、不同角度的拍摄,提取棋盘格的角点坐标,并据此计算内参矩阵和畸变系数。这些现有技术的处理方法均较复杂,且处理结果依赖算法。
鉴于上述问题,有必要提供一种图像畸变的矫正方法,以解决上述技术问题。
发明内容
本发明的第一个方面揭示了一种图像畸变的矫正方法,本发明中的图像畸变的矫正方法,包括以下步骤:
S1:确定图像扫描点数n;
S2:获取每个图像扫描点的电压值和像高值,记为第一数据组,分别为(x 1,y1)、(x 2,y 2)、(x 3,y 3)…(x n,y n);通过所述第一数据组得到y=f(x);其中,电压值为x,像高值为y;其中,y=f(x)为非线性函数;
S3:对所述y=f(x)进行线性补偿矫正,获得第二数据组;
S4:将所述第二数据组进行输入控制系统,获取矫正后的图像。
在一种优选的实施方式中,所述S3的具体步骤为:获取y=f(x)的反函数,记为x=f-1(y),对y进行线性赋值,分别记为y 11、y 22、y 33…y nn;根据x=f-1(y),分别求取x11、x 22、x 33…x nn,得到第二数据组,分别为(x11,y 11)、(x 22,y 22)、(x 33,y 33)…(x nn,y nn);所述第二数据组为矫正后的电压值和像高值。
在一种优选的实施方式中,所述第二数据组存储在控制系统中,在操作时,控制系统可以直接调取第二数据组,获取矫正后的图像。
在一种优选的实施方式中,所述S3的具体步骤为:获取y=f 1(x),y=f 1(x)为线性变化;对y进行线性赋值,分别记为y 111、y 222、y 333…y nnn;根据y=f 1(x),分别求取x 111、x 222、x 333…x nnn,得到第二数据组,分别为(x 111,y 111)、(x 222,y 222)、(x 333,y 333)…(x nnn,y nnn);所述第二数据组为矫正后的电压值和像高值。
本发明的第二个方面揭示了一种光学相干层析成像仪,所述光学相干层析成像仪实施上述的图像畸变的矫正方法。
本发明的第三个方面揭示了一种共焦激光眼底成像仪,所述共焦激光眼底成像仪实施上述的图像畸变的矫正方法。
本发明的第四个方面揭示了一种眼底扫描系统,所述眼底扫描系统实施上述的图像畸变的矫正方法。
本发明的第五个方面揭示了一种眼底照相机,所述眼底照相机实施上述的图像畸变的矫正方法。
本发明的第五个方面揭示了一种激光治疗仪,所述激光治疗仪实施上述的图像畸变的矫正方法。
相较于现有技术,本发明中设计的图像畸变的矫正方法可以从底层硬件层解决图像畸变的问题,避免了传统方案中使用复杂的图像处理算法,使得设备的设计更简化。
附图说明
图1是图像畸变的矫正方法流程示意图。
附图标记:1-S1;2-S2;3-S3;4-S4。
具体实施方式
为了使本发明的技术方案更加清楚,以下结合附图,对本发明的技术方案进一步详细的说明。应当理解,此处所描述的具体实施例仅用以解释本发明并不用于限定本发明。需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
请参阅图1,本发明的第一个方面揭示了一种图像畸变的矫正方法,本发明中的图像畸变的矫正方法,包括以下步骤:
S1:确定图像扫描点数n;
术语“图像扫描点数”是指图像的水平或者垂直方向上的像素数目。
对于本发明中,扫描点数n并没有特别的限定,扫描点数n的取值越大,越有利于图像畸变的矫正;但当n的取值过大时,系统所需处理的数据量较大。
S2:获取每个图像扫描点的电压值和像高值,记为第一数据组,分别为(x 1,y1)、(x 2,y 2)、(x 3,y 3)…(x n,y n);通过所述第一数据组得到y=f(x);其中,电压值为x,像高值为y;其中,y=f(x)为非线性函数;
术语“电压值”是指扫描振镜的转动角度与其对应的输入电压值。
术语“像高值”是指所述扫描图像的宽度。
对于一副图像而言,通过光学拟合软件,可以得到第一数据组,分别为(x 1,y1)、(x 2,y 2)、(x 3,y 3)…(x n,y n);然后对第一数据组进行函数拟合得到y=f(x);其中,y=f(x)为非线性变化,其原因在于:振镜的扫描线速度不同,导致图像的边缘和中心位置带来一定的图像畸变。同时,在实际过程中,由于人眼视网膜的弯曲,以及光学系统本身的像差,X和Y振镜之间的距离都会产生图像畸变,因而,y=f(x)为非线性变化,在理想情况下,y=f(x)为线性变化。
S3:对所述y=f(x)进行线性补偿矫正,获得第二数据组;
在上述S2的步骤中,由于各种原因导致y=f(x)为非线性变化,即表现为图像产生畸变,对于消除图像畸变,本领域技术人员均采用图像处理算法对该图像进行后处理,以消除畸变情况。而对于本发明的方案,从底层硬件层进行技术革新,以消除畸变情况。本发明的发明构思为:基于拟合得到的曲线y=f(x),进行线性补偿,即得到非线性变化的振镜电压值,进而从底层硬件层消除了图像的畸变。
在一种优选的实施方式中,所述S3的具体步骤为:获取y=f(x)的反函数,记为x=f-1(y),对y进行线性赋值,分别记为y 11、y 22、y 33…y nn;根据x=f-1(y),分别求取x11、x 22、x 33…x nn,得到第二数据组,分别为(x11,y 11)、(x 22,y 22)、(x 33,y 33)…(x nn,y nn);所述第二数据组为矫正后的电压值和像高值。
在f(x)中,其中,x 1、x 2、x 3…x n为线性变化,y 1、y 2、y 3…y n为非线性变化,例如在实验的过程中,通过光学拟合软件,得到的f(x)=6*10 -6x 5-5*10 -13x 4+0.006x 3+5*10 -11x 2+0.5577x,R 2=1;对f(x)求反函数得到x=f-1(y),对于y进行重新线性赋值,分别记为y 11、y 22、y 33…y nn;再次根据x=f-1(y),分别求取对应x 11、x22、x 33…x nn,得到第二数据组,分别为(x 11,y 11)、(x 22,y 22)、(x 33,y 33)…(xnn,y nn);第二数据组即为矫正后的电压值和像高值。函数与反函数是关于y=x对称,矫正后的电压值为非线性变化,进而消除了图像畸变。
其中,对于f(x)公式仅仅是一个实例,本发明的专利保护范围并不局限于该公式,只要基于本发明的发明构思均与本发明构成等同。
在一种优选的实施方式中,所述第二数据组存储在控制系统中,在操作时,控制系统可以直接调取第二数据组,获取矫正后的图像。
将矫正后的第二数据组存储在控制系统中,可以减少系统运算过程中的工作量。
在又一种优选的实施方式中,所述S3的具体步骤为:获取y=f 1(x),y=f 1(x)为线性变化;对y进行线性赋值,分别记为y 111、y 222、y 333…y nnn;根据y=f 1(x),分别求取x 111、x 222、x 333…x nnn,得到第二数据组,分别为(x 111,y 111)、(x 222,y222)、(x 333,y 333)…(x nnn,y nnn);所述第二数据组为矫正后的电压值和像高值。
获取y=f 1(x),y=f 1(x)为线性变化;其表现形式为y=kx,对于每个振镜都有其固定的系数k,根据y=f 1(x),对y进行线性赋值,分别记为y 111、y222、y 333…y nnn;根据y=f 1(x),分别求取x 111、x 222、x 333…xnnn,得到第二数据组,分别为(x 111,y111)、(x 222,y 222)、(x 333,y333)…(x nnn,y nnn);所述第二数据组为矫正后的电压值和像高值。通过该实施方式,也可以将y=f(x)补偿为线性函数。
对于本发明中,所述的线性函数并不是严格的线性函数,只要是呈线性或者类似线性的变化都会落入本发明的保护范围内。
S4:将所述第二数据组进行输入控制系统,获取矫正后的图像。
将矫正后的第二数据组输入控制系统,操作系统,进而能够得到矫正后的图像。
在一种优选的实施方式中,所述第二数据组存储在控制系统中,在操作时,控制系统可以直接调取第二数据组,获取矫正后的图像。
将矫正后的第二数据组存储在控制系统中,可以减少系统运算过程中的工作量。
本发明的第二个方面揭示了一种光学相干层析成像仪,所述光学相干层析成像仪实施上述的图像畸变的矫正方法。
本发明的第三个方面揭示了一种共焦激光眼底成像仪,所述共焦激光眼底成像仪实施上述的图像畸变的矫正方法。
本发明的第四个方面揭示了一种眼底扫描系统,所述眼底扫描系统实施上述的图像畸变的矫正方法。
本发明的第五个方面揭示了一种眼底照相机,所述眼底照相机实施上述的图像畸变的矫正方法。
本发明的第六个方面揭示了一种激光治疗仪,所述激光治疗仪实施上述的图像畸变的矫正方法。
对于本发明中,图像畸变的矫正方法可以应用在光学相干层析成像仪、共焦激光眼底成像仪、眼底照相机、裂隙灯等眼科医疗器械设备中,当然并不局限于列举的这些设备,凡是使用本发明的发明构思均落入本发明的保护范围内。
相较于现有技术,本发明中设计的图像畸变的矫正方法可以从底层硬件层解决图像畸变的问题,避免了传统方案中使用复杂的图像处理算法,使得设备的设计更简化。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (6)
1.一种图像畸变的矫正方法,包括以下步骤:
S1:确定图像扫描点数n;
S2:获取每个图像扫描点的电压值和像高值,记为第一数据组,分别为(x 1,y
1)、(x 2,y 2)、(x 3,y 3)…(x n,y n);通过所述第一数据组得到y=f(x);其中,电压值为x,像高值为y;其中,y=f(x)为非线性函数;
S3:对所述y=f(x)进行线性补偿矫正,获得第二数据组;
所述S3的具体步骤为:获取y=f(x)的反函数,记为x=f-1(y),对y进行线性赋值,分别记为y 11、y 22、y 33…y nn;根据x=f-1(y),分别求取x 11、x 22、x 33…x nn,得到第二数据组,分别为(x 11,y 11)、(x 22,y 22)、(x33,y 33)…(x nn,y nn);所述第二数据组为矫正后的电压值和像高值;
或,获取y=f 1(x),y=f 1(x)为线性变化;其表现形式为y=kx,对于每个振镜都有其固定的系数k,根据y=f 1(x),对y进行线性赋值,分别记为y 111、y222、y 333…y nnn;根据y=f 1(x),分别求取x 111、x 222、x 333…xnnn,得到第二数据组,分别为(x 111,y111)、(x 222,y 222)、(x 333,y
333)…(x nnn,y nnn);所述第二数据组为矫正后的电压值和像高值;
S4:将所述第二数据组进行输入控制系统,获取矫正后的图像;
所述第二数据组存储在控制系统中,在操作时,控制系统可以直接调取第二数据组,获取矫正后的图像。
2.一种光学相干层析成像仪,所述光学相干层析成像仪实施权利要求1所述的图像畸变的矫正方法。
3.一种共焦激光眼底成像仪,所述共焦激光眼底成像仪实施权利要求1所述的图像畸变的矫正方法。
4.一种眼底扫描系统,所述眼底扫描系统实施权利要求1所述的图像畸变的矫正方法。
5.一种眼底照相机,所述眼底照相机实施权利要求1所述的图像畸变的矫正方法。
6.一种激光治疗仪,所述激光治疗仪实施权利要求1所述的图像畸变的矫正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110330313.3A CN113327202B (zh) | 2021-03-30 | 2021-03-30 | 一种图像畸变的矫正方法及其应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110330313.3A CN113327202B (zh) | 2021-03-30 | 2021-03-30 | 一种图像畸变的矫正方法及其应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113327202A CN113327202A (zh) | 2021-08-31 |
CN113327202B true CN113327202B (zh) | 2024-11-15 |
Family
ID=77414731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110330313.3A Active CN113327202B (zh) | 2021-03-30 | 2021-03-30 | 一种图像畸变的矫正方法及其应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113327202B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116309194B (zh) * | 2023-05-24 | 2023-08-08 | 广东麦特维逊医学研究发展有限公司 | Oct图像畸变校正方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1544913A (zh) * | 2003-11-19 | 2004-11-10 | 中国科学院电工研究所 | 压电陶瓷管扫描器非线性校正方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1084104C (zh) * | 1998-02-11 | 2002-05-01 | 大腾电子企业股份有限公司 | 影像感应元件和其处理电路的非线性校正方法 |
JP4156177B2 (ja) * | 2000-06-13 | 2008-09-24 | 日本電子株式会社 | ピエゾスキャナの歪み補正方法 |
WO2003011764A2 (en) * | 2001-08-03 | 2003-02-13 | Volker Westphal | Real-time imaging system and method |
ES2391510B1 (es) * | 2011-04-29 | 2013-11-11 | Consejo Superior De Investigaciones Científicas (Csic) | Procedimiento de calibracion y correccion de la distorsion de barrido de un sistema de tomografia de coherencia optica |
US9243887B2 (en) * | 2012-01-04 | 2016-01-26 | The Johns Hopkins University | Lateral distortion corrected optical coherence tomography system |
JP2013232738A (ja) * | 2012-04-27 | 2013-11-14 | Dainippon Printing Co Ltd | 画像処理装置、画像処理方法、および、画像処理用プログラム |
JP6179942B2 (ja) * | 2013-07-23 | 2017-08-16 | Hoya株式会社 | 走査型共焦点内視鏡システム |
US9733152B2 (en) * | 2013-12-17 | 2017-08-15 | Bioptigen, Inc. | Immersion lens assemblies for use in optical coherence tomography systems |
TW201615152A (zh) * | 2014-10-23 | 2016-05-01 | Univ Nat Yang Ming | 用於正子斷層影像之衰減修正方法 |
CN105303528B (zh) * | 2015-09-20 | 2018-11-30 | 北京工业大学 | 一种slm显微立体视觉图像畸变矫正方法 |
WO2017092631A1 (zh) * | 2015-11-30 | 2017-06-08 | 宁波舜宇光电信息有限公司 | 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法 |
CN108353131B (zh) * | 2016-10-17 | 2021-05-04 | 华为技术有限公司 | 获取图像的方法和终端设备 |
CN106780391B (zh) * | 2016-12-27 | 2020-03-13 | 哈尔滨工业大学 | 一种用于全视角三维测量仪光学系统的畸变矫正算法 |
CN107492080B (zh) * | 2017-09-25 | 2021-03-23 | 杭州云栖智慧视通科技有限公司 | 免定标便捷的单目镜头图像径向畸变矫正方法 |
CN107665483B (zh) * | 2017-09-27 | 2020-05-05 | 天津智慧视通科技有限公司 | 免定标便捷的单目镜头鱼眼图像畸变矫正方法 |
EP3763282A4 (en) * | 2018-03-06 | 2021-11-24 | Nidek Co., Ltd. | EYE BACKGROUND IMAGING DEVICE |
CN109493418B (zh) * | 2018-11-02 | 2022-12-27 | 宁夏巨能机器人股份有限公司 | 一种基于LabVIEW的三维点云获取方法 |
CN110942434B (zh) * | 2019-11-22 | 2023-05-05 | 华兴源创(成都)科技有限公司 | 一种显示面板的显示补偿系统及方法 |
CN111324038A (zh) * | 2020-02-29 | 2020-06-23 | 南开大学 | 一种基于门控循环单元的迟滞建模与端对端补偿方法 |
CN112086171B (zh) * | 2020-08-31 | 2024-04-19 | 桂林市啄木鸟医疗器械有限公司 | 一种扫描图像的矫正方法、装置及扫描系统 |
-
2021
- 2021-03-30 CN CN202110330313.3A patent/CN113327202B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1544913A (zh) * | 2003-11-19 | 2004-11-10 | 中国科学院电工研究所 | 压电陶瓷管扫描器非线性校正方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113327202A (zh) | 2021-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2716843C1 (ru) | Цифровая коррекция аберраций оптической системы | |
JP4440341B2 (ja) | キャリブレーション方法、キャリブレーション装置及びその装置を備えるキャリブレーションシステム | |
CN110858871B (zh) | 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统 | |
RU2523028C2 (ru) | Устройство обработки изображения, устройство захвата изображения и способ обработки изображения | |
JP5315157B2 (ja) | 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム | |
JP4942216B2 (ja) | 画像処理方法、画像処理装置、撮像装置及びプログラム | |
JP5489897B2 (ja) | ステレオ測距装置及びステレオ測距方法 | |
JP6347763B2 (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP6484706B2 (ja) | 画像を記録するための装置および方法 | |
JP2016081431A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP6234623B2 (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム | |
JP2020004266A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2020036310A (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム | |
CN113327202B (zh) | 一种图像畸变的矫正方法及其应用 | |
CN111988517B (zh) | 图像处理装置、镜头装置和图像处理方法 | |
CN110084763A (zh) | 图像修复方法、装置、计算机设备和存储介质 | |
JP7191588B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
JP2016062252A (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム | |
JP2017011652A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP6598886B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、記憶媒体、および、レンズ装置 | |
EP3537103A1 (en) | Calibration reference point acquisition system and calibration reference point acquisition method | |
JP6768312B2 (ja) | 画像処理装置、光学機器、画像処理方法、画像処理プログラム、および記録媒体 | |
JP5743772B2 (ja) | 画像処理システム | |
JP2018157276A (ja) | 画像表示装置、画像表示方法及びプログラム | |
CN112826443B (zh) | 一种眼底图像畸变的矫正方法以及共焦激光眼底成像仪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |