CN114078139B - 基于人像分割模型生成结果的图像后处理方法 - Google Patents
基于人像分割模型生成结果的图像后处理方法 Download PDFInfo
- Publication number
- CN114078139B CN114078139B CN202111415157.7A CN202111415157A CN114078139B CN 114078139 B CN114078139 B CN 114078139B CN 202111415157 A CN202111415157 A CN 202111415157A CN 114078139 B CN114078139 B CN 114078139B
- Authority
- CN
- China
- Prior art keywords
- measurement
- area
- picture
- point
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012805 post-processing Methods 0.000 title claims abstract description 14
- 238000003709 image segmentation Methods 0.000 title claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 238000005259 measurement Methods 0.000 claims description 69
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 230000003321 amplification Effects 0.000 abstract description 7
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于人像分割模型生成结果的图像后处理方法，将原始图片压缩后输入人像分割模型，根据人像分割模型生成结果将图片划分为背景区、待确定区和前景区；对待确定区采用颜色梯度分析，确定待确定区每一个像素属于前景区还是背景区；将图片放大至与原始图片大小匹配，再进行二值化与滤波，得到处理后的图片数据。本发明采用图像后处理技术，解决小模型处理结果精度不佳及放大存在锯齿感的问题，使得硬件性能不够强的设备通过小模型加模型后处理得到的结果达到与硬件性能较强的设备运行的较复杂的模型得到的结果在表现上相仿的程度，降低人像抠图对硬件的要求。
Description
技术领域
本发明涉及图像处理技术领域，具体的说，是一种基于人像分割模型生成结果的图像后处理方法。
背景技术
抠图是指准确提取静止图片或者视频图片序列中的前景目标，它是许多图像编辑中的关键技术之一。抠图问题也可以被定义为每一个图片像素估计alpha值(前背景色比例)的任务。在该任务中，输入为原图像，输出将是每个像素点的alpha值。目前抠图问题往往通过深度学习模型直接得到结果即每一个图片像素的alpha值，模型复杂度决定着抠图结果的好坏，通常较好的抠图结果往往需要较复杂的模型。然而要达到实时抠图的话，模型越复杂对设备的计算能力要求就越高，往往在有限的计算能力的情况下无法部署足够复杂的模型。而如果部署较为简单的模型，虽能满足实时处理的需求，得到的人像抠图结果只能得到一个准确度较低，且输出放大后会有锯齿感的模型。还有，深度学习模型对输入数据与输出数据的大小有要求，如果输入输出数据的太大，那么模型运行时间会变长，而如果输入输出数据的大小，虽然模型运行时间会缩短，但是匹配到原图像之后会存在锯齿感，影响精度。
发明内容
本发明的目的在于提供一种基于人像分割模型生成结果的图像后处理方法，用于解决现有技术中深度学习模型处理人像抠图问题存在处理时间与模型精度的矛盾的问题，以及解决现有技术中输入输出数据大小影响模型运行时间或者导致精度降低的问题。
本发明通过下述技术方案解决上述问题：
一种基于人像分割模型生成结果的图像后处理方法，包括：
步骤S100、将原始图片压缩后输入人像分割模型，根据人像分割模型生成结果将图片划分为背景区、待确定区和前景区；
步骤S200、对待确定区采用颜色梯度分析，确定待确定区每一个像素属于前景区还是背景区；
步骤S300、将图片放大至与原始图片大小匹配，再进行二值化与滤波，得到处理后的图片数据。
对待确定区采用颜色梯度分析，确定待确定区每一个像素属于前景区还是背景区的方法为：遍历待确定区的每个点，执行以下步骤：
步骤S210、以选中的点I(x,y)为原点，生成检测框，检测框的左下角坐标(x-5,y-5)与右上角(x+5,y+5)；
步骤S220、统计检测框内所有点的r，g，b的平均值得到r测，g测，b测；
步骤S230、以点I(x,y)做十字线，找到十字线与确定区域最近的两个交点，确定区域为前景区和背景区，判断这两个交点：
若这两个交点均在前景区，则点I(x,y)在前景区，结束；
若这两个交点均在背景区，则点I(x,y)在背景区，结束；
若一个交点在前景区即前景交点，一个交点在背景区即背景交点，则分别以前景交点、背景交点为原点，生成与步骤S210中同样大小的两个检测框，分别计算两个检测框内所有点的r，g，b的平均值，得到r前，g前，b前和r背，g背，b背；比较[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]与[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]，若[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]小于[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]，则点I(x,y)在前景区，若[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]大于[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]，则点I(x,y)在背景区；根据[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]、[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]的计算结果对点I(x,y)在人像分割模型的生成结果进行加权，结束。
出于准确性的考量，我们用结合颜色梯度分析结果对模型生成结果进行加权，既对颜色梯度分析结果中得到为背景结果的在模型生成结果中进行减小操作使其趋近0，而对颜色梯度分析结果中得到为前景结果的在模型生成结果中进行加大操作使其趋近1。这一步的操作有助于结果更趋向0与1，从而减小二分划后的误差。
所述步骤S300具体包括：
将人像分割模型的生成结果更新为(255-255*生成结果)，得到alpha的值，采用插值方法INTER_CUBIC将图片放大至与原始图片大小匹配，再进行二值化和高频滤波，得到图片压缩前的图片数据。
如果需要放大操作，则需要把放大操作放在二值化操作之前。原因是如果二值化后再放大会损失更多的边缘细节，会导致结果锯齿感非常明显。而关于放大操作是因为，为了保证模型速度，模型的输入输出的大小通常都会进行压缩，需要对生成结果进行放大从而匹配原始图片。二值化操作则可根据情况，在0～1之间任取一值α，而α越趋近于1，前景缺少的可能性会增大，但背景混入前景的可能性减小，α越趋近于0，前景缺少的可能性会减小，但背景混入前景的可能性增大。因此α的取值需根据模型及场景进行调整，才可找到最合适的值。二值化后，再将生成结果转换为(255-255*生成结果)，得到的结果即为该像素对应的透明度alpha。
最后将上一步的透明度进行高频滤波，因此边缘锯齿说到底也就是一个高频信号，对高频信号进行滤波即可减少锯齿感的影响。滤波器的大小可以根据时间要求，图片大小以及效果进行自主调节。
本发明与现有技术相比，具有以下优点及有益效果：
(1)本发明采用图像后处理技术，解决小模型处理结果精度不佳及放大存在锯齿感的问题，使得在硬件性能不够强的设备通过小模型以及模型后处理得到的结果，与在硬件性能较强的设备运行的较复杂的模型得到的结果效果相同或接近，降低人像抠图对硬件的要求。
(2)本发明保留了小模型的速度优势，同时运用了相关的图像后处理技术使其精度得到进一步提升，以及放大后消除了抠图锯齿感的影响。
(3)本发明采用传统图像处理方法来取代增加深度学习模型复杂度的情况，和现有技术相比，可以在低性能机器上对低精度结果进行处理，使其放大后锯齿感减少以及精度提升。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例：
结合附图1所示，一种基于人像分割模型生成结果的图像后处理方法，包括步骤：
首先确认单帧图像为1280*720*3的图片，由于人像分割模型输入输出分别为224*224*3与224*224*1。因此，需要对原始图片进行压缩至224*224*3，再对224*224*3进行三分图划分即将224*224*3输入人像分割模型，生成结果为224*224*1的像素数组，数值范围为0～1，在三分图中对应的224*224*1中进行颜色梯度分析，再将颜色分析加权的结果放大到1280*720，接着二值化，最后高频滤波得到匹配1280*720*3的结果图。
在三分图划分中为减少时间消耗，可将0.5及以下均设为背景，0.5～0.7设的待确定区，0.7及以上设为前景。操作方法为遍历224*224的结果(即数组中224*224个0～1的结果)，对每个结果进行判断，将0.7及以上改为1，0.5及以下改为0，其余保持不变。
在颜色梯度分析中，遍历处理过的224*224的结果，若为0(为背景区)或1(为前景区)则跳过，若其他情况则说明此点为待确定区，即待测点。
一，以该待测点(x,y)为圆点，生成左下角坐标(x-5,y-5)与右上角(x+5,y+5)的检测框；
二，统计该检测框内所有点的r,g,b的平均值得到r测，g测，b测；
三，以该待测点做一个十字线(本实施例采用的是横平竖直的十字线)，找到十字线与确定区域(确定的前景或确定的背景)最近的两个交点。若这两个点均为确定的前景，则该点为前景。若这两个点均为确定的背景，则该点为背景。若一个交点为前景点，一个交点为背景点，则进行下一步；
四，分别对该前景交点和背景交点为中心生成与步骤一里等大的检测框，接着如步骤二一样分别计算两个框内的r,g,b的平均值，得到r前，g前，b前和r背，g背，b背；
五，比较[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]与[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]。如果前者小则该点为前景，如果后者小，则该点为背景；
根据[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]、[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]的计算结果对点I(x,y)在人像分割模型的生成结果进行加权，使待测点的模型生成结果与颜色分析结果一致。
六，接着将该结果进行255-255*结果的操作，得到alpha的值(即将归一化结果转换为alpha的值)，再放大到1280*720，放大用到的插值方法为INTER_CUBIC。再进行二值化，最后进行高频滤波，选择7*7的低通滤波器，即可得到数组中1280*720个像素值。
尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。
Claims (2)
1.一种基于人像分割模型生成结果的图像后处理方法，其特征在于，包括：
步骤S100、将原始图片压缩后输入人像分割模型，根据人像分割模型生成结果将图片划分为背景区、待确定区和前景区；
步骤S200、对待确定区采用颜色梯度分析，确定待确定区每一个像素属于前景区还是背景区；
步骤S300、将图片放大至与原始图片大小匹配，再进行二值化与滤波，得到处理后的图片数据；
所述对待确定区采用颜色梯度分析，确定待确定区每一个像素属于前景区还是背景区的方法为：遍历待确定区的每个点，执行以下步骤：
步骤S210、以选中的点I(x,y)为原点，生成检测框，检测框的左下角坐标(x-5,y-5)与右上角(x+5,y+5)；
步骤S220、统计检测框内所有点的r，g，b的平均值得到r测，g测，b测；
步骤S230、以点I(x,y)做十字线，找到十字线与确定区域最近的两个交点，确定区域为前景区和背景区，判断这两个交点：
若这两个交点均在前景区，则点I(x,y)在前景区，结束；
若这两个交点均在背景区，则点I(x,y)在背景区，结束；
若一个交点在前景区即前景交点，一个交点在背景区即背景交点，则分别以前景交点、背景交点为原点，生成与步骤S210中同样大小的两个检测框，分别计算两个检测框内所有点的r，g，b的平均值，得到r前，g前，b前和r背，g背，b背；比较[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]与[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]，若[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]小于[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]，则点I(x,y)在前景区，若[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]大于[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]，则点I(x,y)在背景区；根据[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]、[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]的计算结果对点I(x,y)在人像分割模型的生成结果进行加权，结束。
2.根据权利要求1所述的基于人像分割模型生成结果的图像后处理方法，其特征在于，所述步骤S300具体包括：
将人像分割模型的生成结果更新为：255-255*生成结果，得到alpha的值，采用插值方法INTER_CUBIC将图片放大至与原始图片大小匹配，再进行二值化和高频滤波，得到图片压缩前的图片数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111415157.7A CN114078139B (zh) | 2021-11-25 | 2021-11-25 | 基于人像分割模型生成结果的图像后处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111415157.7A CN114078139B (zh) | 2021-11-25 | 2021-11-25 | 基于人像分割模型生成结果的图像后处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114078139A CN114078139A (zh) | 2022-02-22 |
| CN114078139B true CN114078139B (zh) | 2024-04-16 |
Family
ID=80284284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111415157.7A Active CN114078139B (zh) | 2021-11-25 | 2021-11-25 | 基于人像分割模型生成结果的图像后处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114078139B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101447076A (zh) * | 2008-12-02 | 2009-06-03 | 浙江大学 | 一种web图像中感兴趣区域的分割方法 |
| CN106373168A (zh) * | 2016-11-24 | 2017-02-01 | 北京三体高创科技有限公司 | 一种基于医疗图像的分割与三维重建方法、3d打印系统 |
| CN106952270A (zh) * | 2017-03-01 | 2017-07-14 | 湖南大学 | 一种单一背景图像的快速抠图方法 |
| CN107452010A (zh) * | 2017-07-31 | 2017-12-08 | 中国科学院长春光学精密机械与物理研究所 | 一种自动抠图算法和装置 |
| CN107481261A (zh) * | 2017-07-31 | 2017-12-15 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度前景跟踪的彩色视频抠图方法 |
| CN109658441A (zh) * | 2018-12-14 | 2019-04-19 | 四川长虹电器股份有限公司 | 基于深度信息的前景检测方法及装置 |
| CN110033465A (zh) * | 2019-04-18 | 2019-07-19 | 天津工业大学 | 一种应用于双目内窥镜医学图像的实时三维重建方法 |
| CN110619648A (zh) * | 2019-09-19 | 2019-12-27 | 四川长虹电器股份有限公司 | 一种基于rgb变化趋势划分图像区域的方法 |
| CN111369525A (zh) * | 2020-03-02 | 2020-07-03 | 联影智能医疗科技(北京)有限公司 | 图像分析方法、设备和存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8515171B2 (en) * | 2009-01-09 | 2013-08-20 | Rochester Institute Of Technology | Methods for adaptive and progressive gradient-based multi-resolution color image segmentation and systems thereof |
| US8625897B2 (en) * | 2010-05-28 | 2014-01-07 | Microsoft Corporation | Foreground and background image segmentation |
-
2021
- 2021-11-25 CN CN202111415157.7A patent/CN114078139B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101447076A (zh) * | 2008-12-02 | 2009-06-03 | 浙江大学 | 一种web图像中感兴趣区域的分割方法 |
| CN106373168A (zh) * | 2016-11-24 | 2017-02-01 | 北京三体高创科技有限公司 | 一种基于医疗图像的分割与三维重建方法、3d打印系统 |
| CN106952270A (zh) * | 2017-03-01 | 2017-07-14 | 湖南大学 | 一种单一背景图像的快速抠图方法 |
| CN107452010A (zh) * | 2017-07-31 | 2017-12-08 | 中国科学院长春光学精密机械与物理研究所 | 一种自动抠图算法和装置 |
| CN107481261A (zh) * | 2017-07-31 | 2017-12-15 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度前景跟踪的彩色视频抠图方法 |
| CN109658441A (zh) * | 2018-12-14 | 2019-04-19 | 四川长虹电器股份有限公司 | 基于深度信息的前景检测方法及装置 |
| CN110033465A (zh) * | 2019-04-18 | 2019-07-19 | 天津工业大学 | 一种应用于双目内窥镜医学图像的实时三维重建方法 |
| CN110619648A (zh) * | 2019-09-19 | 2019-12-27 | 四川长虹电器股份有限公司 | 一种基于rgb变化趋势划分图像区域的方法 |
| CN111369525A (zh) * | 2020-03-02 | 2020-07-03 | 联影智能医疗科技(北京)有限公司 | 图像分析方法、设备和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| Estimation of intersection traffic density on decentralized architectures with deep networks;Chandan Yeshwanth等;《2017 International Smart Cities Conference (ISC2)》;20171102;1-6 * |
| 基于Snake模型的植物叶片面积计算方法;王静文;刘弘;;计算机工程;20130115(第01期);240-244 * |
| 基于视频多目标跟踪的高度测量算法;姜明新;王培昌;王洪玉;;电子学报;20150315(第03期);177-182 * |
| 基于颜色梯度的图像特征点匹配算法;董瑞;梁栋;唐俊;鲍文霞;何韬;;计算机工程;20070820(第16期);184-186 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114078139A (zh) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9025875B2 (en) | People counting device, people counting method and people counting program | |
| US7860311B2 (en) | Video object segmentation method applied for rainy situations | |
| CN111583097A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| US10970824B2 (en) | Method and apparatus for removing turbid objects in an image | |
| CN109977952B (zh) | 基于局部最大值的候选目标检测方法 | |
| CN116797590B (zh) | 一种基于机器视觉的Mura缺陷检测方法及系统 | |
| CN107578053B (zh) | 轮廓提取方法及装置、计算机装置及可读存储介质 | |
| CN113542868A (zh) | 视频关键帧选取方法、装置、电子设备、存储介质 | |
| CN116542991A (zh) | 一种用于裂缝图像分割的网络架构及其训练方法和分割方法 | |
| CN115546027B (zh) | 图像缝合线确定方法、装置以及存储介质 | |
| CN115482239A (zh) | 一种图像定位方法、系统、装置及介质 | |
| CN111583357A (zh) | 一种基于matlab系统的物体运动图像捕捉合成方法 | |
| CN114078139B (zh) | 基于人像分割模型生成结果的图像后处理方法 | |
| CN109034070B (zh) | 一种置换混叠图像盲分离方法及装置 | |
| CN113438386B (zh) | 一种应用于视频处理的动静判定方法及装置 | |
| CN114170596A (zh) | 姿态识别方法、装置、电子设备、工程机械和存储介质 | |
| JP2001061152A (ja) | 動き検出方法および動き検出装置 | |
| CN111539975B (zh) | 一种运动目标的检测方法、装置、设备及存储介质 | |
| CN113658196A (zh) | 红外图像中船舶的检测方法、装置、电子设备和介质 | |
| JPH11312243A (ja) | 顔領域検出装置 | |
| WO2020056688A1 (zh) | 提取图像关键点的方法及装置 | |
| CN105069764A (zh) | 一种基于边缘跟踪的图像去噪方法及系统 | |
| CN111798506B (zh) | 一种图像处理方法、终端及计算机可读存储介质 | |
| CN108198140A (zh) | 基于ncsr模型的三维协同滤波去噪方法 | |
| CN109033969B (zh) | 基于贝叶斯显著图计算模型的红外目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |