CN106999116B - 用于皮肤检测的设备和方法 - Google Patents
用于皮肤检测的设备和方法 Download PDFInfo
- Publication number
- CN106999116B CN106999116B CN201580065311.9A CN201580065311A CN106999116B CN 106999116 B CN106999116 B CN 106999116B CN 201580065311 A CN201580065311 A CN 201580065311A CN 106999116 B CN106999116 B CN 106999116B
- Authority
- CN
- China
- Prior art keywords
- skin
- illumination pattern
- image
- set forth
- evaluation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000005286 illumination Methods 0.000 claims abstract description 64
- 238000011156 evaluation Methods 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 7
- 238000002329 infrared spectrum Methods 0.000 claims description 7
- 238000009792 diffusion process Methods 0.000 description 16
- 238000013186 photoplethysmography Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 11
- 238000013459 approach Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 206010040882 skin lesion Diseases 0.000 description 8
- 231100000444 skin lesion Toxicity 0.000 description 8
- 238000010521 absorption reaction Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 229910052760 oxygen Inorganic materials 0.000 description 4
- 239000001301 oxygen Substances 0.000 description 4
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 230000036387 respiratory rate Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002028 premature Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000008081 blood perfusion Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000037307 sensitive skin Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/024—Measuring pulse rate or heart rate
- A61B5/02416—Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
- A61B5/02427—Details of sensor
- A61B5/02433—Details of sensor for infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Measuring devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明涉及一种皮肤检测的设备和相应的方法。为了能够进行可靠、准确且快速的检测，所提出的设备包括：照明单元(10)，其用于将预定照明样式投影到场景上；成像单元(12)，其用于采集所述场景的图像；以及评估单元(14)，其用于通过分析在采集到的图像中再现的经成像的照明样式的边缘模糊和/或强度来评估所述图像，并用于基于所述分析检测所述图像内的皮肤区域并基于所述分析将所述皮肤区域与非皮肤区域区分。
Description
技术领域
本发明涉及一种用于皮肤检测的设备和对应的方法。
背景技术
人的生命体征，例如心率(HR)、呼吸率(RR)或动脉血氧饱和度(SpO2)，作为人的当前健康状态的指标并作为严重医学事件的有力预测指标。因此，在住院和门诊护理环境、在家或在其他健康、休养和健身环境中广泛地监测生命体征。
测量生命体征的一种方式是体积描记术。体积描记术一般是指对器官或身体部分的体积变化的测量，尤其是指对由于随着每次心跳心血管脉搏波行进通过对象身体而导致的体积变化的检测。
光学体积描记术(PPG)是一种光学测量技术，其评估感兴趣区域或体积光反射或透射的时变变化。PPG基于的原理是：血液比周围组织吸收更多的光，因此随着每次心跳，血液体积的变化相应地影响透射或反射。除了关于心率的信息之外，PPG波形可以包括可归因于其他生理现象(例如呼吸)的信息。通过评估在不同波长(典型为红色和红外)处的透射率和/或反射率，可以确定血氧饱和度。
最近，已经介绍了用于不引人注目的测量的非接触远程PPG(rPPG)设备(也称为相机rPPG设备)。远程PPG采用了被远离感兴趣对象设置的光源，或更普遍地，为辐射源。类似地，诸如相机或光学检测器的检测器也可以被远离感兴趣对象设置。因此，远程光学体积描记系统和设备被认为是不引人注目的并且很适合医学以及非医学的日常应用。该技术对于需要生命体征监测的皮肤极端敏感的患者，例如极端脆弱的皮肤的新生儿重症监护室(NICU)患者或早产婴儿，尤其具有显著的优势。
Verkruysse等人的“Remote plethysmographic imaging using ambient light”(Optics Express，16(26)，2008年12月22日，第21434-21445页)说明了，可以使用环境光和常规消费水平的视频相机，利用红色、绿色和蓝色颜色通道来远程测量光学体积描记信号。
Wieringa等人的“Contactless Multiple Wavelength PhotoplethysmographicImaging：A First Step Toward“SpO2 Camera”Technology”(Ann.Biomed.Eng.33，1034-1041页，2005年)公开了一种远程PPG系统，其用于基于在不同波长处的体积描记信号的测量对组织中的动脉血氧饱和度进行无接触成像。所述系统包括单色CMOS相机和具有三种不同波长的LED的光源。相机在三种不同波长处相继采集对象的三段影片。可以根据在单个波长处的影片来确定脉搏率，而需要在不同波长处的至少两段影片来确定氧饱和度。测量是在暗室中一次仅使用一个波长来执行的。
除了完全无接触的优势之外，相机(一般称为成像设备)还提供2D信息，这允许多点和大面积测量，并且常常包含额外的背景信息。不像依赖于在特定测量点/区域上的正确放置的接触传感器，用于使用rPPG技术测量脉搏信号的区域是从实际图像中确定的。因此，在任何照明条件下可靠的对皮肤区域的准确检测成为基于相机的rPPG设备和方法的处理链中的关键部分。
当前，存在已知用于对皮肤区域的可靠检测和跟踪的两种主要方式。
一种方式基于皮肤颜色(基于RGB的)检测和分割。根据这种方式的方法对具有皮肤颜色的区域进行检测和跟踪都很快。然而，它们对于将会改变从皮肤区域反射的光的颜色的环境光颜色的改变不鲁棒，并且不能在低照明条件下或在黑暗中检测皮肤区域。此外，这样的方法并不总是能对皮肤和具有相同颜色的其他目标进行区分。
另一种方法基于提取出的PPG信号(基于PPG的)。根据这种方式的方法在区分具有相同皮肤颜色的真正皮肤区域和其他目标区域上更鲁棒。这种方式也可以被用于分割具有较强PPG信号(最具周期性的信号)的皮肤区域。然而，这种方式的可靠性取决于PPG信号提取的鲁棒性，其由此受到对象的运动和血液灌注水平的影响。因此，如果脉搏信号不是周期性的或很微弱，则基于相机的系统将难以检测皮肤区域的分段。此外，该方式的计算成本也很高。
应当指出，不仅在基于rPPG技术的生命体征检测领域中对皮肤区域的检测是令人感兴趣的，而且在其他技术领域中也是，例如在使用相机技术识别玩家的手势的远程游戏应用中、在面部检测中、在安保(使用监视相机对人的鲁棒检测以及对戴面具的人的检测)中等。
US 2011/0218428A1公开了一种结构光照明(SLI)医学图像传感器系统，其使用SLI技术捕捉皮肤损伤的一幅或多幅图像并生成皮肤损伤的3D表面图。特征检测模块处理3D表面图以检测皮肤损伤的特定特性。生成皮肤损伤的特征数据，例如尺寸、形状和纹理。特征分析模块处理皮肤损伤的特征数据。特征分析模块对所述皮肤损伤与先前的针对皮肤损伤的图像和特征数据进行比较。特征分析模块基于模板和特征的类型的相关性对皮肤损伤进行分类。
WO 2014/014838A2公开了一种用于交互照明以识别手势和/或目标的系统和方法。
US 2013/0342756A1公开了一种用于实现对利用结构和非结构照明源照明的场景的混合视频捕捉的系统和方法。
US 2013/0324875 A1公开了一种通过对在包含对象胸廓区域的视图的视频中捕捉到的结构照明样式的反射的失真进行分析来估计呼吸率的系统和方法。
发明内容
本发明的目的是提供一种允许对皮肤进行可靠、准确且快速的检测的设备和对应的方法。
在本发明的第一方面中，提出了一种用于皮肤检测的设备，包括：
-照明单元，其用于将预定的照明样式投影到场景上，
-成像单元，其用于采集所述场景的图像，以及
-评估单元，其用于通过分析在采集到的图像中再现的经成像的照明样式的边缘模糊和/或强度来评估所述图像，并且用于基于所述分析来检测所述图像内的皮肤区域并基于所述分析将所述图像内的所述皮肤区域与非皮肤区域进行区分。
在本发明的另一方面中，提出了一种对应的方法。
在本发明的又一方面中，提供了一种包括程序代码单元的计算机程序，当所述计算机程序由本文所公开的设备执行，所述程序代码单元用于控制所述设备执行本文所公开的方法的步骤；以及一种其中存储有计算机程序产品的非瞬态计算机可读记录介质，所述计算机程序产品在由本文所公开的设备运行时令本文所公开的方法得到执行。
在从属权利要求中定义了本发明的优选实施例。应当理解，所要求保护的方法、计算机程序和介质具有与所要求保护的设备以及在从属权利要求中所定义的相似和/或相同的优选实施例。
本发明评估皮肤的光学属性以及其与在一个或多个波长处的光的交互。在光与皮肤交互期间，一定量的光从皮肤表面直接反射，而另外一定量的光被漫射和/或吸收。如果皮肤区域由结构光(即照明样式，例如点或细线的样式)照明，则皮肤对所述光的漫射将使所述照明样式的边缘模糊。此外，由于皮肤吸收在特定波长处，尤其在红外(IR)谱中的特定波长处的光的一部分，所以从皮肤区域测得的反射光的强度将低于背景的光的强度。此外，光的漫射因子将根据波长而变化。例如，大部分蓝光从皮肤表面反射，而红外光的显著的一部分在皮肤中被漫射和/或吸收。此外，红外光对于人不可见且不引人注目。根据本发明，通过分析在一个或多个波长处的结构光的漫射因子和吸收因子而利用了这些认识，以便在人或至少人的身体部分所在的场景内检测皮肤区域。
在实施例中，所述评估单元被配置为将所述经成像的照明样式与由所述照明单元发射的所述预定的照明样式进行比较。通常，所述预定的照明样式，尤其是尺度和强度，是已知的。由于还知道皮肤如何改变强度并导致与典型场景中可见的其他要素(如衣服、纤维(例如织物或毯子)或背景(例如墙壁或家具))相比的模糊，因此这种比较使得能够对皮肤与从其他要素进行区分。
在另一实施例中，所述评估单元被配置为将所述经成像的照明样式的单独的区域彼此比较。如上所述，皮肤导致所述照明样式与其他要素不同的改变。因此，比较不同的区域，例如相邻的像素或像素组，能够检测哪些区域属于皮肤区域，而哪些区域不属于皮肤区域。
根据本发明，所述评估单元被配置为对所述经成像的照明样式的边缘和/或强度的模糊进行分析。由于与其他要素相比由皮肤导致的不同的漫射和吸收主要影响所述照明样式的模糊和强度，因此这些特征对于检测是否存在皮肤区域是有利的。因此，可以搜索对皮肤而言典型的模糊和/或强度变化以检测皮肤区域。
在该背景下，进一步优选的是，所述评估单元被配置为将所述经成像的照明样式的单独的区域，尤其是相邻像素和/或像素区域，的边缘模糊和/或强度的量与分别的阈值进行比较。这提供了相当准确和可靠的检测。
所述照明单元可以被配置为在单个波长或单个波长范围处投影所述照明样式，或者被配置为在两个波长或两个波长范围处投影所述照明样式。更有利地，在红外谱中的一个或多个波长处投影所述照明样式，这是因为皮肤吸收和/或漫射的红外辐射比可见光谱中的辐射更多，其中，所述可见光谱中的辐射不穿透到皮肤中很深。
一般地，本发明利用在一个波长处投影的照明样式来工作。使用两个波长将使得检测对于环境照明更鲁棒。如上所述，根据本发明，通过检测独特的“签名”来检测皮肤区域，所述独特的“签名”即表示在特定波长处在经成像的照明样式中可检测的所述皮肤区域对所述照明样式的影响，例如光漫射和/或吸收。理论上讲，其他材料具有与皮肤相同的对特定波长的漫射因数是可能发生的。因此，增加一个(或多个)额外波长进一步强化了“签名”(即使得其针对皮肤更独特)，并且因此改善了皮肤检测的特异性，这是因为在所述两个(或更多个)波长处具有与皮肤相同的对照明样式的影响的另一材料存在的概率较低。
优选地，在该背景下，所述评估单元被配置为对所述两个波长或波长范围之间所述图像内的边缘模糊和/或强度的差异进行分析，和/或被配置为将所述经成像的照明样式的单独的区域，尤其是相邻像素和/或像素区域，的边缘模糊和/或强度的差异与分别的阈值进行比较。这进一步改善了对皮肤的检测，并使其对于环境照明更鲁棒。
在另一实施例中，所述评估单元被配置为基于所述照明单元与所述场景之间的距离和/或所述照明单元的瓦特数来设定和/或调整所述阈值。例如，如果距离小并且瓦特数高，则所使用的阈值将被设定为较高的值，反之亦然。这进一步改善了对皮肤的检测。
除了对皮肤区域的检测之外，本发明还可以被用于获得关于皮肤区域的尺寸、形状和/或位置的信息。在所述评估单元被配置为对所述经成像的照明样式与所投影的照明样式相比的变形进行分析的实施例中，这是可能的。
本发明优选用于通过使用rPPG技术采集生命体征的背景中。出于该目的，所述成像单元优选地被配置为采集所述场景的随时间的图像序列，并且所述设备还包括生命体征检测器，其用于基于来自所述图像序列内的检测到的皮肤区域的图像信息来检测所述场景内的对象的生命体征。因此，在对生命体征的采集期间，可以一次性或连续地使用所提出的对皮肤区域的检测来检测和/或跟踪皮肤区域。
附图说明
参考下文描述的实施例，本发明的这些和其他方面将是显而易见的，并且将参考下文描述的实施例对本发明的这些和其他方面进行说明。在附图中：
图1示出了根据本发明的设备的第一实施例的示意图，
图2示出了图示在与皮肤交互期间的光的漫射和反射的图解，
图3示出了图示可以根据本发明使用的照明样式的范例的图解，
图4示出了根据本发明的设备的第二实施例的示意图，
图5示出了图示从包括皮肤区域的场景成像的经成像照明样式的范例以及所提出的皮肤检测的结果的图解，并且
图6示出了根据本发明的方法的实施例的流程图。
具体实施方式
图1示出了根据本发明的用于皮肤检测的设备1的第一实施例的示意图。设备1包括照明单元10，其用于将预定的照明样式投影在场景上。在该范例中，场景包括例如在病房或其他健康护理设施中的躺在床3上的患者2，但也可以是例如躺在恒温箱/取暖器中的婴儿或早产儿的环境，或者在家中或不同环境中的人。照明单元10可以是特殊的灯或投影仪，其被配置为生成并发射预定的结构光样式，例如线、十字、点或其他预定义元素的网格或阵列，其优选地具有锐利的边缘。
此外，设备1包括用于采集场景的图像的成像单元12。成像单元12具体是相机(也被称为检测单元，或者称为基于相机的或远程的PPG传感器)，其被配置为获得场景的图像，优选地包括患者2的皮肤区域4。在用于获得患者2的生命体征的设备的应用中，皮肤区域4优选是面部区域，例如面颊或前额，但也可以是身体的另一区域，例如手或手臂。
由相机捕捉到的图像帧可以具体对应于借助于例如(数字)相机中的模拟或数字光学传感器而捕捉到的视频序列。这样的相机通常包括光学传感器，例如CMOS或CCD传感器，其也可以在特定谱范围(可见的、IR)中操作，或者提供针对不同谱范围的信息。相机可以提供模拟或数字信号。图像帧包括具有相关联的像素值的多个图像像素。具体而言，图像帧包括表示利用光学传感器的不同光敏元件捕捉到的光强度值的像素。这些光敏元件可以在特定谱范围中是敏感的(即表示特定颜色)。图像帧包括表示人的皮肤部分的至少一些图像像素。由此，图像像素可以对应于光学检测器的一个光敏元件及其(模拟或数字)输出，或者可以是基于多个光敏元件的组合(例如通过分箱)来确定的。
所述设备还包括评估单元14，其用于通过对采集到的图像中再现的经成像的照明样式进行分析来评估所述图像，并且用于基于所述分析来检测图像内的皮肤区域。设备1还可以包括控制器15，其用于控制设备1的其他元件和用户接口，例如用于输入命令以控制设备1的键盘和/或输出所生成的信息(例如所获得的生命体征)的显示器16。另外，设备1优选地包括生命体征检测器17，其用于基于来自由成像单元12采集到的图像序列内的检测到的皮肤区域的图像信息，来检测场景内的人2的生命体征。
单元14至17可以被配置为专用硬件元件，但也可以被配置为相应编程的处理器或计算机18。设备1可以被配置为例如将其所有元件和单元包括在公共外壳中(例如在成像单元10的外壳中)的集成设备，或被配置为分布式设备，如图1所示，其中元件和单元可以是分布式的，即实现为被布置在不同位置处的单独的元件和单元。
本发明基于皮肤的光学属性及其在一个或多个波长处，优选地在红外谱中，与光的交互。图2示出了示意图，其图示了在与皮肤30的交互期间光20的漫射和反射。在光与皮肤的交互期间，一定量的光21从皮肤表面31直接反射，而另外一定量的光22被漫射和/或吸收。如果皮肤区域被结构光照明(例如，作为结构照明样式的范例的如图3所示的具有锐利边缘的线)，则皮肤中的光的漫射将使结构线的边缘模糊。此外，由于皮肤吸收在红外谱中的特定波长处的光的一部分，因此从皮肤区域测得的IR反射的强度将低于背景中的强度。
此外，如上所述，光的漫射因子根据波长而变化，即大部分蓝光从皮肤表面反射，而大部分的IR光在皮肤中被漫射和/或吸收。因此，通过分析优选地在IR谱中的一个或多个波长处结构光的漫射因子和吸收因子，允许对(一幅或多幅)图像中反射的场景中的皮肤区域进行准确、可靠和快速的检测。
本发明优选适于用于采集人的生命体征的rPPG领域。因此，由成像单元12获得的图像不仅用于如上所述地检测皮肤区域，而且从检测到的(优选地为也利用分发明跟踪到的)皮肤区域导出PPG信号，其用于导出人的生命体征，例如心跳、SpO2等。成像单元12至少在被投影到人上的照明样式的(一个或多个)波长或波长范围处是敏感的，但也可以针对其他波长敏感，尤其是在获得期望的生命体征所需要的情况下。此外，评估单元14可以被配置为从图像选择适当的波长以检测(一个或多个)皮肤区域，并且，如果希望，可以被配置为使用rPPG技术从(一个或多个)检测到的皮肤区域和/或通过分析周期运动来获得诸如呼吸率的呼吸信息，从而导出(一个或多个)生命指征。
由于在各波长处IR光的穿透深度不同，针对这些波长的漫射因子将不同。组织中针对波长中的每个的确切漫射因子由该组织的光学属性定义。通过分析波长的漫射因子和吸收因子，可以定义皮肤组织特异的光学属性。通过这种方式，可以将皮肤组织与其他组织区分开。图4示出了根据本发明的设备1'的第二实施例的示意图。在图4A中，可以用作照明样式的范例点样式被描绘为投影在人手上。图5A中所示的投影的IR点样式具有830nm(近红外)的范例波长，其中，人皮肤具有显著的吸收系数。从图5A可以看出，人皮肤上呈现的点的强度小于具有较低的吸收系数(例如衣服)的其他目标上呈现的斑点的强度。这被用于通过对强度值进行阈值处理来对人皮肤进行分割。为了补偿在相同波长处的环境光的可能影响，对光点强度相对于(未被结构光照明的)相邻像素的强度进行分析。
为了进一步改善使用这种方式进行皮肤检测的鲁棒性(和特异性)，在本实施例中，使用至少两个IR波长处投影的照明样式，优选在近红外谱中。可以通过比较不同(近红外)波长的相邻点的强度值的差异来分割皮肤区域。为此目的，将成像单元12采集的图像提供到评估单元14的边缘模糊测量单元142(图示的是边缘模糊测量单元142用于两个波长的两个子单元1421和1422，因为所提供图像中的边缘模糊是在两个波长处独立评估的)，用于检测由于场景中皮肤或其他元件导致的照明样式的边缘模糊。在边缘模糊分析单元144中，分析由子单元1421和1422在两个波长处检测到的的边缘模糊的差异。此外，将成像单元12采集的图像提供到评估单元14的强度分析单元146，用于分析两个波长处照明样式的强度差异。
提供比较单元148以对由分析单元144和146检测的边缘模糊和强度差异进行比较。基于这种比较，决定是否存在，以及图像的哪个区域是皮肤区域以及哪些区域不是皮肤区域。
在设备1'的实施例中使用的上述方式中，该方法对于IR照明而言是鲁棒的，这可能改变IR的强度值，但不会改变不同IR波长点的强度值之间的差异，因为环境IR光将对来自两种IR波长的所有点产生相等的贡献。
优选地，照明单元10和成像单元12布置于距被监测人固定距离范围之内。因此，可以基于照明单元10的光源(例如IR LED)的距离和瓦特数选择适于分割皮肤上照明样式(例如点)的上下边界。此外，照明样式的尺度，例如，圆点的半径，一般是事先已知的，可以用于估计皮肤中IR光漫射导致的模糊。图5B示出了用于图5A中所示图像的皮肤分割的结果。
在本发明的另一实施例中，可以将所提出的结构光漫射的分析与用于皮肤检测的方法组合，例如，一般公知的对从皮肤区域反射的结构光的色度或时域脉动性的分析。在本发明的又一实施例中，使用在可见光谱，优选红外光谱中包括超过两个波长的结构化照明样式改善皮肤区域检测的特异性。再者，在本发明的实施例中，使用结构化照明样式的畸变分析该区域的形状，从而改善皮肤检测方法的特异性。此外，在本发明的另一实施例中，可以将提出的设备与基于照明样式的3D相机系统集成，以通过分析点空间结构的变化来导出例如深度图，或者可以在现有设备中使用本发明，其采集深度图，以额外检测皮肤区域。
图6示出了根据本发明的皮肤检测方法的实施例的流程图。在第一步骤S10中，将预定照明样式投影到场景上。在第二步骤S12中，(一次或多次或定期或连续地)采集场景的图像。在第三步骤S14中，通过分析在图像中再现的经成像的照明样式来评估所采集的图像。最后，在第四步骤S16中，基于所述分析在图像内检测皮肤区域。该方法可以包括其他步骤，并可以如上所述针对设备各实施例并如本文公开那样进行修改。
可以使用提出的设备和方法对PPG相关的生命体征(例如心跳、SpO2、呼吸)进行连续不引人注目的监测，并可以用于NICU、手术室或普通病室中。也可以将所提出的设备和方法用于个人健康监测。通常，可以将本发明用于所有应用中，其中皮肤需要在场景图像中被检测并特别需要与非皮肤区分开。
尽管已经在附图和前文的描述中详细说明并描述了本发明，但这种说明和描述被视为说明性或示范性的，而非限制性的；本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求书，在实践要求保护的本发明时，能够理解并实现对所公开的实施例的其他变型。
在权利要求书中，词语“包括”不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个元件或其他单元可以满足权利要求中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。
计算机程序可以被存储/分布在适合的介质上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但是也可以被以其他形式分布，例如经由因特网或其他的有线或无线的电信系统。
权利要求中的任何附图标记都不应被解释为对范围的限制。
Claims (17)
1.一种用于皮肤检测的设备，包括：
照明单元(10)，其用于将预定的照明样式投影到场景上，
成像单元(12)，其用于采集所述场景的图像，以及
评估单元(14)，其用于通过分析在采集到的图像中再现的经成像的照明样式的边缘模糊来评估所述图像，并且用于基于所述分析来检测所述图像内的皮肤区域并基于所述分析将所述图像内的所述皮肤区域与非皮肤区域进行区分。
2.根据权利要求1所述的设备，
其中，所述评估单元(14)被配置为将所述经成像的照明样式与由所述照明单元发射的所述预定的照明样式进行比较。
3.根据权利要求1所述的设备，
其中，所述评估单元(14)被配置为将所述经成像的照明样式的单独的区域彼此比较。
4.根据权利要求1所述的设备，
其中，所述评估单元(14)被配置为分析所述经成像的照明样式的强度。
5.根据权利要求1所述的设备，
其中，所述评估单元(14)被配置为将所述经成像的照明样式的单独的区域的边缘模糊和/或强度的量与分别的阈值进行比较。
6.根据权利要求5所述的设备，
其中，所述评估单元(14)被配置为将所述经成像的照明样式的相邻像素和/或像素区域的边缘模糊和/或强度的量与分别的阈值进行比较。
7.根据权利要求1所述的设备，
其中，所述照明单元(10)被配置为在单个波长或单个波长范围处投影所述照明样式。
8.根据权利要求1所述的设备，
其中，所述照明单元(10 )被配置为在两个波长或两个波长范围处投影所述照明样式。
9.根据权利要求1所述的设备，
其中，所述照明单元(10 )被配置为在红外谱中的一个或多个波长处投影所述照明样式。
10.根据权利要求8所述的设备，
其中，所述评估单元(14)被配置为对在所述两个波长或两个波长范围之间所述图像内的边缘模糊和/或强度的差异进行分析。
11.根据权利要求10所述的设备，
其中，所述评估单元(14)被配置为将所述经成像的照明样式的单独的区域的边缘模糊和/或强度的差异与分别的阈值进行比较。
12.根据权利要求11所述的设备，
其中，所述评估单元(14)被配置为将所述经成像的照明样式的相邻像素和/或像素区域的边缘模糊和/或强度的差异与分别的阈值进行比较。
13.根据权利要求5或11所述的设备，
其中，所述评估单元(14)被配置为基于所述照明单元(10 )与所述场景之间的距离和/或所述照明单元(10)的瓦特数来设定和/或调整所述阈值。
14.根据权利要求1所述的设备，
其中，所述评估单元(14)被配置为对所述经成像的照明样式与所投影的照明样式相比的变形进行分析，以获得关于皮肤区域的尺寸、形状和/ 或位置的信息。
15.根据权利要求1所述的设备，
其中，所述成像单元(12)被配置为采集所述场景的随时间的图像序列，并且其中，所述设备还包括生命体征检测器(17)，所述生命体征检测器用于基于来自所述图像序列内的检测到的皮肤区域的图像信息来检测所述场景内的对象的生命体征。
16.一种用于皮肤检测的方法，包括：
将预定的照明样式投影到场景上，
采集所述场景的图像，
通过分析在采集到的图像中再现的经成像的照明样式的边缘模糊来评估所述图像，以及
基于所述分析来检测所述图像内的皮肤区域并基于所述分析将所述图像内的所述皮肤区域与非皮肤区域进行区分。
17.一种存储有计算机程序的计算机可读介质，所述计算机程序包括程序代码单元，当所述计算机程序由根据权利要求1所述的设备执行时，其用于控制所述设备执行根据权利要求16所述的方法的步骤。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IN6011CH2014 | 2014-12-01 | ||
| IN6011/CHE/2014 | 2014-12-01 | ||
| US201562105558P | 2015-01-20 | 2015-01-20 | |
| US62/105,558 | 2015-01-20 | ||
| EP15151776.0 | 2015-01-20 | ||
| EP15151776 | 2015-01-20 | ||
| PCT/EP2015/077580 WO2016087273A1 (en) | 2014-12-01 | 2015-11-25 | Device and method for skin detection |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106999116A CN106999116A (zh) | 2017-08-01 |
| CN106999116B true CN106999116B (zh) | 2020-09-01 |
Family
ID=56079393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580065311.9A Expired - Fee Related CN106999116B (zh) | 2014-12-01 | 2015-11-25 | 用于皮肤检测的设备和方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10242278B2 (zh) |
| EP (1) | EP3226765A1 (zh) |
| JP (1) | JP6615197B2 (zh) |
| CN (1) | CN106999116B (zh) |
| MX (1) | MX2017007004A (zh) |
| WO (1) | WO2016087273A1 (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017180155A1 (en) * | 2016-04-15 | 2017-10-19 | Marquette University | Smart trigger system |
| US10335045B2 (en) | 2016-06-24 | 2019-07-02 | Universita Degli Studi Di Trento | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
| CN107550474A (zh) * | 2016-06-30 | 2018-01-09 | 松下知识产权经营株式会社 | 生物体信息检测装置 |
| US10146375B2 (en) * | 2016-07-01 | 2018-12-04 | Intel Corporation | Feature characterization from infrared radiation |
| CN116269262A (zh) * | 2016-12-01 | 2023-06-23 | 松下知识产权经营株式会社 | 生物体信息检测装置、生物体信息检测方法及存储介质 |
| CN110352035B (zh) * | 2017-02-27 | 2023-09-08 | 皇家飞利浦有限公司 | 经由信号变化放大的静脉穿刺和动脉线引导 |
| US20180311512A1 (en) * | 2017-04-28 | 2018-11-01 | C-Rad Positioning Ab | Patient monitoring |
| WO2019100034A1 (en) * | 2017-11-17 | 2019-05-23 | Project Leah, Llc | Flesh-illuminating device |
| CN108523842B (zh) * | 2018-03-15 | 2020-12-04 | 天津大学 | 一种测量人体脸部皮肤的力学性能的方法 |
| TW201938107A (zh) * | 2018-03-19 | 2019-10-01 | 秀育企業股份有限公司 | 利用不可見光辨識與判定生理特徵的方法 |
| JP7312957B2 (ja) | 2018-06-21 | 2023-07-24 | パナソニックＩｐマネジメント株式会社 | 肌評価装置、肌評価システム、肌評価方法、および肌評価のためのプログラムを格納したコンピュータ読み取り可能な記録媒体 |
| AU2019416130A1 (en) * | 2018-12-27 | 2021-06-10 | Johnson & Johnson Consumer Inc. | Device and method for application of topical compositions guided by projected fiducials |
| CN113574406A (zh) | 2019-03-15 | 2021-10-29 | 特里纳米克斯股份有限公司 | 用于识别至少一种材料特性的检测器 |
| DE102020108064A1 (de) * | 2019-12-02 | 2021-06-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zur kontaktfreien Bestimmung von zeitlichen Farb- und Intensitätsveränderungen bei Objekten |
| EP3910545A1 (en) | 2020-05-15 | 2021-11-17 | Koninklijke Philips N.V. | Ambient light suppression |
| CN112089422A (zh) * | 2020-07-02 | 2020-12-18 | 王兆英 | 基于伤口面积分析的自适应医疗系统及方法 |
| SE2130200A1 (en) * | 2021-07-16 | 2023-01-17 | Rths Ab | A sensing arrangement for obtaining data from a body part |
| WO2023156469A1 (en) | 2022-02-15 | 2023-08-24 | Trinamix Gmbh | System and method for determining a material of an object |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1607551A (zh) * | 2003-08-29 | 2005-04-20 | 三星电子株式会社 | 基于图像的超现实主义三维脸部建模的方法和设备 |
| CN101229055A (zh) * | 2007-01-23 | 2008-07-30 | 船井电机株式会社 | 皮肤区域检测成像设备 |
| CN101977551A (zh) * | 2008-03-18 | 2011-02-16 | 皇家飞利浦电子股份有限公司 | 用于皮肤成像的仪器、用于皮肤分析的系统 |
| CN104080400A (zh) * | 2011-12-21 | 2014-10-01 | 凯瑟琳·M·莎查夫 | 使排列于组织表面的病变成像的系统 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5026854B2 (ja) * | 2007-04-27 | 2012-09-19 | 国立大学法人東京工業大学 | 領域抽出装置及び領域抽出方法 |
| CN102171724B (zh) * | 2008-10-01 | 2016-05-18 | 皇家飞利浦电子股份有限公司 | 医学图像序列快照的选择 |
| US8855751B2 (en) * | 2010-02-26 | 2014-10-07 | Empire Technology Development Llc | Multidirectional scan and algorithmic skin health analysis |
| US20110218428A1 (en) * | 2010-03-04 | 2011-09-08 | Medical Scan Technologies, Inc. | System and Method for Three Dimensional Medical Imaging with Structured Light |
| EP2380493A1 (en) | 2010-04-21 | 2011-10-26 | Koninklijke Philips Electronics N.V. | Respiratory motion detection apparatus |
| JP2012068762A (ja) * | 2010-09-21 | 2012-04-05 | Sony Corp | 検出装置、検出方法、プログラム、及び電子機器 |
| US8718748B2 (en) | 2011-03-29 | 2014-05-06 | Kaliber Imaging Inc. | System and methods for monitoring and assessing mobility |
| US8754954B2 (en) * | 2011-05-16 | 2014-06-17 | National Research Council Of Canada | High resolution high contrast edge projection |
| US20130032487A1 (en) | 2011-08-05 | 2013-02-07 | Olivo Sivilotti | Multipolar Magnesium Cell |
| GB201114406D0 (en) | 2011-08-22 | 2011-10-05 | Isis Innovation | Remote monitoring of vital signs |
| US9301710B2 (en) * | 2012-06-01 | 2016-04-05 | Xerox Corporation | Processing a video for respiration rate estimation |
| US9155475B2 (en) * | 2012-06-26 | 2015-10-13 | Xerox Corporation | Enabling hybrid video capture of a scene illuminated with unstructured and structured illumination sources |
| WO2014014838A2 (en) | 2012-07-15 | 2014-01-23 | 2R1Y | Interactive illumination for gesture and/or object recognition |
| JP6014846B2 (ja) * | 2012-07-24 | 2016-10-26 | 公立大学法人広島市立大学 | 呼吸計測方法および装置 |
| JP2014067193A (ja) * | 2012-09-25 | 2014-04-17 | Canon Inc | 画像処理装置および画像処理方法 |
| RU2651070C2 (ru) | 2012-11-02 | 2018-04-18 | Конинклейке Филипс Н.В. | Устройство и способ для извлечения физиологической информации |
| EP2762066A1 (en) | 2013-02-05 | 2014-08-06 | Koninklijke Philips N.V. | System and method for determining vital sign information of a subject |
| US20140267701A1 (en) | 2013-03-12 | 2014-09-18 | Ziv Aviv | Apparatus and techniques for determining object depth in images |
| CN105188521A (zh) * | 2013-03-14 | 2015-12-23 | 皇家飞利浦有限公司 | 用于获得对象的生命体征信息的设备和方法 |
| KR20140133093A (ko) * | 2013-05-09 | 2014-11-19 | 한국전자통신연구원 | 인식 장치 및 그 방법 |
| US20150327800A1 (en) * | 2014-05-16 | 2015-11-19 | Mediatek Inc. | Apparatus and method for obtaining vital sign of subject |
-
2015
- 2015-11-24 US US14/949,921 patent/US10242278B2/en not_active Expired - Fee Related
- 2015-11-25 CN CN201580065311.9A patent/CN106999116B/zh not_active Expired - Fee Related
- 2015-11-25 WO PCT/EP2015/077580 patent/WO2016087273A1/en active Application Filing
- 2015-11-25 MX MX2017007004A patent/MX2017007004A/es unknown
- 2015-11-25 JP JP2017522648A patent/JP6615197B2/ja not_active Expired - Fee Related
- 2015-11-25 EP EP15805127.6A patent/EP3226765A1/en not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1607551A (zh) * | 2003-08-29 | 2005-04-20 | 三星电子株式会社 | 基于图像的超现实主义三维脸部建模的方法和设备 |
| CN101229055A (zh) * | 2007-01-23 | 2008-07-30 | 船井电机株式会社 | 皮肤区域检测成像设备 |
| CN101977551A (zh) * | 2008-03-18 | 2011-02-16 | 皇家飞利浦电子股份有限公司 | 用于皮肤成像的仪器、用于皮肤分析的系统 |
| CN104080400A (zh) * | 2011-12-21 | 2014-10-01 | 凯瑟琳·M·莎查夫 | 使排列于组织表面的病变成像的系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6615197B2 (ja) | 2019-12-04 |
| US10242278B2 (en) | 2019-03-26 |
| JP2018500059A (ja) | 2018-01-11 |
| MX2017007004A (es) | 2017-08-14 |
| EP3226765A1 (en) | 2017-10-11 |
| CN106999116A (zh) | 2017-08-01 |
| US20160155006A1 (en) | 2016-06-02 |
| WO2016087273A1 (en) | 2016-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106999116B (zh) | 用于皮肤检测的设备和方法 | |
| US10818010B2 (en) | Device, system and method for skin detection | |
| US20160206216A1 (en) | Device, system and method for skin detection | |
| US10646167B2 (en) | Device, system and method for extracting physiological information | |
| US9999355B2 (en) | Device, system and method for determining vital signs of a subject based on reflected and transmitted light | |
| RU2656760C2 (ru) | Система и способ для извлечения физиологической информации из удаленно обнаруженного электромагнитного излучения | |
| JP6423807B2 (ja) | 対象のバイタルサインを決定する装置及び方法 | |
| EP3104767B1 (en) | Device, system and method for determining vital signs of a subject based on reflected and transmitted light | |
| US9842392B2 (en) | Device, system and method for skin detection | |
| US20150297142A1 (en) | Device and method for extracting physiological information | |
| JP6970840B2 (ja) | 対象を含むシーンの画像の画像セグメンテーションのための装置、システム及び方法 | |
| CN105960264A (zh) | 对光疗处置期间的生命体征的基于相机的监测 | |
| EP3422931B1 (en) | Device, system and method for determining a vital sign of a subject | |
| Saxena | A Non-Contact Based System to Measure SPO2 and Systolic/Diastolic Blood Pressure using Rgb-Nir Camera | |
| Wang et al. | Living-Skin Detection based on Spatio-Temporal Analysis of Structured Light Pattern | |
| Lee et al. | Photoplethysmography Measurement Algorithm for a Smartphone Camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200901 |