Nothing Special   »   [go: up one dir, main page]

CN106657968A - 三维特征信息感测系统及感测方法 - Google Patents

三维特征信息感测系统及感测方法 Download PDF

Info

Publication number
CN106657968A
CN106657968A CN201510812944.3A CN201510812944A CN106657968A CN 106657968 A CN106657968 A CN 106657968A CN 201510812944 A CN201510812944 A CN 201510812944A CN 106657968 A CN106657968 A CN 106657968A
Authority
CN
China
Prior art keywords
image
dimensional feature
feature information
bidimensional
bidimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510812944.3A
Other languages
English (en)
Inventor
王铿又
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leadot Innovation Inc
Original Assignee
Leadot Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leadot Innovation Inc filed Critical Leadot Innovation Inc
Publication of CN106657968A publication Critical patent/CN106657968A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

三维特征信息感测系统包含一变焦式影像撷取装置，以及一处理单元。该变焦式影像撷取装置系用以于多个焦距对一物件连续撷取多个二维影像。该处理单元系用以移除该多个二维影像之失焦部分及保留该多个二维影像之对焦部分，且根据该多个二维影像之相对应焦距堆迭该多个二维影像之对焦部分，以产生该物件之三维特征信息。

Description

三维特征信息感测系统及感测方法
技术领域
本发明涉及一种三维特征信息感测系统及感测方法，尤指一种根据多个不同焦距的二维影像运算出三维特征信息之感测系统及感测方法。
背景技术
三维扫描仪(3D scanner)是一种用来侦测并分析现实世界中物体或环境形状的装置。搜集到的资料常被用来进行三维重建运算，以建立实际物体的数位模型。三维扫描仪可根据各种不同的感测技术来实现，每种感测技术都有其限制及优缺点。一般而言，三维扫描仪可分为接触式(contact)三维扫描仪与非接触式(non-contact)三维扫描仪两种。接触式三维扫描仪系透过实际触碰物体表面的方式计算物体的形状，而非接触式三维扫描仪系将能量投射至物体，再藉由能量的反射来计算物体的三维特征信息。常见的投射能量有一般的可见光、高能光束、超音波与X射线。
然而，现有技术的三维扫描仪的成本相当高，且现有技术的三维扫描仪需耗费大量时间来扫描物体，以建立实际物体的三维数位模型，因此现有技术的三维扫描仪效率较低。
发明内容
本发明之目的在于提供一种根据多个于不同焦距的二维影像运算出三维特征信息之感测系统及感测方法，以解决现有技术的问题。
本发明三维特征信息感测系统包含一变焦式影像撷取装置，以及一处理单元。该变焦式影像撷取装置系用以于多个焦距对一物件连续撷取多个二维影像。该处理单元系用以移除该多个二维影像之失焦部分及保留该多个二维影像之对焦部分，且根据该多个二维影像之相对应焦距堆迭该多个二维影像之对焦部分，以产生该物件之三维特征信息。
本发明三维特征信息感测方法包含利用一变焦式影像撷取装置于多个焦距对一物件连续撷取多个二维影像；移除该多个二维影像之失焦部分及保留该多个二维影像之对焦部分；以及根据该多个二维影像之相对应焦距堆迭该多个二维影像之对焦部分，以产生该物件之三维特征信息。
相较于现有技术，本发明三维特征信息感测系统及感测方法系根据多个不同焦距的二维影像运算出物件的三维特征信息，本发明只需要利用变焦式影像撷取装置及适当的处理单元即可对物件进行三维感测，以建立物件的三维数位模型。因此本发明三维特征信息感测系统结构简单，且具有较高的三维感测效率。
附图说明
图1为本发明三维特征信息感测系统的第一实施例的示意图。
图2为图1三维特征信息感测系统感测物件的三维特征信息的示意图。
图3为本发明三维特征信息感测系统的第二实施例的示意图。
图4为本发明三维特征信息感测方法之流程图。
具体实施方式
请参考图1，图1为本发明三维特征信息感测系统的第一实施例的示意图。如图1所示，本发明三维特征信息感测系统100包含一变焦式影像撷取装置110，以及一处理单元120。变焦式影像撷取装置110系用以于多个焦距对一物件连续撷取多个二维影像。处理单元120系电连接于变焦式影像撷取装置110以接收变焦式影像撷取装置110撷取的二维影像，处理单元120并根据变焦式影像撷取装置110撷取的多个二维影像产生物件之三维特征信息。
请参考图2，并一并参考图1。图2为图1三维特征信息感测系统感测物件的三维特征信息的示意图。如图2所示，变焦式影像撷取装置110可于多个焦距(例如焦距f1-f10)对一物件300连续撷取多个(例如10个)二维影像，当处理单元120接收到变焦式影像撷取装置110撷取的多个二维影像后，处理单元120可先移除二维影像之失焦部分及保留二维影像之对焦部分，再根据物件300于二维影像之相对应焦距堆迭多个二维影像之对焦部分，以产生物件300之三维特征信息。举例来说，变焦式影像撷取装置110可从焦距f1至焦距f10连续撷取10个物件300的二维影像，处理单元120再移除各个二维影像中之失焦部分及保留各个二维影像中之对焦部分A1-A10，之后处理单元120再根据二维影像的相对应焦距之间的对焦距离比例堆迭多个二维影像之对焦部分A1-A10，以产生物件300之三维特征信息。如此，处理单元120可以建立物件300之三维数位模型300a。三维数位模型300a虽不具有物件300之实际尺寸信息，但三维数位模型300a具有和物件300相似之尺寸比例。
另一方面，若变焦式影像撷取装置110和承载台310(或物件300底部)沿Z轴方向之距离D1为已知，则处理单元120可进一步利用相机成像原理运算出物件300之其他对焦部份A1-A10和变焦式影像撷取装置110沿Z轴方向之距离D2-D10，如此物件300之三维特征信息可以有更明确之尺寸信息。
另外，处理单元120可进一步根据参考尺寸运算出物件300之对焦部份A1-A10沿X轴方向及Y轴方向之尺寸。举例来说，若承载台310上刻有尺寸刻度，则处理单元120可根据承载台310上的尺寸刻度、距离D1-D10以及对焦部份A1-A10于二维影像中的大小比例，利用三角函数(或者其他类似算式)运算出物件300之对焦部份A1-A10沿X轴方向及Y轴方向之尺寸。
在得到距离D2-D10及对焦部份A、B、C沿X轴方向及Y轴方向之尺寸后，处理单元120即可运算出物件300之具有实际尺寸的三维特征信息，以建立物件300之实际尺寸的三维数位模型。在上述实施例中，变焦式影像撷取装置110可用更多段之焦距对物件300撷取更多的二维影像，如此处理单元120运算出的物件300之三维特征信息的解析度可以更高，以得到更精确的三维数位模型，且本发明三维特征信息感测系统100可以对形状更复杂之物件进行三维感测。
另一方面，变焦式影像撷取装置110不限于从物件300之末端(或底部)开始撷取二维影像，变焦式影像撷取装置110亦可以从物件300之后方远处开始撷取二维影像，如此可以得到物件300及其周围环境之三维特征信息。
另外，本发明三维特征信息感测系统100可另包含一储存单元130，用以储存物件300之多个二维影像。如此，处理单元120不需在变焦式影像撷取装置110撷取二维影像的同时即时运算出物件300之三维特征信息，处理单元120可以依序分析储存单元130中储存之二维影像以得到物件300的三维特征信息。因此，处理单元120的运算能力需求可进一步降低。再者，物件300之三维特征信息(及三维数位模型)亦可储存于储存单元130中，以供后续资料处理使用。
另一方面，处理单元120可根据变焦式影像撷取装置110撷取的多个二维影像产生一全景深影像资料，且处理单元120可根据物件300于全景深影像资料中相对应焦距之对焦部份及变焦式影像撷取装置110和物件300之距离，运算出该物件300之三维特征信息。全景深影像资料包含多个二维影像中的必要信息，并将多个二维影像中重复的信息简化或删除，如此可以减低处理单元120运算物件300的三维特征信息时之负担。
请参考图3，图3为本发明三维特征信息感测系统的第二实施例的示意图。如图3所示，本发明三维特征信息感测系统200可另包含一距离量测单元140，用以量测变焦式影像撷取装置110和物件之距离。依据上述配置，三维特征信息感测系统200不需在一预定距离下对物件进行三维特征信息的测量，三维特征信息感测系统200可以根据距离量测单元140量测到的距离，直接对周围不特定距离的物件进行三维特征信息的测量。
请参考图4，图4为本发明三维特征信息感测方法之流程图400。本发明三维特征信息感测方法之流程如下列步骤：
步骤410：利用一变焦式影像撷取装置于多个焦距对一物件连续撷取多个二维影像；以及
步骤420：移除该多个二维影像之失焦部分及保留该多个二维影像之对焦部分；以及
步骤430：根据该多个二维影像之相对应焦距堆迭该多个二维影像之对焦部分，以产生该物件之三维特征信息。
相较于现有技术，本发明三维特征信息感测系统及感测方法系根据多个不同焦距的二维影像运算出物件的三维特征信息，本发明只需要利用变焦式影像撷取装置及适当的处理单元即可对物件进行三维感测，以建立物件的三维数位模型。因此本发明三维特征信息感测系统结构简单，且具有较高的三维感测效率。
以上所述仅为本发明之较佳实施例，凡依本发明申请专利范围所做之均等变化与修饰，皆应属本发明之涵盖范围。

Claims (10)

1.一种三维特征信息感测系统，其特征在于，包含：
一变焦式影像撷取装置，用以于多个焦距对一物件连续撷取多个二维影像；以及
一处理单元，用以移除该多个二维影像之失焦部分及保留该多个二维影像之对焦部分，且根据该多个二维影像之相对应焦距堆迭该多个二维影像之对焦部分，以产生该物件之三维特征信息。
2.根据权利要求1所述的三维特征信息感测系统，其特征在于，另包含一距离量测单元，用以量测该变焦式影像撷取装置和该物件之距离，其中该处理单元是用以根据该多个二维影像的相对应焦距及该变焦式影像撷取装置和该物件之距离堆迭该多个二维影像之对焦部份，以产生该物件之三维特征信息。
3.根据权利要求1所述的三维特征信息感测系统，其特征在于，该处理单元系用以根据该多个二维影像的相对应焦距之间的对焦距离比例堆迭该多个二维影像之对焦部分，以产生该物件之三维特征信息。
4.根据权利要求1所述的三维特征信息感测系统，其特征在于，另包含一储存单元，用以储存该多个二维影像及/或该物件之三维特征信息。
5.根据权利要求1所述的三维特征信息感测系统，其特征在于，该处理单元另用以根据该多个二维影像产生一全景深影像资料，且该处理单元系用以根据该物件于该全景深影像资料中相对应焦距之对焦部份及该变焦式影像撷取装置和该物件之距离，运算出该物件之三维特征信息。
6.一种三维特征信息感测方法，包含：
利用一变焦式影像撷取装置于多个焦距对一物件连续撷取多个二维影像；
移除该多个二维影像之失焦部分及保留该多个二维影像之对焦部分；以及
根据该多个二维影像之相对应焦距堆迭该多个二维影像之对焦部分，以产生该物件之三维特征信息。
7.根据权利要求6所述的方法，其特征在于，另包含量测该变焦式影像撷取装置和该物件之距离，其中根据该多个二维影像之相对应焦距堆迭该多个二维影像之对焦部份，以产生该物件之三维特征信息，系为根据该物件于该多个二维影像之相对应焦距及该变焦式影像撷取装置和该物件之距离堆迭该多个二维影像之对焦部份，以产生该物件之三维特征信息。
8.根据权利要求6所述的方法，其特征在于，另包含储存该多个二维影像及/或该物件之三维特征信息。
9.根据权利要求6所述的方法，其特征在于，根据该多个二维影像之相对应焦距堆迭该多个二维影像之对焦部份，以产生该物件之三维特征信息，系为根据该多个二维影像之相对应焦距之间的对焦距离比例堆迭该多个二维影像之对焦部份，以产生该物件之三维特征信息。
10.根据权利要求6所述的方法，其特征在于，另包含根据该多个二维影像产生一全景深影像资料，其中根据该多个二维影像之相对应焦距及该变焦式影像撷取装置和该物件之距离，运算出该物件之三维特征信息，系为根据该物件于该全景深影像资料中相对应焦距之对焦部份及该变焦式影像撷取装置和该物件之距离，运算出该物件之三维特征信息。
CN201510812944.3A 2015-11-04 2015-11-21 三维特征信息感测系统及感测方法 Pending CN106657968A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW104136247A TWI583918B (zh) 2015-11-04 2015-11-04 三維特徵資訊感測系統及感測方法
TW104136247 2015-11-04

Publications (1)

Publication Number Publication Date
CN106657968A true CN106657968A (zh) 2017-05-10

Family

ID=57280988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510812944.3A Pending CN106657968A (zh) 2015-11-04 2015-11-21 三维特征信息感测系统及感测方法

Country Status (5)

Country Link
US (1) US10721455B2 (zh)
EP (1) EP3166076A1 (zh)
JP (1) JP6602741B2 (zh)
CN (1) CN106657968A (zh)
TW (1) TWI583918B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019014846A1 (zh) * 2017-07-18 2019-01-24 辛特科技有限公司 一种用于光场还原的空间位置识别方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101928209B1 (ko) * 2017-08-22 2019-02-26 세종대학교산학협력단 3차원으로 배치된 세포의 영상을 복원하는 단말 장치, 방법 및 기록 매체
CN109141289B (zh) * 2018-08-01 2020-12-29 先临三维科技股份有限公司 三维扫描方法和系统
JP7112027B2 (ja) 2018-11-16 2022-08-03 三菱電機株式会社 空気調和機の室外機
US20210065374A1 (en) * 2019-08-26 2021-03-04 Organize Everything Inc. System and method for extracting outlines of physical objects

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020071125A1 (en) * 2000-10-13 2002-06-13 Frank Sieckmann Method and apparatus for optical measurement of a surface profile of a specimen
DE102004047928A1 (de) * 2004-10-01 2006-04-06 Carl Mahr Holding Gmbh Optisches 3D-Messverfahren
CN102879993A (zh) * 2011-07-15 2013-01-16 时代光电科技股份有限公司 物体轮廓的侦测装置及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2539778B2 (ja) 1984-11-22 1996-10-02 株式会社日立製作所 検査方法および検査装置
JP2928548B2 (ja) 1989-08-02 1999-08-03 株式会社日立製作所 立体形状検出方法及びその装置
US5594235A (en) 1993-06-17 1997-01-14 Ultrapointe Corporation Automated surface acquisition for a confocal microscope
JPH09145318A (ja) 1995-11-16 1997-06-06 Nikon Corp 三次元計測装置
US6692716B1 (en) 1998-10-13 2004-02-17 Airborne Industrial Minerals, Inc. Method of formulating alkali earth salts
JP4398562B2 (ja) 2000-03-07 2010-01-13 Ｈｏｙａ株式会社 ３次元画像検出装置の焦点調節機構
DE10149357A1 (de) * 2000-10-13 2002-04-18 Leica Microsystems Imaging Sol Verfahren und Vorrichtung zur optischen Vermessung eines Oberflächenprofils eines Objektes
JP2006518050A (ja) * 2003-02-18 2006-08-03 オクラホマ　メディカル　リサーチ　ファウンデーション 焦点深度拡張顕微鏡法
CN101762232B (zh) * 2008-12-23 2012-01-25 鸿富锦精密工业（深圳）有限公司 多重表面对焦系统及方法
JP5477183B2 (ja) 2010-06-14 2014-04-23 オムロン株式会社 計測装置
JP6004851B2 (ja) 2012-09-11 2016-10-12 株式会社キーエンス 形状測定装置、形状測定方法および形状測定プログラム
TWI471677B (zh) * 2013-04-11 2015-02-01 Altek Semiconductor Corp 自動對焦方法及自動對焦裝置
TWI504936B (zh) * 2014-02-12 2015-10-21 Htc Corp 影像處理裝置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020071125A1 (en) * 2000-10-13 2002-06-13 Frank Sieckmann Method and apparatus for optical measurement of a surface profile of a specimen
DE102004047928A1 (de) * 2004-10-01 2006-04-06 Carl Mahr Holding Gmbh Optisches 3D-Messverfahren
CN102879993A (zh) * 2011-07-15 2013-01-16 时代光电科技股份有限公司 物体轮廓的侦测装置及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019014846A1 (zh) * 2017-07-18 2019-01-24 辛特科技有限公司 一种用于光场还原的空间位置识别方法
CN111183637A (zh) * 2017-07-18 2020-05-19 辛特科技有限公司 一种用于光场还原的空间位置识别方法

Also Published As

Publication number Publication date
US20170124716A1 (en) 2017-05-04
US10721455B2 (en) 2020-07-21
JP6602741B2 (ja) 2019-11-06
JP2017090447A (ja) 2017-05-25
EP3166076A1 (en) 2017-05-10
TWI583918B (zh) 2017-05-21
TW201716743A (zh) 2017-05-16

Similar Documents

Publication Publication Date Title
JP6855587B2 (ja) 視点から距離情報を取得するための装置及び方法
US10402956B2 (en) Image-stitching for dimensioning
JP5631025B2 (ja) 情報処理装置、その処理方法及びプログラム
Kersten et al. Image-based low-cost systems for automatic 3D recording and modelling of archaeological finds and objects
CN102589516B (zh) 一种基于双目线扫描摄像机的动态距离测量系统
CN106657968A (zh) 三维特征信息感测系统及感测方法
GB2531928A (en) Image-stitching for dimensioning
JP2013101045A (ja) 物品の３次元位置姿勢の認識装置及び認識方法
AU2012318657A1 (en) Using videogrammetry to fabricate parts
Štolc et al. Depth and all-in-focus imaging by a multi-line-scan light-field camera
Zhao et al. Metric calibration of unfocused plenoptic cameras for three-dimensional shape measurement
CN110398215A (zh) 图像处理装置和方法，系统，物品制造方法，存储介质
JP5336325B2 (ja) 画像処理方法
US12094227B2 (en) Object recognition device and object recognition method
Calantropio et al. Evaluation of photogrammetric block orientation using quality descriptors from statistically filtered tie points
CN105717502A (zh) 一种基于线阵ccd的高速激光测距装置及方法
Yalçinkaya et al. Optical 3D Scanner Technology
Su et al. An automatic calibration system for binocular stereo imaging
Santosi et al. Influence of high dynamic range images on the accuracy of the photogrammetric 3D digitization: A case study
Chen et al. A 3-D point clouds scanning and registration methodology for automatic object digitization
Koutlemanis et al. A low-cost close-range photogrammetric surface scanner
Vuori et al. Three-dimensional imaging system with structured lighting and practical constraints
JP2005292027A (ja) 三次元形状計測・復元処理装置および方法
JP2006178696A (ja) 平面検出装置および方法並びに平面検出プログラム
Kawasue et al. Handheld three-dimensional pipe measurement system with a slit-ray projector

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170510