Nothing Special   »   [go: up one dir, main page]

CN114820921A - 动态物体的三维成像方法、装置、设备及存储介质 - Google Patents

动态物体的三维成像方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114820921A
CN114820921A CN202210270991.XA CN202210270991A CN114820921A CN 114820921 A CN114820921 A CN 114820921A CN 202210270991 A CN202210270991 A CN 202210270991A CN 114820921 A CN114820921 A CN 114820921A
Authority
CN
China
Prior art keywords
pixel
dynamic object
feature extraction
pixel points
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210270991.XA
Other languages
English (en)
Inventor
李东
陈铭鑫
田劲东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210270991.XA priority Critical patent/CN114820921A/zh
Publication of CN114820921A publication Critical patent/CN114820921A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供一种动态物体的三维成像方法、装置、设备及存储介质，方法包括按照预设的两种条纹频率对动态物体进行条纹投影并拍摄条纹图；将条纹图输入至预设的图像特征提取模型中进行特征提取处理，分别获得动态物体的像素点实部分布图和像素点虚部分布图；根据像素点实部分布图和像素点虚部分布图，对动态物体的像素点进行相位计算，获得动态物体的折叠相位图，并对折叠相位图进行相位展开处理，获取动态物体的绝对相位图；根据绝对相位图，将动态物体的所有像素点进行双目匹配及深度计算，获得各像素点对应的三维坐标值，以根据各像素点对应的三维坐标值构建标物体的三维图像。该方法实现过程中所需的条纹图数量少且动态物体的三维成像的精度高。

Description

动态物体的三维成像方法、装置、设备及存储介质
技术领域
本申请涉及光学三维测量技术领域，尤其涉及一种动态物体的三维成像方法、装置、设备及存储介质。
背景技术
条纹投影轮廓术(FPP)以其主动式、非接触测量等特点广泛地应用于物体三维测量领域。针对静态物体的条纹分析方法已被深入研究和推广应用，随着高速投影和摄像等技术的发展，动态物体的三维面形测量也成为一个研究热点。目前的现有三维成像方法中，为了保证物体高精度的三维测量，通常采用相移法结合时间相位展开的方法，然而这种方法需要投影多帧具有不同相移量的条纹图，且相位展开也需要编码多种条纹频率，处理过程耗时长，虽然精度高，但是无法满足动态物体高速变化场景的要求。
发明内容
有鉴于此，本申请实施例提供了一种动态物体的三维成像方法、装置、设备及存储介质，可以通过投影两帧条纹图来实现对物体高精度的动态三维成像，使得三维成像的实现过程中所需的条纹图数量少且动态物体三维成像的精度高。
本申请实施例的第一方面提供了一种动态物体的三维成像方法，包括：
按照预设的两种条纹频率对动态物体进行条纹投影并拍摄条纹图；
将所述条纹图输入至预设的图像特征提取模型中进行特征提取处理，分别获得所述动态物体的像素点实部分布图和像素点虚部分布图；
根据所述像素点实部分布图和像素点虚部分布图，对所述动态物体的像素点进行相位计算，获得所述动态物体的折叠相位图，并对所述折叠相位图进行相位展开处理，获取所述动态物体的绝对相位图；
根据所述绝对相位图，将所述动态物体的所有像素点进行双目匹配与深度计算，获得各像素点对应的三维坐标值，以根据所述各像素点对应的三维坐标值构建所述动态物体的三维图像。
结合第一方面，在第一方面的第一种可能实现方式中，所述将所述条纹图输入至预设的图像特征提取模型中进行特征提取处理，分别获得所述动态物体的像素点实部分布图和像素点虚部分布图的步骤之前，还包括：
根据所述条纹图中的背景强度分布确定所述条纹图的除噪阈值，按照所述除噪阈值对所述条纹图进行除噪处理。
结合第一方面，在第一方面的第二种可能实现方式中，所述将所述条纹图输入至预设的图像特征提取模型中进行特征提取处理，分别获得所述动态物体的像素点实部分布图和像素点虚部分布图的步骤之前，还包括：
采用预先搭建的正弦条纹投影测量系统在若干种不同频率下收集物体条纹图样本；
采用相移法计算出所述物体条纹图样本中表示物体的所有像素点的实部数据值和虚部数据值；
将所述物体条纹图样本作为模型输入以及将所述物体条纹图样本中表示物体的所有像素点的实部数据值和像素点虚部数据值作为模型输出训练预设的卷积神经网络模型至收敛状态，生成图像特征提取模型。
结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述将所述物体条纹图样本作为模型输入以及将所述物体条纹图样本中表示物体的所有像素点的实部数据值和像素点虚部数据值作为模型输出训练预设的卷积神经网络模型至收敛状态，生成图像特征提取模型的步骤中，包括：
将收集到的所有物体条纹图样本按照预设的分配比例进行随机分配，获得训练样本集和验证样本集；
针对分配至所述训练样本集中的第一物体条纹图样本，将所述第一物体条纹图样本作为模型输入及将所述第一物体条纹图样本中表示物体的所有像素点的实部数据值和虚部数据值作为模型输出训练所述预设的卷积神经网络模型，获得训练后的卷积神经网络模型；
针对分配至所述验证样本集中的第二物体条纹图样本，将所述第二物体条纹图样本输入至所述训练后的卷积神经网络模型进行特征提取处理，获取所述训练后的卷积神经网络模型输出的表示物体的所有像素点的第一实部数据值和第一虚部数据值；
将所述训练后的卷积神经网络模型输出的表示物体的所有像素点的第一实部数据值和第一虚部数据值与所述第二物体条纹图样本通过相移法计算获得的表示物体的所有像素点的实部数据值和虚部数据值进行相似度比对，获得相似度值；
将所述相似度值与上一轮迭代训练的相似度值进行比较，若所述相似度的增长幅度小于预设阈值，则判断所述训练后的卷积神经网络模型已训练至收敛状态，将所述训练后的卷积神经网络模型生成为图像特征提取模型。
结合第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式中，所述将所述相似度值与预设的相似度阈值进行比较，若所述相似度大于预设阈值，则判断所述训练后的卷积神经网络模型已训练至收敛状态，将所述训练后的卷积神经网络模型生成为图像特征提取模型的步骤之后，还包括：
根据所述图像特征提取模型输出的表示物体的所有像素点的实部数据值和虚部数据值以及所述物体条纹图样本通过相移法计算获得的表示物体的所有像素点的实部数据值和虚部数据值，构建所述图像特征提取模型的第一损失函数；
获取所述物体条纹图样本的调制分布，构建所述图像特征提取模型的第二损失函数；
将所述第一损失函数和所述第二损失函数进行加权整合，生成所述图像特征提取模型的总损失函数，采用所述总损失函数对所述图像特征提取模型进行模型优化训练。
结合第一方面的第二种可能实现方式，在第一方面的第五种可能实现方式中，所述将所述物体条纹图样本作为模型输入以及将所述物体条纹图样本中表示物体的所有像素点的实部数据值和像素点虚部数据值作为模型输出训练预设的卷积神经网络模型至收敛状态，生成图像特征提取模型的步骤中，所述预设的卷积神经网络模型中包含有四层U-Net卷积层结构，其中，每层U-Net卷积层结构中配置有残差密集网络块，所述残差密集网络块用于实现特征提取处理操作。
结合第一方面，在第一方面的第六种可能实现方式中，所述残差密集网络块中包含有若干个卷积层，其中，每个所述卷积层设置有对应的膨胀率。
本申请实施例的第二方面提供了一种动态物体的三维成像装置，所述动态物体的三维成像装置包括：
图像拍摄模块，用于按照预设的条纹频率对动态物体进行条纹投影并拍摄条纹图；
特征提取模块，用于将所述条纹图输入至预设的图像特征提取模型中进行特征提取处理，分别获得所述动态物体的像素点实部分布图和像素点虚部分布图；
相位图获取模块，用于根据所述像素点实部分布图和像素点虚部分布图，对所述动态物体的像素点进行相位计算，获得所述动态物体的折叠相位图，并对所述折叠相位图进行相位展开处理，获取所述动态物体的绝对相位图；
三维成像模块，用于根据所述绝对相位图，将所述动态物体的所有像素点进行双目匹配与深度计算，获得各像素点对应的三维坐标值，以根据所述各像素点对应的三维坐标值构建所述动态物体的三维图像。
本申请实施例的第三方面提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在电子设备上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面提供的动态物体的三维成像方法的各步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面提供的动态物体的三维成像方法的各步骤。
本申请实施例提供的一种动态物体的三维成像方法、装置、电子设备及存储介质，具有以下有益效果：
本申请通过按照预设的两种条纹频率获得动态物体的条纹图，并将获得的条纹图输入至通过卷积神经网络预先训练好的图像特征提取模型中进行特征提取处理，利用神经网络学习分别获得动态物体的像素点实部分布图和像素点虚部分布图。根据像素点实部分布图和像素点虚部分布图，对动态物体的像素点进行相位计算，获得动态物体的折叠相位图，并对折叠相位图进行相位展开处理，获取动态物体的绝对相位图。根据绝对相位图，将动态物体的所有像素点进行双目匹配与深度计算处理，获得各像素点对应的三维坐标值，通过各像素点对应的三维坐标值构建获得动态物体的三维图像。该方法通过利用神经网络训练提高单帧条纹频谱的分析精度，同时结合正弦条纹投影测量系统的装置结构进行几何约束和虚拟平面位置的预设，实现双频相位展开，从而实现仅需两帧条纹图即可对动态物体进行高精度的三维成像。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种动态物体的三维成像方法的实现流程图；
图2为本申请实施例提供的动态物体的三维成像方法中训练图像特征提取模型的第一种实现流程图；
图3为本申请实施例提供的动态物体的三维成像方法中训练图像特征提取模型的第二种实现流程图；
图4为本申请实施例提供的动态物体的三维成像方法中对图像特征提取模型进行模型优化训练的一种实现流程图；
图5为本申请实施例提供的动态物体的三维成像方法中图像特征提取模型的卷积神经网络结构图；
图6为本申请实施例提供的一种动态物体的三维成像装置的基础结构框图；
图7为本申请实施例提供的一种电子设备的基本结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
请参阅图1，图1为本申请实施例提供的一种动态物体的三维成像方法的实现流程图。详述如下：
S11：按照预设的两种条纹频率对动态物体进行条纹投影并拍摄条纹图。
本实施例中，通过采用预先搭建好的具有双相机、单投影仪的正弦条纹投影测量系统对动态物体进行条纹投影和图像拍摄，以此获得该动态物体的条纹图。具体地，在预先搭建的正弦条纹投影测量系统中，结合该双相机、单投影仪的系统结构和后续动态物体的三维成像所需的相位解调工作流程，预先设置多种可选择的正弦投影条纹的频率，正弦条纹投影测量系统可以通过不同的频率生成不同像素周期的条纹序列并下载至投影仪中，同步触发投影仪的条纹投影动作和相机对不同场景的拍摄动作。在本实施例中，在对动态物体进行三维成像时，用户可以用该正弦条纹投影测量系统预先设置的两种频率对动态物体进行条纹投影和图像拍摄，以此获取该动态物体的两帧条纹图。
S12：将所述条纹图输入至预设的图像特征提取模型中进行特征提取处理，分别获得所述动态物体的像素点实部分布图和像素点虚部分布图。
本实施例中，预设的图像特征提取模型为采用U-Net网络结构和残差密集网络块构建得到的一个卷积神经网络模型，该卷积神经网络模型通过大量不同频率下拍摄的物体的条纹图作为训练样本进行模型训练并训练至收敛状态，以获得提取单帧条纹图一阶频谱的像素点实部和像素点虚部的能力，该训练至收敛状态的卷积神经网络模型即为用于执行特征提取处理的图像特征提取模型。在本实施例中，获得动态物体的条纹图后，通过将该动态物体的条纹图输入到该图像特征提取模型中进行特征提取处理，利用该图像特征提取模型中提取单帧条纹图一阶频谱的像素点实部的通道从动态物体的条纹图中提取获得动态物体的像素点实部分布图，以及利用该图像特征提取模型中提取单帧条纹图一阶频谱的像素点虚部的通道从动态物体的条纹图中提取获得动态物体的像素点虚部分布图。
S13：根据所述像素点实部分布图和像素点虚部分布图，对所述动态物体的像素点进行相位计算，获得所述动态物体的折叠相位图，并对所述折叠相位图进行相位展开处理，获取所述动态物体的绝对相位图。
本实施例中，动态物体在条纹图中由若干个像素点组合表示，动态物体的像素点实部分布图中包含有用于表示动态物体的所有像素点的实部项数据值，动态物体的像素点虚部分布图中包含有用于表示动态物体的所有像素点的虚部项数据值。针对每一个像素点，根据像素点的实部项数据值和虚部项数据值，采用反正切运算方法进行相位计算，获得像素点的折叠相位，由于通过反正切运算会将动态物体所有像素点的相位值折叠在(-π，π)之间，因此，通过将动态物体所有像素点的折叠相位绘制到一张图中，可以获得动态物体的折叠相位图。具体地，采用反正切运算方法计算出像素点的折叠相位的计算公式为：
Figure BDA0003554656010000071
其中，θ表示为像素点的折叠相位值，a表示为像素点的实部项数据值，b表示为像素点的虚部项数据值。
在本实施例中，获得折叠相位图后，通过正弦条纹投影测量系统中的双相机和单投影仪装置结构，确定出视图的几何约束关系和虚拟平面位置，进而根据几何约束关系和虚拟平面位置来对折叠相位图进行展开处理，获得该动态物体的绝对相位图。示例性的，在本实施例中，由于折叠相位图中动态物体所有像素点的相位值折叠在(-π，π)之间，某些像素点在该折叠相位图中会出现跳跃的现象，在本实施例中，可以通过定义一个已知深度的测量平面，根据几何约束关系，该平面在相机上成像的像素点可以在投影仪传感器平面上找到映射区域，并得到虚拟平面的绝对相位值。虚拟物平面的相位图可以用于低频条纹折叠相位图的绝对相位展开，通过折叠相位图当前像素点与虚拟平面绝对相位图上对应位置上的像素点间的关系来确定该像素点的条纹级次，将该当前像素点的折叠相位值增加条纹级次与2π的乘积，以此方式遍历折叠相位图中的所有像素点，即可实现低频折叠相位图的展开处理。具体地，确定条纹级次的计算公式为，
Figure BDA0003554656010000081
其中，Φmin为虚拟平面的最小相位图，φ为折叠相位图，ceil[·]为向上取整运算。
针对高频条纹图，通过折叠相位图当前像素点与低频绝对相位图上对应位置上的像素点间的关系来确定该像素点的条纹级次，将该当前像素点的折叠相位值增加条纹级次与2π的乘积，以此方式遍历折叠相位图中的所有像素点，即可实现低频折叠相位图的展开处理。具体地，确定条纹级次的计算公式为：
Figure BDA0003554656010000082
其中，t1，t2代表两种条纹序列的条纹周期，φw和φu分别表示高频折叠相位和低频展开相位，round[·]表示就近取整运算。以此方式即可实现折叠相位图的展开处理，获得一个对应的绝对相位图。
S14：根据所述绝对相位图，将所述动态物体的所有像素点进行双目匹配与深度计算，获得各像素点对应的三维坐标值，以根据所述各像素点对应的三维坐标值构建所述动态物体的三维图像。
本实施例中，绝对相位图中包含有动态物体所有像素点的绝对相位数据值，根据该绝对相位图，可以获得每个像素点对应的绝对相位值。示例性的，针对绝对相位图中所有像素点，通过双目匹配，计算出成功匹配的每个像素点的视差值和深度值，以此确定各个像素点相互之间的三维位置关系。进而，结合正弦条纹投影测量系统在获取动态物体的条纹图时的标定参数，构建一个三维空间的坐标系，其中标定参数包括双相机的标定参数和投影仪的标定参数。基于该三维空间的坐标系，获得每个像素点对应的三维坐标值，将所有像素点对应的三维坐标值绘制在三维空间中，形成一个三维点云，由该三维点云即可构建获得动态物体的三维图像。示例性的，在本实施例中，双目匹配的过程为基于小孔成像模型，获取双目相机中两个相机的投影中心点和物点分别在该两个相机成像平面的投影点，在标定其中一个相机后，根据物点在该相机成像平面的投影点和该相机的投影中心点建立一个射线方程，根据物点在另一相机成像平面的投影点和该另一相机的投影中心点进行另一个射线方程，两个射线方程对应表征两条直线，通过对该两个射线方程进行联合求解，以此获得两条直线的交点，将该交点的三维坐标值设置为该物点的三维坐标值。
以上可以看出，本实施例提供的动态物体的三维成像方法首先按照预设的两种条纹频率获得动态物体的条纹图，并将获得的条纹图输入至通过卷积神经网络预先训练好的图像特征提取模型中进行特征提取处理，利用神经网络学习分别获得动态物体的像素点实部分布图和像素点虚部分布图。然后根据像素点实部分布图和像素点虚部分布图，对动态物体的像素点进行相位计算，获得动态物体的折叠相位图，并对折叠相位图进行相位展开处理，获取动态物体的绝对相位图。最后再根据绝对相位图，将动态物体的所有像素点进行双目匹配与深度计算处理，获得各像素点对应的三维坐标值，通过各像素点对应的三维坐标值构建获得动态物体的三维图像。该方法通过利用神经网络训练提高单帧条纹频谱的分析精度，同时结合正弦条纹投影测量系统的装置结构进行几何约束和虚拟平面位置的预设，实现双频相位展开，从而实现仅需两帧条纹图即可对动态物体进行高精度的三维成像。
本申请的一些实施例中，背景强度分布可以表示为条纹图中所有背景像素点呈现的像素颜色值的均值。在本实施例中，背景强度分布的计算公式可以设置为：
Figure BDA0003554656010000101
其中，In表示为相同频率不同相移的变形条纹图强度分布图，N为相移步长。
在本实施例中，可以根据条纹图中的背景强度分布来确定用于对条纹图进行除噪的除噪阈值，例如，除噪阈值可以设置为条纹图中所有背景像素点呈现的像素颜色值的均值，用于清除条纹图中的背景像素点。在本实施例中，在获得动态物体的条纹图后，通过扫描条纹图获得该条纹图所有像素点的像素颜色值，基于目标物体所反映出来的像素颜色值与背景反映出来的像素颜色值存在明显跳跃性的差异，通过各像素点的像素颜色值之间的差值可以从该条纹图中划分出用于表示背景的像素点和用于表示目标物体的像素点。进而，可以根据除噪阈值，对条纹图进行除噪处理，可以将条纹图中满足除噪阈值条件的像素点进行清除，以此将表示背景的像素点作为噪点清除掉，从而使得条纹图中仅保留用于表示动态物体的像素点。可以理解的是，在本实施例中，目标物体所反映出来的像素点颜色值一般在一个颜色值区间范围内且与背景的像素点的像素颜色值差异出现跳跃性变化，那么该像素点即可判定为条纹图中的噪点，由此，还可以基于扫描获得的目标物体所反映出来的像素颜色值所在的颜色值区间，设置除噪阈值，用于清除表示动态物体的像素点区域范围内的噪点，例如清除条纹图中的过曝像素点。
本申请的一些实施例中，请参阅图2，图2为本申请实施例提供的动态物体的三维成像方法中训练图像特征提取模型的第一种实现流程图。详细如下：
S21：采用预先搭建的正弦条纹投影测量系统在若干种不同频率下收集物体条纹图样本。
本实施例中，在预先搭建的正弦条纹投影测量系统中设置若干种不同的正弦投影条纹的频率，例如，假设正弦条纹投影测量系统中投影仪设备的水平方向分辨率是1280像素，后续三维成像过程中进行相位解调时所需的双频相位展开运算流程采用的条纹频率分别为16和64，即条纹像素周期分别是80和20。为了保证相位解调的准确性，相位解调过程中编码条纹的像素周期数应当相移步数的整数倍，结合相移步数的要求考虑公因数，相移步数可选为10步或20步，此时，在预先搭建的正弦条纹投影测量系统中设置若干种不同的正弦投影条纹的频率时，可以设置10，20，30，40，50，60，70，80等八个条纹的像素周期，以此对应可得到八中不同的频率。在本实施例中，通过采用预先搭建的正弦条纹投影测量系统按照其内置的每一种频率对多种不同的动态物体进行条纹投影和拍摄，即可收集到大量在若干种不同频率下的物体条纹图，将该收集到的所有物体条纹图作为物体条纹图样本。
S22：采用相移法计算出所述物体条纹图样本中表示物体的所有像素点的实部数据值和虚部数据值。
本实施例中，获得物体条纹图样本后，针对每个物体条纹图样本，采用相移法计算出该物体条纹图样本中表示物体的所有像素点的实部数据值和虚部数据值。在本实施例中，基于相移步数对谐波误差具有抑制效果，对于N阶谐波误差的抑制采用N+2步相移法进行计算，以此计算出物体条纹图样本中表示物体的所有像素点的实部数据值和虚部数据值。具体地，采用十步相移法对收集到的物体条纹图进行计算，其中，计算公式可以设置为：
Figure BDA0003554656010000111
Figure BDA0003554656010000112
其中，Im表示为实部数据值，Re表示为虚部数据值，B表示为物体条纹图的调制分布，φ表示为物体条形图的相位，δn表示为相移量。
S23：将所述物体条纹图样本作为模型输入以及将所述物体条纹图样本中表示物体的所有像素点的实部数据值和像素点虚部数据值作为模型输出训练预设的卷积神经网络模型至收敛状态，生成图像特征提取模型。
本实施例中，通过将物体条纹图样本作为模型输入以及将通过相移法计算出的该物体条纹图样本中表示物体的所有像素点的实部数据值和像素点虚部数据值作为模型输出训练预设的卷积神经网络模型，直至该卷积神经网络模型训练至收敛状态为止，将该训练至收敛状态的卷积神经网络模型生成为图像特征提取模型。
本申请的一些实施例中，请参阅图3，图3为本申请实施例提供的动态物体的三维成像方法中训练图像特征提取模型的第二种实现流程图。详细如下：
S31：将收集到的所有物体条纹图样本按照预设的分配比例进行随机分配，获得训练样本集和验证样本集；
S32：针对分配至所述训练样本集中的第一物体条纹图样本，将所述第一物体条纹图样本作为模型输入及将所述第一物体条纹图样本中表示物体的所有像素点的实部数据值和虚部数据值作为模型输出训练所述预设的卷积神经网络模型，获得训练后的卷积神经网络模型；
S33：针对分配至所述验证样本集中的第二物体条纹图样本，将所述第二物体条纹图样本输入至所述训练后的卷积神经网络模型进行特征提取处理，获取所述训练后的卷积神经网络模型输出的表示物体的所有像素点的第一实部数据值和第一虚部数据值；
S34：将所述训练后的卷积神经网络模型输出的表示物体的所有像素点的第一实部数据值和第一虚部数据值与所述第二物体条纹图样本通过相移法计算获得的表示物体的所有像素点的实部数据值和虚部数据值进行相似度比对，获得相似度值；
S35：将所述相似度值与上一轮迭代训练的相似度值进行比较，若所述相似度的增长幅度小于预设阈值，则判断所述训练后的卷积神经网络模型已训练至收敛状态，将所述训练后的卷积神经网络模型生成为图像特征提取模型。
本实施例中，可以将收集到的所有物体条纹图样本按8：2的分配比例随机分配得到该卷积神经网络模型的训练样本集和验证样本集。示例性的，区分分配到训练样本集中的物体条纹图样本为第一物体条纹图样本，分配到验证样本集中的物体条纹图样本为第二物体条纹图样本。此时，针对分配至训练样本集中的第一物体条纹图样本，可以将第一物体条纹图样本作为模型输入及将预先通过相移法计算获得的该第一物体条纹图样本中表示物体的所有像素点的实部数据值和虚部数据值作为模型输出训练该卷积神经网络模型，从而获得训练后的卷积神经网络模型。在获得训练后的卷积神经网络模型后，采用分配至验证样本集中的第二物体条纹图样本对模型进行收敛性验证，具体地，将验证样本集中的第二物体条纹图样本输入至该训练后的卷积神经网络模型进行特征提取处理，获取训练后的卷积神经网络模型输出的表示物体的所有像素点的第一实部数据值和第一虚部数据值。该训练后的卷积神经网络模型输出的第一实部数据值和第一虚部数据值作为模型的预测结果。然后再该第二物体条纹图样本此前通过相移法计算获得的表示物体的所有像素点的实部数据值和虚部数据值作为期望结果。通过将训练后的卷积神经网络模型输出的表示物体的所有像素点的第一实部数据值和第一虚部数据值与该第二物体条纹图样本通过相移法计算获得的表示物体的所有像素点的实部数据值和虚部数据值进行相似度比对，以此比对获得预测结果与期望结果之间的相似度值。最后，通过将比对获得的相似度值与上一轮迭代训练得到的相似度值进行比较，若相似度增长幅度大于预设阈值，则说明预测结果已接近期望结果，判断该训练后的卷积神经网络模型已训练至收敛状态，并将该训练后的卷积神经网络模型生成为图像特征提取模型。
本申请的一些实施例中，请参阅图4，图4为本申请实施例提供的动态物体的三维成像方法中对图像特征提取模型进行模型优化训练的一种实现流程图。详细如下：
S41：根据所述图像特征提取模型输出的表示物体的所有像素点的实部数据值和虚部数据值以及所述物体条纹图样本通过相移法计算获得的表示物体的所有像素点的实部数据值和虚部数据值，构建所述图像特征提取模型的第一损失函数.
本实施例中，第一损失函数的计算公式设置为：
L1＝||Imoutput-Imgt||1+||Reoutput-Regt||1
其中，Reoutput表示为训练后的卷积神经网络模型输出的表示物体的所有像素点的实部数据值，Imoutput表示为训练后的卷积神经网络模型输出的表示物体的所有像素点的虚部数据值，Regt表示为物体条纹图样本通过相移法计算获得的表示物体的所有像素点的实部数据值，Imgt表示为物体条纹图样本通过相移法计算获得的表示物体的所有像素点的虚部数据值。
S42：获取所述物体条纹图样本中物体的调制分布，构建所述图像特征提取模型的第二损失函数。
本实施例中，第二损失函数的计算公式设置为：
Figure BDA0003554656010000141
其中，5表示为从图像特征提取模型的神经网络中选取的5个中间层，λi表示为第i个中间层的权重参数，φi表示第i个中间层的输出，
Figure BDA0003554656010000142
表示为根据图像特征提取模型输出的表示物体的所有像素点的实部数据值和虚部数据值进行计算获得的物体的调制分布，B表示为根据相移法计算获得的表示物体的所有像素点的实部数据值和虚部数据值进行计算获得的物体的调制分布，其中计算物体的调制分布的计算公式为
Figure BDA0003554656010000143
S43：将所述第一损失函数和所述第二损失函数进行加权整合，生成所述图像特征提取模型的总损失函数，采用所述总损失函数对所述图像特征提取模型进行模型优化训练。
本实施例中，总损失函数表示为：
Loss＝L1+λLfeat
其中，λ表示为权重参数。
本实施例中，获得总损失函数后，通过使总损失函数计算得到损失最小来对图像特征提取模型进行模型优化训练。
请一并参阅图5，图5为本申请实施例提供的动态物体的三维成像方法中图像特征提取模型的卷积神经网络结构图。如图5所示，预设的卷积神经网络模型中设置有四层U-Net卷积层结构，每一层U-Net卷积层结构的特征处理采用一个残差密集网络块(RDB)来实现，通过不同的U-Net网络结构层来提取条纹图中不同尺度的特征。
本申请的一些实施例中，残差密集网络块中包含有5个连续的卷积层，可以针对该残差密集网络块中的每个卷积层设置对应的膨胀率，采用膨胀率对残差密集网络块中的各个卷积层分别进行膨胀卷积处理，扩大每一层U-Net卷积层结构在执行特征处理时的感受野，使得每一层U-Net卷积层结构提取到的特征更准确有效。由于膨胀卷积的卷积核不连续，连续叠加的膨胀卷积的膨胀率不能有大于1的公约数，为了避免栅格效应，残差密集网络块中各个卷积层的膨胀率依次设置为1，2，3，2，1。
可以理解的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本申请的一些实施例中，请参阅图6，图6为本申请实施例提供的一种动态物体的三维成像装置的基础结构框图。本实施例中该装置包括的各单元用于执行上述方法实施例中的各步骤。具体请参阅上述方法实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。如图6所示，动态物体的三维成像装置包括：图像拍摄模块61、特征提取模块62、相位图获取模块63以及三维成像模块64。其中：所述图像拍摄模块61用于按照预设的两种条纹频率对动态物体进行条纹投影并拍摄条纹图。所述特征提取模块62用于将所述条纹图输入至预设的图像特征提取模型中进行特征提取处理，分别获得所述动态物体的像素点实部分布图和像素点虚部分布图。所述相位图获取模块63用于根据所述像素点实部分布图和像素点虚部分布图，对所述动态物体的像素点进行相位计算，获得所述动态物体的折叠相位图，并对所述折叠相位图进行相位展开处理，获取所述动态物体的绝对相位图。所述三维成像模块64用于根据所述绝对相位图，将所述动态物体的所有像素点进行双目匹配与深度计算，获得各像素点对应的三维坐标值，以根据所述各像素点对应的三维坐标值构建所述动态物体的三维图像。
应当理解的是，上述动态物体的三维成像装置，与上述的动态物体的三维成像方法一一对应，此处不再赘述。
本申请的一些实施例中，请参阅图7，图7为本申请实施例提供的一种电子设备的基本结构框图。如图7所示，该实施例的电子设备7包括：处理器71、存储器72以及存储在所述存储器72中并可在所述处理器71上运行的计算机程序73，例如动态物体的三维成像方法的程序。处理器71执行所述计算机程序73时实现上述各个动态物体的三维成像方法各实施例中的步骤。或者，所述处理器71执行所述计算机程序73时实现上述动态物体的三维成像装置对应的实施例中各模块的功能。具体请参阅实施例中的相关描述，此处不赘述。
示例性的，所述计算机程序73可以被分割成一个或多个模块(单元)，所述一个或者多个模块被存储在所述存储器72中，并由所述处理器71执行，以完成本申请。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序73在所述电子设备7中的执行过程。例如，所述计算机程序73可以被分割成图像拍摄模块、特征提取模块、相位图获取模块以及三维成像模块，各模块具体功能如上所述。
所述电子设备可包括，但不仅限于，处理器71、存储器72。本领域技术人员可以理解，图7仅仅是电子设备7的示例，并不构成对电子设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器71可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器72可以是所述电子设备7的内部存储单元，例如电子设备7的硬盘或内存。所述存储器72也可以是所述电子设备7的外部存储设备，例如所述电子设备7上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器72还可以既包括所述电子设备7的内部存储单元也包括外部存储设备。所述存储器72用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器72还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。在本实施例中，所述计算机可读存储介质可以是非易失性，也可以是易失性。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种动态物体的三维成像方法，其特征在于，包括：
按照预设的两种条纹频率对动态物体进行条纹投影并拍摄条纹图；
将所述条纹图输入至预设的图像特征提取模型中进行特征提取处理，分别获得所述动态物体的像素点实部分布图和像素点虚部分布图；
根据所述像素点实部分布图和像素点虚部分布图，对所述动态物体的像素点进行相位计算，获得所述动态物体的折叠相位图，并对所述折叠相位图进行相位展开处理，获取所述动态物体的绝对相位图；
根据所述绝对相位图，将所述动态物体的所有像素点进行双目匹配及深度计算，获得各像素点对应的三维坐标值，以根据所述各像素点对应的三维坐标值构建所述动态物体的三维图像。
2.根据权利要求1所述的动态物体的三维成像方法，其特征在于，所述将所述条纹图输入至预设的图像特征提取模型中进行特征提取处理，分别获得所述动态物体的像素点实部分布图和像素点虚部分布图的步骤之前，还包括：
根据所述条纹图中的背景强度分布确定所述条纹图的除噪阈值，按照所述除噪阈值对所述条纹图进行除噪处理。
3.根据权利要求1所述的动态物体的三维成像方法，其特征在于，所述将所述条纹图输入至预设的图像特征提取模型中进行特征提取处理，分别获得所述动态物体的像素点实部分布图和像素点虚部分布图的步骤之前，还包括：
采用预先搭建的正弦条纹投影测量系统在若干种不同频率下收集物体条纹图样本；
采用相移法计算出所述物体条纹图样本中表示物体的所有像素点的实部数据值和虚部数据值；
将所述物体条纹图样本作为模型输入以及将所述物体条纹图样本中表示物体的所有像素点的实部数据值和像素点虚部数据值作为模型输出训练预设的卷积神经网络模型至收敛状态，生成图像特征提取模型。
4.根据权利要求3所述的动态物体的三维成像方法，其特征在于，所述将所述物体条纹图样本作为模型输入以及将所述物体条纹图样本中表示物体的所有像素点的实部数据值和像素点虚部数据值作为模型输出训练预设的卷积神经网络模型至收敛状态，生成图像特征提取模型的步骤中，包括：
将收集到的所有物体条纹图样本按照预设的分配比例进行随机分配，获得训练样本集和验证样本集；
针对分配至所述训练样本集中的第一物体条纹图样本，将所述第一物体条纹图样本作为模型输入及将所述第一物体条纹图样本中表示物体的所有像素点的实部数据值和虚部数据值作为模型输出训练所述预设的卷积神经网络模型，获得训练后的卷积神经网络模型；
针对分配至所述验证样本集中的第二物体条纹图样本，将所述第二物体条纹图样本输入至所述训练后的卷积神经网络模型进行特征提取处理，获取所述训练后的卷积神经网络模型输出的表示物体的所有像素点的第一实部数据值和第一虚部数据值；
将所述训练后的卷积神经网络模型输出的表示物体的所有像素点的第一实部数据值和第一虚部数据值与所述第二物体条纹图样本通过相移法计算获得的表示物体的所有像素点的实部数据值和虚部数据值进行相似度比对，获得相似度值；
将所述相似度值与上一轮迭代训练的相似度值进行比较，若所述相似度的增长幅度小于预设阈值，则判断所述训练后的卷积神经网络模型已训练至收敛状态，将所述训练后的卷积神经网络模型生成为图像特征提取模型。
5.根据权利要求4所述的动态物体的三维成像方法，其特征在于，所述将所述相似度值与上一轮迭代训练的相似度值进行比较，若所述相似度的增长幅度小于预设阈值，则判断所述训练后的卷积神经网络模型已训练至收敛状态，将所述训练后的卷积神经网络模型生成为图像特征提取模型的步骤之后，还包括：
根据所述图像特征提取模型输出的表示物体的所有像素点的实部数据值和虚部数据值以及所述物体条纹图样本通过相移法计算获得的表示物体的所有像素点的实部数据值和虚部数据值，构建所述图像特征提取模型的第一损失函数；
获取所述物体条纹图样本的调制分布，构建所述图像特征提取模型的第二损失函数；
将所述第一损失函数和所述第二损失函数进行加权整合，生成所述图像特征提取模型的总损失函数，采用所述总损失函数对所述图像特征提取模型进行模型优化训练。
6.根据权利要求3所述的动态物体的三维成像方法，其特征在于，所述将所述物体条纹图样本作为模型输入以及将所述物体条纹图样本中表示物体的所有像素点的实部数据值和像素点虚部数据值作为模型输出训练预设的卷积神经网络模型至收敛状态，生成图像特征提取模型的步骤中，所述预设的卷积神经网络模型中包含有四层U-Net卷积层结构，其中，每层U-Net卷积层结构中配置有残差密集网络块，所述残差密集网络块用于实现特征提取处理操作。
7.根据权利要求6所述的动态物体的三维成像方法，其特征在于，所述残差密集网络块中包含有若干个卷积层，其中，每个所述卷积层设置有对应的膨胀率。
8.一种动态物体的三维成像装置，其特征在于，所述动态物体的三维成像装置包括：
图像拍摄模块，用于按照预设的条纹频率对动态物体进行条纹投影并拍摄条纹图；
特征提取模块，用于将所述条纹图输入至预设的图像特征提取模型中进行特征提取处理，分别获得所述动态物体的像素点实部分布图和像素点虚部分布图；
相位图获取模块，用于根据所述像素点实部分布图和像素点虚部分布图，对所述动态物体的像素点进行相位计算，获得所述动态物体的折叠相位图，并对所述折叠相位图进行相位展开处理，获取所述动态物体的绝对相位图；
三维成像模块，用于根据所述绝对相位图，将所述动态物体的所有像素点进行双目匹配与深度计算，获得各像素点对应的三维坐标值，以根据所述各像素点对应的三维坐标值构建所述动态物体的三维图像。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202210270991.XA 2022-03-18 2022-03-18 动态物体的三维成像方法、装置、设备及存储介质 Pending CN114820921A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210270991.XA CN114820921A (zh) 2022-03-18 2022-03-18 动态物体的三维成像方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210270991.XA CN114820921A (zh) 2022-03-18 2022-03-18 动态物体的三维成像方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114820921A true CN114820921A (zh) 2022-07-29

Family

ID=82531898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210270991.XA Pending CN114820921A (zh) 2022-03-18 2022-03-18 动态物体的三维成像方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114820921A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118521717A (zh) * 2024-07-23 2024-08-20 海伯森技术（深圳）有限公司 一种三维重建方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118521717A (zh) * 2024-07-23 2024-08-20 海伯森技术（深圳）有限公司 一种三维重建方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Jeon et al. Accurate depth map estimation from a lenslet light field camera
US10584963B2 (en) System and methods for shape measurement using dual frequency fringe pattern
KR101554241B1 (ko) 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법
CN110702034A (zh) 高反光表面三维面形测量方法、服务器及系统
US20120176478A1 (en) Forming range maps using periodic illumination patterns
CN109945802B (zh) 一种结构光三维测量方法
JP6598673B2 (ja) データ処理装置およびその方法
CN111080662A (zh) 车道线的提取方法、装置及计算机设备
CN108648222B (zh) 结构光深度数据空间分辨率的提升方法及装置
JP2024507089A (ja) 画像のコレスポンデンス分析装置およびその分析方法
US11512946B2 (en) Method and system for automatic focusing for high-resolution structured light 3D imaging
CN109341536A (zh) 一种基于双目相机和结构光投影的精密三维视觉测量方法
CN114526692A (zh) 一种基于离焦度解包裹的结构光三维测量方法及装置
CN110006365A (zh) 基于二维查找表的相位展开方法、装置及电子设备
CN115205360A (zh) 复合条纹投影钢管的三维外轮廓在线测量与缺陷检测方法及应用
CN116645466A (zh) 一种三维重建方法及电子设备、存储介质
CN109661815A (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
CN114820921A (zh) 动态物体的三维成像方法、装置、设备及存储介质
CN110988876A (zh) 闭合鲁棒双基线InSAR相位解缠方法、系统及可读存储介质
CN112802084B (zh) 基于深度学习的三维形貌测量方法、系统和存储介质
CN110378948B (zh) 3d模型重建方法、装置及电子设备
CN109859313B (zh) 3d点云数据获取方法、装置、3d数据生成方法及系统
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
CN117474753A (zh) 一种基于双目结构光系统的点云拼接方法及相关产品
CN116977560A (zh) 基于结构光的三维重建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination