CN103968782B - 一种基于彩色正弦结构光编码的实时三维测量方法 - Google Patents
一种基于彩色正弦结构光编码的实时三维测量方法 Download PDFInfo
- Publication number
- CN103968782B CN103968782B CN201410220705.4A CN201410220705A CN103968782B CN 103968782 B CN103968782 B CN 103968782B CN 201410220705 A CN201410220705 A CN 201410220705A CN 103968782 B CN103968782 B CN 103968782B
- Authority
- CN
- China
- Prior art keywords
- structure light
- color
- camera
- phase
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000005516 engineering process Methods 0.000 claims abstract description 5
- 238000005259 measurement Methods 0.000 claims description 18
- 238000000691 measurement method Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000001314 profilometry Methods 0.000 claims description 4
- 238000010587 phase diagram Methods 0.000 claims 3
- 239000011159 matrix material Substances 0.000 description 8
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 241000961787 Josa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明是三维传感技术中一种基于彩色正弦结构光编码的实时三维测量方法。使用投影装置将单幅彩色正弦结构光编码图案投影到物体表面，使用两个摄像装置分别记录变形的彩色结构光图像，对每幅彩色结构光图像进行颜色分离得到R、G、B三个通道对应的单色结构光图像，并由单色结构光图像计算出两个摄像装置各自的相位，利用两个摄像装置的极线约束关系进行相位匹配从而获取物体表面瞬时的三维坐标。本发明能实现实时三维测量。本发明方法具有对颜色亮度不平衡、颜色通道耦合、投影设备非线性等干扰因素鲁棒性好，测量精确度高等优点。
Description
技术领域
本发明涉及光学三维传感技术，特别是涉及通过投影单幅彩色结构光编码图案实现对目标物体表面的实时三维测量。
背景技术
本发明涉及一种实时光学三维测量方法。实时三维测量技术能测量静止物体和运动物体表面的三维数据，基本不受被测物体运动状态的限制。相位测量轮廓术（phasemeasuring profilometry, PMP）是一种经典的主动式三维测量方法，但该方法需要向目标物体投射3幅或3幅以上具有相移的正弦结构光图案，难以满足实时性要求。Peisen S.Huang等人在论文“Color-encoded digital fringe projection technique for high-speed three-dimensional surface contouring[J]. Optical Engineering, 1999, 38(6): 1065-1071”中提出把PMP中的3幅具有相移的正弦结构光图案分别用一幅彩色图案的R、G、B三个颜色通道来表示，这样就只需投射一幅彩色图案，能较好地满足实时性要求。该方法首先用一个投影机向目标物体投射一幅彩色编码的结构光图案，其3个颜色通道分别是相位间隔的3幅高频正弦结构光图案；其次，用一个彩色摄像头拍摄投影场景，并对摄像头图像进行颜色分离得到3幅灰度结构光图像，在颜色分离过程包含了颜色耦合补偿和颜色亮度均衡化的操作；最后用这3幅灰度结构光图像计算出包裹相位，又采用空间相位展开法得到绝对相位；利用绝对相位求出摄像头与投影机的对应关系，进而利用三角原理获得目标物体的三维坐标。其方法主要存在以下缺陷：（1）测量精确度有限。相位测量受到颜色亮度不平衡、颜色通道耦合、投影机非线性、环境噪声等不利因素影响，虽然对颜色亮度不平衡、颜色通道耦合进行了补偿，但仍然不可避免存在误差，所以得到的相位以及三维数据精确度不高。（2）空域相位展开法适用条件较为苛刻，如目标物体不连续的几何表面可能导致相位展开错误。如何在保证实时性的同时，又能达到三维测量的较高精确度和稳定性，应用本发明的提及的方案就可以解决这一关键问题。
发明内容
本发明的目的是针对目前基于彩色正弦结构光编码图案的三维测量方法抗干扰能力弱、测量精确度低、相位展开不稳定的缺陷，提供一种把彩色编码的相位测量轮廓术与被动立体视觉相结合的实时三维测量方法，该方法在保证实时性的同时，能达到较高的三维测量精度。
本发明的目的是采用下述技术方案来实现的：
使用投影装置，将单幅正弦结构光彩色编码图案投影到物体表面，该彩色图案R、G、B三个通道图案均为基频正弦结构光图案，相邻通道图案之间的相位差为，使用两个摄像装置分别同时记录变形的彩色结构光图像，对每幅彩色结构光图像进行颜色分离得到R、G、B三个通道对应的单色结构光图像，根据相位测量轮廓术公式用分离出的三幅结构光图像计算每个摄像装置的相位，由摄像装置标定参数得到两摄像装置之间的极线约束关系，用两摄像装置的极线约束关系进行相位匹配得到两摄像装置对应点坐标，最后根据两摄像装置的标定参数和坐标对应关系计算出目标物体表面的三维坐标。
本发明与现有技术相比有如下优点：
本发明能达到实时高精度的三维测量。由于本发明用相位匹配的方法获取两摄像头之间的对应关系，在两个摄像头硬件条基本相同的情况下，颜色亮度不平衡、颜色通道耦合、投影机非线性等因素对两摄像头对应点相位的影响也基本相同，从而上述干扰因素对相位匹配的准确性影响较小，所以与现有基于单摄像头的颜色编码相位测量轮廓术相比，本发明对颜色亮度不平衡、颜色通道耦合、投影机非线性等干扰因素的鲁棒性更好，能达到更高的三维测量精确度。同时本发明使用基频正弦结构光图案，避免了空间相位展开可能出现的不稳定问题。
附图说明
图1为本发明三维测量系统结构图。
图2为本发明三维测量方法的工作流程图。
具体实施方式
下面结合附图、工作原理对本发明作进一步详细说明。
附图1为本发明三维测量系统结构图。采用的装置有1台CASIO XJ-M140投影机，投影机缓存帧大小为像素，投影机最大输出频率为150帧/s；2个Prosilica GC650工业摄像头，分辨率为像素，摄像头最大捕捉频率为62帧/s。1台具有Core i33530 CPU，4GB内存的计算机。由计算机对结构光投影和拍摄过程进行控制。
附图2为本实施例基于彩色正弦结构光编码的实时三维测量方法工作流程图。本实例具体实施步骤如下：
（1）对两个摄像头进行标定，得到两摄像头大小为的投影矩阵和。
（2）生成彩色正弦结构光编码图案。其中R、G、B三个通道的单色图案可以分别表示为：
其中， 为投影机空间坐标， 分别对应R、G、B三个通道的单色图案在处的灰度值， 是投影机空间的宽度， 为结构光图案的直流分量， 为结构光图案的交流振幅，满足。这里结构光图案参数取值为：，。为了减少投影设备的非线性对测量的不利影响，在投影前对上述图案进行灰度变换来实现非线性补偿。我们采用的非线性校正方法方法在论文“Liu K, Wang Y, Lau D L, et al. Gamma model and its analysis for phasemeasuring profilometry[J]. JOSA A, 2010, 27(3): 553-562.”中有详细介绍。本领域的技术人员不难理解非线性补偿是结构光三维测量的常规步骤。
（3）用投影机把彩色正弦结构光图案投射到目标物体上后，控制两个摄像头同时对目标场景进行拍摄，得到两幅彩色正弦结构光图像。每幅彩色图像进行颜色分离后得到3幅灰度结构光图像，分别表示为，其中表示摄像头序号，满足， 表示摄像头的空间坐标， 分别表示分离出的R、G、B三个通道的单色图案在处的灰度值。彩色结构光图像进行R、G、B三通道颜色分离的方法在论文“Color-encoded digital fringe projectiontechnique for high-speed three-dimensional surface contouring[J]. OpticalEngineering, 1999, 38(6): 1065-1071”中有详细介绍，包括颜色耦合补偿和颜色亮度均衡化。
（4）每个摄像头利用各自分离出的3幅结构光图像解码得到相位和。计算相位的公式为：
其中， 表示在序号为的摄像头坐标系下，在像素点处的相位值。
（5）根据两摄像头平面对应点的极线约束关系，对摄像头1上每一个像素点在摄像头2平面的对应极线上搜索出相位相等的对应点坐标。
两摄像头平面对应点的极线约束关系可以表示为：
其中和分别为摄像头1平面与摄像头2平面对应点的其次坐标形式，，， 为基础矩阵，该矩阵描述了两摄像头之间的相对几何关系。基础矩阵可以由摄像头投影矩阵和得到，计算公式为：
其中，，表示摄像头投影矩阵左边的部分，表示摄像头投影矩阵右边的部分，为的反对称阵。
求出基础矩阵后，对摄像头1平面内每一点，可以求出在摄像头2平面对应的极线，计算公式为：，其中表示在摄像头2平面对应的极线的系数向量。然后在极线上搜索与处相位相等的子像素点。即对应点和满足：
基于极线约束的亚像素级相位匹配方法在论文“Wang Y, Liu K, Hao Q, et al.Multicamera phase measuring profilometry for accurate depth measurement[C]//Defense and Security Symposium. International Society for Optics andPhotonics, 2007: 655509-655509-12”中有详细介绍。相位匹配后得到两个摄像头的对应坐标关系。
（6）根据两摄像头对应点坐标和摄像头投影矩阵和计算出目标物体表面的三维坐标。计算方法在论文“Wang Y, Liu K, Hao Q, et al. Multicamera phasemeasuring profilometry for accurate depth measurement[C]//Defense andSecurity Symposium. International Society for Optics and Photonics, 2007:655509-655509-12”中有详细介绍。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种适用于三维传感技术测量中使用单幅彩色正弦结构光编码图案和极线匹配技术的实时光学三维测量方法，其特征在于，对两个摄像头进行标定，并由摄像头标定参数得到两摄像头之间的极线约束关系，使用投影装置，将单幅彩色正弦结构光编码图案投影到物体表面，该彩色正弦结构光编码图案是指R、G、B三个通道均为基频、有相同直流分量和振幅的正弦结构光图案，且相邻通道图案之间的相位差为2π/3，使用两个摄像头分别记录变形的彩色结构光图像，对每幅彩色结构光图像进行颜色分离得到R、G、B三个通道对应的单色结构光图像，用彩色结构光图像对应的三幅单色结构光图像根据相位测量轮廓术公式计算出两个摄像头各自的相位，根据两个摄像头的极线约束关系进行相位匹配，即对摄像头1的相位图上的一点a，根据极线约束关系在摄像头2的相位图上确定对应极线，并在该极线上搜索出与a相位值近似相等的相位所在位置，对摄像头1相位图上的所有像素点均按上述方法操作，得到摄像头1与摄像头2的坐标对应关系，进而根据摄像头标定参数和三角原理获得目标物体的三维坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410220705.4A CN103968782B (zh) | 2014-05-23 | 2014-05-23 | 一种基于彩色正弦结构光编码的实时三维测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410220705.4A CN103968782B (zh) | 2014-05-23 | 2014-05-23 | 一种基于彩色正弦结构光编码的实时三维测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103968782A CN103968782A (zh) | 2014-08-06 |
| CN103968782B true CN103968782B (zh) | 2018-06-05 |
Family
ID=51238583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410220705.4A Active CN103968782B (zh) | 2014-05-23 | 2014-05-23 | 一种基于彩色正弦结构光编码的实时三维测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103968782B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104296690A (zh) * | 2014-10-24 | 2015-01-21 | 四川大学 | 一种基于图像融合的多线结构光三维测量方法 |
| CN104390607B (zh) * | 2014-11-05 | 2017-04-19 | 南昌航空大学 | 基于相位编码的彩色结构光快速三维测量方法 |
| CN104634323B (zh) * | 2015-02-15 | 2016-10-12 | 四川川大智胜软件股份有限公司 | 一种多级摄像三维照相系统及方法 |
| CN104697469B (zh) * | 2015-03-30 | 2017-11-10 | 四川大学 | 利用谐波幅值判定饱和的高动态三维测量方法 |
| CN105157613A (zh) * | 2015-06-03 | 2015-12-16 | 五邑大学 | 利用彩色结构光的三维快速测量方法 |
| CN106767405B (zh) * | 2016-12-15 | 2019-07-05 | 深圳大学 | 相位映射辅助三维成像系统快速对应点匹配的方法及装置 |
| CN108616727A (zh) * | 2016-12-23 | 2018-10-02 | 光宝电子(广州)有限公司 | 基于结构光的曝光控制方法及曝光控制装置 |
| CN107063087B (zh) * | 2017-03-13 | 2019-04-30 | 浙江优迈德智能装备有限公司 | 一种基于手持示教器的着漆中心点信息的测量方法 |
| CN106931910B (zh) * | 2017-03-24 | 2019-03-05 | 南京理工大学 | 一种基于多模态复合编码和极线约束的高效三维图像获取方法 |
| CN108120665A (zh) * | 2017-12-28 | 2018-06-05 | 无锡奥芬光电科技有限公司 | 单色结构光检查微小颗粒的方法及设备 |
| CN110276838B (zh) * | 2019-05-30 | 2023-04-28 | 盎锐（上海）信息科技有限公司 | 基于激光投影仪的模型获取方法及装置 |
| CN111023999B (zh) * | 2019-12-26 | 2020-12-01 | 北京交通大学 | 一种基于空间编码结构光的稠密点云生成方法 |
| CN112082509A (zh) * | 2020-08-19 | 2020-12-15 | 天津大学 | 一种快速全方位三维测量方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101706264B (zh) * | 2009-04-01 | 2012-11-21 | 姚征远 | 投影三维测量装置 |
| CN101655358A (zh) * | 2009-07-01 | 2010-02-24 | 四川大学 | 采用颜色编码提高正交复合光栅位相测量轮廓术的动态特性 |
| CN101825445B (zh) * | 2010-05-10 | 2011-11-30 | 华中科技大学 | 一种动态物体的三维测量系统 |
| CN101986098B (zh) * | 2010-09-21 | 2012-02-22 | 东南大学 | 基于三色光投影的傅里叶变换三维测量法 |
| CN102243103A (zh) * | 2011-04-13 | 2011-11-16 | 西安交通大学 | 一种物体颜色及三维轮廓的快速测量方法 |
| US9213227B2 (en) * | 2011-08-18 | 2015-12-15 | Nikon Corporation | Custom color or polarization sensitive CCD for separating multiple signals in autofocus projection system |
| CN102519395B (zh) * | 2011-11-25 | 2013-12-18 | 东南大学 | 彩色结构光三维测量中的彩色响应标定方法 |
| CA2860635C (en) * | 2012-03-12 | 2016-11-01 | Sekisui Integrated Research Inc. | 3d shape measurement apparatus |
-
2014
- 2014-05-23 CN CN201410220705.4A patent/CN103968782B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN103968782A (zh) | 2014-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103968782B (zh) | 一种基于彩色正弦结构光编码的实时三维测量方法 | |
| CN104596439A (zh) | 一种基于相位信息辅助的散斑匹配三维测量方法 | |
| Xu et al. | A simple calibration method for structured light-based 3D profile measurement | |
| CN109489585B (zh) | 基于改进多频条纹结构光的三维测量方法 | |
| JP5029618B2 (ja) | パターン投影法による３次元形状計測装置、方法およびプログラム | |
| Zappa et al. | Static and dynamic features of Fourier transform profilometry: A review | |
| Luo et al. | A simple calibration procedure for structured light system | |
| Léandry et al. | Calibration of a structured-light projection system: development to large dimension objects | |
| CN103292734B (zh) | 相位测量系统中伽玛值标定方法 | |
| CN104236482B (zh) | 结合几何标定的相位测量轮廓术系统非线性校正方法 | |
| Wang et al. | A two-step calibration method of a large FOV binocular stereovision sensor for onsite measurement | |
| Gutiérrez-Gómez et al. | Inverse depth for accurate photometric and geometric error minimisation in RGB-D dense visual odometry | |
| CN107610183B (zh) | 一种条纹投影相位高度转换映射模型的标定方法 | |
| WO2016042779A1 (ja) | 三角測量装置、三角測量方法およびそのプログラムを記録した記録媒体 | |
| CN105157614B (zh) | 基于二值相移图案的三维测量方法 | |
| CN103292733B (zh) | 一种基于相移和三视张量的对应点查找方法 | |
| WO2017035817A1 (zh) | 一种相位误差补偿方法及装置 | |
| JP2017116420A (ja) | データ処理装置およびその方法 | |
| Liu et al. | Generic distortion model for metrology under optical microscopes | |
| CN104501741B (zh) | 一种用于三维面形测量的正交光栅相移方法 | |
| CN103954239A (zh) | 一种三维测量系统及方法 | |
| Xiao et al. | Large-scale structured light 3D shape measurement with reverse photography | |
| Yang et al. | Flexible and fast calibration method for uni-directional multi-line structured light system | |
| Tian et al. | Self-calibration of a fringe projection system using epipolar constraint | |
| Yu et al. | An improved projector calibration method for structured-light 3D measurement systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Liu Kai Inventor after: Long Yunfei Inventor after: Hu Ziyang Inventor after: Xu Bin Inventor before: Liu Kai Inventor before: Long Yunfei |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |