KR20070061094A - Edge-adaptive stereo/multi-view image matching apparatus and its method - Google Patents
Edge-adaptive stereo/multi-view image matching apparatus and its method Download PDFInfo
- Publication number
- KR20070061094A KR20070061094A KR1020060045149A KR20060045149A KR20070061094A KR 20070061094 A KR20070061094 A KR 20070061094A KR 1020060045149 A KR1020060045149 A KR 1020060045149A KR 20060045149 A KR20060045149 A KR 20060045149A KR 20070061094 A KR20070061094 A KR 20070061094A
- Authority
- KR
- South Korea
- Prior art keywords
- edge
- stereo
- variation
- image
- matching
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000035772 mutation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
Description
도 1은 본 발명에 따른 에지 적응형 스테레오/다시점 영상 정합 장치의 일실시예 구성도,1 is a block diagram of an embodiment of an edge-adaptive stereo / multiview image matching device according to the present invention;
도 2는 본 발명에 따른 에지 적응형 스테레오/다시점 영상 정합 방법에 대한 일실시예 흐름도,2 is a flowchart illustrating an embodiment of an edge adaptive stereo / multiview image matching method according to the present invention;
도 3은 본 발명에 따른 에지 형태에 따른 정합창틀의 분류를 나타내는 일실시예 도면,Figure 3 is an embodiment showing the classification of the matching window frame according to the edge shape according to the present invention,
도 4는 본 발명에 따른 에지 형태에 따라 정합창틀을 선택하는 예를 나타내는 도면,4 is a view showing an example of selecting a matching window frame according to the edge shape according to the present invention,
도 5는 성형의 다시점 카메라 배치에서 에러를 비교하는 스테레오 영상 쌍을 나타내는 도면,5 shows a stereo image pair comparing errors in a multi-view camera arrangement of shaping;
도 6은 선형의 다시점 카메라 배치에서 에러를 비교하는 스테레오 영상 쌍을 나타내는 도면이다.6 is a diagram illustrating a stereo image pair for comparing errors in a linear multi-view camera arrangement.
* 도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings
100 : 스테레오/다시점 영상 입력 및 저장부100: stereo / multi-view image input and storage unit
101 : 카메라 보정부 102 : 에지 추출부101: camera correction unit 102: edge extraction unit
103 : 정합창틀 선택부 104 : 변이 탐색부103: matching window frame selection unit 104: mutation search unit
105 : 변이 선택부 106 : 변이지도 저장부105: variation selection unit 106: variation map storage unit
본 발명은 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 스테레오/다시점 카메라로부터 획득한 스테레오/다시점 영상(비디오)으로부터 보다 정확한 변이지도(Disparity Map)를 생성하기 위한, 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법에 관한 것이다.The present invention relates to an edge-adaptive stereo / multiview image matching device and a method thereof, and more particularly to a more accurate disparity map from a stereo / multiview image (video) obtained from a stereo / multiview camera. An apparatus and method for edge-adaptive stereo / multiview image registration for generating.
두 대 이상의 카메라를 이용하여 획득한 영상(비디오)으로부터 객체나 장면의 3차원 정보를 얻는 방법으로는 "Shape from Silhouette", "Voxel Coloring", 및 스테레오/다시점 영상 정합 방식 등의 여러 가지 방식이 있다. 이 중에서 "Shape from Silhouette", 및 "Voxel Coloring" 방식은 주로 객체의 3차원 정보를 얻는데 사용되며, 스테레오/다시점 영상 정합 방식은 장면의 3차원 정보를 얻는데 사용된다. 여기서, 장면의 3차원 정보는 카메라 범위 내에서 가상 시점의 영상을 생성하는데 사용될 수 있다. 이때, 보다 좋은 화질의 가상 시점 영상 생성을 위해서는 정확한 변이지도를 얻는 것이 중요하다.Three-dimensional information of an object or scene can be obtained from images (videos) obtained by using two or more cameras, such as "Shape from Silhouette", "Voxel Coloring", and stereo / multiview image matching. There is this. Among these, the "Shape from Silhouette" and "Voxel Coloring" methods are mainly used to obtain 3D information of an object, and the stereo / multiview image matching method is used to obtain 3D information of a scene. Here, the 3D information of the scene may be used to generate an image of a virtual view within a camera range. In this case, it is important to obtain an accurate disparity map in order to generate a virtual view image of better quality.
상기 스테레오/다시점 영상 정합 방식은 두 대 또는 그 이상의 카메라로부터 획득(취득)된 영상 중 하나를 기준 영상으로, 다른 영상들을 탐색 영상으로 놓았을 때, 3차원 공간상의 한 점이 기준 영상과 탐색 영상들에 투영된 화소의 영상 내 위치를 구하는 과정이다. 이때, 구해진 각 대응점들 간의 영상 좌표 차이를 변이(Disparity)라고 한다.In the stereo / multi-view image matching method, when one of the images acquired (obtained) from two or more cameras is set as a reference image and other images are set as the search images, one point in the three-dimensional space is the reference image and the search image. The process of obtaining the position in the image of the pixel projected on the field. In this case, the image coordinate difference between the corresponding corresponding points is called disparity.
그리고 상기 변이를 기준 영상의 각 화소에 대하여 계산하면 영상의 형태로 변이가 저장되는데 이를 변이지도(Disparity Map)라고 한다.When the variation is calculated for each pixel of the reference image, the variation is stored in the form of an image, which is called a disparity map.
이러한 변이지도를 여러 시점의 영상으로부터 여러 개 추출하고, 이들을 결합함으로써 장면의 3차원 정보를 획득하게 된다. 이러한 방법은 다른 3차원 정보 획득 방법에 비해 저가의 비용으로 3차원 정보를 얻을 수 있으며, 영상의 해상도가 높아서 보다 정밀한 결과를 얻을 수 있고, 텍스쳐 정보를 포함하고 있으므로 생성된 모델에 텍스쳐 정보를 투영하여 보다 사실적인 3차원 모델을 얻을 수 있다는 장점이 있다. 그러나 이러한 방법은 조광 조건 및 텍스쳐 정보의 영향이 크고, 차폐 지역에서 오차가 크며, 조밀한 변이지도를 얻기 위해서는 수행 시간이 길다는 단점이 있다.By extracting a plurality of such disparity maps from images of various viewpoints and combining them, three-dimensional information of a scene is obtained. This method can obtain three-dimensional information at a lower cost than other three-dimensional information acquisition methods, and because the resolution of the image is high, more accurate results can be obtained, and because the texture information is included, the texture information is projected onto the generated model. The advantage is that a more realistic three-dimensional model can be obtained. However, this method has disadvantages of high influence of lighting condition and texture information, large error in shielding area, and long execution time in order to obtain dense disparity map.
보다 정확한 변이지도를 얻기 위한 연구는 많은 연구자들에 의해 오랫동안 연구되어 새로운 접근 방법이 속속 등장하였으나, 아직까지 제약 조건이 많고, 또한 새로운 응용 영역이 계속 생겨나면서 현재까지도 가장 활발하게 연구가 진행되고 있는 분야이다.Research to obtain more accurate mutation maps has been studied by many researchers for a long time, and new approaches have emerged one after another. However, there are still many constraints and the new areas of application continue to be actively studied. Field.
한편, 양안 스테레오 영상을 이용한 변이지도 추출에서는 차폐(occlusion) 문제 때문에 정확한 변이지도를 구하기가 어렵기 때문에 최근에는 다수의 카메라를 이용하여 스테레오 정합의 문제를 해결하려는 노력이 있었다(Okutomi and Kanade, "A Multiple-Baseline Stereo," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. PAMI-15, no. 4, pp. 353-363, 1993). 이러한 방법들은 다수의 스테레오 영상 쌍을 이용하여 각 화소의 대응점들을 좀더 정확하게 추적하여 가려진 영역 등에서 생기는 오류들을 최소화하고자 하였다.On the other hand, in the extraction of disparity maps using binocular stereo images, it is difficult to obtain accurate disparity maps due to occlusion problems. Recently, there have been efforts to solve the problem of stereo matching using multiple cameras (Okutomi and Kanade, " A Multiple-Baseline Stereo, "IEEE Trans. On Pattern Analysis and Machine Intelligence, vol. PAMI-15, no. 4, pp. 353-363, 1993). These methods attempt to more accurately track the corresponding points of each pixel by using a plurality of stereo image pairs, thereby minimizing errors in the hidden region.
또한, 가려진 영역들이 나타나는 패턴을 파악하여 그 패턴에 따라 적절한 스테레오 영상을 선택하여 좀더 효율적으로 가려진 영역을 피할 수 있는 방법이 제안되었다(Nakmura et al., "Occlusion Detectable Stereo-Occlusion Patterns in Camera Matrix-", Proceedings of CVPR'96, pp. 371-378, 1996). 이러한 방법은 가려진 영역을 제거하는데 효과적이나, 물체의 가장자리에서의 경계선 과급(object boundary overreach) 문제 등과 같은 여전히 해결되지 않는 문제점이 있었다.In addition, a method has been proposed to identify patterns in which hidden areas appear and select an appropriate stereo image according to the patterns to avoid the more efficiently hidden areas (Nakmura et al., "Occlusion Detectable Stereo-Occlusion Patterns in Camera Matrix- ", Proceedings of CVPR'96, pp. 371-378, 1996). This method is effective for removing hidden areas, but there are still problems that are not solved, such as an object boundary overreach problem at the edge of an object.
상기 경계선 과급 문제를 해결하기 위해 적응형 윈도우 방법(Kanade and Okutomi, "A Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment, "IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 16, no. 9, Sept., 1994), 대칭적 윈도우 방법(Fusiello et al., "Efficient Stereo with Multiple Windowing," Proceedings of CVPR'97, p. 858, 1997), 점진적으로 윈도우의 크기를 변경시키는 방법(Park and Inoue, "Acquisition of sharp depth map from multiple cameras," Signal Processing: Image Communication, vol.14, pp.7-19, Nov. 1998) 등이 제안되었는데, 이들 연구들은 물체의 가장자리 를 효율적으로 복구하였으나, 계산량이 많아 신속한 변이지도 추출에 어려움이 있으며, 물체의 완만한(smooth) 표면에서 변이 정보가 손상되는 문제점을 보이고 있다.In order to solve the boundary supercharge problem (Kanade and Okutomi, "A Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment," IEEE Trans. On Pattern Analysis and Machine Intelligence, vol. 16, no. 9, Sept., 1994), the symmetrical window method (Fusiello et al., "Efficient Stereo with Multiple Windowing," Proceedings of CVPR'97, p. 858, 1997), and the method of gradually changing the size of the window (Park and Inoue). , "Acquisition of sharp depth map from multiple cameras," Signal Processing: Image Communication, vol. 14, pp.7-19, Nov. 1998), have been proposed. There are many difficulties in extracting the fast disparity map, and the disparity information is damaged on the smooth surface of the object.
최근에는 다중 창틀의 계산량을 줄이기 위한 방법으로, 에지 포함 여부 및 에지 형태에 따른 에지 적응형 수평 이동 창틀 정합 방법(Jong-Il Park, Gi Mun Um, Chunghyun Ahn, and Chieteuk Ahn, "Virtual Control of Optical Axis of the 3DTV Camera for Reducing Visual Fatigue in Stereoscopic 3DTV," ETRI Journal, vol.26, no.6, Dec. 2004, pp.597-604)이 제안되었는데, 이 방법은 다양한 에지 형태를 고려하지 못한 문제점이 있었다.Recently, as a method for reducing the calculation amount of multiple window frames, an edge adaptive horizontal moving window frame matching method according to whether edges are included and edge shape (Jong-Il Park, Gi Mun Um, Chunghyun Ahn, and Chieteuk Ahn, "Virtual Control of Optical Axis of the 3DTV Camera for Reducing Visual Fatigue in Stereoscopic 3DTV, "ETRI Journal, vol.26, no.6, Dec. 2004, pp.597-604), which does not consider various edge shapes. There was this.
따라서 물체의 경계 부분에서 좀더 정확한 변이를 얻으면서, 계산량을 줄일 수 있는 스테레오/다시점 영상 정합 방법이 요구되고 있다.Therefore, there is a need for a stereo / multiview image registration method that can reduce the amount of computation while obtaining more accurate variation at the boundary of an object.
본 발명은 상기한 바와 같은 문제점을 해결하고 상기 요구에 부응하기 위하여 제안된 것으로, 영상 내 에지 분포에 따라 적절한 정합창틀을 적응적으로 사용함으로써 가려진 영역 또는 새로운 출현 영역에서의 오차를 줄이고 에지 영역에서의 깊이 값의 정확도를 높일 수 있는, 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above-mentioned problems and meet the above-mentioned demands. The present invention has been proposed to reduce the error in the hidden region or the new appearance region by adaptively using an appropriate matching frame according to the edge distribution in the image. An object of the present invention is to provide an edge adaptive stereo / multiview image matching device and a method thereof, which can increase the accuracy of a depth value of.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.
상기 목적을 달성하기 위한 본 발명의 장치는, 에지 적응형 스테레오/다시점 영상 정합 장치에 있어서, 두 시점 이상의 카메라로부터 스테레오/다시점 영상(비디오)을 획득하기 위한 영상 획득 수단; 상기 영상 획득 수단으로부터 전달받은 정합할 영상에서 에지를 추출하기 위한 에지 추출 수단; 상기 에지 추출 수단에서 추출한 에지의 분포를 조사하여 에지 분포 형태에 따라 적용할 정합창틀을 선택하기 위한 정합창틀 선택 수단; 상기 정합창틀 선택 수단에서 선택한 정합창틀을 이용하여 변이 탐색 범위 내에서 변이를 탐색하기 위한 변이 탐색 수단; 및 상기 변이를 변이지도로 저장하기 위한 변이지도 저장 수단을 포함한다.An apparatus of the present invention for achieving the above object is an edge-adaptive stereo / multi-view image registration device, comprising: image acquisition means for obtaining a stereo / multi-view image (video) from two or more cameras; Edge extraction means for extracting an edge from an image to be matched received from the image acquisition means; Matching window frame selecting means for selecting a matching window frame to be applied according to an edge distribution type by examining the distribution of the edges extracted by the edge extraction means; Transition search means for searching for a variation within a variation search range using the registration window frame selected by the registration window frame selection means; And variation map storage means for storing the variation as a variation map.
또한, 상기 본 발명의 장치는, 각 스테레오 영상 쌍으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하여 상기 변이지도 저장 수단으로 전달하기 위한 변이 선택 수단을 더 포함한다.In addition, the apparatus of the present invention further comprises a variation selecting means for comparing the variation of the same point obtained from each stereo image pair to select the variation of the stereo image pair having the highest similarity and transmit the variation to the storage means. do.
또한, 상기 본 발명의 장치는, 상기 각 카메라의 카메라 정보를 추출하기 위한 카메라 보정 수단; 및 상기 변이지도 저장 수단으로부터의 변이지도를 상기 카메라 보정 수단에서 추출한 카메라 정보를 이용하여 3차원 데이터로 변환하기 위한 변이지도 변환 수단을 더 포함한다.In addition, the apparatus of the present invention, the camera correction means for extracting the camera information of each camera; And disparity map conversion means for converting the disparity map from the disparity map storage means into three-dimensional data using camera information extracted by the camera correction means.
한편, 상기 목적을 달성하기 위한 본 발명의 방법은, 에지 적응형 스테레오/ 다시점 영상 정합 방법에 있어서, 두 시점 이상의 카메라로부터 스테레오/다시점 영상(비디오)을 획득하는 단계; 정합할 영상에서 에지를 추출하는 단계; 상기 추출한 에지의 분포를 조사하여 에지 분포 형태에 따라 적용할 정합창틀을 선택하는 정합창틀 선택 단계; 상기 선택한 정합창틀을 이용하여 변이 탐색 범위 내에서 변이를 탐색하는 단계; 및 상기 변이를 변이지도로 저장하는 단계를 포함한다.On the other hand, the method of the present invention for achieving the above object, the edge-adaptive stereo / multi-view image registration method, comprising: obtaining a stereo / multi-view image (video) from two or more cameras; Extracting an edge from an image to be matched; A matching window frame selection step of selecting a matching window frame to be applied according to an edge distribution form by examining the extracted edge distribution; Searching for a variation within a variation search range using the selected matching window frame; And storing the variation as a variation map.
또한, 상기 본 발명의 방법은, 각 스테레오 영상 쌍으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하는 단계를 더 포함한다.In addition, the method of the present invention further includes the step of selecting the variation of the stereo image pair having the highest similarity by comparing the variation for the same point obtained from each stereo image pair.
또한, 상기 본 발명의 방법은, 상기 각 카메라의 카메라 정보를 추출하는 단계; 및 상기 저장한 변이지도를 상기 추출한 카메라 정보를 이용하여 3차원 데이터로 변환하는 단계를 더 포함한다.The method may further include extracting camera information of each camera; And converting the stored disparity map into 3D data using the extracted camera information.
이처럼, 본 발명은 정합 창틀 내의 에지 분포 형태에 따라 정합창틀의 형태를 선택하고, 이 선택된 정합창틀을 사용하여 스테레오 정합함으로써 정확도를 개선하면서도, 모든 창틀의 형태에 대해 정합을 수행하는 종래의 방법에 비해 계산량을 줄일 수 있다.As such, the present invention provides a conventional method of selecting a shape of a matching window frame according to the shape of an edge distribution in the matching window frame and performing matching for all window frames while improving accuracy by stereo matching using the selected matching window frame. Compared to this, the calculation amount can be reduced.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명 을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 에지 적응형 스테레오/다시점 영상 정합 장치의 일실시예 구성도이다.1 is a block diagram of an embodiment of an edge-adaptive stereo / multi-view image matching device according to the present invention.
도 1에 도시된 바와 같이, 본 발명에 따른 에지 적응형 스테레오/다시점 영상 정합 장치는, 두 시점 이상의 비디오 카메라로부터 촬영된 스테레오/다시점 영상(비디오)을 입력받아 저장하기 위한 스테레오/다시점 영상 입력 및 저장부(100), 상기 스테레오/다시점 영상 입력 및 저장부(100)로부터 전달받은 정합할 영상에서 에지를 추출하기 위한 에지 추출부(102), 상기 에지 추출부(102)에서 추출한 에지의 분포를 조사하여 에지 분포 형태에 따라 적용할 정합창틀을 선택하기 위한 정합창틀 선택부(103), 상기 정합창틀 선택부(103)에서 선택한 정합창틀을 이용하여 변이 탐색 범위 내에서 유사도가 가장 높은 변이를 탐색하기 위한 변이 탐색부(104), 각 스테레오 영상 쌍(즉, 여러 개의 스테레오 영상 쌍)으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하기 위한 변이 선택부(105), 및 상기 변이 선택부(105)에서 선택한 변이를 디지털 영상(비디오)으로 저장(기록)하기 위한 변이지도 저장부(106)를 포함한다.As shown in FIG. 1, the edge-adaptive stereo / multi-view image matching device according to the present invention is a stereo / multi-view for receiving and storing stereo / multi-view images (video) captured by a video camera of two or more viewpoints. An
여기서, 두 개 이상의 스테레오 영상 쌍이 존재할 경우(3시점 이상의 경우)에는 상기 변이 선택부(105)가 필요하지만, 스테레오 영상 쌍이 하나만 존재할 경우(2시점의 경우), 변이 선택부(105)는 없어도 된다. 이때에는 상기 변이지도 저장부(106)가 상기 변이 탐색부(104)에서 탐색한 변이(Disparity)를 변이지도 형태의 디지털 영상(비디오)으로 저장(기록)하도록 구현할 수 있다.In the case where two or more stereo image pairs exist (three or more time points), the
또한, 상기 에지 적응형 스테레오/다시점 영상 정합 장치는, 상기 각 카메라의 카메라 정보를 추출하기 위한 카메라 보정부(101), 및 상기 변이지도 저장부(106)로부터의 변이지도(Disparity Map)를 상기 카메라 보정부(101)로부터의 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud) 또는 3차원 모델과 같은 3차원 데이터로 변환하기 위한 변이지도 변환부(도면에 도시되지 않음)를 더 포함한다.In addition, the edge-adaptive stereo / multi-view image matching device includes a
상기와 같은 에지 적응형 스테레오/다시점 영상 정합 장치의 각 구성요소에 대하여 좀더 구체적으로 살펴보면 다음과 같다.Each component of the edge-adaptive stereo / multiview image registration device as described above will be described in more detail as follows.
상기 스테레오/다시점 영상 입력 및 저장부(100)는 적어도 두 대 이상의 비디오 카메라(예 : 스테레오/다시점 카메라)로부터 동일시간에 취득된 스테레오/다시점 영상을 입력받아 동기를 맞추어 저장한다.The stereo / multiview image input and
그리고 상기 카메라 보정부(101)에서는 상기 스테레오/다시점 영상 입력 및 저장부(100)로부터 전달받은 스테레오/다시점 영상을 이용하여 카메라 보정(calibration)을 통해 초점거리 등의 카메라 정보 및 각 시점 간의 상호 위치관계를 나타내는 기반 행렬(fundamental matrix)을 계산한다. 이때, 구해진 카메라 정보 및 기반 행렬 데이터는 데이터 저장장치 또는 컴퓨터 메모리(도면에 도시되지 않음) 상에 저장되어, 이후에 변이지도 변환 등에 이용된다. 여기서, 상기 카메라 보정부(101)는 본 발명의 부가 구성요소이다.In addition, the
그리고 상기 에지 추출부(102)에서는 정합할 스테레오 영상 쌍에서 에지 연 산자를 이용하여 에지를 추출한다. 이때, 에지 연산자로는 프리위트(Prewitt), 캐니(Canny) 연산자 등이 사용될 수 있다.The
그리고 상기 정합창틀 선택부(103)에서는 상기 에지 추출부(102)에서 추출한 에지의 분포를 조사하여 각 에지 성분의 분포 형태에 따라 적용할 정합창틀을 선택(결정)한다. 즉, 정합할 영상 내 각 화소마다 에지 분포를 조사하여 해당하는 에지 분포 형태에 따라, 기 분류되어 있는 8개의 정합창틀 중에서 적용할 하나의 정합창틀을 선택(결정)하게 된다(도 4 참조). 이때, 예를 들어 정합창틀은 도 3에 도시된 바와 같이 에지 분포 형태에 따라 8개의 형태로 이미 분류되어 있다.The matching window
그리고 상기 변이 탐색부(104)에서는 도 4에 주어진 예시와 같이 상기 정합창틀 선택부(103)에서 결정된 정합창틀을 사용하여 기준 영상 내 각 화소의 대응점을 대상 영상 내 에피폴라 라인 상에 존재하는 변이 탐색 범위 내 각 화소들 중에서 탐색하게 된다. 이때, 정합 유사도는 널리 쓰이는 NCC(Normalized Cross Correlation), ZNCC(Zero-mean Normalized Cross Correlation), 또는 SSD(Sum of Squared Difference) 중의 어느 하나를 이용하여 계산한다. 그리고 구해진 정합점으로부터 이에 해당하는 변이를 계산한다. 이러한 과정은 기준시점 영상을 포함하는 다른 스테레오 영상 쌍에 대해서도 반복 수행한다.In the
그리고 두 개 이상의 스테레오 영상 쌍이 존재할 경우(3시점 이상의 경우), 상기 변이 선택부(105)에서는 도 5(성형의 다시점 카메라 배치에서 에러를 비교하는 스테레오 영상 쌍을 나타냄)와 도 6(선형의 다시점 카메라 배치에서 에러를 비교하는 스테레오 영상 쌍을 나타냄)에 도시된 바와 같이 서로 대칭되는 카메라 간 에 기준시점에 대한 각각의 대응점 간의 유사도를 조사하고, 이 중에서 유사도가 가장 높은(또는 컬러 차이가 가장 적은) 대응점의 변이를 최종 변이로 결정하게 된다. 여기서, 유사도 값은 각 스테레오 영상의 정합 시에 저장하여 놓았다가 이용하게 된다. 한편, 한 쌍의 스테레오 영상 쌍만이 존재하는 2시점(2-view) 영상의 경우, 이렇게 선택된 대응점은 차폐 영역 검출을 위하여 기준 영상과 대상 영상을 바꾸어 정합을 수행한다. 이렇게 검출된 차폐 영역의 계산된 변이는 무시되고, 보간 등 다른 방법을 통하여 주위 화소의 변이에 의해 채워지게 된다. 한편, 3시점(3-view) 이상의 다시점 영상에서는, 대칭 위치에 있는 스테레오 영상의 정합 유사도 값을 비교하여 그 중 작은(유사도가 높은) 값만을 사용함으로써 차폐 영역으로 인한 변이 추정의 오차를 억제한다.In the case where two or more stereo image pairs exist (at three or more time points), the
그리고 상기 스테레오/다시점 영상 내 각 화소에 대해 계산된 최종 변이는 변이지도 저장부(106)로 전달되어 변이지도 형태의 디지털 영상으로 저장된다. 한편, 부가적으로 상기 변이지도(Disparity Map)는 카메라 정보를 이용하여 3차원 점 구름이나 3차원 모델로 변환될 수 있다.The final variation calculated for each pixel in the stereo / multi-view image is transferred to the disparity
도 2는 본 발명에 따른 에지 적응형 스테레오/다시점 영상 정합 방법에 대한 일실시예 흐름도로서, 이에 대한 구체적인 동작 방식은 전술한 바와 같으므로 여기서는 주요 동작 과정만을 설명하기로 한다.2 is a flowchart illustrating an edge-adaptive stereo / multiview image matching method according to an embodiment of the present invention. As a detailed operation thereof is the same as described above, only the main operation process will be described.
먼저, 스테레오/다시점 영상 입력 및 저장부(100)가 두 시점 이상의 비디오 카메라로부터 촬영된 스테레오/다시점 영상(비디오)을 획득하여 저장한다(200).First, the stereo / multiview image input and
이후, 에지 추출부(102)가 상기 스테레오/다시점 영상 입력 및 저장부(100) 에 저장되어 있는 정합할 영상에서 에지를 추출한다(202).Thereafter, the
이후, 정합창틀 선택부(103)가 상기 에지 추출부(102)에서 추출한 에지의 분포를 조사하여 에지 분포 형태에 따라 적용할 정합창틀을 선택한다(203).Thereafter, the matching window
이후, 변이 탐색부(104)가 상기 정합창틀 선택부(103)에서 선택한 정합창틀을 이용하여 변이 탐색 범위 내에서 유사도가 가장 높은 변이를 탐색한다(204).Thereafter, the
이후, 변이 선택부(105)가 각 스테레오 영상 쌍(즉, 여러 개의 스테레오 영상 쌍)으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택한다(205).Then, the
이후, 상기 변이 선택부(105)에서 선택한 변이를 변이지도 형태의 디지털 영상(비디오)으로 변이지도 저장부(106)에 저장한다(206).Thereafter, the variation selected by the
여기서, 두 개 이상의 스테레오 영상 쌍이 존재할 경우(3시점 이상의 경우)에는 상기 변이 선택 과정(205)이 필요하지만, 스테레오 영상 쌍이 하나만 존재할 경우(2시점의 경우), 상기 변이 선택 과정(205)은 수행되지 않아도 된다. 이때에는 상기 변이 탐색 과정(204)에서 탐색한 변이를 디지털 영상(비디오)으로 저장(기록)하도록 구현할 수 있다.In the case where two or more stereo image pairs exist (at 3 or more time points), the
그리고 상기 에지 적응형 스테레오/다시점 영상 정합 방법은, 카메라 보정부(101)가 상기 각 카메라의 카메라 정보를 추출하는 과정(201)을 더 수행한다.In addition, the edge-adaptive stereo / multi-view image matching method further includes a
그리고 변이지도 변환부(도면에 도시되지 않음)가 상기 변이지도 저장부(106)에 저장되어 있는 변이지도(Disparity Map)를 상기 카메라 보정부(101)에서 추출한 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud) 또는 3차원 모델과 같은 3차원 데이터로 변환하는 과정(도면에 도시되지 않음)을 더 수행할 수도 있다.The disparity map converter (not shown in the drawing) uses the camera information extracted by the
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.
상기와 같은 본 발명은, 종래의 스테레오 정합 기법이 가지는 깊이 불연속이나 차폐 영역에서 정확도가 저하되는 문제점을 해결하기 위하여, 정합창틀 내 에지 분포의 형태를 조사하여 그 에지 분포 형태에 따라 정합창틀의 종류를 선택함으로써, 3차원 깊이 또는 변이 정보의 정확도를 향상시킬 수 있는 효과가 있다.The present invention as described above, in order to solve the problem of accuracy discontinuity in the depth discontinuity or shielding area of the conventional stereo matching technique, by examining the shape of the edge distribution in the matching window frame according to the type of the matching window frame By selecting, there is an effect that can improve the accuracy of the three-dimensional depth or disparity information.
또한, 본 발명은 종래의 다중 창틀 기법에 비해 사용하는 창틀의 개수를 줄일 수 있어 계산량을 감소시킬 수 있는 효과가 있다.In addition, the present invention can reduce the number of window frames to be used compared to the conventional multiple window frame technique has the effect of reducing the amount of calculation.
또한, 본 발명은 상기와 같이 개선된 변이 정보를 3차원 모델링 또는 임의시 점 영상 생성에 이용할 수 있으며, 특히 임의시점 영상 생성 시에 영상 깨짐을 줄일 수 있는 효과가 있다.In addition, the present invention can use the improved disparity information as described above for the three-dimensional modeling or random point image generation, in particular, there is an effect that can reduce the image breakage when generating the random point image.
Claims (8)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20050119806 | 2005-12-08 | ||
KR1020050119806 | 2005-12-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070061094A true KR20070061094A (en) | 2007-06-13 |
KR100793076B1 KR100793076B1 (en) | 2008-01-10 |
Family
ID=38357029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060045149A KR100793076B1 (en) | 2005-12-08 | 2006-05-19 | Edge-adaptive stereo/multi-view image matching apparatus and its method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100793076B1 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100899422B1 (en) * | 2007-08-06 | 2009-05-27 | 삼성모바일디스플레이주식회사 | The stereo matching system and the stereo matching method of the same |
WO2009069958A2 (en) * | 2007-11-29 | 2009-06-04 | Gwangju Institute Of Science And Technology | Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image |
KR100943635B1 (en) * | 2008-11-06 | 2010-02-24 | 삼성에스디에스 주식회사 | Method and apparatus for generating disparity map using digital camera image |
GB2478157A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for cutting between a first and second image sequence in a stereoscopic video |
GB2478156A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for generating a disparity map for stereoscopic images |
GB2479410A (en) * | 2010-04-09 | 2011-10-12 | Tektronix Uk Ltd | Measuring perceived stereoscopic visual depth |
CN102724529A (en) * | 2012-05-28 | 2012-10-10 | 清华大学 | Method and device for generating video sequence of virtual viewpoints |
US8494307B2 (en) | 2010-02-26 | 2013-07-23 | Sony Corporation | Method and apparatus for determining misalignment |
WO2014088247A1 (en) * | 2012-12-03 | 2014-06-12 | Bok Sun Woo | Method and device for manufacturing multi-view stereoscopic image |
US8768086B2 (en) | 2010-07-20 | 2014-07-01 | Samsung Electronics Co., Ltd. | Apparatus and method for depth-image encoding with rate-distortion optimization |
US8818077B2 (en) | 2010-12-17 | 2014-08-26 | Electronics And Telecommunications Research Institute | Stereo image matching apparatus and method |
US8989480B2 (en) | 2009-11-19 | 2015-03-24 | Samsung Electronics Co., Ltd. | Method, computer-readable medium and apparatus estimating disparity of three view images |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101669820B1 (en) | 2010-07-02 | 2016-10-27 | 삼성전자주식회사 | Apparatus and method for bidirectional inpainting in occlusion based on volume prediction |
KR20120003147A (en) | 2010-07-02 | 2012-01-10 | 삼성전자주식회사 | Depth map coding and decoding apparatus using loop-filter |
KR101358430B1 (en) | 2012-06-25 | 2014-02-05 | 인텔렉추얼디스커버리 주식회사 | Method and system for generating depth image |
US9756312B2 (en) | 2014-05-01 | 2017-09-05 | Ecole polytechnique fédérale de Lausanne (EPFL) | Hardware-oriented dynamically adaptive disparity estimation algorithm and its real-time hardware |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100742752B1 (en) * | 2004-04-20 | 2007-07-26 | 주식회사 후후 | Method for reconstructing stereo images using regularized adaptive disparity estimation scheme |
-
2006
- 2006-05-19 KR KR1020060045149A patent/KR100793076B1/en not_active IP Right Cessation
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100899422B1 (en) * | 2007-08-06 | 2009-05-27 | 삼성모바일디스플레이주식회사 | The stereo matching system and the stereo matching method of the same |
US8045793B2 (en) | 2007-08-06 | 2011-10-25 | Samsung Mobile Display Co., Ltd. | Stereo matching system and stereo matching method using the same |
WO2009069958A2 (en) * | 2007-11-29 | 2009-06-04 | Gwangju Institute Of Science And Technology | Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image |
WO2009069958A3 (en) * | 2007-11-29 | 2009-08-20 | Kwangju Inst Sci & Tech | Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image |
KR100943635B1 (en) * | 2008-11-06 | 2010-02-24 | 삼성에스디에스 주식회사 | Method and apparatus for generating disparity map using digital camera image |
US8989480B2 (en) | 2009-11-19 | 2015-03-24 | Samsung Electronics Co., Ltd. | Method, computer-readable medium and apparatus estimating disparity of three view images |
GB2478157A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for cutting between a first and second image sequence in a stereoscopic video |
GB2478156A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for generating a disparity map for stereoscopic images |
US8494307B2 (en) | 2010-02-26 | 2013-07-23 | Sony Corporation | Method and apparatus for determining misalignment |
US8736667B2 (en) | 2010-02-26 | 2014-05-27 | Sony Corporation | Method and apparatus for processing video images |
US8766973B2 (en) | 2010-02-26 | 2014-07-01 | Sony Corporation | Method and system for processing video images |
GB2479410A (en) * | 2010-04-09 | 2011-10-12 | Tektronix Uk Ltd | Measuring perceived stereoscopic visual depth |
US8768086B2 (en) | 2010-07-20 | 2014-07-01 | Samsung Electronics Co., Ltd. | Apparatus and method for depth-image encoding with rate-distortion optimization |
US8818077B2 (en) | 2010-12-17 | 2014-08-26 | Electronics And Telecommunications Research Institute | Stereo image matching apparatus and method |
CN102724529A (en) * | 2012-05-28 | 2012-10-10 | 清华大学 | Method and device for generating video sequence of virtual viewpoints |
WO2014088247A1 (en) * | 2012-12-03 | 2014-06-12 | Bok Sun Woo | Method and device for manufacturing multi-view stereoscopic image |
Also Published As
Publication number | Publication date |
---|---|
KR100793076B1 (en) | 2008-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100793076B1 (en) | Edge-adaptive stereo/multi-view image matching apparatus and its method | |
KR100745691B1 (en) | Binocular or multi-view stereo matching apparatus and its method using occlusion area detection | |
KR100776649B1 (en) | A depth information-based Stereo/Multi-view Stereo Image Matching Apparatus and Method | |
EP3869797B1 (en) | Method for depth detection in images captured using array cameras | |
KR101370718B1 (en) | Method and apparatus for 2d to 3d conversion using panorama image | |
RU2382406C1 (en) | Method of improving disparity map and device for realising said method | |
US9378583B2 (en) | Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume | |
KR100953076B1 (en) | Multi-view matching method and device using foreground/background separation | |
Pearson et al. | Plenoptic layer-based modeling for image based rendering | |
CN104065947B (en) | The depth map acquisition methods of a kind of integration imaging system | |
KR20090055803A (en) | Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image | |
WO2012071356A1 (en) | Depth estimation based on global motion | |
KR20130102626A (en) | Depth estimation based on global motion | |
WO2008112802A2 (en) | System and method for 2-d to 3-d image conversion using mask to model, or model to mask, conversion | |
KR100560464B1 (en) | Multi-view display system with viewpoint adaptation | |
KR100926520B1 (en) | Apparatus and method of matching binocular/multi-view stereo using foreground/background separation and image segmentation | |
CN104331890B (en) | A kind of global disparity method of estimation and system | |
CN103679739A (en) | Virtual view generating method based on shielding region detection | |
KR101086274B1 (en) | Apparatus and method for extracting depth information | |
US20120050485A1 (en) | Method and apparatus for generating a stereoscopic image | |
JP6285686B2 (en) | Parallax image generation device | |
Fan et al. | Vivid-DIBR based 2D–3D image conversion system for 3D display | |
KR20160085708A (en) | Method and apparatus for generating superpixels for multi-view images | |
CN104408710B (en) | Global parallax estimation method and system | |
Lee et al. | Segment-based multi-view depth map estimation using belief propagation from dense multi-view video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
G170 | Re-publication after modification of scope of protection [patent] | ||
FPAY | Annual fee payment |
Payment date: 20111230 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |