KR100943635B1

KR100943635B1 - Method and apparatus for generating disparity map using digital camera image

Info

Publication number: KR100943635B1
Application number: KR1020080110050A
Authority: KR
Inventors: 이정선; 김한철; 김무항
Original assignee: 삼성에스디에스 주식회사
Priority date: 2008-11-06
Filing date: 2008-11-06
Publication date: 2010-02-24

Abstract

PURPOSE: A disparity map generating device using two images captured by a usual digital camera and a method thereof are provided to rapidly generate a stereo image not using a stereo image generating device but using two images captured by a usual digital camera. CONSTITUTION: A focal length extractor(21) receives image files captured at different angles from digital camera and changes size of a reference edge image by a focal distance extracted from header information. An edge extractor(22A,22B) finds extracting areas from the image files and extracts offsets similar to extracted edges from the areas to an edge group. An edge stereo matcher(23) conforms a matching of two images by comparing the edge group. An edge disparity map generator(24) generates an edge disparity map based on a length between the matched edge image pixels.

Description

Disparity map generation device and method using digital camera image {METHOD AND APPARATUS FOR GENERATING DISPARITY MAP USING DIGITAL CAMERA IMAGE}

본 발명은 스테레오 이미지(stereo image)로부터 3차원 이미지를 얻는 기술에 관한 것으로, 특히 디지털 카메라로 촬영한 2차원의 스테레오 이미지를 이용하여 3차원 이미지 생성을 위한 디스패리티 맵(disparity map)을 생성할 수 있도록 한 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법에 관한 것이다. The present invention relates to a technique for obtaining a three-dimensional image from a stereo image, and in particular, to generate a disparity map for generating a three-dimensional image using a two-dimensional stereo image taken with a digital camera. The present invention relates to an apparatus and method for generating a disparity map using an image of a digital camera.

스테레오 매칭 기술은 스테레오 이미지로부터 3차원 이미지를 얻기 위해 이용되는 기술로서, 동일 피사체에 대하여 동일선상의 서로 다른 촬영 위치에서 촬영된 다수의 2차원 이미지로부터 3차원 이미지를 얻기 위해 이용된다. 스테레오 이미지는 이처럼 피사체에 대하여 서로 다른 촬영 위치에서 촬영된 다수의 2차원 이미지 즉, 서로 짝(pair) 관계에 있는 다수의 2차원 이미지를 의미한다.Stereo matching is a technique used to obtain a three-dimensional image from a stereo image, and is used to obtain a three-dimensional image from a plurality of two-dimensional images photographed at different photographing positions on the same line with respect to the same subject. The stereo image refers to a plurality of two-dimensional images captured at different photographing positions with respect to a subject, that is, a plurality of two-dimensional images paired with each other.

일반적으로, 2차원 이미지로부터 3차원 이미지를 생성하기 위해서는 2차원 이미지의 수직, 수평의 위치 정보인 x,y 좌표에 더하여 깊이 정보인 z 좌표를 필요로 한다. z 좌표를 구하기 위해서는 스테레오 이미지의 시차 정보를 필요로 하는데, 스테레오 매칭은 이러한 시차를 얻기 위해 사용되는 기술이다. 예를 들어, 스테레 오 이미지가 두 대의 좌,우 카메라에 의해 촬영된 좌,우 이미지라면, 좌,우 이미지 중에 하나를 기준 이미지로, 다른 하나를 탐색 이미지로 정한다. 이러한 경우에 공간상의 동일한 점에 대한 기준 이미지와 탐색 이미지 간의 거리, 즉 좌표의 차이를 시차라고 하는데, 스테레오 매칭 기술을 이용하여 시차를 얻는다.In general, in order to generate a 3D image from a 2D image, z coordinates of depth information are required in addition to x and y coordinates of vertical and horizontal position information of the 2D image. To obtain z coordinates, parallax information of a stereo image is required, and stereo matching is a technique used to obtain such parallax. For example, if the stereo image is a left and right image captured by two left and right cameras, one of the left and right images is used as a reference image and the other is a search image. In this case, the distance between the reference image and the search image, or coordinates, for the same point in space is called parallax. The parallax is obtained by using stereo matching technique.

이미지의 전체 화소들에 대하여 위와 같이 얻어지는 기준 이미지와 탐색 이미지 간의 시차들을 이용하여 각 화소들에 대한 깊이 정보를 얻어 3차원 좌표들로 표현되는 디스패리티 맵을 생성한다.By using the parallaxes between the reference image and the search image obtained as described above with respect to all the pixels of the image, depth information about each pixel is obtained to generate a disparity map represented by three-dimensional coordinates.

도 1은 종래 기술에 의한 디스패리티 맵 생성 장치의 블록도로서 이에 도시한 바와 같이, 제1,2에지 추출기(11A),(11B)와, 에지 스테레오 매칭기(12)와, 에지 디스패리티 맵 생성기(113) 및 디스패리티 맵 보완기(14)로 구성된다.1 is a block diagram of a disparity map generating apparatus according to the prior art, and as shown therein, the first and second edge extractors 11A and 11B, the edge stereo matcher 12, and the edge disparity map. It consists of a generator 113 and a disparity map complementer 14.

제1,2에지 추출기(11A),(11B)는 입력된 좌,우 이미지에서 에지를 추출하여 윤곽선을 이루는 에지 화소들만으로 이루어진 이미지를 생성한 후 이를 에지 스테레오 매칭기(12)에 출력한다.The first and second edge extractors 11A and 11B extract an edge from the input left and right images, generate an image including only edge pixels forming a contour, and output the image to the edge stereo matcher 12.

에지 스테레오 매칭기(12)는 상기 제1,2에지 추출기(11A),(11B)로부터 에지 화소들만으로 이루어진 좌,우 에지 이미지를 입력받아 이들에 대한 스테레오 매칭을 수행한다. 여기서, 좌,우 에지 이미지 중 하나를 기준 에지 이미지라 하면, 다른 하나가 탐색 에지 이미지가 된다.The edge stereo matcher 12 receives left and right edge images consisting of only edge pixels from the first and second edge extractors 11A and 11B and performs stereo matching on the edge extractors 11A and 11B. Here, when one of the left and right edge images is referred to as a reference edge image, the other becomes a search edge image.

에지 디스패리티 맵 생성기(13)는 상기 에지 스테레오 매칭기(12)에 의해 얻어진 기준 에지 이미지의 에지 화소들과 이들 각각에 대응하는 탐색 에지 이미지의 대응 에지 화소들을 이용하여 에지 이미지 디스패리티 맵을 생성한다.An edge disparity map generator 13 generates an edge image disparity map using edge pixels of the reference edge image obtained by the edge stereo matcher 12 and corresponding edge pixels of the search edge image corresponding to each of them. do.

디스패리티 맵 보완기(14)는 통상적인 화소간 보간법을 이용하여 에지 이미지 디스패리티 맵에서 인접한 에지 화소들 간의 정보, 즉 z 좌표의 보간에 의해 에지가 아닌 이미지 영역에 대한 디스패리티 맵을 보완한다. The disparity map complementer 14 complements the disparity map for the non-edge image region by interpolation of information between adjacent edge pixels in the edge image disparity map, i.e. z coordinates, using conventional inter-pixel interpolation. .

이와 같은 과정을 통해 생성된 디스패리티 맵은 스테레오 이미지 생성을 위해 직접적으로 사용된다.The disparity map generated through this process is directly used for generating stereo images.

이와 같은 종래의 디스패리티 맵 생성 장치에 있어서는 입체 이미지(3차원 이미지)를 얻기 위해 스테레오 카메라와 같은 특수 촬영기기를 필요로 하므로 일반인이 널리 보급되어 있는 디지털 카메라나 휴대폰 등의 일반 카메라를 이용할 수 없게 되는 문제점이 있었다. In the conventional disparity map generating apparatus, a special photographing device such as a stereo camera is required to obtain a stereoscopic image (three-dimensional image), so that a general camera such as a digital camera or a mobile phone, which are widely used by the general public, cannot be used. There was a problem.

그리고, 스테레오 이미지를 얻기 위해 반드시 스테레오 이미지를 생성하는 기기(예: 스테레오 Depth 카메라 또는 2대의 좌,우 카메라)를 필요로 하였으므로 일반 사용자의 사용 접근성이 떨어지는 문제점이 있었다.In addition, since a device (eg, a stereo depth camera or two left and right cameras) for generating a stereo image is required to obtain a stereo image, accessibility of a general user is inferior.

따라서, 본 발명의 목적은 스테레오 이미지를 발생하는 기기를 사용하지 않고 통상의 디지털 카메라로 촬영한 2장의 이미지를 이용하여 스테레오 이미지를 빠르게 생성하는데 있다.Accordingly, an object of the present invention is to quickly generate a stereo image using two images captured by a conventional digital camera without using a device for generating a stereo image.

본 발명의 또 다른 목적은 사진 촬영시 초점 거리를 이용하여 사진에서 찾고자 하는 에지를 빠르게 추출하는데 있다.Still another object of the present invention is to quickly extract an edge to be found in a picture by using a focal length when taking a picture.

본 발명의 또 다른 목적은 에피폴라 기반으로 카메라 움직임을 추적하여 스테레오 매칭될 가능성이 적은 것들을 후보에서 제외시켜 스테레오 매칭 속도를 향상시키는데 있다. Still another object of the present invention is to improve stereo matching speed by eliminating candidates that are less likely to be stereo matched by tracking camera movement on an epipolar basis.

상기와 같은 목적을 달성하기 위한 본 발명은, 휴대폰을 포함하는 일반 디지털 카메라로 조금씩 다른 각도에서 촬영된 이미지파일에서 초점 거리를 추출하는 초점거리 추출기와; 상기 추출된 여러장의 이미지 중에서 추출하고자 하는 에지와 비슷한 모양을 가진 부분의 윤곽선을 에지군으로 빠르게 추출하는 에지 추출기와; 상기 추출된 각 에지군들을 서로 비교하여 그 비교 결과를 근거로 카메라 움직임을 추적하고, 그 추적 결과를 근거로 에지 매칭의 후보군이 될 가능성이 적은 이미지 후보들을 제거한 다음 두 이미지 간의 일치여부를 확인하여 에지 기반의 이미지 매칭을 수행하는 에지 스테레오 매칭기와; 상기 매칭된 에지 이미지의 화소들 간의 거리를 근거로 보간처리하여 에지 디스패리티 맵을 생성하는 에지 디스패리티 맵 생성기를 포함하여 구성함을 특징으로 한다.The present invention for achieving the above object is a general digital camera including a mobile phone and a focal length extractor for extracting the focal length from the image file taken from a slightly different angle; An edge extractor for quickly extracting an outline of a portion having a shape similar to an edge to be extracted from the extracted multiple images into an edge group; Compare the extracted edge groups with each other and track camera movements based on the comparison result, remove image candidates that are less likely to be candidates for edge matching based on the tracking result, and then check whether the two images match. An edge stereo matcher for performing edge based image matching; And an edge disparity map generator for generating an edge disparity map by interpolating based on the distance between pixels of the matched edge image.

상기와 같은 목적을 달성하기 위한 또 다른 본 발명은, 일반 디지털 카메라로 3차원 이미지 생성을 원하는 피사체를 조금씩 다른 각도에서 여러차례 촬영한 이미지파일들을 취득하는 제1과정과; 상기 이미지 파일들에서 초점 거리를 추출하는 제2과정과; 상기 각 이미지 파일들을 대상으로 초점거리를 이용하여 추출하고자 하는 에지의 크기를 적절히 변환하여 추출하고자 하는 영역들을 찾고, 이들 중에서 추출하고자 하는 에지와 비슷한 모양을 가진 부분의 윤곽선을 에지군으로 빠르게 추출하는 제3과정과; 상기 추출된 각 에지군들을 서로 비교하여 그 비교 결과를 근거로 카메라 움직임을 추적하고, 그 추적 결과를 근거로 에지 매칭의 후보군이 될 가능성이 적은 이미지 후보들을 제거한 다음 두 이미지 간의 일치여부를 확인하여 에지 기반의 이미지 매칭을 수행하는 제4과정과; 상기 매칭된 에지 이미지의 화소들 간의 거리를 근거로 보간처리하여 에지 디스패리티 맵을 생성하는 제5과정을 포함하여 이루어짐을 특징으로 한다.Another object of the present invention for achieving the above object is a first step of acquiring an image file photographed several times at slightly different angles of the subject to create a three-dimensional image with a general digital camera; Extracting a focal length from the image files; Finding the areas to be extracted by appropriately converting the size of the edge to be extracted using the focal length for each of the image files, and quickly extracting the contour of the portion having the shape similar to the edge to be extracted into the edge group. The third process; Compare the extracted edge groups with each other and track camera movements based on the comparison result, remove image candidates that are less likely to be candidates for edge matching based on the tracking result, and then check whether the two images match. A fourth process of performing edge-based image matching; And a fifth process of generating an edge disparity map by interpolating based on the distance between pixels of the matched edge image.

본 발명은 사용자가 일반 디지털 카메라로 촬영한 2 장의 이미지를 이용하여 스테레오 이미지를 생성하고, 초점 거리를 이용하여 에지를 빠르게 찾은 후 스테레오 매칭될 가능성이 적은 것들을 후보에서 제외시킴으로써, 3차원 이미지 생성을 위한 디스패리티 맵을 신속하게 생성할 수 있는 효과가 있다. The present invention generates a stereo image using two images taken by a user with a general digital camera, quickly finds an edge using a focal length, and excludes those less likely to be stereo matched from the candidate, thereby generating three-dimensional image generation. There is an effect that can quickly generate a disparity map for.

또한, 사용자 입장에서 볼 때 일반 디지털 카메라를 이용하여 언제 어디서나 3차원 입체 이미지를 획득하여 직거래 쇼핑몰이나 손해보험사 또는 경찰서 등에 제 공할 수 있는 효과가 있다. In addition, from a user's point of view, it is possible to obtain a three-dimensional stereoscopic image anytime and anywhere using a general digital camera and provide it to a direct shopping mall, a non-life insurance company or a police station.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명에 의한 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치의 구현예를 보인 블록도로서, 초점거리 추출기(21), 제1,2 에지 추출기(22A),(22B), 에지 스테레오 매칭기(23), 에지 디스패리티 맵 생성기(24) 및 디스패리티 맵 보완기(25)를 포함하여 구성한다.FIG. 2 is a block diagram showing an embodiment of a disparity map generation apparatus using an image of a digital camera according to the present invention, and includes a focal length extractor 21, first and second edge extractors 22A, 22B, and edge stereo. The matcher 23, the edge disparity map generator 24, and the disparity map complementer 25 are configured.

초점거리 추출기(21)는 촬영된 사진에서 헤더를 분석하여 초점 거리를 추출한다. 만약, 휴대폰과 같이 초점거리가 없는 사진에 대해서는 초점거리를 기 설정된 값(디폴트 값)으로 설정한다.The focal length extractor 21 extracts a focal length by analyzing a header from the captured picture. If the picture does not have a focal length, such as a mobile phone, set the focal length to a preset value (default).

에지 추출기(22)는 추출을 원하는 에지 이미지를 레퍼런스 에지 이미지로 하여, 상기 초점거리 추출기(21)로부터 초점 거리를 이용하여 레퍼런스 에지 이미지의 크기를 변경한 후, 입력받은 여러장의 이미지들로부터 비슷한 영역을 찾아낸다. 그리고, 상기 에지 추출기(22)는 사용자가 추출하기를 원하는 에지와 비슷한 모양을 가진 부분의 윤곽선을 에지 후보군으로 추출한다.The edge extractor 22 changes the size of the reference edge image by using the focal length from the focal length extractor 21 as the reference edge image as the edge image to be extracted, and then obtains a similar area from the received multiple images. Find it. The edge extractor 22 extracts an outline of a portion having a shape similar to the edge that the user wants to extract as an edge candidate group.

에지 스테레오 매칭기(23)는 상기 선출된 각 에지군들 중 인접된 에지군 끼리 서로 비교하여 그 비교 결과를 근거로 카메라 움직임을 추적하고, 그 추적 결과를 근거로 에지 매칭의 후보군이 될 가능성이 적은 이미지 후보들을 제거한 다음 나머지의 이미지 후보들을 대상으로 두 이미지 간의 일치여부를 확인하여 에지 기반의 이미지 매칭을 수행한다.The edge stereo matcher 23 compares adjacent edge groups among the selected edge groups, tracks camera movements based on the comparison result, and is likely to be a candidate group of edge matching based on the tracking result. After eliminating a small number of image candidates, edge-based image matching is performed by checking whether two images match each other.

에지 디스패리티 맵 생성기(24)는 상기 매칭된 에지 이미지의 화소들 간의 거리를 근거로 보간처리하여 에지 만의 디스패리티 맵을 생성한다. The edge disparity map generator 24 interpolates based on the distance between the pixels of the matched edge image to generate an edge disparity map.

디스패리티 맵 보완기(25)는 통상적인 화소간 보간법을 이용하여 에지 이미지 디스패리티 맵에서 인접한 에지 화소들 간의 정보, 즉 z 좌표의 보간에 의해 에지가 아닌 이미지 영역에 대한 디스패리티 맵을 보완한다. The disparity map complementer 25 complements a disparity map for an image region other than an edge by interpolation of information between adjacent edge pixels in the edge image disparity map, that is, z coordinates, using a conventional inter-pixel interpolation method. .

도 3은 본 발명에 의한 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 방법의 처리과정을 나타낸 제어 흐름도로서 이를 참조하여 디스패리티 맵 생성과정을 상세히 설명하면 다음과 같다.3 is a control flowchart illustrating a process of a method for generating a disparity map using an image of a digital camera according to the present invention. Referring to this, a process for generating a disparity map is described in detail as follows.

도 4에서와 같이, 사용자는 디지털 카메라(41)를 이용하여 3차원 이미지 생성을 원하는 피사체를 촬영하고, 조금 다른 각도에서 다시 이미지 한 장을 촬영하는 동작을 반복 수행하여 n 장의 이미지파일(사진: JPEG)(IMAGE1~IMAGEn)을 취득하여 이들을 저장한다(S1). As shown in FIG. 4, the user photographs a subject for which a 3D image is to be generated by using the digital camera 41, and repeats an operation of photographing an image again from a slightly different angle and n image files (photo: JPEG) (IMAGE1 to IMAGEn) are obtained and stored (S1).

이때, 사용자가 원하는 어느 각도로도 촬영 가능하며, 이미지의 수평,수직 및 깊이 정보인 X-Y-Z 좌표의 변위가 가능하다.At this time, the user can shoot at any desired angle, and the displacement of the X-Y-Z coordinate, which is horizontal, vertical, and depth information of the image, is possible.

상기 디지털 카메라(41)는 일반 디지털 카메라, 휴대폰이나 스마트폰, 개인휴대정보단말기(PDA) 등에 탑재된 카메라를 포함한다.The digital camera 41 includes a camera mounted on a general digital camera, a mobile phone or a smartphone, a personal digital assistant (PDA), or the like.

초점거리 추출기(21)는 상기와 같은 과정을 통해 취득한 각각의 이미지파일(IMAGE1~IMAGEn)에서 헤더 정보를 추출한다(S2). The focal length extractor 21 extracts header information from each image file IMAGE1 to IMAGEn obtained through the above process (S2).

그리고, 상기 초점거리 추출기(21)는 상기 추출된 각 헤더정보에 초점거 리(Focal Length) 값이 존재하는지 확인하여 존재하면 그 값을 추출하고, 존재하지 않으면 초점거리 값을 기 설정된 디폴트 값으로 설정한다.(S3-S5) The focal length extractor 21 checks whether a focal length value exists in each of the extracted header information and extracts the value if it exists. If not, the focal length extractor 21 sets the focal length value to a preset default value. (S3-S5)

이와 같이 초점거리 값이 존재하지 않는 이미지파일에 대하여 기 설정된 값의 초점거리 값을 부여하는 이유는 카메라폰과 같이 초점거리가 없는 카메라로 촬영된 이미지 파일에 대해서도 본 발명을 적용할 수 있도록 하기 위함이다.The reason for assigning a focal length value of a preset value to an image file having no focal length value is to apply the present invention to an image file photographed by a camera without a focal length, such as a camera phone. to be.

이어서, 레퍼런스 에지 이미지의 크기를 적절히 변환하는데, 이때 초점거리 값을 이용한다. 예를 들어 초점거리 값이 크면 피사체가 작게 촬영되었을 확률이 높으므로 레퍼런스 에지 이미지의 사이즈를 줄이고(예: 8×8 사이즈 →4×4로), 반대로 초점거리 값이 작으면 피사체가 크게 촬영되었을 확률이 높으므로 그 레퍼런스 에지 이미지의 사이즈를 늘린다(예: 8×8 →16×16 사이즈로). 이렇게 함으로써, 초점거리의 상이함으로 인하여 검출 정확도가 떨어지는 것을 방지할 수 있다.(S6) Then, the size of the reference edge image is appropriately transformed, using the focal length value. For example, if the focal length value is large, it is more likely that the subject was shot smaller, so reduce the size of the reference edge image (e.g. from 8x8 size to 4x4). Since the probability is high, increase the size of the reference edge image (for example, from 8x8 to 16x16). By doing so, it is possible to prevent the detection accuracy from dropping due to the difference in the focal length. (S6)

이후, 상기 레퍼런스 에지 이미지에 대한 카메라 왜곡을 보정하는데, 이때 통상의 이미지 왜곡 보정기법을 이용하여 카메라 왜곡을 보정한다.(S7) Thereafter, camera distortion of the reference edge image is corrected. At this time, camera distortion is corrected using a conventional image distortion correction technique.

에지 추출기(22)는 상기 처리과정에서 생성된 레퍼런스 에지 이미지를 기준으로, 현재 이미지(예: 이미지 1) 상에서 사용자가 추출하기를 원하는 부분에 대한 에지군(원하는 부분의 좌표값들)을 추출한다.(S8)The edge extractor 22 extracts an edge group (coordinate values of a desired portion) for a portion that the user wants to extract on the current image (eg, image 1) based on the reference edge image generated in the process. (S8)

이후, 상기 과정을 n번 반복 수행하여 n 장의 이미지에 대한 각각의 에지 후보군들이 추출된다. Thereafter, the process is repeated n times to extract respective edge candidate groups for n images.

에지 스테레오 매칭기(23)는 상기 n 장의 이미지로부터 추출된 에지군들 중 인접된 에지군끼리 서로 매치시키면서 소정의 알고리즘법 예를 들어, 8-포인트 알고 리즘법(8-point Algorithm Method)을 이용하여 카메라 움직임을 추적한다(S18).The edge stereo matcher 23 uses a predetermined algorithm, for example, an 8-point algorithm, while matching adjacent edge groups among the edge groups extracted from the n images. By tracking the camera movement (S18).

상기 8-포인트 알고리즘법(8-point Algorithm Method)은 도 5에 도시된 바와 같이 좌우 두 개의 이미지에서 8점 이상의 일치점을 확보하고 영상처리를 통해 이미지에 나타나는 에지(edge)나 코너(corner) 같은 특징점을 조절점으로 이용하여 에피폴라 지오메트리(epipolar geometry)를 구성하고, 이를 영상복원을 통해 공간좌표를 유도하는 방법으로서,다음과 같은 순서에 따라 행해진다.As shown in FIG. 5, the 8-point algorithm method secures a coincidence point of 8 points or more in the left and right two images, and the edges or corners appearing in the image through image processing. A method of constructing epipolar geometry using feature points as control points and inducing spatial coordinates through image restoration is performed in the following order.

(1) 최소 8점 이상의 일치점이 좌우 두 이미지에 나타나도록 사진 촬영(1) Take a picture so that at least 8 matching points appear in the left and right images

(2) 에피폴라 지오메트리(epipolar geometry) 구성(2) Epipolar geometry

(3) 에센셜 매트릭스(Essential matrix) 구성(3) Essential matrix composition

(4) 펀더멘탈 매트릭스(Fundamental matrix) 구성(4) Fundamental matrix composition

(5) 3차원 복원(reconstruction)(5) 3D reconstruction

(6) 중심투영방정식 구성(6) Composition of central projection equation

(7) 공간좌표계산(7) Spatial coordinate calculation

(8) 공간좌표에 의한 물체의 길이 및 형태 결정(8) Determination of the length and shape of the object by spatial coordinates

상기 8-포인트 알고리즘법은 사진기의 변화나 요소에 관한 어떠한 초기정보도 필요하지 않고 자동화가 가능하다는 장점이 있다. 단, 인공적인 구조물과 같이 영상에 선과 강도의 차이가 대조적인 경우에만 적용할 수 있다.The 8-point algorithm has the advantage that automation is possible without the need for any initial information about changes or elements of the camera. However, it can be applied only when the difference between lines and intensities is contrasted in the image such as an artificial structure.

상기 에지 스테레오 매칭기(23)에 의한 상기의 이미지 매칭은 단순한 이미지 매칭이 아니라 2장의 이미지로 디스패리티 맵을 생성하고, 이에 의해 3차원 이미지가 생성되도록 하는 것이므로, 보다 정확한 에피폴라 지오메트리 생성을 위해 이미지 내의 사용자 카메라 움직임 값이 필요하다.Since the image matching by the edge stereo matcher 23 is not a simple image matching, but generates a disparity map with two images, thereby generating a three-dimensional image, for more accurate epipolar geometry generation. The user camera movement value in the image is needed.

이후, 상기 에지 스테레오 매칭기(23)는 상기와 같은 과정을 통해 획득된 카메라 움직임 매트릭스를 이용하여, 카메라의 움직임 상태로 보아 에지 매칭의 후보군이 될 가능성이 적은 이미지 후보들을 제거한다(S19). Thereafter, the edge stereo matcher 23 removes image candidates that are less likely to be candidates for edge matching using the camera motion matrix obtained through the above process (S19).

예를 들어, M:N에서 M-R1: N-R2로 비교 횟수를 줄여 그만큼 에지 매칭 속도가 빠르게 된다. 여기서, M: 기준이미지의 에지 후보군, N: 비교이미지의 에지 후보군, R1 : 제거 대상 기준 이미지의 후보군, R2 : 제거 대상 비교이미지의 후보군이다. For example, the number of comparisons is reduced from M: N to M-R1: N-R2, so that the edge matching speed is increased accordingly. Here, M: an edge candidate group of the reference image, N: an edge candidate group of the comparison image, R1: a candidate group of the removal target reference image, and R2: a candidate group of the removal target comparison image.

이어서, 상기 에지 스테레오 매칭기(23)는 개체수가 줄어든 에지 후보군을 대상으로 두 이미지가 일치하는지의 여부를 확인하여 에지 기반의 이미지 매칭을 수행한다(S20,S21). Subsequently, the edge stereo matcher 23 performs edge-based image matching by checking whether two images coincide with an edge candidate group having a reduced number of objects (S20 and S21).

이후, 에지 디스패리티 맵 생성기(24)는 카메라 움직임을 기반해 매칭된 에지 이미지의 화소들 간의 거리를 근거로 보간처리하여 에지 디스패리티 맵을 생성한다(S22). Thereafter, the edge disparity map generator 24 generates an edge disparity map by interpolating based on the distance between pixels of the matched edge image based on the camera movement (S22).

이 때의 디스패리티 맵 생성 방식은 통상의 디스패리티 맵 생성 방식과 동일하다. 이렇게 하여 깊이값(Z값)만 가지고 있는 도 4와 같은 이미지(IMAGE)가 생성된다. 참고로, 상기 도 4의 이미지(IMAGE)에서 밝기 값이 클수록 앞에 있는 이미지 즉, 카메라에 가까운 이미지이다.The disparity map generation method at this time is the same as a normal disparity map generation method. In this way, an image IMAGE as shown in FIG. 4 having only a depth value (Z value) is generated. For reference, the larger the brightness value in the image IMAGE of FIG. 4 is the front image, that is, the closer to the camera.

상기에서는 에지 디스패티리 맵을 생성하는 과정까지 설명하였으나, 구해진 디스패리티 맵을 Z값을 가진 뎁스맵(Depth Map)으로 변환하여 3차원 입체 이미지를 생성할 수 있다. 따라서, 스테레오 이미지를 보기 위한 특별한 장비가 필요치 않아 그 유용성이 뛰어나며 속도면에서 가볍고 빠른 알고리즘을 가지고 있기 때문에 임베디드 시스템에 적용 가능하다.In the above, the process of generating the edge disparity map has been described. However, the 3D stereoscopic image may be generated by converting the obtained disparity map into a depth map having a Z value. Therefore, it does not need any special equipment for viewing stereo images, which is excellent in its usefulness and has a lightweight and fast algorithm in terms of speed, and thus is applicable to embedded systems.

또한, 설명을 위해 2장의 이미지를 기본 이미지와 비교이미지로 두었지만, 촬영된 사진이 여러 장일 경우 그에 대응하여 비교이미지가 여러 개가 되므로 적용이 가능하다. In addition, the two images are set as the comparison image and the base image for explanation, but when the number of photographs are taken, it is applicable because there are several comparison images corresponding to them.

이상에서 본 발명의 바람직한 실시예에 대하여 상세히 설명하였지만, 본 발명의 권리범위가 이에 한정되는 것이 아니라 다음의 청구범위에서 정의하는 본 발명의 기본 개념을 바탕으로 보다 다양한 실시예로 구현될 수 있으며, 이러한 실시예들 또한 본 발명의 권리범위에 속하는 것이다. Although the preferred embodiment of the present invention has been described in detail above, the scope of the present invention is not limited thereto, and may be implemented in various embodiments based on the basic concept of the present invention defined in the following claims. Such embodiments are also within the scope of the present invention.

도 1은 종래 기술에 의한 디스패리티 맵 생성 장치의 블록도.1 is a block diagram of a disparity map generation apparatus according to the prior art.

도 2는 본 발명에 의한 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치의 블록도.2 is a block diagram of an apparatus for generating a disparity map using an image of a digital camera according to the present invention.

도 3은 본 발명에 의한 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 방법에 제어 흐름도.3 is a control flowchart of a method for generating a disparity map using an image of a digital camera according to the present invention;

도 4는 깊이 값만 가지고 있는 이미지의 생성과정을 나타낸 예시도. 4 is an exemplary diagram illustrating a process of generating an image having only a depth value.

도 5는 디스패리티 맵 생성 원리에 대한 설명도. 5 is an explanatory diagram for explaining a disparity map generation principle;

***도면의 주요 부분에 대한 부호의 설명*** *** Description of the symbols for the main parts of the drawings ***

21 : 초점거리 추출기 22A : 제1에지 추출기21: focal length extractor 22A: first edge extractor

22B : 제2에지 추출기 23 : 에지 스테레오 매칭기 22B: Second Edge Extractor 23: Edge Stereo Matcher

24 : 에지 디스패리티 맵 생성기 25 : 디스패리티 맵 보완기24: Edge Disparity Map Generator 25: Disparity Map Compensator

41 : 디지털 카메라41: digital camera

Claims

A focal length extractor for receiving image files photographed at slightly different angles with a general digital camera, extracting focal lengths from their header information, and converting sizes of reference edge images based on the focal lengths;

An edge extractor for finding regions to be extracted from the input image files and extracting outlines of portions having shapes similar to the edges to be extracted as edge groups;

Compare the extracted edge groups with each other to track camera movements based on the comparison result, remove image candidates that are less likely to be candidates for edge matching based on the tracking result, and then check whether the two images match. An edge stereo matcher for performing edge based image matching;

And an edge disparity map generator configured to generate an edge disparity map by interpolating based on the distance between the pixels of the matched edge image.

delete

A first process of acquiring image files obtained by multiple times at different angles of a subject, which is to be generated with a general digital camera, from a slightly different angle;

Extracting a focal length from the acquired image files and converting a size of a reference edge image based on the focal length;

Finding a region to be extracted from the obtained image files, and extracting an outline of a portion having a shape similar to the edge to be extracted from the image files as an edge group;

Compare the extracted edge groups with each other to track camera movements based on the comparison result, remove image candidates that are less likely to be candidates for edge matching based on the tracking result, and then check whether the two images match. A fourth process of performing edge-based image matching;

And a fifth process of generating an edge disparity map by interpolating based on the distance between pixels of the matched edge image.

The method of claim 3, wherein the digital camera of the first process

Disparity map generation method using an image of a digital camera, including any one of a general digital camera, a mobile phone, a smart phone, a digital camera mounted on a personal digital assistant.

The method of claim 3, wherein the third process,

Searching for the same part between two images based on an edge image among the n images received, comparing and detecting similar areas in each image based on the edge image to be extracted as a reference;

A method of generating a disparity map using an image of a digital camera, comprising selecting a candidate group having only contours having a shape similar to an edge to be extracted by the user among the images corrected through the comparison detection; .

The method of claim 3, wherein the fourth process,

Tracking camera movements by a predetermined algorithm while matching the extracted edge groups with each other;

Using a camera motion matrix to remove image candidates that are less likely to be candidates for edge matching in the camera's motion state;

A method for generating a disparity map using an image of a digital camera, comprising: performing edge-based image matching by checking whether two images coincide with an edge candidate group having a reduced number of objects.