KR102079332B1

KR102079332B1 - 3D Vehicle Around View Generating Method and System

Info

Publication number: KR102079332B1
Application number: KR1020130007866A
Authority: KR
Inventors: 한영인; 전성제; 박종운; 백원인
Original assignee: 주식회사 케이에스에스이미지넥스트
Priority date: 2013-01-24
Filing date: 2013-01-24
Publication date: 2020-02-19
Also published as: KR20140095220A

Abstract

본 발명은 3Ｄ 차량 주변 영상 생성 방법 및 장치에 관한 것으로, 본 발명에 따른 방법은 차량에 설치된 복수 개의 카메라로부터 촬영된 영상을 밑면이 평평하고 상부로 갈수록 반경이 넓어지는 용기 형태의 3차원 공간 모델에 의해 정의되는 가상면에 맵핑하는 단계, 그리고 상기 가상면에 맵핑된 영상을 이용하여 가상 카메라의 시점의 뷰 영상을 생성하는 단계를 포함한다. 본 발명에 의하면, 주변 장애물을 포함하여 차량 주변 영상을 보다 자연스럽고 입체감있게 표현할 수 있는 장점이 있다. 또한 차량의 주행 상태에 따라 가상 시점을 변경하여 최적의 차량 주변 영상을 제공할 수 있는 장점이 있다. 또한 사용자가 편리하게 가상 카메라의 시점을 조정할 수 있는 장점이 있다.The present invention relates to a 3D vehicle surrounding image generation method and apparatus, the method according to the present invention is a three-dimensional space model of the container shape that the radius of the image is taken from a plurality of cameras installed in the vehicle is flat on the bottom and toward the top Mapping to the virtual plane defined by the step, and generating a view image of the viewpoint of the virtual camera using the image mapped to the virtual plane. According to the present invention, there is an advantage that the surrounding image of the vehicle can be expressed more naturally and three-dimensionally, including surrounding obstacles. In addition, there is an advantage that can provide an optimal image around the vehicle by changing the virtual viewpoint according to the driving state of the vehicle. In addition, the user can conveniently adjust the viewpoint of the virtual camera.

Description

3D Vehicle Around View Generating Method and System}

본 발명은 차량 주변 영상 생성 방법 및 장치에 관한 것으로 보다 자세하게는 차량 주변 영상을 3Ｄ로 입체감 있게 제공할 수 있는 차량 주변 영상 생성 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for generating a surrounding image of a vehicle, and more particularly, to a method and apparatus for generating a surrounding image of a vehicle, which can provide a 3D effect in 3D.

최근 자동차 산업의 발달로 인하여 1가구 1자동차 시대라고 할 정도로 자동차의 보급은 상용화되었고, 차량의 안전도 향상과 운전자의 편의를 도모하기 위해 다양한 첨단 전자 기술이 자동차에 적용되고 있다.Recently, due to the development of the automobile industry, the spread of automobiles has been commercialized to the age of one family and one automobile, and various advanced electronic technologies have been applied to automobiles in order to improve the safety of vehicles and the convenience of drivers.

이러한 첨단 전자 기술 중 자동차의 주변 환경을 촬영하여 표시함으로써 운전자가 자동차의 주변 환경을 육안을 통해 편리하게 확인할 수 있는 차량 주변 영상 표시 시스템(Around View Monitoring, AVM)이 있다. 차량 주변 영상 표시 시스템은 자동차의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 자동차의 주변 환경을 화면에 표시한다. 이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러를 보지 않고도 편리하게 주차를 할 수 있다.Among such advanced electronic technologies, there is an AVM (Around View Monitoring) system that photographs and displays a surrounding environment of a vehicle so that a driver can easily check the surrounding environment of the vehicle with the naked eye. The surrounding image display system captures the surrounding environment through cameras installed on the front, rear, left and right sides of the car, and displays the surrounding environment of the car on the screen by correcting the overlapped area based on the captured image. do. Accordingly, the driver can accurately recognize the surroundings of the vehicle through the displayed surrounding environment, and can conveniently park without looking at the side mirror or the rear mirror.

특히 최근 들어 차량 주변 영상을 다양한 시점에서 바라본 뷰 영상으로 제공하는 3D 차량 주변 영상 제공 시스템에 대한 관심이 증대되고 있다. 보다 자세하게는 차량 주행 상태에 따라 합성 화상의 가상 시점의 위치, 시선의 방향 및 초점 거리의 적어도 하나를 변경함으로써 운전자가 보다 편리하게 차량 주변 상황을 인식할 수 있도록 하는 기술에 대한 연구 개발이 다양하게 이루어지고 있다.In particular, recently, interest in a 3D vehicle image providing system for providing a vehicle image as a view image viewed from various viewpoints has increased. In more detail, there are various research and development techniques for enabling the driver to recognize the situation around the vehicle more conveniently by changing at least one of the position, the direction of the gaze, and the focal length of the virtual viewpoint of the composite image according to the vehicle driving conditions. It is done.

이렇게 3D 차량 주변 영상을 제공하기 위해서는 기본적으로 카메라에 의해 촬영된 영상을 3D 공간 모델을 이용하여 3차원 공간 가상면에 맵핑한다. 그리고 차량의 주행 상태 또는 사용자의 선택에 의해 정해진 카메라 가상 시점의 위치, 시선의 방향 및 초점 거리에 따라 미리 정해진 대응 관계에 따라 3차원 공간 가상면에 맵핑된 입력 영상으로부터 합성 화상을 생성할 수 있다. 그런데 3D 공간 모델에 따라 합성 화상이 자연스럽게 보이지 못하는 문제점들이 있었다. 예컨대 3D 공간 모델로 반구 형태의 모델을 사용할 경우 차량으로부터 원거리에 위치한 물체는 비교적 자연스럽게 표현이 되나 차량 근방의 지면은 자연스럽지 못하게 표현되는 경향이 있고, 기존의 2D 차량 주변 영상 시스템에서 사용하는 지면을 매핑 면으로 사용하는 방식에서는 지면이 아닌 부분, 예컨대 차량 주변에 서있는 사람 또는 장애물 등의 경우는 상이 길게 늘어져서 제대로 된 영상을 얻을 수 없고 아울러 정합 과정에서 각 뷰의 실제 카메라 영상이 잘 매칭되지 않아서 정합이 어려운 문제점들이 있었다.In order to provide a 3D vehicle surrounding image as described above, an image captured by a camera is basically mapped to a 3D space virtual plane using a 3D space model. The synthesized image may be generated from an input image mapped to the 3D space virtual surface according to a predetermined correspondence according to the position of the camera virtual viewpoint determined by the driving state of the vehicle or the user's selection, the direction of the gaze, and the focal length. . However, according to the 3D spatial model, there were problems in that the synthesized image did not look natural. For example, when a hemispherical model is used as a 3D space model, objects located far from the vehicle are represented relatively naturally, but the ground near the vehicle tends to be rendered unnaturally. In the method used as the mapping surface, non-ground parts, such as people standing around the vehicle or obstacles, cannot be obtained properly because the image is stretched long and the actual camera image of each view does not match well during the matching process. There were these difficult problems.

특히 한국공개특허 제2001-0112433호는 유사원통모델과 노면평면모델을 조합하여 차량 주변 영상을 제공하는 기술이 기재되어 있으나 각 모델과 차량 속도 등에 따라 맵핑 테이블을 별도로 구비해야 함으로써 차량 속도의 변화에 따라 심리스하게 유사원통모델과 노면평면모델을 조합한 화면을 구성하기 위해서는 매우 많은 맵핑 테이블이 사전에 준비되어야 한다는 문제점이 있었다.In particular, Korean Patent Publication No. 2001-0112433 describes a technique for providing a vehicle surrounding image by combining a pseudo-cylinder model and a road surface model. However, a mapping table must be separately provided according to each model and vehicle speed to change the vehicle speed. Accordingly, there is a problem in that a large number of mapping tables must be prepared in advance in order to construct a seamless screen combining a pseudo-cylindrical model and a road surface model.

따라서 본 발명이 해결하고자 하는 과제는 주변 장애물을 포함하여 차량 주변 영상을 보다 자연스럽고 입체감있게 표현할 수 있는 3Ｄ 차량 주변 영상 생성 방법 및 장치를 제공하는 것이다.Accordingly, an object of the present invention is to provide a 3D vehicle surrounding image generation method and apparatus capable of more naturally and three-dimensionally expressing a vehicle surrounding image including surrounding obstacles.

이러한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 3Ｄ 차량 주변 영상 생성 방법은 차량에 설치된 복수 개의 카메라로부터 촬영된 영상을 밑면이 평평하고 상부로 갈수록 반경이 넓어지는 용기 형태의 3차원 공간 모델에 의해 정의되는 가상면에 맵핑하는 단계, 그리고 상기 가상면에 맵핑된 영상을 이용하여 가상 카메라의 시점의 뷰 영상을 생성하는 단계를 포함한다.
본 발명의 실시예에 따른 3Ｄ 차량 주변 영상 생성 시스템은, 차량에 설치된 복수 개의 카메라로부터 촬영된 영상을 밑면이 평평하고 상부로 갈수록 반경이 넓어지는 용기 형태의 3차원 공간 모델에 의해 정의되는 가상면에 맵핑하고, 상기 가상면에 맵핑된 영상을 이용하여 가상 카메라의 시점의 뷰 영상을 생성하는 차량 주변 영상 생성 장치를 포함한다.
상기 3차원 공간 모델의 밑면의 크기는 상기 차량의 주행 속도에 반비례한다.
상기 가상 카메라의 시점은 상기 차량의 주행 상태 및 사용자 선택 중 적어도 하나에 의해 결정될 수 있다.
상기 뷰 영상 생성은, 상기 가상면에 맵핑된 영상과 상기 가상 카메라 시점의 뷰 영상 사이의 대응 관계가 미리 정의된 룩업 테이블을 참조하여 이루어질 수 있다.According to an embodiment of the present invention, a 3D space model having a container shape in which a bottom surface of a 3D vehicle surrounding image is flat and a radius thereof is widened upward. Mapping to the virtual plane defined by the step, and generating a view image of the viewpoint of the virtual camera using the image mapped to the virtual plane.
3D vehicle surrounding image generation system according to an embodiment of the present invention, the virtual surface is defined by a three-dimensional space model of the container shape of the image is taken from a plurality of cameras installed in the vehicle, the bottom surface is flat and the radius increases toward the top And a vehicle surrounding image generating apparatus generating a view image of the viewpoint of the virtual camera using the image mapped to the virtual surface.
The size of the underside of the three-dimensional space model is inversely proportional to the traveling speed of the vehicle.
The viewpoint of the virtual camera may be determined by at least one of a driving state of the vehicle and a user selection.
The view image generation may be performed by referring to a lookup table in which a corresponding relationship between the image mapped to the virtual plane and the view image of the virtual camera view is defined in advance.

삭제delete

본 발명에 의하면, 주변 장애물을 포함하여 차량 주변 영상을 보다 자연스럽고 입체감있게 표현할 수 있는 장점이 있다. 또한 차량의 주행 상태에 따라 가상 시점을 변경하여 최적의 차량 주변 영상을 제공할 수 있는 장점이 있다. 또한 사용자가 편리하게 가상 카메라의 시점을 조정할 수 있는 장점이 있다.According to the present invention, there is an advantage that the surrounding image of the vehicle can be expressed more naturally and three-dimensionally, including surrounding obstacles. In addition, there is an advantage that can provide an optimal image around the vehicle by changing the virtual viewpoint according to the driving state of the vehicle. In addition, the user can conveniently adjust the viewpoint of the virtual camera.

도 1은 본 발명의 실시예에 따른 외부 파라미터 추정 장치를 포함하는 차량 주변 영상 표시 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 카메라의 설치 위치 및 삼각형 패턴이 표시된 교정판의 배치를 설명하기 위한 개략도이다.
도 3은 본 발명의 실시예에 따른 차량 설치 카메라의 외부 파라미터를 설명하기 위해 제공되는 개략도이다.
도 4는 본 발명의 실시예에 따른 삼각형 패턴이 표시된 보정판을 포함한 전방 카메라 입력 영상의 일 예를 예시한 도면이다.
도 5는 본 발명의 실시예에 따른 카메라 외부 파라미터를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 6은 본 발명의 실시예에 따른 전방, 후방, 좌측, 우측 카메라에서 촬영된 영상에서 각각 추출된 정점을 함께 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 팬 각도, X좌표 및 Y 좌표를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 3Ｄ 차량 주변 영상 생성 방법을 설명하기 위해 제공되는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 3차원 공간 모델을 설명하기 위해 제공되는 도면이다.
도 10은 본 발명의 일 실시예에 따른 3차원 공간 모델의 가상면에 실제 카메라에 의해 촬영된 영상을 맵핑하는 예를 설명하기 위해 제공되는 도면이다.
도 11은 본 발명의 일 실시예에 따른 가상 카메라 시점이 사용자 선택에 의해 정해지는 방법에 대해서 설명하기 위해 제공되는 도면이다.
도 12는 복수 개의 카메라에 의해 촬영된 영상이 가상 카메라 시점의 뷰 영상 생성 시 중첩되는 영역을 설명하기 위해 제공되는 도면이다.
도 13은 본 발명의 일 실시예에 따른 차량 주변 건물 및 도로 정보를 가상 카메라 시점의 뷰 영상에 표시한 예이다.1 is a block diagram illustrating a vehicle surrounding image display system including an external parameter estimating apparatus according to an exemplary embodiment of the present invention.
2 is a schematic diagram for explaining an arrangement of a calibration plate on which an installation position and a triangular pattern of a camera according to an exemplary embodiment of the present invention are displayed.
3 is a schematic diagram provided to explain external parameters of a vehicular installation camera according to an embodiment of the present invention.
4 is a diagram illustrating an example of a front camera input image including a correction plate displaying a triangular pattern according to an exemplary embodiment of the present invention.
5 is a flowchart provided to explain a method of estimating a camera external parameter according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating vertices extracted from images captured by front, rear, left, and right cameras according to an exemplary embodiment of the present invention.
7 is a flowchart provided to explain a method of estimating a pan angle, an X coordinate, and a Y coordinate among camera external parameters according to an embodiment of the present invention.
8 is a flowchart provided to explain a 3D vehicle surrounding image generation method according to an exemplary embodiment.
9 is a view provided to explain a three-dimensional space model according to an embodiment of the present invention.
FIG. 10 is a diagram provided to explain an example of mapping an image photographed by an actual camera to a virtual surface of a 3D spatial model according to an exemplary embodiment.
FIG. 11 is a diagram provided to explain a method of determining a virtual camera viewpoint by user selection according to an embodiment of the present invention.
FIG. 12 is a view provided to explain an area where images captured by a plurality of cameras overlap when generating a view image of a virtual camera.
FIG. 13 illustrates an example of displaying building and road information around a vehicle in a view image of a virtual camera.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.

도 1은 본 발명의 실시예에 따른 외부 파라미터 추정 장치를 포함하는 차량 주변 영상 표시 시스템을 설명하기 위한 블록도이다.1 is a block diagram illustrating a vehicle surrounding image display system including an external parameter estimating apparatus according to an exemplary embodiment of the present invention.

도 1을 참고하면, 차량 주변 영상 표시 시스템은 4개의 카메라(210, 220, 230, 240), 주변 영상 생성 장치(300) 및 표시 장치(400)를 포함하며, 외부 파라미터 추정 장치(100)를 더 포함할 수 있다. 물론, 주변 영상 생성 장치(300)와 외부 파라미터 추정 장치(100)를 일체의 형태로 구현할 수 있다.Referring to FIG. 1, a vehicle surrounding image display system includes four cameras 210, 220, 230, and 240, a peripheral image generating apparatus 300, and a display apparatus 400, and includes an external parameter estimating apparatus 100. It may further include. Of course, the surrounding image generating apparatus 300 and the external parameter estimating apparatus 100 may be implemented in one form.

차량 주변 영상 표시 시스템은 차량에 설치된 4개의 카메라(210, 220, 230, 240)를 통해 촬영된 영상을 처리하여 생성된 주변 영상을 화면 상에 표시함으로써, 차량의 주변 상황을 운전자가 확인할 수 있도록 하는 시스템이다. 차량 주변 영상 표시 시스템은 차량 주변 영상을 가상 시점에서 바라본 3D 영상으로 제공할 수 있다. 이를 위해 차량에 설치된 4개의 카메라(210, 220, 230, 240)의 자세 및 위치에 대한 외부 파라미터를 알아야 한다.The vehicle surrounding image display system displays the surrounding image generated by processing images captured by four cameras 210, 220, 230, and 240 installed on the vehicle, so that the driver can check the surrounding situation of the vehicle. It is a system. The vehicle surrounding image display system may provide a vehicle surrounding image as a 3D image viewed from a virtual viewpoint. To this end, it is necessary to know the external parameters for the posture and position of the four cameras 210, 220, 230, 240 installed in the vehicle.

4개의 카메라(210, 220, 230, 240)는 각각 차량의 전방, 후방, 좌측 및 우측에 설치되고, 광각 렌즈, 어안 렌즈 등과 같이 화각이 큰 렌즈를 구비할 수 있다. 카메라(210, 220, 230, 240)는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 촬영하고, 촬영된 영상을 외부 파라미터 추정 장치(100), 주변 영상 생성 장치(300) 등에 제공할 수 있다. 실시예에 따라 카메라(210, 220, 230, 240)는 와이파이(Wi-Fi), 블루투스, 지그비, UWB 등 근거리 무선 통신 모듈을 탑재하고 주변 영상 생성 장치(300), 외부 파라미터 추정 장치(100)에 영상을 무선으로 전송하도록 구현될 수도 있다. The four cameras 210, 220, 230, and 240 may be installed at the front, rear, left, and right sides of the vehicle, respectively, and may include a lens having a large angle of view, such as a wide angle lens or a fisheye lens. The cameras 210, 220, 230, and 240 may photograph a 3D object as a 2D image through a lens and provide the captured image to an external parameter estimating apparatus 100, a peripheral image generating apparatus 300, or the like. have. According to an embodiment, the cameras 210, 220, 230, and 240 are equipped with short-range wireless communication modules such as Wi-Fi, Bluetooth, Zigbee, and UWB, and include a peripheral image generating apparatus 300 and an external parameter estimating apparatus 100. It may also be implemented to wirelessly transmit the image.

외부 파라미터 추정 장치(100)는 4개의 카메라(210, 220, 230, 240)에서 제공받은 영상에서 삼각형 패턴을 이루는 정점(頂點)을 추출하고, 추출된 정점을 이용하여 카메라(210, 220, 230, 240)의 외부 파라미터를 추정할 수 있다. 외부 파라미터 추정 방법에 대해서는 아래에서 자세히 설명한다.The external parameter estimating apparatus 100 extracts vertices having a triangular pattern from images provided from four cameras 210, 220, 230, and 240, and uses the extracted vertices for cameras 210, 220, 230. , An external parameter of 240 may be estimated. The external parameter estimation method is described in detail below.

주변 영상 생성 장치(300)는 4개의 카메라(210, 220, 230, 240)에서 제공받은 영상을 이용하여, 차량 주행 상황 또는 사용자 선택에 따라 정해지는 소정의 가상 시점을 가지는 가상 카메라에 대한 가상 시점 영상을 생성하여 표시 장치(400)에 출력할 수 있다. 이를 위해 주변 영상 생성 장치(300)는 카메라(210, 220, 230, 240)에서 제공받은 입력 영상을 3D 모델 면에 맵핑시켜서 텍스처 맵(texture map)을 구할 수 있는데, 이는 외부 파라미터 추정 장치(100)에서 구해진 카메라 외부 파라미터를 기초로 구해지는 카메라별 프로젝션 모델이 이용될 수 있다. 그리고 입력 영상을 3D 모델 가상면에 맵핑하는 과정에서 서로 다른 카메라에서 촬영된 입력 영상을 자연스럽게 보이도록 하기 위해서 가중 블렌딩(weighted blending) 기법 등이 이용될 수 있다. 그리고 주변 영상 생성 장치(300)는 소정의 가상 시점이 정해지면 해당 가상 시점을 가지는 가상 카메라의 프로젝션 모델을 이용하여 텍스처 맵으로부터 가상 시점 영상을 생성하여 출력할 수 있다.The peripheral image generating apparatus 300 uses the images provided by the four cameras 210, 220, 230, and 240, and a virtual viewpoint for the virtual camera having a predetermined virtual viewpoint determined according to a vehicle driving situation or a user selection. An image may be generated and output to the display device 400. To this end, the peripheral image generating apparatus 300 may obtain a texture map by mapping the input image provided from the cameras 210, 220, 230, and 240 to the 3D model plane, which is an external parameter estimation apparatus 100. ), A camera-specific projection model obtained based on the camera external parameters obtained in FIG. In the process of mapping the input image to the 3D model virtual plane, a weighted blending technique or the like may be used to make the input image photographed by different cameras look natural. The peripheral image generating apparatus 300 may generate and output a virtual viewpoint image from a texture map by using a projection model of a virtual camera having a corresponding virtual viewpoint when a predetermined virtual viewpoint is determined.

표시 장치(400)는 생성된 주변 영상을 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Diode, OLED) 등의 표시 모듈에 표시한다. 물론, 차량 내에 설치된 자동 항법 장치(도시하지 않음) 등이 주변 영상을 제공받아 화면에 표시할 수도 있다.The display device 400 displays the generated peripheral image on a display module such as a liquid crystal display (LCD) and an organic light emitting diode (OLED). Of course, an automatic navigation device (not shown) installed in the vehicle may receive the surrounding image and display it on the screen.

한편 실시예에 따라 주변 영상 생성 장치(300), 외부 파라미터 추정 장치(100), 표시 장치(400)는 스마트폰, 태블릿 PC 등과 같은 휴대 통신 단말로 구현될 수 있다.According to an exemplary embodiment, the peripheral image generating apparatus 300, the external parameter estimating apparatus 100, and the display apparatus 400 may be implemented as a portable communication terminal such as a smartphone or a tablet PC.

한편 4개의 카메라(210, 220, 230, 240)의 렌즈 왜곡 등을 보정하는 작업 및 각 카메라별 프로젝션 모델을 구하는 작업 등이 필요할 수 있는데, 이는 일반적으로 알려진 공지된 기술을 이용할 수 있으므로 자세한 설명은 생략한다.On the other hand, it may be necessary to correct the lens distortion of the four cameras 210, 220, 230, 240, and the like to obtain a projection model of each camera. Omit.

그러면 본 발명의 일 실시예에 따른 삼각형 패턴을 이용하여 차량에 설치된 카메라의 외부 파라미터를 추정하는 방법에 대해 자세히 설명한다.Next, a method of estimating an external parameter of a camera installed in a vehicle using a triangular pattern according to an embodiment of the present invention will be described in detail.

도 2는 본 발명의 실시예에 따른 카메라의 설치 위치 및 삼각형 패턴이 표시된 교정판의 배치를 설명하기 위한 개략도이다.2 is a schematic diagram for explaining an arrangement of a calibration plate on which an installation position and a triangular pattern of a camera according to an exemplary embodiment of the present invention are displayed.

도 1 및 도 2를 참고하면, 차량(V)의 전방, 후방, 좌측 및 우측에 각각 카메라(210, 220, 230, 240)가 설치될 수 있다. 카메라(210, 220, 230, 240)가 설치되는 위치를 보다 상세하게 설명하면, 전방에 설치된 카메라(210)는 차량(V)의 본 넷 중심에 설치되고, 좌측 및 우측에 설치된 카메라(230, 240)는 각각 차량(V)의 양 사이드 미러의 가장 자리 또는 아래 쪽에 위치하도록 설치될 수 있다. 또한 후방에 설치된 카메라(220)는 후방 범퍼 위쪽의 중앙에 설치될 수 있다. 카메라의 높이와 각도에 의해 촬영되는 영상의 스케일, 화질 등이 상이하기 때문에 전방 및 후방에 설치된 카메라(210, 220)의 높이는 서로 동일하게 하는 것이 바람직하며, 마찬가지로 좌측 및 우측에 설치된 카메라(230, 240)의 높이도 서로 동일하게 하는 것이 바람직하다. 이와 같이 카메라(210, 220, 230, 240)의 설치 높이를 동일하게 함으로써 주변 영상 생성 시 중복 영역에서 차선 폭의 넓이가 동일하게 표현되지 않고 주변 사물의 크기가 이질적으로 나타나는 현상을 최소화시킬 수 있다. 또한, 좌측 및 우측에 설치된 카메라(230, 240)는 지면 방향의 수직선을 기준으로 170°이상이 촬영될 수 있도록 설치된다. 여기서 각 카메라(210, 220, 230, 240)의 설치 위치는 차량의 종류에 따라 상이할 수 있고, 차량의 디자인에 의해 설치 상의 제약이 발생할 수도 있다.1 and 2, cameras 210, 220, 230, and 240 may be installed at the front, rear, left, and right sides of the vehicle V, respectively. In more detail, where the cameras 210, 220, 230, and 240 are installed, the front camera 210 is installed at the center of the bone net of the vehicle V, and the cameras 230, 240 may be installed to be positioned at the edge or the bottom of both side mirrors of the vehicle (V), respectively. In addition, the rear camera 220 may be installed in the center of the rear bumper. Since the scale, image quality, etc. of the image photographed by the height and the angle of the camera are different, it is preferable that the heights of the cameras 210 and 220 installed in the front and the rear are the same, and the cameras 230, It is preferable to make the height of 240 same with each other. In this way, by making the installation height of the cameras 210, 220, 230, and 240 the same, it is possible to minimize the phenomenon in which the size of the surrounding object is heterogeneous rather than the same width of the lane in the overlapped area when generating the surrounding image. . In addition, the cameras 230 and 240 installed on the left and right sides are installed so that 170 ° or more can be photographed based on the vertical line in the ground direction. Here, the installation positions of the cameras 210, 220, 230, and 240 may differ according to the type of the vehicle, and installation restrictions may occur due to the design of the vehicle.

일반적으로 광각 카메라는 렌즈 주변부의 광량이 부족하여 화질의 저하가 발생하고, 렌즈의 중심부보다 주변부에 왜곡이 많이 발생할 수 있다. 또한, 카메라를 통해 촬영된 영상을 시점 변환할 때 주변부의 영상은 화질이 심하게 저하된다. 따라서 카메라 렌즈의 중심부 영역에 형성된 영상을 사용하기 위해 전방 및 후방에 설치된 카메라(210, 220)는 광축이 지평선과 평행하도록, 좌측 및 우측에 설치된 카메라(230, 240)는 광축이 지면과 수직이 되도록 설치될 수 있다. 또한, 차량(V)의 전후방 및 좌우측면으로부터 약 1.5m 떨어진 범위까지 촬영될 수 있도록 카메라(210, 220, 230, 240)의 설치 높이를 결정하고, 이때 카메라(210, 220, 230, 240)는 지면에 대한 수직축으로부터 약 30° 내지 60°정도까지 촬영될 수 있도록 설치될 수 있다. 위에서 설명한 카메라의 설치 위치는 바람직한 예에 대해 설명한 것으로 본 발명에 따른 카메라 외부 파라미터 추정 장치(100)는 반드시 카메라(210, 220, 230, 240)가 해당 위치에 정확하게 설치되어야 하는 것은 아니다.In general, a wide-angle camera may have a deterioration in image quality due to insufficient amount of light around a lens, and more distortion may occur in a peripheral portion than a central portion of the lens. Also, the image quality of the peripheral part is severely degraded when the viewpoint image is converted by the camera. Accordingly, the cameras 210 and 220 installed in the front and rear of the camera lens 210 and 220 installed in the front and rear of the camera lens so that the optical axis is parallel to the horizon, and the cameras 230 and 240 installed in the left and right are perpendicular to the ground. Can be installed as possible. In addition, the installation height of the cameras 210, 220, 230, and 240 may be determined so that the vehicle V may be photographed up to about 1.5 m away from the front, rear, left, and right sides of the vehicle V, and the cameras 210, 220, 230, and 240 may be determined. May be installed to be photographed up to about 30 to 60 degrees from the vertical axis with respect to the ground. The installation position of the camera described above has been described with reference to a preferred example, and the camera external parameter estimation apparatus 100 according to the present invention does not necessarily have the cameras 210, 220, 230, and 240 correctly installed at the corresponding positions.

한편 삼각형 패턴이 표시된 교정판(PL1, PL2, PL3, PL4)은 카메라(210, 220, 230, 240)에서 촬영된 각 영상에 두 개의 교정판이 포함되도록 차량(V)의 각 모서리에서 일정 거리를 두고 설치될 수 있다. 즉, 전방에 설치된 카메라(210)에서 촬영된 영상에는 교정판(PL1, PL2)이 포함되고, 후방에 설치된 카메라(220)에서 촬영된 영상에는 교정판(PL3, PL4)이 포함되며, 좌측에 설치된 카메라(230)에서 촬영된 영상에는 교정판(PL1, PL4)이 포함되고, 우측에 설치된 카메라(240)에서 촬영된 영상에는 교정판(PL2, PL3)이 포함되도록 차량(V)의 각 모서리에서 일정 거리를 두고 교정판(PL1, PL2, PL3, PL4)이 설치될 수 있다. 교정판(PL1, PL2, PL3, PL4)은 대략적으로 차량(V)의 전방 좌측, 전방 우측, 후방 우측 및 후방 좌측에 각각 설치되면 되고, 반드시 정확한 미리 정해진 위치에 설치되어야 하는 것은 아니다. 다만 교정판(PL1, PL2, PL3, PL4)은 차량(V)이 위치한 지면에 평행하게 놓여야 한다.Meanwhile, the calibration plates PL1, PL2, PL3, and PL4 marked with a triangular pattern have a predetermined distance from each corner of the vehicle V such that two calibration plates are included in each image photographed by the cameras 210, 220, 230, and 240. Can be placed and installed. That is, the images captured by the camera 210 installed in the front includes the calibration plates PL1 and PL2, and the images captured by the camera 220 installed in the rear include the calibration plates PL3 and PL4. The images captured by the installed camera 230 include calibration plates PL1 and PL4, and the images captured by the camera 240 installed on the right include calibration plates PL2 and PL3. At a certain distance from the calibration plates (PL1, PL2, PL3, PL4) can be installed. The calibration plates PL1, PL2, PL3, and PL4 need only be installed on the front left side, front right side, rear right side, and rear left side of the vehicle V, respectively, and are not necessarily installed at the correct predetermined position. However, the calibration plates PL1, PL2, PL3, PL4 should be placed parallel to the ground on which the vehicle V is located.

그리고 교정판(PL1, PL2, PL3, PL4)은 도 2에 예시한 것과 같이 일정한 두께를 가지는 정삼각형 패턴이 표시될 수 있는데, 테두리 내부의 삼각형의 크기가 외부 삼각형의 크기의 0.4 ~ 0.8 이 되도록 구현할 수 있다. 이는 주변의 유사한 삼각 패턴으로부터 자동으로 교정판(PL1, PL2, PL3, PL4)에 표시된 삼각형 패턴을 자동으로 정확하게 추출하기 위한 것으로 반드시 이에 한정되는 것은 아니다. 기본적으로 교정판(PL1, PL2, PL3, PL4)은 정삼각형의 꼭지점에 해당하는 정점(頂點)을 추출할 수 있는 형태면 다양하게 구현될 수 있다.In addition, the calibration plates PL1, PL2, PL3, and PL4 may display an equilateral triangle pattern having a constant thickness as illustrated in FIG. 2, so that the size of the triangle inside the border is 0.4 to 0.8 of the size of the outer triangle. Can be. This is to automatically and accurately extract the triangular pattern displayed on the calibration plates PL1, PL2, PL3, and PL4 from the surrounding similar triangular patterns, but is not necessarily limited thereto. Basically, the calibration plates PL1, PL2, PL3, and PL4 may be implemented in various forms as long as they can extract vertices corresponding to vertices of an equilateral triangle.

도 3은 본 발명의 실시예에 따른 차량 설치 카메라의 외부 파라미터를 설명하기 위해 제공되는 개략도이다.3 is a schematic diagram provided to explain external parameters of a vehicular installation camera according to an embodiment of the present invention.

도 3을 참고하면, 차량(V)에 설치된 카메라(210, 220, 230, 240)의 외부 파라미터는 3차원 공간 좌표(x,y,z)와, 카메라(210, 220, 230, 240)의 팬, 틸트, 롤 각도(θ, ψ, Φ)를 포함할 수 있다.Referring to FIG. 3, the external parameters of the cameras 210, 220, 230, and 240 installed in the vehicle V may include three-dimensional space coordinates (x, y, z) and the cameras 210, 220, 230, and 240. Pan, tilt, roll angles (θ, ψ, Φ).

3차원 공간 좌표(x,y,z) 중에서, 좌표(z)는 차량(V)이 위치한 지면(G)으로부터의 높이에 대응될 수 있으며, 도 3(a)에 예시한 것과 같이 전방 카메라(210), 좌측 카메라(230), 우측 카메라(240)의 높이는 각각 z_F, z_L, z_B가 될 수 있다. 그리고 좌표(x)와 좌표(y)는 차량(V)이 위치한 지면(G)에 평행한 가상 평면 상에서의 위치에 대응될 수 있으며, 도 3(b)에 예시한 것과 같이 차량(V)의 중심부(O)를 좌표 기준으로 할 수 있다. Among the three-dimensional spatial coordinates (x, y, z), the coordinate z may correspond to the height from the ground (G) where the vehicle (V) is located, and the front camera ( 210, the heights of the left camera 230 and the right camera 240 may be z _F , z _L , and z _B , respectively. And the coordinate (x) and the coordinate (y) may correspond to the position on the virtual plane parallel to the ground (G) where the vehicle (V) is located, as shown in Figure 3 (b) of the vehicle (V) The central part O can be made into a coordinate reference.

한편 팬 각도(θ)는 카메라(210, 220, 230, 240)의 헤드 방향이 차량(V)의 진행방향과 이루는 각도로 정의될 수 있고, 도 3(b)에 예시한 것과 같이 카메라(210, 220, 230, 240)의 팬 각도는 각각 θ_F, θ_B, θ_L, θ_R의 값을 가질 수 있다. Meanwhile, the fan angle θ may be defined as an angle at which the head directions of the cameras 210, 220, 230, and 240 form the traveling direction of the vehicle V, and the camera 210 as illustrated in FIG. 3B. The fan angles 220, 230, and 240 may have values of θ _F , θ _B , θ _L , and θ _R , respectively.

틸트 각도(ψ)는 지면(G)과 이루는 각도로 정의될 수 있으며, 도 3(a)에 예시한 것과 같이 전방 카메라(210), 후방 카메라(220)의 틸트 각도는 각각 ψ_F, ψ_B의 값을 가질 수 있다.The tilt angle ψ may be defined as an angle formed with the ground G. As illustrated in FIG. 3 (a), the tilt angles of the front camera 210 and the rear camera 220 are ψ _F and ψ _B , respectively. It can have a value of.

롤 각도(Φ)는 카메라 헤드 방향 축을 기준으로 한 카메라(210, 220, 230, 240)의 회전 각도로 정의될 수 있으며, 도 3(a)에 예시한 것과 같이 좌측 카메라(230)의 롤 각도는 Φ_L의 값을 가질 수 있다.The roll angle Φ may be defined as the rotation angle of the cameras 210, 220, 230, and 240 with respect to the camera head direction axis, and the roll angle of the left camera 230 as illustrated in FIG. 3 (a). May have a value of Φ _L.

도 4는 본 발명의 실시예에 따른 삼각형 패턴이 표시된 보정판을 포함한 전방 카메라 입력 영상의 일 예를 예시한 도면이고, 도 5는 본 발명의 실시예에 따른 카메라 외부 파라미터를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.4 is a diagram illustrating an example of a front camera input image including a correction plate displaying a triangular pattern according to an embodiment of the present invention, and FIG. 5 illustrates a method of estimating camera external parameters according to an embodiment of the present invention. Is a flowchart provided.

도 4를 참고하면, 전방 카메라(210)에 의해 촬영되어 입력된 영상은 2개의 삼각형 패턴이 표시된 보정판(PL1, PL2)이 포함될 수 있다. 보정판(PL1, PL2)에 표시된 삼각형 패턴이 실제는 변의 길이가 A인 정삼각형이더라도, 전방 카메라(210)의 렌즈 왜곡, 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)에 의해 입력 영상에서 삼각형 패턴의 변의 길이(a₁, a₂, a₃, a₄, a₅, a₆)는 서로 다르게 된다.Referring to FIG. 4, images captured and input by the front camera 210 may include correction plates PL1 and PL2 displaying two triangular patterns. Although the triangular pattern displayed on the correction plates PL1 and PL2 is actually an equilateral triangle whose side length is A, the input image is determined by the lens distortion, the tilt angle ψ, the roll angle Φ, and the height z of the front camera 210. The lengths of sides (a ₁ , a ₂ , a ₃ , a ₄ , a ₅ , a ₆ ) of the triangular pattern are different from each other.

그런데 전방 카메라(210)에 의한 입력 영상에서 렌즈 왜곡을 미리 알려진 방법으로 보정하고, 차량(V)의 상방에서 지면(G)을 내려다보는 방향(탑뷰)의 가상 시점을 가지는 가상 카메라의 영상으로 변환하면 삼각형 패턴(PL1, PL2)이 변의 길이(a₁, a₂, a₃, a₄, a₅, a₆)는 서로 동일하게 된다.However, the lens distortion is corrected in a known manner in the input image by the front camera 210, and converted into an image of a virtual camera having a virtual viewpoint in a direction (top view) looking down at the ground G from above the vehicle V. When the triangle patterns PL1 and PL2 have lower sides, the lengths a ₁ , a ₂ , a ₃ , a ₄ , a ₅ , and a ₆ are equal to each other.

이를 참고로 전방 카메라(210)에서 입력되는 영상에 대해 아래와 같은 작업을 수행하면 전방 카메라(210)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 추정할 수 있다.For reference, if the following operation is performed on the image input from the front camera 210, the tilt angle ψ, roll angle Φ, and height z of the front camera 210 may be estimated.

도 5는 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 틸트 각도, 롤 각도 및 높이를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.5 is a flowchart provided to explain a method of estimating tilt angle, roll angle, and height among camera external parameters according to an embodiment of the present invention.

도 5를 참고하면, 먼저 외부 파라미터 추정 장치(100)는 전방 카메라(210)에 의한 입력 영상에 대해 렌즈 왜곡을 보정한다(S510). 이후 전방 카메라에 의해 촬영된 영상에 포함된 전방 좌측 교정판(PL1) 및 전방 우측 교정판(PL2)에 표시된 삼각형 패턴에서 각각 3개씩 6개의 정점(頂點)(P1, P2, P3, P4, P5, P6)을 추출한다(S520).Referring to FIG. 5, first, the external parameter estimating apparatus 100 corrects lens distortion with respect to an input image by the front camera 210 (S510). Thereafter, six vertices (P1, P2, P3, P4, and P5), three in each of the triangular patterns displayed on the front left calibration plate PL1 and front right calibration plate PL2 included in the image captured by the front camera. , P6) is extracted (S520).

다음으로 외부 파라미터 추정 장치(100)는 전방 카메라(210)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 변화시키면서 추출된 6개의 정점(P1, P2, P3, P4, P5, P6)의 좌표를 세계 좌표로 변환한다(S530). 여기서 세계 좌표는 임의의 기준점 또는 차량(V)의 중심이 위치한 지면(G) 상의 점(O)을 좌표 기준점으로 할 수 있다.Next, the external parameter estimating apparatus 100 extracts six vertices P1, P2, P3, P4, and P5 extracted while changing the tilt angle ψ, roll angle Φ, and height z of the front camera 210. , P6) is converted into world coordinates (S530). In this case, the world coordinate may be an arbitrary reference point or a point O on the ground G where the center of the vehicle V is located as the coordinate reference point.

외부 파라미터 추정 장치(100)는 단계(S530)에서 구해지는 6개의 정점(P1, P2, P3, P4, P5, P6)의 세계 좌표를 이용하여 전방 좌측 교정판(PL1) 및 전방 우측 교정판(PL2)에 표시된 삼각형 패턴의 변의 길이(a₁, a₂, a₃, a₄, a₅, a₆)를 구한다(S540).The external parameter estimating apparatus 100 uses the front left calibration plate PL1 and the front right calibration plate using the world coordinates of the six vertices P1, P2, P3, P4, P5, and P6 obtained in step S530. The length (a ₁ , a ₂ , a ₃ , a ₄ , a ₅ , a ₆ ) of the sides of the triangular pattern indicated by PL2) is obtained (S540).

마지막으로 삼각형 패턴의 실제 변의 길이(A)와 단계(S540)에서 구해지는 삼각형 패턴의 변의 길이(a₁, a₂, a₃, a₄, a₅, a₆)의 차이의 크기를 최소화하는 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 전방 카메라(210)의 틸트 각도(ψ_F), 롤 각도(Φ_F) 및 높이(z_F)로 추정할 수 있다(S550). 단계(S550)에서 다음 수학식 1에 의해 구해지는 값, f(ψ, Φ, z)를 최소화하는 틸트 각도(ψ_F), 롤 각도(Φ_F) 및 높이(z_F)를 구하면 된다.Finally, to minimize the magnitude of the difference between the length (A) of the actual side of the triangle pattern and the length (a ₁ , a ₂ , a ₃ , a ₄ , a ₅ , a ₆ ) of the sides of the triangle pattern obtained in step S540. The tilt angle ψ, roll angle Φ and height z may be estimated as the tilt angle ψ _F , roll angle Φ _F and height z _F of the front camera 210 (S550). . In step S550, the tilt angle φ _F , the roll angle Φ _F , and the height z _F that minimize the value, f (ψ, Φ, z) obtained by the following equation 1 may be obtained.

위에서 설명한 방법과 동일하게 나머지 후방 카메라(220), 우측 카메라(230) 및 좌측 카메라(240)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 추정할 수 있다.In the same manner as described above, the tilt angle ψ, roll angle Φ, and height z of the remaining rear camera 220, the right camera 230, and the left camera 240 may be estimated.

다음으로 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 추정하는 방법에 대해 설명한다.Next, a method of estimating the position coordinates (x, y) and the pan angle (θ) of the cameras 210, 220, 230, and 240 will be described.

도 6은 본 발명의 실시예에 따른 전방, 후방, 좌측, 우측 카메라에서 촬영된 영상에서 각각 추출된 정점을 함께 나타낸 도면이다.FIG. 6 is a diagram illustrating vertices extracted from images captured by front, rear, left, and right cameras according to an exemplary embodiment of the present invention.

도 6을 참고하면, 정점(P1_F, P2_F, P3_F)은 전방 좌측 교정판(PL1)에 대해 전방 카메라(210)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P4_F, P5_F, P6_F)은 전방 우측 교정판(PL2)에 대해 전방 카메라(210)에서 촬영된 영상에서 추출된 3개의 정점이다. 그리고 정점(P4_R,P5_R P6_R)은 전방 우측 교정판(PL2)에 대해 우측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P7_R, P8_R, P9_R)은 후방 우측 교정판(PL3)에 대해 우측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이다. 그리고 정점(P7_B,P8_B P9_B)은 후방 우측 교정판(PL3)에 대해 후방 카메라(220)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P10_B, P11_B, P12_B)은 후방 좌측 교정판(PL4)에 대해 후방 카메라(220)에서 촬영된 영상에서 추출된 3개의 정점이다. 마지막으로 정점(P10_L,P11_L, P12_L)은 후방 좌측 교정판(PL4)에 대해 좌측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이고, 정점(P1_L, P2_L, P3_L)은 전방 좌측 교정판(PL1)에 대해 좌측 카메라(240)에서 촬영된 영상에서 추출된 3개의 정점이다.Referring to FIG. 6, vertices P1 _F , P2 _F , and P3 _F are three vertices extracted from an image photographed by the front camera 210 with respect to the front left calibration plate PL1, and vertices P4 _F and P5. _F , P6 _F ) are three vertices extracted from an image photographed by the front camera 210 with respect to the front right calibration plate PL2. And vertex (P4 _R , P5 _R P6 _R ) are three vertices extracted from an image taken by the right camera 230 with respect to the front right calibration plate PL2, and the vertices P7 _R , P8 _R and P9 _R are rear right calibration plates PL3. Are three vertices extracted from an image captured by the right camera 230. And vertex (P7 _B , P8 _B P9 _B ) are three vertices extracted from the image taken by the rear camera 220 with respect to the rear right calibration plate PL3, and the vertices P10 _B , P11 _B and P12 _B are the rear left calibration plate PL4. Are three vertices extracted from the image photographed by the rear camera 220. Finally, vertex (P10 _L , P11 _L and P12 _L are three vertices extracted from the image photographed by the left camera 230 with respect to the rear left calibration plate PL4, and the vertices P1 _L , P2 _L and P3 _L are the front left calibration plate ( 3 vertices extracted from the image photographed by the left camera 240 for PL1).

도 7은 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 팬 각도, X좌표 및 Y 좌표를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.7 is a flowchart provided to explain a method of estimating a pan angle, an X coordinate, and a Y coordinate among camera external parameters according to an embodiment of the present invention.

도 7을 참고하면, 먼저 각 카메라(210, 220, 230, 240)에서 촬영된 영상에서 렌즈 왜곡 보정 후 추출된 정점들에 대해서 세계 좌표를 구할 수 있다(S710). 단계(S710)에서 카메라(210, 220, 230, 240)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)는 앞에서 설명한 방법에 의해 추정된 값을 이용하고, 위치 좌표(x, y) 및 팬 각도(θ)는 미리 정해진 초기값으로 설정한다. 예를 들어, 전방 카메라(210)의 팬 각도(θ)는 0°로 설정하고, 좌측 카메라(240)는 90°, 후방 카메라(220)는 180°, 우측 카메라(230)는 270°로 설정할 수 있으며, 위치 좌표(x, y)는 차량 중심(O)을 좌표 기준점으로 하여 카메라(210, 220, 230, 240)가 정확하게 설치된 경우를 고려한 값을 초기값으로 설정할 수 있다. 카메라(210, 220, 230, 240)가 미리 정해진 기준 위치 및 자세로 정확하게 설치된 경우 단계(S710)에서 구해지는 정점(P1_F, P2_F, P3_F)과 정점(P1_L, P2_L, P3_L)의 대응점의 세계 좌표는 서로 일치하여 위치 오차가 없을 것이다. 그러나 실제로는 카메라 장착 과정 또는 운행 과정 등에서 오차가 발생할 수 있으므로 대응점들 사이에 위치 오차가 발생할 수 있다. 여기서 위치 오차는 세계 좌표를 기준으로 대응점들 사이의 거리로 정의할 수 있다.Referring to FIG. 7, first, world coordinates may be obtained for vertices extracted after lens distortion correction from images photographed by the cameras 210, 220, 230, and 240 (S710). In step S710, the tilt angle ψ, roll angle Φ and height z of the cameras 210, 220, 230, and 240 use values estimated by the method described above, and the position coordinates x, y) and the fan angle θ are set to a predetermined initial value. For example, the pan angle θ of the front camera 210 is set to 0 °, the left camera 240 is set to 90 °, the rear camera 220 is set to 180 °, and the right camera 230 is set to 270 °. The position coordinates (x, y) may be set to initial values considering the case where the cameras 210, 220, 230, and 240 are correctly installed using the vehicle center O as the coordinate reference point. When the cameras 210, 220, 230, and 240 are correctly installed at a predetermined reference position and posture, vertices P1 _F , P2 _F , and P3 _F obtained in step S710 and vertices P1 _L , P2 _L , and P3 _L The world coordinates of the corresponding points of) will coincide with each other and there will be no position error. However, in practice, an error may occur in a camera mounting process or a driving process, and thus a position error may occur between corresponding points. Here, the position error may be defined as a distance between corresponding points based on the world coordinates.

이후 외부 파라미터 추정 장치(100)는 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 변화시키면서 대응점들 사이에 위치 오차를 구한다(S720).Thereafter, the external parameter estimating apparatus 100 obtains a position error between corresponding points while changing the position coordinates (x, y) and the pan angle (θ) of the cameras 210, 220, 230, and 240 (S720).

마지막으로 대응점들 사이의 위치 오차를 최소화하는 값으로 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 추정할 수 있다(S730). 단계(S730)에서 다음 수학식 2에 의해 구해지는 값, f(θ_F,θ_B,θ_L,θ_R,x_F,x_B,x_L,x_R,y_F,y_B,y_L,y_R)를 최소화시키는 위치 좌표(x, y) 및 팬 각도(θ)를 구하면 된다.Finally, the position coordinates (x, y) and the pan angle θ of the cameras 210, 220, 230, and 240 may be estimated as values that minimize the position error between the corresponding points (S730). In step S730, the value f (θ _F , θ _B , θ _L , θ _R , x _F , x _B , x _L , x _R , y _F , y _B , y _L , The position coordinates (x, y) and the pan angle θ are minimized to minimize y _R ).

여기서 Di는 서로 다른 카메라에서 촬영된 영상에서 추출된 정점들 중에서 대응점들 사이의 거리를 의미한다. 예를 들어 D1은 정점(P1_F)과 정점(P1_L) 사이의 거리를 의미한다.Di is a distance between corresponding points among vertices extracted from images taken by different cameras. For example, D1 means the distance between vertex P1 _F and vertex P1 _L.

이와 같은 방법으로 각 카메라(210, 220, 230, 240)의 상대적인 외부 파라미터를 추정할 수 있으며, 카메라(210, 220, 230, 240) 중에서 하나의 절대적 위치 및 자세를 알면 나머지 카메라들의 절대적 위치 및 자세를 구할 수 있다. 물론 카메라(210, 220, 230, 240) 중에서 하나의 위치를 세계 좌표의 기준점으로 할 경우는 자연스럽게 나머지 카메라들의 절대적 위치 및 자세를 구할 수도 있다. 한편 지금까지 설명한 방법 외에도 다양한 방법으로 차량에 장착된 카메라의 절대적 위치 및 자세를 구할 수 있음은 물론이다.In this way, the relative external parameters of each of the cameras 210, 220, 230, and 240 can be estimated. Knowing the absolute position and attitude of one of the cameras 210, 220, 230, and 240, You can get a posture. Of course, when one of the cameras 210, 220, 230, and 240 is used as a reference point of world coordinates, the absolute positions and postures of the remaining cameras may be naturally obtained. Meanwhile, in addition to the methods described so far, the absolute position and posture of the camera mounted on the vehicle may be obtained in various ways.

그러면 본 발명의 일 실시예에 따른 3Ｄ 차량 주변 영상 생성 방법에 대해 설명한다.Next, a 3D vehicle surrounding image generation method according to an embodiment of the present invention will be described.

도 8은 본 발명의 일 실시예에 따른 3Ｄ 차량 주변 영상 생성 방법을 설명하기 위해 제공되는 흐름도이다.8 is a flowchart provided to explain a 3D vehicle surrounding image generation method according to an exemplary embodiment.

도 8을 참고하면, 먼저 주변 영상 생성 장치(300)는 카메라(210, 220, 230, 240)로부터 촬영된 영상을 3차원 공간 모델에 의해 정의되는 가상면에 맵핑할 수 있다(S810). 단계(S810)에서 3차원 공간 모델은 도 9에 예시한 것과 같이 밑면(A)이 평평하고 상부로 갈수록 반경이 넓어지는 용기 형태의 가상면을 가지는 모델(M)이 이용될 수 있다.Referring to FIG. 8, first, the peripheral image generating apparatus 300 may map an image photographed from the cameras 210, 220, 230, and 240 to a virtual plane defined by a 3D space model (S810). In step S810, as illustrated in FIG. 9, a model M having a container-shaped virtual surface in which the bottom surface A is flat and the radius thereof increases toward the top may be used as illustrated in FIG. 9.

도 9(a)를 참고하면 3차원 공간 모델(M)은 밑면(A)은 장반경(b₁)과 단반경(a₁)을 가지고 상부로 갈수록 반경이 넓어지면서 높이(c)에서 개방된 상부면(A')은 장반경(b₁+b₂)과 단반경(a₁+a₂)를 가지는 것으로 정의될 수 있다. 물론 경우에 따라서 밑면과 상부면이 원형으로 구현될 수도 있다. Referring to FIG. 9 (a), the three-dimensional space model (M) has a top surface (A) having a long radius (b ₁ ) and a short radius (a ₁ ), and the upper surface opened at a height (c) with a radius widening toward the top. (A ') may be defined as having a long radius (b ₁ + b ₂ ) and a short radius (a ₁ + a ₂ ). Of course, in some cases, the bottom and the top surface may be implemented in a circular shape.

그리고 밑면(A)의 크기는 차량의 속도, 가상 시점 등에 따라 변화되도록 구현할 수도 있다. 예컨대 차량 속도가 빨라짐에 따라 밑면의 크기가 '0'에 가까워져 가상면이 반구 형태로 변화되고, 반대로 차량 속도가 느려짐에 따라 밑면이 장반경(b₁)과 단반경(a₁)을 가지도록 가상면의 형태가 변화될 수 있다.And the size of the bottom (A) may be implemented to change depending on the speed of the vehicle, the virtual view. For example, as the speed of the vehicle increases, the size of the base becomes closer to '0' and the virtual surface changes into a hemispherical shape. On the contrary, as the vehicle speed decreases, the base has a long radius (b ₁ ) and a short radius (a ₁ ). The shape of can be changed.

도 9(b) 및 도 9(c)를 참고하면, 한편 3차원 공간 모델 상에서 점(P)가 X축으로부터

, 그리고 상부면(A')과는 θ의 각도를 이루는 경우 아래 수학식에 의한 가상면 상에 위치하게 된다.9 (b) and 9 (c), on the other hand, the point P on the three-dimensional space model

And, when the angle of θ and the upper surface (A ') is located on the virtual surface by the following equation.

여기서 a =

a1, b =

b1, 0≤

≤1, 0≤β≤1 이고, β는 점(P)가 밑면(A)의 중심에서 얼마나 떨어져서 위치하는지를 나타내며,

는 밑면의 크기와 관계된 파라미터로,

가 '0'이면 밑면이 없고,

가 '1'이면 밑면이 장반경(b₁)과 단반경(a₁)을 가지게 된다.

값을 조정하여 밑면의 크기를 조절할 수 있으며, 시스템 설계자에 의해 설정되거나 아래 설명하는 것처럼 차량 주행 상태, 주행속도 등에 따라 그 값이 변동될 수 있다.Where a =

a1, b =

b1, 0≤

≤ 1, 0 ≤ β ≤ 1, β indicates how far the point (P) is located from the center of the base (A),

Is a parameter related to the size of the base,

Is 0, there is no base,

If '1' the base has a long radius (b ₁ ) and a short radius (a ₁ ).

The size of the base can be adjusted by adjusting the value, and the value can be changed according to the vehicle driving condition, driving speed, etc. as set by the system designer or described below.

도 10은 본 발명의 일 실시예에 따른 3차원 공간 모델의 가상면에 실제 카메라에 의해 촬영된 영상을 맵핑하는 예를 설명하기 위해 제공되는 도면이다.FIG. 10 is a diagram provided to explain an example of mapping an image photographed by an actual camera to a virtual surface of a 3D spatial model according to an exemplary embodiment.

도 10을 참고하면, 차량 주변에 서있는 물체(S_O)가 지면과 평평한 밑면이 아닌 3차원 곡면 구간(C_3D)에 투영될 수 있다. 따라서 2D 평면으로 투영할 때는 해당 물체가 길게 늘어지게 맵핑되게 되나, 3차원 곡면 구간에 투영됨으로써 해당 물체가 길게 늘어지게 투영되는 것을 방지할 수 있는 장점이 있다.Referring to FIG. 10, an object S _O standing around a vehicle may be projected onto a three-dimensional curved section C _3D rather than a flat bottom surface. Therefore, when projecting on a 2D plane, the object is mapped to be stretched for a long time, but by projecting on a 3D curved section, there is an advantage of preventing the object from being stretched for a long time.

이와 같이 밑면이 평평하고 상부로 갈수록 반경이 넓어지는 용기 형태의 가상면을 가지는 모델을 3차원 공간 모델로 이용하면 다음과 같은 장점이 있다.As described above, using a model having a virtual surface in the form of a container having a flat bottom surface and a radius wider toward the top, has the following advantages.

우선 평평한 밑면 부분에서는 패럴렉스(parallex)로 인한 부정합 현상이 일어나지 않는다. 차량으로부터 일정 주변영역은 지면 부분에 나타나는 패턴을 나타낼 필요가 있다. 그렇기 때문에 일정 부분에 대해서 지면과 붙어있는 형태를 가지는 것이 좋은 결과를 보여준다. First, there is no misalignment caused by the parallax in the flat bottom part. Certain peripheral areas from the vehicle need to exhibit patterns that appear on the ground. For this reason, having a shape that is attached to the ground for a certain part shows good results.

또한, 본 실시예에서의 3차원 공간 모델의 밑면 부분의 크기는 밑면에 대응되는 타원의 장단반경 계수만을 조절해주면 되므로 용이하다. 따라서 관심 주변영역을 어느 정도로 설정할지에 따라 쉽게 매핑 가상면을 조절할 수 있다. 예컨대 차량이 주차하거나 서행할 경우에는 차량 주변 바닥면을 확인해야할 필요가 커지므로 3차원 공간 모델의 밑면의 크기가 커지도록 조정하는 것이 유리하며, 반면 상대적으로 고속으로 주행할 경우는 차량의 원거리 부분을 확인해야할 필요가 커지게 되므로 3차원 공간 모델의 밑면의 크기가 작아지도록 조정하는 것이 유리하다. 따라서 주변 영상 생성 장치(300)는 3차원 공간 모델의 밑면의 크기를 차량의 주행 속도에 반비례하도록 조정하는 것이 바람직하다.In addition, the size of the bottom portion of the three-dimensional space model in the present embodiment is easy to adjust only the long and short radius coefficient of the ellipse corresponding to the bottom. Therefore, the mapping virtual plane can be easily adjusted according to how much the area of interest is set. For example, when the vehicle is parked or slowed down, it becomes more necessary to check the floor around the vehicle. Therefore, it is advantageous to adjust the size of the base of the three-dimensional space model to be larger. Since the need for checking becomes large, it is advantageous to adjust the size of the bottom of the three-dimensional space model to be smaller. Therefore, the surrounding image generating apparatus 300 may adjust the size of the bottom surface of the 3D space model in inverse proportion to the traveling speed of the vehicle.

한편 본 발명에 따른 3차원 공간 모델은 절단면이 갑자기 꺾이는 곡선 없이 부드럽게 변하므로 뷰 영상에서 부자연스럽게 꺾이는 부분없이 자연스럽게 보이게 되는 장점이 있다. 그리고 마지막으로 입력 영상을 매핑함에 있어서 매핑 가상면 위에 기준점(fiducial point)의 위치를 정하는 것이 쉽다는 장점도 있다. 여기에서 기준점(fiducial point)은 위 수학식에서의 θ와

를 얼마만큼의 간격으로 해서 기준점(fiducial point)을 잡을 것인지에 따라 정할 수 있다.On the other hand, the three-dimensional space model according to the present invention has a merit that the cut surface is smoothly changed without a sudden bending curve, so that it looks natural without unnatural bending portion in the view image. And finally, in mapping the input image, it is easy to determine the position of the fiducial point on the mapping virtual plane. The fiducial point is the θ and

The interval can be determined according to how far apart the fiducial point is to be taken.

다시 도 8로 돌아가서, 단계(S810) 후에 주변 영상 생성 장치(300)는 가상면에 맵핑된 영상을 이용하여 가상 카메라의 시점의 뷰 영상을 생성할 수 있다(S820). 단계(S820)에서 가상 카메라의 시점의 뷰 영상은 가상면에 맵핑된 영상과 가상 카메라 시점의 뷰 영상 사이의 대응 관계가 미리 정의된 룩업 테이블을 참조하여 이루어지거나 양 자의 대응 관계를 정의하는 함수를 이용하여 이루어질 수 있다. Referring back to FIG. 8, after operation S810, the peripheral image generating apparatus 300 may generate a view image of the viewpoint of the virtual camera using the image mapped to the virtual surface in operation S820. In operation S820, the view image of the viewpoint of the virtual camera may correspond to a view between the image mapped to the virtual plane and the view image of the viewpoint of the virtual camera, by referring to a predefined lookup table, or define a function that defines the correspondence between the two. Can be made.

한편 가상 카메라의 시점은 차량의 주행 상태 또는 사용자 선택 중 적어도 하나에 의해 결정되도록 구현될 수 있다.The viewpoint of the virtual camera may be implemented to be determined by at least one of a driving state of the vehicle or a user selection.

보다 자세하게는 차량의 주행 상태는 차량의 속도, 조향각 방향 또는 기어 위치에 연동하여 가상 카메라의 시점이 결정되도록 구현할 수 있다. 예를 들어 차량이 일정 속도 이상으로 전방으로 주행할 경우는 가상 카메라 시점은 차량 전방으로 지면과 평행하거나 지면과 이루는 틸트 각도(ψ)가 작게 설정될 수 있으며, 반대로 일정 속도 이하로 전방으로 주행할 경우는 지면과 이루는 틸트 각도(ψ)가 커지게 설정될 수 있다. 한편 후진 기어의 경우는 가상 카메라 시점이 후방으로 설정될 수 있다. 또한 차량의 조향각 방향이 좌측인 경우 가상 카메라 시점은 차량의 전방 좌측으로, 조향각 방향이 우측인 경우는 차량의 전방 우측으로 설정될 수 있다.In more detail, the driving state of the vehicle may be implemented such that the viewpoint of the virtual camera is determined in association with the vehicle's speed, steering angle direction, or gear position. For example, when the vehicle is traveling forward at a predetermined speed or more, the virtual camera viewpoint may be set to have a small tilt angle ψ in parallel with the ground or to the ground in front of the vehicle. In this case, the tilt angle ψ formed with the ground may be set to be large. Meanwhile, in the case of the reverse gear, the virtual camera viewpoint may be set backward. Also, when the steering angle direction of the vehicle is the left side, the virtual camera viewpoint may be set to the front left side of the vehicle, and when the steering angle direction is the right side, the front right side of the vehicle.

다음으로 가상 카메라 시점이 사용자 선택에 의해 정해지는 방법에 대해서 도 11을 참고하여 설명한다.Next, a method of determining a virtual camera viewpoint by user selection will be described with reference to FIG. 11.

도 11을 참고하면, 사용자가 가상 카메라 시점 설정 메뉴를 선택하면, 도 11(a)에 예시한 것과 같이 차량(V)을 상부에서 내려다보는 형태에서 가상 카메라(C)가 표시되는 유아이(User Interface:UI) 화면이 제공된다. 그러면 사용자는 화면 상에서 가상 카메라(C)의 앞부분을 회전시켜 가상 카메라 팬 각도(θ)를 조정할 수 있으며, 가상 카메라(C)를 드래그하여 원하는 위치(X, Y)로 이동시킬 수 있다.Referring to FIG. 11, when a user selects a virtual camera viewpoint setting menu, as shown in FIG. 11A, a virtual camera C is displayed in a form of looking down the vehicle V from the top. : UI) screen is provided. Then, the user can rotate the front of the virtual camera C on the screen to adjust the virtual camera pan angle θ, and drag the virtual camera C to the desired position (X, Y).

그리고 도 11(b)에 예시한 것과 같이 차량(V)을 측면에서 바라다보는 형태에서 가상 카메라(C)가 표시되는 유아이(User Interface:UI) 화면이 제공될 수도 있다. 이 화면에서 사용자는 가상 카메라(C)의 앞부분을 회전시켜 틸트 각도(ψ)를 조정하고, 가상 카메라(C)를 드래그하여 가상 카메라(C)의 높이(Z)를 조정할 수 있다.As illustrated in FIG. 11B, a user interface (UI) screen on which the virtual camera C is displayed may be provided in a form of viewing the vehicle V from the side. In this screen, the user rotates the front part of the virtual camera C to adjust the tilt angle ψ, and drags the virtual camera C to adjust the height Z of the virtual camera C. FIG.

이렇게 사용자에 의해 가상 카메라 시점 설정이 완료되면 도 11(c)에 예시한 것과 같이 가상 카메라 시점을 입체적으로 이해할 수 있는 화면이 제공될 수도 있다.When the virtual camera viewpoint setting is completed by the user like this, as illustrated in FIG. 11 (c), a screen capable of three-dimensionally understanding the virtual camera viewpoint may be provided.

한편 뷰 영상을 생성하기 위해 복수 개의 카메라(210, 220, 230, 240)에 의해 촬영된 영상이 중첩되는 영역을 아래와 같이 처리하는 것이 바람직하다.Meanwhile, in order to generate the view image, it is preferable to process an area where the images photographed by the plurality of cameras 210, 220, 230, and 240 overlap as follows.

도 12는 복수 개의 카메라에 의해 촬영된 영상이 가상 카메라 시점의 뷰 영상 생성 시 중첩되는 영역을 설명하기 위해 제공되는 도면이다.FIG. 12 is a diagram provided to explain an area where images captured by a plurality of cameras overlap when generating a view image of a virtual camera.

도 12를 참고하면, 가령 가상 카메라 시점이 차량 상방에서 지면을 수직으로 내려다보는 방향으로 설정된 경우(가상 카메라의 틸트 각도가 90°인 경우), 도 12(a)에 예시한 것과 같이 전방 카메라(210)로 촬상된 영상은 1, 2, 3 영역에 맵핑되고, 후방 카메라(220)로 촬상된 영상은 7, 8, 9 영역에 맵핑된다. 또한 좌측 카메라(230)로 촬상된 영상은 1, 4, 7 영역에 맵핑되고, 우측 카메라(240)로 촬상된 영상은 3, 6, 9 영역에 맵핑된다. 여기서 제1, 3, 7, 9 영역은 복수의 카메라에 의해 중복 촬영된 중복 영역이다. 즉, 제1 영역은 전방 카메라(210)와 좌측 카메라(230)에 의해 중복되어 촬영된 중복 영역이고, 제3 영역은 전방 카메라(210)와 우측 카메라(240)에 의해 중복되어 촬영된 중복 영역이다. 또한, 제7 영역은 후방 카메라(220)와 좌측 카메라(230)에 의해 중복되어 촬영된 중복 영역이고, 제9 영역은 후방 카메라(220)와 우측 카메라(240)에 의해 중복되어 촬영된 중복 영역이다. 그리고 5 영역은 차량에 대응하는 이미지가 표시되는 영역이다. 이때 중첩 영역의 중심(L_C1, L_C2, L_C3, L_C4)은 차량의 대각 방향에 위치하도록 할 수 있다.Referring to FIG. 12, for example, when the virtual camera viewpoint is set in a direction of vertically looking down the ground from above the vehicle (when the tilt angle of the virtual camera is 90 °), the front camera (as illustrated in FIG. 12A) may be used. The image captured by 210 is mapped to areas 1, 2, and 3, and the image captured by the rear camera 220 is mapped to areas 7, 8, and 9. Also, an image captured by the left camera 230 is mapped to areas 1, 4, and 7, and an image captured by the right camera 240 is mapped to areas 3, 6, and 9. Here, the first, third, seventh, and ninth regions are overlapping regions photographed by a plurality of cameras. That is, the first area is the overlapped area photographed by the front camera 210 and the left camera 230, and the third area is the overlapped area photographed by the front camera 210 and the right camera 240. to be. In addition, the seventh area is an overlapping area captured by the rear camera 220 and the left camera 230, and the ninth area is an overlapping area captured by the rear camera 220 and the right camera 240. to be. And area 5 is an area where an image corresponding to the vehicle is displayed. In this case, the centers L _C1 , L _C2 , L _C3 , and L _C4 of the overlapping area may be positioned in the diagonal direction of the vehicle.

그리고 중첩 영역에 대한 처리는 중첩 영역의 중심(L_C1, L_C3, L_C7, L_C9)을 기준으로 나뉘어진 영역, 예컨대 중첩 영역(3)의 경우 영역(3-1)은 전방 카메라(210)에서 촬영된 영상을 적용하고, 영역(3-2)는 우측 카메라(240)에서 촬영된 영상을 적용하도록 구현할 수 있다. 물론 실시예에 따라 중첩 영역의 중심(L_C3)을 기준으로 가중치를 다르게 적용하여, 영역(3-1)은 전방 카메라(210)에서 촬영된 영상에 가중치를 더 높게 주어 처리하고, 영역(3-2)는 우측 카메라(240)에서 촬영된 영상에 가중치를 더 높게 주어 처리하도록 구현할 수도 있다. 나머지 중첩 영역에 대해서도 동일한 방법에 의해 처리할 수 있다.In addition, the processing for the overlapping area is divided into regions based on the centers of the overlapping areas L _C1 , L _C3 , L _C7 , L _C9 , for example, in the case of the overlapping area 3, the area 3-1 is the front camera 210. ) And the image captured by the right camera 240 may be applied to the region 3-2. Of course, according to the embodiment, the weights are differently applied based on the center L _C3 of the overlapping area, and the area 3-1 is processed by giving a higher weight to the image captured by the front camera 210, and the area 3. -2) may be implemented to give a higher weight to the image captured by the right camera 240 to process. The remaining overlapping region can also be processed by the same method.

한편 가상 카메라 시점이 차량 후방에서 전방을 바라보는 방향으로 설정된 경우(가상 카메라의 틸트 각도가 90°보다 작게 설정된 경우), 중첩 영역의 중심(L_C1, L_C3)이 차량의 세로축 방향에 가깝게 할 수 있다. 일반적으로 가상 카메라 시점이 차량 후방에서 전방을 바라보는 방향으로 설정되는 경우는 차량이 주행하고 있을 때이다. 이 경우 좌우측의 사각 지대에 대해서 운전자가 보다 자연스럽고 편하게 확인을 할 필요가 있는데, 이를 위해서는 좌우측 카메라(230, 240)에 의해 촬영된 영상을 뷰 영상에 더 많이 반영되도록 도 12(b)에 예시한 것과 같이 중첩되는 영역의 중심이 차량의 세로 방향에 가깝게 처리하는 것이 바람직하다.On the other hand, when the virtual camera view point is set in the direction of looking forward from the rear of the vehicle (when the tilt angle of the virtual camera is set smaller than 90 °), the centers of the overlapping regions (L _C1 , L _C3 ) should be closer to the longitudinal axis direction of the vehicle. Can be. In general, the case where the virtual camera viewpoint is set in a direction looking forward from the rear of the vehicle is when the vehicle is driving. In this case, it is necessary for the driver to check the blind spots on the left and right side more naturally and comfortably. For this purpose, the image captured by the left and right cameras 230 and 240 is more reflected in the view image. As described above, it is preferable to treat the center of the overlapping region close to the longitudinal direction of the vehicle.

한편 가상 카메라 시점의 위치를 차량의 좌측 또는 우측에 위치한 정도에 따라 가상 카메라가 위치한 측에 설치된 카메라에 의해 촬영된 영상을 더 포함하도록 중첩 영역의 중심을 변경시키는 것이 바람직하다. 예를 들어 가상 카메라 시점의 위치가 좌측으로 이동할수록 중첩 영역의 중심(L_C1, L_C7)이 차량의 세로 방향에 가깝게 변경시키는 것이 바람직하며, 반대로 가상 카메라 시점의 위치가 우로 이동할수록 중첩 영역의 중심(L_C3 L_C9)이 차량의 세로 방향에 가깝게 변경시키는 것이 바람직하다.Meanwhile, it is preferable to change the center of the overlapping area to further include an image captured by a camera installed at the side where the virtual camera is located according to the position of the virtual camera viewpoint on the left or right side of the vehicle. For example, as the position of the virtual camera viewpoint moves to the left side, it is preferable to change the centers L _C1 and L _C7 of the overlapping region closer to the longitudinal direction of the vehicle. It is preferable to change the center L _C3 L _C9 closer to the longitudinal direction of the vehicle.

마지막으로 단계(S820)에 생성된 가상 카메라 시점의 뷰 영상은 표시장치(400)에 출력된다(S830).Finally, the view image of the virtual camera viewpoint generated in step S820 is output to the display device 400 (S830).

그리고 차량의 주행 상태에 따라 중첩 영역의 중심(L_C1, L_C3, L_C7, L_C9) 및 3차원 공간 모델의 밑면의 크기 등을 변화시키면서 단계(S810) 내지 단계(S830)를 반복할 수 있다. 물론 실시예에 따라서는 사용자가 설정한 가상 카메라 시점대로 뷰 영상을 고정하여 생성하고 차량의 주행 상태 등에는 영향을 받지 않도록 구현할 수도 있다.The steps S810 to S830 may be repeated while changing the centers L _C1 , L _C3 , L _C7 , L _C9 of the overlapped area and the size of the bottom surface of the three-dimensional space model according to the driving state of the vehicle. have. Of course, according to the exemplary embodiment, the view image may be fixed and generated according to the virtual camera viewpoint set by the user, and may be implemented so as not to be affected by the driving state of the vehicle.

한편 실시예에 따라 본 발명에 따른 주변 영상 생성 장치(300)는 GPS 수신 모듈(도시하지 않음)과 연동하여 현재 차량의 주행 위치 정보를 제공받을 수 있다. 그리고 주변 영상 생성 장치(300)는 현재 차량의 주행 위치 주변의 건물 및 도로 정보 DB와 연동하여 가상 카메라 시점의 뷰 영상에 주변 건물 및 도로 정보를 합성하여 증강 현실로 표시할 수도 있다. 도 13은 본 발명의 일 실시예에 따른 차량 주변 건물 정보(1320) 및 도로 정보(1310)를 가상 카메라 시점의 뷰 영상에 표시한 예이다.Meanwhile, according to an exemplary embodiment, the surrounding image generating apparatus 300 according to the present invention may be provided with driving position information of the current vehicle in association with a GPS receiving module (not shown). In addition, the surrounding image generating apparatus 300 may display augmented reality by synthesizing the surrounding buildings and the road information to the view image of the virtual camera view in association with the building and road information DB around the current driving position of the vehicle. FIG. 13 illustrates an example of displaying building information 1320 and road information 1310 near a vehicle in a view image of a virtual camera.

GPS 수신 모듈은 주변 영상 생성 장치(300)가 스마트폰 등과 같은 무선 통신 단말 내에 탑재된 경우는 해당 무선 통신 단말 내에 포함된 GPS 수신 장치를 이용할 수 있으며, 차량 내에 별도로 설치된 GPS 수신 모듈로 구현될 수도 있다. 그리고 차량의 주행 위치 주변의 건물 및 도로 정보 DB는 주변 영상 생성 장치(300)의 내부 메모리에 저장되거나, 별도의 네비게이션 장치(도시하지 않음)와 연결되어 제공받을 수도 있으며, 주변 영상 생성 장치(300)가 3G, 4G 등의 네트워크 통신 모듈을 구비한 경우 또는 스마트폰에 장착된 경우에는 외부의 DB 서버로부터 전송받을 수도 있다.When the surrounding image generating apparatus 300 is mounted in a wireless communication terminal such as a smart phone, the GPS receiving module may use a GPS receiving device included in the corresponding wireless communication terminal, and may be implemented as a GPS receiving module separately installed in a vehicle. have. The building and road information DB around the driving position of the vehicle may be stored in an internal memory of the surrounding image generating apparatus 300 or may be provided in connection with a separate navigation device (not shown), and the surrounding image generating apparatus 300 may be provided. ) May be transmitted from an external DB server when it is equipped with a network communication module such as 3G or 4G, or when mounted on a smartphone.

본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 지금까지 설명한 3Ｄ 차량 주변 영상 생성 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(Floptical Disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the invention include a computer readable medium containing program instructions for performing various computer-implemented operations. This medium records a program for executing the 3D vehicle surrounding image generation method described so far. The media may include, alone or in combination with the program instructions, data files, data structures, and the like. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CDs and DVDs, floppy disks and program commands such as magnetic-optical media, ROM, RAM, flash memory, and the like. Hardware devices configured to store and perform such operations. Alternatively, the medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the preferred embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of right.

Claims

delete

In the 3D vehicle surrounding image generation method,
A vehicle surrounding image generating apparatus mapping an image photographed from a plurality of cameras installed in a vehicle to a virtual surface defined by a three-dimensional space model in a container shape whose bottom surface is flat and whose radius increases toward the top; and
Generating, by the apparatus for generating a surrounding image of a vehicle, a view image of a viewpoint of a virtual camera using an image mapped to the virtual surface
Including,
The size of the bottom of the three-dimensional space model is inversely proportional to the traveling speed of the vehicle,
The viewpoint of the virtual camera is determined by at least one of a driving state of the vehicle and a user selection.
The base of the three-dimensional space model is an ellipse,
3. The method of generating a 3D vehicle surrounding image of the bottom surface of the 3D space model may be adjustable.

In claim 2,
And generating the view image by referring to a lookup table in which a corresponding relationship between the image mapped to the virtual surface and the view image of the virtual camera view is defined in advance.

delete

Images taken from a plurality of cameras installed in a vehicle are mapped to a virtual plane defined by a three-dimensional space model in the form of a container whose bottom is flat and whose radius is increased toward the top, and the image is mapped to the virtual plane by using the image mapped to the virtual plane. A vehicle surrounding image generating device generating a view image of a camera's point of view
Including,
The size of the bottom of the three-dimensional space model is inversely proportional to the traveling speed of the vehicle,
The viewpoint of the virtual camera is determined by at least one of a driving state of the vehicle and a user selection.
The bottom of the three-dimensional space model is an ellipse,
3D vehicle surrounding image generation system of the long-term radius coefficient of the bottom of the three-dimensional space model is adjustable.

In claim 5,
And generating the view image by referring to a lookup table in which a corresponding relationship between the image mapped to the virtual plane and the view image of the virtual camera view is defined in advance.