KR102326061B1 - Avm 영상 보정 시스템 및 그 제어방법 - Google Patents

Abstract

본 발명은 AVM 영상 보정 시스템 및 그 제어방법에 관한 것으로서, 본 발명의 일 실시예에 따르면, 차량의 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 포함하는 주변 영상을 생성하는 카메라부, 상기 차량의 자세별 보정 데이터를 저장하는 메모리, 상기 차량의 차고를 감지하는 센싱부 및 상기 센싱부를 통해 감지한 차고 감지값에 기초하여 상기 차량의 자세를 산출하고, 상기 산출된 자세에 대응하는 보정 데이터를 상기 메모리로부터 획득하며, 상기 획득한 보정 데이터를 이용하여 상기 주변 영상을 보정한 후, 보정된 상기 주변 영상을 합성하여 AVM 영상을 생성하는 제어부를 포함하는, AVM 영상 보정 시스템이 제공된다.

Description

AVM 영상 보정 시스템 및 그 제어방법{SYSTEM FOR COMPENSATING AROUND VIEW MONITORING IMAGE AND CONTROLLING METHOD THEREOF}

본 발명은 AVM 영상 보정 시스템 및 그 제어방법에 대한 것으로, 보다 상세하게는 차량의 자세 변화에 따라 AVM 영상을 보정할 수 있는 AVM 영상 보정 시스템 및 그 제어방법에 관한 것이다.

AVM(Around View Monitor) 시스템은 자동차의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 공간을 촬영하고, 촬영된 영상들을 합성하고 중복 영역을 자연스럽게 보이도록 보정 처리하여, 자동차의 주변 환경을 마치 차량 위에서 바라보는 것과 같이 화면 상에 버드 뷰로써 표시한다. 이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러에 비치는 이미지에 의존하지 않고도 편리하게 주차를 할 수 있다.

이러한 AVM(Around View Monitor) 시스템은 영상 촬영을 위해 차량에 대한 카메라의 장착 위치와 지향각이 지정되어 있으나, 조립 과정 등에서 공차가 발생할 수 있다. 이러한 공차 발생으로 인한 영상과 영상 사이의 불일치 내지 왜곡을 해소하기 위해서, 차량 출고 전 생산 라인에서 공차 보정 프로그램을 통해, 차량의 전후좌우에 장착되는 복수개의 카메라를 통해 획득한 주변 영상의 오차를 제거하도록 하는 보정 데이터를 생성하게 된다.

한편, 출고 전 보정을 통해 영상과 영상 간이 경계가 자연스럽게 이어지는 합성 영상을 생성할 수 있더라도, 이는 차량이 어느 한 자세일 경우에 대하여 보정한 것이므로, 이후 자동차의 노후화, 탑승인원 등에 의한 차체 무게 변화, 타이어 압력 증감 또는 사고에 따른 충격 등으로 인하여 차량의 자세가 변화하면 또 다시 영상들의 경계에 불일치 내지 왜곡이 발생한다.

이러한 문제를 해결하기 위한 방법 중 하나로서, A/S 센터에 설치된 공차 보정 수단을 이용하여 수동적으로 다시 공차를 보정하는 방법을 들 수 있는데, 이러한 방법은 운전자에게 별도의 시간과 노력을 투입해야만 한다는 한계가 존재하며, 과도한 비용이 소요된다는 단점이 존재한다.

한국등록특허공보 제10-1366112호: 카메라 네트워크를 분리하여 운용하는 차량용 AVM 시스템 및 방법(2014.02.17)

본 발명은 전술한 종래기술에 따른 문제점을 해소하기 위해 안출된 것으로서, 본 발명의 실시예에 따르면, 차량의 자세 변화에 따라 AVM 영상을 보정할 수 있는 AVM 영상 보정 시스템 및 그 제어방법을 제공하는 것을 그 목적으로 한다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 AVM 영상 보정 시스템은, 차량의 둘 이상의 주변 영상을 생성하는 카메라부; 상기 차량의 차고를 감지하는 센싱부; 및 상기 센싱부를 통해 감지한 차고 감지값에 기초하여 상기 차량의 자세를 산출하고, 상기 산출된 자세에 대응하는 보정 데이터를 이용하여 상기 둘 이상의 주변 영상을 각각 보정한 후, 보정된 상기 주변 영상을 합성하여 AVM 영상을 생성하는 제어부;를 포함한다.

상기 카메라부는 상기 차량의 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 생성할 수 있다.

상기 제어부는 상기 보정 데이터를 이용하여 AVM 영상에 표시될 상기 차량의 주변 영상의 각 부분의 회전 정도, 이동 정도, 축소 정도 및 확대 정도를 결정할 수 있다.

그리고, 본 발명의 일 실시예에 따른 AVM 영상 보정 시스템은, 차량의 주변 영상을 생성하는 카메라부; 상기 차량의 차고를 감지하는 센싱부; 및 상기 센싱부를 통해 감지한 차고 감지값에 기초하여 상기 차량의 자세를 산출하고, 상기 산출된 자세와 소정의 기준 자세가 상호 일치하는지 판단하고, 판단결과 상호 불일치하는 경우에 한하여 상기 산출된 자세에 대응하는 보정 데이터를 이용하여 상기 주변 영상을 보정한 후, 보정된 상기 주변 영상을 합성하여 AVM 영상을 생성하는 제어부;를 포함한다.

상기 제어부는 상기 차량의 차고 감지값, 전후 기울기 및 좌우 기울기를 조합하여 상기 차량의 자세를 산출할 수 있다.

상기 기준 자세는 상기 차량에 대하여 과거에 산출된 자세 중 가장 최근의 자세인 것을 특징으로 할 수 있다.

상기 제어부는 상기 산출된 자세와 상기 기준 자세를 비교하여 상호 불일치하는 경우, 상기 기준 자세를 상기 산출된 자세로 갱신하는 것을 특징으로 할 수 있다.

상기 센싱부는 상기 차량의 서로 다른 둘 이상의 위치에 설치되는 복수개의 차고센서를 포함할 수 있고, 상기 제어부는 상기 복수개의 차고센서가 감지한 복수개의 차고 감지값의 조합에 대응하는 상기 차량의 자세를 산출하는 것을 특징으로 할 수 있다.

상기 제어부는 상기 센싱부를 통해 감지한 차고 감지값에 기초하여 상기 차량의 기준 차고를 산출할 수 있다.

상기 차량의 기준 차고는 상기 복수개의 차고센서가 제공하는 차고 감지값들 중 가장 작은값, 가장 큰 값 및 차고 감지값들에 대한 평균값 중 어느 하나일 수 있다.

상기 산출된 자세는 상기 차량의 전후 기울기 및 좌우 기울기와 상기 차량의 기준 차고를 조합하여 산출될 수 있다.

그리고 본 발명의 일 실시예에 따른 AVM 영상 보정 시스템의 제어방법은, 센싱부를 통해 차량의 차고를 감지하여 차고 감지값을 획득하는 단계; 상기 차고 감지값에 기초하여 상기 차량의 전후 기울기 및 좌우 기울기를 산출하고, 상기 차고 감지값, 상기 전후 기울기 및 좌우 기울기를 조합하여 상기 차량의 자세를 산출하는 단계; 상기 산출된 자세에 대응하는 보정 데이터를 이용하여 상기 차량의 주변 영상을 보정하는 단계; 및 보정된 상기 주변 영상을 합성하여 AVM 영상을 생성하는 단계;를 포함한다.

상기 AVM 영상 보정 시스템의 제어방법은, 상기 산출된 자세와 소정의 기준 자세가 상호 일치하는지 판단하는 단계;를 더 포함할 수 있고, 상기 판단 결과, 상기 산출된 자세와 상기 기준 자세가 상호 불일치하는 경우에 한하여, 상기 차량의 주변 영상을 보정하는 단계를 수행하는 것을 특징으로 할 수 있다.

그리고, 본 발명의 일 실시예에 따른 AVM 영상 보정 시스템의 제어방법은, 센싱부를 통해 차량의 차고를 감지하여 차고 감지값을 획득하는 단계; 상기 차고 감지값에 기초하여 상기 차량의 자세를 산출하는 단계; 상기 산출된 자세와 소정의 기준 자세가 상호 일치하는지 판단하는 단계; 상기 판단 결과, 상기 산출된 자세와 기준 자세가 상호 불일치하는 경우에 한하여, 상기 산출된 자세에 대응하는 보정 데이터를 이용하여 상기 차량의 주변 영상을 보정하는 단계; 및 보정된 상기 주변 영상을 합성하여 AVM 영상을 생성하는 단계;를 포함한다.

그리고, 본 발명의 일 실시예에 따른 AVM 영상 보정 시스템의 제어방법은, 차량의 둘 이상의 주변 영상을 획득하는 단계; 센싱부를 통해 상기 차량의 차고를 감지하여 차고 감지값을 획득하는 단계; 상기 차고 감지값에 기초하여 상기 차량의 자세를 산출하는 단계; 상기 산출된 자세에 대응하는 보정 데이터를 이용하여 상기 차량의 주변 영상을 보정하는 단계; 및 보정된 상기 주변 영상을 합성하여 AVM 영상을 생성하는 단계;를 포함한다.

상기 둘 이상의 주변 영상은 상기 차량의 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 포함할 수 있다.

본 발명에 따른 이동 단말기 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시예들 중 적어도 하나에 의하면, 차량이 취할 수 있는 복수개의 자세 각각에 대한 공차 보정 데이터를 미리 저장함으로써, 차량의 자세가 달라지더라도 각 자세에 대응하는 공차 보정 데이터를 통해 차량의 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 보정하여 실제에 부합하는 AVM 영상을 제공할 수 있다는 장점이 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 차량 출고 전 생산 라인에서 AVM 영상을 보정하는 일 예를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 AVM 영상 보정 시스템의 구성을 개략적으로 나타낸 블럭도이다.
도 3은 본 발명의 실시예에 따라 가상 시뮬레이션을 통해 차량 자세별 보정 데이터를 생성하는 과정을 보여주는 순서도이다.
도 4는 본 발명의 실시예에 따라 차량의 차고에 대한 인위적인 조작을 통해 차량의 자세를 변경하는 일 예를 도시한 것이다.
도 5 본 발명의 실시예에 따라 차량의 차고에 대한 인위적인 조작을 통해 차량의 자세를 변경하는 다른 예를 도시한 것이다.
도 6은 차량의 차고변화에 따라 달라지는 다양한 자세 중 일부를 예시적으로 나타낸 것이다.
도 7은 본 발명의 실시예에 따른 AVM 영상 보정 시스템의 제어방법을 보여주는 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

따라서, 몇몇 실시예에서, 잘 알려진 공정 단계들, 공지된 구조 및 공지된 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다" 및/또는 "포함하는"은 언급된 구성요소, 단계 및/또는 동작 이외의 하나 이상의 다른 구성요소, 단계 및/또는 동작의 존재 또는 추가를 배제하지 않는 의미로 사용한다. 그리고, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.

본 명세서에서 구성의 명칭을 제1, 제2 등으로 구분한 것은 그 구성의 명칭이 동일한 관계로 이를 구분하기 위한 것으로서, 하기의 설명에서 반드시 그 순서에 한정되는 것은 아니다.

또한, 본 명세서에서 기술된 실시예들은 본 발명의 이상적인 예시도인 사시도, 단면도, 측면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수있다. 따라서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 또한, 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다.

이하, 첨부한 도면을 참조로 본 발명의 실시예에 따른 주차 가이드 시스템 및 그 제어방법에 대해 상세하게 설명하도록 한다.

도 1은 차량 출고 전 생산 라인에서 AVM 영상을 보정하는 일 예를 도시한 것이다.

우선, 도 1의 (a)은 차량(1)을 수직 상부에서 바라본 상태를 도시한 것이다. 차량은 생산이 완료된 출고 직전의 차량이고, 차량(1)은 일정한 폭으로 차량을 둘러싸고 소정의 테두리(2) 내부에 위치하고 있는 것으로 가정할 수 있으며, 이때 차량은 소정의 자세(이하, '초기 자세'라고 칭함)를 가질 수 있다. 본 발명에서 차량의 '자세'란, 지면에 대한 차량의 상대적 위치관계를 의미하고, '초기 자세'란 생산 직후 운전자나 짐 등이 탑재되지 않은 상태에서 차량이 가지는 자세를 의미한다. 예컨대, 차량의 각 휠에 대응하는 위치의 차고가 차량의 자세를 결정하는 변수로 작용할 수 있다.

도 1의 (b)는 도 1의 (a)에 도시된 차량(1)에 장착된 카메라(111-114)에 대한 초기 공차 보정을 수행하기 전의 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 합성한 AVM 영상의 일 예를 도시한 것이다. 도 1의 (b)를 살펴보면, 도 1의 (a)에 도시된 실제 테두리(2)는, 4개의 영역으로 분리되어 공차 보정 전 AVM 영상에 나타난다. 구체적으로, 공차 보정 전 AVM 영상에 나타나는 전방 영상(P1)의 제1 영역(21), 후방 영상(P2)의 제2 영역(22), 좌측방 영상(P3)의 제3 영역(23) 및 후측방 영상(P4)의 제4 영역(24)이 실제 테두리(2)에 대응된다. 하지만, 공차 보정이 수행되지 않은 상태이므로, 제1 내지 4 영역(21-24)은 도 1의 (b)에 도시된 바와 같이 서로 끊기거나 폭이 다르게 나타날 수 있다.

도 1의 (c)는 도 1의 (a)에 도시된 차량(1)에 장착된 카메라(111-114)에 대한 초기 공차 보정을 수행한 후의 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 합성한 AVM 영상의 일 예를 도시한 것이다. 도 1의 (c)를 참조하면, 초기 공차 보정을 통해 제1 내지 4 영역(21-24)이 서로 불일치하는 부분 없이 자연스럽게 이어지는 AVM 영상을 확인할 수 있다. 후술할 본 발명과 관련된 AVM 영상 보정 시스템(100)의 메모리(140)에는, 초기 자세에서의 카메라의 공차를 보정하여, 각 카메라를 통해 촬영되는 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상이 상호 정합되도록 하는 초기 공차 보정 데이터가 저장될 수 있다.

한편, 차량의 자세가 초기 자세와 달라진 상태임에도, 초기 공차 보정 데이터를 기초로 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 보정하는 경우, 이를 합성한 AVM 영상에서는 또 다시 부정합이 발생할 수 있는바, 본 발명은 차량의 자세가 다양한 원인에 의하여 초기 자세와 달라져도 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상 간의 정합성을 유지하도록 하는 AVM 영상 보정 시스템(100)을 제안한다.

도 2는 본 발명의 실시예에 따른 AVM 영상 보정 시스템(100)의 구성을 개략적으로 나타낸 블럭도이다.

도 2를 참조하면, 본 발명의 실시예에 따른 AVM 영상 보정 시스템(100)은 카메라부(110), 영상수신부(120), 센싱부(130), 메모리(140), 제어부(150) 및 디스플레이부(160)를 포함할 수 있다.

먼저, 카메라부(110)는 차량(1)의 주변 영상을 획득한다. 이러한 카메라부(110)는 복수개의 카메라를 포함할 수 있다. 예를 들어, 복수의 카메라는 차량(1)의 전방, 후방, 좌측방 및 우측방에 대한 영상을 획득할 수 있도록 4개일 수 있으나, 카메라의 화각이나 장착 위치 등에 따라 더 적거나 많은 카메라가 포함될 수 있다.

제1 카메라(111)는 차량(1)의 전방에 장착되어 전방 영상을 촬영할 수 있다. 제1 카메라(111)는 프론트 범퍼의 일 부분에 장착될 수 있다. 제2 카메라(112)는 차량(1)의 후방에 장착되어 후방 영상을 촬영할 수 있다. 제2 카메라(112)는 리어 범퍼의 일 부분, 번호판 위쪽 또는 아래쪽에 장착될 수 있다. 제3 카메라(113)는 차량(1)의 좌측방에 장착되어 좌측방 주변 영상을 촬영할 수 있다. 제3 카메라(113)는 차량(1)의 좌측 사이드 미러의 일 부분 등에 장착될 수 있다. 제4 카메라(114)는 차량(1)의 우측방에 장착되어 우측방 주변 영상을 입력할 수 있다. 제4 카메라(115)는 차량(1)의 우측 사이드 미러의 일 부분 등에 장착될 수 있다.

서로 인접합 카메라들(예컨대, 제1 카메라와 제3 카메라)에 의해 촬영되는 영상을 합성하는 경우, 영상과 영상이 만나는 경계가 존재하며, 본 발명과 관련된 AVM 영상 보정 시스템(100)의 제어부(150)는 차량(1)의 각 자세별 공차 보정 데이터를 기반으로 이러한 경계 간의 정합을 수행한다. 예컨대, 공차 보정 데이터는 각 카메라에 의해 촬영된 영상의 각 부분을 어느 정도로 변환(예, 회전, 이동, 축소 또는 확대)하여 AVM 영상에 표시할지를 결정하는 데이터일 수 있다.

영상 수신부(120)는 카메라부(110)로부터 입력되는 전방 영상, 후방 영상, 좌측방 영상 및 후측방 영상을 수신한다. 일 예로, 영상 수신부(120)는 CAN 통신을 통해 카메라부(110)와 연결되어 전방 영상, 후방 영상, 좌측방 영상 및 후측방 영상을 수신할 수 있다.

센싱부(130)는 차량(1)과 관련된 각종 정보를 감지한다. 이러한 센싱부(130)는 차량(1)의 차고를 감지하는 차고센서(131)를 포함한다. 이러한 차고센서(131)는 차량(1)의 서로 다른 둘 이상의 위치에 장착될 수 있다. 일 예로, 차고센서(131)는 차량(1)의 횡방향 중심축을 기준으로 전방 및 후방에 각각 1개씩 장착될 수 있다. 다른 예로, 차고센서(131)는 차량(1)의 각 휠에 인접한 위치에 각각 1개씩 장착될 수 있다.

메모리(140)에는 차량(1)의 자세별 보정 데이터 및 공차 보정 프로그램이 미리 저장된다. 이러한 자세별 보정 데이터에는 전술한 초기 자세에 대한 초기 공차 보정 데이터가 포함될 수 있다. 또한, 자세별 보정 데이터에는 초기 자세 이외의 자세에 대한 보정 데이터가 포함될 수 있다. 이러한 메모리(140)는 플래시 메모리(140) 타입(flash memory type)일 수 있으나, 이에 한정되는 것은 아니며, SSD 타입(Solid State Disk type), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory) 등 데이터 저장이 가능한 적어도 하나의 저장매체를 포함할 수 있다. 차량(1)의 자세별 보정 데이터를 생성하는 방식에 대해서는 도 3 내지 도 5를 참조하여 이하에서 별도로 살펴보기로 한다.

제어부(150)는 AVM 영상 보정 시스템(100)의 전반적인 동작을 제어한다. 제어부(150)는 적어도 하나 이상의 ECU(Electronic Control Unit)를 포함할 수 있고, 각 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리할 수 있다. 이러한 제어부(150)는 센싱부(130)를 통해 감지한 차고 감지값에 기초하여 차량(1)의 기울기를 산출할 수 있다. 일 예로, 차고센서(131)가 차량(1)의 전방 및 후방에 각각 1개씩 장착된 경우, 제어부(150)는 전방에 장착된 차고센서(131)의 차고 감지값 및 후방에 장착된 차고센서(131)의 차고 감지값을 기초로 차량(1)의 전후 기울기를 산출할 수 있다. 다른 예로, 차고센서(131)가 차량(1)의 휠 4개에 인접한 위치에 각각 1개씩 장착된 경우, 제어부(150)는 4개의 차고 감지값을 기초로 차량(1)의 전후 기울기는 물론 좌우 기울기까지 산출할 수 있다. 또한, 제어부(150)는 센싱부(130)를 통해 감지한 차고 감지값에 기초하여 차량(1)의 기준 차고를 산출한다. 여기서 기준 차고란, 예컨대 복수개의 차고센서(131)가 제공하는 차고 감지값들 중 가장 작은값, 가장 큰 값 또는 차고 감지값들에 대한 평균값 중 어느 하나일 수 있다. 이때, 생산 직후의 차량의 기준 차고는 '최초 차고'라고 칭하기로 한다.

제어부(150)는 차량(1)의 기울기와 기준 차고를 조합하여 차량(1)의 자세를 산출할 수 있다. 일 예로, 제어부(150)는 메모리(140)에 저장된 다양한 자세들 중에서 차량(1)의 현재 기울기 및 기준 차고와 가장 근접한 값을 가지는 자세를 검색할 수 있다.

이후, 제어부(150)는 차량(1)의 자세에 대응하는 것으로 기 저장된 보정 데이터를 메모리(140)로부터 획득하고, 획득한 보정 데이터를 공차 보정 프로그램에 입력하여 주변 영상, 즉 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 보정하고, 보정된 주변 영상을 합성하여 AVM 영상을 생성한 후 이를 디스플레이부(160)에 표시할 수 있다.

이때, 메모리(140)에는 차량(1)의 기준 자세에 대한 데이터가 기 저장된 상태일 수 있다. 여기서 기준 자세란, 차량(1)에 대하여 과거에 산출된 자세 중 가장 최근의 자세일 수 있다. 제어부(150)는 현재 산출된 자세와 기준 자세를 비교하여 상호 일치하는지 판단하고, 판단결과 상호 불일치하는 경우에 한하여 현재 산출된 자세에 대응하는 보정 데이터를 메모리(140)로부터 검색하고, 검색된 보정 데이터를 이용하여 주변 영상을 보정할 수 있다. 또한, 제어부(150)는 현재 산출된 자세가 기준 자세가 되도록, 기 저장된 기준 자세를 갱신할 수 있다. 이에 따라, 차량(1)의 자세에 변화가 없는 경우에는, 새로운 보정 데이터의 검색 및 적용없이 종전 보정 데이터를 그대로 적용하여 주변 영상을 보정할 수 있으므로, AVM 영상을 보정하는 데에 소요되는 시간을 저감할 수 있다.

한편, 도 2에 도시된 구성요소들은 본 발명과 관련된 AVM 영상 보정 시스템(100)을 구현하는데 있어서 필수적인 것은 아니어서, 실시예에 따라 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.

도 3은 본 발명의 실시예에 따라 가상 시뮬레이션을 통해 차량(1) 자세별 보정 데이터를 생성하는 과정을 보여주는 순서도이다.

도 3을 참조하면, 차량(1)의 자세별 보정 데이터는 초기 자세에 대한 초기 공차 보정 데이터를 기반으로 가상 시뮬레이션을 실행하여 획득된 것일 수 있다. 초기 자세에 대한 공차 보정 및 각 자세별 가상 시뮬레이션을 통한 보정 데이터의 생성 및 저장은 생산 라인에 구비된 공차 보정 시스템에 의해 수행될 수 있다.

먼저, 공차 보정 시스템은 초기 자세에서 차량(1)에 장착된 카메라부(110)를 통해 획득한 주변 영상에 대한 초기 공차 보정을 수행(S310, 도 1 참조)한 후, 초기 공차 보정의 수행한 결과에 대응하는 초기 공차 보정 데이터를 소정의 저장매체에 저장한다(S320).

다음으로, 공차 보정 시스템은 초기 공차 보정 데이터를 기초로, 차량(1)이 취할 수 있는 복수개의 자세 각각에 대한 가상 시뮬레이션을 실행(S330)한 후, 가상 시뮬레이션의 결과에 대응하는 보정 데이터를 생성하고, 이를 저장매체에 저장(S340)한다.

구체적으로, 가상 시뮬레이션의 대상이 되는 복수개의 자세가 제1 자세 내지 제N 자세(N은 1보다 큰 정수)인 것으로 가정하면, 공차 보정 시스템은 제I 자세(여기서, I은 1부터 N 중 어느 한 정수)와 초기 자세 간의 차이에 대응하는 주변 영상의 변화값을 가상적으로 산출하고, 이러한 변화값을 역으로 보상하는 제I 보정 데이터를 생성할 수 있다. 이때, 가상 시뮬레이션의 대상이 되는 복수개의 자세는 미리 지정된 자세일 수 있다.

예컨대, 제I 자세가 초기 자세와 비교할 때 기울기 변화없이 기준 차고가 최초 차고로부터 소정 값만큼 낮아진 자세인 경우, 제I 보정 데이터는 카메라부(110)를 통해 촬영되는 주변 영상을 소정 비율만큼 축소시키도록 하는 보정 데이터일 수 있다. 기준 차고가 초기 자세의 기준 차고에 비하여 소정 값만큼 낮아진 상태에서 카메라부(110)를 통해 획득되는 주변 영상은, 초기 자세에서 카메라부(110)를 통해 촬영된 주변 영상보다 확대된 상태이기 때문이다.

다른 예를 들어, 제I 자세가 초기 자세와 비교할 때 기준 차고와 함께 전후 기울기 역시 소정값만큼 달라진 자세인 경우, 공차 보정 시스템은 기준 차고 및 전후 기울기의 변화에 따른 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상 각각의 변화를 예측하고, 예측된 각 영상의 변화를 역으로 보상하여 영상 간의 경계가 상호 정합되도록 하는 제I 보정 데이터를 생성할 수 있다.

도 3에서는 차량(1)의 초기 자세에 대한 초기 공차 보정 데이터를 기준으로, 가상 시뮬레이션을 통해 차량(1)의 자세를 가상적으로 변화시킴으로써, 각 자세에 따른 공차를 예측하고, 이를 역으로 보상하는 보정 데이터를 생성하는 방식에 대하여 설명하였으나, 이에 한정되는 것은 아니다.

즉, 각 자세별 보정 데이터는 차량(1)의 자세를 실제로 변화시키고, 공차 보정 시스템이 실제로 변화된 각 자세에서 카메라부(110)를 통해 획득되는 실제 주변 영상에 대한 공차 보정을 통해 생성할 수도 있는바, 이하에서 도 4 및 도 5를 참조하여 보다 자세하게 살펴보기로 한다.

도 4는 본 발명의 실시예에 따라 차량(1)의 차고에 대한 인위적인 조작을 통해 차량(1)의 자세를 변경하는 일 예를 도시한 것이다.

도 4를 참조하면, 본 발명의 실시예에 따른 차량(1)의 자세별 보정 데이터는, 차량(1)에 구비되는 제1 차고 조절 장치(170)를 이용하여 차량(1)의 자세를 실제로 변화시키고, 소정의 자세에서 카메라부(110)가 획득하는 주변 영상에 대한 보정을 통해 생성되는 데이터일 수 있다.

차량(1)에는 제1 차고 조절 장치(170)가 구비되는 경우, 차량(1)의 차고는 차고 조절 장치에 의해 조절될 수 있다. 구체적으로, 제1 차고 조절 장치(170)가 차량(1)의 차대와 휠 4개 사이의 간격을 독립적으로 조절하는 것으로 가정할 수 있으며, 차대와 휠 4개 사이의 간격에 따라 차량(1)의 자세가 결정될 수 있다. 이러한 제1 차고 조절 장치(170)는 유압 방식 또는 공기압 방식을 통해 차량(1)의 서로 다른 위치에 대한 차고를 조절할 수 있다.

예를 들어, 차량(1)의 차고에는 상한값 및 하한값이 존재할 수 있는바, 제1 차고 조절 장치(170)를 통해 상한값부터 하한값까지의 범위를 복수개의 구간(예, 1cm 마다)으로 나누어 단계적으로 차량(1)의 자세를 변화시키고, 공차 보정 시스템은 차량(1)의 각 자세에서 카메라부(110)가 획득하는 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상이 AVM 영상에서 서로 정합되도록 하는 보정 데이터를 생성할 수 있다.

도 5 본 발명의 실시예에 따라 차량(1)의 차고에 대한 인위적인 조작을 통해 차량(1)의 자세를 변경하는 다른 예를 도시한 것이다.

도 5를 참조하면, 본 발명의 실시예에 따른 차량(1)의 자세별 보정 데이터는, 생산 라인에 구비되는 제2 차고 조절 장치를 이용하여 차량(1)의 자세를 실제로 변화시키고, 소정의 자세에서 카메라부(110)가 획득하는 주변 영상에 대한 보정을 통해 생성되는 데이터일 수 있다.

구체적으로, 생산 라인에 구비되는 제2 차고 조절 장치는 이동부(210) 및 구동부(220)를 포함할 수 있다. 예컨대, 이러한 이동부(210)와 구동부(220)는 각각 차량(1)의 휠 개수만큼 구비되고, 이동부(210)에는 차량(1)의 휠이 안착되며, 각 이동부(210)는 구동부(220)에 의해 상호 독립적으로 상하로 이동하면서 차량(1)의 자세를 변화시킬 수 있다. 구동부(220)는 유압 방식 또는 공기압 방식을 통해 이동부를 상하로 이동시킬 수 있다. 도 5에는 2개의 이동부(210) 및 구동부(220)만이 도시되어 있으나, 반대측에도 2개의 이동부(210) 및 구동부(220)가 구비될 수 있다는 것을 당업자라면 쉽게 이해할 수 있을 것이다.

제2 차고 조절 장치의 이동부(220)의 상하 이동에 의해 차량(1)의 자세가 달라지면, 공차 보정 시스템은 해당 자세에서 카메라부(110)가 획득하는 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상이 AVM 영상에서 서로 정합되도록 하는 보정 데이터를 생성할 수 있다.

도 6은 차량(1)의 차고변화에 따라 달라지는 다양한 자세 중 일부를 예시적으로 나타낸 것이다.

도 6의 (a)를 참조하면, 차량(1)은 초기 자세와 비교할 때, 기울기의 변화없이 기준 차고(H2)만이 최초 차고(H1)로부터 제1 값(d1)만큼 낮아진 자세인 제1 자세를 취할 수 있다. 이 경우, 제 내지 제4 카메라(111-114)와 지면 사이의 거리가 모두 줄어들어 각 카메라에 의해 획득되는 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상의 크기가 초기 자세에서 촬영되는 경우에 비하여 확대되므로, AVM 영상 보정 시스템(100)은 메모리(140)로부터 제1 자세에 대응하는 제1 보정 데이터를 획득하고, 획득한 제1 보정 데이터를 이용하여 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 각각 축소하고, 축소된 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 합성하여 AVM 영상을 생성할 수 있다.

도 6의 (b)를 참조하면, 차량(1)은 초기 자세와 비교할 때, 기준 차고 및 좌우 기울기의 변화없이, 전방의 차고가 후방의 차고보다 낮아져 소정 각도(θ1)의 전후 기울기에 대응하는 자세인 제2 자세를 취할 수 있다. 이 경우, 제1 카메라(111)와 지면 사이의 거리는 줄어들어 전방 영상의 크기가 초기 자세에서 촬영되는 경우에 비하여 확대되는 반면, 제2 카메라(112)와 지면 사이의 거리는 커져 후방 영상의 크기는 초기 자세에서 촬영되는 경우에 비하여 축소된다. 이에, AVM 영상 보정 시스템(100)은 메모리(140)로부터 제2 자세에 대응하는 제2 보정 데이터를 획득하고, 획득한 제2 보정 데이터를 이용하여 전방 영상은 축소하고, 후방 영상은 확대하여 AVM 영상을 생성할 수 있다.

도 6의 (c)를 참조하면, 차량(1)은 초기 자세와 비교할 때, 기준 차고 및 전후 기울기의 변화없이, 좌측방의 차고가 우측방의 차고보다 낮아져 소정 각도(θ2)의 좌우 기울기에 대응하는 자세인 제3 자세를 취할 수 있다. 이 경우, 제3 카메라(113)와 지면 사이의 거리는 줄어들어 좌측방 영상의 크기가 초기 자세에서 촬영되는 경우에 비하여 확대되는 반면, 제4 카메라(114)와 지면 사이의 거리는 커져 우측방 영상의 크기는 초기 자세에서 촬영되는 경우에 비하여 축소된다. 이에, AVM 영상 보정 시스템(100)은 메모리(140)로부터 제3 자세에 대응하는 제3 보정 데이터를 획득하고, 획득한 제3 보정 데이터를 이용하여 좌측방 영상은 축소하고, 우측방 영상은 확대하여 AVM 영상을 생성할 수 있다.

한편, 도 6에서는 기준 차고, 전후 기울기 및 좌우 기울기가 각각 소정 값만큼 달라진 경우의 자세에 대하여 설명하였으나, 이는 예시적인 것이며 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 최초 차고(H1)가 50cm이고 차고의 하한값이 25cm인 경우, 차량(1)의 기준 차고(H2)를 5cm씩 낮추면, 차량(1)은 총 5가지의 서로 다른 자세를 취할 수 있다.

도 7은 본 발명의 실시예에 따른 AVM 영상 보정 시스템(100)의 제어방법을 보여주는 순서도이다.

도 7을 참조하면, 우선 제어부(150)는 센싱부(130)를 통해 차량(1)의 서로 다른 둘 이상의 지점에 대한 차고 감지값을 획득한다(S710).

다음으로, 제어부(150)는 차고 감지값에 기초하여 차량(1)의 자세를 산출한다(S720).

이어서, 제어부(150)는 S720을 통해 산출된 자세가 메모리(140)에 기 저장된 기준 자세와 일치하는지 여부를 판단할 수 있다(S730). 여기서 기준 자세란, 차량(1)에 대하여 과거에 산출된 자세 중 가장 최근의 자세일 수 있다.

다음으로, S730에서의 판단결과, 두 자세가 상호 불일치하는 경우, 제어부(150)는 차량(1)의 자세별 보정 데이터가 저장된 메모리(140)로부터, 상기 산출된 자세에 대응하는 보정 데이터를 획득한다(S740). 메모리(140)에 저장되는 자세별 보정 데이터는 전술한 도 3 내지 5 중 적어도 어느 하나를 통하여 생성된 것일 수 있다.

이후, 제어부(150)는 단계 S740를 통해 획득한 보정 데이터를 이용하여 카메라부(110)를 통해 획득한 주변 영상을 보정한다(S750).

다음으로, 제어부(150)는 단계 S750를 통해 보정된 주변 영상을 합성하여 AVM 영상을 생성한다(S760). 또한, 제어부(150)는 AVM 영상을 디스플레이부(160)를 통해 표시함으로써 사용자가 차량(1)의 주변 상황을 인지할 수 있도록 할 수 있다.

한편, 전술한 단계 S730는 필수적인 과정은 아니어서, 실시예에 따라 생력될 수 있다. 단계 S730이 생략되는 경우, 메모리(140)에는 기준 자세가 저장되지 않을 수 있으며, 단계 S740은 산출된 자세가 기준 자세와 일치하는지 여부와는 무관하게, 산출된 자세에 대응하는 보정 데이터를 메모리(140)로부터 획득할 수 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

이상, 본 발명의 바람직한 실시예를 참조로 본 발명의 AVM 영상 보정 시스템(100) 및 그 제어방법에 대하여 설명하였지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1: 차량 100: AVM 영상 보정 시스템
110: 카메라부 111: 제1 카메라
112: 제2 카메라 113: 제3 카메라
114: 제4 카메라 120: 영상 수신부
130: 센싱부 131: 차고센서
140: 메모리 150: 제어부
160: 디스플레이부 170: 제1 차고 조절 장치
210: 이동부 220: 구동부

Claims (16)

1. 차량의 둘 이상의 주변 영상을 생성하는 카메라부;
   상기 차량의 차고를 감지하는 센싱부; 및
   상기 센싱부를 통해 감지한 차고 감지값에 기초하여 상기 차량의 자세를 산출하고, 상기 산출된 자세에 대응하는 보정 데이터를 이용하여 상기 둘 이상의 주변 영상을 각각 보정한 후, 보정된 상기 주변 영상을 합성하여 AVM 영상을 생성하는 제어부;
   를 포함하는 AVM 영상 보정 시스템.
2. 제1항에 있어서,
   상기 카메라부는
   상기 차량의 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 생성하는 것인
   AVM 영상 보정 시스템.
3. 제1항에 있어서,
   상기 제어부는
   상기 보정 데이터를 이용하여 AVM 영상에 표시될 상기 차량의 주변 영상의 각 부분의 회전 정도, 이동 정도, 축소 정도 및 확대 정도를 결정하는 것인
   AVM 영상 보정 시스템.
4. 차량의 주변 영상을 생성하는 카메라부;
   상기 차량의 차고를 감지하는 센싱부; 및
   상기 센싱부를 통해 감지한 차고 감지값에 기초하여 상기 차량의 자세를 산출하고,
   상기 산출된 자세와 소정의 기준 자세가 상호 일치하는지 판단하고, 판단결과 상호 불일치하는 경우에 한하여 상기 산출된 자세에 대응하는 보정 데이터를 이용하여 상기 주변 영상을 보정한 후, 보정된 상기 주변 영상을 합성하여 AVM 영상을 생성하는 제어부;
   를 포함하는 AVM 영상 보정 시스템.
5. 제4항에 있어서,
   상기 제어부는
   상기 차량의 차고 감지값, 전후 기울기 및 좌우 기울기를 조합하여 상기 차량의 자세를 산출하는 것인
   AVM 영상 보정 시스템.
   
6. 제4항에 있어서,
   상기 기준 자세는
   상기 차량에 대하여 과거에 산출된 자세 중 가장 최근의 자세인 것을 특징으로 하는,
   AVM 영상 보정 시스템.
7. 제4항에 있어서,
   상기 제어부는
   상기 산출된 자세와 상기 기준 자세를 비교하여 상호 불일치하는 경우,
   상기 기준 자세를 상기 산출된 자세로 갱신하는 것을 특징으로 하는,
   AVM 영상 보정 시스템.
8. 제1항에 있어서,
   상기 센싱부는
   상기 차량의 서로 다른 둘 이상의 위치에 설치되는 복수개의 차고센서를 포함하고,
   상기 제어부는
   상기 복수개의 차고센서가 감지한 복수개의 차고 감지값의 조합에 대응하는 상기 차량의 자세를 산출하는 것을 특징으로 하는,
   AVM 영상 보정 시스템.
9. 제8항에 있어서,
   상기 제어부는
   상기 센싱부를 통해 감지한 차고 감지값에 기초하여 상기 차량의 기준 차고를 산출하는 것인
   AVM 영상 보정 시스템.
10. 제9항에 있어서,
    상기 차량의 기준 차고는
    상기 복수개의 차고센서가 제공하는 차고 감지값들 중 가장 작은값, 가장 큰 값 및 차고 감지값들에 대한 평균값 중 어느 하나인 것인
    AVM 영상 보정 시스템.
11. 제9항에 있어서,
    상기 산출된 자세는
    상기 차량의 전후 기울기 및 좌우 기울기와 상기 차량의 기준 차고를 조합하여 산출되는 것인
    AVM 영상 보정 시스템.
12. 센싱부를 통해 차량의 차고를 감지하여 차고 감지값을 획득하는 단계;
    상기 차고 감지값에 기초하여 상기 차량의 전후 기울기 및 좌우 기울기를 산출하고, 상기 차고 감지값, 상기 전후 기울기 및 좌우 기울기를 조합하여 상기 차량의 자세를 산출하는 단계;
    상기 산출된 자세에 대응하는 보정 데이터를 이용하여 상기 차량의 주변 영상을 보정하는 단계; 및
    보정된 상기 주변 영상을 합성하여 AVM 영상을 생성하는 단계;
    를 포함하는 AVM 영상 보정 시스템의 제어방법.
13. 제12항에 있어서,
    상기 산출된 자세와 소정의 기준 자세가 상호 일치하는지 판단하는 단계;
    를 더 포함하고,
    상기 판단 결과, 상기 산출된 자세와 상기 기준 자세가 상호 불일치하는 경우에 한하여, 상기 차량의 주변 영상을 보정하는 단계를 수행하는 것을 특징으로 하는,
    AVM 영상 보정 시스템의 제어방법.
14. 센싱부를 통해 차량의 차고를 감지하여 차고 감지값을 획득하는 단계;
    상기 차고 감지값에 기초하여 상기 차량의 자세를 산출하는 단계;
    상기 산출된 자세와 소정의 기준 자세가 상호 일치하는지 판단하는 단계;
    상기 판단 결과, 상기 산출된 자세와 기준 자세가 상호 불일치하는 경우에 한하여,
    상기 산출된 자세에 대응하는 보정 데이터를 이용하여 상기 차량의 주변 영상을 보정하는 단계; 및
    보정된 상기 주변 영상을 합성하여 AVM 영상을 생성하는 단계;
    를 포함하는 AVM 영상 보정 시스템의 제어방법.
15. 차량의 둘 이상의 주변 영상을 획득하는 단계;
    센싱부를 통해 상기 차량의 차고를 감지하여 차고 감지값을 획득하는 단계;
    상기 차고 감지값에 기초하여 상기 차량의 자세를 산출하는 단계;
    상기 산출된 자세에 대응하는 보정 데이터를 이용하여 상기 차량의 주변 영상을 보정하는 단계; 및
    보정된 상기 주변 영상을 합성하여 AVM 영상을 생성하는 단계;
    를 포함하는 AVM 영상 보정 시스템의 제어방법.
16. 제15항에 있어서,
    상기 둘 이상의 주변 영상은
    상기 차량의 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 포함하는 것인
    AVM 영상 보정 시스템의 제어방법.

Images