KR20170020666A

KR20170020666A - Avm 시스템 및 사각지대 영상 합성 방법

Info

Publication number: KR20170020666A
Application number: KR1020150114844A
Authority: KR
Inventors: 이재민; 전도영
Original assignee: (주)캠시스
Priority date: 2015-08-13
Filing date: 2015-08-13
Publication date: 2017-02-23

Abstract

AVM 시스템 및 사각지대 영상 합성 방법이 개시된다. AVM 시스템은, 차량에 구비된 복수의 카메라로부터 실시간 각각 입력되는 영상 신호를 각각의 카메라 영상 데이터로 저장부에 저장하는 영상 입력부; 각각의 카메라 영상 데이터를 이용하여 검은색 마스킹 영역이 포함된 AVM 영상 데이터를 생성하는 AVM 영상 생성부; 상기 차량의 주행 속도 및 움직임 방향을 인식하고, 상기 검은색 마스킹 영역에 상응하는 복수의 대상 픽셀 각각이 복수의 참조 영역들 각각에 포함된 하나 이상의 참조 픽셀의 픽셀 정보에 미리 지정된 가중치값을 적용하여 합산된 픽셀 정보를 가지도록 구성된 가상 이미지 데이터를 생성하는 가상 이미지 생성부; 및 상기 AVM 영상 데이터에 포함된 상기 검은색 마스킹 영역을 상기 가상 이미지 데이터로 대체시켜 디스플레이부를 통해 출력하는 영상 합성부를 포함한다.

Description

AVM 시스템 및 사각지대 영상 합성 방법{AVM system and method for compositing image with blind spot}

본 발명은 AVM 시스템 및 사각지대 영상 합성 방법에 관한 것이다.

일반적으로, 차량 내부에 탑승한 운전자의 시계(視界)는 주로 전방을 향하게 되고, 운전자의 좌우측과 후방 시계는 차체에 의하여 상당 부분 가려져 매우 한정된 시계를 가진다.

이러한 문제를 해결하기 위하여, 사이드 미러 등의 시계 보조수단이 차량에 구비되어 사용되고 있으며, 최근에는 차량의 외부 영상을 촬영하여 운전자에게 제공하는 카메라 수단을 포함하는 기술들이 차량에 적용되고 있다.

최근에는 차량 주위에 복수의 카메라를 설치하여 차량 주변의 360˚ 전방향의 영상을 보여주는 어라운드 뷰 모니터링(AVM, Around View Monitoring)(이하, AVM이라 칭함) 시스템도 적용되고 있다. AVM 시스템은 차량 주변을 촬영하는 복수의 카메라를 통하여 촬상된 차량 주변의 영상을 조합하여 운전자가 하늘에서 차량을 바라보는 듯한 탑 뷰(Top View) 이미지(즉, AVM 영상)를 제공함으로써, 운전자가 차량 주변 장애물이 화면상에 확인할 수 있도록 한다.

도 1에 도시된 바와 같이, 차량(100)의 주변에 대한 AVM 영상(110)에는 자동차의 구조, 카메라의 화각, 설치 위치나 자세에 따라 물리적으로 시야가 가려져 보여지지 않는 부분인 사각지대(120)가 존재하고, 사각지대(120)는 표시될 정보가 없어 검은색으로 마스킹 처리되어 디스플레이부에 표시된다.

그러나 검은색으로 마스킹 처리되어 표시되는 사각지대(120)의 존재는 표시된 AVM 영상을 부자연스럽게 느끼게 하는 원인이 된다.

한국특허공개 제2013-0124762(어라운드뷰 모니터 시스템 및 모니터링 방법)

본 발명은 자동차의 구조, 카메라의 화각, 설치 위치나 자세에 의해 발생되는 사각지대를 검은색으로 마스킹 처리하지 않고, 차량의 주행 속도 및 진행 방향을 고려하여 생성한 가상 이미지로 합성 처리함으로써 운전자에게 보다 자연스러운 AVM 영상을 제공할 수 있는 AVM 시스템 및 사각지대 영상 합성 방법을 제공하기 위한 것이다.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, AVM(Around View Monitoring) 시스템에 있어서, 차량에 구비된 복수의 카메라로부터 실시간 각각 입력되는 영상 신호를 각각의 카메라 영상 데이터로 저장부에 저장하는 영상 입력부; 각각의 카메라 영상 데이터를 이용하여 검은색 마스킹 영역이 포함된 AVM 영상 데이터를 생성하는 AVM 영상 생성부; 상기 차량의 주행 속도 및 움직임 방향을 인식하고, 상기 검은색 마스킹 영역에 상응하는 복수의 대상 픽셀 각각이 복수의 참조 영역들 각각에 포함된 하나 이상의 참조 픽셀의 픽셀 정보에 미리 지정된 가중치값을 적용하여 합산된 픽셀 정보를 가지도록 구성된 가상 이미지 데이터를 생성하는 가상 이미지 생성부; 및 상기 AVM 영상 데이터에 포함된 상기 검은색 마스킹 영역을 상기 가상 이미지 데이터로 대체시켜 디스플레이부를 통해 출력하는 영상 합성부를 포함하는 AVM 시스템이 제공된다.

상기 가상 이미지 생성부는 상기 차량의 스티어링 휠 회전 각도를 센싱하거나 조향각을 센싱하는 센서로부터 움직임 방향에 관한 정보를 제공받거나, 상기 AVM 영상 생성부에 의해 생성된 AVM 영상 데이터에서 추출된 모션 벡터를 이용하여 움직임 방향을 인식할 수 있다.

상기 가상 이미지 생성부는 AVM 영상 데이터에서 대상 픽셀의 주변 영역을 복수의 영역들로 구획한 복수의 참조 영역들로 구분하고, 미리 저장된 기준 정보를 이용하여 상기 차량의 움직임 방향에 상응하는 각 참조 영역들의 가중치값을 지정할 수 있다.

상기 차량의 움직임 방향에 부합되도록 위치된 참조 영역에 다른 참조 영역들에 비해 상대적으로 큰 가중치값이 지정될 수 있다.

상기 가상 이미지 생성부는 상기 대상 픽셀의 픽셀 정보를 산출하기 위해 각 참조 영역에서 이용할 참조 픽셀의 수를 수학식 D=(SxP)/F를 이용하여 결정하되, 상기 D는 참조 픽셀의 범위값이고, S는 상기 차량의 초당 주행 거리이며, P는 카메라 영상 데이터의 1픽셀이 AVM 영상에서 표시되는 크기이고, F는 프레임레이트(frame rate)일 수 있다.

복수의 대상 픽셀 각각은 상기 검은색 마스킹 영역의 좌표 범위 내에서 각각 비일치하는 위치 정보를 가지고, 상기 위치 정보에 상응하여 다른 대상 픽셀과 비일치하는 참조 영역들을 가질 수 있다.

본 발명의 다른 측면에 따르면, AVM 시스템에서 수행되는 사각지대 영상 합성 방법에 있어서, (a) 차량에 구비된 복수의 카메라로부터 실시간 각각 입력되는 영상 신호를 각각의 카메라 영상 데이터로 저장부에 저장하는 단계; (b) 각각의 카메라 영상 데이터를 이용하여 사각지대를 표시하는 검은색 마스킹 영역이 포함된 AVM 영상 데이터를 생성하는 단계; (c) 상기 차량의 주행 속도 및 움직임 방향을 인식하고, 상기 검은색 마스킹 영역에 상응하는 복수의 대상 픽셀 각각이 복수의 참조 영역들 각각에 포함된 하나 이상의 참조 픽셀의 픽셀 정보에 미리 지정된 가중치값을 적용하여 합산된 픽셀 정보를 가지도록 구성된 가상 이미지 데이터를 생성하는 단계; 및 (d) 상기 AVM 영상 데이터에 포함된 상기 검은색 마스킹 영역을 상기 가상 이미지 데이터로 대체시켜 디스플레이부를 통해 출력하는 단계를 포함하는 사각지대 영상 합성 방법이 제공될 수 있다.

상기 움직임 방향은, 상기 차량의 스티어링 휠 회전 각도를 센싱하거나 조향각을 센싱하는 센서로부터 움직임 방향에 관한 정보를 제공받거나, 상기 단계 (b)에서 생성된 AVM 영상 데이터에서 추출된 모션 벡터를 이용하여 인식될 수 있다.

상기 단계 (c)에서 참조 픽셀을 포함하는 각각의 참조 영역에 지정되는 가중치값은, AVM 영상 데이터에서 대상 픽셀의 주변 영역을 복수의 영역들로 구획한 복수의 참조 영역들로 구분한 후, 미리 저장된 기준 정보를 이용하여 상기 차량의 움직임 방향에 상응하도록 지정될 수 있다.

상기 단계 (c)에서, 상기 대상 픽셀의 픽셀 정보를 산출하기 위해 각 참조 영역에서 이용할 참조 픽셀의 수를 수학식 D=(SxP)/F를 이용하여 결정하되, 상기 D는 참조 픽셀의 범위값이고, S는 상기 차량의 초당 주행 거리이며, P는 카메라 영상 데이터의 1픽셀이 AVM 영상에서 표시되는 크기이고, F는 프레임레이트(frame rate)일 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예에 따르면, 자동차의 구조, 카메라의 화각, 설치 위치나 자세에 의해 발생되는 사각지대를 검은색으로 마스킹 처리하지 않고, 차량의 주행 속도 및 진행 방향을 고려하여 생성한 가상 이미지로 합성 처리함으로써 운전자에게 보다 자연스러운 AVM 영상을 제공할 수 있는 효과가 있다.

도 1은 일반적인 AVM(Around View Monitoring) 영상을 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 AVM 시스템을 구성을 개략적으로 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 가상 이미지 생성 기법을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 사각지대 영상 합성 방법을 나타낸 순서도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 2는 본 발명의 일 실시예에 따른 AVM 시스템을 구성을 개략적으로 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따른 가상 이미지 생성 기법을 설명하기 위한 도면이다.

도 2를 참조하면, AVM 시스템은 영상 입력부(210), AVM 영상 생성부(220), 가상 이미지 생성부(230), 영상 합성부(240), 디스플레이부(250) 및 저장부(260)을 포함할 수 있다. 도시되지는 않았으나, AVM 시스템에 포함된 하나 이상의 구성 요소의 동작을 제어하기 위한 제어부가 더 포함될 수도 있다.

영상 입력부(210)는 차량(100)의 복수 개소(예를 들어, 전방, 후방, 좌측 및 우측을 각각 촬영하도록 지정된 위치)에 각각 설치된 카메라로부터 촬상되어 입력되는 각 카메라 영상 신호를 각각의 카메라 영상 데이터로 생성하여 저장부(260)에 저장한다. 여기서, 카메라(110)는 적은 수량으로 차량 주변 환경을 촬상할 수 있도록 하기 위해, 예를 들어 180도 이상의 화각을 가지는 광각 카메라로 구현될 수 있다.

AVM 영상 생성부(220)는 저장부(260)에 실시간 저장된 카메라 영상 데이터들을 이용하여 차량(100)의 주변 환경을 차량(100)의 위쪽에서 내려다보는 듯한 탑뷰(Top View) 이미지인 AVM 영상 데이터로 합성한다. AVM 영상 생성부(220)가 예를 들어 차량의 전후방, 좌우측면에 각각 설치된 카메라들에 의해 지면에 수평 방향으로 촬영된 영상을 지면에 수직 방향인 형태의 영상으로 변환하고, 이를 이용하여 AVM 영상 데이터를 생성하는 과정은 본 발명의 기술적 사상과는 거리가 있고, 또한 당업자에게 자명한 사항이므로 이에 대한 설명은 생략한다.

AVM 영상 생성부(220)에 의해 생성된 합성된 AVM 영상 데이터에는 예를 들어 차량(100)의 형상, 카메라의 화각, 설치 위치나 자세 등에 따라 물리적으로 시야가 가려져 보여지지 않는 부분인 사각지대(120)가 포함된다. AVM 영상 생성부(220)는 AVM 영상 데이터에 포함된 사각지대(120) 영역은 해당 영역에 표시될 영상 데이터가 없어 예를 들어 검은색으로 마스킹 처리할 수 있다.

여기서, AVM 영상 데이터에 포함되는 사각지대(120)에 해당되는 합성 대상 영역의 픽셀 위치 범위 정보는 저장부(260)에 저장될 것이고, 해당 합성 대상 영역은 후술되는 바에 의한 가상 이미지가 생성되어야 하는 영역에 해당됨은 당연하다.

가상 이미지 생성부(230)는 차량의 주행 속도 및 움직임 방향을 인식하고 미리 지정된 기준에 따라 합성 대상 영역(도 3의 (b)의 120 참조)의 주변에 위치된 복수의 참조 영역들(도 3의 (a)의 A, B, C 및 D와 도 3의 (b)의 A1, A2, A3 참조) 각각에 포함된 참조 픽셀(예를 들어 도 3의 (c)의 a1, a2 및 a3)의 픽셀 정보(예를 들어 RGB, YUV 등인 색상값)에 가중치값을 적용하여 합산한 픽셀 정보를 가지는 대상 픽셀(예를 들어, 도 3의 (c)의 DEST 참조)들로 구성된 가상 이미지를 생성하여 저장부(260)에 저장한다.

참고로, 도 3의 (b)의 차량(100)의 전방 좌측 영역(즉, 도 3의 (a)의 A')를 확대한 것으로서, 이 경우의 참조 영역들은 도 3의 (a)에 도시된 참조 영역 A의 일부 영역일 수 있다. 또한 도 3에는 각각 수직으로 구획된 4개의 외측 구획 영역, 즉 참조 영역들이 예시되었으나, 참조 영역인 외측 구획 영역의 형상이나 수량이 필요에 따라 다양하게 결정될 수 있음은 당연하다.

이하, 도 3을 참조하여 가상 이미지 생성부(230)가 차량의 주행속도나 움직임 방향에 상응하여 참조 픽셀의 수나 범위에 대한 기준을 설정하고, 가상 이미지를 생성하는 방법에 대해 간략히 설명한다.

우선 대상 픽셀의 픽셀 정보를 합성하기 위한 참조 픽셀은 예를 들어 하기 수학식 1에 의해 결정될 수 있다.

[수학식 1]

D=(SxP)/F [m]

여기서, D는 참조 픽셀의 범위값이고, S는 차량의 초당 주행 거리이며, P는 1픽셀의 표시 크기이고, F는 프레임레이트(frame rate)이다.

예를 들어 차량의 주행 속도가 5km/h라고 가정하면, 차량의 초당 주행 거리(S)는 1.38m로 산출되고, 프레임레이트는 카메라의 통상적인 프레임레이트인 30으로 산출될 수 있으며, 1픽셀의 표시 크기(P)는 카메라 영상 데이터의 1픽셀이 AVM 영상(110)에서 어느 정도의 크기로 표시되는지에 대한 것으로 만일 1 픽셀이 2cm의 크기로 표시된다고 가정하면, D=(1.38x2)/2=0.023m=2.3cm로 산출된다. 이와 같이, 참조 픽셀의 범위값(D)은 약 2cm로 산출되었고, 이는 앞서의 예와 같이 실제의 1픽셀에 대응되는 것이므로 참조 픽셀의 범위값(D)는 1픽셀로 지정할 수 있다.

이와 같이, 대상 픽셀의 픽셀 정보를 합성하기 위한 참조 픽셀의 범위는 차량(100)의 주행 속도에 의해 결정될 수 있다.

또한, 지정된 참조 픽셀의 범위값에 의해 지정된 각 참조 영역 내의 각 참조 픽셀들은 후술되는 바와 같이, 대상 픽셀의 픽셀 정보를 생성하기 위해 차량의 움직임 방향에 따라 상이한 가중치가 적용된다.

이하, 차량(100)의 움직임 방향에 따라 각 방향별 참조 영역에 대한 가중치 결정 방법을 설명한다.

차량의 움직임 방향은 차량의 스티어링 휠(steering wheel) 회전 각도를 센싱하거나 차량에 구비된 조향각 센서로부터 제공되는 조향각 정보를 이용하거나, AVM 영상 생성부(220)에 의해 생성되어 저장부(260)에 저장된 AVM 영상 데이터에서 추출된 모션 벡터를 이용하여 결정될 수 있다.

예를 들어, 차량(100)의 움직임 방향을 결정하는 차량(100)의 조항각이 정면 직진 주행하는 0도인 상황인 경우, 좌우 최대 조향각으로 회전된 경우 등에 대해 각 참조 영역에 대해 적용할 가중치값이 미리 지정되어 저장부(260)에 저장될 수 있고, 가중치값 변동은 예를 들어 조항각 각도가 1도씩 변경될 때마다 변동되도록 지정할 수 있다.

이 경우, 차량(100)의 움직임 방향(즉, 조향각)에 부합되도록 위치하는 참조 영역에 상대적으로 큰 가중치값이 적용되도록 미리 지정되고, 차량의 움직임 방향에 상대적으로 관련성이 적은 방향에 위치한 참조 영역에는 상대적으로 작은 가중치값이 적용되도록 미리 지정될 수 있다.

그러나 만일 차량이 정차 중인 경우이거나, 시동을 온(On)한 후 아직 진행하지 않은 상황이라면 참조 영역들에 대해 균등한 가중치값이 적용되도록 미리 지정될 수 있을 것이다.

도 3의 (b)를 참조할 때, 예를 들어 차량(100)이 완만한 각도의 좌회전을 위해 45도의 조향각(즉, A2 영역을 가로지르는 대각선 방향)으로 주행하는 경우에는 A2 영역의 참조 픽셀에 상대적으로 큰 가중치값(예를 들어 60%)를 할당하고, 다른 A1과 A3 영역에는 상대적으로 작은 가중치값(예를 들어 각각 20%)을 할당할 수 있을 것이다. 마찬가지로, 차량(100)이 A1 방향의 직진하는 경우라면 상대적으로 A1 영역의 참조 픽셀에 상대적으로 큰 가중치값이 할당될 것이고, 90도 조향각인 최대 각도로 좌회전하는 경우라면 A3 영역에 상대적으로 큰 가중치값이 할당될 것이다.

즉, 차량(100)의 움직임 방향을 지정하는 조향각에 부합되도록 대상 픽셀의 픽셀 정보를 합성하기 위한 각 방향별 참조 픽셀에 할당할 가중치값은 미리 지정될 수 있다. 이때, 각 참조 픽셀에 할당될 가중치값의 최대값과 최소값도 미리 지정될 수 있을 것이다.

도 3의 (b)와 (c)를 참조할 때, 대상 픽셀(DEST)의 픽셀 정보(예를 들어 색상값)를 합성하기 위해서는 차량(100)의 외측 3방향의 참조 영역(예를 들어, 전방인 A1 영역, 외측 대각선 방향인 A2 영역 및 좌측인 A3 영역)들에 위치한 픽셀들이 참조 픽셀로 고려될 수 있다. 여기서, 참조 영역인 외측 구획 영역은 픽셀 정보가 합성되어야 하는 대상 픽셀을 기준으로 실시간 결정된다.

이때, 전술한 예와 같이 참조 픽셀의 범위값(D)을 1픽셀로 지정한다면 대상 픽셀(DEST)의 픽셀 정보(예를 들어 색상값)를 합성하기 위한 참조 픽셀은 대상 픽셀에 인접한 상측(즉, 전방)의 1개 픽셀, 좌측의 1개 픽셀 및 좌상측의 1개 픽셀인 a1, a2 및 a3로 지정된다.

이때, 만일 차량의 움직임 방향을 고려하여 각 참조 영역들에 대한 가중치가 상측(A1 영역) 50%, 좌측(A3 영역) 30% 및 좌상측(A2 영역) 20%라 산출되었고, 각 참조 픽셀들의 색상값이 a1은 80, a2는 10 및 a3는 10이라면 대상 픽셀(DEST)의 픽셀 정보인 색상값은 80x0.5+10x0.3+10x0.2 = 45로 산출되어 적용될 수 있을 것이다.

대상 픽셀(DEST)의 우측에 위치하는 다른 대상 픽셀(NEW)의 색상값 산출을 위해서는 해당 대상 픽셀의 상측 픽셀, 좌측에 위치한 DEST 픽셀 및 좌상측 a1 픽셀이 참조 픽셀로 고려될 것이다. 즉, 복수의 대상 픽셀 각각은 합성 대상 영역(즉, 검은색 마스킹 영역)에 해당되는 좌표 범위 내에서 각각 비일치하는 위치 정보를 가지고 있기 때문에, 각 대상 픽셀의 위치 정보에 의해 결정되는 참조 영역들이 각각 상이할 수 있을 것이다.

전술한 과정들을 반복하여 사각지대(120)에 해당되는 합성 대상 영역의 좌표 범위 정보 내의 각 대상 픽셀들의 픽셀 정보가 생성될 수 있을 것이며, 이들을 이용하여 가상 이미지 생성부(230)는 합성 대상 영역에 대응되는 가상 이미지가 생성될 수 있다.

전술한 바와 같이, 차량(100)의 움직임 방향은 조향각 이외에도 AVM 영상 데이터에서 분석된 모션 벡터를 이용하여 결정될 수도 있다.

즉, 가상 이미지 생성부(230)는 시간적으로 순차 생성된 AVM 영상 각각을 영역별 분할하여 미리 지정된 수량 이상의 특징점(예를 들어 코너 점)이 분포된 분할 영역을 대상으로 예를 들어 옵티컬 플로우(optical flow) 알고리즘 등을 이용하여 AVM 영상에서의 모션 벡터(motion vector)를 산출할 수 있고, 산출된 모션 벡터를 이용하여 차량(100)의 움직임 방향을 인식할 수 있다.

차량(100)의 움직임 방향은 예를 들어 AVM 영상 전체에 대해 산출된 모션 벡터를 이용하거나, 각 참조 영역들에 대해 개별 산출된 모션 벡터의 평균값을 이용하거나, 현재 픽셀 정보가 합성될 대상 픽셀을 기준하여 고려되어야 하는 참조 영역에 대해 산출된 모션 벡터를 이용하는 등의 방법으로 인식될 수 있다.

모션 벡터를 이용하여 차량(100)의 움직임 방향이 결정되었다면, 각 참조 영역들에 대한 가중치값을 결정하고, 이를 이용하여 대상 픽셀의 픽셀 정보를 산출하는 과정은 앞서 조향각을 이용하여 대상 픽셀의 픽셀 정보를 산출하는 과정과 동일하게 수행될 수 있다.

다시 도 2를 참조하면, 영상 합성부(240)는 AVM 영상 생성부(220)에 의해 생성되어 저장부(260)에 저장된 AVM 영상 데이터와, 가상 이미지 생성부(230)에 의해 생성되어 저장부(260)에 저장된 가상 이미지 데이터를 합성하여 검은색 마스킹 영역(즉, 사각지대(120))이 제거된 AVM 영상 데이터를 생성한다.

영상 합성부(240)에 의해 합성된 검은색 마스킹 영역이 제거된 AVM 영상 데이터는 디스플레이부(250)를 통해 출력될 것이다.

저장부(260)에는 예를 들어 AVM 시스템의 운용 프로그램, 영상 입력부(210)에 의해 생성된 카메라 영상 데이터, AVM 영상 생성부(220)에 의해 생성된 AVM 영상 데이터, 가상 이미지 생성부(230)에 의해 이용될 주행 속도별 참조 픽셀 선정 기준 정보와 차량의 움직임 방향 결정/가중치값 지정을 위한 기준 정보, 가상 이미지 생성부(230)에 의해 생성된 가상 이미지 데이터, 영상 합성부(240)에 의해 합성된 검은색 마스킹 영역이 제거된 AVM 영상 데이터 등이 저장될 수 있다.

저장부(260)는 예를 들어 데이터를 영구 저장하는 영구 저장 메모리와 동작시 필요한 데이터를 임시 저장하여 운용하는 임시 저장 메모리로 분리하여 운용될 수 있다.

도 4는 본 발명의 일 실시예에 따른 사각지대 영상 합성 방법을 나타낸 순서도이다.

도 4를 참조하면, 단계 410에서 AVM 영상 생성부(220)는 영상 입력부(210)에 의해 생성되어 저장부(260)에 저장된 카메라 영상 데이터들을 이용하여 차량의 주변 환경을 차량의 위쪽에서 내려다보는 듯한 탑뷰(Top View) 이미지인 AVM 영상 데이터로 합성한다.

단계 420에서 가상 이미지 생성부(230)는 합성 대상 영역에 포함된 각 대상 픽셀에 상응하는 참조 영역 각각에 대한 가중치 값과 대상 픽셀의 픽셀 정보를 합성하기 위한 각 참조 영역에서의 참조 픽셀의 범위를 결정한다.

단계 430에서 가상 이미지 생성부(230)는 각 대상 픽셀의 픽셀 정보를 합성하기 위해 결정된 각 참조 픽셀의 픽셀 정보에 해당 참조 픽셀이 속한 참조 영역에 대해 결정된 가중치값을 적용하여 해당 대상 픽셀의 픽셀 정보를 산출하고, 각각의 대상 픽셀의 픽셀 정보를 이용하여 합성 대상 영역에 상응하는 가상 이미지를 생성한다.

단계 440에서 영상 합성부(240)는 AVM 영상 생성부(220)에 의해 생성된 AVM 영상 데이터 내에 포함된 검은색 마스킹 영역을 가상 이미지 생성부(230)에 의해 생성된 가상 이미지로 합성한 후 디스플레이부(250)를 통해 출력한다.

상술한 AVM 시스템 및 사각지대 영상 합성 방법은 디지털 처리 장치에 내장되거나 설치된 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 디지털 처리 장치가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 디지털 처리 장치에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 차량 110a : AVM 영상
120 : 사각지대 210 : 영상 입력부
220 : AVM 영상 생성부 230 : 가상 이미지 생성부
240 : 영상 합성부 250 : 디스플레이부
260 : 저장부

Claims

AVM(Around View Monitoring) 시스템에 있어서,
차량에 구비된 복수의 카메라로부터 실시간 각각 입력되는 영상 신호를 각각의 카메라 영상 데이터로 저장부에 저장하는 영상 입력부;
각각의 카메라 영상 데이터를 이용하여 검은색 마스킹 영역이 포함된 AVM 영상 데이터를 생성하는 AVM 영상 생성부;
상기 차량의 주행 속도 및 움직임 방향을 인식하고, 상기 검은색 마스킹 영역에 상응하는 복수의 대상 픽셀 각각이 복수의 참조 영역들 각각에 포함된 하나 이상의 참조 픽셀의 픽셀 정보에 미리 지정된 가중치값을 적용하여 합산된 픽셀 정보를 가지도록 구성된 가상 이미지 데이터를 생성하는 가상 이미지 생성부; 및
상기 AVM 영상 데이터에 포함된 상기 검은색 마스킹 영역을 상기 가상 이미지 데이터로 대체시켜 디스플레이부를 통해 출력하는 영상 합성부를 포함하는 AVM 시스템.
제1항에 있어서,
상기 가상 이미지 생성부는 상기 차량의 스티어링 휠 회전 각도를 센싱하거나 조향각을 센싱하는 센서로부터 움직임 방향에 관한 정보를 제공받거나, 상기 AVM 영상 생성부에 의해 생성된 AVM 영상 데이터에서 추출된 모션 벡터를 이용하여 움직임 방향을 인식하는 것을 특징으로 하는 AVM 시스템.
제1항에 있어서,
상기 가상 이미지 생성부는 AVM 영상 데이터에서 대상 픽셀의 주변 영역을 복수의 영역들로 구획한 복수의 참조 영역들로 구분하고, 미리 저장된 기준 정보를 이용하여 상기 차량의 움직임 방향에 상응하는 각 참조 영역들의 가중치값을 지정하는 것을 특징으로 하는 AVM 시스템.
제3항에 있어서,
상기 차량의 움직임 방향에 부합되도록 위치된 참조 영역에 다른 참조 영역들에 비해 상대적으로 큰 가중치값이 지정되는 것을 특징으로 하는 AVM 시스템.
제3항에 있어서,
상기 가상 이미지 생성부는 상기 대상 픽셀의 픽셀 정보를 산출하기 위해 각 참조 영역에서 이용할 참조 픽셀의 수를 수학식 D=(SxP)/F를 이용하여 결정하되,
상기 D는 참조 픽셀의 범위값이고, S는 상기 차량의 초당 주행 거리이며, P는 카메라 영상 데이터의 1픽셀이 AVM 영상에서 표시되는 크기이고, F는 프레임레이트(frame rate)인 것을 특징으로 하는 AVM 시스템.
제1항에 있어서,
복수의 대상 픽셀 각각은 상기 검은색 마스킹 영역의 좌표 범위 내에서 각각 비일치하는 위치 정보를 가지고, 상기 위치 정보에 상응하여 다른 대상 픽셀과 비일치하는 참조 영역들을 가지는 것을 특징으로 하는 AVM 시스템.
AVM 시스템에서 수행되는 사각지대 영상 합성 방법에 있어서,
(a) 차량에 구비된 복수의 카메라로부터 실시간 각각 입력되는 영상 신호를 각각의 카메라 영상 데이터로 저장부에 저장하는 단계;
(b) 각각의 카메라 영상 데이터를 이용하여 사각지대를 표시하는 검은색 마스킹 영역이 포함된 AVM 영상 데이터를 생성하는 단계;
(c) 상기 차량의 주행 속도 및 움직임 방향을 인식하고, 상기 검은색 마스킹 영역에 상응하는 복수의 대상 픽셀 각각이 복수의 참조 영역들 각각에 포함된 하나 이상의 참조 픽셀의 픽셀 정보에 미리 지정된 가중치값을 적용하여 합산된 픽셀 정보를 가지도록 구성된 가상 이미지 데이터를 생성하는 단계; 및
(d) 상기 AVM 영상 데이터에 포함된 상기 검은색 마스킹 영역을 상기 가상 이미지 데이터로 대체시켜 디스플레이부를 통해 출력하는 단계를 포함하는 사각지대 영상 합성 방법.
제7항에 있어서,
상기 움직임 방향은,
상기 차량의 스티어링 휠 회전 각도를 센싱하거나 조향각을 센싱하는 센서로부터 움직임 방향에 관한 정보를 제공받거나, 상기 단계 (b)에서 생성된 AVM 영상 데이터에서 추출된 모션 벡터를 이용하여 인식되는 것을 특징으로 하는 사각지대 영상 합성 방법.
제7항에 있어서,
상기 단계 (c)에서 참조 픽셀을 포함하는 각각의 참조 영역에 지정되는 가중치값은, AVM 영상 데이터에서 대상 픽셀의 주변 영역을 복수의 영역들로 구획한 복수의 참조 영역들로 구분한 후, 미리 저장된 기준 정보를 이용하여 상기 차량의 움직임 방향에 상응하도록 지정하는 것을 특징으로 하는 사각지대 영상 합성 방법.
제9항에 있어서,
상기 차량의 움직임 방향에 부합되도록 위치된 참조 영역에 다른 참조 영역들에 비해 상대적으로 큰 가중치값이 지정되는 것을 특징으로 하는 사각지대 영상 합성 방법.
제7항에 있어서,
상기 단계 (c)에서, 상기 대상 픽셀의 픽셀 정보를 산출하기 위해 각 참조 영역에서 이용할 참조 픽셀의 수를 수학식 D=(SxP)/F를 이용하여 결정하되,
상기 D는 참조 픽셀의 범위값이고, S는 상기 차량의 초당 주행 거리이며, P는 카메라 영상 데이터의 1픽셀이 AVM 영상에서 표시되는 크기이고, F는 프레임레이트(frame rate)인 것을 특징으로 하는 사각지대 영상 합성 방법.
제7항에 있어서,
복수의 대상 픽셀 각각은 상기 검은색 마스킹 영역의 좌표 범위 내에서 각각 비일치하는 위치 정보를 가지고, 상기 위치 정보에 상응하여 다른 대상 픽셀과 비일치하는 참조 영역들을 가지는 것을 특징으로 하는 사각지대 영상 합성 방법.
제7항 내지 제12항 중 어느 한 항에 기재된 사각지대 영상 합성 방법을 수행하기 위하여 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체.