KR100466458B1

KR100466458B1 - 운전지원장치

Info

Publication number: KR100466458B1
Application number: KR10-2002-7003649A
Authority: KR
Inventors: 이시이히로후미; 모리무라아츠시; 나카가와마사미치; 오카모토슈사쿠
Original assignee: 마츠시타 덴끼 산교 가부시키가이샤
Priority date: 1999-09-20
Filing date: 2000-09-20
Publication date: 2005-01-14
Also published as: EP1223083A4; EP1223083A1; JP4091775B2; CN1373720A; DE60009114D1; CN1160210C; KR20020033817A; US6993159B1; JP3300340B2; JP2002335524A; DE60009114T2; WO2001021446A1; EP1223083B1

Abstract

운전자가 이동체 주위의 상황을 적확하게 확인할 수 있는 운전지원장치를 제공하는 것을 목적으로 한다. 당해 이동체에는 이동체 후방을 촬상하는 복수의 촬상수단이 설치되어 있다. 이 복수의 촬상수단은 촬상영역이 오버랩한 영역(OL)을 갖고 있고, 이 오버랩영역(OL)에는 소실점(VP) 근방이 포함되어 있다. 검출수단은 오버랩영역(OL)에서 하나의 촬상수단과 다른 촬상수단과의 스테레오 시차(VD)를 구하고, 이 스테레오 시차(VD)를 기초로 하여 대상물까지의 거리를 구한다.

Description

운전지원장치{DEVICE FOR ASSISTING AUTOMOBILE DRIVER}

종래의 카메라를 이용한 운전지원장치에 관하여 장해물이나 접근차량의 검출에 대해서는, 예컨대, 일본 특허공개공보 특개평 9-240397호 공보 및 특개평 7-93693호 공보에 기재되어 있다.

특개평 9-240397호 공보(이하 「제 1 종래예」라고 한다)에서는, 후측방 차량의 고지장치가 개시되어 있다. 이것은 자차량의 후측방 영역의 촬상화상으로부터 인접차선 내에 존재하는 이동물체를 검출하는 한편, 그 이동물체의 검출에서의 흰색선의 유무를 검출하여, 이들의 검출결과를 통합함으로써, 타차량을 검출한다. 그리고, 타차량과 자차량과의 접근상태를 판정하여, 접근도가 과대하게 될 가능성이 있을 때에 운전자에게 고지하는 것이다.

또한, 특개평 7-93693호 공보(이하 「제 2 종래예」라고 한다)에서는, 차량용 물체검출장치가 개시되어 있다. 이것은 도로의 문자나 모양과 차량 등의 물체와의 상이함을 정확하게 식별하여 그 물체를 정밀하게 검출할 수 있는 차량용 물체검출장치로서, 그 구성은 겉보기이동속도 계측수단에 의하여 화상 중의 물체의 에지점의 동작을 마치 노면 상에서의 3차원적 동작으로서 계측하여, 물체판정수단에 있어서 그 계측된 동작량과 차속을 비교하여 물체를 식별하는 것을 특징으로 한다.

그러나, 종래의 기술에는 다음과 같은 문제가 있다.

우선 제 2 종래예의 경우, 촬상화상의 동작해석에 의해서 장해물을 검출하는 방법은 일반적으로 모션 스테레오라고 불리는 방법으로, 이동에 의한 시점의 변화에 대응한 화상의 변화를 해석함으로써, 촬상화상 내의 3차원 정보를 얻는 것이다. 그러나, 이 방법에는, 이동하는 방향의 화상에 대해서는 시점의 변화에 대응한 화상의 변화가 작아진다고 하는 결점이 있어, 예를 들어, 차량에 응용하는 경우, 진로방향의 전방이나 후방의 정면이 될수록 검출의 감도가 저하된다는 문제가 있다.

또한, 동작해석의 방법은 화면 상의 대상물의 동작을 구하는 것이기 때문에, 촬상장치가 차량에 설치되어 있는 경우, 차량 자체의 진동에 의한 화면의 요동에 의해, 그 동작을 정확하게는 구할 수 없다는 문제가 있다.

게다가, 접근물을 검출한 후, 그것을 운전자에게 어떻게 전하는가는 중요한 문제이다. 경보음 등으로 전달한 경우, 경보음에 의해 운전자가 놀라, 반대로 운전조작을 잘못하는 경우도 생각할 수 있다. 또한 접근물의 오검출에 의해, 오히려 운전자의 안전한 운전을 방해하는 경우도 생각할 수 있다. 이와 같이, 접근물의 상태를 운전자에게 어떻게 전하는가는 중요한 과제이다. 운전자에게 경보하는 것에 대해서, 제 1 종래예에서는 접근과대인 경우는 운전자에게 고지하는 것만 서술되어 있다. 또한, 제 2 종래예에서는 검출된 장해물을 운전자에게 고지하는 방법에 대해서는 서술되어 있지 않다.

본 발명은 차량 등의 이동체의 운전에 있어서, 그 이동체 주변의 상황을 카메라로 촬상하여 그 촬상화상을 처리함으로써, 운전을 지원하는 운전지원장치에 관한 것이다.

도 1은 본 발명의 제 1 실시예에 관한 운전지원장치의 구성을 나타내는 블록도.

도 2의 (a)는 촬상화상의 일례, 도 2의 (b)는 도 2의 (a)의 화상 상에 흐름을 나타낸 도면.

도 3은 도 2의 화상이 촬상되었을 때의 상태를 위에서 본 개념도.

도 4의 (a)는 소실점과 흐름과의 관계를 나타내는 도면, 도 4의 (b)는 도 2의 화상 상에서 이동물영역이 추출된 도면.

도 5는 요동성분추출의 처리의 흐름을 나타내는 플로우차트.

도 6의 (a), (b)는 차량의 상하방향의 진동이 촬상수단에 주는 영향을 나타내는 도면.

도 7의 (a)∼(g)는 동작벡터의 오프셋 추정값을 구하는 순서를 설명하기 위한 도면.

도 8은 이동물·검출물 검출의 처리의 흐름을 나타내는 플로우차트.

도 9의 (a), (b)는 이동물인지의 여부를 판정하는 방법을 설명하기 위한 도면.

도 10의 (a), (b)는 동작벡터를 이용한 이동물영역의 추출을 나타내는 도면.

도 11의 (a)는 촬상범위의 디폴트 거리값을 나타내는 도면, 도 11의 (b)는 이동물영역이 영역 AR1, AR2에 걸쳐 있을 때의 거리추정을 나타내는 도면.

도 12의 (a)는 정지된 배경의 동작벡터를 나타낸 화상, 도 12의 (b)는 장해물의 판정방법을 설명하기 위한 도면.

도 13은 표시화상의 일례를 나타내는 도면.

도 14는 본 발명의 제 2 실시예에 관한 운전지원장치의 구성을 나타내는 블록도.

도 15는 본 발명의 제 2 실시예에서의 촬상수단의 배치의 일례를 나타내는 모식도.

도 16의 (a), (b)는 각 촬상화상에 흐름을 나타내는 도면, (c)는 도 16의 (a), (b)에 나타내는 2장의 화상을 겹쳐 스테레오 시차를 구한 도면.

도 17은 장해물, 이동물 및 접근물이 추출된 화상의 예를 나타내는 도면.

도 18의 (a), (b)는 이동물이 입체적으로 표시되는 합성화상을 얻기 위한 가상시점을 나타내는 도면.

도 19의 (a)는 실제의 촬상화상의 예를 나타내는 도면, 도 19의 (b)는 도 19의 (a)로부터 생성한 합성화상을 나타내는 도면.

도 20의 (a), (b)는 검출한 거리를 고려한 화상합성을 설명하기 위한 도면.

도 21의 (a), (b)는 검출한 거리를 고려한 화상합성으로, 2대의 촬상수단을 이용한 경우를 설명하기 위한 도면.

도 22의 (a), (b)는 본 발명의 제 2 실시예의 변형예에 관한 촬상수단의 배치의 일례를 나타내는 도면.

도 23의 (a), (b), (c)는 본 발명의 제 2 실시예의 변형예에서의 스테레오 시차를 구하는 방법을 설명하기 위한 도면.

도 24는 본 발명의 제 3 실시예에 관한 운전지원장치의 구성을 나타내는 블록도.

본 발명은 이러한 종래의 운전지원장치 또는 이동체 화상표시 시스템이 지니는 문제점을 고려하여, 운전자가 접근물이나 장해물의 주위상황을 직접적으로 확인할 수 있고, 운전자의 부담을 경감할 수 있는 운전지원장치를 제공하는 것을 목적으로 한다.

구체적으로, 본 발명은 이동체의 운전을 지원하는 장치로서, 당해 이동체에 설치되어 이동체 후방을 촬상하는 복수의 촬상수단과, 상기 복수의 촬상수단의 촬상화상으로부터 이동체 후방의 물체의 동작을 검출하는 검출수단을 구비하고, 상기 복수의 촬상수단은 그 촬상화상 상에서 소실점 근방을 포함하면서 하나의 촬상수단과 다른 촬상수단의 촬상영역이 오버랩(overlap)한 영역을 가지며, 상기 검출수단은 상기 오버랩영역에서 상기 하나의 촬상수단과 상기 다른 촬상수단과의 스테레오 시차를 구하고, 구한 스테레오 시차를 기초로 하여 당해 물체까지의 거리를 구하는 것이다.

그리고, 상기 본 발명에 관한 운전지원장치가 구비된 검출수단은 상기 하나의 촬상수단의 상기 오버랩영역 이외의 촬상영역에 대해서 화상의 시간적인 동작을 나타내는 흐름을 검출하고, 검출한 흐름을 기초로 하여 이동체 후방의 물체의 동작을 검출하는 것이 바람직하다.

또한, 상기 본 발명에 관한 운전지원장치는 상기 복수의 촬상수단의 촬상화상을 이용하여 화상합성을 행하고, 이동체 후방을 나타내는 화상을 생성하는 화상합성수단을 구비하고 있는 것이 바람직하다.

또한, 상기 본 발명에 관한 운전지원장치는 상기 검출수단으로부터 출력된 정보를 받아, 이동체 후방에서의 접근물이 당해 이동체에 충돌할 가능성을 판정하고, 이러한 가능성이 높다고 판단하였을 때 지시신호를 출력하는 위험도 판정수단과, 상기 위험도 판정수단으로부터 지시신호가 출력되었을 때, 이동체 후방으로 경보를 발하는 차외경보수단을 구비하고 있는 것이 바람직하다. 또한, 상기 검출수단으로부터 출력된 정보를 받아, 이동체 후방에서의 접근물이 당해 이동체에 충돌할 가능성을 판정하고, 이러한 가능성이 높다고 판단하였을 때 지시신호를 출력하는 위험도 판정수단과, 상기 위험도 판정수단으로부터 지시신호가 출력되었을 때, 당해 이동체의 승객을 보호하는 조치를 취하는 승객보호수단을 구비하고 있는 것이 바람직하다.

또한, 본 발명은 이동체의 운전을 지원하는 장치로서, 당해 이동체에 설치되어 이동체의 주위를 촬상하는 촬상수단과, 상기 촬상수단에 의한 촬상화상을 상기 촬상수단의 위치와는 다른 위치에 있는 시점으로부터의 화상으로 변환하는 화상생성수단과, 상기 촬상화상에 촬영된 물체에 대해서 당해 이동체로부터의 거리를 검출하는 검출수단을 구비하고, 상기 화상생성수단은 상기 변환화상의 생성시에, 상기 물체에 대해서 상기 검출수단에 의해서 검출된 거리를 이용하여 그 상(像)의 왜곡을 보정하는 것이다.

그리고, 상기 본 발명에 관한 운전지원장치에 있어서, 상기 촬상수단은 복수개 설치되어 있고, 상기 복수의 촬상수단은 그 촬상화상 상에서 하나의 촬상수단과다른 촬상수단의 촬상영역이 오버랩한 영역을 가지며, 상기 검출수단은 상기 오버랩영역에서 상기 하나의 촬상수단과 상기 다른 촬상수단과의 스테레오 시차를 구하고, 구한 스테레오 시차를 기초로 하여 당해 물체까지의 거리를 구하는 것이 바람직하다.

또한, 상기 본 발명에 관한 운전지원장치에서의 검출수단은 상기 촬상화상의 시간적인 동작을 나타내는 흐름으로부터 당해 물체까지의 거리를 구하는 것이 바람직하다.

또한, 본 발명은 이동체의 운전을 지원하는 장치로서, 당해 이동체에 설치되어 이동체 주위를 촬상하는 촬상수단과, 상기 촬상수단의 촬상화상으로부터 시간적인 동작을 나타내는 흐름을 구하고, 이 흐름을 기초로 하여 이동체 주위의 물체의 동작을 검출하는 검출수단을 구비하며, 상기 검출수단은 물체의 동작을 검출하는 전처리로서, 구한 각 흐름으로부터 오프셋(offset)의 추정값을 구하고, 이 오프셋 추정값을 당해 이동체의 진동에 기인하는 요동성분으로서 각 흐름으로부터 소거하는 것이다.

이하, 본 발명의 실시예에 대하여 도면을 참조하여 설명한다.

(제 1 실시예)

도 1은 본 발명의 제 1 실시예에 관한 운전지원장치(이동체 화상표시 시스템)의 구성을 나타내는 블록도이다. 도 1에서 101은 이동체에 설치된 촬상수단, 102는 계층화상화수단, 103은 로우 패스 필터(LPF), 104는 블록샘플링수단, 105는 계층적 블록매칭수단, 106은 서브픽셀추정·신뢰성 판정수단, 107은 요동성분 추출·소거수단, 108은 소실점 산출수단, 109는 이동물·접근물 검출수단, 110은 화상합성수단, 111은 표시장치이다. 구성요소 102∼109에 의해서 검출수단이 구성되어 있다.

촬상수단(101)은 예컨대, 카메라로서, 차량후방을 촬영가능하도록 차량후부 예컨대, 리어패널(rear pannel) 상에 설치되어 있다. 표시장치(111)로서는 예컨대, 본 시스템전용의 디스플레이나 카 내비게이션(car navigation)용의 액정 모니터 등이 이용된다.

본 실시예에 관한 이동체 화상표시 시스템의 목적은 주로 운전자가 진로변경시에 위험한 후방으로부터의 접근물을 직접적으로 알기 쉽게 경고·표시하여, 운전자의 부담을 경감하는 것이다. 본 실시예에 관한 이동체 화상표시 시스템의 동작에 대하여 도 2∼도 13을 참조하여 설명한다.

우선, 도 2의 (a)에 나타내는 바와 같이, 촬상수단(101)에 의해서 자차량의 후방의 화상(여기서는 320화소 ×240화소로 한다)이 촬상된다. 이 촬상화상에는 빌딩(11)이나 가로수(12) 등의 장해물이나, 후방을 주행하는 타차량(13, 14) 등의 이동물이 포함된다. 도 2에서는 이들의 장해물이나 이동물을 모식적으로 표현하고 있다. 이 촬상화상은 계층화상화수단(102) 및 화상합성수단(110)에 입력된다.

계층화상화수단(102)은 입력된 촬상화상에 대하여 (2 ×2) 화소마다 가산함으로써, 1차 상위화상(160 ×120화소)을 생성한다. 더욱이, 1차 상위화상에 대하여 동일하게 하여 2차 상위화상(80 ×60화소)을 생성한다. 그리고, 이들 3종류의 화상을 계층화상으로서 LPF(103)로 출력한다. LPF(103)는 입력된 계층화상의 각 화상에 대하여 (3 ×3) 화소의 LPF 처리를 행한다.

블록샘플링수단(104)은 계층화상의 각 화상에 대하여 (8 ×8) 화소의 블록으로 분할하여, 각 블록에 대하여 2화소 걸러 16(=4 ×4)개의 대표점에서 서브샘플한다.

계층적 블록매칭수단(105)은 상위계층의 화상으로부터 (5 ×5) 화소의 범위에서 블록매칭에 의하여 차분절대값의 총합(SAD)을 구하고, 그 SAD가 최소가 되는 위치를 기초로 하여 동작벡터를 구한다. 하위계층의 화상의 블록은 상위계층의 동일위치의 블록에서 구해진 동작벡터를 중심으로, 게다가 (5 ×5) 화소의 범위에서 동작벡터를 구한다.

서브픽셀 추정·신뢰성 판정수단(106)은 최하위계층의 화상(촬상화상)에서 구해진 동작벡터와 SAD를 이용하여, SAD의 최소위치와 그 주위의 8점의 SAD의 값으로부터 1화소 이하의 서브픽셀의 정밀도로 동작벡터를 추정한다. 이와 함께, 그 블록에서의 동작벡터의 신뢰성 판정을 행한다.

이 계층적 블록매칭수단(105) 및 서브픽셀 추정·신뢰성 판정수단(106)에 의해서 도 2의 (b)에 나타내는 바와 같이, 촬상화상의 각 위치에 대하여 전(前) 프레임으로부터의 동작을 나타내는 동작벡터가 흐름(FL)으로서 구해진다.

촬상화상의 흐름(FL)에 관하여 도 3을 이용하여 설명한다. 도 2의 (b)에 나타내는 바와 같이, 화상의 에지부분에는 상술한 바와 같은 흐름(FL)이 얻어진다. 이 때, 카메라가 흔들리지 않게 한 후에는, 도 3에 나타내는 차량진행방향의 역방향이 도 4의 (a)에 나타내는 화면 상의 소실점(VP)이 된다. 지면에 정지된 물체는 촬상화면 상에서는 소실점 VP로 향하는 흐름(FL)을 갖는다. 따라서, 소실점(VP)으로 향하는 것 이외의 흐름(FL)을 가지는 화면 상의 영역(예컨대, 직사각형영역(202))을 이동물·접근물로서 추출할 수 있다.

게다가, 요동성분 추출·소거수단(107)은 얻어진 동작벡터를 통계처리함으로써, 차의 진동에 의한 화상의 요동성분의 추출과 소거를 행한다. 본 발명에서는 접근물 검출을 위해서 구한 동작벡터를 이용하여 화상의 요동성분을 추출하기 때문에, 요동보정을 위해서 화상 전체의 요동성분을 별도로 검출할 필요가 없다. 소실점 산출수단(108)은 차의 진행에 따르는 화상의 흐름(FL)의 소실점(VP)을 구한다. 즉, 도 4의 (a)에 나타내는 바와 같이, 소실점(VP)을 화상 전체의 대부분이 향하는 점으로 하여 구하고 있다.

이동물·접근물 검출수단(109)은 소실점 산출수단(108)에 의해서 구해진 소실점(VP)으로의 흐름(FL)과 다른 동작벡터를 갖는 블록을 이동물·접근물 후보블록으로서 추출한다. 그리고, 근접하는 이동물·접근물 후보블록을 연결함으로써, 도 4의 (b)에 나타내는 바와 같이, 이동물·접근물이 존재하는 영역을 직사각형영역(202)으로 하여 이동물로서 추출한다.

여기서, 도 5∼도 7을 이용하여, 요동성분 추출·소거수단(107)의 구체적인 동작에 대하여 설명한다. 도 5는 그 동작을 설명하기 위한 플로우차트이다.

차량은 진행방향의 동작 이외에, 도로의 요철 등의 영향에 의해서 주로 상하방향으로 진동한다. 도 6에 나타내는 바와 같이, 차량의 상하방향의 진동이 촬상수단에 주는 영향은 (a)에 나타내는 바와 같은 위치의 변화와, (b)에 나타내는 바와 같은 촬상방향의 변화로 나타난다.

도 6의 (a)에 나타내는 상하위치의 변화는 화상신호의 프레임간격이 상당히 짧기 때문에, 차량 진행방향의 위치의 변화에 비해 매우 작다. 또한, 촬상수단의 위치의 변화는 대상까지의 거리에 따라서 그 영향이 크게 다르고, 가까운 물체에는 큰 영향을 주는 한편, 먼 물체에는 거의 영향을 주지 않는다. 그리고, 본 실시예에서 감시하는 후방의 대상까지의 거리는 수 m∼수 10m 정도로 충분히 멀다. 따라서, 여기서는 상하 위치의 변화에 따른 영향은 고려하지 않고, 도 6의 (b)에 나타내는 촬상방향의 변화만을 고려하는 것으로 한다.

촬상방향의 변화는 대상까지의 거리에 따라서 영향이 다르지는 않고, 또 그 변화의 각도가 대단히 작을 때는, 화면의 각 동작벡터에 대한 화면전체에서 동일한 상하방향의 오프셋 Vdy로서 가정할 수 있다. 이 경우, 이동물 이외의 정지된 배경에서의 동작벡터(Vx, Vy)는 다음 식에 나타내는 바와 같이, 차량의 진행에 따른 소실점(VP)으로의 동작벡터(V0x, V0y)와 상술한 오프셋(0, Vdy)과의 합에 따라서 근사할 수 있다.

Vx = V0x

Vy = V0y + Vdy

도 5의 플로우차트는 이 오프셋(0, Vdy)을 요동성분으로서 추출하고, 검출된동작벡터(Vx, Vy)로부터 소거함으로써, 정지된 배경의 부분에 대하여 소실점(VP)으로의 동작벡터(V0x, V0y)를 얻는 것이다.

우선, 화면의 각 위치(x, y)에 대하여 동작벡터(Vx, Vy)를 입력한다(S11). 단, 이 때 빈 공간 등 일정하게 화상에 모양이 없는 부분 등에 대해서는 동작벡터의 신뢰성이 없는 것으로서 미리 제외되고, 신뢰성이 있는 동작벡터만 입력된다. 또한, 차량이 전방 직진주행을 한 경우의 임시의 소실점(x0, y0)은 촬상수단(101)의 장착각도로부터 화면 상의 소정의 위치에 정해지기 때문에, 미리 구할 수 있다(S12).

다음에, 각 동작벡터에 대하여 오프셋을 계산한다(S13). 위치(x, y)가 정지된 배경의 부분에 있는 경우, 다음 식의 관계가 성립한다 ．

(x-x0) * V0y = (y-y0) * Vx

(x-x0) * (Vy-Vdy) = (y-y0) * Vx

이들 식에서 Vdy를 구하면,

Vdy = Vy-(y-y0) * Vx/(x-x0)

이 된다.

위 식에 따라서, 1개의 동작벡터로부터 Vdy를 구할 수 있다. 그러나, 입력되는 동작벡터 중에는 이동물 등 정지된 배경의 부분 이외의 화상영역에 관한 동작벡터도 다수 포함되어 있다. 또한, 정지된 배경의 부분에 관한 동작벡터에도 오차가 포함되어 있다. 그래서, 통계처리에 따라서 동작벡터의 오프셋 Vdy를 추정하는 것으로 한다. 즉, 도 7에 나타내는 바와 같이, 각 동작벡터에 대하여 위 식에 따라서Vdy를 각각 구하고, 그 빈도를 계산하여, 가장 높은 빈도를 갖는 Vdy를 최종적인 오프셋 추정값으로 한다(S14, S15, S16).

우선, 1개의 동작벡터에 대해서 오차(±Vnx, ±Vny)를 가정하여, 화면 내의 위치에 대해서도 미세오차(±nx, ±ny)를 가정한다. 지금, 도 7의 (a)와 같이, 1개의 동작벡터에 대하여 오프셋 Vdy가 구해졌다고 한다. 이것에 대해서, 동작벡터의 오차(±Vnx, ±Vny)를 고려하면, 도 7의 (b), (c)와 같은 분포가 얻어지고, 화면 내 위치의 미세오차(±nx, ±ny)를 고려하면, 도 7의 (d), (e)와 같은 분포가 얻어진다. 도 7의 (b)∼(e)의 분포를 컨벌루션(convolution) 적분함으로써, 도 7의 (f)와 같은 분포가 얻어진다.

그리고, 도 7의 (f)와 같은 분포를 화면 전체의 동작벡터에 대하여 곱의 합을 구하면, 도 7의 (g)와 같은 분포가 얻어진다. 이 분포에서 가장 빈도가 높은 Vdy의 값을 요동에 의한 오프셋의 추정값으로 한다.

도 1의 소실점 산출수단(108)은 추정한 오프셋을 소거한 후, 다시 실제의 소실점을 구한다. 이 때, 예를 들어 이동물이 화면을 크게 차지한 경우나, 차량에 상하방향 이외의 요동이 있는 경우, 또는 곡선주행 등 직진 이외의 주행을 하고 있는 경우에는, 산출한 소실점은 임시의 소실점과는 크게 다르게 된다. 이러한 경우에는, 이후의 이동물·접근물 검출처리를 중단하고, 전(前) 프레임의 결과를 이용하여 화상합성을 행하고, 표시한다.

한편, 산출한 소실점이 임시의 소실점 근방의 소정의 범위에 있을 때는, 정상이라고 판단하여, 이동물·접근물 검출수단(109)이 이하와 같은 동작을 한다.

도 8은 이동물·접근물 검출수단(109)의 구체적인 동작을 나타내는 플로우차트이다. 우선, 요동성분 추출시와 마찬가지로, 화면의 각 위치(x, y)에 대한 동작벡터(Vx, Vy)와, 임시의 소실점(x0, y0)을 입력한다(S21, S22).

그리고, 입력된 동작벡터가 오프셋을 소거한 후에, 소실점으로의 동작을 나타내고 있는지의 여부에 따라서, 이동물인지의 여부를 판정한다(S23). 구체적으로는 도 9에 나타내는 바와 같이, 요동성분 추출시에 구한 동작벡터의 오차(±Vnx, ±Vny)와 화면 내 위치의 미세오차(±nx, ±ny)를 가미한 Vdy의 분포(도 7의 (f))가 오프셋추정값과 일치하는지의 여부에 따라서 판정이 행해진다. 즉, 도 9의 (a)에서는 Vdy의 분포와 오프셋 추정값은 일치하지 않기 때문에, 이 동작벡터의 위치는 이동물이라고 판정되고, 한편, 도 9의 (b)에서는 Vdy의 분포와 오프셋 추정값은 일치하기 때문에, 이 동작벡터의 위치는 정지배경이라고 판정된다.

도 10의 (a)에 나타내는 바와 같이, 이동물이라고 판정된 동작벡터 FL1은 화면 중의 이동물의 각부에 검출된다. 그리고, 도 10의 (b)에 나타내는 바와 같이, 이들의 동작벡터 FL1을 포함하는 영역을 그룹화하여, 직사각형의 이동물영역(202)을 생성한다(S24). 그리고, 차량으로부터 이 이동물까지의 거리를 이동물영역(202)의 하단 UE의 위치에서 추정한다(S25).

도 11의 (a)는 촬상수단(101)의 촬상범위의 디폴트 거리값을 나타내는 도면이다. 여기서는 도 11의 (a)에 나타내는 바와 같이, 촬상화상 중의 소정위치보다도 아래에 있는 제 1 영역 AR1에 대해서는 노면 RS 상에 있다고 가정하고, 이 소정위치보다도 위에 있는 제 2 영역 AR2는 촬상수단(101)으로부터 소정거리 DD(예컨대,50m)에 있다고 가정한다. 즉, 제 1 영역 AR1에 대해서는 노면 RS까지의 추정거리가 디폴트 거리값으로서 기억되고, 제 2 영역 AR2에 대해서는 소정거리 DD가 디폴트 거리값으로서 기억되어 있다.

또한, 도 11의 (b)에 나타내는 바와 같이, 예를 들어 이동물영역(202)이 화면 상에서 영역 AR1, AR2에 걸쳐 존재하는 경우는, 제 1 영역 AR1에 포함된 이동물영역(202)의 하단 UE를 기준으로 하여, 그 물체가 하단 UE에서 노면 RS에 접하고 있다고 가정하여 거리를 추정한다.

여기서 추정한 이동물영역까지의 거리는 메모리에 기억된다. 그리고, 다음의 프레임화상 처리에 의해서 동일한 위치에 이동물영역이 검출되고, 또한, 이 이동물영역까지의 추정거리가 메모리에 기억된 전(前) 프레임에서의 추정거리보다도 짧을 때는, 그 이동물영역의 물체는 접근물이라고 판정된다(S26).

한편, 도 12의 (a)에 나타내는 바와 같은 정지배경이라고 판정된 동작벡터 FL2는 그 벡터의 크기(오프셋은 취소한다)로부터 다음 식에 따라서 거리 Z가 계산된다(S27).

Z = dZ * r/dr

단, dZ는 프레임 사이에서의 차량의 이동량, r은 화면 상에서의 소실점(VP)으로부터의 거리, dr은 동작벡터의 크기이다. 즉,

r = sqrt((x-x0)²+ (y-y0)²)

dr = sqrt (Vx²+ (Vy-Vdy)²)

그리고, 여기서 구한 거리 Z를 디폴트 거리값으로서 기억된 노면까지의 거리와 비교한다(S28). 그리고, 도 12의 (b)에 나타내는 가로수 OB와 같이 노면보다 높게 위치하고 있는 것을 장해물이라고 판정한다. 또한, 차량 MM과 같이 거의 바로 뒤에서 접근해 오는 물체일 경우, 동작벡터가 소실점 근방에서 생기지만, 그 크기는 매우 작다. 이 때문에, 상술한 방법으로 거리 Z를 구한 경우, 그 물체가 노면보다도 아래에 위치하게 되는 값이 될 가능성이 있다. 노면보다도 아래에는 통상 물체는 존재할 수 없기 때문에, 이러한 경우의 동작벡터는 이동물이라고 판정하여, 이동물영역 추출처리 S24로 돌리기로 한다.

이상과 같은 처리에 의해서, 화면 각 위치의 동작벡터로부터 장해물·이동물·접근물 및 화상 내의 거리가 구해지고(S29), 이들의 정보는 화상합성수단(110)에 출력된다.

화상합성수단(110)은 도 13에 나타내는 바와 같이, 촬상수단(101)으로부터 입력된 촬상화상 상에 직사각형영역(202)의 테두리(203)를 적색으로 점등하도록 합성하고, 이것을 표시장치(111)에 출력한다. 단, 이 때 표시장치(111)는 합성화상을 백미러와 같은 상이 되도록 좌우반전하여 표시한다.

상기의 방법에 의하면, 운전자는 도 13에 나타내는 표시화상을 보고 적색 테두리(203)의 점등으로 접근물의 접근을 알 수 있다. 즉, 운전자는 촬상화상을 보고 주위의 상황을 확인하는 동시에, 특히 주의가 필요한 접근물에 대해서 경보음 등에 의해 놀라지 않고, 자연스럽게 주의를 기울이는 것이 가능해진다.

또한, 경보음으로는 곤란한, 접근물이 자차량에 대해 어떤 방향에서 어느 정도까지 접근해 오는가라는 정보를 직접적으로 용이하게 파악할 수 있다.

또, 본 실시예에서는 이동체의 접근물만을 적색 테두리로 점멸표시하는 것으로 하였지만, 운전자에게 주의를 환기시키는 방법으로서는 이 방법에 한정되지 않고, 예를 들어, 다른 색을 이용하거나, 점멸시키지 않고 표시하여도 된다. 또한, 표시장치(111)에 표시되는 접근물의 화상이 하방으로 이동하면 이동체에 접근하고 있다고 이해되고, 반대로 상방으로 이동하면 이동체로부터 떨어져 있다고 이해할 수 있다.

더욱이, 접근물까지의 거리가 구해져 있기 때문에, 거리자체를 표시하거나, 거리에 따라 표시를 변화시킴으로써, 운전자의 상황파악을 한층 더 도울 수 있다. 예를 들어, 접근물과의 거리가 50m 이상일 때는 녹색, 20m 이상 50m 미만일 때는 황색, 20m 미만일 때는 적색으로 하는 것과 같이, 거리에 따라서 테두리의 색을 변화시키거나, 이동물영역의 오른쪽 위에 거리값 자체를 표시시키면 된다.

(제 2 실시예)

도 14는 본 발명의 제 2 실시예에 관한 운전지원장치로서의 이동체 화상표시 시스템의 구성을 나타내는 블록도이다. 도 14 중, 도 1과 공통의 구성요소에는 도 1과 동일한 부호를 붙이고 있어, 여기서는 그 상세한 설명은 생략한다. 도 1과 다른 구성요소는 제 1 촬상수단(101)과는 별개로 설치된 제 2 촬상수단(401), 계층적 블록스테레오 매칭수단(405), 3D 정보추정·장해물 검출수단(409) 및 화상합성수단 또는 화상생성수단으로서의 3D 화상합성수단(410)이다. 구성요소 102∼109, 405, 409에 의해서 검출수단이 구성되어 있다.

본 실시예에 관한 이동체 화상표시 시스템의 목적은 동작벡터(흐름)가 정밀하게 구해지지 않는 소실점 부근의 접근물이나 장해물의 검출을 정밀하게 행하는 것이다. 본 실시예에 관한 이동체 화상표시 시스템의 동작에 대해서 도 15∼도 21을 참조하여 설명한다.

도 15는 자차량과 그 주위를 위에서 내려다 본 모식도이다. 도 15에 나타내는 바와 같이, 본 실시예에 관한 운전지원장치에서는 2대의 촬상수단(101, 401)이 차량후부에 수평방향으로 겹치지 않도록 설치되어 있다. 그리고, 하나의 촬상수단으로서의 제 1 촬상수단(101)에 의한 제 1 촬상범위 VA1과 다른 촬상수단으로서의 제 2 촬상수단(401)에 의한 제 2 촬상범위 VA2가 오버랩하는 영역 OL을 갖도록 배치되어 있다.

도 15에 나타내는 바와 같은 촬상수단의 배치는 시야각이 한정된 통상의 렌즈를 지닌 카메라를 이용하여, 차량후방을 넓은 시야에서 촬영하여 감시하기 위한 것이다. 이와 같이 복수의 촬상수단을 배치하면, 어안렌즈 등의 특수한 렌즈를 이용하지 않고도 넓은 시야의 화상을 촬영하는 것이 가능해진다. 또한, 복수의 촬상수단을 이용함으로써, 얻어지는 화상의 해상도를 높게 유지할 수도 있다.

또한, 감시를 용도로 하는 경우에는, 얻어진 복수의 화상을 접합하여 표시할 필요가 있지만, 도 15와 같이 다른 위치로부터 촬영된 화상을 접합하는 경우는, 위치에 의한 은폐(occlusion)의 영향 등을 고려하여, 2개의 촬상범위에 겹치게 하는 편이 낫다.

다음으로 처리에 대하여 상세하게 설명한다. 계층화상화수단(102),LPF(103), 블록샘플링수단(104) 및 계층적 블록매칭수단(105)은 촬상수단(101, 401)으로부터 입력된 각 촬상화상에 대해 제 1 실시예와 동일한 처리를 행하여, 흐름(동작벡터)을 구한다.

도 16의 (a), (b)는 각각 촬상수단(101, 401)에 의해서 얻어진 촬상화상에 상기의 처리에 의해서 얻어진 흐름을 겹친 도면이다. OL은 촬상화면 상에서의 오버랩영역을 나타낸다. 도 16의 (a), (b)에서는 빌딩이나 나무 등 정지된 물체에 대한 흐름은 실선의 화살표로 나타내고, 차 등 동작이 있는 물체에 대한 흐름은 점선의 화살표로 나타내고 있다.

정지된 물체에 대한 흐름은 자차량의 동작에 따라서 소실점(VP)으로 향하는 흐름이 된다. 이 흐름의 크기는 자차량의 속도와, 화면 상에서의 소실점(VP)까지의 거리에 비례한다. 이 때문에, 소실점(VP) 근방의 흐름은 그 크기가 작아지므로, 검출이 곤란하게 된다.

그래서, 계층적 블록스테레오 매칭수단(405)은 오버랩영역 OL에서 도 16의 (a), (b)에 나타내는 2장의 화상의 스테레오 해석을 행하여, 스테레오 시차를 구한다. 소실점(VP)은 차량의 진행방향의 바로 뒤에 생기기 때문에, 촬상수단(101, 401)을 오버랩영역 OL이 촬상화상 상에서 소실점(VP)을 포함하도록 설정하는 것은 용이하다.

도 16의 (c)는 도 16의 (a), (b)에 나타내는 2장의 화상을 겹친 도면이다. 도 16의 (c) 중, 차량화상의 편차 VD가 구해진 스테레오 시차이다.

촬상수단을 수평방향으로 나열하여 배치한 경우, 스테레오 시차 VD는 거의수평방향에 생긴다. 이 때문에, 상위계층의 화상으로부터 수평 5 ×수직 3화소의 범위에서 블록매칭에 의해서 차분절대값의 총합(SAD)을 구하고, 그 SAD의 최소점에서 스테레오 시차를 구한다. 하위계층의 화상에서는 상위계층의 화상의 동일위치의 블록에서 구해진 스테레오 시차를 중심으로, 또한 수평 5 ×수직 3화소의 범위에서 스테레오 시차를 구한다.

또한, 계층적 블록스테레오 매칭수단(405)에 의해서 얻어진 스테레오 시차 VD에 대하여 동작벡터에 관한 처리를 완전히 동일하게 적용함으로써, 서브픽셀 정밀도에서의 스테레오 시차의 추정과, 스테레오 시차의 신뢰성 판정을 행한다.

이상의 처리에 의해서, 촬상화상의 각 위치에 대하여 전(前) 프레임으로부터의 시간적인 동작을 나타내는 흐름이 구해지는 동시에, 오버랩영역 OL에서 스테레오 시차가 구해진다.

일반적으로, 스테레오 시차와, 촬상수단의 상대위치관계를 알면, 삼각측량의 원리에 따라서 촬상수단으로부터 대상물까지의 거리가 구해진다. 또한, 화상의 시간적인 동작을 나타내는 흐름에 따라서도, 예를 들어 대상물이, 지면에 정지하고 있다고 가정함으로써, 차속과의 관계에서 촬상수단으로부터 대상물까지의 거리를 구할 수 있다.

이것을 이용하여, 3D 정보추정·장해물 검출수단(409)은 도 17에 나타내는 바와 같이, 2장의 촬상화상에 대하여 3차원 정보를 추정하고, 게다가 지면으로부터 소정의 높이 이상에 있다고 추정되는 화면 상의 영역을 장해물 OB로서 검출한다.

또한, 이동물·접근물 검출수단(109)은 소실점(VP)으로 향하는 흐름과는 다른 동작벡터를 갖는 블록을 이동물·접근물 후보블록으로서 추출하고, 근접하는 이동물·접근물 후보블록을 연결함으로써, 도 17에 나타내는 바와 같이, 이동물 MM을 추출한다. 또한 이와 함께, 3D 정보추정·장해물 검출수단(409)으로부터 얻어지는 3차원 정보로부터 소실점(VP) 근방영역의 장해물의 거리가 접근하고 있다고 판단하였을 때, 이것을 도 17에 나타내는 바와 같이, 접근물 AP로서 추출한다.

3D 화상합성수단(410)은 도 17에 나타내는 바와 같이, 3D 정보추정·장해물 검출수단(409)으로부터 얻어지는 3차원 정보를 이용하여, 촬상장치(101, 401)로부터 입력된 2장의 촬상화상을 합성한다. 게다가 합성화상 상에서 이동물 MM과 접근물 AP의 영역을 예컨대, 적색 테두리로 둘러싸 점등표시하는 동시에, 장해물 OB를 예컨대, 녹색 테두리로 둘러싸 표시하여, 이것을 표시장치(111)에 출력한다. 단, 이 때 표시장치(111)는 합성화상을 백미러와 같은 상이 되도록 좌우반전하여 표시한다.

운전자는 도 17에 나타내는 표시화상을 보고 적색 테두리의 점등에 의해서 이동물 MM이나 접근물 AP의 접근을 알 수 있고, 또한, 접근물 AP가 자차량에 대해, 어떤 방향에서 어느 정도까지 접근해 오는가를 직접적으로 용이하게 파악할 수 있다. 또한, 운전자는 녹색 테두리의 표시에 의해서 장해물 OB의 존재와 그 위치를직접적으로 용이하게 파악할 수 있다.

또한, 제 2 종래예나 본 발명의 제 1 실시예와 같이 촬상화상의 동작해석에 의해서 장해물이나 접근물을 검출하는 소위「모션 스테레오(motion stereo)」라고 하는 방법으로는, 이동에 의한 시점의 변화에 대응한 화상의 변화를 해석함으로써, 촬상화상 내의 3차원 정보를 얻는다. 이 경우, 이동하는 방향 또는 그 역방향의 화상의 이동에 의한 흐름(동작벡터)의 소실점의 근방영역에서는 시점의 변화에 대응한 화상의 변화가 작아진다고 하는 결점이 있어, 예를 들어, 차량에 응용하는 경우, 주행방향의 전방이나 후방의 정면에서의 검출감도가 저하된다고 하는 문제가 있었다.

그러나, 이 제 2 실시예에 의하면, 화면 상의 소실점 근방영역에서의 검출을 2대의 카메라에 의한 오버랩영역 OL에서의 스테레오 해석에 의해서 보충하고 있기 때문에, 감도 좋게 검출할 수 있다.

3D 화상합성수단(410)은 3D 정보추정·장해물 검출수단(409)으로부터 얻어진 3차원 정보를 이용하여, 접근물이나 장해물의 정보를 운전자에게 적확하게 전달한다. 이 방법에 대하여 설명한다.

제 1 실시예에서는 접근물의 정보가 합성된 촬상화상을 보았을 때, 화면의 깊이방향의 거리는 합성화상 상의 물체의 겉보기 크기로부터 판단할 필요가 있다. 특히, 촬상장치를 차량에 설치하는 경우에는, 차고(車高) 이상의 위치에 설치할 수는 없고, 또한, 어느 정도 먼 곳을 시야에 넣기 위해서는 그 방향을 거의 수평에 가깝게 해야 하기 때문에, 이 결과, 접근물과의 거리는 화면의 깊이방향이 된다.

접근물과의 거리를 화면 상에서 파악하기 쉽게 하기 위한 방법으로서, 본원 발명자들에 의한 일본 특허출원 특원평 10-217261호에 있는 합성화상의 시점위치를 변경하는 기술이 있다. 이 출원의 장치의 경우, 차량 주위의 복수의 촬상화상이 3차원적으로 지면을 비추고 있다고 가정하여, 예를 들어, 상공에서 내려다 본 새로운 시점에서의 합성화상을 작성하고 있다. 그 경우, 차량과 다른 물체와의 거리는 화면 상의 거리에 비례하게 되므로, 직감적으로 거리를 파악하기 쉽다.

본 실시예에서는 3D 화상합성수단(410)은 상술한 기술을 이용하여, 촬상수단(101, 401)에 의해서 얻어진 촬상화상을 실제의 촬상수단의 설치위치보다도 상방의 시점위치에서 본 합성화상으로 변환한다. 먼 곳까지 시야에 넣기 위해서는 바로 아래를 내려다보는 것보다도 비스듬히 아래 방향을 내려다보는 시점을 이용하는 편이 낫다.

도 18의 (a)는 이러한 합성화상을 얻기 위한 가상시점 VVP의 위치를 나타내고 있다. 가상시점 VVP는 촬상수단(101)의 상방에 위치하고 있고, 그 방향은 차량후방의 비스듬히 아래 방향을 내려다보도록 되어 있다. 그리고, 도 18의 (b)에 나타내는 바와 같이, 실제의 촬상수단(101)에 의한 촬상화상이 도 11의 (a)를 이용하여 설명한 디폴트의 거리에 있다고 가정하면, 실제의 촬상화상으로부터 가상시점 VVP에서 본 합성화상을 생성할 수 있다.

예를 들어, 실제의 촬상화상이 도 19의 (a)에 나타내는 바와 같은 경우, 가상시점 VVP에서 본 합성화상은 도 19의 (b)에 나타내는 바와 같이 된다. 도 19에서 알 수 있는 바와 같이, 실제로 디폴트의 거리값과 동일하게 노면 상에 존재하는 흰색선(411) 등은 합성화상 상에서도 정확한 위치에 합성되고, 또한, 위에서 본 화상이므로, 거리감을 파악하기 쉽게 강조된다. 그러나, 실제로는 노면 상에 없는 수목(412)이나 차량(413) 등은 합성화상 상에서는 길게 연장되어 부자연스럽게 왜곡된 것이 된다. 또, 도 19의 (b)의 합성화상은 실제의 촬상영역보다도 외측의 영역(414)을 포함하고 있다.

즉, 종래의 화상합성기술을 그대로 적용한 경우에는, 화상변환시에 지면의 위치만 가정하고 있으므로, 실제로는 지면에 위치하지 않는 것, 예컨대, 다른 차량이나 장해물이 합성화상 상에서 왜곡된다고 하는 문제가 발생한다.

그래서 본 실시예에서는 3D 정보추정·장해물 검출수단(409)으로부터 얻어지는 3차원 정보를 이용함으로써, 상술한 합성화상 상에서의 차량 등의 왜곡을 크게 개선한다. 이것을 도 20 및 도 21을 이용하여 설명한다.

본 실시예에서는 3D 정보추정·장해물 검출수단(409)으로부터 얻어지는 3차원 정보를 이용하여, 지면보다도 위에 있는 장해물이나 접근물을 검출하고 있다. 이 때문에, 도 20의 (a)에 나타내는 바와 같이, 장해물이나 접근물의 영역을 그 3차원정보에 따라서 합성하기 때문에, 가상시점 VVP에서 본 화상을 합성하더라도 왜곡이 적은 자연스러운 화상을 합성할 수 있다.

즉, 실제로는 노면 상에 없는 수목(412)이나 차량(413)에 대해서는 촬상수단(101)으로부터의 실제의 거리 RD가 검출되어 있기 때문에, 그 영역은 합성화상생성에 있어서도 실제의 거리 RD가 고려된 위치에 합성된다. 따라서, 도 20의 (b)에 나타내는 바와 같이, 실제로는 노면 상에 없는 수목(412)이나 차량(413) 등도 디폴트의 거리값이 아니라 실제의 거리 RD를 기초로 하여 합성되기 때문에, 합성화상 상에서 길게 연장되지 않고, 자연스럽게 된다.

이와 같이 하여, 합성화상에 있어서, 실제로 디폴트의 거리값과 동일하게 노면 상에 존재하는 흰색선 등은 정확한 위치에 합성되고, 또한, 실제로는 노면 상에 없는 수목이나 차량 등에 대해서도 자연스러운 화상이 얻어진다. 게다가, 합성화상은 위에서 본 화상이므로, 거리감을 파악하기 쉬운 화상을 운전자에게 보일 수 있다.

도 21은 2개의 촬상수단(101, 401)의 촬상화상으로부터 합성화상을 생성하는 경우를 나타내는 도면이다. 도 21의 (a)에 나타내는 바와 같이, 이 경우도 실제로는 노면 상에 없는 수목(412)이나 차량(413)에 대해서는 촬상수단(101, 401)으로부터의 실제의 거리 RD가 검출되어 있기 때문에, 그 영역은 합성화상 생성에서도 실제의 거리 RD가 고려된 위치에 합성된다. 그리고, 도 21의 (b)에 나타내는 바와 같은 합성화상이 얻어진다. 도 21의 (b)의 합성화상에 있어서, VA1, VA2는 각각 촬상수단(101, 401)의 시야범위에 대응하는 영역, OL은 시야범위가 겹친 오버랩영역이다. 도 20의 (b)의 예에 비해, 시야각이 넓은 화상이 합성되어 있다. 또한, 오버랩영역 OL보다도 외측의 영역에서도 소실점에서 떨어져 있기 때문에, 흐름으로부터 거리가 구해지므로, 그 거리가 고려된 위치에 예컨대, 수목(415)을 합성할 수 있다.

(제 2 실시예의 변형예)

본 실시예의 변형예에 대하여 도 22 및 도 23을 참조하여 설명한다.

도 22는 본 변형예에 관한 촬상수단의 배치의 일례를 나타내는 도면이다. 상술한 실시예와 다른 것은 2대의 촬상수단(101, 401)이 수평방향이 아니라 수직방향에 간격 k를 두고 설치되어 있는 점이다. 또한, 촬상수단의 시야범위에 대해서는 제 2 실시예와 마찬가지로, 촬상수단(101)에 의한 제 1 촬상영역 VA1과 촬상수단(401)에 의한 제 2 촬상영역 VA2가 서로 겹쳐, 오버랩영역 OL이 생기게 된다.

그리고, 도 23의 (a)에 나타내는 바와 같이, 제 2 실시예와 마찬가지로, 2개의 촬상영역이 오버랩하는 영역에 스테레오 해석영역 ST를 설치하고, 또한 그 이외의 부분에도 동작해석영역 MA1, MA2를 설치하고 있다.

본 변형예에 관한 스테레오 해석영역 ST에서의 처리에 대하여 설명한다.

도 23의 (b)에 나타내는 바와 같이, 이 2개의 화상에서는 종방향에 스테레오 시차 VD가 생긴다. 이 때 도 23의 (c)에 나타내는 바와 같이, 2개의 화상으로부터 미리 수평에지 HE를 추출해 두고, 이 수평에지 HE에 대해서 2개의 화상 사이의 대응을 취함으로써, 스테레오 시차 VD는 용이하게 구할 수 있다. 또한, 본 발명이 주된 대상으로 하는 노면 상의 차량의 화상은 범퍼, 보닛(bonnet)의 라인 등의 수평에지가 다른 에지에 비해 많이 포함되어 있어, 용이하게 검출하는 것이 가능하다. 이 스테레오 시차 VD에 의해서 촬상수단으로부터의 거리가 구해지기 때문에, 상술한 실시예와 마찬가지로, 접근물이나 장해물의 검출이 가능하고, 또한, 접근물이나 장해물의 화상을 입체적으로 합성하여 표시할 수 있다.

본 변형예에서는, 2개의 촬상수단과 가상시점이 종방향으로 나열되므로, 합성화상은 종방향의 시차가 강조된 화상이 된다. 또한, 수평방향의 에지가 적고, 이 때문에 스테레오 시차 VD가 정밀하게 구해지지 않는 부분에서는 합성화상에서의 정밀도도 떨어지지만, 반대로 수평에지가 적으므로, 위치가 어긋남으로 인한 부자연스러움은 거의 눈에 띄지 않는다. 따라서, 전체적으로 대단히 자연스럽고, 또한, 수평에지가 있는 부분(다른 차량을 비추고 있는 부분 등)에서는 깊이위치정보가 강조된 합성화상을 생성할 수 있다.

또한, 여기서 촬상수단의 간격 k와, 검출 가능한 거리와의 관계에 대하여 보충설명한다. 설명을 간단히 하기 위해서, 촬상수단은 바로 뒤를 향하고 있는 것으로 한다. 촬상수단의 수평방향의 화각(畵角)을 약 90도라고 가정하면, 거리 D가 10m일 때, 수평방향의 화각범위는 약 20m에 상당한다. 또한, 촬상수단의 화소의 종횡비를 3:4로 하면, 수직방향의 화각범위 Vh는 약 15m에 상당한다. 즉,

Vh/D = 1.5

이다. 또한, 화면의 수직방향의 화소수를 Vp로 하면, 촬상수단과 동일한 높이에 있는 후방차량의 수평에지가 무한원의 시차 0으로부터 1화소 상당의 시차가 생기기까지 접근할 때의 거리 D는,

Vh/k = Vp

에서,

D = k * Vp/1.5

가 된다. 수직방향의 화소수 Vp를 480, 촬상수단의 간격 k를 10㎝(=0.1m)로 하면,

D = 0.1 * 480/1.5 = 32(m)

로 개산된다. 실제 시차의 검지정밀도는 0.3∼1화소이고, 구해진 접근물 검출거리가 30∼70m, 촬상수단의 화각이 60∼120도라고 가정하면, 촬상수단의 간격은 7∼20㎝ 정도로 좋은 것을 개산할 수 있다.

이와 같이, 7∼20㎝ 정도의 간격으로 비교적 가깝게 설치된 촬상수단에 의해서도, 접근물을 검출할 수 있기 때문에, 차량으로의 탑재가 보다 용이하게 된다.

또, 상술한 제 1∼제 2 실시예에서는 차량의 후방을 주된 감시영역으로서 설명하였지만, 본 발명은 이것에 한정되는 것이 아니라, 예컨대, 차량전방·측방을 감시영역으로 하여, 차량전방·측방의 화상을 생성하는 것으로 해도 상관없다.

(제 3 실시예)

도 24는 본 발명의 제 3 실시예에 관한 운전지원장치의 구성을 나타내는 블록도이다. 도 24에서 도 14와 다른 구성요소는 위험도 판정수단(501), 차외경보수단(502), 승객보호수단(503)이다.

제 2 실시예와 마찬가지로, 복수의 촬상수단(101, 401)에 의해 오버랩하는 영역을 계층적 스테레오 매칭수단(405)에 의해서 스테레오 해석함으로써, 종래 검출이 곤란하던 차량 바로 뒤의 접근물을 정밀하게 계측하는 것이 가능해진다.

종래, 차량으로의 접근물의 검출장치가 바로 뒤에서의 접근물을 대상으로 하지 않았던 것은 동작검출만으로는 접근물의 검출이 곤란한 점과, 접근물을 검출한 후, 충돌 등을 피하기 위한 방법이 적다고 하는 경우도 있었다. 예컨대, 제 1 종래예에서는 자차량이 주행하는 옆 차선으로부터의 접근물을 검출한 경우, 그 차선으로 자차량의 진로를 변경하지 않도록 경보하는 등으로 용이하게 충돌을 피할 수 있게 된다. 한편, 자차량과 같은 차선으로부터 접근하는 차량에 대해서는 속도를 올려 전방으로 피하거나, 다른 차선으로의 진로변경 등의 적극적인 동작이 필요하게 된다. 어느 쪽의 경우도, 접근물 이외의 주위의 차량, 물체로의 충돌이라는 위험이 새롭게 생긴다.

그래서, 본 실시예에서는 이동물 접근물 검출수단(109)이 바로 뒤에서의 접근물을 검출하였을 때는, 위험도 판정수단(501)은 충돌까지의 시간이나 접근물의 속도변화 등으로부터 이 접근물이 충돌할 가능성을 판정한다. 그리고, 충돌의 가능성이 높다고 판단하였을 때는 지시신호를 출력한다. 차외경보수단(502)은 지시신호를 받아, 자동적으로 정지미등을 점멸시키는 등의 방법으로, 후방으로 향하여 경보를 발한다. 여기서의 경보로서는 정지미등의 점멸 이외에도 후방에 설치한 미등의 조사나 점멸, 소리에 의한 경보, 라디오 등의 전파를 이용한 경보 등을 생각할 수 있다.

또한, 위험도 판정수단(501)으로부터 지시신호가 출력되면, 승객보호수단(503)은 안전벨트의 감김상태나 에어백의 작동준비 등의 승객을 보호하는 조치를 강구한다. 에어백에 관해서는 미리 충돌의 가능성이 높은 것을 알면, 작동준비나 승객의 두부(頭部)위치의 검출 등의 여러가지 전처리를 행하는 것이 가능하게 되어, 이로 인해 승객을 확실히 보호할 수 있다.

또, 본 실시예의 접근물의 검출수단은 화상의 스테레오나 동작해석에 의한 것에 한정되지 않고, 예컨대, 레이더, 레이저 등을 이용한 다른 수단에 의해 실시하는 것도 가능하다.

또한, 본 발명은 차량 이외의 이동체 예컨대, 배, 비행기, 열차 등에도 용이하게 적용 가능한 것은 말할 필요도 없다.

또한, 복수의 촬상수단의 설치위치나 대수는 여기서 나타낸 것에 한정되지 않는다.

또한, 본 발명에 관한 운전지원장치의 검출수단이나 화상생성수단의 기능은 그 전부 또는 일부를 전용의 하드웨어를 이용하여 실현하여도 되고, 소프트웨어에 의해서 실현하여도 된다. 또한, 본 발명에 관한 운전지원장치의 검출수단이나 화상생성수단의 기능의 전부 또는 일부를 컴퓨터에 실행시키기 위한 프로그램을 저장한 기록매체나 전송매체를 이용하는 것도 가능하다.

이상의 설명에서 명백한 바와 같이, 본 발명에 의해서 차량의 진동에 의한 요동에 영향을 받지 않고 접근물을 검출할 수 있다. 또한, 복수의 촬상장치에 의한 스테레오 해석을 병용함으로써, 동작의 변화가 작은 차량의 바로 뒤의 접근물을 검출할 수 있다.

이들 접근물 등의 검출결과를 화상 상으로 고지함으로써, 운전자가 그 위치관계와 주위상황을 직접적으로 확인할 수 있다. 또한, 화상을 위에서 비스듬히 내려다본 시점에서의 화상으로 변환함으로써, 접근물까지의 거리를 보다 알기 쉽게 제시할 수 있다.

또한, 운전자에게 고지할 뿐만 아니라, 접근하는 차량에 경보함으로써, 충돌의 가능성을 줄일 수 있고, 충돌의 충격에서 승객을 보호하는 처치를 보다 빨리 개시할 수 있다.

이상 서술한 바와 같이, 본 발명에 의해 운전자의 부담을 경감할 수 있는 운전지원장치를 제공할 수 있다.

Claims

이동체의 운전을 지원하는 장치에 있어서,

당해 이동체에 설치되어 이동체 후방을 촬상하는 복수의 촬상수단과,

상기 복수의 촬상수단의 촬상화상으로부터 이동체 후방의 물체의 동작을 검출하는 검출수단을 구비하고,

상기 복수의 촬상수단은 그 촬상화상 상에서 소실점 근방을 포함하면서 하나의 촬상수단과 다른 촬상수단의 촬상영역이 오버랩한 영역을 가지며,

상기 검출수단은,

상기 오버랩영역에서 상기 하나의 촬상수단과 상기 다른 촬상수단과의 스테레오 시차를 구하고,

구한 스테레오 시차를 기초로 하여 당해 물체까지의 거리를 구하며,

상기 하나의 촬상수단의 상기 오버랩영역 이외의 촬상영역에 대하여 화상의 시간적인 동작을 나타내는 흐름을 검출하고,

검출한 흐름을 기초로 하여 이동체 후방의 물체의 동작을 검출하는 것을 특징으로 하는 운전지원장치.
삭제
제 1항에 있어서,

상기 복수의 촬상수단의 촬상화상을 이용하여 화상합성을 행하고, 이동체 후방을 나타내는 화상을 생성하는 화상합성수단을 구비한 것을 특징으로 하는 운전지원장치.
제 1항에 있어서,

상기 검출수단으로부터 출력된 정보를 받아, 이동체 후방에서의 접근물이 당해 이동체에 충돌할 가능성을 판정하고, 이러한 가능성이 높다고 판단하였을 때 지시신호를 출력하는 위험도 판정수단과,

상기 위험도 판정수단으로부터 지시신호가 출력되었을 때, 이동체 후방으로 경보를 발하는 차외경보수단을 구비한 것을 특징으로 하는 운전지원장치.
제 1항에 있어서,

상기 검출수단으로부터 출력된 정보를 받아, 이동체 후방에서의 접근물이 당해 이동체에 충돌할 가능성을 판정하고, 이러한 가능성이 높다고 판단하였을 때 지시신호를 출력하는 위험도 판정수단과,

상기 위험도 판정수단으로부터 지시신호가 출력되었을 때, 당해 이동체의 승객을 보호하는 조치를 취하는 승객보호수단을 구비한 것을 특징으로 하는 운전지원장치.
이동체의 운전을 지원하는 장치에 있어서,

당해 이동체에 설치되어 이동체의 주위를 촬상하는 촬상수단과,

상기 촬상수단에 의한 촬상화상을 상기 촬상수단의 위치와는 다른 위치에 있는 시점에서의 화상으로 변환하는 화상생성수단과,

상기 촬상화상에 촬영된 물체에 대하여 당해 이동체로부터의 거리를 검출하는 검출수단을 구비하고,

상기 화상생성수단은,

상기 변환화상의 생성시에, 상기 물체에 대하여 상기 검출수단에 의해서 검출된 거리를 이용하여, 그 상(像)의 왜곡을 보정하는 것을 특징으로 하는 운전지원장치.
제 6항에 있어서,

상기 촬상수단은 복수개 설치되어 있고,

상기 복수의 촬상수단은 그 촬상화상 상에서 하나의 촬상수단과 다른 촬상수단의 촬상영역이 오버랩한 영역을 가지며,

상기 검출수단은,

상기 오버랩영역에서 상기 하나의 촬상수단과 상기 다른 촬상수단과의 스테레오 시차를 구하고,

구한 스테레오 시차를 기초로 하여 당해 물체까지의 거리를 구하는 것을 특징으로 하는 운전지원장치.
제 6항에 있어서,

상기 검출수단은,

상기 촬상화상의 시간적인 동작을 나타내는 흐름으로부터 당해 물체까지의 거리를 구하는 것을 특징으로 하는 운전지원장치.
이동체의 운전을 지원하는 장치에 있어서,

당해 이동체에 설치되어 이동체 주위를 촬상하는 촬상수단과,

상기 촬상수단의 촬상화상으로부터 시간적인 동작을 나타내는 흐름을 구하고, 이 흐름을 기초로 하여 이동체 주위의 물체의 동작을 검출하는 검출수단을 구비하며,

상기 검출수단은,

물체의 동작을 검출하는 전처리로서, 구한 각 흐름으로부터 오프셋의 추정값을 구하고, 이 오프셋 추정값을 당해 이동체의 진동에 기인하는 요동성분으로서, 각 흐름으로부터 소거하는 것을 특징으로 하는 운전지원장치.