KR101097063B1 - 사각 지대 표시 장치 및 방법 - Google Patents
사각 지대 표시 장치 및 방법 Download PDFInfo
- Publication number
- KR101097063B1 KR101097063B1 KR1020100138493A KR20100138493A KR101097063B1 KR 101097063 B1 KR101097063 B1 KR 101097063B1 KR 1020100138493 A KR1020100138493 A KR 1020100138493A KR 20100138493 A KR20100138493 A KR 20100138493A KR 101097063 B1 KR101097063 B1 KR 101097063B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- image
- vehicle
- blind spot
- image information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000006073 displacement reaction Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 카메라가 촬영한 다른 시간에 획득한 다수의 영상 이미지를 정합하여 차량의 차체에 가려져 운전자의 시야 확보가 어려운 차량의 전방, 후방 및 측면의 사각 지대 정보를 운전자에게 제공하는 사각 지대 표시 장치 및 방법을 제공하는 것을 목적으로 한다. 이를 위해 본 발명은 다른 시간에 획득한 다수의 영상 이미지를 이용한 사각 지대 표시 장치로서, 차량에 설치되어 이미지를 촬영하는 적어도 하나 이상의 카메라; 상기 카메라가 임의의 시점에서 촬영한 이미지 정보와 일정 시간 전에 촬영한 과거의 이미지 정보를 미리 저장된 이미지 정합 프로그램으로 정합하고, 상기 정합된 이미지 정보를 출력하는 제어부; 및 상기 제어부로부터 출력되는 정합 이미지 정보가 디스플레이되도록 하는 화면 표시부를 포함한다. 따라서 다른 시간에 촬영한 다수의 영상 이미지를 실시간으로 정합하여 제공함으로써, 차량의 차체에 가려져 운전자의 시야 확보가 어려운 차량의 전방, 후방 및 측면의 사각 지대 정보를 운전자에게 제공할 수 있는 장점이 있다.
Description
본 발명은 차량의 주변 사각 지대를 표시하는 장치 및 방법에 관한 발명으로서, 더욱 상세하게는 카메라가 촬영한 다른 시간에 획득한 다수의 영상 이미지를 정합하여 차량의 차체에 가려져 운전자의 시야 확보가 어려운 차량의 전방, 후방 및 측면의 사각 지대 정보를 운전자에게 제공하는 사각 지대 표시 장치 및 방법에 관한 것이다.
일반적으로, 차량은 차체에 장비한 엔진 등의 원동기를 동력원으로 하여 도로 등을 주행하며 사람이나 화물을 운반하거나 각종 작업을 수행하는 장치이고, 차량의 운전자는 주행 방향을 주시하면서 차량을 안전하게 운전한다.
그러나 일반적인 차량은 도 1에 나타낸 바와 같이 차량(10)의 구동에 필요한 엔진 등이 설치된 프론트부로 인하여 차량(10)에 인접한 전방부가 운전자의 시야에 들어오지 않아 사각지대(20)가 형성되며, 또한 차량(10)의 후미부에 형성된 트렁크로 인하여 후방 시야를 부분적으로 제한하는 사각지대(30)가 형성된다.
이러한 사각 지대(30)는 사물이 눈으로 보이지 아니하게 되는 각도에 위치한 영역을 말하는 것으로 운전자의 전방과 후방의 시야가 차량의 차체 일부에 의하여 제한되면 주행시에는 전방이 트인 도로를 주행하므로 운전에 장애를 유발하는 문제가 발생하지 않지만 차량의 주차시에는 차량(10) 주위에 여러 가지 장애물이 존재하게 되므로 사각 지대에 장애물이 위치하는 경우 운전자의 시야 확보가 곤란하여 주차에 어려움이 발생한다.
또한, 차량의 주차시에 운전이 익숙하지 못한 운전자는 전방 또는 후방의 장애물을 발견하지 못하여 장애물과 충돌하는 경우가 발생하고, 운전에 익숙한 운전자라 할지라도 운전자가 고개를 들어 전방 및 후방을 직접 살피면서 장애물을 피하여야 주차할 수 있지만 부분적인 시야 확보만 가능하기 때문에 주차가 매우 곤란한 문제점이 있다.
또한, 운전자가 차량의 전방 또는 후방에 장애물이 존재하는 것을 인식하여도 운전 또는 주차에 집중하는 경우 인식된 장애물에 대한 기억을 일시적으로 잃어버려 장애물과의 충돌이 발생하는 문제점이 있다.
이러한 문제점을 해결하기 위하여, 본 발명은 카메라가 촬영한 다른 시간에 획득한 다수의 영상 이미지를 정합하여 차량의 차체에 가려져 운전자의 시야 확보가 어려운 차량의 전방, 후방 및 측면의 사각 지대 정보를 운전자에게 제공하는 사각 지대 표시 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명은 다른 시간에 획득한 다수의 영상 이미지를 이용한 사각 지대 표시 장치로서,
차량에 설치되어 이미지를 촬영하는 적어도 하나 이상의 카메라; 상기 카메라가 임의의 시점에서 촬영한 주행 방향 이미지 정보와 미리 설정된 일정 시간 전에 촬영한 과거의 주행 방향 이미지 정보를 미리 저장된 이미지 정합 프로그램을 통해 정합하고, 상기 정합된 이미지 정보를 출력하는 제어부 및 상기 제어부로부터 출력되는 정합 이미지 정보가 디스플레이되도록 하는 화면 표시부를 포함한다.
또한, 본 발명에 따른 상기 이미지 정보의 정합은 이미지만을 비교하여 유사도가 있는 픽셀의 이미지 영역을 정합하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 이미지 정보의 정합은 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 속도 정보 및 조향각 정보에 따라 미리 설정된 단위 픽셀수 만큼 이동시킨 이미지 영역을 정합하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 이미지 정보의 정합은 상기 이미지 정보의 정합은 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 속도 정보 및 조향각 정보에 따른 이미지의 검색 영역을 감소시키고, 검색 영역이 감소된 상기 이미지에서 유사도가 있는 픽셀의 이미지 영역을 추출하여 정합하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 제어부는 상기 정합 이미지 정보 상에 차량의 현재 위치를 나타내는 가상의 차량 아이콘 정보를 정합시켜 출력하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 제어부는 사각지대의 정보가 차량의 위치 정보와 함께 디스플레이되도록 상기 가상의 차량 아이콘 정보가 상기 정합된 이미지 정보 상에 차량 형상의 윤곽선 및 반투명의 차량 형상 중 적어도 어느 하나로 표시되도록 하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 제어부는 상기 가상의 차량 아이콘 정보가 상기 정합 이미지 정보 상의 과거 이미지 정보에 표시되도록 하여 차량의 전방, 좌/우측방 및 후방의 사각 지대가 디스플레이되도록 하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 제어부는 상기 현재 이미지 정보와 과거 이미지 정보에서 물체를 인식하고, 상기 인식된 물체의 이동 방향과 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 상기 인식된 물체의 이동 방향 정보와 속도 정보와 이동 거리 정보를 산출하며, 상기 산출된 정보에 기초하여 상기 인식된 물체의 예상 위치 정보가 사각 지대를 포함한 상기 정합 이미지상에 표시되도록 하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 산출된 물체까지의 거리와 물체의 이동 속도를 미리 설정된 충돌 판단용 기준 거리정보 및 속도 정보와 비교하고, 비교 결과 충돌이 예상되면 경고음 또는 경고 화면이 표시되도록 경고 신호를 출력하는 것을 특징으로 한다.
또한, 본 발명은 다른 시간에 획득한 다수의 영상 이미지를 이용하여 사각 지대를 표시하는 방법으로서,
a) 차량이 일정 시간 전 과거에 지나오면서 카메라가 촬영한 제 1 이미지 정보를 제어부가 검출하는 단계; b) 상기 제 1 이미지 정보의 촬영 후 일정 시간이 경과한 임의의 시점에 상기 카메라가 촬영한 제 2 이미지 정보를 상기 제어부가 검출하는 단계; c) 상기 제어부가 미리 저장된 이미지 정합 프로그램으로 상기 제 1 이미지 정보와 상기 제 2 이미지 정보를 정합하는 단계; 및 d) 상기 제어부가 상기 c) 단계에서 정합된 이미지 정보를 화면 표시부에서 디스플레이되도록 하는 단계를 포함한다.
또한, 본 발명에 따른 상기 c)단계의 이미지 정합은 이미지만을 비교하여 유사도가 있는 픽셀의 이미지 영역을 정합하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 c)단계의 이미지 정합은 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 속도 정보 및 조향각 정보에 따라 미리 설정된 단위 픽셀수 만큼 이동시킨 이미지 영역을 정합하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 c)단계의 상기 이미지 정보의 정합은 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 속도 정보 및 조향각 정보에 따른 이미지의 검색 영역을 감소시키고, 검색 영역이 감소된 상기 이미지에서 유사도가 있는 픽셀의 이미지 영역을 추출하여 정합하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 d) 단계는 상기 제어부가 상기 정합 이미지 정보 상에 차량의 현재 위치가 나타나도록 가상의 차량 아이콘 정보를 정합시켜 출력하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 가상의 차량 아이콘 정보는 사각지대의 정보가 차량의 위치 정보와 함께 디스플레이되도록 상기 가상의 차량 아이콘 정보가 상기 정합된 이미지 정보 상에 차량 형상의 윤곽선 및 반투명의 차량 형상 중 적어도 어느 하나로 표시되도록 하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 가상의 차량 아이콘 정보는 상기 정합 이미지 정보 상의 과거 이미지 정보에 정합시켜 표시되도록 하여 차량의 전방, 좌/우측방 및 후방의 사각 지대가 디스플레이되도록 하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 d) 단계는 상기 제어부가 제 2 이미지 정보와 제 1 이미지 정보에서 물체를 인식하고, 상기 인식된 물체의 이동 방향과 차량으로부터 제공되는 차량의 속도 및 이동 방향 정보를 포함한 차량의 운행 정보에 기초하여 상기 인식된 물체의 이동 방향 정보와 속도 정보와 이동 거리 정보를 산출하며, 상기 산출된 정보에 기초하여 상기 인식된 물체의 예상 위치 정보가 사각 지대를 포함한 상기 정합 이미지상에 표시되도록 하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 제어부가 상기 산출된 물체까지의 거리와 물체의 이동 속도를 미리 설정된 충돌 판단용 기준 거리정보 및 속도 정보와 비교하고, 비교 결과 충돌이 예상되면 경고음 또는 경고 화면이 표시되도록 경고 신호를 출력하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명은 다른 시간에 촬영한 다수의 영상 이미지를 실시간으로 정합하여 제공함으로써, 차량의 차체에 가려져 운전자의 시야 확보가 어려운 차량의 전방, 후방 및 측면의 사각 지대 정보를 운전자에게 제공할 수 있는 장점이 있다.
또한, 본 발명은 운전자의 시야 확보가 어려운 사각 지대를 확인할 수 있어서 운전자의 안전한 주행 환경 제공과 안전한 주차 환경을 제공할 수 있는 장점이 있다.
도 1 은 일반적인 차량의 전방 및 후방의 사각 지대를 나타낸 예시도.
도 2 는 본 발명에 따른 사각 지대 표시 장치의 구성을 나타낸 블록도.
도 3 은 본 발명에 따른 사각 지대 표시 장치의 동작 과정을 나타낸 예시도.
도 4 는 본 발명에 따른 사각 지대 표시 장치의 다른 동작 과정을 나타낸 예시도.
도 5 는 본 발명에 따른 사각 지대 표시 장치를 통해 검출되는 후방의 과거 영상 이미지와 현재 영상 이미지를 정합하여 나타낸 예시도.
도 6 은 본 발명에 따른 사각 지대 표시 장치를 통해 검출되는 전방의 현재 이미지와 과거 이미지를 정합하여 나타낸 예시도.
도 7 은 본 발명에 따른 사각 지대 표시 장치를 통해 검출되는 도로상의 현재 및 과거 이미지를 정합하여 나타낸 예시도.
도 8 은 본 발명에 따른 사각 지대 표시 과정을 나타낸 흐름도.
도 2 는 본 발명에 따른 사각 지대 표시 장치의 구성을 나타낸 블록도.
도 3 은 본 발명에 따른 사각 지대 표시 장치의 동작 과정을 나타낸 예시도.
도 4 는 본 발명에 따른 사각 지대 표시 장치의 다른 동작 과정을 나타낸 예시도.
도 5 는 본 발명에 따른 사각 지대 표시 장치를 통해 검출되는 후방의 과거 영상 이미지와 현재 영상 이미지를 정합하여 나타낸 예시도.
도 6 은 본 발명에 따른 사각 지대 표시 장치를 통해 검출되는 전방의 현재 이미지와 과거 이미지를 정합하여 나타낸 예시도.
도 7 은 본 발명에 따른 사각 지대 표시 장치를 통해 검출되는 도로상의 현재 및 과거 이미지를 정합하여 나타낸 예시도.
도 8 은 본 발명에 따른 사각 지대 표시 과정을 나타낸 흐름도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 사각 지대 표시 장치 및 방법의 바람직한 실시예를 상세하게 설명한다.
도 2는 본 발명에 따른 사각 지대 표시 장치의 구성을 나타낸 블록도이고, 도 3은 본 발명에 따른 사각 지대 표시 장치의 동작 과정을 나타낸 예시도이며, 도 4는 본 발명에 따른 사각 지대 표시 장치의 다른 동작 과정을 나타낸 예시도이고, 도 5는 본 발명에 따른 사각 지대 표시 장치를 통해 검출되는 후방의 과거 영상 이미지와 현재 영상 이미지를 정합하여 나타낸 예시도이며, 도 6은 본 발명에 따른 사각 지대 표시 장치를 통해 검출되는 전방의 현재 이미지와 과거 이미지를 정합하여 나타낸 예시도이고, 도 7은 본 발명에 따른 사각 지대 표시 장치를 통해 검출되는 도로상의 현재 및 과거 이미지를 정합하여 나타낸 예시도이다.
도 2 내지 도 7에 나타낸 바와 같이, 본 발명에 따른 사각 지대 표시 장치(100)은 제 1 카메라(110)와, 제 2 카메라(120)와, 제어부(130)와, 화면 표시부(140)를 포함하여 구성된다.
상기 제 1 카메라(110)는 차량(200)에 설치되어 주행중인 차량의 후방을 촬영하여 영상 이미지 정보를 출력하는 구성으로서, 차량의 실내에 설치된 테일 램프, 후미등 또는 트렁크 도어 등에 설치된다.
상기 제 2 카메라(120)는 차량(200)에 설치되어 주행중인 차량의 전방을 촬영하여 영상 이미지 정보를 출력하는 구성으로서, 차량의 실내에 설치된 룸미러, 헤드 램프 또는 라디에이터 그릴 등에 설치된다.
상기 제 1 및 제 2 카메라(110 및 120)는 CMOS 타입의 영상 센서, CCD 타입의 영상 센서 또는 제 3 타입의 영상 센서 중 어느 것을 사용해도 무방하다.
또한, 본 실시예에서는 차량의 전방 또는 후방의 주행 방향 이미지를 촬영하기 위하여 각각 1 대의 카메라가 설치되어 동작하는 구성을 설명하고 있으나, 같은 주행 방향을 촬영하는 복수의 카메라를 설치하는 구성도 가능하다.
상기 제어부(130)는 제 1 카메라(110) 또는 제 2 카메라(120)가 촬영한 임의의 시점(이하, 현재 시점이라 함)에서의 이미지 정보와 일정 시간 전에 촬영한 과거의 이미지 정보를 미리 저장된 이미지 정합 프로그램으로 정합하여 과거와 현재의 이미지 정보가 함께 디스플레이되도록 정합된 이미지 정보를 출력한다.
예를 들면, 도 3과 같이 상기 제어부(130)는 차량(200)이 후방으로 주행하는 경우 차량 후방의 일정 영역을 촬영하는 제 1 카메라(110)가 촬영한 후방 제 1 이미지 정보(A)를 검출하여 메모리(미도시) 등의 저장수단에 저장한다.
여기서 임의의 시점은 현재 시점이 될 수도 있고, 과거 시점과 현재 시점 사이의 임의의 시간 구간 중 어느 한 시점이 될 수도 있다.
또한, 상기 제어부(130)는 상기 후방 제 1 이미지 정보(A)의 검출 후 일정 속도로 일정 시간(예를 들면, 0.5초)이 경과하여 임의의 위치로 이동한 차량(200')에서 제 1 카메라(110')가 촬영한 현재 시점의 후방 제 2 이미지 정보(B)를 검출하고, 상기 검출된 현재 시점의 후방 제 2 이미지 정보(B)와 일정 시간(예를 들면, 0.5초) 이전 과거에 촬영된 상기 후방 제 1 이미지 정보(A)를 미리 저장된 이미지 정합 프로그램에서 정합하여 생성한 후방 이미지 정보를 출력한다.
또한, 도 4와 같이 상기 제어부(130)는 차량(200)이 전방으로 주행하는 경우 차량 전방의 일정 영역을 촬영하는 제 2 카메라(120)가 촬영한 전방 제 1 이미지 정보(C)를 검출하여 임시 저장한다.
또한, 상기 제어부(130)는 상기 전방 제 1 이미지 정보(C)의 검출 후 일정 시간이 경과하여 임의의 위치로 이동한 차량(200')에서 제 2 카메라(120')가 촬영한 현재 시점의 전방 제 2 이미지 정보(D)를 검출하고, 상기 검출된 현재 시점의 전방 제 2 이미지 정보(D)와 일정 시간(예를 들면, 0.5초) 이전 과거에 촬영된 상기 전방 제 1 이미지 정보(C)를 미리 저장된 이미지 정합(합성) 프로그램에서 정합하여 생성한 전방 정합 이미지 정보를 출력한다.
상기 일정 시간은 설명의 편의상 0.5초로 예시한 것 일뿐 이에 한정되는 것은 아니다.
상기 이미지 정합 프로그램은 도 5(a) 및 도 5(b)와 같이, 후방 제 1 이미지 정보(A)와 후방 제 2 이미지 정보(B)가 검출되면, 현재의 이미지 정보인 후방 제 2 이미지 정보(B)에 과거 이미지 정보인 후방 제 1 이미지 정보(A)를 정합시켜 도 5(c)와 같은 후방 정합 이미지 정보(A+B)를 생성한다.
이때 과거에 차량이 지나온 곳의 이미지인 후방 제 1 이미지 정보(A)를 임의의 정합 영역(A-1, A-2 및 A-3)으로 분리하고, 상기 분리된 임의의 정합 영역(A-1, A-2 및 A-3)과 현재 보이는 이미지인 후방 제 2 이미지 정보(B)에 대하여 물체 인식에 의한 특징점 추출을 통해 정합되는 후방 제 1 이미지 정보(A)의 정합 영역(A-1, A-2 및 A-3)들을 검출하며, 각각 정합되는 영역의 이미지 정보를 스티칭(stitching) 프로그램을 통해 이미지의 크기 등을 조절하여 정합한 후방 정합 이미지 정보(A+B)를 생성한다.
도 5(a)의 미설명 부호 (l)은 상기 임의의 정합 영역(A-1, A-2 및 A-3)으로 구분한 표시선이다.
본 실시예에서의 이미지 정합은 두 개의 이미지를 비교하여 유사도가 있는 픽셀의 이미지 영역을 정합하는 것을 실시예로 설명하였으나, 상기 이미지 정보의 정합은 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 속도 정보 및 조향각 정보에 따라 미리 설정된 단위 픽셀수 만큼 이동시킨 이미지 영역을 정합할 수도 있다.
즉 차량의 속도가 10Km 이고, 조향각이 10도인 경우 픽셀을 주행 방향에 따라 상/하방향 중 어느 하나의 방향으로 미리 설정된 단위 픽셀(예를 들면, 20픽셀)만큼 이동시키고, 조향 방향에 따라 좌측 또는 우측방향으로 미리 설정된 단위 픽셀(예를 들면, 10픽셀) 만큼 이동시킨 이미지 영역을 정합 할 수도 있다.
또한, 더욱 정밀한 이미지 정합을 위하여 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 속도 정보 및 조향각 정보에 따른 이미지의 검색 영역을 감소시키고, 검색 영역이 감소된 상기 이미지에서 유사도가 있는 픽셀의 이미지 영역을 추출하여 정합함으로써 이미지를 더욱 정밀하게 정합 할 수 있다.
즉 차량이 전방 또는 후방으로 주행하는 경우 이미지의 상단 영역 또는 하단 영역에서 새로운 픽셀들이 검색되므로 주행 방향 및 속도에 따라 검색 영역을 줄일 수 있고, 차량이 좌측 또는 우측으로 조향 할 경우 이미지의 좌측 영역 또는 우측 영역에서 새로운 픽셀들이 검색되므로 조향 방향 및 각도에 따라 검색 영역을 줄일 수 있으며, 검색 영역이 줄어든 이미지에서 유사도가 있는 픽셀의 이미지 영역을 추출하여 정합함으로써 더욱 정밀하게 이미지를 정합 할 수 있다.
또한, 상기 제어부(130)는 생성된 정합 이미지 정보 상에 차량의 현재 위치가 나타나도록 가상의 차량 아이콘 정보를 정합 시켜서 출력할 수 있다.
이를 더욱 상세하게 설명하면, 도 6(a)는 전방으로 주행중인 차량의 현재 이미지인 전방 제 2 이미지 정보(D)이고, 도 6(b)는 상기 전방 제 2 이미지 정보(D)의 일정 시간 이전 과거에 촬영된 전방 제 1 이미지 정보(C)를 정합한 전방 정합 이미지 정보(C+D)이다.
예를 들어, 제 2 카메라(120, 도 4 참조)가 과속 방지턱(300)이 설치된 곳의 전방 제 1 이미지 정보(C)를 촬영하고 이후 차량이 주행을 계속하여 0.5초 후 현재 위치에서 제 2 카메라(120', 도 4 참조)가 전방 제 2 이미지 정보(D)를 촬영한 경우, 차량의 대략적인 위치는 0.5초 전 과거에 촬영된 과속 방지턱(300)이 설치된 곳에 위치하게 되고, 이때 과속 방지턱(300)이 설치된 곳은 차체에 가려져 운전자의 시야 확보가 어려운 사각 지대에 위치하게 된다.
따라서, 상기 제어부(130)는 운전자가 사각 지대에 위치된 과속 방지턱(300)과 관련한 정보를 인식할 수 있도록 전방 정합 이미지 정보(C+D) 상의 과거 이미지 정보인 전방 제 1 이미지 정보(C)에 차량의 현재 위치를 표시하는 가상의 차량 아이콘(400)을 정합시켜 출력한다.
또한, 상기 제어부(130)가 차량이 현재 위치하는 곳에 가상의 차량 아이콘(400)을 표시함으로써, 운전자는 현재 과속 방지턱(300)이 설치된 구간을 통과하고 있음을 인식할 수 있게 되고, 차량 아이콘(400)을 중심으로 우측의 사각 지대 영역(C-1)과 좌측의 사각 지대 영역(C-2)을 확인할 수 있도록 한다.
상기 도 6(b)의 점선(l')은 차량의 전측 선단부 또는 운전자의 시야가 확보되는 경계선을 표시한다.
또한, 상기 제어부(130)는 가상의 차량 아이콘 정보(400)가 전방 정합 이미지 정보(C+D) 상에 차량 형상의 윤곽선 또는 반투명의 차량 형상 중 어느 하나로 표시되도록 하여 차량의 주변 도로상에 위치한 장애물 및 방향 안내 정보가 운전자에게 인식될 수 있도록 디스플레이한다.
이를 더욱 상세하게 설명하면, 도 7(a)는 현재 이미지인 전방 제 2 이미지 정보(D)이고, 도 7(b)는 일정 시간(예를 들면, 0.5초) 이전 과거 이미지인 전방 제 1 이미지 정보(C)이며, 도 7(c)는 상기 도 7(a) 및 도 7(b)를 정합한 전방 정합 이미지 정보(C+D)이다.
운전자가 주행중에 도로상에 인쇄된 방향 안내 정보(500)를 미처 인식하지 못한 경우 상기 방향 안내 정보(500)가 운전자에게 인식될 수 있도록 제어부(130)는 전방 정합 이미지 정보(C+D) 상에 디스플레이되는 가상의 차량 아이콘(400)이 반투명 이미지 또는 차량의 윤곽선 이미지만 표시되도록 정합시켜 표시되도록 한다.
또한, 상기 제어부(130)는 정합 이미지 정보의 영역 중에서 가상의 차량 아이콘(400)이 과거 이미지 정보가 표시되는 영역 상에 정합시켜 표시되도록 하여 차량의 현재 위치는 물론 차량의 전방, 좌측방, 우측방 또는 후방의 사각 지대가 운전자에게 디스플레이되도록 한다.
또한, 상기 제어부(130)는 현재 이미지 정보와 과거 이미지 정보에 포함된 고정된 물체 또는 이동중인 물체의 유무를 확인하여 정합된 이미지 정보 상에 표시되도록 하고, 확인된 물체까지의 거리 정보도 함께 표시되도록 한다.
즉 상기 제어부(130)는 하나의 카메라를 이용하여 이미지를 촬영한 경우 촬영한 현재 시점의 이미지와 일정 시간 이전 과거 시점에 촬영한 이미지를 이미지 프로세싱하여 현재 이미지와 과거 이미지에서 유사한 특성(예를 들면, 픽셀의 밝기, 에지의 유무 등)을 갖는 물체(픽셀) 정보를 찾아서 변위가 발생한 임의의 물체 정보(픽셀 정보)을 각각 검출한다.
상기 제어부(130)는 이미지 프로세싱을 통해 관심 있는 두 개의 이미지 비교를 통해 벡터로 정의된 화소들의 이동 변위와 각도 변위 등을 통해 유사도를 검출하여 물체를 인식하거나, 물체의 경계선 또는 윤곽선 등의 에지나 물체의 윤곽에 근사하는 선분, 곡선 등을 구하여 이용하기도 하고, 이미지 내에 존재하는 모서리점, 불변인 점, 또는 회전변환이나 크기 변화 등에 대하여 불변인 특징점을 이용한 인식을 수행할 수도 있으며, 이미지에 포함된 물체의 특징점을 추출하여 인식을 수행할 수도 있다.
또한, 상기 제어부(130)는 상기 현재 이미지에서 검출된 현재의 물체 위치와 과거의 이미지에서 검출한 과거의 물체 위치 간의 이동 변위(벡터)를 검출하고, 차량의 ECU, TCU, 휠 센서 또는 스티어링 각도 센서 등으로부터 제공되는 차량의 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하여 상기 두 물체의 이동 변위에 대응하는 이동 거리를 산출한다.
즉 상기 제어부(130)는 현재의 이미지상에 현재의 물체 위치와 과거의 물체 위치가 표시되도록 하고, 두 물체 간의 차이 값은 차량이 이동한 거리를 이용하여 두 물체 간의 이동 거리로 설정되도록 한다.
또한, 상기 제어부(130)는 현재 이미지상에 미리 설정된 기준점과 현재의 물체 및 과거의 물체까지의 변위를 검출하며, 상기 기준점과 현재의 물체 및 과거의 물체가 이루는 삼각형 정보 즉 상기 현재 물체와 과거 물체 간의 이동 변위를 기준변으로 하고, 상기 기준점이 현재 물체 및 과거 물체와 각각 이루는 변위를 다른 두 변으로 하며, 이들이 이루는 각을 각각 산출하여 기준점으로부터 현재 물체까지의 거리를 산출한다.
또한, 상기 제어부(130)는 산출되는 현재 물체의 위치가 정합된 이미지 정보의 영역 중에서 과거 이미지 정보의 영역 상에 위치하면, 물체의 이동 변위를 추정하여 추정된 예상 이동 변위와 차량의 속도와 상기 이동 변위로부터 검출한 현재 물체의 상대 속도 등에 기초하여 일정 시간 경과 후에 상기 정합된 이미지 정보의 과거 이미지 영역 상에 위치한 물체까지의 예상 위치와 거리를 산출하여 제공한다.
즉 차량이 전진을 하거나 또는 후진을 하는 경우 차량으로 접근하는 물체까지의 거리는 점점 작아지게 되고, 어느 순간에는 카메라의 촬영 범위를 벗어난 사각지대(정합된 이미지 정보 중에서 과거 이미지 영역)에 물체가 위치하게 된다.
또한, 상기 제어부(130)는 적어도 두 대 이상의 스테레오 카메라를 이용하는 경우 스테레오 비전을 통해 물체까지의 거리 추출을 수행할 수 있고, 이때 상기 물체의 이동 변위를 추정하여 추정된 예상 이동 변위와 차량의 속도와 상기 이동 변위로부터 검출한 현재 물체의 상대 속도 등에 기초하여 일정 시간 경과 후에 상기 정합된 이미지 정보의 과거 이미지 영역 상에 위치한 물체까지의 예상 위치와 거리를 산출하여 제공할 수 있다.
또한, 상기 제어부(130)는 상기 산출된 거리를 미리 설정된 충돌 판단용 기준 거리정보와 비교하고, 그 결과 충돌이 예상되면 경고음 또는 경고 화면이 표시되도록 경고 신호를 출력한다.
상기 스테레오 비전 프로그램은 차량의 전조등, 후미등 또는 사이드 미러의 좌측 및 우측에 각각 설치된 스테레오 카메라를 통해 좌측 및 우측의 이미지가 입력되면 좌측 및 우측 이미지에 대한 밝기 및 에피폴라 라인(epipolar line)을 일치시키는 스테레오 이미지 입력에 대한 전처리 과정을 수행하고, 동일한 물체로 판단되는 좌측 및 우측 이미지의 픽셀간 양안차(disparity)를 생성하는 스테레오 매칭을 수행하며, 이러한 양안차의 결과에서 노이즈 성분을 제거한 후에 그 스테레오 이미지의 거리 정보에 대한 프로젝션(projection), 세그멘테이션(segmentation), 필터링(filtering) 등의 후처리 과정을 수행하여 스테레오 이미지 정보를 획득함으로써 이러한 스테레오 이미지를 통해 물체의 거리, 모양, 방향 등의 정보를 검출하게 된다.
상기 스테레오 비전 프로그램은 하나의 실시예로서, 공지의 다양한 스테레오 비전 프로그램을 사용할 수도 있다.
상기 화면 표시부(140)는 제어부(130)로부터 출력되는 정합 이미지 정보와 가상의 차량 아이콘이 함께 출력되도록 하고, LCD 등의 출력수단으로 구성된다.
도 8은 본 발명에 따른 사각 지대를 표시하는 과정을 나타낸 흐름도이고, 도 2, 도 4, 도 7 및 도 8을 참조하여 전방으로 주행하는 차량(200)의 사각 지대를 표시하는 방법을 더욱 상세하게 설명한다.
차량(200)이 전방으로 주행(S100)하면, 차량에 설치된 제 2 카메라(120)는 차량(200)이 주행함에 따라 촬영을 시작하고, 제어부(130)는 일정 시간 전 과거에 상기 제 2 카메라(120)가 촬영한 전방 제 1 이미지 정보(C)를 검출(S110)하여 임시 저장한다.
상기 전방 제 1 이미지 정보(C)의 검출 후 상기 제어부(130)는 미리 설정된 일정 시간(예를 들면, 0.5초)이 경과된 현재 위치에서 제 2 카메라(120')가 촬영한 차량 주행 방향의 이미지인 전방 제 2 이미지 정보(D)를 검출(S120)한다.
상기 제어부(130)는 미리 저장된 이미지 정합 프로그램으로 과거에 보여진 이미지 정보인 상기 전방 제 1 이미지 정보(C)와 현재 보이는 이미지 정보인 상기 전방 제 2 이미지 정보(D)를 정합하여 전방 정합 이미지 정보(C+D)를 생성(S130)한다.
상기 S130단계의 이미지 정합은 두 개의 이미지를 비교하여 유사도가 있는 픽셀의 이미지 영역을 정합할 수도 있고, 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 속도 정보 및 조향각 정보에 따라 미리 설정된 단위 픽셀수 만큼 이동시킨 이미지 영역을 정합 할 수도 있다.
즉 차량의 속도가 10Km 이고, 조향각이 10도인 경우 픽셀을 주행 방향에 따라 상/하방향 중 어느 하나의 방향으로 미리 설정된 단위 픽셀(예를 들면, 20 픽셀)만큼 이동시키고, 조향 방향에 따라 좌측 또는 우측방향으로 미리 설정된 단위 픽셀(예를 들면, 10 픽셀) 만큼 이동시킨 이미지 영역을 정합 할 수도 있다.
또한, 더욱 정밀한 이미지 정합을 위하여 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 속도 정보 및 조향각 정보에 따른 이미지의 검색 영역을 감소시키고, 검색 영역이 감소된 상기 이미지에서 유사도가 있는 픽셀의 이미지 영역을 추출하여 정합함으로써 이미지를 더욱 정밀하게 정합할 수 있다.
상기 제어부(130)는 상기 S130단계에서 생성된 전방 정합 이미지 정보(C+D) 상에 차량의 현재 위치가 나타나도록 가상의 차량 아이콘(400)을 정합시켜 화면 포시부(140)를 통해 출력(S140)되도록 한다.
상기 S140 단계에서 출력되는 상기 가상의 차량 아이콘(400)은 상기 전방 정합 이미지 정보(C+D)의 과거 이미지 정보(C)에 표시되도록 하여 차량의 현재 위치와 상기 차량 아이콘(400)을 중심으로 전방, 좌/우측방 및 후방의 사각 지대 정보를 이미지를 통해 운전자에게 인식될 수 있도록 한다.
또한, 상기 제어부(130)는 상기 S140 단계에서 화면 표시부(140)를 통해 출력되는 상기 가상의 차량 아이콘(400)이 전방 정합 이미지 정보(C+D) 상에 반투명의 차량 형상 이미지 또는 차량의 윤곽선 이미지 등으로 표시되도록 하여 사각지대에 있는 장애물(예를 들면, 과속 방지턱, 경계석, 분리대 등)이나 방향 안내 정보(500)가 차량의 위치 정보와 함께 운전자에게 용이하게 인식될 수 있도록 한다.
또한, 상기 제어부(130)는 상기 S140 단계에서 이동중인 물체가 있는 경우 해당 물체의 예상 위치도 함께 출력할 수 있도록 현재 이미지인 제 2 이미지 정보와 과거 이미지인 제 1 이미지 정보를 미리 저장된 물체 인식 프로그램을 통해 특징점 추출에 의한 물체의 패턴 정보를 분석하여 물체를 인식하고, 상기 인식된 물체의 픽셀 정보가 이동하는 방향과 차량의 ECU, TCU, 휠 센서, 스티어링 각도 센서 등으로부터 제공되는 차량의 속도와 이동 거리 정보, 회전 정보를 포함한 운행 정보에 기초하여 인식된 물체의 이동 방향 정보와 속도 정보와 이동 거리 정보를 산출한다.
상기 제어부(130)는 상기 산출된 물체의 이동 방향, 속도 및 이동 거리 정보에 기초하여 상기 인식된 물체의 예상 위치 정보가 상기 S130 단계에서 생성된 전방 정합 이미지 정보(C+D) 상에 표시되도록 하여 운전자의 시인성 향상과 함께 이동중인 물체로 인한 사고 위험이 감소될 수 있도록 한다.
또한, 상기 제어부(130)가 상기 산출된 물체까지의 거리 및 속도 정보를 미리 설정된 충돌 판단용 기준 거리정보 및 속도 정보와 비교하여 물체와의 충돌이 예상되면 차량의 스피커 또는 화면을 통해 경고음이나 경고 화면이 표시되도록 경고 신호를 출력한다.
물체의 속도 정보는 고정된 물체의 경우 이동하지 않으므로 거리 정보만으로 충돌 여부를 판단하는 것이 가능하지만 이동하는 물체의 경우 거리 정보와 물체의 이동 속도 정보를 이용하여 충돌 여부를 판단하므로 더욱 정확하게 물체와의 충돌여부를 확인할 수 있게 된다.
따라서, 차량의 주행 방향을 촬영한 이미지를 실시간으로 정합하여 제공함으로써, 차량의 차체에 가려져 운전자의 시야 확보가 어려운 차량의 전방, 후방 및 측면의 사각 지대 정보를 운전자에게 제공할 수 있게 된다.
또한, 운전자의 시야 확보가 어려운 사각 지대를 확인할 수 있어서 운전자의 안전한 주행 환경 제공과 안전한 주차 환경을 제공하는 것이 가능하게 된다.
상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 사각 지대 표시 장치 110 : 제 1 카메라
110' : t초 경과 후의 제 1 카메라 120 : 제 2 카메라
120' : t초 경과 후의 제 2 카메라 130 : 제어부
140 : 화면 표시부 200 : 차량
200' : t초 경과 후의 차량 300 : 과속 방지턱
400 : 차량 아이콘 500 : 방향 안내 정보
110' : t초 경과 후의 제 1 카메라 120 : 제 2 카메라
120' : t초 경과 후의 제 2 카메라 130 : 제어부
140 : 화면 표시부 200 : 차량
200' : t초 경과 후의 차량 300 : 과속 방지턱
400 : 차량 아이콘 500 : 방향 안내 정보
Claims (18)
- 과거의 영상 이미지를 활용한 사각 지대 표시 장치로서,
차량에 설치되어 이미지를 촬영하는 적어도 하나 이상의 카메라;
상기 카메라가 임의의 시점에서 촬영한 이미지 정보와 상기 임의의 시점 전에 촬영한 과거 이미지 정보를 이미지 처리 프로그램을 통해 합성된 이미지 정보를 생성하고, 상기 차량의 현재 위치를 나타내는 차량 아이콘을 상기 생성된 이미지 정보에 윤곽선 또는 반투명으로 표시하여 차체에 의해 가려진 사각지대가 디스플레이되도록 상기 생성된 이미지 정보와 차량 아이콘을 출력하는 제어부; 및
상기 제어부로부터 출력되는 이미지 정보와 차량 아이콘이 디스플레이되도록 하는 화면 표시부를 포함하는 사각 지대 표시 장치. - 제 1 항에 있어서,
상기 차체에 의해 가려진 사각지대는 차량의 하부를 포함하는 것을 특징으로 하는 사각 지대 표시 장치. - 제 1 항 또는 제 2 항에 있어서,
상기 생성된 이미지 정보는 이미지만을 비교하여 유사도가 있는 픽셀의 이미지 영역을 정합하는 것을 특징으로 하는 사각 지대 표시 장치. - 제 1 항 또는 제 2 항에 있어서,
상기 생성된 이미지 정보는 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 속도 정보 및 조향각 정보에 따라 미리 설정된 단위 픽셀수 만큼 이동시킨 이미지 영역을 정합하는 것을 특징으로 하는 사각 지대 표시 장치. - 제 1 항 또는 제 2 항에 있어서,
상기 생성된 이미지 정보는 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 속도 정보 및 조향각 정보에 따른 이미지의 검색 영역을 감소시키고, 검색 영역이 감소된 상기 이미지에서 유사도가 있는 픽셀의 이미지 영역을 추출하여 정합하는 것을 특징으로 하는 사각 지대 표시 장치. - 제 1 항 또는 제 2 항에 있어서,
상기 제어부는 현재 이미지 정보와 과거 이미지 정보에서 물체를 인식하고, 상기 인식된 물체의 이동 방향과 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 상기 인식된 물체의 이동 방향 정보와 속도 정보와 이동 거리 정보를 산출하며, 상기 산출된 정보에 기초하여 상기 인식된 물체의 예상 위치 정보가 사각 지대를 포함한 상기 생성된 이미지상에 표시되도록 하는 것을 특징으로 하는 사각 지대 표시 장치. - 삭제
- 삭제
- 제 6 항에 있어서,
상기 제어부는 상기 산출된 물체까지의 거리와 물체의 이동 속도를 미리 설정된 충돌 판단용 기준 거리정보 및 속도 정보와 비교하고, 비교 결과 충돌이 예상되면 경고음 또는 경고 화면이 표시되도록 경고 신호를 출력하는 것을 특징으로 하는 사각 지대 표시 장치. - 과거의 영상 이미지를 활용한 사각 지대 표시 장치로서,
a) 차량이 임의의 시간 이전 과거에 지나오면서 카메라가 촬영한 제 1 이미지 정보를 제어부가 검출하는 단계;
b) 상기 제 1 이미지 정보의 촬영 후 상기 임의의 시점에 상기 카메라가 촬영한 제 2 이미지 정보를 상기 제어부가 검출하는 단계;
c) 상기 제어부가 이미지 처리 프로그램으로 상기 제 1 이미지 정보와 제 2 이미지 정보의 이미지 합성에 의한 이미지 정보를 생성하는 단계; 및
d) 상기 제어부가 상기 차량의 현재 위치를 나타내는 차량 아이콘을 상기 c) 단계에서 생성된 이미지 정보의 영역에 윤곽선 또는 반투명으로 표시하여 차체에 의해 가려진 사각지대가 디스플레이되도록 상기 생성된 이미지 정보와 차량 아이콘을 화면 표시부로 출력하는 단계를 포함하는 사각 지대 표시 방법. - 제 10 항에 있어서,
상기 차체에 의해 가려진 사각지대는 차량의 하부를 포함하는 것을 특징으로 하는 사각 지대 표시 방법. - 제 10 항 또는 제 11 항에 있어서,
상기 c)단계의 이미지 생성은 이미지만을 비교하여 유사도가 있는 픽셀의 이미지 영역을 정합하는 것을 특징으로 하는 사각 지대 표시 방법. - 제 10 항 또는 제 11 항에 있어서,
상기 c)단계의 이미지 생성은 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 속도 정보 및 조향각 정보에 따라 미리 설정된 단위 픽셀수 만큼 이동시킨 이미지 영역을 정합하는 것을 특징으로 하는 사각 지대 표시 방법. - 삭제
- 삭제
- 제 10 항 또는 제 11 항에 있어서,
상기 c)단계의 상기 이미지 정보의 생성은 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 속도 정보 및 조향각 정보에 따른 이미지의 검색 영역을 감소시키고, 검색 영역이 감소된 상기 이미지에서 유사도가 있는 픽셀의 이미지 영역을 추출하여 정합하는 것을 특징으로 하는 사각 지대 표시 방법. - 제 10 항 또는 제 11 항에 있어서,
상기 d) 단계는 상기 제어부가 제 2 이미지 정보와 제 1 이미지 정보에서 물체를 인식하고, 상기 인식된 물체의 이동 방향과 차량으로부터 제공되는 차량의 속도 및 이동 방향 정보를 포함한 차량의 운행 정보에 기초하여 상기 인식된 물체의 이동 방향 정보와 속도 정보와 이동 거리 정보를 산출하며, 상기 산출된 정보에 기초하여 상기 인식된 물체의 예상 위치 정보가 사각 지대를 포함한 상기 생성된 이미지상에 표시되도록 하는 단계를 더 포함하는 것을 특징으로 하는 사각 지대 표시 방법. - 제 17 항에 있어서,
상기 제어부가 상기 산출된 물체까지의 거리와 물체의 이동 속도를 미리 설정된 충돌 판단용 기준 거리정보 및 속도 정보와 비교하고, 비교 결과 충돌이 예상되면 경고음 또는 경고 화면이 표시되도록 경고 신호를 출력하는 단계를 더 포함하는 것을 특징으로 하는 사각 지대 표시 방법.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100138493A KR101097063B1 (ko) | 2010-12-30 | 2010-12-30 | 사각 지대 표시 장치 및 방법 |
| PCT/KR2011/010280 WO2012091476A2 (ko) | 2010-12-30 | 2011-12-29 | 사각 지대 표시 장치 및 방법 |
| EP11853246.4A EP2660104B1 (en) | 2010-12-30 | 2011-12-29 | Apparatus and method for displaying a blind spot |
| JP2013534836A JP2013541915A (ja) | 2010-12-30 | 2011-12-29 | 死角地帯の表示装置および方法 |
| CN201180057909.5A CN103237685B (zh) | 2010-12-30 | 2011-12-29 | 盲区显示装置及方法 |
| US13/996,346 US9418556B2 (en) | 2010-12-30 | 2011-12-29 | Apparatus and method for displaying a blind spot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100138493A KR101097063B1 (ko) | 2010-12-30 | 2010-12-30 | 사각 지대 표시 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101097063B1 true KR101097063B1 (ko) | 2011-12-22 |
Family
ID=45506724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100138493A KR101097063B1 (ko) | 2010-12-30 | 2010-12-30 | 사각 지대 표시 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101097063B1 (ko) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101295618B1 (ko) * | 2011-12-09 | 2013-08-12 | 주식회사 와이즈오토모티브 | 사각 지대 표시 장치 및 방법 |
| KR101378337B1 (ko) | 2012-10-30 | 2014-03-27 | 주식회사 이미지넥스트 | 카메라의 영상 처리 장치 및 방법 |
| KR20150019857A (ko) * | 2013-08-16 | 2015-02-25 | 삼성전기주식회사 | 어라운드 이미지 제공 시스템 및 어라운드 이미지 제공 방법 |
| KR20150129542A (ko) * | 2014-05-12 | 2015-11-20 | 현대모비스 주식회사 | 어라운드 뷰 시스템의 동작방법 |
| KR20160055515A (ko) * | 2014-11-10 | 2016-05-18 | 현대모비스 주식회사 | 사각지대 경보 제어 시스템 및 방법 |
| KR101734749B1 (ko) * | 2016-01-15 | 2017-05-11 | 조선대학교산학협력단 | 차량 주변 영상 정합 시스템 및 방법 |
| US9884590B2 (en) | 2015-05-11 | 2018-02-06 | Samsung Electronics Co., Ltd. | Extended view method, apparatus, and system |
| KR101839978B1 (ko) * | 2013-03-18 | 2018-04-26 | 주식회사 만도 | 차량의 주행 상태를 판단하기 위한 장치 및 방법 |
| CN113232659A (zh) * | 2020-02-06 | 2021-08-10 | 丰田自动车株式会社 | 死角信息取得装置及方法、车辆及记录了程序的记录介质 |
| CN115352365A (zh) * | 2022-08-30 | 2022-11-18 | 东风华神汽车有限公司 | 一种汽车盲区提醒方法、装置、电子设备和存储介质 |
| CN118528920A (zh) * | 2024-06-20 | 2024-08-23 | 镁佳(北京)科技有限公司 | 一种车门屏幕投影系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010109684A (ja) | 2008-10-30 | 2010-05-13 | Clarion Co Ltd | 車両周辺画像表示システム |
-
2010
- 2010-12-30 KR KR1020100138493A patent/KR101097063B1/ko active IP Right Review Request
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010109684A (ja) | 2008-10-30 | 2010-05-13 | Clarion Co Ltd | 車両周辺画像表示システム |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101295618B1 (ko) * | 2011-12-09 | 2013-08-12 | 주식회사 와이즈오토모티브 | 사각 지대 표시 장치 및 방법 |
| KR101378337B1 (ko) | 2012-10-30 | 2014-03-27 | 주식회사 이미지넥스트 | 카메라의 영상 처리 장치 및 방법 |
| KR101839978B1 (ko) * | 2013-03-18 | 2018-04-26 | 주식회사 만도 | 차량의 주행 상태를 판단하기 위한 장치 및 방법 |
| KR20150019857A (ko) * | 2013-08-16 | 2015-02-25 | 삼성전기주식회사 | 어라운드 이미지 제공 시스템 및 어라운드 이미지 제공 방법 |
| KR101994721B1 (ko) * | 2013-08-16 | 2019-07-01 | 삼성전기주식회사 | 어라운드 이미지 제공 시스템 및 어라운드 이미지 제공 방법 |
| KR20150129542A (ko) * | 2014-05-12 | 2015-11-20 | 현대모비스 주식회사 | 어라운드 뷰 시스템의 동작방법 |
| KR102159354B1 (ko) * | 2014-05-12 | 2020-09-23 | 현대모비스 주식회사 | 어라운드 뷰 시스템의 동작방법 |
| KR20160055515A (ko) * | 2014-11-10 | 2016-05-18 | 현대모비스 주식회사 | 사각지대 경보 제어 시스템 및 방법 |
| KR102239014B1 (ko) | 2014-11-10 | 2021-04-13 | 현대모비스 주식회사 | 사각지대 경보 제어 시스템 및 방법 |
| US9884590B2 (en) | 2015-05-11 | 2018-02-06 | Samsung Electronics Co., Ltd. | Extended view method, apparatus, and system |
| US10501015B2 (en) | 2015-05-11 | 2019-12-10 | Samsung Electronics Co., Ltd. | Extended view method, apparatus, and system |
| KR101734749B1 (ko) * | 2016-01-15 | 2017-05-11 | 조선대학교산학협력단 | 차량 주변 영상 정합 시스템 및 방법 |
| CN113232659A (zh) * | 2020-02-06 | 2021-08-10 | 丰田自动车株式会社 | 死角信息取得装置及方法、车辆及记录了程序的记录介质 |
| CN113232659B (zh) * | 2020-02-06 | 2023-12-26 | 丰田自动车株式会社 | 死角信息取得装置及方法、车辆及记录了程序的记录介质 |
| CN115352365A (zh) * | 2022-08-30 | 2022-11-18 | 东风华神汽车有限公司 | 一种汽车盲区提醒方法、装置、电子设备和存储介质 |
| CN118528920A (zh) * | 2024-06-20 | 2024-08-23 | 镁佳(北京)科技有限公司 | 一种车门屏幕投影系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101097063B1 (ko) | 사각 지대 표시 장치 및 방법 | |
| EP2660104B1 (en) | Apparatus and method for displaying a blind spot | |
| KR101243108B1 (ko) | 차량의 후방 영상 표시 장치 및 방법 | |
| JP5867273B2 (ja) | 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム | |
| KR101611194B1 (ko) | 차량 주변 이미지 생성 장치 및 방법 | |
| US8933797B2 (en) | Video-based warning system for a vehicle | |
| KR100936558B1 (ko) | 차량용 주변 감시 장치 및 영상 표시 방법 | |
| KR102062923B1 (ko) | 주차지원시스템 | |
| JP5408198B2 (ja) | 映像表示装置及び映像表示方法 | |
| JP2006341641A (ja) | 映像表示装置及び映像表示方法 | |
| KR101498973B1 (ko) | 차량용 주차 지원 시스템 및 방법 | |
| JP2004240480A (ja) | 運転支援装置 | |
| US20180208115A1 (en) | Vehicle display device and vehicle display method for displaying images | |
| CN112052716B (zh) | 识别装置、识别方法及存储介质 | |
| JP2010028803A (ja) | 駐車補助のための画像表示方法 | |
| JP2020068515A (ja) | 画像処理装置 | |
| CN110831818A (zh) | 泊车辅助方法以及泊车辅助装置 | |
| CN105793909B (zh) | 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备 | |
| CN109278642A (zh) | 车辆倒车安全性映射 | |
| KR101295618B1 (ko) | 사각 지대 표시 장치 및 방법 | |
| JP4795281B2 (ja) | 車両の安全装置 | |
| KR101190789B1 (ko) | 차량의 거리 측정 장치 및 방법 | |
| JP7327171B2 (ja) | 車両用電子ミラーシステム | |
| KR20160107529A (ko) | 차량 이미지가 애니메이션되는 주차 안내 장치 및 방법 | |
| US20180099613A1 (en) | Lane display device using outside mirror and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20141124 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20151110 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20161212 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20171211 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20181119 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20191127 Year of fee payment: 9 |
|
| J204 | Request for invalidation trial [patent] |