Nothing Special   »   [go: up one dir, main page]

KR102177879B1 - 차량의 객체 검출 장치 및 방법 - Google Patents

차량의 객체 검출 장치 및 방법 Download PDF

Info

Publication number
KR102177879B1
KR102177879B1 KR1020190022268A KR20190022268A KR102177879B1 KR 102177879 B1 KR102177879 B1 KR 102177879B1 KR 1020190022268 A KR1020190022268 A KR 1020190022268A KR 20190022268 A KR20190022268 A KR 20190022268A KR 102177879 B1 KR102177879 B1 KR 102177879B1
Authority
KR
South Korea
Prior art keywords
feature point
camera
image
camera unit
displacement
Prior art date
Application number
KR1020190022268A
Other languages
English (en)
Other versions
KR20200103984A (ko
Inventor
조흥래
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020190022268A priority Critical patent/KR102177879B1/ko
Priority to CN202010113080.7A priority patent/CN111611841B/zh
Priority to US16/801,558 priority patent/US11314972B2/en
Publication of KR20200103984A publication Critical patent/KR20200103984A/ko
Application granted granted Critical
Publication of KR102177879B1 publication Critical patent/KR102177879B1/ko
Priority to US17/704,036 priority patent/US11721033B2/en

Links

Images

Classifications

    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06K9/4661—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량의 객체 검출 장치 및 방법에 관한 것으로, 적어도 하나 이상의 카메라를 포함하여 차량의 주변 영상을 촬영하도록 구성된 제1카메라부, 적어도 하나 이상의 카메라를 포함하여 차량의 전방 영상을 촬영하도록 구성된 제2카메라부 및 상기 제1카메라부를 통해 획득된 영상에서 공통 영역에 위치한 특징점의 변위를 산출하고, 상기 특징점의 상기 제2카메라부를 통해 획득된 영상에서의 픽셀상 변위를 산출하며, 산출된 상기 특징점의 변위 및 상기 특징점의 픽셀상 변위에 기초하여 상기 제2카메라부를 통해 촬영된 영상에서 인식된 객체까지의 거리 정보를 산출하는 제어부를 포함하는 것을 특징으로 한다.

Description

차량의 객체 검출 장치 및 방법{APPARATUS AND METHOD OF OBJECT DETECTION FOR VEHICLE}
본 발명은 차량의 객체 검출 장치 및 방법에 관한 것으로, 보다 상세하게는 카메라를 이용하여 차량의 전방에 위치한 객체를 검출하는 장치 및 방법에 관한 것이다.
차량의 전장 기술의 발달에 따라 종래의 충돌 감지 시스템 등에서부터 최근의 자율 주행 차량에 이르기까지 운전자의 운전을 보조 또는 대체해주는 기술이 점점 늘어나고 있다.
이러한 기술들이 활용되기 위한 가장 기본적인 전제조건은 차량의 주변 존재하는 물체를 검출하는 것으로, 이에 대한 연구 및 개발이 지속적으로 이루어지고 있다.
차량에 적용되는 객체 검출 시스템은 다양한 센서를 사용하여 구현되고 있는데, 초음파 센서, 라이다 센서, 레이더 센서, 비전 센서(카메라) 등을 주로 사용하고 있다.
레이더 센서 등의 경우 차량 주변에 위치한 객체의 위치 정보(또는 자차량으로부터의 거리 정보)를 손쉽게 알 수 있으나, 객체의 형상을 파악하기가 어렵고, 카메라의 경우 객체의 형상을 파악하기에는 용이하나, 단일 카메라로는 객체의 위치 정보를 파악하기 어렵다는 단점이 있다.
이에 카메라와 다른 센서들을 복합적으로 사용하는 객체 검출 시스템이 주로 사용되고 있다.
이러한 센서들을 이용한 객체 검출 시스템은 기본적으로 검출된 객체의 자차량으로부터의 거리 정보와 검출된 객체를 둘러싸는 경계 박스(Bounding Box)를 산출하고, 산출된 정보를 차량 제어를 위한 제어시스템으로 전달하는 형태로 구성된다.
즉, 검출된 객체 정보를 조향 제어 시스템, 제동 제어 시스템, 자율 주행 제어 시스템 등으로 전달하여, 각 시스템에서 객체 정보를 이용한 차량 제어를 수행할 수 있도록 한다.
이러한 객체 검출 등을 수행하기 위해 차량에 전방 카메라가 장착되는 경우가 늘어나고 있다. 이러한 전방 카메라는 멀티 펑션 카메라(MFC)라고도 불리며, 일반적으로 차량 내부의 룸미러부근에 전방 방향으로 설치되어, 차량 전방을 촬영할 수 있도록 한다. 이러한 멀티 펑션 카메라는 전방의 먼거리까지의 촬영이 가능하며 넓은 시야각을 가지는 것이 일반적이다.
한편 차량의 편의 장치 중 하나로 서라운드 뷰 모니터(SVM) 시스템이 사용되고 있다. 이러한 서라운드 뷰 모니터는 차량의 앞뒤와 옆면에 부착된 카메라를 통해 차량 주위 공간을 차내에서 볼 수 있도록 하며, 일반적으로 카메라가 제한된 영역을 촬영하도록 지상을 향하는 방향으로 설치된다.
한편 본 발명의 배경기술은 대한민국 공개특허 10-2017-0119167호 (2017.10.26)에 개시되어 있다.
본 발명은 차량에 탑재되는 2종류의 카메라 시스템을 이용하여 객체 검출을 수행할 수 있도록 하는 차량의 객체 검출 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명에 따른 차량의 객체 검출 장치는 적어도 하나 이상의 카메라를 포함하여 차량의 주변 영상을 촬영하도록 구성된 제1카메라부; 적어도 하나 이상의 카메라를 포함하여 차량의 전방 영상을 촬영하도록 구성된 제2카메라부; 및 상기 제1카메라부를 통해 획득된 영상에서 공통 영역에 위치한 특징점의 변위를 산출하고, 상기 특징점의 상기 제2카메라부를 통해 획득된 영상에서의 픽셀상 변위를 산출하며, 산출된 상기 특징점의 변위 및 상기 특징점의 픽셀상 변위에 기초하여 상기 제2카메라부를 통해 촬영된 영상에서 인식된 객체까지의 거리 정보를 산출하는 제어부를 포함하는 것을 특징으로 한다.
본 발명에서 상기 제어부는, 상기 특징점의 변위 및 상기 특징점의 픽셀상 변위에 기초하여 상기 제2카메라부를 통해 촬영된 영상의 픽셀당 거리 정보를 산출하고, 상기 산출된 픽셀당 거리 정보를 이용하여 인식된 객체까지의 거리 정보를 산출하는 것을 특징으로 한다.
본 발명에서 상기 제어부는 상기 제1카메라부를 통해 획득된 영상의 픽셀당 거리 정보를 미리 저장하고 있는 것을 특징으로 한다.
본 발명에서 상기 공통 영역은 상기 제1카메라부의 촬영 영역과 상기 제2카메라부의 촬영 영역이 중첩되는 영역을 의미하는 것을 특징으로 한다.
본 발명에서 상기 제1카메라부에 포함된 카메라는 서라운드 뷰 모니터용 카메라이고, 상기 제2카메라부에 포함된 카메라는 멀티 펑션 카메라인 것을 특징으로 한다.
본 발명에 따른 차량의 객체 검출 장치는 상기 공통 영역에 광을 조사할 수 있는 램프 모듈을 더 포함하되, 상기 제어부는, 상기 램프 모듈을 통해 상기 공통 영역에 광을 조사하여 상기 특징점을 생성하는 것을 특징으로 한다.
본 발명에 따른 차량의 객체 검출 장치는 차량 외부의 조도를 측정하는 조도센서 및 상기 공통 영역에 광을 조사할 수 있는 램프 모듈을 더 포함하되, 상기 제어부는, 상기 조도센서를 통해 측정된 조도가 미리 설정된 기준에 부합하는 경우 상기 램프 모듈을 통해 상기 공통 영역에 광을 조사하여 상기 특징점을 생성하는 것을 특징으로 한다.
본 발명에서 상기 제어부는 상기 제1카메라부 및 제2카메라부에 포함된 카메라들에 대해 인접한 카메라의 영상을 결합하고, 결합된 영상에 대해 객체 인식을 수행하여 인식된 객체에 대한 경계 박스를 생성하는 것을 특징으로 한다.
본 발명에 따른 차량의 객체 검출 방법은 제어부가 차량의 주변 영상을 촬영하도록 구성된 제1카메라부를 통해 획득된 영상에서 공통 영역에 위치한 특징점의 변위를 산출하는 단계; 상기 제어부가 차량의 전방 영상을 촬영하도록 구성된 제2카메라부를 통해 획득된 영상에서 상기 특징점의 픽셀상 변위를 산출하는 단계; 및 상기 제어부가 산출된 상기 특징점의 변위 및 상기 특징점의 픽셀상 변위에 기초하여 상기 제2카메라부를 통해 촬영된 영상에서 인식된 객체까지의 거리 정보를 산출하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 인식된 객체까지의 거리 정보를 산출하는 단계는, 상기 제어부가 상기 특징점의 변위 및 상기 특징점의 픽셀상 변위에 기초하여 상기 제2카메라부를 통해 촬영된 영상의 픽셀당 거리 정보를 산출하는 단계; 및 상기 제어부가 상기 산출된 픽셀당 거리 정보를 이용하여 인식된 객체까지의 거리 정보를 산출하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 차량의 객체 검출 방법은 상기 특징점의 변위를 산출하는 단계전에, 상기 제어부가 램프 모듈을 통해 상기 공통 영역에 광을 조사하여 상기 특징점을 생성하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 차량의 객체 검출 방법은 상기 특징점을 생성하는 단계전에, 상기 제어부가 조도센서를 통해 차량 외부의 조도를 측정하는 단계를 더 포함하되, 상기 제어부는 상기 조도 센서를 통해 측정된 조도가 미리 설정된 기준에 부합하는 경우에 상기 특징점을 생성하는 단계를 수행하는 것을 특징으로 한다.
본 발명에 따른 차량의 객체 검출 방법은 상기 제어부가 상기 제1카메라부 및 제2카메라부에 포함된 카메라들에 대해 인접한 카메라의 영상을 결합하는 단계; 및 상기 제어부가 결합된 영상에 대해 객체 인식을 수행하여 인식된 객체에 대한 경계 박스를 생성하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 차량의 객체 검출 방법은 상기 제어부가 램프 모듈을 통해 상기 공통 영역 전체에 광을 조사하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 차량의 객체 검출 장치 및 방법은 차량에 탑재되는 2종류의 카메라 시스템을 이용하여 객체의 거리 정보 및 경계 박스 검출을 수행할 수 있도록 함으로써, 레이더나 라이다 등의 센서를 사용하지 않을 수 있도록 하는 효과가 있다.
또한 본 발명의 실시예에 따른 차량의 객체 검출 장치 및 방법은 광원 조사 및 영상 결합을 통해 가혹환경조건(저조도 및 역광) 및 취약영역(저해상도 저화질)내의 물체 인식 성능을 향상시킬 수 있도록 하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 차량의 객체 검출 장치의 구성을 나타낸 블록구성도이다.
도 2는 본 발명의 실시예에 따른 차량의 객체 검출 장치에서의 MFC와 SVM의 촬영 영역을 설명하기 위한 예시도이다.
도 3 내지 도 6은 본 발명의 실시예에 따른 차량의 객체 검출 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 차량의 객체 검출 장치 및 방법의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
한편 당 분야에서 통상적인 바와 같이, 일부 예시적인 실시예가 기능 블록, 유닛 및/또는 모듈의 관점에서 첨부 도면에 도시될 수 있다. 당업자는 이러한 블록들, 유닛들, 및/또는 모듈들이 논리 회로, 이산 부품들, 프로세서들, 하드 와이어드 회로들, 메모리 소자들, 배선 접속들과 같은 전자(또는 광학) 회로들에 의해 물리적으로 구현된다는 것을 이해할 것이다. 블록, 유닛 및/또는 모듈이 프로세서 또는 다른 유사한 하드웨어에 의해 구현되는 경우, 이들은 본 명세서에서 논의된 다양한 기능을 수행하기 위해 소프트웨어(예를 들어, 코드)를 사용하여 프로그래밍 되고, 제어될 수 있다. 또한, 각각의 블록, 유닛 및/또는 모듈은 전용 하드웨어에 의해, 또는 일부 기능을 수행하기위한 전용 하드웨어 및 다른 기능을 수행하기위한 프로세서(예를 들어, 하나 이상의 프로그램된 프로세서 및 관련 회로)의 조합으로서 구현 될 수 있다. 기능. 또한, 일부 예시적인 실시예의 각각의 블록, 유닛 및/또는 모듈은 본 발명의 개념의 범위를 벗어나지 않고 물리적으로 두 개 이상의 상호 작용하고 이산적인 블록, 유닛 및/또는 모듈로 분리 될 수 있다. 또한, 일부 예시적인 실시예의 블록, 유닛 및/또는 모듈은 본 발명의 개념의 범위를 벗어나지 않으면서 더 복잡한 블록, 유닛 및/또는 모듈로 물리적으로 결합 될 수 있다.
도 1은 본 발명의 실시예에 따른 차량의 객체 검출 장치의 구성을 나타낸 블록구성도이고, 도 2는 본 발명의 실시예에 따른 차량의 객체 검출 장치에서의 MFC와 SVM의 촬영 영역을 설명하기 위한 예시도로서, 이를 참조하여 본 발명의 실시예에 따른 차량의 객체 검출 장치를 설명하면 다음과 같다.
도 1에서 볼 수 있듯이, 본 발명의 실시예에 따른 차량의 객체 검출 장치는 제어부(100), 제1카메라부(110), 제2카메라부(120), 조도센서(130), 램프 모듈(140)을 포함할 수 있다.
제1카메라부(110) 및 제2카메라부(120)는 각각 차량의 주변을 촬영하기 위해 설치되며, 각각 적어도 하나 이상의 카메라를 포함할 수 있다. 바람직하게 제1카메라부(110)는 서라운드 뷰 모니터용 카메라이고, 제2카메라부(120)는 멀티 펑션 카메라일 수 있다. 즉, 제1카메라부(110)는 제2카메라부(120)와 비교할 때, 카메라의 촬영 각도가 지상을 향하도록 설치될 수 있다.
도 2는 이러한 제1카메라부(110)의 촬영 영역(200), 제2카메라부(120)의 촬영 영역(210) 및 이들의 영역이 중첩되는 공통 영역(220)을 나타낸 것으로 후술할바와 같이 공통 영역을 이용하여 전방 객체의 거리 정보를 산출할 수 있도록 한다.
조도센서(130)는 외부의 조도를 측정할 수 있다.
램프 모듈(140)는 차량의 전조등과 같이 차량 외부에 조명을 제공하는 장치이며, 차량에 설치된 외부 조명 장치 전체 또는 그 일부를 지칭할 수 있다.
램프 모듈(140)은 도 2의 공통 영역(220)에 광을 조사할 수 있도록 구성되며, 라이트 광원뿐만 아니라 레이저 광원을 포함하는 형태로 구성될 수 있다.
제어부(100)는 차량 전방에 위치한 객체를 검출하고, 검출된 객체의 정보(거리 정보 및 경계 박스)를 조향 제어부(150)나 제동 제어부(160)와 같은 제어기로 전달하여 자율주행이나 충돌 방지 등의 기능이 동작할 수 있도록 한다.
구체적으로 제어부(100)는 먼저 제1카메라부(110)를 통해 획득된 영상에서 공통 영역(220)에 위치한 특징점의 변위를 산출한다.
즉, 제1카메라부(110)는 SVM처럼 제한된 영역만을 촬영하도록 지상을 향하는 방향으로 설치되므로, 제1카메라부(110)가 차량에 설치되어 출고될 때, 카메라의 제원, 설치위치, 차량의 제원 등에 따라 촬영된 영상의 각 픽셀당 차량으로부터의 거리 정보가 결정된다. 따라서, 제어부(100)는 이러한 제1카메라부(110)의 각 픽셀당 거리 정보를 이용하여 일정시간 동안의 특징점의 변위를 산출할 수 있다. 즉, 제1카메라부(110)의 각 픽셀당 거리에 특징점의 픽셀상 변위를 곱하여 특징점의 변위를 산출할 수 있다.
이러한 특징점은 공통 영역(220)에 위치한 것이므로, 제2카메라부(120)를 통해 획득된 영상에도 존재한다. 이에 제어부(100)는 제2카메라부(120)를 통해 획득된 영상에서 공통 영역(220)에 위치한 특징점의 픽셀상 변위를 산출한다.
즉, 제2카메라부(120)의 경우 지상이 아니라 전방을 향하도록 구성되므로, 촬영된 영상의 존재하는 특징점의 거리 정보를 정확하게 파악하기가 어렵다. 따라서 제어부(100)는 제2카메라부(120)를 통해 획득된 영상에서 공통 영역(220)에 위치한 특징점의 변위 자체를 산출하는 것이 아니라 일정시간 동안의 픽셀상 변위를 산출한다.
제어부(100)는 이렇게 제1카메라부(110)를 통해 획득된 특징점의 변위와 제2카메라부(120)를 통해 획득된 특징점의 픽셀상 변위를 결합하여 제2카메라부(120)를 통해 촬영된 영상의 픽셀당 거리를 산출한다.
구체적으로 예를 들어, 제1카메라부(110)를 통해 획득된 특징점의 변위가 10cm이고, 제2카메라부(120)를 통해 획득된 특징점의 픽셀상 변위가 20픽셀인 경우, 제2카메라부(120)를 통해 촬영된 영상의 픽셀당 거리는 0.5cm인 것으로 산출될 수 있다.
또한 이러한 과정에서 정확한 거리 정보의 산출을 위해 차량의 시간 정보, 차속 정보 등을 더 활용하여, 제1카메라부(110)와 제2카메라부(120)의 영상의 시간 동기화, 산출된 거리 정보의 체크 등을 수행할 수 있다.
한편 공통 영역(220)에 특징점이 존재하지 않거나 외부 조도 상황에 따라 특징점의 검출이 쉽지 않은 환경에 차량이 위치할 수 있으므로, 이러한 경우에 제어부(100)는 램프 모듈(140)을 이용하여 공통 영역(220)에 특징점을 생성할 수 있다.
즉, 제어부(100)는 램프 모듈(140)을 통해 레이저나 라이트를 공통 영역(220)에 조사하여 광학적 특징점을 생성할 수 있고, 이렇게 생성된 특징점을 이용하여 전술한 제2카메라부(120)를 통해 촬영된 영상의 픽셀당 거리 산출을 수행할 수 있다.
이때 제어부(100)는 외부의 조도를 고려하여 특징점 생성을 수행하도록 구성될 수 있다. 즉, 조도센서(130)를 통해 측정되는 외부 조도가 너무 높거나(역광 기준값 이상이거나), 너무 낮은 경우(저조도 기준값 이하)에는 특징점을 판별하는 것이 용이하지 않을 수 있으므로, 제어부(100)는 램프 모듈(140)을 통해 레이저나 라이트를 공통 영역(220)에 조사하여 광학적 특징점을 생성할 수 있다.
여기서 제어부(100)는 생성된 특징점을 이용하여 전술한 거리 정보를 산출할 수 있도록, 레이저 또는 라이트의 조사 위치(즉, 상하 각도)를 변경하여 거리 정보 산출이 가능하도록 할 수 있다. 이때 제어부(100)는 레이저 또는 라이트의 조사 위치가 특정 지점으로 고정되도록(차량과 상대적이 아니라 절대적으로 특정 위치에 위치하도록), 차량의 속도에 따라 레이저 또는 라이트의 조사 위치를 변경하도록 구성될 수 있다.
한편 일부 실시예에서 제어부(100)는 조도센서(130)를 이용하지 않고, 제1카메라부(110) 및/또는 제2카메라부(120)를 통해 촬영된 영상의 이미지 밝기값을 판단하여 특징점을 생성하도록 구성될 수도 있고, 조도센서(130)의 측정값과 촬영된 영상의 이미지 밝기값을 종합하여 특징점 생성 여부를 결정할 수도 있다.
제어부(100)는 상술한 과정을 통해 산출된 제2카메라부(120)를 통해 촬영된 영상의 픽셀당 거리를 이용하여 차량의 전방 객체까지의 거리 정보를 산출할 수 있다.
한편 제어부(100)는 제2카메라부(120)를 통해 촬영된 영상에서 객체를 검출할 수 있도록 구성된다.
예를 들어, 제어부(100)는 종래의 영상 처리 기법이나 최근에 활용되는 딥러닝 기반의 영상 인식 기법을 이용하여 촬영된 영상에서 객체의 경계 박스를 산출할 수 있으며, 이러한 영상 처리 기법이나 딥러닝 방식을 이용한 경계 박스 산출은 본 발명의 기술분야에서 이미 널리 사용되고 있으므로, 이에 대한 더 자세한 설명은 생략하기로 한다.
제어부(100)는 전술한 영상의 픽셀당 거리 정보를 이용하여 이렇게 산출된 경계 박스의 차량에서부터의 거리를 산출하고, 산출된 경계 박스와 그 거리 정보를 차량의 다른 제어 장치들로 전송하거나, 제어부(100) 자체적으로 활용하도록 구성될 수 있다.
한편 제어부(100)는 제2카메라부(120)를 통해 촬영된 영상에서 객체를 검출할 때, 객체의 인식 성능을 보다 향상시키기 위한 동작을 수행할 수 있다.
예를 들어, 램프 모듈(140)이 제1카메라부(110) 및 제2카메라부(120)의 촬영 영역에 라이트를 조사할 수 있도록 구성되므로, 이러한 영역에 라이트를 조사하여 야간 저조도 상황이나 주간 역광 상황에서 물체의 인식 성능을 향상시킬 수 있다.
특히 공통 영역(220)의 경우 카메라의 외각부분에 해당되어, 자주 사용되는 딥러닝이나 종래의 영상 처리 기법에서 물체의 미인식 또는 오인식 확률이 높은 영역에 해당된다. 따라서 제어부(100)는 공통 영역(220) 전체에 라이트를 조사하여 물체의 인식 성능을 향상시킬 수 있다.
또한 전술한 것과 같이 카메라를 통해 촬영된 영상에 대한 딥러닝(또는 영상 처리)을 수행할 때, 외각 영역의 경우 정확한 인식이 이루어지지 않는 경우가 많다. 이에 제어부(100)는 제1카메라부(110) 및 제2카메라부(120)의 각 카메라들에 대해 인접한 카메라 영상을 결합하고, 결합된 영상을 이용하여 딥러닝 또는 영상 처리를 수행하여 객체 인식을 수행하도록 구성될 수 있다.
도 3 내지 도 6은 본 발명의 실시예에 따른 차량의 객체 검출 방법을 설명하기 위한 흐름도이다.
도 3에 도시된 것과 같이, 본 발명의 일 실시예에 따른 차량의 객체 검출 방법에서 제어부(100)는 먼저 SVM를 통한 영상과 MFC를 통한 영상을 입력받는다(S300).
이어서 제어부(100)는 SVM 영상에서 공통 영역(220)에 위치한 특징점의 변위를 산출한다(S310). SVM 영상의 경우 일정한 영역을 지상 방향으로 촬영하는 것이므로, 차량의 출고 시에 SVM 영상의 각 픽셀당 거리 정보가 정해진다. 제어부(100)는 이러한 SVM 영상의 각 픽셀당 거리 정보를 이용하여 일정시간 동안의 특징점의 변위를 산출할 수 있다.
또한 제어부(100)는 MFC 영상에서 특징점의 픽셀상 변위를 산출한다(S320). MFC는 지상이 아니라 전방을 향하도록 구성되므로, 촬영된 영상의 존재하는 특징점의 거리 정보를 정확하게 파악하기가 어렵다. 따라서 제어부(100)는 MFC를 통해 획득된 영상에서 공통 영역(220)에 위치한 특징점의 변위 자체를 산출하는 것이 아니라 일정시간 동안의 픽셀상 변위를 산출한다.
이어서 제어부(100)는 상기 단계(S310)에서 산출된 특징점의 SVM 영상에서의 변위와 상기 단계(S320)에서 산출된 특징점의 MFC 영상에서의 픽셀상 변위에 기초하여 MFC 영상의 픽셀당 거리를 산출한다(S330). 구체적으로 예를 들어, SVM 영상에서의 특징점의 변위가 10cm이고, MFC 영상에서의 특징점의 픽셀상 변위가 20픽셀인 경우, MFC 영상의 픽셀당 거리는 0.5cm인 것으로 산출될 수 있다.
이후 제어부(100)는 전방에서 인식된 물체의 거리 정보를 산출한다(S340). 즉, 제어부(100)는 MFC 영상에서 검출된 객체에 대해 MFC 영상의 픽셀당 거리를 이용하여 그 거리 정보를 산출할 수 있다.
도 4에 도시된 것과 같이, 본 발명의 다른 실시예에 따른 차량의 객체 검출 방법에서 제어부(100)는 먼저 SVM를 통한 영상과 MFC를 통한 영상을 입력받는다(S400).
이어서 제어부(100)는 저조도 또는 고조도에 해당하는지 판단한다(S410). 제어부(100)는 조도센서(130)를 통해 측정되는 외부 조도가 너무 높거나(역광 기준값 이상이거나), 너무 낮은 경우(저조도 기준값 이하)인지 여부를 판단하거나, 촬영된 영상의 이미지 밝기값을 판단하여 외부 조도를 추정하도록 구성될 수도 있고, 조도센서(130)의 측정값과 촬영된 영상의 이미지 밝기값을 종합하여 외부 조도를 추정하도록 구성될 수도 있다.
저조도 또는 고조도에 해당하는 경우, 제어부(100)는 공통 영역(220)에 레이저 또는 라이트를 조사하여 특징점을 생성하거나, 객체 인식 성능을 향상시킬 수 있다. 즉, 저조도 또는 고조도 상황에서는 주변에 존재하는 특징점의 검출이 어려울 수 있으므로, 제어부(100)는 램프 모듈(140)을 통해 레이저나 라이트를 공통 영역(220)에 조사하여 광학적 특징점을 생성할 수 있다.
또는 공통 영역(220)의 경우 카메라의 외각부분에 해당되어, 물체의 미인식 또는 오인식 확률이 높은 영역에 해당되므로, 저조도 또는 고조도 상황에서 제어부(100)는 공통 영역(220)에 라이트를 조사하여 물체의 인식 성능을 향상시킬 수 있다.
이후 제어부(100)는 특징점을 통한 객체의 거리 정보 산출을 수행(S430~S460)하며, 이는 전술한 도 3의 단계(S310~S340)과 같은 방식으로 수행될 수 있다.
도 5에 도시된 것과 같이, 본 발명의 또 다른 실시예에 따른 차량의 객체 검출 방법에서 제어부(100)는 먼저 SVM를 통한 영상과 MFC를 통한 영상을 입력받는다(S500).
이어서 제어부(100)는 복수의 카메라들 중에서 인접한 카메라의 영상을 결합하여 결합된 영상을 생성한다(S510). 카메라를 통해 촬영된 영상에 대한 딥러닝(또는 영상 처리)을 수행할 때, 외각 영역의 경우 정확한 인식이 이루어지지 않는 경우가 많다. 이에 제어부(100)는 MFC/SVM의 각 카메라들에 대해 인접한 카메라 영상을 결합하여 결합된 영상을 생성할 수 있다.
이후 제어부(100)는 결합된 영상에 존재하는 물체를 인식하고(S520), 인식된 물체의 경계 박스를 산출한다(S530). 즉, 제어부(100)는 카메라를 통해 촬영된 영상에 대한 딥러닝(또는 영상 처리)을 수행할 때, 외각 영역의 경우 정확한 인식이 이루어지지 않는 경우가 많다. 이에 제어부(100)는 결합된 영상을 이용하여 딥러닝 또는 영상 처리를 수행하여 객체 인식을 수행하도록 구성될 수 있다.
도 6은 도 4 및 도 5의 동작을 하나의 순서도로 표시한 것이다. 즉, 도 4의 설명과 같이, 단계(S610~S650)이 수행되고, 도 5의 설명과 같이, 단계(S660~S680)이 수행될 수 있다. 이러한 동작에 따라 제어부(100)는 MFC 영상의 픽셀당 거리 정보 및 전방에서 인식된 객체의 경계 박스를 산출하므로, 단계(S690)에서 제어부(100)는 이를 통해 인식된 객체의 경계 박스의 거리 정보 즉, 인식된 객체의 거리 정보를 산출한다.
이와 같이 본 발명의 실시예에 따른 차량의 객체 검출 장치 및 방법은 차량에 탑재되는 2종류의 카메라 시스템을 이용하여 객체의 거리 정보 및 경계 박스 검출을 수행할 수 있도록 함으로써, 레이더나 라이다 등의 센서를 사용하지 않을 수 있도록 한다.
또한 본 발명의 실시예에 따른 차량의 객체 검출 장치 및 방법은 광원 조사 및 영상 결합을 통해 가혹환경조건(저조도 및 역광) 및 취약영역(저해상도 저화질)내의 물체 인식 성능을 향상시킬 수 있도록 한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100: 제어부
110: 제1카메라부
120: 제2카메라부
130: 조도센서
140: 램프 모듈
150: 조향 제어부
160: 제동 제어부

Claims (14)

  1. 적어도 하나 이상의 카메라를 포함하여 차량의 주변 영상을 촬영하도록 구성된 제1카메라부;
    적어도 하나 이상의 카메라를 포함하여 차량의 전방 영상을 촬영하도록 구성된 제2카메라부; 및
    상기 제1카메라부를 통해 획득된 영상에서의 공통 영역에 위치한 특징점의 픽셀상 변위에 상기 제1카메라부를 통해 획득된 영상의 픽셀당 거리를 곱하여 상기 특징점의 변위를 산출하고, 상기 특징점의 상기 제2카메라부를 통해 획득된 영상에서의 픽셀상 변위를 산출하며, 산출된 상기 특징점의 변위 및 상기 특징점의 상기 제2카메라부를 통해 획득된 영상에서의 픽셀상 변위에 기초하여 상기 제2카메라부를 통해 촬영된 영상에서 인식된 객체까지의 거리 정보를 산출하는 제어부를 포함하는 차량의 객체 검출 장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 특징점의 변위 및 상기 특징점의 픽셀상 변위에 기초하여 상기 제2카메라부를 통해 촬영된 영상의 픽셀당 거리 정보를 산출하고, 상기 산출된 픽셀당 거리 정보를 이용하여 인식된 객체까지의 거리 정보를 산출하는 것을 특징으로 하는 차량의 객체 검출 장치.
  3. 제1항에 있어서,
    상기 제어부는 상기 제1카메라부를 통해 획득된 영상의 픽셀당 거리 정보를 미리 저장하고 있는 것을 특징으로 하는 차량의 객체 검출 장치.
  4. 제1항에 있어서,
    상기 공통 영역은 상기 제1카메라부의 촬영 영역과 상기 제2카메라부의 촬영 영역이 중첩되는 영역을 의미하는 것을 특징으로 하는 차량의 객체 검출 장치.
  5. 제1항에 있어서,
    상기 제1카메라부에 포함된 카메라는 서라운드 뷰 모니터용 카메라이고, 상기 제2카메라부에 포함된 카메라는 멀티 펑션 카메라인 것을 특징으로 하는 차량의 객체 검출 장치.
  6. 제1항에 있어서,
    상기 공통 영역에 광을 조사할 수 있는 램프 모듈을 더 포함하되,
    상기 제어부는, 상기 램프 모듈을 통해 상기 공통 영역에 광을 조사하여 상기 특징점을 생성하는 것을 특징으로 하는 차량의 객체 검출 장치.
  7. 제1항에 있어서,
    차량 외부의 조도를 측정하는 조도센서 및 상기 공통 영역에 광을 조사할 수 있는 램프 모듈을 더 포함하되,
    상기 제어부는, 상기 조도센서를 통해 측정된 조도가 미리 설정된 기준에 부합하는 경우 상기 램프 모듈을 통해 상기 공통 영역에 광을 조사하여 상기 특징점을 생성하는 것을 특징으로 하는 차량의 객체 검출 장치.
  8. 제1항에 있어서,
    상기 제어부는 상기 제1카메라부 및 제2카메라부에 포함된 카메라들에 대해 인접한 카메라의 영상을 결합하고, 결합된 영상에 대해 객체 인식을 수행하여 인식된 객체에 대한 경계 박스를 생성하는 것을 특징으로 하는 차량의 객체 검출 장치.
  9. 제어부가 차량의 주변 영상을 촬영하도록 구성된 제1카메라부를 통해 획득된 영상에서의 공통 영역에 위치한 특징점의 픽셀상 변위에 상기 제1카메라부를 통해 획득된 영상의 픽셀당 거리를 곱하여 상기 특징점의 변위를 산출하는 단계;
    상기 제어부가 차량의 전방 영상을 촬영하도록 구성된 제2카메라부를 통해 획득된 영상에서 상기 특징점의 픽셀상 변위를 산출하는 단계; 및
    상기 제어부가 산출된 상기 특징점의 변위 및 상기 특징점의 상기 제2카메라부를 통해 획득된 영상에서의 픽셀상 변위에 기초하여 상기 제2카메라부를 통해 촬영된 영상에서 인식된 객체까지의 거리 정보를 산출하는 단계를 포함하는 차량의 객체 검출 방법.
  10. 제9항에 있어서,
    상기 인식된 객체까지의 거리 정보를 산출하는 단계는,
    상기 제어부가 상기 특징점의 변위 및 상기 특징점의 픽셀상 변위에 기초하여 상기 제2카메라부를 통해 촬영된 영상의 픽셀당 거리 정보를 산출하는 단계; 및
    상기 제어부가 상기 산출된 픽셀당 거리 정보를 이용하여 인식된 객체까지의 거리 정보를 산출하는 단계를 포함하는 것을 특징으로 하는 차량의 객체 검출 방법.
  11. 제9항에 있어서,
    상기 특징점의 변위를 산출하는 단계전에,
    상기 제어부가 램프 모듈을 통해 상기 공통 영역에 광을 조사하여 상기 특징점을 생성하는 단계를 더 포함하는 것을 특징으로 하는 차량의 객체 검출 방법.
  12. 제11항에 있어서,
    상기 특징점을 생성하는 단계전에,
    상기 제어부가 조도센서를 통해 차량 외부의 조도를 측정하는 단계를 더 포함하되,
    상기 제어부는 상기 조도 센서를 통해 측정된 조도가 미리 설정된 기준에 부합하는 경우에 상기 특징점을 생성하는 단계를 수행하는 것을 특징으로 하는 차량의 객체 검출 방법.
  13. 제9항에 있어서,
    상기 제어부가 상기 제1카메라부 및 제2카메라부에 포함된 카메라들에 대해 인접한 카메라의 영상을 결합하는 단계; 및
    상기 제어부가 결합된 영상에 대해 객체 인식을 수행하여 인식된 객체에 대한 경계 박스를 생성하는 단계를 더 포함하는 것을 특징으로 하는 차량의 객체 검출 방법.
  14. 제13항에 있어서,
    상기 제어부가 램프 모듈을 통해 상기 공통 영역 전체에 광을 조사하는 단계를 더 포함하는 것을 특징으로 하는 차량의 객체 검출 방법.
KR1020190022268A 2019-02-26 2019-02-26 차량의 객체 검출 장치 및 방법 KR102177879B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190022268A KR102177879B1 (ko) 2019-02-26 2019-02-26 차량의 객체 검출 장치 및 방법
CN202010113080.7A CN111611841B (zh) 2019-02-26 2020-02-24 用于车辆的对象检测设备和方法
US16/801,558 US11314972B2 (en) 2019-02-26 2020-02-26 Object detection apparatus and method for vehicle
US17/704,036 US11721033B2 (en) 2019-02-26 2022-03-25 Object detection apparatus and method for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190022268A KR102177879B1 (ko) 2019-02-26 2019-02-26 차량의 객체 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200103984A KR20200103984A (ko) 2020-09-03
KR102177879B1 true KR102177879B1 (ko) 2020-11-12

Family

ID=72140364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190022268A KR102177879B1 (ko) 2019-02-26 2019-02-26 차량의 객체 검출 장치 및 방법

Country Status (3)

Country Link
US (2) US11314972B2 (ko)
KR (1) KR102177879B1 (ko)
CN (1) CN111611841B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102177878B1 (ko) * 2019-03-11 2020-11-12 현대모비스 주식회사 영상 처리 장치 및 방법
US20230351621A1 (en) * 2019-12-09 2023-11-02 Telefonaktiebolaget Lm Ericsson (Publ) Joint visual object detection and object mapping to a 3d model
DE102020005343A1 (de) * 2020-08-31 2022-03-03 Daimler Ag Verfahren zur Objektverfolgung von mindestens einem Objekt, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung
US11509833B2 (en) 2021-03-04 2022-11-22 Ford Global Technologies, Llc Illumination control for vehicle sensors
KR102626013B1 (ko) * 2021-04-01 2024-01-19 한국자동차연구원 객체 인식을 통한 전기 자동차의 충전 장치 및 그 방법
WO2024043353A1 (ko) * 2022-08-22 2024-02-29 엘지전자 주식회사 비디오 카메라 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009294842A (ja) * 2008-06-04 2009-12-17 Nissan Motor Co Ltd 歩行者検出装置及び歩行者検出方法
JP2013093865A (ja) * 2012-12-07 2013-05-16 Mitsubishi Motors Corp 車両周辺監視装置
JP5472538B2 (ja) * 2011-06-14 2014-04-16 日産自動車株式会社 距離計測装置及び環境地図生成装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103764448B (zh) * 2011-09-05 2016-03-02 三菱电机株式会社 图像处理装置及图像处理方法
KR20140065210A (ko) * 2012-11-21 2014-05-29 엘지전자 주식회사 차랑용 거리 측정 장치 및 방법
KR102149273B1 (ko) * 2013-12-10 2020-08-28 한화테크윈 주식회사 번호판 인식 방법 및 장치
CN106796648B (zh) * 2014-06-03 2020-11-24 御眼视觉技术有限公司 用于检测对象的系统和方法
KR20170119167A (ko) 2016-04-18 2017-10-26 한국전자통신연구원 도로 상의 객체를 검출하기 위한 객체 검출 시스템 및 방법
JP2018179911A (ja) * 2017-04-20 2018-11-15 株式会社デンソー 測距装置及び距離情報取得方法
EP3392801A1 (en) * 2017-04-21 2018-10-24 Harman International Industries, Incorporated Systems and methods for driver assistance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009294842A (ja) * 2008-06-04 2009-12-17 Nissan Motor Co Ltd 歩行者検出装置及び歩行者検出方法
JP5472538B2 (ja) * 2011-06-14 2014-04-16 日産自動車株式会社 距離計測装置及び環境地図生成装置
JP2013093865A (ja) * 2012-12-07 2013-05-16 Mitsubishi Motors Corp 車両周辺監視装置

Also Published As

Publication number Publication date
US20220284710A1 (en) 2022-09-08
US11721033B2 (en) 2023-08-08
CN111611841A (zh) 2020-09-01
US11314972B2 (en) 2022-04-26
CN111611841B (zh) 2024-05-07
KR20200103984A (ko) 2020-09-03
US20200272831A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
KR102177879B1 (ko) 차량의 객체 검출 장치 및 방법
JP6471528B2 (ja) 物体認識装置、物体認識方法
JP5680573B2 (ja) 車両の走行環境認識装置
TWI401175B (zh) Dual vision front vehicle safety warning device and method thereof
US11040649B2 (en) Vehicular sensor and vehicle provided with same
KR20170014168A (ko) 차량의 카메라 장치
JP5151050B2 (ja) 車両用環境認識装置及び車両用環境認識方法
US20110234761A1 (en) Three-dimensional object emergence detection device
US20130088598A1 (en) Obstacle detection system and method, and obstacle detection apparatus
JP5082923B2 (ja) 車両障害物検出装置
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
JP2014154898A (ja) 物体検知装置
JP2011033594A (ja) 車両用距離算出装置
CN110733423A (zh) 用于显示车辆后方图像的装置和方法
EP2698743B1 (en) Driver assisting system and method for a motor vehicle
JP4804202B2 (ja) ステレオ式監視装置
KR20220097656A (ko) 운전자 보조 장치, 차량 및 그 제어 방법
TWI834726B (zh) 測距系統、校正方法、程式產品及電子機器
JP4539400B2 (ja) ステレオカメラの補正方法、ステレオカメラ補正装置
JP2010205039A (ja) 障害物検出装置
US20220018964A1 (en) Surroundings detection device for vehicle
JP6429101B2 (ja) 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体
KR20160015734A (ko) 차량용 블랙박스의 초점 제어 장치 및 그 방법
JP3929420B2 (ja) 車両用光量検出装置及び車両用照明制御装置
KR101797718B1 (ko) 차량용 스테레오 카메라와 avm의 통합 관리 시스템 및 관리 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right