Nothing Special   »   [go: up one dir, main page]

KR101749873B1 - 카메라 영상을 이용한 주행 정보 제공 방법 및 장치 - Google Patents

카메라 영상을 이용한 주행 정보 제공 방법 및 장치 Download PDF

Info

Publication number
KR101749873B1
KR101749873B1 KR1020160159235A KR20160159235A KR101749873B1 KR 101749873 B1 KR101749873 B1 KR 101749873B1 KR 1020160159235 A KR1020160159235 A KR 1020160159235A KR 20160159235 A KR20160159235 A KR 20160159235A KR 101749873 B1 KR101749873 B1 KR 101749873B1
Authority
KR
South Korea
Prior art keywords
vehicle
obstacle
camera
algorithm
image data
Prior art date
Application number
KR1020160159235A
Other languages
English (en)
Inventor
기석철
이신재
윤형석
박태형
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020160159235A priority Critical patent/KR101749873B1/ko
Application granted granted Critical
Publication of KR101749873B1 publication Critical patent/KR101749873B1/ko
Priority to PCT/KR2017/013347 priority patent/WO2018097595A1/ko
Priority to CN201780025422.6A priority patent/CN109070882B/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0059—Signal noise suppression
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B60W2550/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 한 대 이상의 카메라가 장착된 차량에서의 주행 정보 제공 방법에 있어서, 상기 카메라로부터 수신된 차량의 외부 영상 데이터를 실시간으로 영상 처리하여, 장애물을 검출하는 단계, 검출된 장애물의 위치와 차량 자신과의 거리를 기반으로 충돌 위험성을 예측하는 단계, FSD(Free Space Detection) 알고리즘을 이용하여, 상기 카메라로부터 수신된 차량의 외부 영상 데이터를 처리하여 주행 가능 영역을 검출하는 단계 및 상기 충돌 위험성과 주행 가능 영역을 통해 주행 가능 여부 정보를 제공하는 단계를 포함한다. 본 발명에 의하면, 장애물로 분류하기 어려운 단일 색상, 단순 패턴의 벽체나 기둥을 장애물로 인식할 수 있는 효과가 있다.

Description

카메라 영상을 이용한 주행 정보 제공 방법 및 장치{Method and apparatus for providing driving information using image of camera}
본 발명은 차량에서의 주행 정보 제공 기술에 관한 것으로서, 더욱 상세하게는 차량에 장착된 카메라를 통한 영상을 이용하여 장애물을 인식하고 장애 가능 영역을 검출하는 주행 정보 제공 기술에 관한 것이다.
차량 주변에는 다양한 형태의 장애물이 존재하며, 이와 같은 잠재적인 충돌 가능성을 가진 위험 요소로부터 보호받기 위하여 장애물 검출을 시도한다.
일반적으로 차량 접근 장애물 감지 장치 내지 시스템은 초음파, 레이저 등의 센서를 통해 차량과 매우 근접한 거리에 있는 장애물을 탐지하고 이를 운전자에게 알려주도록 구성된다.
그런데, 이처럼 초음파 내지 레이저 센서 대신 차량에 설치된 카메라를 통해 촬영된 영상을 이용하여 차량 접근 장애물을 감지하기 위해서는 센서와는 다른 방법이 필요하게 된다.
카메라 기반의 장애물 검출은 초음파나 레이저 센서와 다르게 장애물 유무의 감지뿐 아니라 장애물에 대한 세부 정보를 제공할 수 있다. 특히 카메라가 어라운드 뷰 모니터링(Around View Monitoring, AVM) 시스템일 경우, 넓은 시야를 확보할 수 있는 광각 카메라를 사용하는 것이 일반적이다. 그런데, 광각 카메라는 볼록 렌즈의 굴절률에 의하여 왜곡 정도가 결정되는 방사 왜곡이 필연적으로 발생하게 되고, 이에 따라 표시 영상의 시각적인 왜곡은 물론 이미지 처리 장치의 이미지 인식에 심각한 오차를 야기할 수 있다.
일반적으로 어라운드 뷰 모니터링 시스템은 차량의 앞뒤와 좌우 사이드 미러 하단에 1개씩 설치되는 4개의 카메라로 구성되어 있다. 자동차 주차, 협로 주행 등에 이용되는 4채널 AVM(Around View Monitoring) 시스템은 단순히 운전자에게 합성된 영상을 보여만 주는 기능을 제공하고 있지만, 입력된 각 채널의 동영상을 분석하여 주행 중 충돌이 예상되는 장애물을 인식하여, 새로운 안전 기능을 제공할 수 있다.
최근, 첨단 운전자 지원시스템(advanced driver assistance systems, ADAS)을 개발하고 있는 자동차업체들은 충돌 위험이 있는 장애물을 인식하여 경보하는 기능(Moving Object Detection, MOD)이 있는 AVM 시스템을 상용화하고자 노력하고 있다.
기존의 MOD 기능 개발 방법은 영상에서 움직임 영역을 검출하는 방법을 사용하고 있으나, 움직임 영역으로 검출하기 어려운 단일 색상, 단순 패턴의 벽체나 기둥 등을 장애물로 인식하기 어려운 문제점이 있다.
반대로, 주행이 가능한 영역 (Free Space) 내에 존재하는 차선이나, 맨홀 뚜껑과 같은 물체가 움직임 물체로 오인되어 인식 오류를 발생하는 문제점도 있다.
대한민국 공개특허 10-2014-0055159
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 장애물로 분류하기 어려운 단일 색상, 단순 패턴의 벽체나 기둥을 장애물로 인식할 수 있고, 주행 가능 영역 내에 존재하는 차선, 맨홀 뚜껑과 같은 물체가 움직이는 물체로 오인되어 인식 오류를 발생시키는 문제점을 개선한, 카메라 영상을 이용한 주행 정보 제공 방법 및 장치를 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명은 한 대 이상의 카메라가 장착된 차량에서의 주행 정보 제공 방법에 있어서, 상기 카메라로부터 수신된 차량의 외부 영상 데이터를 실시간으로 영상 처리하여, 장애물을 검출하는 단계, 검출된 장애물의 위치와 차량 자신과의 거리를 기반으로 충돌 위험성을 예측하는 단계, FSD(Free Space Detection) 알고리즘을 이용하여, 상기 카메라로부터 수신된 차량의 외부 영상 데이터를 처리하여 주행 가능 영역을 검출하는 단계 및 상기 충돌 위험성과 주행 가능 영역을 통해 주행 가능 여부 정보를 제공하는 단계를 포함한다.
상기 주행 가능 영역을 검출하는 단계에서, 상기 외부 영상 데이터에 상기 FSD 알고리즘을 수행한 결과, 획득된 자유 영역(free space) 내에 충돌 위험이 없는 물체를 영상 인식 방법으로 검출하여 주행 가능 영역에 포함시킬 수 있다. 이때, 상기 영상 인식 방법으로 상기 자유 영역 내에서 차선, 맨홀 뚜껑을 포함하는 물체를 충돌 위험이 없는 물체로 검출할 수 있다.
상기 장애물을 검출하는 단계에서, 상기 카메라로부터 수신된 차량의 외부 영상 데이터에 대하여, MHI(Motion History Image) 알고리즘을 기반으로 움직임 영역을 검출하고, 검출된 움직임 영역에 대하여 실시간으로 영상 처리하여 장애물을 검출할 수 있다.
상기 충돌 위험성을 예측하는 단계에서, 거리 변환 행렬을 이용하여 검출된 장애물의 위치와 차량 자신의 좌표 값을 획득하고, 획득된 좌표 값을 이용하여 장애물과 차량 자신과의 거리를 계산할 수 있다.
상기 차량은 어라운드 뷰 모니터링(Around View Monitoring) 시스템 또는 카메라 미러 시스템(Camera Mirror System)이 적용된 차량일 수 있다.
본 발명은 한 대 이상의 카메라가 장착된 차량에서의 주행 정보 제공 장치에 있어서, 상기 카메라로부터 수신된 차량의 외부 영상 데이터를 실시간으로 영상 처리하여, 장애물을 검출하고, 검출된 장애물의 위치와 차량 자신과의 거리를 기반으로 충돌 위험성을 예측하고, FSD(Free Space Detection) 알고리즘을 이용하여, 상기 카메라로부터 수신된 차량의 외부 영상 데이터를 처리하여 주행 가능 영역을 검출하고, 상기 충돌 위험성과 주행 가능 영역을 통해 주행 가능 여부 정보를 제공하는 제어부, 상기 제어부의 제어에 따라 주행 가능 여부 정보를 표시하기 위한 표시부 및 상기 제어부의 제어에 따라 충돌 위험성을 경보하기 위한 경보부를 포함한다.
상기 제어부는 상기 외부 영상 데이터에 상기 FSD 알고리즘을 수행한 결과, 획득된 자유 영역(free space) 내에 충돌 위험이 없는 물체를 영상 인식 방법으로 검출하여 주행 가능 영역에 포함시킬 수 있다. 이때, 상기 제어부는 상기 영상 인식 방법으로 상기 자유 영역 내에서 차선, 맨홀 뚜껑을 포함하는 물체를 충돌 위험이 없는 물체로 검출할 수 있다.
상기 제어부는 상기 카메라로부터 수신된 차량의 외부 영상 데이터에 대하여, MHI(Motion History Image) 알고리즘을 기반으로 움직임 영역을 검출하고, 검출된 움직임 영역에 대하여 실시간으로 영상 처리하여 장애물을 검출할 수 있다.
상기 제어부는 거리 변환 행렬을 이용하여 검출된 장애물의 위치와 차량 자신의 좌표 값을 획득하고, 획득된 좌표 값을 이용하여 장애물과 차량 자신과의 거리를 계산할 수 있다.
상기 차량은 어라운드 뷰 모니터링(Around View Monitoring) 시스템 또는 카메라 미러 시스템(Camera Mirror System)이 적용된 차량일 수 있다.
본 발명에 의하면, 장애물로 분류하기 어려운 단일 색상, 단순 패턴의 벽체나 기둥을 장애물로 인식할 수 있는 효과가 있다.
또한, 본 발명에 의하면, 주행 가능한 영역 내에 존재하는 차선이나, 맨홀 뚜껑과 같은 물체가 움직임 물체로 오인되어 인식 오류를 발생하는 문제점을 개선하는 효과가 있다.
또한, 본 발명에 의하면, MHI(Motion History Image) 알고리즘을 기반으로 영상처리 속도를 개선하여 30 FPS(frames per second) 이상의 실시간 처리가 가능한 장점이 있다.
본 발명을 적용하면, 향후 사업화 적용이 예상되는 카메라 미러 시스템(Camera Mirror System)에서도 장애물 검출 기능을 구현할 수 있을 것으로 기대된다.
도 1은 본 발명의 일 실시예에 따른 차량에서의 주행 정보 제공 장치의 내부 구성을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 차량에서의 주행 정보 제공 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 MHI 알고리즘 기반 장애물 검출 과정을 설명하기 위한 영상을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 충돌 위험성을 설명하기 위한 영상을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 FSD 알고리즘을 이용한 주행 가능 영역을 검출하는 과정을 설명하기 위한 영상을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명은 한 대 이상의 카메라가 장착된 차량에서의 주행 정보 제공 장치 및 방법에 대한 것이다. 본 발명은 어라운드 뷰 모니터링(Around View Monitoring) 시스템 또는 카메라 미러 시스템(Camera Mirror System)이 적용된 차량을 대상으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량에서의 주행 정보 제공 장치의 내부 구성을 보여주는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량에서의 주행 정보 제공 장치는 한 대 이상의 카메라(110), 제어부(120), 표시부(130) 및 경보부(140)를 포함한다.
제어부(120)는 카메라(110)로부터 수신된 차량의 외부 영상 데이터를 실시간으로 영상 처리하여, 장애물을 검출한다. 그리고, 검출된 장애물의 위치와 차량 자신과의 거리를 기반으로 충돌 위험성을 예측한다. 그리고, FSD(Free Space Detection) 알고리즘을 이용하여, 카메라(110)로부터 수신된 차량의 외부 영상 데이터를 처리하여 주행 가능 영역을 검출하고, 충돌 위험성과 주행 가능 영역을 통해 주행 가능 여부 정보를 제공한다.
표시부(130)는 제어부(120)의 제어에 따라 주행 가능 여부 정보를 표시하는 역할을 한다.
경보부(140)는 제어부(130)의 제어에 따라 충돌 위험성을 경보하는 역할을 한다.
본 발명에서 제어부(120)는 외부 영상 데이터에 FSD 알고리즘을 수행한 결과, 획득된 자유 영역(free space) 내에 충돌 위험이 없는 물체를 영상 인식 방법으로 검출하여 주행 가능 영역에 포함시킨다. 예를 들어, 제어부(120)는 영상 인식 방법으로 자유 영역 내에서 차선, 맨홀 뚜껑을 포함하는 물체를 충돌 위험이 없는 물체로 검출할 수 있다.
제어부(120)는 카메라(110)로부터 수신된 차량의 외부 영상 데이터에 대하여, MHI(Motion History Image) 알고리즘을 기반으로 움직임 영역을 검출하고, 검출된 움직임 영역에 대하여 실시간으로 영상 처리하여 장애물을 검출한다.
본 발명에서 제어부(120)는 거리 변환 행렬을 이용하여 검출된 장애물의 위치와 차량 자신의 좌표 값을 획득하고, 획득된 좌표 값을 이용하여 장애물과 차량 자신과의 거리를 계산할 수 있다.
도 2는 본 발명의 일 실시예에 따른 차량에서의 주행 정보 제공 방법을 보여주는 흐름도이다.
도 2를 참조하면, 제어부(120)는 카메라(110)로부터 수신된 차량의 외부 영상 데이터를 실시간으로 영상 처리하여, 장애물을 검출한다(S210).
그리고, 검출된 장애물의 위치와 차량 자신과의 거리를 기반으로 충돌 위험성을 예측한다(S220).
또한, 제어부(120)는 FSD(Free Space Detection) 알고리즘을 이용하여, 카메라(110)로부터 수신된 차량의 외부 영상 데이터를 처리하여 주행 가능 영역을 검출한다(S230).
그리고, 충돌 위험성과 주행 가능 영역을 통해 주행 가능 여부 정보를 제공한다(S240).
주행 가능 영역을 검출하는 단계(S230)에서, 외부 영상 데이터에 FSD 알고리즘을 수행한 결과, 획득된 자유 영역(free space) 내에 충돌 위험이 없는 물체를 영상 인식 방법으로 검출하여 주행 가능 영역에 포함시킨다. 예를 들어, 영상 인식 방법으로 자유 영역 내에서 차선, 맨홀 뚜껑을 포함하는 물체를 충돌 위험이 없는 물체로 검출할 수 있다.
장애물을 검출하는 단계(S210)에서, 카메라(110)로부터 수신된 차량의 외부 영상 데이터에 대하여, MHI(Motion History Image) 알고리즘을 기반으로 움직임 영역을 검출하고, 검출된 움직임 영역에 대하여 실시간으로 영상 처리하여 장애물을 검출할 수 있다.
그리고, 충돌 위험성을 예측하는 단계(S220)에서, 거리 변환 행렬을 이용하여 검출된 장애물의 위치와 차량 자신의 좌표 값을 획득하고, 획득된 좌표 값을 이용하여 장애물과 차량 자신과의 거리를 계산할 수 있다.
도 3은 본 발명의 일 실시예에 따른 MHI 알고리즘 기반 장애물 검출 과정을 설명하기 위한 영상을 나타낸 도면이다.
도 3에서 붉은색으로 표시된 영역이 움직임을 감지한 움직임 영역이다. 본 발명에서는 움직임이 있는 주차 차량 등의 근거리 장애물을 실시간으로 고속 영상 처리하여 장애물을 검출한다.
도 4는 본 발명의 일 실시예에 따른 충돌 위험성을 설명하기 위한 영상을 나타낸 도면이다.
본 발명에서는 차량에 전방을 향하여 장착된 카메라를 이용하여 장애물의 위치와 차량 자신과의 거리를 계산하고, 이를 통해 충돌 위험성을 예측한다.
도 4 (a)에 거리 변환 행렬이 예시되어 있으며, 이처럼 본 발명에서는 거리 변환 행렬을 이용하여 도 4 (b)에 표시된 붉은색 영역과 차량 자신과의 거리에 대한 좌표 값을 획득한다.
도 5는 본 발명의 일 실시예에 따른 FSD 알고리즘을 이용한 주행 가능 영역을 검출하는 과정을 설명하기 위한 영상을 나타낸 도면이다.
도 5를 참조하면, 카메라(110)로부터 획득한 원본 영상에서 유사한 색상 픽셀 값을 가지는 영역들을 묶어주는 MeanShift 알고리즘을 적용한다.
어안렌즈의 경우, 차량의 차체가 보이기 때문에 차체 바로 앞의 영역에 패치 영역을 설정하고, 이 부분이 도로영역을 포함한다고 가정한다.
그리고, MeanShift 알고리즘 적용 후, 패치 영역과 유사한 색상 값을 클러스터링하는 Flood Fill 알고리즘을 적용한다. 이때, Flood Fill 알고리즘에서 패치 영역만을 표시할 수 있도록 설정한다.
여기서, Flood Fill 알고리즘만을 적용하면 노이즈가 남아 있기 때문에 원 영상과의 차영상을 이용하여 이진화한 다음, 모폴로지 연산을 이용하여 내부의 노이즈를 제거한다.
도 5에서 보는 바와 같이, 노이즈를 제거하면 자유 영역(Free Space) 부분만 남게 되고, 이 부분을 라벨링하여 영역의 크기와 중심점(푸른색)등 여러 정보를 획득하여 표시한다.
본 발명에서는 이처럼 FSD 알고리즘을 수행하고, 영상 인식 방법을 통해 FSD 영역 내에 존재하는 차선, 맨홀 뚜껑 등 충돌 위험이 없는 물체를 검출하여, FSD 영역에 포함시킴으로써, 기존 문제점을 해결할 수 있다. 예를 들어, 맨홀 뚜껑의 경우, 학습 기반 알고리즘을 적용하여 구현 가능하다.
본 발명에서 MHI 알고리즘을 이용한 장애물 검출 방식과, FSD 알고리즘을 이용한 주행 가능 영역 검출 방식을 결합하면, 충돌 위험이 있는 장애물로 인식되지 못했던 단순한 색상이나 단순한 패턴의 벽체를 장애물로 인식할 수 있다.
또한, 본 발명에서 MHI 기반 알고리즘을 통한 장애물 인식과 FSD 알고리즘을 통한 주행 가능 영역을 이용하면, 전방 주행시 전방 카메라로 받은 동영상을 실시간 처리하여 주행 가능 여부를 판단할 수 있다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
110 카메라 120 제어부
130 표시부 140 경보부

Claims (12)

  1. 한 대 이상의 카메라가 장착된 차량에서의 주행 정보 제공 방법에 있어서,
    상기 카메라로부터 수신된 차량의 외부 영상 데이터를 실시간으로 영상 처리하여, 장애물을 검출하는 단계;
    검출된 장애물의 위치와 차량 자신과의 거리를 기반으로 충돌 위험성을 예측하는 단계;
    FSD(Free Space Detection) 알고리즘을 이용하여, 상기 카메라로부터 수신된 차량의 외부 영상 데이터를 처리하여 주행 가능 영역을 검출하는 단계; 및
    상기 충돌 위험성과 주행 가능 영역을 통해 주행 가능 여부 정보를 제공하는 단계를 포함하며,
    상기 주행 가능 영역을 검출하는 단계에서, 상기 외부 영상 데이터에 상기 FSD 알고리즘을 수행한 결과, 획득된 자유 영역(free space) 내에 충돌 위험이 없는 물체를 영상 인식 방법으로 검출하여 주행 가능 영역에 포함시키고, 상기 영상 인식 방법으로 상기 자유 영역 내에서 차선, 맨홀 뚜껑을 포함하는 물체를 충돌 위험이 없는 물체로 검출하며,
    상기 FSD 알고리즘은, 상기 외부 영상 데이터에서 유사한 색상 픽셀 값을 갖는 영역들을 묶어주는 MeanShift 알고리즘을 적용하고, 이후 패치 영역과 유사한 색상 값을 클러스터링하는 Flood Fill 알고리즘을 적용하되, 패치 영역만을 표시하도록 설정하고, 원 영상과의 차 영상을 이용하여 이진화한 다음, 모폴로지 연산을 이용하여 내부의 노이즈를 제거하여 자유 영역 부분만 남도록 하는 방식으로 구현되는 것을 특징으로 하는 주행 정보 제공 방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 장애물을 검출하는 단계에서,
    상기 카메라로부터 수신된 차량의 외부 영상 데이터에 대하여, MHI(Motion History Image) 알고리즘을 기반으로 움직임 영역을 검출하고, 검출된 움직임 영역에 대하여 실시간으로 영상 처리하여 장애물을 검출하는 것을 특징으로 하는 주행 정보 제공 방법.
  5. 청구항 1에 있어서,
    상기 충돌 위험성을 예측하는 단계에서,
    거리 변환 행렬을 이용하여 검출된 장애물의 위치와 차량 자신의 좌표 값을 획득하고, 획득된 좌표 값을 이용하여 장애물과 차량 자신과의 거리를 계산하는 것을 특징으로 하는 주행 정보 제공 방법.
  6. 청구항 1에 있어서,
    상기 차량은 어라운드 뷰 모니터링(Around View Monitoring) 시스템 또는 카메라 미러 시스템(Camera Mirror System)이 적용된 차량인 것임을 특징으로 하는 주행 정보 제공 방법.
  7. 한 대 이상의 카메라가 장착된 차량에서의 주행 정보 제공 장치에 있어서,
    상기 카메라로부터 수신된 차량의 외부 영상 데이터를 실시간으로 영상 처리하여, 장애물을 검출하고, 검출된 장애물의 위치와 차량 자신과의 거리를 기반으로 충돌 위험성을 예측하고, FSD(Free Space Detection) 알고리즘을 이용하여, 상기 카메라로부터 수신된 차량의 외부 영상 데이터를 처리하여 주행 가능 영역을 검출하고, 상기 충돌 위험성과 주행 가능 영역을 통해 주행 가능 여부 정보를 제공하는 제어부;
    상기 제어부의 제어에 따라 주행 가능 여부 정보를 표시하기 위한 표시부; 및
    상기 제어부의 제어에 따라 충돌 위험성을 경보하기 위한 경보부를 포함하며,
    상기 제어부는 상기 외부 영상 데이터에 상기 FSD 알고리즘을 수행한 결과, 획득된 자유 영역(free space) 내에 충돌 위험이 없는 물체를 영상 인식 방법으로 검출하여 주행 가능 영역에 포함시키고, 상기 제어부는 상기 영상 인식 방법으로 상기 자유 영역 내에서 차선, 맨홀 뚜껑을 포함하는 물체를 충돌 위험이 없는 물체로 검출하며,
    상기 FSD 알고리즘은, 상기 외부 영상 데이터에서 유사한 색상 픽셀 값을 갖는 영역들을 묶어주는 MeanShift 알고리즘을 적용하고, 이후 패치 영역과 유사한 색상 값을 클러스터링하는 Flood Fill 알고리즘을 적용하되, 패치 영역만을 표시하도록 설정하고, 원 영상과의 차 영상을 이용하여 이진화한 다음, 모폴로지 연산을 이용하여 내부의 노이즈를 제거하여 자유 영역 부분만 남도록 하는 방식으로 구현되는 것을 특징으로 하는 주행 정보 제공 장치.
  8. 삭제
  9. 삭제
  10. 청구항 7에 있어서,
    상기 제어부는 상기 카메라로부터 수신된 차량의 외부 영상 데이터에 대하여, MHI(Motion History Image) 알고리즘을 기반으로 움직임 영역을 검출하고, 검출된 움직임 영역에 대하여 실시간으로 영상 처리하여 장애물을 검출하는 것을 특징으로 하는 주행 정보 제공 장치.
  11. 청구항 7에 있어서,
    상기 제어부는 거리 변환 행렬을 이용하여 검출된 장애물의 위치와 차량 자신의 좌표 값을 획득하고, 획득된 좌표 값을 이용하여 장애물과 차량 자신과의 거리를 계산하는 것을 특징으로 하는 주행 정보 제공 장치.
  12. 청구항 7에 있어서,
    상기 차량은 어라운드 뷰 모니터링(Around View Monitoring) 시스템 또는 카메라 미러 시스템(Camera Mirror System)이 적용된 차량인 것임을 특징으로 하는 주행 정보 제공 장치.
KR1020160159235A 2016-11-28 2016-11-28 카메라 영상을 이용한 주행 정보 제공 방법 및 장치 KR101749873B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160159235A KR101749873B1 (ko) 2016-11-28 2016-11-28 카메라 영상을 이용한 주행 정보 제공 방법 및 장치
PCT/KR2017/013347 WO2018097595A1 (ko) 2016-11-28 2017-11-22 카메라 영상을 이용한 주행 정보 제공 방법 및 장치
CN201780025422.6A CN109070882B (zh) 2016-11-28 2017-11-22 利用摄像头影像的行驶信息提供方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160159235A KR101749873B1 (ko) 2016-11-28 2016-11-28 카메라 영상을 이용한 주행 정보 제공 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101749873B1 true KR101749873B1 (ko) 2017-06-22

Family

ID=59283186

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160159235A KR101749873B1 (ko) 2016-11-28 2016-11-28 카메라 영상을 이용한 주행 정보 제공 방법 및 장치

Country Status (3)

Country Link
KR (1) KR101749873B1 (ko)
CN (1) CN109070882B (ko)
WO (1) WO2018097595A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022055231A1 (ko) * 2020-09-08 2022-03-17 포티투닷 주식회사 인공신경망을 이용한 주행 차량의 차로 판단 방법과 장치 및 이를 포함하는 내비게이션 장치
US11794740B2 (en) 2020-04-13 2023-10-24 Hl Klemove Corp. Smart cruise control system and method of controlling the same

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149460A (zh) * 2019-06-27 2020-12-29 华为技术有限公司 一种障碍物检测方法及装置
CN110834645B (zh) * 2019-10-30 2021-06-29 中国第一汽车股份有限公司 车辆的自由空间确定方法、装置、存储介质及车辆
US11281915B2 (en) * 2019-12-06 2022-03-22 Black Sesame Technologies Inc. Partial frame perception

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006298041A (ja) * 2005-04-18 2006-11-02 Nikon Corp 車両の運転支援システム
JP2011150633A (ja) * 2010-01-25 2011-08-04 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
KR101503473B1 (ko) * 2014-01-10 2015-03-18 한양대학교 산학협력단 차량의 주행 상황 판단 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140104516A (ko) * 2013-02-18 2014-08-29 주식회사 만도 차선 인식 방법 및 장치
KR102045088B1 (ko) * 2013-08-13 2019-11-14 현대모비스 주식회사 영상 표시 방법 및 이를 위한 위한 장치
CN104881955B (zh) * 2015-06-16 2017-07-18 华中科技大学 一种驾驶员疲劳驾驶检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006298041A (ja) * 2005-04-18 2006-11-02 Nikon Corp 車両の運転支援システム
JP2011150633A (ja) * 2010-01-25 2011-08-04 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
KR101503473B1 (ko) * 2014-01-10 2015-03-18 한양대학교 산학협력단 차량의 주행 상황 판단 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11794740B2 (en) 2020-04-13 2023-10-24 Hl Klemove Corp. Smart cruise control system and method of controlling the same
WO2022055231A1 (ko) * 2020-09-08 2022-03-17 포티투닷 주식회사 인공신경망을 이용한 주행 차량의 차로 판단 방법과 장치 및 이를 포함하는 내비게이션 장치

Also Published As

Publication number Publication date
CN109070882A (zh) 2018-12-21
CN109070882B (zh) 2019-09-20
WO2018097595A1 (ko) 2018-05-31

Similar Documents

Publication Publication Date Title
JP7228652B2 (ja) 物体検出装置、物体検出方法およびプログラム
KR101749873B1 (ko) 카메라 영상을 이용한 주행 정보 제공 방법 및 장치
US10713507B2 (en) Object detecting apparatus, object detecting method, and computer program product
EP2352136B1 (en) System for monitoring the area around a vehicle
CN101910781B (zh) 移动状态推测装置
US20170297488A1 (en) Surround view camera system for object detection and tracking
EP2928178B1 (en) On-board control device
CN112349144A (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
JP2003150938A (ja) 画像認識装置
JP2000251080A (ja) 車両用後側方監視装置
JP5898001B2 (ja) 車両周辺監視装置
JP2008027309A (ja) 衝突判定システム、及び衝突判定方法
CN106030679A (zh) 车辆周围监视装置
CN112172663A (zh) 一种基于开车门的危险报警方法及相关设备
JP2011048520A (ja) 車両周辺監視装置および車両周辺監視方法
KR101427032B1 (ko) 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법
CN105818743A (zh) 用于车门开启时的防撞方法及系统
Aytekin et al. Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information
CN109747644A (zh) 车辆跟踪防撞预警方法、装置、控制器、系统及车辆
JP4176558B2 (ja) 車両周辺表示装置
KR20210108003A (ko) 탑뷰 제공 장치
CN114898325B (zh) 一种车辆危险变道检测方法、装置及电子设备
KR101432727B1 (ko) 차량과 객체의 충돌을 방지하기 위한 헤드라이트 빔 패턴을 이용한 이동객체 검출 장치 및 이를 이용한 이동객체 검출 방법
Ma et al. A real-time rear view camera based obstacle detection
JP2007286873A (ja) 車載周辺他車検出装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161128

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20161212

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20161128

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161221

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170330

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170615

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170615

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200611

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210615

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220614

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20230613

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240610

Start annual number: 8

End annual number: 8