Nothing Special   »   [go: up one dir, main page]

KR102565603B1 - 긴급 제동 시스템의 성능평가 장치 및 방법 - Google Patents

긴급 제동 시스템의 성능평가 장치 및 방법 Download PDF

Info

Publication number
KR102565603B1
KR102565603B1 KR1020210153122A KR20210153122A KR102565603B1 KR 102565603 B1 KR102565603 B1 KR 102565603B1 KR 1020210153122 A KR1020210153122 A KR 1020210153122A KR 20210153122 A KR20210153122 A KR 20210153122A KR 102565603 B1 KR102565603 B1 KR 102565603B1
Authority
KR
South Korea
Prior art keywords
distance
evaluated
performance
aeb system
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210153122A
Other languages
English (en)
Other versions
KR20230067242A (ko
Inventor
이선봉
김봉주
이시호
이수림
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020210153122A priority Critical patent/KR102565603B1/ko
Publication of KR20230067242A publication Critical patent/KR20230067242A/ko
Application granted granted Critical
Publication of KR102565603B1 publication Critical patent/KR102565603B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T17/00—Component parts, details, or accessories of power brake systems not covered by groups B60T8/00, B60T13/00 or B60T15/00, or presenting other characteristic features
    • B60T17/18—Safety devices; Monitoring
    • B60T17/22—Devices for monitoring or checking brake systems; Signal devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/28—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for testing brakes
    • G01L5/284—Measuring braking-time or braking distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/81—Braking systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 긴급 제동 시스템의 성능평가 장치는 듀얼 카메라를 기반으로 물체까지의 거리를 측정하는 듀얼 카메라 장착 위치 결정장치; 및 상기 듀얼 카메라 장착 위치 결정 장치를 통해 검출된 거리와 평가 대상 AEB 시스템에 의해 측정된 거리를 비교하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 성능 평가부를 포함하는 것을 특징으로 한다.

Description

긴급 제동 시스템의 성능평가 장치 및 방법{PERFORMANCE EVALUATION APPARATUS AND METHOD FOR AUTONOMOUS EMERGENCY BRAKING SYSTEM}
본 발명은 긴급 제동을 수행하는 AEB 시스템에 대한 성능을 평가하는 긴급 제동 시스템의 성능평가 장치 및 방법에 관한 것이다.
최근 자율 주행 차량에 대한 연구와 개발이 증가하고 있다.
자율 주행 차량은, 주행 시 외부정보 감지 및 처리기능을 통해 주변의 환경을 인식하여 주행 경로를 자체적으로 결정하고, 자체 동력을 이용하여 독립적으로 주행하는 차량을 의미한다. 이러한 자율 주행 차량은 운전자가 조향휠, 가속페달 또는 브레이크 등을 조작하지 않더라도, 주행 경로 상에 존재하는 장애물과의 충돌을 방지하고 도로의 형상에 따라 차속과 주행 방향을 조절하면서 스스로 목적지까지 주행하는 것을 목표로 한다.
따라서 상기 목표를 달성하기 위한 과정으로서, 현재의 차량에는 운전자의 주행을 보조하기 위한 적어도 하나 이상의 운전자 지원 시스템(ADAS: Advanced Driver Assistance System)이 적용되고 있으며, 상기 운전자 지원 시스템(ADAS) 중에는 자동 긴급 제동(AEB: Autonomous Emergency Braking) 시스템이 있다.
이때 상기 운전자 지원 시스템(ADAS), 특히 자동 긴급 제동(AEB) 시스템은, 오작동 시 주변 차량 또는 보행자와의 충돌로 인해 인명 사고를 유발하는 문제점이 있기 때문에 작동과 제동 성능에 대한 정밀한 시험 평가가 필수적으로 요구되고 있다. 그러나 현재로서는 상기 자동 긴급 제동(AEB) 시스템의 시험과 성능 평가를 위한 구체적인 장치 및 방법에 대한 개발이 미흡한 실정이다.
본 발명의 배경기술은 대한민국 등록특허공보 10-0405569호(2003.11.03)의 '제동성능 평가 실험장치'에 개시되어 있다.
본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 AEB 시스템에 대한 성능을 평가하는 긴급 제동 시스템의 성능평가 장치 및 방법을 제공하는 데 있다.
본 발명의 일 측면에 따른 긴급 제동 시스템의 성능평가 장치는 듀얼 카메라를 기반으로 물체까지의 거리를 측정하는 듀얼 카메라 장착 위치 결정장치; 및 상기 듀얼 카메라 장착 위치 결정 장치를 통해 검출된 거리와 평가 대상 AEB 시스템에 의해 측정된 거리를 비교하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 성능 평가부를 포함하는 것을 특징으로 한다.
본 발명의 상기 성능 평가부는 기 설정된 시나리오별로 상기 듀얼 카메라 장착 위치 결정 장치를 통해 검출된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 것을 특징으로 한다.
본 발명의 상기 성능 평가부는 상기 시나리오별로 상기 듀얼 카메라 장착 위치 결정 장치를 통해 검출된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차의 최대치와 최소치 및 평균값 중 적어도 하나를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 것을 특징으로 한다.
본 발명은 상기 성능 평가부의 평가 결과를 출력하는 평가 결과 출력부를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 긴급 제동 시스템의 성능 평가 장치는 물체의 초기상대거리, 차량의 속도 및 물체 속도를 이용하여 차량과 물체 간의 거리를 측정하는 거리 측정부; 및 상기 거리 측정부를 통해 측정된 거리와 평가 대상 AEB 시스템에 의해 측정된 거리를 비교하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 성능 평가부를 포함하는 것을 특징으로 한다.
본 발명의 상기 거리 측정부는 아래의 수학식을 이용하여 차량과 물체 간의 거리를 측정하고, 상기 수학식은 이며, 여기서, 는 상대거리, 는 초기 상대거리, 는 선행차량 속도, 는 대상차량 속도, 0.2, 2.9, 및 36.1은 보정 파라미터인 것을 특징으로 한다.
본 발명의 상기 성능 평가부는 기 설정된 시나리오별로 상기 거리 측정부를 통해 측정된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 것을 특징으로 한다.
본 발명의 상기 성능 평가부는 상기 시나리오별로 상기 거리 측정부를 통해 측정된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차의 최대치와 최소치 및 평균값 중 적어도 하나를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 것을 특징으로 한다.
본 발명은 상기 성능 평가부의 평가 결과를 출력하는 평가 결과 출력부를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 긴급 제동 시스템의 성능 평가 방법은 듀얼 카메라 장착 위치 결정장치가 듀얼 카메라를 기반으로 물체까지의 거리를 측정하는 단계; 및 성능 평가부가 상기 듀얼 카메라 장착 위치 결정 장치를 통해 검출된 거리와 평가 대상 AEB 시스템에 의해 측정된 거리를 비교하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 평가 대상 AEB 시스템의 성능을 평가하는 단계에서, 상기 성능 평가부는 기 설정된 시나리오별로 상기 듀얼 카메라 장착 위치 결정 장치를 통해 검출된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 것을 특징으로 한다.
본 발명의 상기 평가 대상 AEB 시스템의 성능을 평가하는 단계에서, 상기 성능 평가부는 상기 시나리오별로 상기 듀얼 카메라 장착 위치 결정 장치를 통해 검출된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차의 최대치와 최소치 및 평균값 중 적어도 하나를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 긴급 제동 시스템의 성능 평가 방법은 거리 측정부가 물체의 초기상대거리, 차량의 속도 및 물체 속도를 이용하여 차량과 물체 간의 거리를 측정하는 단계; 및 성능 평가부가 상기 거리 측정부를 통해 측정된 거리와 평가 대상 AEB 시스템에 의해 측정된 거리를 비교하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 거리 측정부가 물체의 초기상대거리, 차량의 속도 및 물체 속도를 이용하여 차량과 물체 간의 거리를 측정하는 단계에서, 상기 거리 측정부는 아래의 수학식을 이용하여 차량과 물체 간의 거리를 측정하고, 상기 수학식은 이며, 여기서, 는 상대거리, 는 초기 상대거리, 는 선행차량 속도, 는 대상차량 속도, 0.2, 2.9, 및 36.1은 보정 파라미터인 것을 특징으로 한다.
본 발명의 상기 성능 평가부는 기 설정된 시나리오별로 상기 거리 측정부를 통해 측정된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 것을 특징으로 한다.
본 발명의 상기 성능 평가부는 상기 시나리오별로 상기 거리 측정부를 통해 측정된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차의 최대치와 최소치 및 평균값 중 적어도 하나를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 것을 특징으로 한다.
본 발명의 긴급 제동 시스템의 성능평가 장치 및 방법은 듀얼 카메라를 이용하여 계산한 거리를 바탕으로, 평가 대상 AEB 시스템의 성능을 평가할 수 있도록 한다.
본 발명의 긴급 제동 시스템의 성능평가 장치 및 방법은 상대거리, 초기상대거리, 물체 속도, 대상차량 속도, 목표 상대거리, 시간차, 대상차량과 물체간의 시간차, 및 대상차량과 물체 간의 시간차를 이용하여 물체와의 거리를 측정하고, 이를 바탕으로 평가 대상 AEB 시스템의 성능을 평가할 수 있도록 한다.
본 발명의 긴급 제동 시스템의 성능평가 장치 및 방법은 완성차의 안전성 평가에 있어 실차시험 시 소요되는 기간, 경비 및 고가의 장비와 전문인력을 획기적으로 감소시킬 수 있다.
본 발명의 긴급 제동 시스템의 성능평가 장치 및 방법은 부품개발업체나 완성차 회사의 개발 자유도, 안전성 검증 등의 이론적 근거를 제공할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 긴급 제동 시스템의 성능평가 장치의 블럭 구성도이다.
도 2 는 본 발명의 일 실시예에 따른 듀얼 카메라 장착 위치 결정 장치의 블럭 구성도이다.
도 3 은 본 발명의 일 실시예에 따른 영상 보정부의 블럭 구성도이다.
도 4 는 본 발명의 일 실시예에 따른 영상 왜곡 보정을 위한 체커보드 영상을 나타낸 도면이다.
도 5 는 본 발명의 일 실시예에 따른 보정된 영상을 나타낸 도면이다.
도 6 은 본 발명의 일 실시예에 따른 수평 스테레오 카메라 모델을 나타낸 도면이다.
도 7 은 본 발명의 일 실시예에 따른 차선 검출부의 블럭 구성도이다.
도 8 은 본 발명의 일 실시예에 따른 차선 검출 과정을 도시한 순서도이다.
도 9 는 본 발명의 일 실시예에 따른 차선 검출 과정의 영상이다.
도 10 은 본 발명의 일 실시예에 따른 장착 위치 결정부의 블럭 구성도이다.
도 11 은 본 발명의 일 실시예에 따른 장착 위치를 개념적으로 나타낸 도면이다.
도 12 내지 도 14 는 본 발명의 일 실시예에 따른 카메라의 위치에 따른 영상을 나타낸 도면이다.
도 15 내지 도 17 은 본 발명의 일 실시예에 따른 위치 선정에 따른 평균 오차율을 나타낸 도면이다.
도 18 은 본 발명의 일 실시예에 따른 직선로에서의 전방 물체까지의 거리를 나타낸 도면이다.
도 19 는 본 발명의 일 실시예에 따른 곡선로에서의 전방 물체까지의 거리를 나타낸 도면이다.
도 20 은 본 발명의 일 실시예에 따른 거리 측정을 위한 시나리오의 예시도이다.
도 21 은 본 발명의 일 실시예에 따른 긴급 제동 시스템의 성능평가 방법의 순서도이다.
도 22 는 본 발명의 일 실시예에 따른 긴급 제동 시스템의 성능평가 방법의 순서도이다.
이하에서는 본 발명의 일 실시예에 따른 긴급 제동 시스템의 성능평가 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 긴급 제동 시스템의 성능평가 장치의 블럭 구성도이다.
도 1 을 참조하면, 본 발명의 일 실시예에 따른 긴급 제동 시스템의 성능평가 장치는 듀얼 카메라 장착 위치 결정 장치(100), 거리 측정부(200), 성능 평가부(300), 및 평가 결과 출력부(400)를 포함한다.
도 1 에서, 평가 대상 AEB 시스템(500)은 차량에 탑재되거나 탑재될 수 있는 AEB 시스템으로서, 그 평가 대상되는 AEB 시스템이다.
듀얼 카메라 장착 위치 결정 장치(100)는 차량 내 최적의 듀얼 카메라 장착 위치를 결정하고 결정된 장착 위치를 기반으로 물체까지의 거리를 측정한다.
도 2 는 본 발명의 일 실시예에 따른 듀얼 카메라 장착 위치 결정 장치의 블럭 구성도이다.
도 2 를 참조하면, 본 발명의 일 실시예에 따른 듀얼 카메라 장착 위치 결정 장치(100)는 2개의 카메라(10), 차선 검출부(30), 영상 보정부(40), 및 장착 위치 결정부(50)를 포함한다.
카메라(10)는 차량의 좌측과 우측에 각각 설치되어 차량 전방의 영상을 촬영한다.
도 3 은 본 발명의 일 실시예에 따른 영상 보정부의 블럭 구성도이고, 도 4 는 본 발명의 일 실시예에 따른 영상 왜곡 보정을 위한 체커보드 영상을 나타낸 도면이며, 도 5 는 본 발명의 일 실시예에 따른 보정된 영상을 나타낸 도면이다. 도 6 은 본 발명의 일 실시예에 따른 평행 스테레오 카메라 모델을 나타낸 도면이다.
영상 보정부(40)는 카메라(10)에서 촬영된 영상을 보정한다.
도 3 을 참조하면, 영상 보정부(40)는 영상 왜곡 제거부(41), 영상 정류부(42), 및 초점거리 검출부(43)를 포함한다.
영상 왜곡 제거부(41)는 영상의 왜곡을 제거한다.
통상적으로, 카메라(10)로 획득한 영상에는 볼록렌즈의 굴절률에 의해 발생하는 방사왜곡(radial distortion) 및 카메라 제조과정에서 렌즈와 이미지 센서의 수평 문제 등으로 발생하는 접선왜곡(tangential distortion)이 존재한다. 이에, 영상 왜곡 제거부(41)는 영상의 가장자리에서 방사왜곡으로 인한 원형의 왜곡, 접선왜곡으로 인한 타원형의 왜곡을 보정한다.
이를 위해, 영상 왜곡 제거부(41)는 영상 속 각 픽셀에 해당하는 좌표를 왜곡시켰을 때, 왜곡 영상 속 대응되는 픽셀의 값을 보정된 영상 속 각 픽셀의 값으로 사용한다.
본 실시예에서는 영상처리를 위해 OpenCV의 내장된 체커보드 패턴 탐색 함수, 코너 점 탐색 함수, 및 카메라 캘리브레이션 함수를 사용한다. 보정된 영상을 얻기 위해 카메라(10)로 6x4 체커보드를 촬영하여 체커보드 내의 코너 점을 찾고, 얻은 점들로부터 카메라 매트릭스(matrix)와 왜곡 계수를 계산한다. 도 5 의 (a)는 원본 영상에서 코너 점을 찾은 영상이고, (b)는 왜곡을 제거한 영상이다.
영상 정류부(42)는 카메라(10)의 설치 과정 혹은 카메라 내부 파라미터 등으로 발생할 수 있는 수직 시차를 영상 정류 보정한다.
통상적으로, 평행식 스테레오 카메라 구성은 카메라(10) 및 렌즈의 광축이 평행한 두 카메라(10)를 이용하므로, 수직 시차가 없기 때문에 영상처리에 유리하다.
영상 정류는 듀얼 카메라의 영상 내의 픽셀 행을 일치시키기 위한 에피폴라 라인(epipolar line)을 찾은 후, 영상 속 임의의 물체를 동일한 수평 좌표를 갖게 하는 것이다.
본 실시예에는 영상처리를 위해 OpenCV의 내장된 스테레오 캘리브레이션 함수와 스테레오 정류 함수를 사용하고, 체커보드 패턴 탐색, 코너 점 탐색 듀얼 카메라의 캘리브레이션을 위해 영상 왜곡 제거 단계에서 사용된 체커보드 영상을 사용할 수 있다. 도 5 의 (a)와 같이 하나의 체커보드를 듀얼 카메라로 촬영해 얻은 한 쌍의 영상으로부터 내부 파라미터와 두 카메라(10)의 회전 매트릭스, 정류된 좌표계에서의 투영 행렬 등을 얻을 수 있다. 이를 이용하면 도 5 의 (b)와 같은 보정된 영상을 얻을 수 있다.
초점거리 검출부(43)는 거리 측정을 위한 초점거리를 검출한다. 거리 측정을 위해 두 개의 카메라(10)의 광축이 서로 평행하고 렌즈가 서로 지면으로부터 동일한 높이에 위치하여 동일선상에 있으며, 도 6 에 도시된 바와 같은 카메라(10)의 기하학적 구조와 삼각측량법을 이용함으로써, 카메라(10)의 위치부터 물체까지의 3차원 좌표를 수학식 1과 같이 계산할 수 있다.
여기서, X, Y, Z는 세계 좌표계상의 물체 좌표, f는 초점거리, b는 좌우 카메라 사이의 간격, d는 시차, xl은 왼쪽 영상의 x좌표, xr은 오른쪽 영상의 x좌표, yl은 왼쪽 영상의 y좌표, yr은 오른쪽 영상의 y좌표이다.
한편, 초점거리는 Z축 좌표를 계산하기 위해 필요한 파라미터 중 하나지만, 고가의 카메라에 비해 값이 저렴한 웹캠의 경우 제조사에서 초점거리를 제공하지 않거나, 제공된 값과의 오차가 있을 수 있다. 또한 영상 보정을 거치면서 오차가 발생할 수 있기 때문에 값을 보정할 필요가 있다.
초점 거리 보정을 위하여 실제 데이터 기반으로 커브 피팅(curve fitting)을 수행할 수 있다. 수학식 1에서 Z축 좌표 Z와 시차 d가 반비례관계라는 점을 이용하여, 수학식 2를 얻을 수 있다.
Zactual은 실제거리이고, α,β는 초점 거리 보정을 통해 얻은 계수이며, d는 시차이다.
일 예로, 1m부터 5m까지 0.5m 간격으로 설치된 물체를 촬영하고, 각 지점에서의 물체의 시차를 계산하며, 거리별 시차 데이터와 수학식 2를 활용해 최소제곱법을 사용한 커브 피팅을 수행하면 계수 α,β를 얻을 수 있다.
이러한 초점거리와 시차를 토대로 후술하는 거리 검출부(51)에 의해 물체까지의 거리가 검출될 수 있다.
차선 검출부(30)는 2개의 카메라(10)에서 촬영된 영상에서 차선을 검출한다.
도 7 은 본 발명의 일 실시예에 따른 차선 검출부의 블럭 구성도이고, 도 8 은 본 발명의 일 실시예에 따른 차선 검출 과정을 도시한 순서도이며, 도 9 는 본 발명의 일 실시예에 따른 차선 검출 과정의 영상이다.
도 7 내지 도 9 를 참조하면, 차선 검출부(30)는 관심영역((region of interest)) 설정부(31), 직선 검출 영상 추출부(32), 색상 검출 영상 추출부(33), 영상 원근 변환부(34), 차선 생성부(35), 및 차선 적용부(36)를 포함한다.
관심영역 설정부(31)는 영상이 입력되면 영상 내에서 차선이 위치할 수 있는 관심영역을 설정한다(S10,S20). 관심영역은 카메라로 취득한 영상에서 필요한 정보가 있는 영역이다. 카메라가 자동차에 고정되면 도로에서 촬영되는 범위가 변하지 않기 때문에 관계없는 영역을 제거하여 필요한 영역만을 얻을 수 있다.
도 9 의 (a)는 고정된 좌측 카메라에서 입력되는 영상이며, 차선 검출이 가능한 영상의 높이인 20%에서 50%를 관심영역으로 설정하면 도 9 의 (b)와 같이 얻을 수 있다.
직선 검출 영상 추출부(32)는 관심영역 설정부(31)에 의해 설정된 관심영역에 대한 영상 처리, 예컨대 그레이스케일(grayscale) 변환, 엣지 검출, 허프 변환 및 필터링을 통해 직선 검출 영상을 추출한다.
먼저, 직선 검출 영상 추출부(32)는 관심영역에 대한 그레이스케일 변환을 수행한다(S30). 즉, 직선 검출 영상 추출부(32)는 관심영역인 RGB 형식을 단일 채널만을 가지는 흑백 영상으로 변환한다.
그레이스케일(grayscale) 변환은 3개의 채널로 구성된 RGB(Red, Green, Blue) 형식 영상을 하나의 채널로 구성된 단일 색상 영상으로 만든다. 변환된 영상은 밝기 정보만을 가지기 때문에 처리해야 할 데이터량이 1/3 수준으로 감소하여 연산 처리 속도를 높일 수 있다.
도 9 의 (c)는 그레이스케일 변환을 수행한 영상으로서, R, G, B 채널 각각의 픽셀 값을 더해서 평균한 값으로 생성된 단일채널 영상이다.
직선 검출 영상 추출부(32)는 노이즈 제거, 그라디언트 계산, 비최대 억제, 이력 현상 임계화의 단계로 구성된 캐니 에지 검출기(canny edge detector)를 이용하여 관심영역에서 엣지를 검출한다(S40).
캐니 에지 검출기는 에지 검출 알고리즘 중 하나이며, 노이즈(noise) 제거, 그라디언트(gradient)의 크기와 방향 계산, 비최대치 억제(non-maximum suppression), 이력 임계값(hysteresis threshold) 등의 단계를 거쳐 영상 내의 에지를 검출한다. 다단계 알고리즘으로 소벨 마스크(sobel mask)와 같은 미분 연산자만을 사용하는 방법보다 우수한 성능을 가진다.
도 9 의 (d)는 에지를 검출한 영상이다. 그리고 가우시안 필터(Gaussian filter)를 사용하여 노이즈를 제거하고, 캐니 에지 검출기를 사용하여 에지가 검출된 영상을 생성하였다.
마지막으로, 직선 검출 영상 추출부(32)는 엣지 검출 영상에서 허프 변환(hough transform)을 통해 직선 성분을 추출한 후, 기울기를 계산하여 수평선 및 수직선 제거하고, 직선이 검출된 영상을 추출한다(S50).
허프 변환은 x-y 좌표계의 성분을 r-θ 매개변수 공간의 성분으로 변환해서 표현하는 방법이다. x-y 좌표계의 직선과 점은 매개변수 공간에서 각각 점과 직선으로 표현되고, 매개변수 공간의 직선들이 교차하는 점을 이용하여 x-y 좌표계의 직선을 탐색할 수 있다.
도 9 의 (e)는 차선에 해당하는 직선을 얻은 영상이다. 에지가 검출된 영상에서 허프 변환을 이용하여 직선 성분을 검출하였다. 그리고 차선일 가능성이 낮은 수평선과 수직선을 제거하기 위해 획득한 직선의 기울기를 계산한 뒤, 기울기의 절대값이 5° 이하인 직선을 제거하였다.
색상 검출 영상 추출부(33)는 관심영역에 대한 HSV(Hue, Saturation, Value) 형식 변환 및 색상 검출을 통해 색상 검출 영상을 추출한다.
즉, 색상 검출 영상 추출부(33)는 입력 영상인 RGB 형식을 색조, 채도, 명도의 채널을 가지는 HSV 형식 영상으로 변환한다(S60).
HSV(Hue, Saturation, Value) 형식은 영상을 색상, 채도, 명도로 표현하는 색상 모델이다. 인간이 색상을 인식하는 방법을 응용한 모델이기 때문에 원하는 색상을 표현하는 것이 더 수월하다.
이어 색상 검출 영상 추출부(33)는 노란색에 해당하는 범위의 색조, 채도, 명도에 대한 범위값를 지정하고, 해당 범위 내의 픽셀이 검출된 색상 검출 영상을 추출한다(S70).
도 9 의 (f)는 도 9 의 (b)에서 노란색 픽셀을 추출한 영상이다. 영상을 RGB형식에서 HSV형식으로 변환한 후, 노란색 범위를 설정하였다. 색상, 채도, 명도의 범위는 0에서 1사이의 값으로 정규화했을 때, 색상의 범위는 0부터 0.1과 0.9부터 1까지, 채도의 범위는 0.12부터 1까지 해당한다. 명도의 값은 영상 평균 밝기의 1/3를 사용하였다. 그리고 영상에서 범위에 해당하는 값을 가진 픽셀은 255, 그렇지 않으면 0의 값을 가지도록 하였다.
영상 원근 변환부(34)는 직선 검출 영상 추출부(32)에 의해 추출된 직선이 검출된 영상과 색상 검출 영상 추출부(33)에 의해 추출된 색상이 검출된 영상을 결합하고 원근감이 제거된 효과를 갖는 영상을 획득한다.
즉, 영상 원근 변환부(34)는 직선 검출 영상 추출부(32)에 의해 추출된 직선이 검출된 영상과 색상 검출 영상 추출부(33)에 의해 추출된 색상이 검출된 영상을 기 설정된 비율 예를 들어 8:2의 가중치로 결합한다(S80).
도 9 의 (g)는 차선 후보에 해당하는 픽셀을 얻기 위해 직선을 추출한 영상과 색상을 추출한 영상을 결합한 영상이다. 도 9 의 (c)의 영상을 0.8, 도 9 의 (d)의 영상을 0.2의 가중치를 주어 결합한 영상이다.
이어 영상 원근 변환부(34)는 상기한 바와 같이 결합된 영상에 대한 4개의 좌표와 변환 영상에 대한 4개의 좌표로 계산된 변환행렬을 입력 영상에 적용하여, 원근감이 제거된 효과를 갖는 영상을 획득한다(S90).
원근 변환은 3x3의 변환행렬을 사용해서 호모그래피(homography)로 모델링할 수 있는 변환이다. 영상의 픽셀의 위치를 이동하는 기하학적 처리 기법을 통해 원근감이 제거된 영상을 얻을 수 있다.
차선 생성부(35)는 이전 프레임의 차선 검출 여부에 따라, 영상 원근 변환부(34)에 의해 변환된 영상의 전체 영역에서 차선 후보를 탐색하거나 차선 곡선 영역에서 차선 후보를 탐색한다.
즉, 차선 생성부(35)는 이전 프레임에서 차선이 검출되면, 영상 원근 변환부(34)에 의해 변환된 영상의 중심을 기준으로 좌우 차선을 구분하고, 획득한 차선 곡선의 인근 영역에서 슬라이딩 윈도우 기법을 통해 차선 후보를 탐색한다(S110).
반면에, 차선 생성부(35)는 이전 프레임에서 차선이 검출되지 않으면, 영상 원근 변환부(34)에 의해 변환된 영상의 중심을 기준으로 좌우 차선을 구분하고, 전체 영역에서 슬라이딩 윈도우 기법을 통해 차선 후보를 탐색한다(S120).
도 9 의 (h)는 도 9 의 (g)의 영상에서 원근감을 제거한 뒤, 슬라이딩 윈도우(slinding window)를 사용해서 차선 후보를 획득한 영상이다. 관심영역에서 설정한 차선 상의 4개의 점은 와핑(warping)된 영상에서 (300, 648), (300, 0), (780, 0), (780, 648)의 점으로 이동시켜 일직선이 되도록 하였다. 그리고 폭이 영상의 1/20, 높이가 영상의 1/6인 54픽셀 크기의 정사각형 윈도우를 설정하고, 슬라이딩 윈도우 방법을 통해 가장 큰 픽셀 합을 가지는 윈도우를 찾았다.
슬라이딩 윈도우 기법이란 윈도우(window)라고 불리는 특정 크기의 하위 배열을 사용하고, 배열 전체에서 각각의 윈도우 내의 요소들을 계산할 때마다, 중복된 요소를 버리지 않고 재사용하여 연산량을 줄이는 방법이다.
도 9 의 (i)는 차선 후보 픽셀로부터 2차 곡선 적합을 통해 차선 곡선을 생성한 영상이다. 도 9 의 (h)에서 좌우 차선의 각각 6개의 윈도우로부터 얻은 차선 후보 픽셀의 위치와 최소자승법을 사용하여 2차 곡선에 적합하면 차선 곡선을 생성할 수 있다.
차선 생성부(35)는 각 윈도우에서 차선 후보의 픽셀에 대한 좌표를 얻고, 해당 좌표를 2차 곡선에 적합하여 차선 곡선을 생성한다(S130).
이어 차선 생성부(35)는 생성된 차선 곡선을 원근 변환을 통해 입력 영상에 적용하여 차선이 검출된 영상을 획득한다(S140).
도 9 의 (j)는 입력영상에서 차선을 검출한 영상이다. 획득한 차선 곡선을 원근 변환을 통해 입력 영상에 적용하면 차선이 검출된 영상을 얻을 수 있다.
도 10 은 본 발명의 일 실시예에 따른 장착 위치 결정부의 블럭 구성도이고, 도 11 은 본 발명의 일 실시예에 따른 장착 위치를 개념적으로 나타낸 도면이며, 도 12 내지 도 14 는 본 발명의 일 실시예에 따른 카메라의 위치에 따른 영상을 나타낸 도면이며, 도 15 내지 도 17 은 본 발명의 일 실시예에 따른 위치 선정에 따른 평균 오차율을 나타낸 도면이다.
장착 위치 결정부(50)는 차선 검출부(30)에 의해 검출된 차선을 통해 차선의 직선로 또는 곡선로에서의 곡률, 및 영상 보정부(40)를 통해 획득된 시차를 이용하여 전방 물체까지의 거리를 측정하고, 측정된 거리와 실제 거리 간의 오차율을 기반으로 카메라의 장착 위치를 결정한다.
장착 위치 결정부(50)는 거리 검출부(51), 위치 판정부(52), 및 변수 조정부(53)를 포함한다.
카메라(10)의 장착 위치는 도 11 에 도시된 바와 같이 차량의 전방 양측이다. 카메라(10)의 장착 위치는 카메라(10)의 높이와 간격 및 각도(경사각)로 정의될 수 있으며 이들 변수를 보정함으로써 최적의 장착 위치가 결정될 수 있다.
따라서, 차량에 따라 카메라(10)의 높이와 간격 및 각도별로 높이 설정범위, 간격 설정범위 및 각도 설정범위가 설정되고, 이들 각각의 설정범위 내에서 카메라(10)의 장착 위치가 결정될 수 있다.
본 실시예에서는 지면을 기준으로 거리를 측정한다. 카메라(10)의 장착 높이가 낮을수록 영상 내에 촬영되는 지면 영역이 늘어난다. 따라서 카메라(10)의 장착 높이도 취득영상의 영역 결정에 중요한 영향을 미친다.
예컨대, 높이는 높이 설정범위 내에서 30cm, 40cm, 50cm로 선정되는 것을 예시로 설명한다.
일반 승용차의 경우 범퍼의 지면으로부터 최소 30cm 이상 떨어져 있기 때문에, 높이의 최소값은 30cm으로 선정될 수 있다. 그리고 높이가 50cm보다 큰 경우 1m 이내의 지면 촬영이 힘들기 때문에 높이의 최대값은 50cm로 선정될 수 있다. 도 12 의 (a)는 카메라(10)의 설치 간격 30cm, 각도 13°인 경우, 높이가 각각 30cm, 40cm, 50cm일 때의 입력 영상이다.
수학식 1은 카메라(10)의 기하학적 구조와 삼각측량법을 기반으로 만들어진 수학식이다. 따라서 카메라(10) 사이의 간격은 거리 측정에 미치는 영향이 크다.
간격은 간격 설정범위 내에서 10cm, 20cm, 30cm로 선정되는 것을 예시로 설명한다. 카메라(10)를 배치할 때, 물리적으로 가능한 최소 간격이 10cm이기 때문에 최소값은 10cm로 선정될 수 있다. 또한, 높이는 경향성을 확인하기 위해 10cm 간격으로 30cm까지 3개의 값이 선정될 수 있다. 도 13 는 카메라(10)의 설치 높이 40cm, 각도 13°인 경우, 간격이 각각 10cm, 20cm, 30cm일 때의 입력 영상이다.
카메라(10)가 지면과 수평으로 설치될 경우, 수직 화각이 작은 카메라(10)는 근거리의 지면을 촬영하지 못할 수 있다. 따라서 카메라(10)가 경사각 θ만큼 기울어져 설치되면, 근거리의 지면을 촬영할 수 있기 때문에 카메라(10)의 설치 각도는 중요하다.
각도는 각도 설정범위 내에서 3°, 7°, 12°로 선정되는 것을 예시로 설명한다. 높이가 50cm일 때, 각도 4°보다 작은 경우 1m 이내의 지면 촬영이 어렵기 때문에 각도의 최소값은 3°로 선정될 수 있다. 각도가 클수록 영상 내의 도로영역이 증가하는데, 차량의 흔들림이나 경사로 등 존재할 경우 도로의 상단이 촬영되지 않을 가능성이 있다. 각도가 12°일 때 영상 높이의 20%부터 80%까지 도로영역이 되기 때문에, 각도의 최대값은 12°로 선정될 수 있다. 도 14 는 카메라(10)의 설치 높이 40cm, 간격 30cm인 경우, 각도가 각각 3°, 7°, 12°일 때의 입력 영상이다.
거리 검출부(51)는 상기한 변수, 즉 높이와 간격 및 각도별로 차량으로부터 물체까지의 거리를 복수 회에 걸쳐 측정한다.
위치 판정부(52)는 높이와 간격 및 각도별로 거리 검출부(51)에 의해 측정된 거리를 실제 거리와 각각 비교하여 오차율을 검출하고 검출된 오차율과 기 설정된 기준 오차율을 비교하여 비교 결과에 따라 최적의 장착 위치를 결정한다.
이 경우, 위치 판정부(52)는 오차율이 기 설정된 기준 오차율 미만인지에 따라 현재의 높이와 간격 및 각도를 최적의 장착 위치로 결정한다. 위치 판정부(52)는 오차율이 기준 오차율 미만이면 듀얼 카메라의 현재 위치를 최종 위치로 판정한다. 반면에, 오차율이 기준 오차율 이상이면, 변수 조정부(53)에 의해 변수가 조정된다.
변수 조정부(53)는 위치 판정부(52)에 검출된 오차율이 기준 오차율 이상이면 높이와 간격 및 각도 중 적어도 하나를 조정한다. 변수 조정부(53)는 조정된 듀얼 카메라의 높이와 간격 및 각도를 별도의 디스플레이기기를 통해 출력한다. 이에 따라 사용자는 조정된 변수를 참고하고 듀얼 카메라의 장착 위치를 변경한다. 이때, 거리 검출부(51)는 조정된 변수를 토대로 물체까지의 거리를 검출한다.
예를 들어, 각 카메라(10)를 자동차에 장착하고, 실제도로에서 1m부터 5m까지 0.5m 간격으로 물체를 설치하고, 거리 검출부(51)를 통해 측정한 결과는 도 15 내지 도 17 과 같다.
도 15 는 높이가 30cm일 때의 시험결과이고, 도 15 의 (a), (b), (c)는 각각 간격이 10cm, 20cm, 30cm일 때 각도에 따른 정밀도를 비교한 결과이다.
도 15 의 (a), (b), (c)에서 평균오차율이 가장 작은 경우는 각각 3°의 13.28%, 12°의 4.14%, 12°의 8.34%이다.
도 16 는 높이가 40cm일 때의 시험결과이다. 도 16 의 (a), (b), (c)는 각각 간격이 10cm, 20cm, 30cm일 때 각도에 따른 정밀도를 비교한 결과이다.
도 16 의 (a), (b), (c)에서 평균오차율이 가장 작은 경우는 각각 3°의 5.55%, 7°의 5.49%, 12°의 0.86%이다.
도 17 은 높이가 50cm일 때의 시험결과이다. 도 17 의 (a), (b), (c)는 각각 간격이 10cm, 20cm, 30cm일 때 각도에 따른 정밀도를 비교한 결과이다.
도 17 의 (a), (b), (c)에서 평균오차율이 가장 작은 경우는 각각 7°의 3.77%, 7°의 2.45%, 12°의 1.32%이다.
도 15 내지 도 17 을 참고하면, 각도가 클수록 오차율이 감소하고, 간격이 넓을수록 오차율이 감소하며, 높이가 30cm에서 40cm로 높이가 증가할 때 오차율이 감소하고, 50cm로 증가할 때 오차율이 다시 증가한다.
이에, 변수 조정부(53)는 상기한 오차율의 변화를 토대로 각도와 간격 및 높이 중 적어도 하나를 선택적으로 조정한다.
상기한 분석 결과, 카메라(10)의 장착 위치는 높이 40cm, 간격 30cm, 각도 13°에서 가장 우수하다.
한편, 거리 검출부(51)는 직선로와 곡선로에서의 전방 물체까지의 거리를 각각 검출할 수 있다.
도 18 은 본 발명의 일 실시예에 따른 직선로에서의 전방 물체까지의 거리를 나타낸 도면이고, 도 19 는 본 발명의 일 실시예에 따른 곡선로에서의 전방 물체까지의 거리를 나타낸 도면이다.
거리 검출부(51)는 초점 거리 보정을 통해 획득한 계수 α를 초점거리 f로 사용하여 수학식 1에 대입하면 물체의 Z축 좌표를 얻을 수 있다. 하지만 시험에서는 근접 거리의 지면을 촬영하기 위하여 카메라(10)를 장착할 때 경사각 θ를 가지도록 한다. 즉, 카메라(10) 광축과 지면이 평행하지 않는다.
지면에서 카메라 위치부터 물체까지의 Z축 좌표를 계산하기 위해서는 수학식 1에 경사각 θ를 고려해 수학식 3과 같이 계산할 수 있다.
여기서, Xg, Yg, Zg는 지면에서 물체의 X,Y,Z축 좌표이고, θ는 카메라(10)의 각도이며, h는 카메라(10)의 높이이다.
도 18 과 같은 직선로에서는 카메라(10)부터 전방 물체까지의 거리는 종방향 수직거리만 요구하기 때문에 를 전방 물체까지의 거리로 사용할 수 있다.
도 19 와 같은 곡선로에서는 전방 물체까지의 거리를 측정하기 위해 도로의 곡률반경을 고려해야 한다.
따라서, 거리 검출부(51)는 물체의 X축 좌표와 Z축 좌표를 이용하여 수직 거리를 구한 뒤, 곡률반경을 고려하여 전방 물체까지의 거리를 계산한다.
카메라 위치와 전방물체까지의 수직거리는 수학식 4와 같이 계산된다.
여기서, chord는 자동차와 물체 사이의 수직거리이고, Xg1, Yg1은 지면상에서 자동차의 x, y 좌표이며, Xg2, Yg2는 지면상에서 물체의 x, y 좌표이다.
곡률중심을 중심으로 가지고, 카메라(10)의 위치부터 전방물체까지의 수직거리를 현(chord)으로 가지는 부채꼴의 중심각 φ는 수학식 5와 같이 계산된다.
여기서, φ는 자동차와 물체 사이의 각도(부채꼴의 중심각), R은 도로의 곡률반경이다.
부채꼴의 중심각 φ와 곡률반경 R이용하여 계산된 원의 호(arc)의 길이는 수학식 6과 같이 계산된다.
여기서, arc는 곡률반경을 고려한 자동차와 물체 사이의 거리이다.
곡선로에서 차량부터 전방물체까지의 거리는 곡률중심과 물체의 3차원 위치를 고려하여 계산될 수 있으며, 호가 카메라 위치부터 전방물체까지의 거리로 결정될 수 있다.
곡률반경의 유무에 따라 직선로와 곡선로에 따라 다른 수식을 제안하였다. 제안된 수식에서 곡선로에서 곡률반경이 클수록 직선로 거리 측정 식과 곡선로 거리 측정 식의 차이가 감소한다. 따라서 곡률반경이 일정 값을 이상이면 직선로로 결정하고 그렇지 않으면 곡선로로 결정한 뒤, 수식을 적용한다. 곡률반경이 1293m일 때 오차율이 0.1% 이하가 된다. 따라서 제안하는 수식은 1293m를 기준점으로 사용하였고, 수학식 7과 같이 표현된다.
여기서, Zt는 카메라(10)로부터 전방의 물체까지의 이론적 거리이다.
실차시험은 전방 거리 측정 식의 검증을 위해, 듀얼 카메라를 선정한 최적 위치(높이 40cm, 간격 30cm, 각도 13°)에 장착 후 진행하였다.
시험을 진행한 직선도로와 곡선도로이다. 곡선도로의 경우, 곡률 반지름은 69m이고, 곡률 반지름이 80m 이하인 곡선도로에서 진행되었다. 직선도로의 경우, 자동차 전방 10m부터 40m까지 10m 간격으로 설치된 장애물에 대해, 정지 상태와 주행 상태를 구분하였다. 곡선도로의 경우, 도로의 중심과 좌우 차선에 장애물을 설치하고, 6m에서 21m까지 5m 간격으로 설치된 장애물에 대해, 정지 상태와 주행 상태를 구분하여 총 4가지 경우에 대해 시험을 진행하였다.
객관적인 데이터 취득을 위해 동일한 장비를 활용하여 3회 반복시험하였다.
직선로 정지 상태의 경우, 10m 지점부터 40m 지점까지 모두 물체를 식별할 수 있었으며, 최대 오차는 30m 지점에서 2.29%로 나타났다.
직선로 주행 상태의 경우, 10m 지점부터 20m 지점까지 물체를 식별할 수 있었으며, 30m 지점 이상부터는 물체를 식별할 수 없었다. 이는 주행 중 발생하는 자동차의 흔들림, 조명 변화, 카메라(10)의 진동 등의 영향으로 판단하였으며, 최대 오차는 20m 지점에서 5.35%로 나타났다.
곡선로 정지 상태의 경우, 5m 지점부터 20m 지점까지 물체를 식별할 수 있었으며, 최대 오차는 20m 지점에서 1.65%로 나타났다.
곡선로 주행 상태의 경우, 5m 지점에서 15m 지점까지 물체를 식별할 수 있었으며, 20m 지점에서는 물체를 식별할 수 없었다. 이는 주행 중 발생하는 자동차의 흔들림, 조명 변화, 카메라(10)의 진동 등의 영향으로 판단하였으며, 최대 오차는 6m 지점에서 9.40%로 나타났다.
시험결과, 물체와의 거리 측정의 오차는 자동차의 흔들림, 조명 변화, 카메라(10)의 진동 등으로 인하여 전방물체가 부정확하게 검출될 때 오차가 증가하는 경향을 보인다. 그리고 곡선로 주행 상태의 경우 오차가 직선로와 비교해서 비교적 큰 경향을 보이는데, 이는 계산과정에서 사용된 고정된 곡률반경이 영향을 미친 것으로 판단된다.
참고로, 정밀도와 오차율에 따른 최적 장착 위치로, 카메라(10)의 높이는 40cm이고, 카메라(10)의 간격은 30cm이며, 각도는 12°일 수 있으며, 이러한 카메라(10)의 위치를 기반으로 설명한다.
거리 측정부(200)는 물체의 초기상대거리, 차량의 속도 및 물체 속도를 이용하여 차량과 물체 간의 거리를 검출한다.
본 실시예에서는, 거리 측정부(200)에 의해 검출되는 물체를 선행차량을 예시로 설명한다. 그러나, 물체는 선행차량 이외에도 보행자 등일 수도 있으며, 물체의 종류는 특별히 한정되는 것은 아니다.
거리 측정부(200)는 차량(대상차량)과 선행차량의 초기상대거리, 차량의 속도 및 선행차량 속도를 이용하여 차량과 선행차량 간의 거리를 아래의 수학식 8을 통해 계산한다. 여기서, 선행차량의 속도는 레이더 센서 등을 토대로 감지될 수 있다.
여기서, d는 차량과 선행차량 간의 거리이고, vTV는 선행차량의 속도이며, vSV는 자기차량의 속도이다.
차량과 선행차량 간의 거리는 목표 상대거리(), 차량과 선행차량 간의 시간차(), 및 차량과 선행차량 간의 속도차()를 토대로 유도될 수 있다.
차량의 속도와 거리를 제어하기 위한 목표 가속도는 레이더 센서를 사용하여 측정한 차량의 속도와 거리 정보를 이용해 최적 제어 이론을 통해 계산될 수 있으며, 이와 관련된 거리정보인 목표 상대거리는 아래의 식과 같다.
먼저, 목표 상대거리는 이다.
선행차량의 속도와 거리는 차량에 장착된 각종 센서를 통해 측정될 수 있다. 이러한 센서로는 레이더 센서나 라이다 센서 또는 초음파 센서 등이 채용될 수 있으며, 특별히 한정되는 것은 아니다.
여기서, ddes는 목표 상대거리이고, d0는 차량과 선행차량의 초기상대거리이며, τ는 시간차이며, tront는 차량과 선행차량 간의 시간차이다.
차량과 선행차량 간의 시간차는 이며, 여기서 차량과 선행차량 간의 시간차 계산식에서의 V는 차량과 선행차량 간의 속도차이다.
한편, 차량과 선행차량 간의 속도차는 이다.
여기서, vTV는 선행차량의 속도이며, vSV는 자기차량의 속도이다.
시간차(τ)와 tront가 동일한 역할을 함에 따라, 차량과 선행차량 간의 거리의 상기한 수학식 3과 같이 유도될 수 있다.
통상적으로, 차량과 선행차량의 상대속도가 증가할수록 시간차도 증가하여 오차가 발생할 수 있다. 따라서, 를 통해 차량과 선행차량의 상대속도만으로도 시간차 오차가 감소될 수 있다.
한편, 카메라(10)의 높이가 40cm이고, 간격이 30cm이며, 각도가 12°인 경우에서의 차량과 선행차량 간의 거리 측정 결과는 아래의 표 1과 표 2 를 참조하여 설명한다.
표 1 은 듀얼 카메라 장착 위치 결정 장치(100)에 의해 측정된 거리와 실제 DGPS 실측값을 비교한 결과이다.
표 1 을 참조하면, 듀얼 카메라 장착 위치 결정 장치(100)에 의해 측정된 거리와 DGPS 실측값의 최소편차는 Vehicle to Vehicle 30km/h 시나리오 중 3번째 테스트에서 2.57cm의 편차를 보였으며, 최소 오차율은 1.80%로 나타남을 알 수 있다.
최대편차는 Vehicle to Pedestrian 30km/h 시나리오 중 3번째 테스트에서 16.20cm의 편차를 보였으며, 최대 오차율은 8.89%로 나타남을 알 수 있다.
이를 토대로 카메라와 DGPS 실측값의 오차가 상대적으로 작음을 알 수 있다.
표 2 는 상기한 수학식 8의 계산값, 즉 거리 측정부(200)에 의해 측정된 거리와 DGPS 실측값을 비교한 결과이다.
표 2 를 참조하면, 거리 측정부(200)에 의해 측정된 거리과 실측값의 최소 편차는 Vehicle to Vehicle 30km/h 시나리오 중 2번째 테스트에서 0.17cm의 편차를 보였으며, 최소 오차율은 0.11%로 나타남을 알 수 있다.
최대편차는 Vehicle to Pedestrian 40km/h 시나리오 중 1번째 테스트에서 6.31cm의 편차를 보였으며, 최대 오차율은 4.45%로 나타남을 알 수 있다.
이를 토대로 수학식 8의 이론값과 DGPS 실측값의 오차가 상대적으로 작음을 알 수 있다.
성능 평가부(300)는 평가 대상 AEB 시스템(500)에 의해 측정된 거리를 듀얼 카메라 장착 위치 결정 장치(100) 또는 거리 측정부(200)를 통해 측정된 거리와 각각 비교하여 해당 평가 대상 AEB 시스템(500)의 성능을 평가한다.
도 20 은 본 발명의 일 실시예에 따른 거리 측정을 위한 시나리오의 예시도이다. 시나리오는 복수 개가 마련될 수 있다.
차량이 도 20 에 도시된 바와 같이 기 설정된 시나리오에 따라 운행하는 경우, 듀얼 카메라 장착 위치 결정 장치는 물체와의 거리를 검출하여 성능 평가부(300)에 입력한다.
또한, 평가 대상 AEB 시스템(500)은 해당 시나리오에 따라 측정한 물체와의 거리를 성능 평가부(300)에 입력한다. 여기서, 평가 대상 AEB 시스템(500)에 의해 측정된 물체와의 거리는 사전에 데이터베이스에 저장되어 있거나 또는 실체 차량에 탑재되어 측정될 수 있다.
성능 평가부(300)는 듀얼 카메라 장착 위치 결정 장치(100) 및 평가 대상 AEB 시스템(500)으로부터 입력된 거리를 비교하여 오차를 검출한다.
이어 성능 평가부(300)는 검출된 오차를 토대로 해당 평가 대상 AEB 시스템(500)의 성능을 평가할 수 있다.
한편, 차량이 기 설정된 시나리오에 따라 운행하는 경우, 거리 측정부(200)는 물체와의 거리를 검출하여 성능 평가부(300)에 입력한다.
또한, 평가 대상 AEB 시스템(500)은 해당 시나리오에 따라 측정한 물체와의 거리를 성능 평가부(300)에 입력한다. 여기서, 평가 대상 AEB 시스템(500)에 의해 측정된 물체와의 거리는 사전에 데이터베이스에 저장되어 있거나 또는 실체 차량에 탑재되어 측정될 수 있다.
성능 평가부(300)는 거리 측정부(200) 및 평가 대상 AEB 시스템(500)으로부터 각각 입력된 거리를 비교하여 오차를 검출한다.
이어 성능 평가부(300)는 검출된 오차를 토대로 해당 평가 대상 AEB 시스템(500)의 성능 평가할 수 있다.
이때, 성능 평가부(300)는 오차의 최대치와 최소치 및 평균값을 각 시나리오별로 검출할 수 있다.
평가 결과 출력부(400)는 성능 평가부(300)의 평가 결과를 출력한다.
이 경우, 평가 결과 출력부(400)는 각 시나리오별 오차의 최대치와 최소치 및 평균값을 출력할 수 있다.
이하 본 발명의 일 실시예에 따른 긴급 제동 시스템의 성능평가 방법을 도 21 및 도 22 를 참조하여 상세하게 설명한다.
도 21 은 본 발명의 일 실시예에 따른 긴급 제동 시스템의 성능평가 방법의 순서도이다.
도 21 을 참조하면, 먼저 차량은 기 설정된 시나리오에 따라 주행한다(S210).
이때, 듀얼 카메라 장착 위치 결정 장치(100)는 물체와의 거리를 검출하고(S220), 평가 대상 AEB 시스템(500)은 해당 시나리오에 따라 측정한 물체와의 거리를 검출한다(S230).
듀얼 카메라 장착 위치 결정 장치(100)에 의해 측정된 물체와의 거리와 평가 대상 AEB 시스템(500)에 의해 검출된 물체와의 거리는 성능 평가부(300)에 입력된다.
성능 평가부(300)는 듀얼 카메라 장착 위치 결정 장치(100) 및 평가 대상 AEB 시스템(500)으로부터 입력된 거리를 비교한다(S240).
성능 평가부(300)는 비교 결과에 따라 오차를 검출하고, 이 오차를 기반으로 평가 대상 AEB 시스템(500)의 성능을 평가하고, 평가 결과 출력부(400)가 해당 평가 결과를 출력한다(S250).
이때, 성능 평가부(300)는 오차의 최대치와 최소치 및 평균값을 각 시나리오별로 검출하고, 이들을 토대로 평가 대상 AEB 시스템(500)의 성능을 평가할 수 있다.
도 22 는 본 발명의 일 실시예에 따른 긴급 제동 시스템의 성능평가 방법의 순서도이다.
도 22 를 참조하면, 먼저 차량은 기 설정된 시나리오에 따라 주행한다(S310).
이때, 거리 측정부(200)는 물체와의 거리를 측정하고(S320), 평가 대상 AEB 시스템(500)은 해당 시나리오에 따라 측정한 물체와의 거리를 검출한다(S330).
거리 측정부(200)에 의해 측정된 물체와의 거리와 평가 대상 AEB 시스템(500)에 의해 검출된 물체와의 거리는 성능 평가부(300)에 입력된다.
성능 평가부(300)는 거리 측정부(200) 및 평가 대상 AEB 시스템(500)으로부터 입력된 거리를 비교한다(S340).
성능 평가부(300)는 비교 결과에 따라 오차를 검출하고, 이 오차를 기반으로 평가 대상 AEB 시스템(500)의 성능을 평가하고, 평가 결과 출력부(400)가 평가 결과를 출력한다(S350).
이때, 성능 평가부(300)는 오차의 최대치와 최소치 및 평균값을 각 시나리오별로 검출하고, 이들을 토대로 평가 대상 AEB 시스템(500)의 성능을 평가할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 긴급 제동 시스템의 성능평가 장치 및 방법은 듀얼 카메라를 이용하여 계산한 거리를 바탕으로, 평가 대상 AEB 시스템(500)의 성능을 평가할 수 있도록 한다.
또한, 본 발명의 일 실시예에 따른 긴급 제동 시스템의 성능평가 장치 및 방법은 상대거리, 초기상대거리, 물체 속도, 대상차량 속도, 목표 상대거리, 시간차, 대상차량과 물체간의 시간차, 및 대상차량과 물체 간의 시간차를 이용하여 물체와의 거리를 측정하고, 이를 바탕으로 평가 대상 AEB 시스템(500)의 성능을 평가할 수 있도록 한다.
또한, 본 발명의 일 실시예에 따른 긴급 제동 시스템의 성능평가 장치 및 방법은 완성차의 안전성 평가에 있어 실차시험 시 소요되는 기간, 경비 및 고가의 장비와 전문인력을 획기적으로 감소시킬 수 있다.
또한, 본 발명의 긴급 제동 시스템의 성능평가 장치 및 방법은 부품개발업체나 완성차 회사의 개발 자유도, 안전성 검증 등의 이론적 근거를 제공할 수 있다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.
10: 카메라 30: 차선 검출부
31: 관심영역 설정부 32: 그레이스케일 변환부
33: HSV 형식 변환부 34: 에지 검출부
35: 필터링부 36: 차선 인식부
40: 영상 보정부 41: 영상 왜곡 제거부
42: 영상 정류부 43: 초점거리 검출부
50: 장착 위치 결정부 51: 거리 검출부
52: 오차율 검출부 53: 변수 조정부
100: 듀얼 카메라 장착 위치 결정 장치
200: 거리 측정부 300: 성능 평가부
400: 평가 결과 출력부 500: 평가 대상 AEB 시스템

Claims (16)

  1. 듀얼 카메라를 기반으로 물체까지의 거리를 측정하는 듀얼 카메라 장착 위치 결정 장치; 및
    상기 듀얼 카메라 장착 위치 결정 장치를 통해 검출된 거리와 평가 대상 AEB 시스템에 의해 측정된 거리를 비교하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 성능 평가부를 포함하고,
    상기 성능 평가부는 기 설정된 시나리오별로 상기 듀얼 카메라 장착 위치 결정 장치를 통해 검출된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하며,
    상기 성능 평가부는 상기 시나리오별로 상기 듀얼 카메라 장착 위치 결정 장치를 통해 검출된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차의 최대치와 최소치 및 평균값 중 적어도 하나를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 것을 특징으로 하는 긴급 제동 시스템의 성능 평가 장치.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서, 상기 성능 평가부의 평가 결과를 출력하는 평가 결과 출력부를 더 포함하는 것을 특징으로 하는 긴급 제동 시스템의 성능 평가 장치.
  5. 물체의 초기상대거리, 차량의 속도 및 물체 속도를 이용하여 차량과 물체 간의 거리를 측정하는 거리 측정부; 및
    상기 거리 측정부를 통해 측정된 거리와 평가 대상 AEB 시스템에 의해 측정된 거리를 비교하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 성능 평가부를 포함하고,
    상기 성능 평가부는 기 설정된 시나리오별로 상기 거리 측정부를 통해 측정된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 것을 특징으로 하는 긴급 제동 시스템의 성능 평가 장치.
  6. 제 5 항에 있어서, 상기 거리 측정부는
    아래의 수학식을 이용하여 차량과 물체 간의 거리를 측정하고,
    상기 수학식은

    이며, 여기서, 는 상대거리, 는 초기 상대거리, 는 선행차량 속도, 는 대상차량 속도, 0.2, 2.9, 및 36.1은 보정 파라미터인 것을 특징으로 하는 긴급 제동 시스템의 성능평가 장치.
  7. 삭제
  8. 제 5 항에 있어서, 상기 성능 평가부는
    상기 시나리오별로 상기 거리 측정부를 통해 측정된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차의 최대치와 최소치 및 평균값 중 적어도 하나를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 것을 특징으로 하는 긴급 제동 시스템의 성능 평가 장치.
  9. 제 5 항에 있어서, 상기 성능 평가부의 평가 결과를 출력하는 평가 결과 출력부를 더 포함하는 것을 특징으로 하는 긴급 제동 시스템의 성능 평가 장치.
  10. 듀얼 카메라 장착 위치 결정 장치가 듀얼 카메라를 기반으로 물체까지의 거리를 측정하는 단계; 및
    성능 평가부가 상기 듀얼 카메라 장착 위치 결정 장치를 통해 검출된 거리와 평가 대상 AEB 시스템에 의해 측정된 거리를 비교하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 단계를 포함하고,
    상기 평가 대상 AEB 시스템의 성능을 평가하는 단계에서, 상기 성능 평가부는 기 설정된 시나리오별로 상기 듀얼 카메라 장착 위치 결정 장치를 통해 검출된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하며,
    상기 평가 대상 AEB 시스템의 성능을 평가하는 단계에서, 상기 성능 평가부는 상기 시나리오별로 상기 듀얼 카메라 장착 위치 결정 장치를 통해 검출된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차의 최대치와 최소치 및 평균값 중 적어도 하나를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 것을 특징으로 하는 긴급 제동 시스템의 성능 평가 방법.
  11. 삭제
  12. 삭제
  13. 거리 측정부가 물체의 초기상대거리, 차량의 속도 및 물체 속도를 이용하여 차량과 물체 간의 거리를 측정하는 단계; 및
    성능 평가부가 상기 거리 측정부를 통해 측정된 거리와 평가 대상 AEB 시스템에 의해 측정된 거리를 비교하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 단계를 포함하는 긴급 제동 시스템의 성능평가 방법.
  14. 제 13 항에 있어서, 상기 거리 측정부가 물체의 초기상대거리, 차량의 속도 및 물체 속도를 이용하여 차량과 물체 간의 거리를 측정하는 단계에서,
    상기 거리 측정부는 아래의 수학식을 이용하여 차량과 물체 간의 거리를 측정하고,
    상기 수학식은

    이며, 여기서, 는 상대거리, 는 초기 상대거리, 는 선행차량 속도, 는 대상차량 속도, 0.2, 2.9, 및 36.1은 보정 파라미터인 것을 특징으로 하는 긴급 제동 시스템의 성능평가 방법.
  15. 제 13 항에 있어서, 상기 성능 평가부는
    기 설정된 시나리오별로 상기 거리 측정부를 통해 측정된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 것을 특징으로 하는 긴급 제동 시스템의 성능 평가 방법.
  16. 제 14 항에 있어서, 상기 성능 평가부는 시나리오별로 상기 거리 측정부를 통해 측정된 거리와 상기 평가 대상 AEB 시스템에 의해 측정된 거리의 오차의 최대치와 최소치 및 평균값 중 적어도 하나를 이용하여 상기 평가 대상 AEB 시스템의 성능을 평가하는 것을 특징으로 하는 긴급 제동 시스템의 성능 평가 방법.
KR1020210153122A 2021-11-09 2021-11-09 긴급 제동 시스템의 성능평가 장치 및 방법 Active KR102565603B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210153122A KR102565603B1 (ko) 2021-11-09 2021-11-09 긴급 제동 시스템의 성능평가 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210153122A KR102565603B1 (ko) 2021-11-09 2021-11-09 긴급 제동 시스템의 성능평가 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230067242A KR20230067242A (ko) 2023-05-16
KR102565603B1 true KR102565603B1 (ko) 2023-08-10

Family

ID=86545934

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210153122A Active KR102565603B1 (ko) 2021-11-09 2021-11-09 긴급 제동 시스템의 성능평가 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102565603B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574532B (zh) * 2023-11-07 2024-10-18 中国汽车工程研究院股份有限公司 一种基于aeb技术的性能评估方法
KR102728976B1 (ko) * 2023-12-15 2024-11-13 주식회사 바라스토 산업재해 예방을 위한 지게차용 스마트 자동 제동시스템
CN119469814B (zh) * 2025-01-09 2025-05-16 中汽研汽车检验中心（天津）有限公司 车辆制动姿态变化的测量方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102011665B1 (ko) * 2018-06-07 2019-08-19 계명대학교 산학협력단 차량용 ａｃｃ 시스템 시험평가 장치 및 방법
KR102011664B1 (ko) * 2018-06-07 2019-08-19 계명대학교 산학협력단 자동 긴급 제동 시스템의 시험평가 장치 및 그 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285534A (ja) * 1995-04-12 1996-11-01 Suzuki Motor Corp 車載用画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102011665B1 (ko) * 2018-06-07 2019-08-19 계명대학교 산학협력단 차량용 ａｃｃ 시스템 시험평가 장치 및 방법
KR102011664B1 (ko) * 2018-06-07 2019-08-19 계명대학교 산학협력단 자동 긴급 제동 시스템의 시험평가 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR20230067242A (ko) 2023-05-16

Similar Documents

Publication Publication Date Title
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법
CN108692719B (zh) 物体检测装置
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
JP6184877B2 (ja) 車両用外界認識装置
CN108416320B (zh) 巡检设备、巡检设备的控制方法及控制装置
WO2014073322A1 (ja) 物体検出装置及び物体検出方法
US10672141B2 (en) Device, method, system and computer-readable medium for determining collision target object rejection
US10719949B2 (en) Method and apparatus for monitoring region around vehicle
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
KR20180098945A (ko) 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치
JP2016200557A (ja) 校正装置、距離計測装置及び校正方法
US11054245B2 (en) Image processing apparatus, device control system, imaging apparatus, image processing method, and recording medium
US20200074660A1 (en) Image processing device, driving assistance system, image processing method, and program
US20230286548A1 (en) Electronic instrument, movable apparatus, distance calculation method, and storage medium
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
WO2017090097A1 (ja) 車両用外界認識装置
JP5587852B2 (ja) 画像処理装置及び画像処理方法
KR102629639B1 (ko) 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법
EP3540643A1 (en) Image processing apparatus and image processing method
KR102681321B1 (ko) 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법
JP6561688B2 (ja) 検出装置、検出方法、撮像装置、機器制御システム、及びプログラム
JP7064400B2 (ja) 物体検知装置
KR102588013B1 (ko) 듀얼 카메라를 이용하여 거리를 계산하는 적응형 크루즈 컨트롤 시스템의 성능 평가 장치와 그 제어 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20211109

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230515

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230727

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230807

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230808

End annual number: 3

Start annual number: 1

PG1601 Publication of registration