Nothing Special   »   [go: up one dir, main page]

KR101680833B1 - 보행자 검출 경보 장치 및 방법 - Google Patents

보행자 검출 경보 장치 및 방법 Download PDF

Info

Publication number
KR101680833B1
KR101680833B1 KR1020140156279A KR20140156279A KR101680833B1 KR 101680833 B1 KR101680833 B1 KR 101680833B1 KR 1020140156279 A KR1020140156279 A KR 1020140156279A KR 20140156279 A KR20140156279 A KR 20140156279A KR 101680833 B1 KR101680833 B1 KR 101680833B1
Authority
KR
South Korea
Prior art keywords
image
pedestrian
driver
vehicle
detected
Prior art date
Application number
KR1020140156279A
Other languages
English (en)
Other versions
KR20160056189A (ko
Inventor
정연모
조재식
김상우
최우석
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020140156279A priority Critical patent/KR101680833B1/ko
Publication of KR20160056189A publication Critical patent/KR20160056189A/ko
Application granted granted Critical
Publication of KR101680833B1 publication Critical patent/KR101680833B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00Arrangement or adaptation of acoustic signal devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/08Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34Protecting non-occupants of a vehicle, e.g. pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

보행자를 검출하고 경보하는 장치 및 방법이 개시된다. 일 실시예에 따른 보행자 검출 경보 장치는 운전자의 얼굴 영상을 획득하는 운전자의 얼굴 영상 획득부, 차량의 전방 영상을 획득하는 차량의 전방 영상 획득부, 상기 운전자의 얼굴 영상 획득부에 의하여 획득한 운전자의 얼굴 영상에서 운전자의 시선을 검출하는 시선 검출부, 상기 차량의 전방 영상 획득부에 의하여 획득한 차량의 전방 영상에서 상기 시선 검출부에 의하여 검출된 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정하는 시야 영상 결정부, 상기 차량의 전방 영상에서 상기 시야 영상 결정부에 의하여 결정된 운전자의 시선에 따른 시야 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정하는 검출 영역 설정부, 상기 검출 영역 설정부에 의하여 설정된 보행자를 검출할 범위의 영상에서 보행자를 검출하는 보행자 검출부 및 상기 보행자 검출부에 의하여 보행자가 검출되는 경우에 경보를 출력하는 경보 출력부를 포함한다.

Description

보행자 검출 경보 장치 및 방법{APPARATUS AND METHOD FOR DETECTING PEDESTRIAN AND ALERT}
본 발명은 보행자를 검출하고 경보하는 장치 및 방법에 관한 것이다.
동력 차량 특히 자동차는 한 장소에서 다른 장소로 사람 또는 사물을 운송하는데 광범위하게 사용되는 현대 사회의 필수불가결한 물건이다. 그러나, 현재 차량의 급격한 증가에 따라 차량 충돌에 의한 피해가 증가하고 있다. 특히, 차량과 보행자가 충돌한 경우 보행자의 사망률이 증가하고 있다.
한편, 카메라를 이용하여 실시간으로 사람을 검출하는 연구는 자동 보안 감시 시스템, 로봇 응용, 의학 응용 시스템, 지능형 차량용 시스템 등의 다양한 분야에서 활용되고 있다. 특히 지능형 차량용 시스템 분야에서는 사람 검출 연구를 활용하여 차량이 사고 없이 안전하게 운행을 하도록 하는 연구가 진행되고 있다. 예를 들어,‘지능형 자동차 안전기술’이란 자동차가 스스로 카메라나 레이더, 초음파 등의 센서로 주변 상황을 인식하여 자동차의 전자 제어 장치가 위험 상황이라고 판단하면 전기 신호를 보내 해당 장치를 제어하는 기술을 말한다. 대표적인 지능형 자동차 안전기술에는 전방 추돌 경고시스템, 자동차 긴급 제동 시스템 등이 있다.
즉, 차량의 전방에 레이더 센서나 카메라 등을 장착하여, 차량 전방의 장애물 유무와 장애물의 종류를 감지함으로써, 운전자가 부주의로 감속하지 않더라도 운전자에게 경고하는 장치의 개발이 활발하게 진행 중이다. 예를 들어, 속도 센서 등을 이용하여 전방 물체와의 충돌 속도(Collision Speed) 또는 전방 물체와의 거리 등을 계산하고, 그 결과값에 따라서 제동을 수행하는 방법 등이 있다.
본 발명이 해결하고자 하는 하나의 과제는 운전자의 시야 및 차량의 전방 상태를 반영하여 보행자를 검출하고 경보하는 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 하나의 과제는 보행자 검출을 효율적이고 빠르게 하는 보행자 검출 경보 장치 및 방법을 제공하는 것이다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 보행자 검출 경보 장치는 운전자의 얼굴 영상을 획득하는 운전자의 얼굴 영상 획득부, 차량의 전방 영상을 획득하는 차량의 전방 영상 획득부, 상기 운전자의 얼굴 영상 획득부에 의하여 획득한 운전자의 얼굴 영상에서 운전자의 시선을 검출하는 시선 검출부, 상기 차량의 전방 영상 획득부에 의하여 획득한 차량의 전방 영상에서 상기 시선 검출부에 의하여 검출된 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정하는 시야 영상 결정부, 상기 차량의 전방 영상에서 상기 시야 영상 결정부에 의하여 결정된 운전자의 시선에 따른 시야 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정하는 검출 영역 설정부, 상기 검출 영역 설정부에 의하여 설정된 보행자를 검출할 범위의 영상에서 보행자를 검출하는 보행자 검출부 및 상기 보행자 검출부에 의하여 보행자가 검출되는 경우에 경보를 출력하는 경보 출력부를 포함한다.
상기 실시예의 일 측면에 의하면, 상기 시선 검출부는 상기 운전자의 얼굴 영상에서 운전자의 눈 영역을 결정하여 운전자의 후보 시선을 추출하고, 추출된 운전자의 후보 시선 중에서 운전자의 최종 시선을 선택할 수 있다.
상기 실시예의 다른 측면에 의하면, 상기 보행자 검출 경보 장치는 상기 검출 영역 설정부에 의하여 설정된 보행자를 검출할 범위의 영상에서 소정의 상하 영역의 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정하는 검출 영역 수정부를 더 포함할 수 있다.
이 경우에, 상기 검출 영역 수정부는 운전자의 얼굴 영상에서 운전자가 특이 상태인 것으로 판단되면, 차량의 전방 영상을 보행자를 검출할 범위의 영상으로 설정하고, 상기 경보 출력부는 상기 보행자 검출부에 의하여 보행자가 검출되는 경우에 경보음의 세기를 크게 조절하여 출력할 수 있다.
상기 실시예의 또 다른 측면에 의하면, 상기 보행자 검출 경보 장치는 상기 차량과 상기 보행자 검출부에 의하여 검출된 보행자 사이의 거리 및 상기 검출된 보행자의 진행 방향을 이용하여 상기 검출된 보행자에 대한 위험 수준를 산출하는 위험 수준 산출부를 더 포함할 수 있다.
이 경우에, 상기 위험 수준 산출부는 상기 검출된 보행자의 진행 방향이 상기 차량으로부터 멀어지는 경우에는 위험 수준을 낮게 산출할 수 있다.
또는, 상기 위험 수준 산출부는 상기 검출된 보행자의 진행 방향이 상기 차량으로 가까워지는 경우에는 위험 수준을 높게 산출할 수 있다.
또는, 상기 경보 출력부는 상기 위험 수준 산출부에 의하여 산출된 위험 수준에 따라 경보음의 세기를 조절하여 출력하는 보행자 검출 경보 장치.
상기 실시예의 또 다른 측면에 의하면, 상기 경보 출력부는 보행자가 검출된 방향에서 경보음을 출력할 수 있다.
상기 실시예의 또 다른 측면에 의하면, 상기 경보 출력부는 보행자가 검출된 거리에 따라 경보음의 세기를 조절하여 출력할 수 있다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 보행자 검출 경보 방법은 운전자의 얼굴 영상을 획득하는 단계, 차량의 전방 영상을 획득하는 단계, 상기 획득한 운전자의 얼굴 영상에서 운전자의 시선을 검출하는 단계, 상기 획득한 차량의 전방 영상에서 상기 검출된 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정하는 단계, 상기 획득한 차량의 전방 영상에서 상기 결정된 운전자의 시선에 따른 시야 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정하는 단계, 상기 설정된 보행자를 검출할 범위의 영상에서 보행자를 검출하는 단계 및 보행자가 검출되는 경우에 경보를 출력하는 단계를 포함한다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 컴퓨터 판독가능한 기록매체는 본 발명의 일 실시예에 따른 보행 수 검출 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된다.
이상과 같이 본 발명의 일 실시예에 따르면, 운전자의 시야 및 차량의 전방 상태를 반영하여 보행자 검출 영역을 감소시켜 보행자 검출 시간을 최소화할 수 있다.
그리고 본 발명의 일 실시예에 따르면, 운전자의 시야 및 차량의 전방 상태를 반영하여 보행자 검출 영역을 감소시켜 고화질로 촬영된 영상에 대하여도 보행자 검출 시간을 최소화할 수 있다.
그리고 본 발명의 일 실시예에 따르면, 차량과 보행자와의 거리 또는 보행자의 방향에 따라 경보음을 달리 출력할 수 있다.
도 1은 본 발명의 일 실시예에 따른 보행자 검출 경보 장치의 개략적인 구성을 보여주는 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 보행자 검출 경보 장치의 개략적인 구성을 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 운전자의 시야각을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 보행자 검출 경보 방법을 보여주는 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명한다. 그러나 이러한 도면은 본 발명의 기술적 사상의 내용과 범위를 쉽게 설명하기 위한 예시일 뿐, 이에 의해 본 발명의 기술적 범위가 한정되거나 변경되는 것은 아니다. 또한 이러한 예시에 기초하여 본 발명의 기술적 사상의 범위 안에서 다양한 변형과 변경이 가능함은 통상의 기술자에게는 당연할 것이다.
또한, 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 발명의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 통상의 기술자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
먼저, 도 1은 본 발명의 일 실시예에 따른 보행자 검출 경보 장치의 개략적인 구성을 보여주는 블록도이다.
도 1을 참조하면, 일 양상에 따른 보행자 검출 경보 장치(100)는 운전자의 얼굴 영상 획득부(110), 차량의 전방 영상 획득부(120), 시선 검출부(130), 시야 영상 결정부(140), 검출 영역 설정부(150), 보행자 검출부(170) 및 경보 출력부(190)를 포함한다. 그리고, 도 1에 도시되어 있는 보행자 검출 경보 장치(100)의 구성은 예시적인 것으로서, 보행자 검출 경보 장치(100)는 도 1에 개시되어 있는 모듈들의 일부만을 구비하거나 및/또는 그 동작을 위하여 필수적인 다른 모듈들을 추가로 구비할 수도 있다. 예를 들어, 보행자 검출 경보 장치(100)는 다른 장치와 통신을 하기 위하여 통신 기능을 가지는 통신부 등을 추가로 구비할 수 있다.
운전자의 얼굴 영상 획득부(110)는 운전자의 얼굴 영상을 획득한다. 여기서, ‘운전자의 얼굴 영상’이란 운전자의 눈, 코, 입이 있는 머리의 앞면으로서 특히 운전자의 눈을 포함하는 영상을 의미한다. 본 발명의 실시예에 의하면, 운전자의 얼굴 영상 획득 방법에는 특별한 제한이 없는데, 영상 입력 센서에 의하여 운전자의 얼굴 영상을 획득할 수 있으나, 여기에만 한정되는 것은 아니다. 예를 들어, 운전자의 얼굴 영상 획득부(110)는 차량 내부의 운전석 앞부분에 설치되어 운전자를 촬영하는 카메라를 이용하여 운전자의 얼굴 영상을 획득할 수 있다. 다른 예를 들어, 운전자의 얼굴 영상 획득부(110)는 3차원 카메라를 이용하여 운전자의 얼굴 영상을 3차원으로 획득할 수 있다. 또 다른 예를 들어, 운전자의 얼굴 영상 획득부(110)는 적외선 카메라를 이용하여 운전자의 얼굴 영상을 획득할 할 수 있다. 또 다른 예를 들어, 운전자의 얼굴 영상 획득부(110)는 카메라가 촬영한 운전자의 얼굴 영상을 제공받음으로써 운전자의 얼굴 영상을 획득할 수 있다.
차량의 전방 영상 획득부(120)는 차량의 전방 영상을 획득한다. 본 발명의 실시예에 의하면, 차량의 전방 영상 획득 방법에는 특별한 제한이 없는데, 영상 입력 센서에 의하여 차량의 전방 영상을 획득할 수 있으나, 여기에만 한정되는 것은 아니다. 예를 들어, 차량의 전방 영상 획득부(120)는 차량의 전방에 위치하여 차량의 전방 영상을 촬영하는 카메라를 이용하여 차량의 전방 영상을 획득할 수 있다. 다른 예를 들어, 차량의 전방 영상 획득부(120)는 3차원 카메라를 이용하여 차량의 전방 영상을 3차원으로 획득할 수 있다. 또 다른 예를 들어, 차량의 전방 영상 획득부(120)는 카메라가 촬영한 차량의 전방 영상을 제공받음으로써 차량의 전방 영상을 획득할 수 있다.
시선 검출부(130)는 운전자의 얼굴 영상 획득부(110)에 의하여 획득한 운전자의 얼굴 영상에서 운전자의 시선을 검출한다. 여기서, ‘운전자의 시선’이란 운전자의 눈의 방향, 운전자의 눈동자의 중심점과 외계의 시점을 연결하는 직선을 의미한다.
구체적으로, 시선 검출부(130)는 운전자의 얼굴 영상 획득부(110)에 의하여 획득한 운전자의 얼굴 영상에서 운전자의 얼굴을 검출하여 운전자의 눈 영상을 검출하고, 검출된 눈 영상에서 동공의 위치를 획득하여, 획득한 동공을 기초로 하여 운전자의 시선을 검출할 수 있다. 예를 들어, 운전자의 얼굴 영역에서 예상 가능한 눈 영역을 중심으로 미리 준비된 눈 모델과 비교하며 가장 잘 부합하는 부위와의 유사성을 비교하는 방법으로 눈을 검출할 수 있다. 비록 눈으로 추정되는 부위가 검출되었다고 하더라도 유사성 정도가 매우 낮다면 눈이 아닌 것으로 판별한다. 반면, 유사성 정도가 소정의 기준치 이상으로 나왔을 경우 눈이 검출된 것으로 판별한다.
다음으로, 시선 검출부(130)는 검출된 눈 영상에서 동공의 위치를 획득하여, 획득한 동공 영상과 미리 준비된 동공 모델과 비교하여 운전자의 시선을 검출할 수 있다. 예를 들어, 동공은 눈에서 다른 부분에 비하여 색이 어둡고, 눈으로 들어오는 빛의 양에 따른 홍채의 움직임에 의하여 동공의 크기가 변동하므로, 검출된 눈 영상에서 가장 어두운 부분을 동공의 위치로 판별하고, 획득한 동공을 기초로 하여 운전자의 시선을 검출할 수 있다.
한편, 본 발명의 실시예에 의하면, 얼굴 검출 방법에는 특별한 제한이 없는데, 얼굴 검출을 위하여 종래 주지된 얼굴 검출 알고리즘 등을 이용할 수 있다. 얼굴 검출 방법은 얼굴 특성을 기반으로 프레임들을 다양한 크기로 리사이즈하여, 리사이즈된 프레임들의 모든 이미지에 대하여 얼굴을 검출할 수 있다. 일반적으로 다양한 크기의 얼굴을 검출하기 위하여 피라미드 영상을 생성한 후, 한 픽셀씩 이동하며 특정 크기(예를 들어, 20 X 20 픽셀)의 해당 영역이 얼굴인지 아닌지를 분류기(예를 들어, 신경망(Neural Network), 아다부스트(Adaboost), 서포트 벡터 머신(Support Vector Machine) 등)로 얼굴인지 아닌지를 결정한다.
일 실시예에 따르면, 시선 검출부(130)는 운전자의 얼굴 영상에서 운전자의 눈 영역을 결정하여 운전자의 후보 시선을 추출하고, 추출된 운전자의 후보 시선 중에서 운전자의 최종 시선을 선택할 수 있다. 예를 들어, 운전자는 차량 운전 중에 얼굴이 변화할 수 있고, 눈으로 들어오는 빛의 양에 따른 홍채의 움직임에 의하여 동공의 크기는 가변적이므로 보다 정확하게 운전자의 시선을 검출할 수 있도록 먼저 운전자의 후보 시선을 추출한다. 운전자의 후보 시선은 운전자의 얼굴 영상 중 운전자의 눈 영역에서 동공으로 판단되는 특징을 가지는 시선일 수 있다. 추출한 후보 시선 중에서 카메라, LED, 얼굴 위치와의 관계, 직전의 동공의 크기 등과 정합성 규칙을 적용하여 가장 정합성이 높은 후보 시선을 선택한다. 즉, 시선 검출부(130)는 추출된 운전자의 후보 시선 중에서 가장 운전자의 시선에 정합하는 후보 시선을 운전자의 최종 시선으로 선택할 수 있다.
시야 영상 결정부(140)는 차량의 전방 영상 획득부(120)에 의하여 획득한 차량의 전방 영상에서 시선 검출부(130)에 의하여 검출된 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정한다. 여기서, ‘운전자의 시선에 따른 시야 영상’이란 운전자의 시력이 미치는 범위에 해당하는 영상을 의미한다. 사람이 눈으로 한번에 볼 수 있는 범위는 사람의 시선을 중심으로 하여 상부 60°, 하부 70°, 좌우는 각각 100° 범위이다. 그러나, 사람의 시선을 중심으로 약 30° 범위를 벗어나는 시야는 물체의 세부적인 상태나 색상 등의 인식은 어렵다.
한편, 운전자의 시야각은 운전자의 차량 운전 속도에 따라 달라진다. 예를 들어, 운전자의 차량 운전 속도가 63km/h인 경우 운전자의 시야각은 38°이고, 운전자의 차량 운전 속도가 76km/h인 경우 운전자의 시야각은 27°이며, 운전자의 차량 운전 속도가 110km/h인 경우 운전자의 시야각은 19°이다. 운전자의 시야각에 대하여는 뒤에서 도 3을 참조하여 상세히 설명한다.
일 실시예에 따르면, 시야 영상 결정부(140)는 운전자의 차량 운전 속도에 따라 시야각을 다르게 결정할 수 있다. 예를 들어, 시야 영상 결정부(140)는 운전자의 차량 운전 속도가 63km/h인 경우 운전자의 시야각을 38°으로 결정하고, 또는 운전자의 차량 운전 속도가 76km/h인 경우 운전자의 시야각을 27°으로 결정하며, 또는 운전자의 차량 운전 속도가 110km/h인 경우 운전자의 시야각을 19°으로 결정하여, 운전자의 시선을 중심으로 하여 각각 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정할 수 있다.
다른 실시예에 따르면, 운전자가 전방 등을 주시하고 있어서 차량의 전방 영상의 범위 내에 운전자의 시선이 포함되는 경우에는 차량의 전방 영상의 일부가 운전자의 시선에 따른 시야 영상일 수 있다. 구체적으로, 시야 영상 결정부(140)는 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정할 수 있다.
또 다른 실시예에 따르면, 운전자가 네비게이션이나 후방을 보는 등의 이유로 전방을 주시하고 있지 않아서 차량의 전방 영상의 범위 내에 운전자의 시선이 포함되지 않는 경우에는 차량의 전방 영상의 일부는 운전자의 시선에 따른 시야 영상일 수 없다. 이때, 차량의 전방 영상 전체 범위에서 보행자를 검출할 수 있다.
검출 영역 설정부(150)는 차량의 전방 영상 획득부(120)에 의하여 획득한 차량의 전방 영상에서 시야 영상 결정부(140)에 의하여 결정된 운전자의 시선에 따른 시야 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정한다. 고정된 카메라로부터 얻어지는 영상에서 보행자가 위치할 수 있는 곳은 한정적이다. 일반 카메라의 표준 렌즈의 경우 화각은 48°~ 60°으로, 운전자의 시야각보다 많은 영역의 영상을 포함한다.
검출 영역 설정부(150)에 의하여 보행자를 검출할 범위의 영상을 설정함으로써, 보행자 검출부(170)는 설정된 범위에 대하여만 보행자를 검출할 수 있다. 보행자를 검출해야 하는 범위가 차량의 전방 영상의 전체 범위보다 줄어드는 경우 보행자 검출 속도를 증가시킬 수 있다. 또한, 운전자의 시선에 따른 시야를 고려하므로 운전자가 인지하고 있는 영역에 대하여 불필요하게 보행자를 검출하지 않을 수 있다.
일 실시예에 따르면, 운전자가 전방 등을 주시하고 있어서 운전자의 시선에 따른 시야 영상과 차량의 전방 영상의 일부가 겹치는 경우에는 겹치는 영역의 영상에 대하여는 보행자를 검출하지 않을 수 있다. 이때, 차량의 전방 영상에서 운전자의 시선에 따른 시야 영상을 제외한 영상이 보행자를 검출할 범위의 영상으로 설정된다.
다른 실시예에 따르면, 운전자가 네비게이션이나 후방을 보는 등의 이유로 전방을 주시하고 있지 않아서 운전자의 시선에 따른 시야 영상과 차량의 전방 영상의 일부가 겹치지 않는 경우에는 차량의 전방 영상 전체가 보행자를 검출할 범위의 영상으로 설정된다.
보행자 검출부(170)는 검출 영역 설정부(150)에 의하여 설정된 보행자를 검출할 범위의 영상에서 보행자를 검출한다. 본 발명의 실시예에 의하면, 보행자를 검출하는 방법에는 특별한 제한이 없는데, 영상에서 보행자를 검출하는 종래 주지된 알고리즘 등을 이용하여 보행자를 검출할 수 있다. 예를 들어, 보행자 검출(Pedestrian Detection) 기술에는 Haar Feature-based Cascade Classifier, HOG(Histogram of Oriented Gradient), Cascade HOG 등이 있다.
일 실시예에 따르면, 보행자 검출부(170)는 HOG(Histogram of Oriented Gradient) 기반의 영상 보행자 검출기 등을 이용하여 보행자를 검출할 수 있다. HOG 기반의 방법은 어떤 물체의 영상이 갖는 지역적인 경사도 분포(Gradient Histogram) 특성을 추출하여 물체를 식별하는 방법으로, 보행자뿐만 아니라 승용차, 트럭 등 다양한 물체를 검출하기 위하여 적용할 수 있는 일반적인 방법론이다.
예를 들어, 카메라로부터 획득한 영상에서 보행자를 검출하는 가장 간단한 형태는 CCTV 등에서 많이 사용하는 방법중의 하나로서 영상의 배경으로부터 움직이는 물체를 분리하는 배경 차영상 방법(Background Subtraction)이 있다. 배경 차영상 방법은 움직이는 물체의 실루엣을 추출하기에 매우 효과적인 방법이다.
보행자 검출 방법은 보행자를 검출하는 기법에 따라 모델 기반 방법, 모양 기반 방법으로 구분할 수 있다. 먼저, 모델 기반 방법은 움직임을 이용하여 인식하는 방법으로 인간의 걷는 자세에 대한 워킹 모델을 구축하고 워킹 패턴을 분석하여 검출에 사용한다. 모양 기반 방법은 모양 특징 추출 방법과 모양 특징 분류 방법으로 구분할 수 있다. 모양 특징 추출 방법은 하-웨이블렛(Harr Wavelet) 기반 방법, 기울기의 방향성(Histogram of Oriented Gradient)을 이용한 방법, LRF(Local Receptive Field) 방법 등이 있으며, 모양 특징 분류 방법에는 SVM(Support Vector Machine), 신경망(Neural Networks), 아다부스트(Adaboost) 알고리즘을 적용한 방법 등이 있다. 특징 추출과 분류 속도를 증가시키기 위하여 두 가지 이상의 알고리즘을 함께 적용하여 실시간으로 보행자를 검출하도록 할 수 있다.
경보 출력부(190)는 보행자 검출부(170)에 의하여 보행자가 검출되는 경우에 경보를 출력한다. 여기서, ‘경보’란 운전자에게 보행자가 검출된 상황에 대한 주의를 알려 경각심을 유도할 수 있도록 하는 여러 가지 다양한 수단을 의미한다. 예를 들어, 경보는 차량 내부의 스피커를 통하여 출력되는 경보음일 수 있다. 다른 예를 들어, 경보는 차량 내부의 스피커를 통하여 출력되는 경보 메시지일 수 있다. 경보의 수단은 다양할 수 있으며, 여기에만 한정되는 것은 아니다.
일 실시예에 따르면, 경보 출력부(190)는 보행자가 검출된 방향에서 경보음을 출력할 수 있다. 예를 들어, 보행자 검출부(170)에 의하여 보행자가 운전자를 중심으로 하여 오른쪽 방향에서 검출된 경우, 경보 출력부(190)는 차량 내부의 오른쪽 스피커를 통하여 경보음을 출력할 수 있다. 또는, 보행자 검출부(170)에 의하여 보행자가 운전자를 중심으로 하여 왼쪽 방향에서 검출된 경우, 경보 출력부(190)는 차량 내부의 왼쪽 스피커를 통하여 경보음을 출력할 수 있다.
다른 실시예에 따르면, 경보 출력부(190)는 보행자가 검출된 거리에 따라 경보음의 세기를 조절하여 출력할 수 있다. 예를 들어, 보행자가 검출된 거리가 차량과 가까울수록 경보 출력부(190)는 경보음의 크기를 크게 출력할 수 있다. 또는, 보행자가 검출된 거리가 차량과 멀수록 경보 출력부(190)는 경보음의 크기를 작게 출력할 수 있다.
도 2는 본 발명의 다른 실시예에 따른 보행자 검출 경보 장치의 개략적인 구성을 보여주는 블록도이다.
도 2를 참조하면, 일 양상에 따른 보행자 검출 경보 장치(200)는 운전자의 얼굴 영상 획득부(210), 차량의 전방 영상 획득부(220), 시선 검출부(230), 시야 영상 결정부(240), 검출 영역 설정부(250), 검출 영역 수정부(260), 보행자 검출부(270), 위험 수준 산출부(280) 및 경보 출력부(290)를 포함한다.
도 2에 도시된 보행자 검출 경보 장치(200)는 검출 영역 수정부(260)와 위험 수준 산출부(280)를 더 포함한다는 점에서, 이를 포함하지 않는 도 1에 도시된 보행자 검출 경보 장치(100)와 차이가 있다. 이하, 도 1의 보행자 검출 경보 장치(100)와의 차이점을 중심으로 도 2의 보행자 검출 경보 장치(200)에 관하여 설명한다. 따라서, 도 2의 보행자 검출 경보 장치(200)와 관련하여 구체적으로 설명하지 않은 사항은 각 구성요소의 본질적인 특성상 적용이 불가능한 경우를 제외하고는 도 1의 보행자 검출 경보 장치(100)와 관련하여 설명한 사항이 동일하게 적용될 수 있다.
검출 영역 수정부(260)는 검출 영역 설정부(250)에 의하여 설정된 보행자를 검출할 범위의 영상에서 소정의 상하 영역의 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정한다. 차량의 전방 영상에서 상, 하 영역의 일부는 차량 사고와 연관될 수 있는 보행자가 검출될 확률이 낮거나 없으므로, 보행자를 검출할 범위의 영상에서 제외한다.
일 실시예에 따르면, 검출 영역 수정부(260)는 운전자의 얼굴 영상에서 운전자가 특이 상태인 것으로 판단되면, 차량의 전방 영상을 보행자를 검출할 범위의 영상으로 설정할 수 있다. 이때, 경보 출력부(290)는 보행자 검출부(270)에 의하여 보행자가 검출되는 경우에 경보음의 세기를 크게 조절하여 출력할 수 있다. 여기서, ‘운전자의 특이 상태’란 운전자의 상태가 정상적인 주행을 하는 운전자의 상태에 해당하지 않는 특이한 상태에 놓인 것을 의미한다. 예를 들어, 운전자가 주행 중 하품을 하거나, 또는 눈을 감고 있는 시간이 일정 시간 이상인 경우에 운전자가 조는 것으로 판단하고 운전자의 상태는 특이 상태로 판단할 수 있다. 검출 영역 수정부(260)는 운전자의 상태가 특이 상태인 것으로 판단한 경우 차량의 전방 영상 전체를 보행자를 검출할 범위의 영상으로 설정한다. 따라서, 보행자 검출부(270)는 차량의 전방 영상 전체에 대하여 보행자를 검출한다.
위험 수준 산출부(280)는 차량과 보행자 검출부(270)에 의하여 검출된 보행자 사이의 거리 및 검출된 보행자의 진행 방향을 이용하여 검출된 보행자에 대한 위험 수준을 산출한다. 이때, 경보 출력부(290)는 위험 수준 산출부(280)에 의하여 산출된 위험 수준에 따라 경보음의 세기를 조절하여 출력할 수 있다.
보행자 검출부(270)는 검출된 보행자와 차량과의 거리를 함께 검출할 수 있다. 예를 들어, 보행자 검출부(270)는 검출된 보행자와 차량과의 거리를 레이더를 이용하여 검출할 수 있다. 레이더는 차량의 전방 측에 일정한 각도 이내의 범위로 마이크로파를 출력한 후 검출된 보행자로부터 반사된 반사파를 검출한다. 여기서 반사파는 검출된 보행자와의 각도, 상대 거리, 상대 속도 등을 산출하는데 필요한 정보를 포함한다. 다른 예를 들어, 보행자 검출부(270)는 검출된 보행자와 차량과의 거리를 초음파 센서를 이용하여 검출할 수 있다.
일 실시예에 따르면, 위험 수준 산출부(280)는 검출된 보행자의 진행 방향이 차량으로부터 멀어지는 경우에는 위험 수준을 낮게 산출할 수 있다.
다른 실시예에 따르면, 위험 수준 산출부(280)는 검출된 보행자의 진행 방향이 차량으로 가까워지는 경우에는 위험 수준을 높게 산출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 운전자의 시야각을 보여주는 도면이다.
도 3을 참조하면, 운전자의 시야각은 운전자의 차량 운전 속도에 따라 달라진다. 예를 들어, 운전자의 차량 운전 속도가 63km/h인 경우 운전자의 시야각은 38°이고, 운전자의 차량 운전 속도가 76km/h인 경우 운전자의 시야각은 27°이며, 운전자의 차량 운전 속도가 110km/h인 경우 운전자의 시야각은 19°이다. 운전자의 시야각은 여기에만 한정되는 것은 아니며, 다른 각으로 설정할 수 있다. 예를 들어, 운전이 미숙한 초보 운전자의 경우에는 운전자의 시야각을 보다 좁게 설정할 수 있다. 운전자의 시야각이 좁아지면 보행자를 검출할 범위의 영상이 많아지게 되므로 보다 넓은 범위에 대하여 보행자를 검출할 수 있다.
도 4는 본 발명의 일 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 4를 참조하면, 운전자는 차량의 진행 방향인 전방을 주시하며 운전하고 있는 상황을 나타낸다. 일 실시예에 따르면, 운전자가 전방 등을 주시하고 있어서 운전자의 시선에 따른 시야 영상과 차량의 전방 영상의 일부가 겹치는 경우에는 겹치는 영역의 영상에 대하여는 보행자를 검출하지 않을 수 있다. 이때, 차량의 전방 영상에서 운전자의 시선에 따른 시야 영상을 제외한 영상이 보행자를 검출할 범위의 영상으로 설정된다. 보행자 검출부(170, 270)는 설정된 보행자를 검출할 범위의 영상에 대하여 보행자를 검출한다.
도 5는 본 발명의 다른 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 5를 참조하면, 운전자는 차량의 진행 방향인 전방을 주시하고 있지 않고, 다른 방향을 주시하며 운전하고 있는 상황을 나타낸다. 예를 들어, 운전자가 차량 운전 중에 네비게이션을 보거나 사이드미러를 보는 등의 경우 운전자는 차량의 진행 방향인 전방을 주시하고 있지 않게 된다. 이때, 운전자의 시선에 따른 시야 영상과 차량의 전방 영상의 일부가 겹치지 않는 경우에는 차량의 전방 영상 전체가 보행자를 검출할 범위의 영상으로 설정된다. 보행자 검출부(170, 270)는 차량의 전방 영상 전체에 대하여 보행자를 검출한다.
도 6은 본 발명의 또 다른 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 6을 참조하면, 도 2를 참조하여 설명한 보행자 검출 경보 장치(200)의 검출 영역 수정부(260)는 검출 영역 설정부(250)에 의하여 설정된 보행자를 검출할 범위의 영상에서 소정의 상하 영역의 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정한다. 차량의 전방 영상에서 상, 하 영역의 일부는 차량 사고와 연관될 수 있는 보행자가 검출될 확률이 낮거나 없으므로, 보행자를 검출할 범위의 영상에서 제외한다.
도 7은 본 발명의 일 실시예에 따른 보행자 검출 경보 방법을 보여주는 흐름도이다.
본 발명의 실시예를 포함하여 이하에서 설명되는 절차는 다양한 형태로 구현하는 것이 가능하다. 도 7에 도시된 보행자 검출 경보 방법은 도 1의 보행자 검출 경보 장치(100) 또는 도 2의 보행자 검출 경보 장치(200) 또는 이를 구비하는 전자 기기를 이용하여 보행자 검출 경보하는 방법일 수 있다. 따라서, 불필요한 반복을 피하기 위하여 도 7의 보행자 검출 경보 방법에 관하여 간략히 설명하며, 도 1 내지 도 6을 참조하여 설명한 사항이 동일하게 적용될 수 있다.
도 7을 참조하면, 먼저 운전자의 얼굴 영상을 획득하고, 차량의 전방 영상을 획득하여, 상기 획득한 운전자의 얼굴 영상에서 운전자의 시선을 검출한다(S701). 이때, 운전자의 얼굴 영상에서 운전자의 눈 영역을 결정하여 운전자의 후보 시선을 추출하고, 추출된 운전자의 후보 시선 중에서 운전자의 최종 시선을 선택하여 운전자의 시선을 검출할 수 있다.
다음으로, 상기 획득한 차량의 전방 영상에서 상기 검출된 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정한다(S702).
다음으로, 상기 획득한 차량의 전방 영상에서 상기 결정된 운전자의 시선에 따른 시야 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정한다(S703). 일 실시예에 따르면, 설정된 보행자를 검출할 범위의 영상에서 소정의 상하 영역의 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 수정하여 설정할 수 있다. 다른 실시예에 따르면, 운전자의 얼굴 영상에서 운전자가 특이 상태인 것으로 판단되면, 차량의 전방 영상을 보행자를 검출할 범위의 영상으로 설정할 수 있다.
다음으로, 상기 설정된 보행자를 검출할 범위의 영상에서 보행자를 검출한다(S704). 이때, 차량과 검출된 보행자 사이의 거리 및 검출된 보행자의 진행 방향을 이용하여 검출된 보행자에 대한 위험 수준을 산출할 수 있다. 일 실시예에 따르면, 검출된 보행자의 진행 방향이 차량으로부터 멀어지는 경우에는 위험 수준을 낮게 산출할 수 있다. 다른 실시예에 따르면, 검출된 보행자의 진행 방향이 차량으로 가까워지는 경우에는 위험 수준을 높게 산출할 수 있다.
다음으로, 보행자가 검출되는지 여부를 판단하여(S705), 판단 결과 보행자가 검출되지 않는 경우에는 계속 운전자의 얼굴 영상과 차량의 전방 영상을 획득한다. 반면에, 보행자가 검출되는 경우에 경보를 출력한다(S706). 일 실시예에 따르면, 운전자의 얼굴 영상에서 운전자가 특이 상태인 것으로 판단되는 경우에 보행자를 검출할 범위의 영상에서 보행자가 검출되는 경우 경보음의 세기를 크게 조절하여 출력할 수 있다. 다른 실시예에 따르면, 보행자가 검출된 방향에서 경보를 출력할 수 있다. 또 다른 실시예에 따르면, 보행자가 검출된 거리에 따라 경보음의 세기를 조절하여 출력할 수 있다.
또한, 이러한 보행자 검출 경보 방법은 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체에 저장될 수 있다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 제안된 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100, 200 : 보행자 검출 경보 장치
110, 210 : 운전자의 얼굴 영상 획득부
120, 220 : 차량의 전방 영상 획득부
130, 230 : 시선 검출부
140, 240 : 시야 영상 결정부
150, 250 : 검출 영역 설정부
260 : 검출 영역 수정부
170, 270 : 보행자 검출부
280 : 위험 수준 산출부
190, 290 : 경보 출력부

Claims (20)

  1. 운전자의 얼굴 영상을 획득하는 운전자의 얼굴 영상 획득부;
    차량의 전방 영상을 획득하는 차량의 전방 영상 획득부;
    상기 운전자의 얼굴 영상 획득부에 의하여 획득한 운전자의 얼굴 영상에서 운전자의 시선을 검출하는 시선 검출부;
    상기 차량의 전방 영상 획득부에 의하여 획득한 차량의 전방 영상에서 상기 시선 검출부에 의하여 검출된 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정하는 시야 영상 결정부;
    상기 차량의 전방 영상에서 상기 시야 영상 결정부에 의하여 결정된 운전자의 시선에 따른 시야 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정하는 검출 영역 설정부;
    상기 검출 영역 설정부에 의하여 설정된 보행자를 검출할 범위의 영상에서 소정의 상하 영역의 영상을 보행자를 검출할 범위의 영상에서 제외하고, 제외한 영상을 보행자를 검출할 범위의 영상으로 설정하는 검출 영역 수정부;
    상기 검출 영역 수정부에 의하여 설정된 보행자를 검출할 범위의 영상에서 보행자를 검출하는 보행자 검출부; 및
    상기 보행자 검출부에 의하여 보행자가 검출되는 경우에 경보를 출력하는 경보 출력부;
    를 포함하며,
    상기 시야 영상 결정부는 상기 운전자의 차량 운전 속도에 따라 시야각을 다르게 설정하여 운전자의 시선에 따른 시야 영상의 범위를 조절하는 보행자 검출 경보 장치.
  2. 제 1 항에 있어서,
    상기 시선 검출부는 상기 운전자의 얼굴 영상에서 운전자의 눈 영역을 결정하여 운전자의 후보 시선을 추출하고, 추출된 운전자의 후보 시선 중에서 운전자의 최종 시선을 선택하는 보행자 검출 경보 장치.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 검출 영역 수정부는 운전자의 얼굴 영상에서 운전자가 특이 상태인 것으로 판단되면, 차량의 전방 영상을 보행자를 검출할 범위의 영상으로 설정하고,
    상기 경보 출력부는 상기 보행자 검출부에 의하여 보행자가 검출되는 경우에 경보음의 세기를 크게 조절하여 출력하는 보행자 검출 경보 장치.
  5. 제 1 항에 있어서,
    상기 보행자 검출 경보 장치는 상기 차량과 상기 보행자 검출부에 의하여 검출된 보행자 사이의 거리 및 상기 검출된 보행자의 진행 방향을 이용하여 상기 검출된 보행자에 대한 위험 수준를 산출하는 위험 수준 산출부를 더 포함하는 보행자 검출 경보 장치.
  6. 제 5 항에 있어서,
    상기 위험 수준 산출부는 상기 검출된 보행자의 진행 방향이 상기 차량으로부터 멀어지는 경우에는 위험 수준을 낮게 산출하는 보행자 검출 경보 장치.
  7. 제 5 항에 있어서,
    상기 위험 수준 산출부는 상기 검출된 보행자의 진행 방향이 상기 차량으로 가까워지는 경우에는 위험 수준을 높게 산출하는 보행자 검출 경보 장치.
  8. 제 5 항에 있어서,
    상기 경보 출력부는 상기 위험 수준 산출부에 의하여 산출된 위험 수준에 따라 경보음의 세기를 조절하여 출력하는 보행자 검출 경보 장치.
  9. 제 1 항에 있어서,
    상기 경보 출력부는 보행자가 검출된 방향에서 경보음을 출력하는 보행자 검출 경보 장치.
  10. 제 1 항에 있어서,
    상기 경보 출력부는 보행자가 검출된 거리에 따라 경보음의 세기를 조절하여 출력하는 보행자 검출 경보 장치.
  11. 운전자의 얼굴 영상을 획득하는 단계;
    차량의 전방 영상을 획득하는 단계;
    상기 획득한 운전자의 얼굴 영상에서 운전자의 시선을 검출하는 단계;
    상기 획득한 차량의 전방 영상에서 상기 검출된 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정하는 단계;
    상기 획득한 차량의 전방 영상에서 상기 결정된 운전자의 시선에 따른 시야 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정하는 단계;
    상기 보행자를 검출할 범위의 영상으로 설정하는 단계에서 설정된 보행자를 검출할 범위의 영상에서 소정의 상하 영역의 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 수정하여 설정하는 단계;
    상기 수정하여 설정된 보행자를 검출할 범위의 영상에서 보행자를 검출하는 단계; 및
    보행자가 검출되는 경우에 경보를 출력하는 단계;
    를 포함하며,
    상기 시야 영상으로 결정하는 단계는 상기 운전자의 차량 운전 속도에 따라 시야각을 다르게 설정하여 운전자의 시선에 따른 시야 영상의 범위를 조절하는 보행자 검출 경보 방법.
  12. 제 11 항에 있어서,
    상기 시선 검출 단계에서는 상기 운전자의 얼굴 영상에서 운전자의 눈 영역을 결정하여 운전자의 후보 시선을 추출하고, 추출된 운전자의 후보 시선 중에서 운전자의 최종 시선을 선택하는 보행자 검출 경보 방법.
  13. 삭제
  14. 제 11 항에 있어서,
    상기 검출 영역 수정 설정 단계에서는 운전자의 얼굴 영상에서 운전자가 특이 상태인 것으로 판단되면, 차량의 전방 영상을 보행자를 검출할 범위의 영상으로 설정하고,
    상기 경보 출력 단계에서는 상기 보행자 검출 단계에서 보행자가 검출되는 경우에 경보음의 세기를 크게 조절하여 출력하는 보행자 검출 경보 방법.
  15. 제 11 항에 있어서,
    상기 차량과 상기 보행자 검출부에 의하여 검출된 보행자 사이의 거리 및 상기 검출된 보행자의 진행 방향을 이용하여 상기 검출된 보행자에 대한 위험 수준를 산출하는 단계를 더 포함하는 보행자 검출 경보 방법.
  16. 제 15 항에 있어서,
    상기 위험 수준 산출 단계에서는 상기 검출된 보행자의 진행 방향이 상기 차량으로부터 멀어지는 경우에는 위험 수준을 낮게 산출하는 보행자 검출 경보 방법.
  17. 제 15 항에 있어서,
    상기 위험 수준 산출 단계에서는 상기 검출된 보행자의 진행 방향이 상기 차량으로 가까워지는 경우에는 위험 수준을 높게 산출하는 보행자 검출 경보 방법.
  18. 제 15 항에 있어서,
    상기 경보 출력 단계에서는 상기 위험 수준 산출 단계에서 산출된 위험 수준에 따라 경보음의 세기를 조절하여 출력하는 보행자 검출 경보 방법.
  19. 제 11 항에 있어서,
    상기 경보 출력 단계에서는 보행자가 검출된 방향에서 경보음을 출력하는 보행자 검출 경보 방법.
  20. 제 11 항에 있어서,
    상기 경보 출력 단계에서는 보행자가 검출된 거리에 따라 경보음의 세기를 조절하여 출력하는 보행자 검출 경보 방법.
KR1020140156279A 2014-11-11 2014-11-11 보행자 검출 경보 장치 및 방법 KR101680833B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140156279A KR101680833B1 (ko) 2014-11-11 2014-11-11 보행자 검출 경보 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140156279A KR101680833B1 (ko) 2014-11-11 2014-11-11 보행자 검출 경보 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160056189A KR20160056189A (ko) 2016-05-19
KR101680833B1 true KR101680833B1 (ko) 2016-11-29

Family

ID=56103329

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140156279A KR101680833B1 (ko) 2014-11-11 2014-11-11 보행자 검출 경보 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101680833B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102419727B1 (ko) * 2017-09-12 2022-07-13 현대자동차주식회사 차량 및 그 제어 방법
JP7100998B2 (ja) * 2018-03-08 2022-07-14 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
KR20220085876A (ko) * 2020-12-15 2022-06-23 주식회사 에이치엘클레무브 운전자 보조 시스템 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005159392A (ja) 2003-11-20 2005-06-16 Nissan Motor Co Ltd 車両周辺監視装置および方法
JP2007148506A (ja) 2005-11-24 2007-06-14 Auto Network Gijutsu Kenkyusho:Kk 運転支援装置
JP2009245083A (ja) 2008-03-31 2009-10-22 Hyundai Motor Co Ltd 脇見運転検出警報システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005159392A (ja) 2003-11-20 2005-06-16 Nissan Motor Co Ltd 車両周辺監視装置および方法
JP2007148506A (ja) 2005-11-24 2007-06-14 Auto Network Gijutsu Kenkyusho:Kk 運転支援装置
JP2009245083A (ja) 2008-03-31 2009-10-22 Hyundai Motor Co Ltd 脇見運転検出警報システム

Also Published As

Publication number Publication date
KR20160056189A (ko) 2016-05-19

Similar Documents

Publication Publication Date Title
KR102351592B1 (ko) 기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출
EP3690729B1 (en) Method and device for alerting abnormal driver situation detected by using humans' status recognition via v2v connection
US10796171B2 (en) Object recognition apparatus, object recognition method, and object recognition program
JP6888950B2 (ja) 画像処理装置、外界認識装置
US9493163B2 (en) Driving support apparatus for vehicle
US20170143253A1 (en) Device, method and computer program for detecting momentary sleep
EP1961622B1 (en) Safety-travel assistance device
US10430677B2 (en) Method for classifying driver movements
KR101276770B1 (ko) 사용자 적응형 특이행동 검출기반의 안전운전보조시스템
KR101914362B1 (ko) 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법
US20150098633A1 (en) Face detection apparatus, face detection method, and program
JP6235425B2 (ja) 安全確認判定装置、及び運転支援装置
CN108162858B (zh) 车载监控装置及其方法
KR101986734B1 (ko) 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
CN107408338A (zh) 驾驶员辅助系统
US20220130155A1 (en) Adaptive monitoring of a vehicle using a camera
KR101546893B1 (ko) 졸음 운전 방지 시스템
KR101680833B1 (ko) 보행자 검출 경보 장치 및 방법
KR101500016B1 (ko) 차선 이탈 경보 방법
WO2019137913A1 (en) Method for crash prevention for an automotive vehicle comprising a driving support system
JP6296684B2 (ja) 運転支援装置
JP4270010B2 (ja) 物体危険判定装置
KR102066740B1 (ko) 운전자 주행특성을 고려한 차량 주행위치 선정 시스템 및 그 방법
JP7014680B2 (ja) 注視対象物検知装置、注視対象物検知方法、およびプログラム
JP2018163530A (ja) 対象物検知装置、対象物検知方法、及び対象物検知プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 4