KR101680833B1 - 보행자 검출 경보 장치 및 방법 - Google Patents
보행자 검출 경보 장치 및 방법 Download PDFInfo
- Publication number
- KR101680833B1 KR101680833B1 KR1020140156279A KR20140156279A KR101680833B1 KR 101680833 B1 KR101680833 B1 KR 101680833B1 KR 1020140156279 A KR1020140156279 A KR 1020140156279A KR 20140156279 A KR20140156279 A KR 20140156279A KR 101680833 B1 KR101680833 B1 KR 101680833B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pedestrian
- driver
- vehicle
- detected
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 97
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 201000009482 yaws Diseases 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q5/00—Arrangement or adaptation of acoustic signal devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
- B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
- B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
보행자를 검출하고 경보하는 장치 및 방법이 개시된다. 일 실시예에 따른 보행자 검출 경보 장치는 운전자의 얼굴 영상을 획득하는 운전자의 얼굴 영상 획득부, 차량의 전방 영상을 획득하는 차량의 전방 영상 획득부, 상기 운전자의 얼굴 영상 획득부에 의하여 획득한 운전자의 얼굴 영상에서 운전자의 시선을 검출하는 시선 검출부, 상기 차량의 전방 영상 획득부에 의하여 획득한 차량의 전방 영상에서 상기 시선 검출부에 의하여 검출된 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정하는 시야 영상 결정부, 상기 차량의 전방 영상에서 상기 시야 영상 결정부에 의하여 결정된 운전자의 시선에 따른 시야 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정하는 검출 영역 설정부, 상기 검출 영역 설정부에 의하여 설정된 보행자를 검출할 범위의 영상에서 보행자를 검출하는 보행자 검출부 및 상기 보행자 검출부에 의하여 보행자가 검출되는 경우에 경보를 출력하는 경보 출력부를 포함한다.
Description
본 발명은 보행자를 검출하고 경보하는 장치 및 방법에 관한 것이다.
동력 차량 특히 자동차는 한 장소에서 다른 장소로 사람 또는 사물을 운송하는데 광범위하게 사용되는 현대 사회의 필수불가결한 물건이다. 그러나, 현재 차량의 급격한 증가에 따라 차량 충돌에 의한 피해가 증가하고 있다. 특히, 차량과 보행자가 충돌한 경우 보행자의 사망률이 증가하고 있다.
한편, 카메라를 이용하여 실시간으로 사람을 검출하는 연구는 자동 보안 감시 시스템, 로봇 응용, 의학 응용 시스템, 지능형 차량용 시스템 등의 다양한 분야에서 활용되고 있다. 특히 지능형 차량용 시스템 분야에서는 사람 검출 연구를 활용하여 차량이 사고 없이 안전하게 운행을 하도록 하는 연구가 진행되고 있다. 예를 들어,‘지능형 자동차 안전기술’이란 자동차가 스스로 카메라나 레이더, 초음파 등의 센서로 주변 상황을 인식하여 자동차의 전자 제어 장치가 위험 상황이라고 판단하면 전기 신호를 보내 해당 장치를 제어하는 기술을 말한다. 대표적인 지능형 자동차 안전기술에는 전방 추돌 경고시스템, 자동차 긴급 제동 시스템 등이 있다.
즉, 차량의 전방에 레이더 센서나 카메라 등을 장착하여, 차량 전방의 장애물 유무와 장애물의 종류를 감지함으로써, 운전자가 부주의로 감속하지 않더라도 운전자에게 경고하는 장치의 개발이 활발하게 진행 중이다. 예를 들어, 속도 센서 등을 이용하여 전방 물체와의 충돌 속도(Collision Speed) 또는 전방 물체와의 거리 등을 계산하고, 그 결과값에 따라서 제동을 수행하는 방법 등이 있다.
본 발명이 해결하고자 하는 하나의 과제는 운전자의 시야 및 차량의 전방 상태를 반영하여 보행자를 검출하고 경보하는 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 하나의 과제는 보행자 검출을 효율적이고 빠르게 하는 보행자 검출 경보 장치 및 방법을 제공하는 것이다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 보행자 검출 경보 장치는 운전자의 얼굴 영상을 획득하는 운전자의 얼굴 영상 획득부, 차량의 전방 영상을 획득하는 차량의 전방 영상 획득부, 상기 운전자의 얼굴 영상 획득부에 의하여 획득한 운전자의 얼굴 영상에서 운전자의 시선을 검출하는 시선 검출부, 상기 차량의 전방 영상 획득부에 의하여 획득한 차량의 전방 영상에서 상기 시선 검출부에 의하여 검출된 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정하는 시야 영상 결정부, 상기 차량의 전방 영상에서 상기 시야 영상 결정부에 의하여 결정된 운전자의 시선에 따른 시야 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정하는 검출 영역 설정부, 상기 검출 영역 설정부에 의하여 설정된 보행자를 검출할 범위의 영상에서 보행자를 검출하는 보행자 검출부 및 상기 보행자 검출부에 의하여 보행자가 검출되는 경우에 경보를 출력하는 경보 출력부를 포함한다.
상기 실시예의 일 측면에 의하면, 상기 시선 검출부는 상기 운전자의 얼굴 영상에서 운전자의 눈 영역을 결정하여 운전자의 후보 시선을 추출하고, 추출된 운전자의 후보 시선 중에서 운전자의 최종 시선을 선택할 수 있다.
상기 실시예의 다른 측면에 의하면, 상기 보행자 검출 경보 장치는 상기 검출 영역 설정부에 의하여 설정된 보행자를 검출할 범위의 영상에서 소정의 상하 영역의 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정하는 검출 영역 수정부를 더 포함할 수 있다.
이 경우에, 상기 검출 영역 수정부는 운전자의 얼굴 영상에서 운전자가 특이 상태인 것으로 판단되면, 차량의 전방 영상을 보행자를 검출할 범위의 영상으로 설정하고, 상기 경보 출력부는 상기 보행자 검출부에 의하여 보행자가 검출되는 경우에 경보음의 세기를 크게 조절하여 출력할 수 있다.
상기 실시예의 또 다른 측면에 의하면, 상기 보행자 검출 경보 장치는 상기 차량과 상기 보행자 검출부에 의하여 검출된 보행자 사이의 거리 및 상기 검출된 보행자의 진행 방향을 이용하여 상기 검출된 보행자에 대한 위험 수준를 산출하는 위험 수준 산출부를 더 포함할 수 있다.
이 경우에, 상기 위험 수준 산출부는 상기 검출된 보행자의 진행 방향이 상기 차량으로부터 멀어지는 경우에는 위험 수준을 낮게 산출할 수 있다.
또는, 상기 위험 수준 산출부는 상기 검출된 보행자의 진행 방향이 상기 차량으로 가까워지는 경우에는 위험 수준을 높게 산출할 수 있다.
또는, 상기 경보 출력부는 상기 위험 수준 산출부에 의하여 산출된 위험 수준에 따라 경보음의 세기를 조절하여 출력하는 보행자 검출 경보 장치.
상기 실시예의 또 다른 측면에 의하면, 상기 경보 출력부는 보행자가 검출된 방향에서 경보음을 출력할 수 있다.
상기 실시예의 또 다른 측면에 의하면, 상기 경보 출력부는 보행자가 검출된 거리에 따라 경보음의 세기를 조절하여 출력할 수 있다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 보행자 검출 경보 방법은 운전자의 얼굴 영상을 획득하는 단계, 차량의 전방 영상을 획득하는 단계, 상기 획득한 운전자의 얼굴 영상에서 운전자의 시선을 검출하는 단계, 상기 획득한 차량의 전방 영상에서 상기 검출된 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정하는 단계, 상기 획득한 차량의 전방 영상에서 상기 결정된 운전자의 시선에 따른 시야 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정하는 단계, 상기 설정된 보행자를 검출할 범위의 영상에서 보행자를 검출하는 단계 및 보행자가 검출되는 경우에 경보를 출력하는 단계를 포함한다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 컴퓨터 판독가능한 기록매체는 본 발명의 일 실시예에 따른 보행 수 검출 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된다.
이상과 같이 본 발명의 일 실시예에 따르면, 운전자의 시야 및 차량의 전방 상태를 반영하여 보행자 검출 영역을 감소시켜 보행자 검출 시간을 최소화할 수 있다.
그리고 본 발명의 일 실시예에 따르면, 운전자의 시야 및 차량의 전방 상태를 반영하여 보행자 검출 영역을 감소시켜 고화질로 촬영된 영상에 대하여도 보행자 검출 시간을 최소화할 수 있다.
그리고 본 발명의 일 실시예에 따르면, 차량과 보행자와의 거리 또는 보행자의 방향에 따라 경보음을 달리 출력할 수 있다.
도 1은 본 발명의 일 실시예에 따른 보행자 검출 경보 장치의 개략적인 구성을 보여주는 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 보행자 검출 경보 장치의 개략적인 구성을 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 운전자의 시야각을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 보행자 검출 경보 방법을 보여주는 흐름도이다.
도 2는 본 발명의 다른 실시예에 따른 보행자 검출 경보 장치의 개략적인 구성을 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 운전자의 시야각을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 보행자 검출 경보 방법을 보여주는 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명한다. 그러나 이러한 도면은 본 발명의 기술적 사상의 내용과 범위를 쉽게 설명하기 위한 예시일 뿐, 이에 의해 본 발명의 기술적 범위가 한정되거나 변경되는 것은 아니다. 또한 이러한 예시에 기초하여 본 발명의 기술적 사상의 범위 안에서 다양한 변형과 변경이 가능함은 통상의 기술자에게는 당연할 것이다.
또한, 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 발명의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 통상의 기술자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
먼저, 도 1은 본 발명의 일 실시예에 따른 보행자 검출 경보 장치의 개략적인 구성을 보여주는 블록도이다.
도 1을 참조하면, 일 양상에 따른 보행자 검출 경보 장치(100)는 운전자의 얼굴 영상 획득부(110), 차량의 전방 영상 획득부(120), 시선 검출부(130), 시야 영상 결정부(140), 검출 영역 설정부(150), 보행자 검출부(170) 및 경보 출력부(190)를 포함한다. 그리고, 도 1에 도시되어 있는 보행자 검출 경보 장치(100)의 구성은 예시적인 것으로서, 보행자 검출 경보 장치(100)는 도 1에 개시되어 있는 모듈들의 일부만을 구비하거나 및/또는 그 동작을 위하여 필수적인 다른 모듈들을 추가로 구비할 수도 있다. 예를 들어, 보행자 검출 경보 장치(100)는 다른 장치와 통신을 하기 위하여 통신 기능을 가지는 통신부 등을 추가로 구비할 수 있다.
운전자의 얼굴 영상 획득부(110)는 운전자의 얼굴 영상을 획득한다. 여기서, ‘운전자의 얼굴 영상’이란 운전자의 눈, 코, 입이 있는 머리의 앞면으로서 특히 운전자의 눈을 포함하는 영상을 의미한다. 본 발명의 실시예에 의하면, 운전자의 얼굴 영상 획득 방법에는 특별한 제한이 없는데, 영상 입력 센서에 의하여 운전자의 얼굴 영상을 획득할 수 있으나, 여기에만 한정되는 것은 아니다. 예를 들어, 운전자의 얼굴 영상 획득부(110)는 차량 내부의 운전석 앞부분에 설치되어 운전자를 촬영하는 카메라를 이용하여 운전자의 얼굴 영상을 획득할 수 있다. 다른 예를 들어, 운전자의 얼굴 영상 획득부(110)는 3차원 카메라를 이용하여 운전자의 얼굴 영상을 3차원으로 획득할 수 있다. 또 다른 예를 들어, 운전자의 얼굴 영상 획득부(110)는 적외선 카메라를 이용하여 운전자의 얼굴 영상을 획득할 할 수 있다. 또 다른 예를 들어, 운전자의 얼굴 영상 획득부(110)는 카메라가 촬영한 운전자의 얼굴 영상을 제공받음으로써 운전자의 얼굴 영상을 획득할 수 있다.
차량의 전방 영상 획득부(120)는 차량의 전방 영상을 획득한다. 본 발명의 실시예에 의하면, 차량의 전방 영상 획득 방법에는 특별한 제한이 없는데, 영상 입력 센서에 의하여 차량의 전방 영상을 획득할 수 있으나, 여기에만 한정되는 것은 아니다. 예를 들어, 차량의 전방 영상 획득부(120)는 차량의 전방에 위치하여 차량의 전방 영상을 촬영하는 카메라를 이용하여 차량의 전방 영상을 획득할 수 있다. 다른 예를 들어, 차량의 전방 영상 획득부(120)는 3차원 카메라를 이용하여 차량의 전방 영상을 3차원으로 획득할 수 있다. 또 다른 예를 들어, 차량의 전방 영상 획득부(120)는 카메라가 촬영한 차량의 전방 영상을 제공받음으로써 차량의 전방 영상을 획득할 수 있다.
시선 검출부(130)는 운전자의 얼굴 영상 획득부(110)에 의하여 획득한 운전자의 얼굴 영상에서 운전자의 시선을 검출한다. 여기서, ‘운전자의 시선’이란 운전자의 눈의 방향, 운전자의 눈동자의 중심점과 외계의 시점을 연결하는 직선을 의미한다.
구체적으로, 시선 검출부(130)는 운전자의 얼굴 영상 획득부(110)에 의하여 획득한 운전자의 얼굴 영상에서 운전자의 얼굴을 검출하여 운전자의 눈 영상을 검출하고, 검출된 눈 영상에서 동공의 위치를 획득하여, 획득한 동공을 기초로 하여 운전자의 시선을 검출할 수 있다. 예를 들어, 운전자의 얼굴 영역에서 예상 가능한 눈 영역을 중심으로 미리 준비된 눈 모델과 비교하며 가장 잘 부합하는 부위와의 유사성을 비교하는 방법으로 눈을 검출할 수 있다. 비록 눈으로 추정되는 부위가 검출되었다고 하더라도 유사성 정도가 매우 낮다면 눈이 아닌 것으로 판별한다. 반면, 유사성 정도가 소정의 기준치 이상으로 나왔을 경우 눈이 검출된 것으로 판별한다.
다음으로, 시선 검출부(130)는 검출된 눈 영상에서 동공의 위치를 획득하여, 획득한 동공 영상과 미리 준비된 동공 모델과 비교하여 운전자의 시선을 검출할 수 있다. 예를 들어, 동공은 눈에서 다른 부분에 비하여 색이 어둡고, 눈으로 들어오는 빛의 양에 따른 홍채의 움직임에 의하여 동공의 크기가 변동하므로, 검출된 눈 영상에서 가장 어두운 부분을 동공의 위치로 판별하고, 획득한 동공을 기초로 하여 운전자의 시선을 검출할 수 있다.
한편, 본 발명의 실시예에 의하면, 얼굴 검출 방법에는 특별한 제한이 없는데, 얼굴 검출을 위하여 종래 주지된 얼굴 검출 알고리즘 등을 이용할 수 있다. 얼굴 검출 방법은 얼굴 특성을 기반으로 프레임들을 다양한 크기로 리사이즈하여, 리사이즈된 프레임들의 모든 이미지에 대하여 얼굴을 검출할 수 있다. 일반적으로 다양한 크기의 얼굴을 검출하기 위하여 피라미드 영상을 생성한 후, 한 픽셀씩 이동하며 특정 크기(예를 들어, 20 X 20 픽셀)의 해당 영역이 얼굴인지 아닌지를 분류기(예를 들어, 신경망(Neural Network), 아다부스트(Adaboost), 서포트 벡터 머신(Support Vector Machine) 등)로 얼굴인지 아닌지를 결정한다.
일 실시예에 따르면, 시선 검출부(130)는 운전자의 얼굴 영상에서 운전자의 눈 영역을 결정하여 운전자의 후보 시선을 추출하고, 추출된 운전자의 후보 시선 중에서 운전자의 최종 시선을 선택할 수 있다. 예를 들어, 운전자는 차량 운전 중에 얼굴이 변화할 수 있고, 눈으로 들어오는 빛의 양에 따른 홍채의 움직임에 의하여 동공의 크기는 가변적이므로 보다 정확하게 운전자의 시선을 검출할 수 있도록 먼저 운전자의 후보 시선을 추출한다. 운전자의 후보 시선은 운전자의 얼굴 영상 중 운전자의 눈 영역에서 동공으로 판단되는 특징을 가지는 시선일 수 있다. 추출한 후보 시선 중에서 카메라, LED, 얼굴 위치와의 관계, 직전의 동공의 크기 등과 정합성 규칙을 적용하여 가장 정합성이 높은 후보 시선을 선택한다. 즉, 시선 검출부(130)는 추출된 운전자의 후보 시선 중에서 가장 운전자의 시선에 정합하는 후보 시선을 운전자의 최종 시선으로 선택할 수 있다.
시야 영상 결정부(140)는 차량의 전방 영상 획득부(120)에 의하여 획득한 차량의 전방 영상에서 시선 검출부(130)에 의하여 검출된 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정한다. 여기서, ‘운전자의 시선에 따른 시야 영상’이란 운전자의 시력이 미치는 범위에 해당하는 영상을 의미한다. 사람이 눈으로 한번에 볼 수 있는 범위는 사람의 시선을 중심으로 하여 상부 60°, 하부 70°, 좌우는 각각 100° 범위이다. 그러나, 사람의 시선을 중심으로 약 30° 범위를 벗어나는 시야는 물체의 세부적인 상태나 색상 등의 인식은 어렵다.
한편, 운전자의 시야각은 운전자의 차량 운전 속도에 따라 달라진다. 예를 들어, 운전자의 차량 운전 속도가 63km/h인 경우 운전자의 시야각은 38°이고, 운전자의 차량 운전 속도가 76km/h인 경우 운전자의 시야각은 27°이며, 운전자의 차량 운전 속도가 110km/h인 경우 운전자의 시야각은 19°이다. 운전자의 시야각에 대하여는 뒤에서 도 3을 참조하여 상세히 설명한다.
일 실시예에 따르면, 시야 영상 결정부(140)는 운전자의 차량 운전 속도에 따라 시야각을 다르게 결정할 수 있다. 예를 들어, 시야 영상 결정부(140)는 운전자의 차량 운전 속도가 63km/h인 경우 운전자의 시야각을 38°으로 결정하고, 또는 운전자의 차량 운전 속도가 76km/h인 경우 운전자의 시야각을 27°으로 결정하며, 또는 운전자의 차량 운전 속도가 110km/h인 경우 운전자의 시야각을 19°으로 결정하여, 운전자의 시선을 중심으로 하여 각각 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정할 수 있다.
다른 실시예에 따르면, 운전자가 전방 등을 주시하고 있어서 차량의 전방 영상의 범위 내에 운전자의 시선이 포함되는 경우에는 차량의 전방 영상의 일부가 운전자의 시선에 따른 시야 영상일 수 있다. 구체적으로, 시야 영상 결정부(140)는 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정할 수 있다.
또 다른 실시예에 따르면, 운전자가 네비게이션이나 후방을 보는 등의 이유로 전방을 주시하고 있지 않아서 차량의 전방 영상의 범위 내에 운전자의 시선이 포함되지 않는 경우에는 차량의 전방 영상의 일부는 운전자의 시선에 따른 시야 영상일 수 없다. 이때, 차량의 전방 영상 전체 범위에서 보행자를 검출할 수 있다.
검출 영역 설정부(150)는 차량의 전방 영상 획득부(120)에 의하여 획득한 차량의 전방 영상에서 시야 영상 결정부(140)에 의하여 결정된 운전자의 시선에 따른 시야 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정한다. 고정된 카메라로부터 얻어지는 영상에서 보행자가 위치할 수 있는 곳은 한정적이다. 일반 카메라의 표준 렌즈의 경우 화각은 48°~ 60°으로, 운전자의 시야각보다 많은 영역의 영상을 포함한다.
검출 영역 설정부(150)에 의하여 보행자를 검출할 범위의 영상을 설정함으로써, 보행자 검출부(170)는 설정된 범위에 대하여만 보행자를 검출할 수 있다. 보행자를 검출해야 하는 범위가 차량의 전방 영상의 전체 범위보다 줄어드는 경우 보행자 검출 속도를 증가시킬 수 있다. 또한, 운전자의 시선에 따른 시야를 고려하므로 운전자가 인지하고 있는 영역에 대하여 불필요하게 보행자를 검출하지 않을 수 있다.
일 실시예에 따르면, 운전자가 전방 등을 주시하고 있어서 운전자의 시선에 따른 시야 영상과 차량의 전방 영상의 일부가 겹치는 경우에는 겹치는 영역의 영상에 대하여는 보행자를 검출하지 않을 수 있다. 이때, 차량의 전방 영상에서 운전자의 시선에 따른 시야 영상을 제외한 영상이 보행자를 검출할 범위의 영상으로 설정된다.
다른 실시예에 따르면, 운전자가 네비게이션이나 후방을 보는 등의 이유로 전방을 주시하고 있지 않아서 운전자의 시선에 따른 시야 영상과 차량의 전방 영상의 일부가 겹치지 않는 경우에는 차량의 전방 영상 전체가 보행자를 검출할 범위의 영상으로 설정된다.
보행자 검출부(170)는 검출 영역 설정부(150)에 의하여 설정된 보행자를 검출할 범위의 영상에서 보행자를 검출한다. 본 발명의 실시예에 의하면, 보행자를 검출하는 방법에는 특별한 제한이 없는데, 영상에서 보행자를 검출하는 종래 주지된 알고리즘 등을 이용하여 보행자를 검출할 수 있다. 예를 들어, 보행자 검출(Pedestrian Detection) 기술에는 Haar Feature-based Cascade Classifier, HOG(Histogram of Oriented Gradient), Cascade HOG 등이 있다.
일 실시예에 따르면, 보행자 검출부(170)는 HOG(Histogram of Oriented Gradient) 기반의 영상 보행자 검출기 등을 이용하여 보행자를 검출할 수 있다. HOG 기반의 방법은 어떤 물체의 영상이 갖는 지역적인 경사도 분포(Gradient Histogram) 특성을 추출하여 물체를 식별하는 방법으로, 보행자뿐만 아니라 승용차, 트럭 등 다양한 물체를 검출하기 위하여 적용할 수 있는 일반적인 방법론이다.
예를 들어, 카메라로부터 획득한 영상에서 보행자를 검출하는 가장 간단한 형태는 CCTV 등에서 많이 사용하는 방법중의 하나로서 영상의 배경으로부터 움직이는 물체를 분리하는 배경 차영상 방법(Background Subtraction)이 있다. 배경 차영상 방법은 움직이는 물체의 실루엣을 추출하기에 매우 효과적인 방법이다.
보행자 검출 방법은 보행자를 검출하는 기법에 따라 모델 기반 방법, 모양 기반 방법으로 구분할 수 있다. 먼저, 모델 기반 방법은 움직임을 이용하여 인식하는 방법으로 인간의 걷는 자세에 대한 워킹 모델을 구축하고 워킹 패턴을 분석하여 검출에 사용한다. 모양 기반 방법은 모양 특징 추출 방법과 모양 특징 분류 방법으로 구분할 수 있다. 모양 특징 추출 방법은 하-웨이블렛(Harr Wavelet) 기반 방법, 기울기의 방향성(Histogram of Oriented Gradient)을 이용한 방법, LRF(Local Receptive Field) 방법 등이 있으며, 모양 특징 분류 방법에는 SVM(Support Vector Machine), 신경망(Neural Networks), 아다부스트(Adaboost) 알고리즘을 적용한 방법 등이 있다. 특징 추출과 분류 속도를 증가시키기 위하여 두 가지 이상의 알고리즘을 함께 적용하여 실시간으로 보행자를 검출하도록 할 수 있다.
경보 출력부(190)는 보행자 검출부(170)에 의하여 보행자가 검출되는 경우에 경보를 출력한다. 여기서, ‘경보’란 운전자에게 보행자가 검출된 상황에 대한 주의를 알려 경각심을 유도할 수 있도록 하는 여러 가지 다양한 수단을 의미한다. 예를 들어, 경보는 차량 내부의 스피커를 통하여 출력되는 경보음일 수 있다. 다른 예를 들어, 경보는 차량 내부의 스피커를 통하여 출력되는 경보 메시지일 수 있다. 경보의 수단은 다양할 수 있으며, 여기에만 한정되는 것은 아니다.
일 실시예에 따르면, 경보 출력부(190)는 보행자가 검출된 방향에서 경보음을 출력할 수 있다. 예를 들어, 보행자 검출부(170)에 의하여 보행자가 운전자를 중심으로 하여 오른쪽 방향에서 검출된 경우, 경보 출력부(190)는 차량 내부의 오른쪽 스피커를 통하여 경보음을 출력할 수 있다. 또는, 보행자 검출부(170)에 의하여 보행자가 운전자를 중심으로 하여 왼쪽 방향에서 검출된 경우, 경보 출력부(190)는 차량 내부의 왼쪽 스피커를 통하여 경보음을 출력할 수 있다.
다른 실시예에 따르면, 경보 출력부(190)는 보행자가 검출된 거리에 따라 경보음의 세기를 조절하여 출력할 수 있다. 예를 들어, 보행자가 검출된 거리가 차량과 가까울수록 경보 출력부(190)는 경보음의 크기를 크게 출력할 수 있다. 또는, 보행자가 검출된 거리가 차량과 멀수록 경보 출력부(190)는 경보음의 크기를 작게 출력할 수 있다.
도 2는 본 발명의 다른 실시예에 따른 보행자 검출 경보 장치의 개략적인 구성을 보여주는 블록도이다.
도 2를 참조하면, 일 양상에 따른 보행자 검출 경보 장치(200)는 운전자의 얼굴 영상 획득부(210), 차량의 전방 영상 획득부(220), 시선 검출부(230), 시야 영상 결정부(240), 검출 영역 설정부(250), 검출 영역 수정부(260), 보행자 검출부(270), 위험 수준 산출부(280) 및 경보 출력부(290)를 포함한다.
도 2에 도시된 보행자 검출 경보 장치(200)는 검출 영역 수정부(260)와 위험 수준 산출부(280)를 더 포함한다는 점에서, 이를 포함하지 않는 도 1에 도시된 보행자 검출 경보 장치(100)와 차이가 있다. 이하, 도 1의 보행자 검출 경보 장치(100)와의 차이점을 중심으로 도 2의 보행자 검출 경보 장치(200)에 관하여 설명한다. 따라서, 도 2의 보행자 검출 경보 장치(200)와 관련하여 구체적으로 설명하지 않은 사항은 각 구성요소의 본질적인 특성상 적용이 불가능한 경우를 제외하고는 도 1의 보행자 검출 경보 장치(100)와 관련하여 설명한 사항이 동일하게 적용될 수 있다.
검출 영역 수정부(260)는 검출 영역 설정부(250)에 의하여 설정된 보행자를 검출할 범위의 영상에서 소정의 상하 영역의 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정한다. 차량의 전방 영상에서 상, 하 영역의 일부는 차량 사고와 연관될 수 있는 보행자가 검출될 확률이 낮거나 없으므로, 보행자를 검출할 범위의 영상에서 제외한다.
일 실시예에 따르면, 검출 영역 수정부(260)는 운전자의 얼굴 영상에서 운전자가 특이 상태인 것으로 판단되면, 차량의 전방 영상을 보행자를 검출할 범위의 영상으로 설정할 수 있다. 이때, 경보 출력부(290)는 보행자 검출부(270)에 의하여 보행자가 검출되는 경우에 경보음의 세기를 크게 조절하여 출력할 수 있다. 여기서, ‘운전자의 특이 상태’란 운전자의 상태가 정상적인 주행을 하는 운전자의 상태에 해당하지 않는 특이한 상태에 놓인 것을 의미한다. 예를 들어, 운전자가 주행 중 하품을 하거나, 또는 눈을 감고 있는 시간이 일정 시간 이상인 경우에 운전자가 조는 것으로 판단하고 운전자의 상태는 특이 상태로 판단할 수 있다. 검출 영역 수정부(260)는 운전자의 상태가 특이 상태인 것으로 판단한 경우 차량의 전방 영상 전체를 보행자를 검출할 범위의 영상으로 설정한다. 따라서, 보행자 검출부(270)는 차량의 전방 영상 전체에 대하여 보행자를 검출한다.
위험 수준 산출부(280)는 차량과 보행자 검출부(270)에 의하여 검출된 보행자 사이의 거리 및 검출된 보행자의 진행 방향을 이용하여 검출된 보행자에 대한 위험 수준을 산출한다. 이때, 경보 출력부(290)는 위험 수준 산출부(280)에 의하여 산출된 위험 수준에 따라 경보음의 세기를 조절하여 출력할 수 있다.
보행자 검출부(270)는 검출된 보행자와 차량과의 거리를 함께 검출할 수 있다. 예를 들어, 보행자 검출부(270)는 검출된 보행자와 차량과의 거리를 레이더를 이용하여 검출할 수 있다. 레이더는 차량의 전방 측에 일정한 각도 이내의 범위로 마이크로파를 출력한 후 검출된 보행자로부터 반사된 반사파를 검출한다. 여기서 반사파는 검출된 보행자와의 각도, 상대 거리, 상대 속도 등을 산출하는데 필요한 정보를 포함한다. 다른 예를 들어, 보행자 검출부(270)는 검출된 보행자와 차량과의 거리를 초음파 센서를 이용하여 검출할 수 있다.
일 실시예에 따르면, 위험 수준 산출부(280)는 검출된 보행자의 진행 방향이 차량으로부터 멀어지는 경우에는 위험 수준을 낮게 산출할 수 있다.
다른 실시예에 따르면, 위험 수준 산출부(280)는 검출된 보행자의 진행 방향이 차량으로 가까워지는 경우에는 위험 수준을 높게 산출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 운전자의 시야각을 보여주는 도면이다.
도 3을 참조하면, 운전자의 시야각은 운전자의 차량 운전 속도에 따라 달라진다. 예를 들어, 운전자의 차량 운전 속도가 63km/h인 경우 운전자의 시야각은 38°이고, 운전자의 차량 운전 속도가 76km/h인 경우 운전자의 시야각은 27°이며, 운전자의 차량 운전 속도가 110km/h인 경우 운전자의 시야각은 19°이다. 운전자의 시야각은 여기에만 한정되는 것은 아니며, 다른 각으로 설정할 수 있다. 예를 들어, 운전이 미숙한 초보 운전자의 경우에는 운전자의 시야각을 보다 좁게 설정할 수 있다. 운전자의 시야각이 좁아지면 보행자를 검출할 범위의 영상이 많아지게 되므로 보다 넓은 범위에 대하여 보행자를 검출할 수 있다.
도 4는 본 발명의 일 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 4를 참조하면, 운전자는 차량의 진행 방향인 전방을 주시하며 운전하고 있는 상황을 나타낸다. 일 실시예에 따르면, 운전자가 전방 등을 주시하고 있어서 운전자의 시선에 따른 시야 영상과 차량의 전방 영상의 일부가 겹치는 경우에는 겹치는 영역의 영상에 대하여는 보행자를 검출하지 않을 수 있다. 이때, 차량의 전방 영상에서 운전자의 시선에 따른 시야 영상을 제외한 영상이 보행자를 검출할 범위의 영상으로 설정된다. 보행자 검출부(170, 270)는 설정된 보행자를 검출할 범위의 영상에 대하여 보행자를 검출한다.
도 5는 본 발명의 다른 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 5를 참조하면, 운전자는 차량의 진행 방향인 전방을 주시하고 있지 않고, 다른 방향을 주시하며 운전하고 있는 상황을 나타낸다. 예를 들어, 운전자가 차량 운전 중에 네비게이션을 보거나 사이드미러를 보는 등의 경우 운전자는 차량의 진행 방향인 전방을 주시하고 있지 않게 된다. 이때, 운전자의 시선에 따른 시야 영상과 차량의 전방 영상의 일부가 겹치지 않는 경우에는 차량의 전방 영상 전체가 보행자를 검출할 범위의 영상으로 설정된다. 보행자 검출부(170, 270)는 차량의 전방 영상 전체에 대하여 보행자를 검출한다.
도 6은 본 발명의 또 다른 실시예에 따른 보행자를 검출할 범위의 영상으로 설정된 영역을 보여주는 도면이다.
도 6을 참조하면, 도 2를 참조하여 설명한 보행자 검출 경보 장치(200)의 검출 영역 수정부(260)는 검출 영역 설정부(250)에 의하여 설정된 보행자를 검출할 범위의 영상에서 소정의 상하 영역의 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정한다. 차량의 전방 영상에서 상, 하 영역의 일부는 차량 사고와 연관될 수 있는 보행자가 검출될 확률이 낮거나 없으므로, 보행자를 검출할 범위의 영상에서 제외한다.
도 7은 본 발명의 일 실시예에 따른 보행자 검출 경보 방법을 보여주는 흐름도이다.
본 발명의 실시예를 포함하여 이하에서 설명되는 절차는 다양한 형태로 구현하는 것이 가능하다. 도 7에 도시된 보행자 검출 경보 방법은 도 1의 보행자 검출 경보 장치(100) 또는 도 2의 보행자 검출 경보 장치(200) 또는 이를 구비하는 전자 기기를 이용하여 보행자 검출 경보하는 방법일 수 있다. 따라서, 불필요한 반복을 피하기 위하여 도 7의 보행자 검출 경보 방법에 관하여 간략히 설명하며, 도 1 내지 도 6을 참조하여 설명한 사항이 동일하게 적용될 수 있다.
도 7을 참조하면, 먼저 운전자의 얼굴 영상을 획득하고, 차량의 전방 영상을 획득하여, 상기 획득한 운전자의 얼굴 영상에서 운전자의 시선을 검출한다(S701). 이때, 운전자의 얼굴 영상에서 운전자의 눈 영역을 결정하여 운전자의 후보 시선을 추출하고, 추출된 운전자의 후보 시선 중에서 운전자의 최종 시선을 선택하여 운전자의 시선을 검출할 수 있다.
다음으로, 상기 획득한 차량의 전방 영상에서 상기 검출된 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정한다(S702).
다음으로, 상기 획득한 차량의 전방 영상에서 상기 결정된 운전자의 시선에 따른 시야 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정한다(S703). 일 실시예에 따르면, 설정된 보행자를 검출할 범위의 영상에서 소정의 상하 영역의 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 수정하여 설정할 수 있다. 다른 실시예에 따르면, 운전자의 얼굴 영상에서 운전자가 특이 상태인 것으로 판단되면, 차량의 전방 영상을 보행자를 검출할 범위의 영상으로 설정할 수 있다.
다음으로, 상기 설정된 보행자를 검출할 범위의 영상에서 보행자를 검출한다(S704). 이때, 차량과 검출된 보행자 사이의 거리 및 검출된 보행자의 진행 방향을 이용하여 검출된 보행자에 대한 위험 수준을 산출할 수 있다. 일 실시예에 따르면, 검출된 보행자의 진행 방향이 차량으로부터 멀어지는 경우에는 위험 수준을 낮게 산출할 수 있다. 다른 실시예에 따르면, 검출된 보행자의 진행 방향이 차량으로 가까워지는 경우에는 위험 수준을 높게 산출할 수 있다.
다음으로, 보행자가 검출되는지 여부를 판단하여(S705), 판단 결과 보행자가 검출되지 않는 경우에는 계속 운전자의 얼굴 영상과 차량의 전방 영상을 획득한다. 반면에, 보행자가 검출되는 경우에 경보를 출력한다(S706). 일 실시예에 따르면, 운전자의 얼굴 영상에서 운전자가 특이 상태인 것으로 판단되는 경우에 보행자를 검출할 범위의 영상에서 보행자가 검출되는 경우 경보음의 세기를 크게 조절하여 출력할 수 있다. 다른 실시예에 따르면, 보행자가 검출된 방향에서 경보를 출력할 수 있다. 또 다른 실시예에 따르면, 보행자가 검출된 거리에 따라 경보음의 세기를 조절하여 출력할 수 있다.
또한, 이러한 보행자 검출 경보 방법은 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체에 저장될 수 있다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 제안된 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100, 200 : 보행자 검출 경보 장치
110, 210 : 운전자의 얼굴 영상 획득부
120, 220 : 차량의 전방 영상 획득부
130, 230 : 시선 검출부
140, 240 : 시야 영상 결정부
150, 250 : 검출 영역 설정부
260 : 검출 영역 수정부
170, 270 : 보행자 검출부
280 : 위험 수준 산출부
190, 290 : 경보 출력부
110, 210 : 운전자의 얼굴 영상 획득부
120, 220 : 차량의 전방 영상 획득부
130, 230 : 시선 검출부
140, 240 : 시야 영상 결정부
150, 250 : 검출 영역 설정부
260 : 검출 영역 수정부
170, 270 : 보행자 검출부
280 : 위험 수준 산출부
190, 290 : 경보 출력부
Claims (20)
- 운전자의 얼굴 영상을 획득하는 운전자의 얼굴 영상 획득부;
차량의 전방 영상을 획득하는 차량의 전방 영상 획득부;
상기 운전자의 얼굴 영상 획득부에 의하여 획득한 운전자의 얼굴 영상에서 운전자의 시선을 검출하는 시선 검출부;
상기 차량의 전방 영상 획득부에 의하여 획득한 차량의 전방 영상에서 상기 시선 검출부에 의하여 검출된 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정하는 시야 영상 결정부;
상기 차량의 전방 영상에서 상기 시야 영상 결정부에 의하여 결정된 운전자의 시선에 따른 시야 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정하는 검출 영역 설정부;
상기 검출 영역 설정부에 의하여 설정된 보행자를 검출할 범위의 영상에서 소정의 상하 영역의 영상을 보행자를 검출할 범위의 영상에서 제외하고, 제외한 영상을 보행자를 검출할 범위의 영상으로 설정하는 검출 영역 수정부;
상기 검출 영역 수정부에 의하여 설정된 보행자를 검출할 범위의 영상에서 보행자를 검출하는 보행자 검출부; 및
상기 보행자 검출부에 의하여 보행자가 검출되는 경우에 경보를 출력하는 경보 출력부;
를 포함하며,
상기 시야 영상 결정부는 상기 운전자의 차량 운전 속도에 따라 시야각을 다르게 설정하여 운전자의 시선에 따른 시야 영상의 범위를 조절하는 보행자 검출 경보 장치.
- 제 1 항에 있어서,
상기 시선 검출부는 상기 운전자의 얼굴 영상에서 운전자의 눈 영역을 결정하여 운전자의 후보 시선을 추출하고, 추출된 운전자의 후보 시선 중에서 운전자의 최종 시선을 선택하는 보행자 검출 경보 장치.
- 삭제
- 제 1 항에 있어서,
상기 검출 영역 수정부는 운전자의 얼굴 영상에서 운전자가 특이 상태인 것으로 판단되면, 차량의 전방 영상을 보행자를 검출할 범위의 영상으로 설정하고,
상기 경보 출력부는 상기 보행자 검출부에 의하여 보행자가 검출되는 경우에 경보음의 세기를 크게 조절하여 출력하는 보행자 검출 경보 장치.
- 제 1 항에 있어서,
상기 보행자 검출 경보 장치는 상기 차량과 상기 보행자 검출부에 의하여 검출된 보행자 사이의 거리 및 상기 검출된 보행자의 진행 방향을 이용하여 상기 검출된 보행자에 대한 위험 수준를 산출하는 위험 수준 산출부를 더 포함하는 보행자 검출 경보 장치.
- 제 5 항에 있어서,
상기 위험 수준 산출부는 상기 검출된 보행자의 진행 방향이 상기 차량으로부터 멀어지는 경우에는 위험 수준을 낮게 산출하는 보행자 검출 경보 장치.
- 제 5 항에 있어서,
상기 위험 수준 산출부는 상기 검출된 보행자의 진행 방향이 상기 차량으로 가까워지는 경우에는 위험 수준을 높게 산출하는 보행자 검출 경보 장치.
- 제 5 항에 있어서,
상기 경보 출력부는 상기 위험 수준 산출부에 의하여 산출된 위험 수준에 따라 경보음의 세기를 조절하여 출력하는 보행자 검출 경보 장치.
- 제 1 항에 있어서,
상기 경보 출력부는 보행자가 검출된 방향에서 경보음을 출력하는 보행자 검출 경보 장치.
- 제 1 항에 있어서,
상기 경보 출력부는 보행자가 검출된 거리에 따라 경보음의 세기를 조절하여 출력하는 보행자 검출 경보 장치.
- 운전자의 얼굴 영상을 획득하는 단계;
차량의 전방 영상을 획득하는 단계;
상기 획득한 운전자의 얼굴 영상에서 운전자의 시선을 검출하는 단계;
상기 획득한 차량의 전방 영상에서 상기 검출된 운전자의 시선을 중심으로 하여 소정의 시야각에 해당하는 차량의 전방 영상을 운전자의 시선에 따른 시야 영상으로 결정하는 단계;
상기 획득한 차량의 전방 영상에서 상기 결정된 운전자의 시선에 따른 시야 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 설정하는 단계;
상기 보행자를 검출할 범위의 영상으로 설정하는 단계에서 설정된 보행자를 검출할 범위의 영상에서 소정의 상하 영역의 영상을 제외한 영상을 보행자를 검출할 범위의 영상으로 수정하여 설정하는 단계;
상기 수정하여 설정된 보행자를 검출할 범위의 영상에서 보행자를 검출하는 단계; 및
보행자가 검출되는 경우에 경보를 출력하는 단계;
를 포함하며,
상기 시야 영상으로 결정하는 단계는 상기 운전자의 차량 운전 속도에 따라 시야각을 다르게 설정하여 운전자의 시선에 따른 시야 영상의 범위를 조절하는 보행자 검출 경보 방법.
- 제 11 항에 있어서,
상기 시선 검출 단계에서는 상기 운전자의 얼굴 영상에서 운전자의 눈 영역을 결정하여 운전자의 후보 시선을 추출하고, 추출된 운전자의 후보 시선 중에서 운전자의 최종 시선을 선택하는 보행자 검출 경보 방법.
- 삭제
- 제 11 항에 있어서,
상기 검출 영역 수정 설정 단계에서는 운전자의 얼굴 영상에서 운전자가 특이 상태인 것으로 판단되면, 차량의 전방 영상을 보행자를 검출할 범위의 영상으로 설정하고,
상기 경보 출력 단계에서는 상기 보행자 검출 단계에서 보행자가 검출되는 경우에 경보음의 세기를 크게 조절하여 출력하는 보행자 검출 경보 방법.
- 제 11 항에 있어서,
상기 차량과 상기 보행자 검출부에 의하여 검출된 보행자 사이의 거리 및 상기 검출된 보행자의 진행 방향을 이용하여 상기 검출된 보행자에 대한 위험 수준를 산출하는 단계를 더 포함하는 보행자 검출 경보 방법.
- 제 15 항에 있어서,
상기 위험 수준 산출 단계에서는 상기 검출된 보행자의 진행 방향이 상기 차량으로부터 멀어지는 경우에는 위험 수준을 낮게 산출하는 보행자 검출 경보 방법.
- 제 15 항에 있어서,
상기 위험 수준 산출 단계에서는 상기 검출된 보행자의 진행 방향이 상기 차량으로 가까워지는 경우에는 위험 수준을 높게 산출하는 보행자 검출 경보 방법.
- 제 15 항에 있어서,
상기 경보 출력 단계에서는 상기 위험 수준 산출 단계에서 산출된 위험 수준에 따라 경보음의 세기를 조절하여 출력하는 보행자 검출 경보 방법.
- 제 11 항에 있어서,
상기 경보 출력 단계에서는 보행자가 검출된 방향에서 경보음을 출력하는 보행자 검출 경보 방법.
- 제 11 항에 있어서,
상기 경보 출력 단계에서는 보행자가 검출된 거리에 따라 경보음의 세기를 조절하여 출력하는 보행자 검출 경보 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140156279A KR101680833B1 (ko) | 2014-11-11 | 2014-11-11 | 보행자 검출 경보 장치 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140156279A KR101680833B1 (ko) | 2014-11-11 | 2014-11-11 | 보행자 검출 경보 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160056189A KR20160056189A (ko) | 2016-05-19 |
KR101680833B1 true KR101680833B1 (ko) | 2016-11-29 |
Family
ID=56103329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140156279A KR101680833B1 (ko) | 2014-11-11 | 2014-11-11 | 보행자 검출 경보 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101680833B1 (ko) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102419727B1 (ko) * | 2017-09-12 | 2022-07-13 | 현대자동차주식회사 | 차량 및 그 제어 방법 |
JP7100998B2 (ja) * | 2018-03-08 | 2022-07-14 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
KR20220085876A (ko) * | 2020-12-15 | 2022-06-23 | 주식회사 에이치엘클레무브 | 운전자 보조 시스템 및 그 제어 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005159392A (ja) | 2003-11-20 | 2005-06-16 | Nissan Motor Co Ltd | 車両周辺監視装置および方法 |
JP2007148506A (ja) | 2005-11-24 | 2007-06-14 | Auto Network Gijutsu Kenkyusho:Kk | 運転支援装置 |
JP2009245083A (ja) | 2008-03-31 | 2009-10-22 | Hyundai Motor Co Ltd | 脇見運転検出警報システム |
-
2014
- 2014-11-11 KR KR1020140156279A patent/KR101680833B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005159392A (ja) | 2003-11-20 | 2005-06-16 | Nissan Motor Co Ltd | 車両周辺監視装置および方法 |
JP2007148506A (ja) | 2005-11-24 | 2007-06-14 | Auto Network Gijutsu Kenkyusho:Kk | 運転支援装置 |
JP2009245083A (ja) | 2008-03-31 | 2009-10-22 | Hyundai Motor Co Ltd | 脇見運転検出警報システム |
Also Published As
Publication number | Publication date |
---|---|
KR20160056189A (ko) | 2016-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102351592B1 (ko) | 기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출 | |
EP3690729B1 (en) | Method and device for alerting abnormal driver situation detected by using humans' status recognition via v2v connection | |
US10796171B2 (en) | Object recognition apparatus, object recognition method, and object recognition program | |
JP6888950B2 (ja) | 画像処理装置、外界認識装置 | |
US9493163B2 (en) | Driving support apparatus for vehicle | |
US20170143253A1 (en) | Device, method and computer program for detecting momentary sleep | |
EP1961622B1 (en) | Safety-travel assistance device | |
US10430677B2 (en) | Method for classifying driver movements | |
KR101276770B1 (ko) | 사용자 적응형 특이행동 검출기반의 안전운전보조시스템 | |
KR101914362B1 (ko) | 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법 | |
US20150098633A1 (en) | Face detection apparatus, face detection method, and program | |
JP6235425B2 (ja) | 安全確認判定装置、及び運転支援装置 | |
CN108162858B (zh) | 车载监控装置及其方法 | |
KR101986734B1 (ko) | 차량 운전 보조 장치 및 이의 안전 운전 유도 방법 | |
CN107408338A (zh) | 驾驶员辅助系统 | |
US20220130155A1 (en) | Adaptive monitoring of a vehicle using a camera | |
KR101546893B1 (ko) | 졸음 운전 방지 시스템 | |
KR101680833B1 (ko) | 보행자 검출 경보 장치 및 방법 | |
KR101500016B1 (ko) | 차선 이탈 경보 방법 | |
WO2019137913A1 (en) | Method for crash prevention for an automotive vehicle comprising a driving support system | |
JP6296684B2 (ja) | 運転支援装置 | |
JP4270010B2 (ja) | 物体危険判定装置 | |
KR102066740B1 (ko) | 운전자 주행특성을 고려한 차량 주행위치 선정 시스템 및 그 방법 | |
JP7014680B2 (ja) | 注視対象物検知装置、注視対象物検知方法、およびプログラム | |
JP2018163530A (ja) | 対象物検知装置、対象物検知方法、及び対象物検知プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20191028 Year of fee payment: 4 |