KR102443980B1

KR102443980B1 - 차량 제어 방법

Info

Publication number: KR102443980B1
Application number: KR1020200154123A
Authority: KR
Inventors: 아베드 라마; 소니 비벡
Original assignee: 주식회사 아르비존
Priority date: 2020-11-17
Filing date: 2020-11-17
Publication date: 2022-09-21
Also published as: KR20220067434A

Abstract

본 발명은 차량 제어 방법에 관한 것이다.
본 발명의 일례에 따른 센서가 구비된 차량에 탑재된 차량 제어 장치의 차량 제어 방법은, 상기 차량의 내부를 센싱하는 상기 센서로부터 센싱 정보를 수신하는 단계; 상기 센싱 정보를 이용하여, 상기 차량의 탑승자를 분석하는 단계; 상기 탑승자가 운전하는 것으로 정의된 기설정된 제스처들 중 적어도 하나를 수행하는지 탐색하는 단계; 및 상기 제스처들 중 적어도 하나가 탐색되는 경우, 상기 탐색된 제스처를 수행한 탑승자를 운전자로 결정하는 단계를 포함한다.

Description

차량 제어 방법 {VEHICLE CONTROL METHOD}

본 발명은 차량 내 탑재된 차량 제어 장치의 차량 제어 방법에 관한 것이다.

차량은 운동 에너지를 이용하여 사람이나 짐을 이동시킬 수 있는 교통 수단을 의미한다. 차량의 대표적인 예로, 자동차 및 오토바이를 들 수 있다.

차량을 이용하는 사용자의 안전 및 편의를 위해, 차량에는 각종 센서와 장치가 구비되고 있으며, 차량의 기능이 다양화되고 있다.

차량의 기능은 운전자의 편의를 도모하기 위한 편의 기능, 그리고 운전자 및/또는 보행자의 안전을 도모하기 위한 안전 기능으로 나뉠 수 있다.

먼저, 편의 기능은 차량에 인포테인먼트(information + entertainment) 기능을 부여하고, 부분적인 자율 주행 기능을 지원하거나, 야간 시야나 사각 지대와 같은 운전자의 시야 확보를 돕는 등의 운전자 편의와 관련된 개발 동기를 가진다. 예를 들어, 적응 순향 제어(active cruise control, ACC), 스마트주자시스템(smart parking assist system, SPAS), 나이트비전(night vision, NV), 헤드 업 디스플레이(head up display, HUD), 어라운드 뷰 모니터(around view monitor, AVM), 적응형 상향등 제어(adaptive headlight system, AHS) 기능 등이 있다.

안전 기능은 운전자의 안전 및/또는 보행자의 안전을 확보하는 기술로, 차선 이탈 경고 시스템(lane departure warning system, LDWS), 차선 유지 보조 시스템(lane keeping assist system, LKAS), 자동 긴급 제동(autonomous emergency braking, AEB) 기능 등이 있다.

현재 교통사고의 대부분은 운전자의 부주의에 의해 발생하는 것으로 자율주행이 개발되면서 운전자의 부주의를 보완하고 있으나, 여전히 운전자가 운전에 집중하지 못하는 경우가 빈번히 발생하고 있다. 따라서, 운전자가 운전 중에 졸음운전을 하는 경우 등과 같이 부주의한 경우 알림을 주어 운전자가 다시 집중할 수 있게 하는 차량 제어 방법의 개발이 필요하다.

본 발명은 차량 제어 방법을 제공하는데, 그 목적이 있다. 본 발명이 해결하려는 과제는 졸음 운전 등 운전자가 운전에 집중하지 못하는 경우 알람을 주어 운전자가 다시 집중할 수 있게 하는 챠랑 제어 방법을 제공하는 것이다.

본 발명이 해결하려는 다른 과제는 차량에 다수의 탑승자가 있는 경우, 탑승자 중 운전자를 결정하고 운전자의 집중 여부를 분석하는 챠랑 제어 방법을 제공하는 것이다.

본 발명의 일례에 따른 센서가 구비된 차량에 탑재된 차량 제어 장치의 상기 차량의 내부를 센싱하는 상기 센서로부터 센싱 정보를 수신하는 단계; 상기 센싱 정보를 이용하여, 상기 차량의 탑승자를 분석하는 단계; 상기 탑승자가 운전하는 것으로 정의된 기설정된 제스처들 중 적어도 하나를 수행하는지 탐색하는 단계; 및 상기 제스처들 중 적어도 하나가 탐색되는 경우, 상기 탐색된 제스처를 수행한 탑승자를 운전자로 결정하는 단계를 포함한다.

본 발명의 일 실시예에 있어서, 상기 센서는 카메라를 포함하며, 상기 센싱 정보는 상기 카메라가 측정한 영상 정보일 수 있다.

본 발명의 일 실시예에 있어서, 상기 카메라는 360°촬영이 가능할 수 있다.

본 발명의 일 실시예에 있어서, 상기 운전자의 위치를 분석하고, 상기 차량이 주행 중인 지역의 교통 규칙과 비교할 수 있다.

본 발명의 일 실시예에 있어서, 상기 운전자의 위치가 상기 지역의 교통규칙과 다른 경우, 상기 운전자에게 알람을 제공할 수 있다.

본 발명의 일 실시예에 있어서, 상기 센서가 상기 운전자의 얼굴을 추적하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 추적하는 단계는 미리 학습된 CNN 모델에 의해 이루어질 수 있다.

본 발명의 일 실시예에 있어서, 상기 운전자의 얼굴을 추적하는 것은 상기 운전자의 눈의 움직임과 입의 움직임 중 적어도 어느 하나를 추적할 수 있다.

본 발명의 일 실시예에 있어서, 상기 운전자의 눈의 움직임을 추적하는 것은 상기 눈의 깜박임 정도를 분석하고, 상기 눈의 깜박임 정도를 기설정된 기준과 비교할 수 있다.

본 발명의 일 실시예에 있어서, 상기 비교 결과를 기반으로 상기 운전자의 상태 소정의 상태 중 어느 하나로 판단할 수 있다.

본 발명의 일 실시예에 있어서, 상기 운전자의 입의 움직임을 추적하는 것은 상기 입의 벌어짐 정도를 분석하고, 상기 입의 벌어짐 정도를 기설정된 기준과 비교할 수 있다.

본 발명은 다음과 같은 문제를 해결하는 것을 목적으로 한다.

본 발명의 일 목적은, 차량의 안전한 운행을 위해 운전자를 분석할 수 있도록 운전자의 위치를 결정하는 차량 제어 방법을 제공하는 것이다.

또한, 본 발명의 일 목적은, 다른 행동에 집중하고 있어 운전에 부주의한 운전자에게 알람을 주어 운전에 집중하도록 하는 차량 제어 방법을 제공하는 것이다.

도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 차량 제어 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 차량 제어 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 차량 제어 방법의 구체적인 예시를 설명한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 차량 제어 방법의 구체적인 예시를 설명한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 차량 제어 방법의 구체적인 예시를 설명한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 차량 제어 방법의 구체적인 예시를 설명한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 차량 제어 방법의 구체적인 예시를 설명한 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에 있어서 네트워크의 통신 방식은 제한되지 않으며, 각 구성요소간 연결이 동일한 네트워크 방식으로 연결되지 않을 수도 있다. 네트워크는, 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망, 위성망 등)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크는, 객체와 객체가 네트워킹 할 수 있는 모든 통신 방법을 포함할 수 있으며, 유선 통신, 무선 통신, 3G, 4G, 5G, 혹은 그 이외의 방법으로 제한되지 않는다. 예를 들어, 유선 및/또는 네트워크는 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), LTE Advanced, IEEE802.16m, Wireless MAN-Advanced, HSPA+, 3GPP Long Term Evolution (LTE), Mobile WiMAX (IEEE 802.16e), UMB (formerly EV-DO Rev. C), Flash-OFDM, iBurst and MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX(World Interoperability for Microwave Access) 및 IR 활용 통신으로 이루어진 군으로부터 선택되는 하나 이상의 통신 방법에 의한 통신 네트워크를 지칭할 수 있으나, 이에 한정되는 것은 아니다.

본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.

본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.

이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 차량 제어 방법에 대해서 설명한다.

도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.

도 2는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.

도 1 내지 도 2를 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(120)를 포함할 수 있다.

차량(100)은 자율 주행 차량일 수 있다.

여기서, 자율 주행은 가속, 감속, 및 주행 방향 중 적어도 하나를 기 설정된 알고리즘에 근거하여 제어하는 것으로 정의된다. 다시 말해, 운전 조작 장치에 사용자 입력이 입력되지 않아도, 상기 운전 조작 장치가 자동으로 조작되는 것을 의미한다.

조향 입력 장치(120)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(120)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성될 수 있다. 실시예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.

차량(100)은 센서를 포함할 수 있다.

센서는, 차량(100) 내부 또는 외부에 위치하는 물체를 검출하기 위한 장치이다.

센서는, 카메라(110), 레이다, 라이다, 초음파 센서, 적외선 센서 등을 포함할 수 있다.

실시예에 따라, 센서는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.

카메라(110)는, 차량의 내부 또는 외부 영상을 획득하기 위해, 차량의 내부 또는 외부의 적절한 곳에 위치할 수 있다. 카메라(110)는, 모노 카메라, 스테레오 카메라, AVM(Around View Monitoring) 카메라, 내부 카메라 또는 360도 촬영이 가능한 회전 카메라일 수 있다.

예를 들면, 카메라(110)는, 차량 전방의 외부 영상과 내부 영상을 모두 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(110)는, 프런트 범퍼 등 주변에 배치될 수도 있다.

내부 카메라는, 차량 내부 영상을 획득할 수 있다. 차량 제어 장치는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 차량 제어 장치는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 차량 제어 장치는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.

차량(100)은 출력 장치를 포함할 수 있다.

출력 장치는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 실시 예로, 출력 장치는 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있는 디스플레이부를 포함할 수 있다.

차량 제어 장치는 디스플레이부를 통해 알람과 같은 정보를 출력할 수 있다.

디스플레이부는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

디스플레이부는, 스티어링 휠의 일 영역, 패널의 일 영역(240), 차량 전면 윈드 쉴드의 일 영역(210), 시트의 일 영역, 콘솔(220)의 일 영역, 윈도우의 일영역(230) 등에 구현될 수 있다.

도 3은 본 발명의 일 실시 예에 따른 차량 제어 방법을 설명하기 위한 예시도이다.

도 3을 참조하면, 차량에는 여러 명의 탑승자가 탑승할 수 있다(310). 일반적으로 여러 명의 탑승자 중 1명은 운전자이고, 운전자를 제외한 나머지 탑승자는 일반 탑승자이다. 본 발명의 목적을 수행하기 위하여 차량 탑승자 중 운전자를 구별할 필요가 있다. 상술한 센서를 통해 차량 내부 영상을 획득할 수 있고, 차량 내부 영상을 기초로 사용자의 상태를 감지할 수 있다.

구체적인 운전자 결정 방법에 대하여는 도 4를 참조하여 설명한다.

도 4는 본 발명의 일 실시 예에 따른 차량 제어 방법을 설명하기 위한 순서도이다.

센서가 구비된 차량에 탑재된 차량 제어 장치는 차량의 내부를 센싱하는 센서로부터 센싱 정보를 수신(S410) 할 수 있다. 일 실시예로, 센서는 광학 카메라일 수 있고 센싱 정보는 영상 정보일 수 있다.

차량 제어 장치는 센싱 정보를 이용하여 차량의 탑승자를 분석(S420)할 수 있다. 일 실시예로, 상술한바와 같이 센싱 정보가 영상 정보인 경우 차량의 탑승자를 분석하는 것은 차량 내부에 탑승자의 위치를 분석하는 것일 수 있다. 구체적으로, 카메라가 이미지 센싱을 통하여 차량 내부에 탑승하고 있는 사람을 감지할 수 있다.

이후, 탑승자가 운전하는 것으로 정의된 기설정된 제스처들 중 적어도 하나를 수행하는지 탐색(S430) 할 수 있다. 상기 기설정된 제스처는 행동, 호칭, 시선 등의 다양한 형태로 이루어질 수 있으며 제스처는 학습에 의해 추가될 수 있고, 세분화될 수 있다. 일 실시예로, 도 3을 참조하면, 운전하는 것으로 정의된 기설정된 제스처는 조향 입력 장치를 조절하는 행동으로 나타날 수 있다(320). 또는, 다른 실시예로, 차량의 조향 시스템을 터치하는 방식으로 나타날 수 있다. 또 다른 예로, 탑승자의 시선이 지속하여 차량의 전면부를 향하는 것으로 나타날 수 있다. 이에 한정되지 않고, 다양한 기설정된 제스처가 존재할 수 있으며, 차량 제어 장치는 탑승자가 기설정된 제스처들의 조합을 수행하는지 탐색할 수도 있다.

제스처들 중 적어도 하나가 탐색되는 경우, 탐색된 제스처를 수행한 탑승자를 운전자로 결정(S440) 할 수 있다. 일반적으로, 차량 내부의 탑승자 중 운전자는 1명일 것이다. 다만, 운전하는 것으로 정의된 기설정된 제스처들 중 적어도 하나를 수행하는 탑승자가 다수일 경우, 차량 제어 장치는 상기 제스처를 지속적으로 수행하는 탑승자를 운전자로 결정할 수 있다. 다만, 이에 한정되지 않고 차량 내 탑승자 중 1명을 운전자로 결정할 수 있을 것이다.

도 5는 본 발명의 일 실시 예에 따른 차량 제어 방법의 구체적인 예시를 설명한 도면이다.

도 5를 참조하면, 차량 제어 장치는 운전자의 위치를 분석하고, 차량이 주행중인 지역의 교통 규칙과 비교할 수 있다(S510).

일반적으로, 차량에서 운전석의 위치는 국가별로 다르다. 보통의 차량은 차량의 전면부에 운전석과 조수석이 위치하게 된다. 차량의 내부에서 전면을 바라보는 방향 기준으로, 한국, 미국 등의 국가는 좌측에 운전석이 존재한다. 반면, 영국, 일본 등의 국가는 우측에 운전석이 존재한다. 이는 각 국가의 교통 규칙에 따라 다르며, 센서가 차량 내부를 분석 후 일괄적으로 운전자의 위치를 결정할 수 없다. 또한, 한국의 경우 일본 등 우측에 운전석이 존재하는 국가에서 수입하는 차량의 경우 등 상황에 따라 우측에 운전석이 존재하는 차량도 불법이 아닐 수 있다.

따라서, 차량 제어 장치가 차량의 탑승자 중 운전자를 결정(S440)한 이후, 운전자의 위치를 분석할 필요가 있다.

구체적으로, 운전자를 결정하는 단계 이전에 탑승자의 위치를 분석하기 때문에, 차량 제어 장치는 운전자의 위치를 특정할 수 있다. 이후, 차량 제어 장치는 해당 차량이 주행중인 지역의 교통 규칙과 비교하여 운전자의 위치가 교통 규칙과 일치하는지 아닌지를 비교할 수 있다.

이후, 운전자의 위치가 교통 규칙과 다른 경우, 운전자에게 알람을 제공(S520)할 수 있다. 일 실시예로, 알람은 상술한 디스플레이부를 통해 운전자에게 제공될 수 있다.

운전자의 위치가 교통 규칙과 다른 경우, 일 실시예로, 교통 규칙 상 운전석의 위치가 좌측인 한국에서 운전석이 우측인 차량이 운행 중인 경우, 차량 제어 장치는 운행 중인 차량이 교통 규칙을 따르고 있지 않음을 알려줄 수 있다. 교통 규칙 상 운전석의 위치에 따라 모든 교통 규칙이 설정되어 있기 때문에 운행 중인 차량의 운전석이 교통 규칙을 따르고 있지 않은 경우, 사고 위험이 높아질 수 있다. 따라서, 알람을 통해 운전자가 조치를 취함으로써 사고 위험을 방지할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 차량 제어 방법의 구체적인 예시를 설명한 도면이다.

도 6을 참조하면, 상술한 실시예들을 통해 차량 내의 운전자를 결정한 경우, 운전자를 분석할 수 있다. 구체적으로, 운전자를 분석하는 것은 센서가 운전자의 얼굴을 추적하는 것일 수 있다. 일 실시예로, 운전자의 얼굴을 추적하는 것은 카메라를 통하여 영상 정보를 획득 후, 미리 학습된 CNN(Convolutional Neural Network) 모델에 의하여 추적할 수 있다.

운전자의 얼굴을 추적하는 것은 운전자의 눈의 움직임(610)과 입의 움직임(620) 중 적어도 어느 하나를 추적하는 것일 수 있다. 다만, 이에 한정되지 않고, 코의 움직임을 통해 운전자의 얼굴을 추적하는 것이 가능하다. 구체적으로, 카메라가 획득한 영상 정보를 통해 운전자의 코가 좌/우, 또는 상/하로 움직이는 경우 차량 제어 장치는 운전자가 운전 중 음식물을 먹거나, 이야기를 하거나, 휴대폰을 사용하거나, 졸음을 느끼거나 하는 등과 같이 산만한 상태인 것으로 판단할 수 있다. 보다 구체적으로, 차량 제어 장치는 운전자가 1초 이상 상술한 바와 같이 산만한 상태인 것으로 판단되는 경우, 운전자에게 알람을 제공하여 운전자가 다시 운전에 집중하게 할 수 있다.

도 7은 본 발명의 일 실시 예에 따른 차량 제어 방법의 구체적인 예시를 설명한 도면이다.

다른 실시예로, 운전자의 얼굴을 추적하는 것은 운전자의 눈의 움직임을 추적하는 것일 수 있다.

도 7을 참조하면, 차량 제어 장치는 운전자의 눈의 깜박임 정도를 분석(S710)할 수 있다. 또한, 눈의 깜박임 정도를 기설정된 기준과 비교(S720)할 수 있다. 또한, 비교 결과를 기반으로 운전자의 상태를 미리 정해진 상태 중 어느 하나로 판단(S730)할 수 있다. 또한, 운전자의 상태가 운전에 집중하지 못하고 있다고 판단되는 경우, 운전자에게 알람을 제공(S740)할 수 있다.

구체적으로, 눈의 깜박임 정도는 미리 설정된 시간에 눈을 깜박이는 횟수로 분석할 수 있다. 또한, 눈의 깜박이는지 여부는 눈의 크기를 분석하여 결정할 수 있다.

<그림 1>

보다 구체적으로, <그림 1>에 의하면 A-B의 거리를 D1으로, C-D의 거리를 D2로, E-F의 거리를 D3로 정의할 수 있다. 이 때, 눈의 종횡비(Eye aspect ratio)를 (D1+D2)/(2*D3)로 정의할 수 있다. 차량 제어 장치는 눈의 종횡비를 임계값과 비교하여 눈이 깜박이는지 여부를 결정할 수 있다. 예를 들어, 임계값이 0.2인 경우, 눈의 종횡비가 0.2 미만인 경우 눈을 깜박인 상태로 결정할 수 있고, 눈의 종횡비가 0.2 이상인 경우 눈을 깜박이지 않은 상태로 결정할 수 있다.

차량 제어 장치는, 눈의 깜박임 정도를 미리 설정된 시간에 눈을 깜박이는 횟수로 분석할 수 있다. 일 실시예로, 1,500ms(Millisecond)에 눈의 깜박임이 25번 이상이라면 차량 제어 장치는 운전자가 졸음을 느끼는 상태로 판단할 수 있다. 이와 같은 비교 결과를 기반으로 차량 제어 장치는 운전자의 상태를 미리 정해진 상태 중 어느 하나로 판단할 수 있으며, 미리 정해진 상태가 운전에 집중하지 못하고 있다고 판단되는 상태인 경우 운전자에게 알람을 제공하여 운전자가 다시 운전에 집중하도록 할 수 있다.

도 8은 본 발명의 일 실시 예에 따른 차량 제어 방법의 구체적인 예시를 설명한 도면이다.

도 8을 참조하면, 차량 제어 장치는 운전자의 입의 벌어짐 정도를 분석(S810)할 수 있다. 또한, 입의 벌어짐 정도를 기설정된 기준과 비교(S820)할 수 있다. 또한, 비교 결과를 기반으로 운전자의 상태를 미리 정해진 상태 중 어느 하나로 판단(S830)할 수 있다. 또한, 운전자의 상태가 운전에 집중하지 못하고 있다고 판단되는 경우, 운전자에게 알람을 제공(S840)할 수 있다.

구체적으로, 입의 벌어짐 정도는 미리 설정된 시간에 눈을 벌리는 횟수로 분석할 수 있다. 또한, 입을 벌리는지 여부는 입의 크기를 분석하여 결정할 수 있다.

<그림 2>

보다 구체적으로, <그림 2>에 의하면 A-E의 거리를 D1으로, B-D의 거리를 D2로, C-F의 거리를 D3로 정의할 수 있다. 이 때, 입의 종횡비(Mouth aspect ratio)를 (D1+D2)/(2*D3)로 정의할 수 있다. 차량 제어 장치는 입의 종횡비를 임계값과 비교하여 입이 벌어지는지 여부를 결정할 수 있다. 예를 들어, 임계값이 0.6인 경우, 입의 종횡비가 0.6 이하인 경우 입을 벌리지 않은 상태로 결정할 수 있고, 입의 종횡비가 0.6 초과인 경우 입을 벌린 상태로 결정할 수 있다.

차량 제어 장치는, 입의 벌어짐 정도를 미리 설정된 시간에 입이 벌어지는 횟수로 분석할 수 있다. 일 실시예로, 4초 동안에 입의 벌어짐이 55번 이상이라면 차량 제어 장치는 운전자가 하품을 하며 졸음을 느끼는 상태로 판단할 수 있다. 이와 같은 비교 결과를 기반으로 차량 제어 장치는 운전자의 상태를 미리 정해진 상태 중 어느 하나로 판단할 수 있으며, 미리 정해진 상태가 운전에 집중하지 못하고 있다고 판단되는 상태인 경우 운전자에게 알람을 제공하여 운전자가 다시 운전에 집중하도록 할 수 있다.

도 9는 본 발명의 일 실시 예에 따른 차량 제어 방법의 구체적인 예시를 설명한 도면이다.

도 9를 참조하면, 상술한 방법에 의하여 운전자의 위치를 결정하기 이전에 차량이 운행하는 지역의 정보를 기반으로 운전자의 위치를 미리 결정할 수 있다. 구체적으로, 차량 제어 장치가 지역별 운전자 자리 정보가 포함된 데이터베이스를 수신할 수 있다. 또는, 차량 제어 장치에 데이터베이스가 포함되어 있을 수 있다. 데이터베이스의 일 실시예로, 국가별 운전자 자리 정보가 포함될 수 있다. 상술한 바와 같이, 차량의 내부에서 전면을 바라보는 방향 기준으로, 한국, 미국 등의 국가는 좌측에 운전석이 존재한다. 반면, 영국, 일본 등의 국가는 우측에 운전석이 존재한다. 이 경우, 데이터베이스에는 한국이라는 지역 정보와 좌측에 운전석이 존재한다는 운전자 자리 정보가 매칭되어 존재할 수 있다.

차량 제어 장치가 데이터베이스로부터 데이터를 수신한 후, 차량이 위치한 지역을 판단하여 데이터베이스 상 차량이 위치한 지역과 매칭된 운전자 자리 정보를 판단할 수 있다. 이러한 방법을 통해, 데이터베이스에 존재하는 차량이 위치한 지역에 해당하는 운전자 자리 정보에 따른 자리에 탑승한 탑승자를 자동으로 운전자로 결정할 수 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드(또는, 애플리케이션이나 소프트웨어)로서 구현하는 것이 가능하다. 상술한 자율 주행 차량의 제어 방법은 메모리 등에 저장된 코드에 의하여 실현될 수 있다.

컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

본 발명의 각 실시예에 개시된 기술적 특징들은 해당 실시예에만 한정되는 것은 아니고, 서로 양립 불가능하지 않은 이상, 각 실시예에 개시된 기술적 특징들은 서로 다른 실시예에 병합되어 적용될 수 있다.

이상, 본 발명의 ~의 실시예들에 대해 설명하였다. 본 발명은 상술한 실시예 및 첨부한 도면에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자의 관점에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명의 범위는 본 명세서의 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.

100: 차량
110: 카메라
120: 조향 입력 장치
210: 전면 윈드 쉴드
220: 콘솔
230: 윈도우
240: 패널

Claims

360°촬영이 가능한 카메라를 포함하는 센서가 차량 내부의 프런트 윈드 쉴드에 근접하게 배치되도록 구비된 차량에 탑재된 차량 제어 장치의 차량 제어 방법으로,
상기 차량의 내부를 센싱하는 상기 센서로부터 상기 카메라가 측정한 영상 정보를 포함하는 센싱 정보를 수신하는 단계;
상기 센싱 정보를 이용하여, 상기 차량의 탑승자를 분석하는 단계;
상기 탑승자가 운전하는 것으로 정의된 기설정된 제스처들 중 적어도 하나를 수행하는지 탐색하는 단계 - 상기 기설정된 제스처는 조향 입력 장치를 조절하는 행동, 조향 시스템을 터치하는 행동, 탑승자의 시선이 지속하여 차량의 전면부를 향하는 행동 등을 포함함 -; 및
상기 제스처들 중 적어도 하나가 탐색되는 경우, 상기 탐색된 제스처를 수행한 탑승자를 운전자로 결정하는 단계를 포함하고,
상기 운전자의 위치를 분석하고, 상기 차량이 주행 중인 지역의 교통 규칙과 비교하여 상기 분석된 운전자의 위치가 상기 지역의 교통 규칙 상 운전자의 위치와 다른 경우 상기 운전자에게 알람을 제공하는 - 상기 지역의 교통 규칙 상 운전자의 위치는 운전석이 좌측인지 우측인지와 관련됨 -
차량 제어 방법.
삭제
삭제
삭제
삭제
제1 항에 있어서,
상기 센서가 상기 운전자의 얼굴을 추적하는 단계를 더 포함하는 차량 제어 방법.
제6 항에 있어서,
상기 추적하는 단계는 미리 학습된 CNN 모델에 의해 이루어지는 차량 제어 방법.
제6 항에 있어서,
상기 운전자의 얼굴을 추적하는 것은 상기 운전자의 눈의 움직임과 입의 움직임 중 적어도 어느 하나를 추적하는 것인 차량 제어 방법.
제8 항에 있어서,
상기 운전자의 눈의 움직임을 추적하는 것은 상기 눈의 깜박임 정도를 분석하고, 상기 눈의 깜박임 정도를 기설정된 기준과 비교하는 것인 차량 제어 방법.
제9 항에 있어서,
상기 비교 결과를 기반으로 상기 운전자의 상태를 미리 정해진 상태 중 어느 하나로 판단하는 차량 제어 방법.
제8 항에 있어서,
상기 운전자의 입의 움직임을 추적하는 것은 상기 입의 벌어짐 정도를 분석하고, 상기 입의 벌어짐 정도를 기설정된 기준과 비교하는 것인 차량 제어 방법.
제11 항에 있어서,
상기 비교 결과를 기반으로 상기 운전자의 상태를 미리 정해진 상태 중 어느 하나로 판단하는 차량 제어 방법.
제1 항에 있어서,
상기 차량 제어 장치가 지역별 운전자 자리 정보가 포함된 데이터베이스로부터 데이터를 수신하는 단계; 및
상기 차량이 위치한 지역을 판단하는 단계를 더 포함하며,
상기 차량의 탑승자를 분석하는 단계는.
상기 데이터베이스에 존재하는 상기 차량이 위치한 지역에 해당하는 운전자 자리 정보에 따른 자리에 탑승한 탑승자를 자동으로 운전자로 결정하는
차량 제어 방법.