KR20150027608A

KR20150027608A - Remote control system based on gesture and method thereof

Info

Publication number: KR20150027608A
Application number: KR20130106257A
Authority: KR
Inventors: 김성운
Original assignee: 현대자동차주식회사
Priority date: 2013-09-04
Filing date: 2013-09-04
Publication date: 2015-03-12

Abstract

제스처 기반의 원격 조작 시스템 및 그 조작 방법이 개시된다.
이 시스템의 촬영부는 차량 내 운전자의 영상을 촬영하고, 영상 처리부는 상기 촬영부에 의해 촬영된 영상으로부터 운전자의 눈과 손 끝점의 위치 인식에 기초하여 운전자의 눈과 손 끝점이 응시하는 응시점의 위치를 산출하고, 상기 촬영된 영상으로부터 운전자의 손 제스처를 인식한다. 원격 제어부는 상기 영상 처리부에 의해 산출되는 응시점의 위치를 사용하여 상기 응시점이 가리키는 차량 내 기기를 인식하고, 상기 영상 처리부에 의해 인식되는 손 제스처에 대응되는 실행 제스처를 인식하여 상기에서 인식되는 차량 내 기기를 실행시킨다.A gesture-based remote operation system and a method of operating the same are disclosed.
The photographing unit of the system photographs an image of the driver in the vehicle, and the image processing unit obtains, from the image photographed by the photographing unit, the gaze point of the driver's eye and the fingertip point based on the recognition of the position of the driver's eyes and the hand end point And recognizes the driver's hand gesture from the photographed image. The remote control unit recognizes the in-vehicle apparatus indicated by the gazing point using the position of the gaze point calculated by the image processing unit, recognizes the execution gesture corresponding to the hand gesture recognized by the image processing unit, Run my device.

Description

TECHNICAL FIELD [0001] The present invention relates to a gesture-based remote operation system and a method of operating the same.

본 발명은 제스처 기반의 원격 조작 시스템 및 그 조작 방법에 관한 것이다.The present invention relates to a gesture-based remote operation system and a method for operating the same.

최근의 차량은 내부에 탑승자의 편의를 위해 다양한 기기들을 탑재하고 있다. 예를 들어, 오디오, 네비게이션 시스템, 휴대전화 핸즈프리 시스템 등의 전자 장치들이나 에어컨 등의 편의 시설들이 탑재되어 있다. Recent vehicles are equipped with various devices for the convenience of the passengers inside. For example, electronic devices such as an audio system, a navigation system, a hands-free system for a cellular phone, and a convenience facility such as an air conditioner are mounted.

이러한 차량 내부의 다양한 기기들은 운전자가 직접 접촉하여 조작하여야 하기 때문에 안전 운행에 방해가 될 수 있으므로, 기존에는 카메라를 통해 운전자의 손동작을 촬영하여 영상 처리 알고리즘을 통해 손동작에 의한 제스처 포즈 또는 모션을 인식하여 다양한 기기를 조작하도록 하고 있다.Since various devices inside the vehicle must be operated by direct contact with the driver, it may interfere with safe driving. Therefore, in the past, the driver's hand movements are photographed through the camera and the gesture pose or motion So that various devices can be operated.

그러나, 기존의 제스처를 통한 기기의 조작은 제스처를 사용하기 위해 운전자가 사전에 기기를 조작하기 위한 많은 제스처 집합에 대해 알고 있어야 하는 번거로움이 있다. However, the operation of a device through a conventional gesture is troublesome in that it requires the driver to know a large number of gesture sets for operating the device in advance in order to use the gesture.

또한, 제스처 인식 장치에는 데이터베이스를 통해 많은 수의 제스처를 저장해 둘 수 있으나 기기를 편하게 조작하고자 하는 기본 목적과 그 취지가 다르다는 문제점이 있다.In addition, a gesture recognition apparatus can store a large number of gestures through a database, but has a problem that the gesture recognition apparatus differs from the basic purpose of operating the apparatus with ease.

따라서, 운전자가 주행 중에 시선을 분산시키지 않고 원하는 기기의 조작계를 제스처로 선택하고 실행할 수 있는 보다 안전한 방법이 요구된다.Therefore, there is a need for a safer method that allows a driver to select and execute a gesture of an operating system of a desired device without distracting his or her eyes while driving.

본 발명의 실시 예를 통해 해결하고자 하는 기술적 과제는, 운전 중 시선을 분산시키지 않으며, 손을 뻗어 조작계를 만지지 않고도 직관적으로 조작계를 찾고 실행시킬 수 있는 제스처 기반의 원격 조작 시스템 및 그 조작 방법을 제공하는 것이다.Technical Solution The present invention provides a gesture-based remote control system and a method of operating the remote control system that can intuitively detect and execute an operation system without distracting the eyes during operation and without touching the operation system .

본 발명의 하나의 특징에 따른 원격 조작 시스템은,According to one aspect of the present invention,

차량 내 운전자의 영상을 촬영하는 촬영부; 상기 촬영부에 의해 촬영된 영상으로부터 운전자의 눈과 손 끝점의 위치 인식에 기초하여 운전자의 눈과 손 끝점이 응시하는 응시점의 위치를 산출하고, 상기 촬영된 영상으로부터 운전자의 손 제스처를 인식하는 영상 처리부; 및 상기 영상 처리부에 의해 산출되는 응시점의 위치를 사용하여 상기 응시점이 가리키는 차량 내 기기를 인식하고, 상기 영상 처리부에 의해 인식되는 손 제스처에 대응되는 실행 제스처를 인식하여 상기에서 인식되는 차량 내 기기를 실행시키는 원격 제어부를 포함한다.A photographing unit for photographing a video of a driver in the vehicle; Calculating a position of a gazing point at which a driver's eye and a fingertip point look at based on the recognition of the position of the driver's eyes and the hand end point from the image photographed by the photographing section and recognizing the hand gesture of the driver from the photographed image An image processor; Vehicle device indicated by the gazing point by using the position of the gaze point calculated by the image processing section, recognizes an execution gesture corresponding to the hand gesture recognized by the image processing section, And a remote controller for executing the remote controller.

여기서, 음성을 출력하는 스피커를 더 포함하며, 상기 원격 제어부는 인식되는 차량 내 기기 정보와 인식되는 실행 제스처 정보를 해당하는 음성으로 출력하는 것을 특징으로 한다.The remote control unit may further include a speaker for outputting voice, and the remote control unit outputs the recognized in-vehicle device information and the recognized execution gesture information as a corresponding voice.

또한, 상기 영상 처리부는, 상기 촬영부에 의해 촬영된 영상으로부터 운전자의 눈 이미지와 손가락 이미지를 추출하는 이미지 추출부; 상기 이미지 추출부에 의해 추출되는 이미지로부터 인식되는 운전자의 눈과 손 끝점이 응시하는 응시점의 위치를 인식하는 응시점 인식부; 및 상기 이미지 추출부에 의해 추출되는 손가락 이미지를 사용하여 손 동작에 의한 손 제스처를 인식하는 손 제스처 인식부를 포함한다.The image processing unit may further include an image extracting unit for extracting an eye image and a finger image of the driver from the image photographed by the photographing unit; A gaze point recognition unit for recognizing a position of a gaze point at which a driver's eye and a fingertip point are recognized from an image extracted by the image extraction unit; And a hand gesture recognizing unit for recognizing a hand gesture by a hand operation using the finger image extracted by the image extracting unit.

또한, 상기 촬영부는 상기 영상 처리부가 운전자의 눈과 손 끝점의 3차원 좌표를 획득하도록 하기 위해 스테레오 3차원 카메라가 사용되는 것을 특징으로 한다.In addition, the photographing unit is characterized in that a stereoscopic three-dimensional camera is used to allow the image processing unit to acquire three-dimensional coordinates of an eye and a hand end of the driver.

또한, 상기 원격 제어부는, 상기 영상 처리부에 의해 산출되는 응시점의 위치와 차량 내 기기의 위치를 사용하여 상기 응시점이 가리키는 차량 내 기기를 인식하는 지시 제스처 인식부; 상기 지시 제스처 인식부에 의해 인식되는 차량 내 기기에 해당하는 실행 제스처 중에서 상기 영상 처리부에 의해 인식되는 손 제스처에 대응되는 실행 제스처를 인식하는 실행 제스처 인식부; 및 상기 지시 제스처 인식부 및 상기 실행 제스처 인식부를 제어하여 운전자의 눈과 손 끝점이 응시하는 차량 내 기기의 동작을 실행시키는 제어부를 포함한다.The remote control unit may further include: an instruction gesture recognition unit that recognizes an in-vehicle device indicated by the gazing point using the position of the gaze point and the position of the in-vehicle apparatus calculated by the image processing unit; An execution gesture recognition unit that recognizes an execution gesture corresponding to a hand gesture recognized by the image processing unit among execution gestures corresponding to in-vehicle devices recognized by the instruction gesture recognition unit; And a control unit for controlling the instruction gesture recognition unit and the execution gesture recognition unit to execute an operation of an in-vehicle apparatus in which an eye and a fingertip point of a driver are gazing at.

본 발명의 다른 특징에 따른 원격 조작 방법은,According to another aspect of the present invention,

차량 내 설치되는 원격 조작 시스템이 차량 내 기기를 원격 조작하는 방법으로서, 촬영되는 영상을 통해 운전자의 눈과 손 끝점의 위치를 산출하는 단계; 산출되는 운전자의 눈과 손 끝점의 위치에 기초하여 운전자의 눈과 손 끝점이 응시하는 차량 내 기기를 인식하는 단계; 촬영되는 영상을 통해 운전자의 손 제스처를 인식하는 단계; 상기 차량 내 기기를 인식하는 단계에서 인식되는 차량 내 기기에 해당하는 실행 제스처 중에서 상기 손 제스처를 인식하는 단계에서 인식되는 손 제스처에 대응되는 실행 제스처를 인식하는 단계; 및 인식되는 실행 제스처에 따라 상기 인식되는 차량 내 기기의 동작을 실행시키는 단계를 포함한다.A method of remotely operating an in-vehicle apparatus, the method comprising: calculating a position of a driver's eye and a hand end point through a photographed image; Recognizing an in-vehicle device in which a driver's eye and a fingertip point are staring based on a position of the calculated driver's eye and a hand end point; Recognizing the hand gesture of the driver through the photographed image; Recognizing an execution gesture corresponding to a hand gesture recognized in the recognition of the hand gesture among the execution gestures corresponding to the in-vehicle device recognized in the step of recognizing the in-vehicle device; And executing the recognized operation of the in-vehicle apparatus according to the recognized execution gesture.

여기서, 상기 차량 내 기기를 인식하는 단계와 상기 손 제스처를 인식하는 단계 사이에, 인식되는 차량 내 기기 정보를 스피커를 통해 음성으로 출력하는 단계를 더 포함하고, 상기 실행 제스처를 인식하는 단계와 상기 실행시키는 단계 사이에, 인식되는 실행 제스처 정보를 상기 스피커를 통해 음성으로 출력하는 단계를 더 포함한다.The method of claim 1, further comprising the step of outputting the recognized in-vehicle device information as a voice through a speaker between the step of recognizing the in-vehicle device and the step of recognizing the hand gesture, Outputting the recognized execution gesture information as a voice through the speaker, between the executing step.

또한, 상기 차량 내 기기를 인식하는 단계 후에 임계 시간 동안 운전자의 손 제스처 입력이 없는 경우 원격 조작 동작을 중지하는 것을 특징으로 한다.In addition, the step of recognizing the in-vehicle device is characterized in that when the hand gesture input of the driver is not input during the critical time, the remote operation is stopped.

본 발명의 실시예에 따르면, 운전 중 시선을 분산시키지 않으며, 손을 뻗어 조작계를 만지지 않고도 직관적으로 조작계를 찾고 실행시킬 수 있다.According to the embodiment of the present invention, it is possible to intuitively find and execute the operating system without distracting the line of sight during operation, without reaching out to touch the operating system.

또한, 눈과 손가락 끝점의 응시를 통해 기기의 조작 시간을 크게 단축시킬 수 있다.In addition, the operation time of the apparatus can be greatly shortened by gazing at the eyes and the finger end point.

도 1은 본 발명의 실시예에 따른 제스처 기반의 원격 조작 시스템의 개략적인 구성을 도시한 도면이다.
도 2는 도 1에 도시된 영상 처리부의 구체적인 구성 블록도이다.
도 3은 도 1에 도시된 원격 제어부의 구체적인 구성 블록도이다.
도 4는 도 1에 도시된 원격 조작 시스템이 운전자의 눈과 손 끝점을 잇는 라인을 통해 형성되는 응시점을 통해 차량 내 기기를 인식하는 개념을 도시한 도면이다.
도 5는 도 1에 도시된 원격 조작 시스템이 응시점을 통해 인식되는 차량 내 기기에 대해 추가의 손 제스처 입력을 통해 차량 내 기기의 동작을 실행시키는 개념을 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 제스처 기반의 원격 조작 방법의 흐름도이다.
도 7은 본 발명의 실시예에 따라 지시 제스처에 의해 오디오를 선택하고 선택된 오디오에 대해 실행 제스처를 통해 실행시키는 경우 오디오 선택과 실행 제스처 정보를 스피커를 통해 출력하는 개념을 도시한 도면이다.
도 8은 도 1에 도시된 원격 제어부가 제스처 기반으로 원격 제어를 수행하는 방법의 흐름도이다.1 is a schematic block diagram of a gesture-based remote control system according to an embodiment of the present invention.
2 is a detailed block diagram of the image processing unit shown in FIG.
3 is a detailed block diagram of the remote control unit shown in FIG.
FIG. 4 is a diagram illustrating a concept that the remote operation system shown in FIG. 1 recognizes an in-vehicle device through a gaze point formed through a line connecting an eye of a driver and a finger end.
Fig. 5 is a view showing a concept of executing the operation of the in-vehicle apparatus through the additional hand gesture input to the in-vehicle apparatus recognized by the remote control system shown in Fig.
6 is a flowchart of a gesture-based remote operation method according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating a concept of outputting audio selection and execution gesture information through a speaker when audio is selected by an instruction gesture according to an embodiment of the present invention and the selected audio is executed through an execution gesture.
8 is a flow chart of a method for the remote control shown in FIG. 1 to perform remote control on a gesture basis.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.

도 1은 본 발명의 실시예에 따른 제스처 기반의 원격 조작 시스템의 개략적인 구성을 도시한 도면이다.1 is a schematic block diagram of a gesture-based remote control system according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 원격 조작 시스템(10)은 촬영부(100), 영상 처리부(200), 스피커(300), 타이머(400), 데이터베이스(DB)(500) 및 원격 제어부(600)를 포함한다.1, the remote control system 10 according to the embodiment of the present invention includes a photographing unit 100, an image processing unit 200, a speaker 300, a timer 400, a database 500 And a remote control unit 600.

촬영부(100)는 차량 내에 배치되며, 차량 내에서 운전자의 영상을 촬영한다. 이 때 촬영부(100)는 적어도 운전자의 얼굴의 영상을 촬영할 수 있어야 한다. 또한, 운전자의 얼굴과 차량 내 기기(700) 사이에 위치하는 운전자의 손의 영상을 촬영할 수 있어야 한다. 여기서, 촬영부(100)는 추후 영상 처리부(200)에서 운전자의 눈과 손 끝점의 3차원 좌표를 획득하기 위해 스테레오, 3차원 카메라가 사용될 수 있다.The photographing unit 100 is disposed in the vehicle, and photographs the driver's image in the vehicle. At this time, the photographing unit 100 should be able to photograph at least the image of the face of the driver. Furthermore, it is necessary to be able to photograph the image of the driver's hand located between the driver's face and the in-vehicle device 700. [ Here, the photographing unit 100 may be a stereo camera or a three-dimensional camera in order to acquire the three-dimensional coordinates of the driver's eye and the hand end point in the image processing unit 200 in the future.

영상 처리부(200)는 촬영부(100)에 의해 촬영되는 영상을 처리하여 운전자의 눈과 손 끝점의 3차원 좌표를 획득하여 운전자의 눈과 손 끝에 의해 응시되는 차량 내 기기(700)의 3차원 좌표를 산출하는 응시점 인식 처리를 수행한다. The image processing unit 200 processes the image photographed by the photographing unit 100 to obtain three-dimensional coordinates of a driver's eye and a hand end point, and obtains three-dimensional coordinates of the driver's eye and hand, And performs a gaze point recognition process for calculating coordinates.

또한, 영상 처리부(200)는 촬영부(100)에 의해 촬영되는 영상을 처리하여 운전자의 손 동작에 의한 제스처를 인식한다. 이러한 제스처는 응시점 인식 처리에 의해 선택되는 차량 내 기기(700)를 실행시키기 위한 제스처에 해당된다.In addition, the image processing unit 200 processes an image photographed by the photographing unit 100 to recognize a gesture caused by the driver's hand motion. This gesture corresponds to a gesture for executing the in-vehicle apparatus 700 selected by the gaze point recognition processing.

이러한 영상 처리부(200)의 동작은 원격 제어부(600)에 의해 제공되는 두 가지 실행 모드에 의해 수행된다. 즉, 원격 제어부(600)는 차량 내 기기(700)의 선택을 수행하는 모드인 지시 제스처 모드와 선택된 차량 내 기기(700)의 실행을 수행하는 모드인 실행 제스처 모드를 구분하여 동작하며, 이러한 두 가지 모드 정보를 영상 처리부(200)로 전달한다.The operation of the image processing unit 200 is performed by the two execution modes provided by the remote control unit 600. [ That is, the remote controller 600 operates by distinguishing the instruction gesture mode, which is a mode for performing selection of the in-vehicle device 700, and the execution gesture mode, which is a mode for executing the selected in-vehicle device 700, And transmits branch mode information to the image processing unit 200.

따라서, 영상 처리부(200)는 원격 제어부(600)에 의해 제공되는 두 가지 모드에 따라 각각의 동작을 수행한다. Accordingly, the image processing unit 200 performs the respective operations in accordance with the two modes provided by the remote control unit 600.

스피커(300)는 원격 제어부(600)로부터 제공되는 신호에 대응되는 음향 신호를 외부로 출력한다. 이러한 스피커(300)는 운전자의 지시 제스처에 따라 차량 내 기기(700) 중 하나가 선택되었을 경우 선택되는 차량 내 기기(700) 정보를 운전자에게 알리는 역할을 수행하고, 또한 운전자의 손 제스처에 따라 차량 내 기기(700)의 동작을 실행시키는 실행 제스처 정보가 인식되었을 경우 해당 실행 제스처 정보를 운전자에게 알리는 역할을 수행한다.The speaker 300 outputs the sound signal corresponding to the signal provided from the remote control unit 600 to the outside. The speaker 300 notifies the driver of the in-vehicle device 700 information selected when one of the in-vehicle devices 700 is selected according to the instruction gesture of the driver, And informs the driver of the execution gesture information when the execution gesture information for executing the operation of the device 700 is recognized.

타이머(400)는 영상 처리부(200)를 통해 지시 제스처 또는 실행 제스처가 일정 시간 동안 인식되지 않는 경우에 각 지시 제스처 모드 및 실행 제스처 모드의 변경을 수행하기 위한 기준이 되는 시간 정보를 제공한다.The timer 400 provides time information that is a reference for performing the change of the instruction gesture mode and the execution gesture mode when the instruction gesture or execution gesture is not recognized for a predetermined time through the image processing unit 200. [

DB(500)는 원격 제어부(600)가 운전자에 의해 응시되는 차량 내 기기(700)를 결정하기 위한 차량 내 기기(700)의 위치 정보와 또한 운전자에 의해 수행되는 제스처를 인식하는데 사용하는 실행 제스처 정보를 저장한다.The DB 500 is a program for causing the remote control unit 600 to display the positional information of the in-vehicle apparatus 700 for determining the in-vehicle apparatus 700 to be examined by the driver and the execution gesture used for recognizing the gesture performed by the driver Store information.

이를 위해 DB(500)는 기기 위치 DB(510) 및 실행 제스처 DB(520)를 포함한다.To this end, the DB 500 includes a device location DB 510 and an execution gesture DB 520.

기기 위치 DB(510)는 차량 내 기기(700)의 3차원 위치 정보를 저장한다. 이러한 3차원 위치 정보는 예를 들어 촬영부(100)의 위치를 기준으로 하는 3차원 위치 정보일 수 있다.The device location DB 510 stores three-dimensional location information of the in-vehicle device 700. The three-dimensional position information may be three-dimensional position information based on the position of the photographing unit 100, for example.

실행 제스처 DB(520)는 차량 내 기기(700)를 실행시킬 수 있는 다양한 실행 제스처의 정보를 저장한다. 이러한 실행 제스처는 차량 내 기기(700)별로 다른 실행 제스처를 가질 수 있다. 이러한 실행 제스처의 예로는 클릭 제스처, 상하 제스처, 좌우 제스처, 회전 제스처 등이 있다.The execution gesture DB 520 stores information of various execution gestures capable of executing the in-vehicle apparatus 700. [ This execution gesture may have different execution gestures for each in-vehicle device 700. [ Examples of such execution gestures include click gestures, up and down gestures, left and right gestures, and rotation gestures.

원격 제어부(600)는 타이머(400)의 시간에 기초하여 지시 제스처 모드와 실행 제스처 모드를 구분하여 동작하며, 지시 제스처 모드인 경우 영상 처리부(200)를 통해 산출되는 응시점 좌표를 전달받아서 기기 위치 DB(510)에 저장된 차량 내 기기(700)의 위치 좌표를 참조하여 운전자가 손 끝을 이용하여 응시하는 차량 내 기기를 선택하고, 선택되는 차량 내 기기의 정보를 스피커(300)를 통해 출력하도록 제어를 수행한다.The remote control unit 600 operates by distinguishing the instruction gesture mode and the execution gesture mode based on the time of the timer 400. In the case of the instruction gesture mode, the remote control unit 600 receives the coordinates of the reference point calculated through the image processing unit 200, Vehicle equipment to be tested by using the fingertip by referring to the position coordinates of the in-vehicle device 700 stored in the DB 510, and outputs the selected in-vehicle device information through the speaker 300 Control is performed.

또한, 원격 제어부(600)는 실행 제스처 모드인 경우, 영상 처리부(200)에서 인식되는 손 제스처 정보 및 상기에서 선택된 차량 내 기기(700) 정보와 실행 제스처 DB(520)에 저장되어 있는 실행 제스처 정보를 사용하여 운전자에 의해 입력되는 실행 제스처를 인식하여 선택된 차량 내 기기(700)의 실행을 제어한다. 이 때, 원격 제어부(600)는 인식되는 실행 제스처 정보를 스피커(300)를 통해 출력하도록 제어를 수행한다.In case of the execution gesture mode, the remote control unit 600 may display the hand gesture information recognized by the image processing unit 200, the in-vehicle device 700 information selected above, and the execution gesture information stored in the execution gesture DB 520 And controls the execution of the selected in-vehicle apparatus 700 by recognizing the execution gesture inputted by the driver. At this time, the remote control unit 600 performs control to output the recognized execution gesture information through the speaker 300.

도 2는 도 1에 도시된 영상 처리부(200)의 구체적인 구성 블록도이다.2 is a detailed block diagram of the image processing unit 200 shown in FIG.

도 2에 도시된 바와 같이, 영상 처리부(200)는 이미지 추출부(210), 응시점 인식부(220) 및 손 제스처 인식부(230)를 포함한다.2, the image processing unit 200 includes an image extracting unit 210, a gazing point recognizing unit 220, and a hand gesture recognizing unit 230.

이미지 추출부(210)는 촬영부(100)에 의해 촬영된 영상으로부터 운전자의 눈 이미지와 손가락 이미지를 추출한다.The image extracting unit 210 extracts a driver's eye image and a finger image from the image photographed by the photographing unit 100. [

응시점 인식부(220)는 이미지 추출부(210)에 의해 추출되는 이미지로부터 운전자의 눈과 손 끝점을 인식하고, 인식되는 운전자의 눈과 손 끝점의 이미지를 사용하여 운전자의 눈(안구)과 손 끝점이 응시하는 응시점을 인식한다.The gaze point recognizing unit 220 recognizes the driver's eyes and hand end points from the image extracted by the image extracting unit 210 and uses the images of the driver's eyes and hand end points recognized by the driver's eyes Recognizes the gaze point at which the fingertip points.

이를 위해, 응시점 인식부(220)는 위치 인식부(221) 및 응시점 산출부(222)를 포함한다.For this, the gaze point recognition unit 220 includes a position recognition unit 221 and a gaze point calculation unit 222.

위치 인식부(221)는 이미지 추출부(210)에 의해 추출되는 손가락 이미지로부터 손 끝점의 이미지를 인식하고, 이와 함께 운전자의 눈 이미지를 사용하여 운전자의 눈과 손 끝점의 위치인 3차원 좌표를 산출한다. 이 때 운전자의 눈과 손 끝점의 3차원 좌표는 예를 들어 촬영부(100)의 위치를 기준으로 하는 3차원 좌표일 수 있다. The position recognizing unit 221 recognizes the image of the hand end point from the finger image extracted by the image extracting unit 210 and uses the eye image of the driver to calculate three-dimensional coordinates . In this case, the three-dimensional coordinates of the driver's eye and the hand end point may be three-dimensional coordinates based on the position of the photographing unit 100, for example.

응시점 산출부(222)는 위치 인식부(221)에 의해 산출된 눈과 손 끝점의 3차원 좌표를 잇는 라인이 닿는 차량 내부 기기(700)의 응시점의 3차원 좌표를 산출하여 원격 제어부(600)로 전달한다. The gaze point calculation unit 222 calculates the three-dimensional coordinates of the gaze point of the in-vehicle apparatus 700, which line is connected to the line connecting the three-dimensional coordinates of the eye and the hand end point calculated by the position recognition unit 221, 600).

한편, 손 제스처 인식부(230)는 이미지 추출부(210)에 의해 추출되는 손가락 이미지를 사용하여 손 동작에 의한 제스처를 인식하여 원격 제어부(600)로 전달한다. The hand gesture recognition unit 230 recognizes the hand gesture using the finger image extracted by the image extraction unit 210, and transmits the gesture to the remote control unit 600.

도 3은 도 1에 도시된 원격 제어부(600)의 구체적인 구성 블록도이다.3 is a detailed block diagram of the remote control unit 600 shown in FIG.

도 3에 도시된 바와 같이, 원격 제어부(600)는 지시 제스처 인식부(610), 실행 제스처 인식부(620) 및 제어부(630)를 포함한다.3, the remote control unit 600 includes an instruction gesture recognition unit 610, an execution gesture recognition unit 620, and a control unit 630. As shown in FIG.

지시 제스처 인식부(610)는 영상 처리부(200)의 응시점 인식부(220)로부터 전달되는 응시점의 좌표 정보와 기기 위치 DB(510)에 저장되어 있는 차량 내 기기(700)의 좌표 정보를 사용하여 응시점이 가리키는 차량 내 기기(700)를 인식한다. 도 4를 참조하면, 운전자의 눈(a)과 손 끝점(b)을 잇는 라인이 하나의 조작계 버튼을 응시함을 인식할 수 있으며, 최종적으로 이러한 조작계 버튼에 해당하는 차량 내 기기(700)를 인식할 수 있다.The instruction gesture recognition unit 610 receives the coordinate information of the gazing point transmitted from the gaze point recognition unit 220 of the image processing unit 200 and the coordinate information of the in- Vehicle device 700 indicated by the gazing point. Referring to FIG. 4, it can be recognized that a line connecting the driver's eye (a) and the hand end point (b) strikes one operation system button. Finally, the in-vehicle device 700 corresponding to the operation system button Can be recognized.

실행 제스처 인식부(620)는 영상 처리부(200)의 손 제스처 인식부(230)로부터 전달되는 손 제스처 정보와 지시 제스처 인식부(610)에 의해 선택된 차량 내 기기(700)의 정보 및 실행 제스처 DB(520)에 저장되어 있는 실행 제스처 정보를 사용하여 차량 내 기기(700)의 실행 제스처 정보를 인식한다. 도 5를 참조하면, 지시 제스처 인식부(610)에 의해 차량 내 기기(700) 중 (d)의 조작계가 선택되었고, 이 (d) 조작계의 실행 제스처로는 클릭 제스처, 상하 좌우 제스처 또는 회전 제스처 등이 있으므로, 실행 제스처 인식부(620)는 손 제스처 인식부(230)에 의해 인식되는 손 제스처 중에서 (d) 조작계의 실행 제스처와 동일한 제스처가 있으면 해당 제스처를 실행 제스처 정보로써 인식하게 된다. The execution gesture recognition unit 620 recognizes the hand gesture information transmitted from the hand gesture recognition unit 230 of the image processing unit 200 and the information of the in-vehicle apparatus 700 selected by the instruction gesture recognition unit 610, The in-vehicle device 700 recognizes the execution gesture information of the in-vehicle device 700 using the execution gesture information stored in the memory 520. 5, the operation system of (d) of the in-vehicle apparatus 700 is selected by the instruction gesture recognizing unit 610, and the execution gesture of the operation system (d) includes a click gesture, The execution gesture recognition unit 620 recognizes the gesture as the execution gesture information if there is the same gesture as the execution gesture of the operation system among the hand gestures recognized by the hand gesture recognition unit 230. [

한편, 상기에서 실행 제스처는 지시 제스처에 연이어 입력되어야 하므로 지시 제스처의 부(sub) 제스처라고도 할 수 있다.On the other hand, in the above, the execution gesture may be referred to as a sub gesture of the instruction gesture since it needs to be input in succession to the instruction gesture.

제어부(630)는 타이머(400)를 통해 지시 제스처 모드와 실행 제스처 모드를 구분하고, 지시 제스처 모드의 경우 지시 제스처 인식부(610)를 제어하여 운전자의 눈과 손 끝점이 응시하는 차량 내 기기(700)를 인식하도록 하고, 인식되는 차량 내 기기(700)의 정보를 스피커(300)를 통해 음성 출력하고, 실행 제스처 모드의 경우 실행 제스처 인식부(620)를 제어하여 운전자의 손 동작에 의해 인식되는 손 제스처가 가리키는 차량 내 기기(700)의 실행 제스처 정보를 파악하여 차량 내 기기(700)를 대응되는 실행 제스처 정보에 따라 실행시킨다.The control unit 630 distinguishes between the instruction gesture mode and the execution gesture mode through the timer 400. In the case of the instruction gesture mode, the control unit 630 controls the instruction gesture recognition unit 610 so that the in- 700), and outputs the recognized information of the in-vehicle device 700 through the speaker 300. In the case of the execution gesture mode, the execution gesture recognition unit 620 is controlled to recognize Vehicle device 700 indicated by the hand gesture, and executes the in-vehicle device 700 according to the corresponding execution gesture information.

이하, 본 발명의 실시예에 따른 제스처 기반의 원격 조작 방법에 대해 설명한다.Hereinafter, a gesture-based remote operation method according to an embodiment of the present invention will be described.

도 6은 본 발명의 실시예에 따른 제스처 기반의 원격 조작 방법의 흐름도이다. 여기서, 설명의 편의를 위해 차량 내 기기(700) 중에서 하나의 기기, 예를 들어 오디오를 선택하여 실행시키는 방법에 대해 설명한다.6 is a flowchart of a gesture-based remote operation method according to an embodiment of the present invention. Here, for convenience of explanation, a method of selecting and executing one device, for example, audio, among the in-vehicle devices 700 will be described.

도 6을 참조하면, 먼저, 원격 제어부(600)는 전체 모드를 지시 제스처 모드로 설정하고(S100), 이러한 모드 정보를 영상 처리부(200)로 전달한다(S110).6, first, the remote control unit 600 sets the entire mode to the instruction gesture mode (S100), and transmits the mode information to the image processing unit 200 (S110).

영상 처리부(200)는 촬영부(100)에 의해 촬영된(S120) 영상을 전달받아서(S130) 눈과 손 끝점의 3차원 좌표를 인식하고(S140) 인식되는 눈과 손 끝점의 3차원 좌표에 기초하여 응시점의 3차원 좌표를 산출한 후(S150) 인식되는 산출되는 응시점 좌표 정보를 원격 제어부(600)로 전달한다(S160).The image processing unit 200 receives the image S120 taken by the photographing unit 100 at S130 and recognizes the three-dimensional coordinates of the eye and the hand end at S140, After calculating the three-dimensional coordinates of the gazing point on the basis of the calculated gazing point coordinate information (S150), the calculated gazing point coordinate information is transmitted to the remote control unit 600 (S160).

다음, 원격 처리부(600)는 영상 처리부(200)로부터 전달되는 응시점 좌표 정보와 기기 위치 DB(510)에 저장된 차량 내 기기(700)의 위치 정보를 사용하여 운전자가 눈과 손 끝점을 사용하여 응시하는 차량 내 기기(700), 즉 오디오를 인식하고(S170), 인식되는 오디오 정보를 스피커(300)로 전달한다(S180). Next, the remote processing unit 600 uses the eye point and the hand end point by using the eye point coordinate information transmitted from the image processing unit 200 and the position information of the in-vehicle apparatus 700 stored in the apparatus position DB 510 Vehicle apparatus 700, that is, audio (S170), and transmits the recognized audio information to the speaker 300 (S180).

스피커(300)는 도 7의 (a)에 도시된 바와 같이, 원격 제어부(600)로부터 전달되는 오디오 정보에 해당하는 음성을 출력하여 운전자가 눈과 손 끝점의 지시 제스처에 의해 조작하고자 하는 차량 내 기기(700)가 오디오로 선택되었음을 알린다(S190). 7A, the speaker 300 outputs a voice corresponding to the audio information transmitted from the remote controller 600, and outputs the voice corresponding to the audio information transmitted from the remote controller 600 to the driver It notifies that the device 700 is selected as audio (S190).

계속해서, 원격 제어부(600)는 지시 제스처 모드에서 실행 제스처 모드로 변경하여 설정하고(S200) 설정된 모드 정보를 영상 처리부(200)로 전달한다(S210).The remote control unit 600 changes the mode from the instruction gesture mode to the execution gesture mode (S200), and transmits the set mode information to the image processing unit 200 (S210).

한편, 운전자는 자신이 선택한 오디오가 정상적으로 인식되었으므로 그 후 인식된 오디오를 실행하기 위한 실행 제스처에 해당하는 손 동작을 취한다.On the other hand, since the audio selected by the driver is normally recognized, the driver then performs a hand operation corresponding to the execution gesture for executing the recognized audio.

영상 처리부(200)는 촬영부(100)에 의해 촬영된(S220) 영상을 전달받아서(S230) 손 제스처를 인식한 후(S240) 인식되는 손 제스처 정보를 원격 제어부(600)로 전달한다(S250).The image processing unit 200 receives the handwritten image captured by the photographing unit 100 in step S230 and recognizes the hand gesture in step S240 and transmits the recognized hand gesture information to the remote control unit 600 ).

따라서, 원격 제어부(600)는 영상 처리부(200)로부터 전달되는 손 제스처 정보와 실행 제스처 DB(520)에 기초하여 오디오를 실행하기 위한 실행 제스처 정보를 인식한 후(S260) 인식되는 실행 제스처 정보를 스피커(300)로 전달한다(S270). Accordingly, the remote control unit 600 recognizes the hand gesture information transmitted from the image processing unit 200 and the execution gesture information for executing audio based on the execution gesture DB 520 (S260) To the speaker 300 (S270).

스피커(300)는 원격 제어부(600)로부터 전달되는 실행 제스처 정보에 해당하는 음성을 출력하여 운전자가 실행하고자 하는 오디오의 동작이 인식되었음을 알린다(S280). 도 7의 (b)를 참조하면, 운전자의 손가락 좌우 제스처에 의해 오디오에서 다음 곡의 동작 실행이 인식되었음을 알릴 수 있다. 또한, 도 7의 (c)를 참조하면, 회전 제스처에 의해 오디오의 볼륨을 증가시키는 동작 실행이 인식되었음을 알릴 수 있다.The speaker 300 outputs a voice corresponding to the execution gesture information transmitted from the remote control unit 600 to inform the driver that the operation of the audio to be executed is recognized (S280). Referring to (b) of FIG. 7, it can be notified that the execution of the operation of the next tune in the audio is recognized by the driver's left and right gestures. 7 (c), it can be notified that the execution of the operation of increasing the volume of audio by the rotation gesture is recognized.

다음, 원격 제어부(600)는 상기 단계(S260)에서 인식되는 실행 제스처 정보에 따라 오디오의 동작을 실행시킨다. 도 7의 (b) 예를 들면, 실행 제스처 정보가 다음 곡의 실행을 나타내므로 원격 제어부(600)는 오디오가 다음 곡을 실행할 수 있도록 제어를 수행한다.Next, the remote controller 600 executes the audio operation according to the execution gesture information recognized in step S260. 7B, for example, since the execution gesture information indicates the execution of the next song, the remote control unit 600 performs control so that the audio can execute the next song.

도 8은 도 1에 도시된 원격 제어부(600)가 제스처 기반으로 원격 제어를 수행하는 방법의 흐름도이다.FIG. 8 is a flowchart of a method in which the remote control unit 600 shown in FIG. 1 performs a gesture-based remote control.

도 8을 참조하면, 원격 제어부(600)는 먼저 시스템의 모드를 지시 제스처 모드로 설정하고(S300), 도 6의 단계(S110, S120, S130, S140, S150, S160, S170)를 통해 운전자가 눈과 손 끝점의 지시 제스처를 통해 응시하는 차량 내 기기(700)를 인식한다(S310).Referring to FIG. 8, the remote controller 600 first sets the mode of the system to the instruction gesture mode (S300), and through the steps S110, S120, S130, S140, S150, S160, and S170 of FIG. 6, In-vehicle device 700 to be examined through an instruction gesture of the eyes and the hand end point (S310).

다음, 원격 제어부(600)는 모드를 실행 제스처 모드로 설정하고(S320), 타이머(400)를 동작시켜 시간 카운트를 시작시킨다(S330).Next, the remote control unit 600 sets the mode to the execution gesture mode (S320) and activates the timer 400 to start counting time (S330).

그 후, 원격 제어부(600)는 도 6의 단계(S210, S220, S230, S240, S250)를 통해 영상 처리부(200)로부터 운전자의 손 제스처 정보가 입력되는지를 판단하고(S340), 만약 손 제스처 정보가 입력되었으면 손 제스처 정보에 대응되는 실행 제스처를 인식하여(S350) 차량 내 기기(700)에 대한 동작을 실행시킨다(S360).Then, the remote control unit 600 determines whether the hand gesture information of the driver is input from the image processing unit 200 through steps S210, S220, S230, S240, and S250 of FIG. 6 (S340) If the information is inputted, the execution gesture corresponding to the hand gesture information is recognized (S350), and the operation for the in-vehicle device 700 is executed (S360).

그러나, 상기 단계(S340)에서 만약 손 제스처 정보가 입력되지 않았으면 타이머(400)에 의해 카운트된 시간이 임계 시간을 초과하였는지를 판단하고(S370), 만약 임계 시간을 초과하지 않았으면 상기 단계(S340)를 반복 수행한다. 여기서, 임계 시간은 운전자에 의해 손 제스처가 입력되지 않아 선택된 차량 내 기기(700)에 대한 동작을 실행시키지 않는 것으로 판단하는 기준이 되는 시간으로써 운전자나 차량의 제조사 등에 의해 설정될 수 있다.However, if the hand gesture information is not input in step S340, it is determined whether the time counted by the timer 400 has exceeded the threshold time (S370). If the count time has not exceeded the threshold time, ). Here, the threshold time may be set by the driver or the manufacturer of the vehicle as a reference time that determines that the operation for the selected in-vehicle device 700 is not executed because the hand gesture is not inputted by the driver.

한편, 상기 단계(S370)에서 만약 타이머에 의해 카운트된 시간이 임계 시간을 초과하게 된 경우에는 운전자로부터 손 제스처가 입력되지 않았으므로 차량 내 기기(700)를 실행하는 동작을 중지한다.If it is determined in step S370 that the time counted by the timer exceeds the threshold time, the hand gesture is not input from the driver, and thus the operation to execute the in-vehicle apparatus 700 is suspended.

이와 같이, 본 발명의 실시예에서는 운전 중 시선을 분산시키지 않으며, 손을 뻗어 차량 내 기기(700)를 만지지 않고도 직관적으로 찾아서 실행시킬 수 있다.As described above, in the embodiment of the present invention, it is possible to intuitively find and execute without extending the hand and touching the in-vehicle device 700 without dispersing the line of sight during operation.

한편, 상기에서는 스피커(300)를 통해서 선택된 차량 내 기기(700) 정보와 인식되는 실행 제스처 정보의 음성을 출력하는 것으로만 설명하였으나, 본 발명의 기술적 범위는 여기에 한정되지 않고, 상기한 음성 피드백뿐만 아니라 진동이나 조명등으로 피드백을 수행할 수도 있다.However, the technical scope of the present invention is not limited to the above example, and the above-described voice feedback (hereinafter, referred to as " voice feedback " In addition, feedback can be performed by vibration or illumination.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

10: 원격 조작 시스템 100: 촬영부 200: 영상 처리부
300 : 스피커 400: 타이머 500: 데이터베이스
600: 원격 제어부 700: 차량 내 기기 210: 이미지 추출부
220: 응시점 인식부 230: 손 제스처 인식부 221: 위치 인식부
222: 응시점 산출부 510: 기기 위치 DB 520: 실행 제스처 DB
610: 지시 제스처 인식부 620: 실행 제스처 인식부 630: 제어부10: remote control system 100: photographing unit 200: image processing unit
300: speaker 400: timer 500: database
600: remote control unit 700: in-vehicle device 210: image extracting unit
220: gaze point recognition unit 230: hand gesture recognition unit 221: position recognition unit
222: eye point calculation unit 510: device location DB 520: execution gesture DB
610: Instruction gesture recognition unit 620: Execution gesture recognition unit 630:

Claims

A photographing unit for photographing a video of a driver in the vehicle;
Calculating a position of a gazing point at which a driver's eye and a fingertip point look at based on the recognition of the position of the driver's eyes and the hand end point from the image photographed by the photographing section and recognizing the hand gesture of the driver from the photographed image An image processor; And
Vehicle device indicated by the gazing point by using the position of the gaze point calculated by the image processing section, recognizes the execution gesture corresponding to the hand gesture recognized by the image processing section, and recognizes the in- A remote control unit
.

The method according to claim 1,
And a speaker for outputting a voice,
Wherein the remote control unit outputs the recognized in-vehicle device information and the recognized execution gesture information as a corresponding voice.

The method according to claim 1,
Wherein the image processing unit comprises:
An image extracting unit for extracting a driver's eye image and a finger image from the image photographed by the photographing unit;
A gaze point recognition unit for recognizing a position of a gaze point at which a driver's eye and a fingertip point are recognized from an image extracted by the image extraction unit; And
A hand gesture recognition unit for recognizing a hand gesture by a hand operation using a finger image extracted by the image extraction unit;
.

4. The method according to any one of claims 1 to 3,
Wherein the photographing unit uses a stereo three-dimensional camera so that the image processing unit obtains three-dimensional coordinates of an eye and a hand end of the driver.

The method according to claim 1,
The remote control unit includes:
An instruction gesture recognizing unit that recognizes an in-vehicle apparatus indicated by the gazing point using the position of the gazing point and the position of the in-vehicle apparatus calculated by the image processing unit;
An execution gesture recognition unit that recognizes an execution gesture corresponding to a hand gesture recognized by the image processing unit among execution gestures corresponding to in-vehicle devices recognized by the instruction gesture recognition unit; And
The control unit controls the instruction gesture recognition unit and the execution gesture recognition unit to execute the operation of the in-vehicle apparatus in which the eyes of the driver and the fingertip point are gazing at
.

A method for remotely operating an in-vehicle apparatus, the method comprising:
Calculating a position of a driver's eye and a hand end point through a photographed image;
Recognizing an in-vehicle device in which a driver's eye and a fingertip point are staring based on a position of the calculated driver's eye and a hand end point;
Recognizing the hand gesture of the driver through the photographed image;
Recognizing an execution gesture corresponding to a hand gesture recognized in the recognition of the hand gesture among the execution gestures corresponding to the in-vehicle device recognized in the step of recognizing the in-vehicle device; And
Executing the recognized operation of the in-vehicle apparatus according to the recognized execution gesture
.

The method according to claim 6,
Further comprising the step of outputting the recognized in-vehicle device information through the speaker by voice between the step of recognizing the in-vehicle device and the step of recognizing the hand gesture,
Further comprising outputting, via the speaker, the recognized execution gesture information as a voice between the step of recognizing the execution gesture and the step of executing the execution gesture.

The method according to claim 6,
Wherein the step of recognizing the in-vehicle device stops the remote operation when there is no input of the hand gesture of the driver during the threshold time.