KR101370263B1 - 제스처 기반의 전자기기 리모트 제어 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 - Google Patents

Abstract

본 발명은 사용자가 직관적으로 자연스럽게 인식하는 제스처에 기초하여 전자기기를 제어하는 매우 편리하다는 인식에 바탕한 것으로, 전자기기와는 별도로 마련된 리모컨 장치에서 카메라를 통해 사용자의 제스처를 실시간으로 인식하고 그 인식 결과에 매핑하여 미리 설정된 제어코드를 추출함으로써 사용자 설정에 따라 주변의 컴퓨터, 텔레비전, 태블릿컴퓨터 등 다양한 전자기기를 리모트 제어하는 기술에 관한 것이다. 본 발명에 따르면 제스처 기반의 동작을 지원하지 않도록 출시된 전자기기를 리모컨을 이용하여 제스처 기반으로 제어할 수 있도록 하여 사용자의 편의성을 증대시킬 수 있는 장점이 있다. 또한 제스처 기반의 새로운 제품으로 교체할 필요없이 기존에 사용하던 제품을 계속 사용할 수 있으므로 가정 경제에 도움을 줄 수 있을 뿐 아니라 환경 오염도 방지하는 장점이 있다.

Description

제스처 기반의 전자기기 리모트 제어 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체{METHOD FOR PROVIDE GESTURE-BASED REMOTE CONTROL FOR ELECTRONIC DEVICES, AND COMPUTER-READABLE RECORDING MEDIUM FOR THE SAME}

본 발명은 제스처 기반으로 전자기기를 리모트 제어하기 위한 방법과 이를 위한 컴퓨터로 판독가능한 기록매체에 관한 것이다.

보다 상세하게, 본 발명은 사용자가 직관적으로 자연스럽게 인식는 제스처에 기초하여 전자기기를 제어하는 매우 편리하다는 인식에 바탕한 것으로, 전자기기와는 별도로 마련된 리모컨 장치에서 카메라를 통해 사용자의 제스처를 실시간으로 인식하고 그 인식 결과에 매핑하여 미리 설정된 제어코드를 추출함으로써 사용자 설정에 따라 주변의 컴퓨터, 텔레비전, 태블릿컴퓨터 등 다양한 전자기기를 리모트 제어하는 기술에 관한 것이다.

최근 스마트 텔레비전, 태블릿컴퓨터, 스마트 셋톱박스, 스마트폰 등 다양한 전자기기가 등장하면서 사용자에게 많은 정보를 편리하게 제공하고 있는데, 이러한 경향은 냉장고, 월패드, 에어컨 등과 같은 다른 전자기기에도 확산되고 있는 추세이다. 이처럼 스마트 기술이 적용된 다양한 전자기기가 다양하게 등장하면서 터치, 음성인식, 제스처 인식 등과 같이 네추럴 사용자 인터페이스(Natural User Interface, NUI)가 도입되고 있다.

하지만, 현재 판매되고 있는 대부분의 전자기기는 아직까지는 사용자의 제스처를 인식하여 동작제어에 반영하는 기술이 탑재되어 있지 않다. 예를 들어 가정에서 일반적으로 사용하는 텔레비전의 경우 스마트 텔레비전이 등장하여 일부 판매되고 있기는 하지만, 아직까지는 대부분 일반적인 디지털 텔레비전을 보유하고 있다. 따라서 이와 같은 전자기기에서 사용자의 동작이나 음성을 인식해 기능 제어를 수행하는 것은 불가능하였다.

한편, 기존에 스마트폰과 태블릿컴퓨터가 다수 보급되어 있는데, 이들은 사용자에게 전화기와 컴퓨터를 대신하는 용도로 사용될 뿐이어서 이를 연계하여 주변의 다른 전자기기를 구동하는 장치로는 활용하고 있지 않다. 그에 따라, 스마트폰과 태블릿컴퓨터는 그 용도가 한정되어 있고, 앞서 살펴본 바와 같이 사용자의 제스처를 인식하여 동작하는 전자기기를 원하는 사용자는 그러한 기능을 갖춘 신제품을 새로이 구매해야 하였다. 이러한 경우 사용자에게 많은 금전적 어려움을 야기할 뿐만 아니라 아직까지 제품수명이 남아있는 전자기기를 버려야 하므로 환경오염의 문제도 심각하였다.

그에 따라 해당 기술분야에 있어서는 스마트폰이나 태블릿컴퓨터를 활용하여 전자기기의 기능을 확장함으로써 기존의 전자기기에서도 사용자의 제스처를 인식하여 동작제어에 반영할 수 있도록 해주어 종래기술의 문제점을 해결할 수 있는 기술개발이 요구되고 있다.

[관련기술문헌]

1. Android 기반의 스마트폰에서 Gesture 입력을 사용한 그림 그리기 프로그램(특허출원 10-2011-0002575호)

2. 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템(특허출원 10-2010-0122193호)

3. 터치기기에서의 화면 확대축소를 위한 제스처 인식방법 및 장치(특허출원 10-2012-0097073호)

본 발명의 목적은 사용자가 직관적으로 자연스럽게 인식하는 제스처에 기초하여 전자기기를 제어하는 매우 편리하다는 인식에 바탕하여, 전자기기와는 별도로 마련된 리모컨 장치에서 카메라를 통해 사용자의 제스처를 실시간으로 인식하고 그 인식 결과에 매핑하여 미리 설정된 제어코드를 추출함으로써 사용자 설정에 따라 주변의 컴퓨터, 텔레비전, 태블릿컴퓨터 등 다양한 전자기기를 리모트 제어하는 기술을 제공하는 것이다.

상기의 과제를 달성하기 위한 본 발명은

본 발명에 따르면 제스처 기반의 동작을 지원하지 않도록 출시된 전자기기를 리모컨을 이용하여 제스처 기반으로 제어할 수 있도록 하여 사용자의 편의성을 증대시킬 수 있는 장점이 있다. 또한 제스처 기반의 새로운 제품으로 교체할 필요없이 기존에 사용하던 제품을 계속 사용할 수 있으므로 가정 경제에 도움을 줄 수 있을 뿐 아니라 환경 오염도 방지하는 장점이 있다.

[도 1]은 본 발명의 2가지 실시예에 따른 전체적인 제어 동작을 설명하기 위한 도면,
[도 2]는 본 발명에 따른 제스처 리모컨의 내부 기능블록 및 사용자와 텔레비전 간의 인터랙션을 도시한 도면,
[도 3]은 본 발명의 제 1 실시예에 따라 제스처 리모컨에서 텔레비전을 제어하는 경우의 제어 순서도,
[도 4]는 본 발명에 따라 도킹 장치와 연결할 수 있는 스마트폰의 내부 기능블록 구성도,
[도 5]는 본 발명의 제 2 실시예에 따른 도킹 장치의 내부 기능블록 구성도,
[도 6]은 본 발명의 제 2 실시예에 따라 스마트폰에서 사용자의 제스처 저장 및 제스처에 따른 구동신호 생성 시의 제어 순서도,
[도 7]은 본 발명의 제 2 실시예에 따라 가전기기를 스마트 단말 및 도킹 장치를 이용하여 제어할 시 동작 검출 및 신호 순서도.

이하 도면을 참조하여 본 발명을 살펴본다. 본 명세서에 첨부된 도면은 본 발명의 이해를 돕기 위한 것으로 도면에 나타난 구체적인 형태에 본 발명의 권리범위가 제한되지는 않는다. 이하에서는 본 발명의 구현방식을 2가지 실시예로 구분하여 설명한다. 제 1 실시예는 전용의 제스처 리모컨을 구비한 경우이고, 제 2 실시예는 스마트폰이나 태블릿컴퓨터와 같은 스마트 기기를 활용하여 전체 시스템을 구성하는 경우이다.

[도 1]은 본 발명의 2가지 실시예에 따른 전체적인 제어 동작을 개념적으로 설명하기 위한 도면이다.

먼저, [도 1]의 (a)에 따른 제 1 실시예를 살펴본다. 먼저, 제 1 실시예에서는 제스처를 인식하기 위한 장치를 제스처 리모컨(20)으로 구성하고 전자기기의 일 예로서 텔레비전(30)을 활용하였다.

사용자(10)는 제스처 리모컨(20)에 텔레비전(30)을 제어하기 위한 각종의 제스처를 미리 등록한다. 이후 제스처 리모컨(20)에서 카메라를 이용하여 사용자의 동작을 인식하고, 그 인식된 동작에 대해 미리 매칭해둔 제어 신호를 생성하여 텔레비전(30)으로 송신한다. 그러면 텔레비전(30)은 사용자가 전용 리모컨으로 제어한 것과 동일한 형태로 동작한다.

또한 사용자(10)는 텔레비전(30)이 지원할 수 있는 경우라면 텔레비전(30)의 전용 리모컨에서 기존에 제공하지 않는 특유의 제어 동작을 정의하여 설정하고, 그에 따른 제스처를 매칭시켜 정의한 후 제스처 리모컨(20)에 저장함으로써 텔레비전(30)을 사용자가 원하는 특유의 형식으로 제어할 수 있다.

[도 1]의 (b)는 본 발명의 제 2 실시예를 설명하기 위한 전체 시스템의 구성을 나타낸 것으로, 해당 전체 시스템은 사용자(10), 스마트 단말(40), 도킹장치(50), 텔레비전(30)으로 이루어진다. 설명의 편의상 스마트폰을 가정하여 설명을 전개한다.

먼저 스마트폰(40)은 해당 기능수행을 위해 제스처 인식 어플리케이션이 설치되어 있는 경우로 가정한다. 또한 스마트폰(40)은 외부 입출력 장치를 통해 도킹 장치(50)와 통신할 수 있으며, 도킹 장치(50)는 바람직하게는 스마트폰(40)의 충전 기능을 더 수행할 수 있다. 또한 [도 1]의 (b)에 도시한 바와 같이 스마트폰(40)은 스마트폰(40)에 내장된 카메라를 이용하여 제스처를 인식할 수 있도록 도킹 장치(50)와 특정한 방식으로 거치되어야 한다. [도 1]에서는 거치되는 하나의 방식을 예로 도시한 경우이다.

사용자는 텔레비전(30)을 제어하기 위해 리모컨의 각각의 키마다 스마트폰(40)에 포함된 카메라를 통해 자신의 동작(제스처)을 등록한다. 이후 사용자가 스마트폰(40)의 카메라 앞에서 그 등록된 사용자 동작을 취함으로써 스마트폰(40)은 이를 인지하고, 해당하는 리모컨의 제어코드에 대응하는 신호를 도킹 장치(50)로 제공한다. 그러면 도킹 장치(50)는 입력된 신호를 텔레비전(30)을 제어하기 위한 적외선 신호로 변환하여 텔레비전으로 제공한다. 따라서 일반 리모컨을 사용하는 경우와 동일하게 스마트폰(40)에서 제스처를 인식하고, 도킹 장치(50)에서 리모컨 신호를 생성하여 텔레비전(30)으로 제공함으로써 텔레비전(30)을 사용자에 맞춰 구동시킬 수 있다.

사용자가 다수인 경우 각각 자신의 스마트폰(40)에 자신만의 제스처를 등록할 수 있으므로 도킹 장치(50)에는 메모리를 필요로 하지 않으며 카메라와 같은 장치도 불필요하다. 따라서 스마트폰(40)을 이용하면 저렴한 가격으로 텔레비전(30)을 제어할 수 있는 장치를 만들 수 있다. 또한 스마트폰(40)을 사용하면 스마트폰(40)에 장착된 터치입력부 등을 부가적으로 이용할 수 있고 마이크를 통해 음성 인식 기술을 이용할 수도 있다. 이를 통해 제스처 뿐 아니라 터치 동작 및 음성 인식을 통해서도 텔레비전(30)을 제어할 수 있다.

[도 2]는 본 발명에 따른 제스처 리모컨(20)의 내부 기능블록 및 사용자(10)와 텔레비전(30) 간의 인터랙션을 도시한 도면이다. [도 2]를 참조하면 본 발명에 따른 제스처 리모컨(20)은 사용자 입력부(201), 메모리부(203), 비디오 인터페이스부(205), 적외선 송신부(207), 제스처 인식부(209), 리모컨 제어부(211)를 포함하여 이루어진다.

사용자 입력부(201)는 사용자가 제스처 리모컨(20)의 온/오프, 제스처 등록 등을 위한 사용자 인터페이스를 제공한다. 이러한 사용자 인터페이스는 일반적으로 키(key)들로 할 수 있으며, 구현 예에 따라서는 터치스크린을 비롯한 다양한 사용자 인터페이스 장치를 이용할 수 있다.

메모리부(203)는 제스처 리모컨(20)의 동작에 필요한 제어 데이터와 텔레비전(30)으로 송신할 적외선 신호와 사용자가 미리 등록하는 제스처를 매칭하여 저장하는 영역 등을 포함한다.

비디오 인터페이스부(205)는 사용자의 제스처를 동영상 신호로 변환하여 텔레비전(30)으로 제공한다. 따라서 사용자는 비디오 인터페이스부(205)를 거쳐 텔레비전 화면에서 표시되는 동작 형태를 시각적 정보로 확인함으로써 자신이 원하는 형태의 동작이 입력되었는지를 확인할 수 있다.

적외선 송신부(207)는 리모컨(도면에 도시하지 않음)으로부터 수신되는 적외선 리모컨 신호를 수신하여 리모컨 제어부(211)로 제공하고, 제어부(211)에서 생성이 요구된 제어 신호를 생성하여 텔레비전(30)을 제어하기 위한 적외선 신호를 생성하여 텔레비전(30)으로 전송한다.

제스처 인식부(209)는 사용자의 제스처 동작을 인식하기 위한 장치로, 적외선 카메라 또는 디지털 카메라 형태의 영상 획득 장치와 그 획득된 영상으로부터 제스처의 동작을 검출하기 위한 부분으로 구분할 수 있다. 또한 제스처 인식부(209)에서 제스처 동작을 검출하기 위한 부분은 리모컨 제어부(211)에서 수행할 수도 있다.

리모컨 제어부(211)는 본 발명에 따라 제스처 리모컨(20)의 동작을 위한 제어를 수행한다. 즉, 사용자가 특정한 제스처와 특정 제어 동작을 매칭하기를 원하는 경우 해당 제스처와 제어 신호를 매핑하여 저장하고, 특정 제스처를 검출하여 그 검출된 제스처에 대응하는 제어 동작을 찾아 적외선 송신부(207)를 제어하여 텔레비전(30)으로 적외선 신호를 송출하도록 제어한다. 보다 상세한 제어 동작은 후술되는 제어 순서도를 참조하여 더 살펴본다.

[도 3]은 본 발명의 제 1 실시예에 따라 제스처 리모컨에서 텔레비전을 제어하는 경우의 제어 순서도이다.

리모컨 제어부(211)는 S300 단계에서 대기상태를 유지한다. 여기서 대기상태란 사용자의 제스처 입력 또는 제스처 프로그래밍 입력의 요구를 지속적으로 기다리는 상태이다. 리모컨 제어부(211)는 S300 단계에서 특정 이벤트가 발생하면 S302 단계에서 그 발생된 이벤트가 제스처 프로그래밍을 요구하는 입력인지 여부를 검사한다. S302 단계의 검사결과 제스처 프로그래밍을 요구하는 입력 이벤트인 경우 리모컨 제어부(211)는 S304 단계로 진행하고, 그렇지 않은 경우 S320 단계로 진행한다.

먼저 S304 단계로 진행하는 경우를 살펴본다. 리모컨 제어부(211)는 S304 단계로 진행하면 적외선 송신부(207)와 제스처 인식부(209)를 활성화한다. 그런 후 리모컨 제어부(211)는 S306 단계에서 적외선 송신부(207)로부터 수신되는 리모컨 신호를 수신한다. 이처럼 리모컨 신호를 수신하는 것은 리모컨의 동작을 사용자가 사용자 입력부(201)를 통해 입력하지 않고, 적외선 신호의 입력을 통해 검출하기 위함이다.

예를 들어, 음량 조절을 입력하는 경우를 예로 살펴보자. 리모컨 제어부(211)는 사용자가 리모컨의 음량 조절 키를 입력하는 신호를 적외선 송신부(207)를 통해 수신할 수 있다. 만일 사용자가 텔레비전 리모컨의 소리를 제거하는 즉, "음 소거를 요구하는 키"를 입력한 경우 리모컨에서 음 소거에 해당하는 적외선 신호가 생성되어 제스처 리모컨(20)으로 제공된다. 그러면 제스처 리모컨(20)의 적외선 송신부(207)는 리모컨으로부터 수신된 음 소거에 해당하는 적외선 신호를 수신하고, 이를 리모컨 제어부(211)로 제공한다. 따라서 리모컨 제어부(211)는 사용자가 입력하고자 하는 제스처가 음 소거에 해당하는 신호임을 알 수 있다. 또한 필요에 따라서 리모컨 제어부(211)는 적외선 송신부(207)로부터 입력된 신호가 음 소거에 해당하는 신호인지 몰라도 무관하다. 다만, 입력된 신호를 저장하고, 그에 대응하는 사용자의 제스처를 매칭하여 저장하면 된다.

따라서 리모컨 제어부(211)는 S306 단계에서 리모컨 신호를 수신한 후 S308 단계로 진행하여 제스처 인식부(209)로부터 사용자의 움직임에 대응하는 제스처 동작을 동영상 또는 제스처에 해당하는 움직임을 추출하여 리모컨 제어부(211)로 제공한다. 이하의 설명에서는 제스처 인식부(209)에서는 사용자의 움직임에 대한 동영상을 제공하는 것으로 가정하여 설명하기로 한다.

이처럼 사용자의 움직임에 대한 동영상 신호를 제스처 인식부(209)로부터 수신하면, 리모컨 제어부(211)는 동영상 신호로부터 사용자의 제스처를 추출하고 당해 추출된 제스처 또는 사용자의 동영상과 추출된 제스처를 영상 신호로 생성하여 비디오 인터페이스부(205)를 통해 텔레비전(30)으로 제공하다. 따라서 사용자는 텔레비전(30)을 통해 자신의 동작 또는 그 검출된 제스처를 텔레비전(30)을 통해 확인할 수 있다.

이후 리모컨 제어부(211)는 S310 단계로 진행하여 그 입력된 제스처를 리모컨으로부터 수신된 적외선 신호와 매칭하여 저장한다. 이때, 그 입력된 동일한 제스처가 존재하는지와 리모컨으로부터 수신되어 기 매칭된 데이터가 존재하는지 등을 검사할 수 있다. 만일 동일한 제스처가 존재하는 경우 그 사실을 비디오 인터페이스부(205)를 통해 사용자에게 알리도록 구성할 수 있다(미도시). 예를 들어, 음 소거가 이미 저장되어 있는데 다시 입력되는 경우라면, 사용자에게 해당하는 동작이 이미 저장되어 있음을 알리고 기존의 내용을 갱신할 것인지 묻는 절차(미도시)를 더 마련할 수도 있다.

S310 단계에서 입력된 제스처를 해당하는 동작과 매칭하여 저장한 후 리모컨 제어부(211)는 S312 단계에서 프로그래밍의 종료가 요구되는가를 검사한다. 만일 프로그래밍의 종료가 요구되지 않는 경우 리모컨 제어부(211)는 S304 단계로 진행하여 리모컨으로부터 수신되는 신호와 제스처를 검출하여 매칭하는 동작을 계속 수행한다. 즉, 사용자는 자신이 원하는 만큼 리모컨에 존재하는 모든 키에 대해 자신만의 동작을 매칭하여 저장할 수 있다.

또한 이러한 동작은 사용자마다 다르게 설정할 수도 있다. 예를 들어 '사용자 1'이 특정한 제스처를 통해 텔레비전 제어 동작을 매칭해둔 후에 '사용자 2'가 동일한 제어를 위해 다른 동작을 매칭할 수도 있다. 이러한 경우 리모컨 제어부(211)는 각각의 사용자별로 상이한 영역에 각각 텔레비전(30)의 제어를 위한 동작과 제어 신호를 매칭하여 저장한다. 또한 제스처 리모컨(20)의 사용자 입력부에는 사용자의 구분을 위한 키를 구비하도록 하거나 제스처 인식부(209)에서 사용자의 안면인식 기법을 이용할 수도 있다.

이상의 과정을 통해 리모컨에 있는 모든 키들에 대한 제스처를 매핑함으로써 사용자는 자신의 동작만으로 텔레비전(30)을 구동시킬 수 있다. 즉, 스마트 텔레비전이 아니더라도 원거리에서 사용자의 동작만으로 스마트 텔레비전과 유사하게 동작시킬 수 있다.

다른 한편, S302 단계에서 제스처 프로그래밍이 요구되지 않은 경우 리모컨 제어부(211)는 S320 단계로 진행하여 제스처 인식부(209)로부터 영상 신호를 입력받고, 그 입력된 영상 신호에서 특정한 제스처를 추출한다. 그런 후 리모컨 제어부(211)는 메모리부(203)에서 해당하는 제스처를 찾아 제스처와 함께 저장된 리모컨 신호를 읽어온다. 이후 적외선 송신부(207)가 메모리부(203)에 저장된 리모컨 신호와 동일한 적외선 신호를 생성함으로써 텔레비전(30)을 제어하기 위한 신호를 송출한다.

앞에서 설명한 제 1 실시예에서는 제스처 리모컨(20)을 이용하여 텔레비전을 제어하는 과정을 살펴보았다. 제 2 실시예에서는 제스처 리모컨(20)에 대응되는 구성을 간단하고 저렴하게 구성하기 위해 스마트폰이나 태블릿컴퓨터, 스마트 패드 등의 스마트 단말을 이용하는 경우를 살펴본다.

[도 4]는 본 발명에 따라 도킹 장치(50)와 연결할 수 있는 스마트폰(40)의 내부 기능블록 구성도이다. 본 발명에 따른 스마트폰(40)은 통신부(410), 제어부(401), 메모리부(403), 카메라(404), 화면표시부(405), 터치입력부(407), 외부통신부(409)를 포함하여 이루어진다. 스마트폰(40)은 [도 4]에 도시한 구성 이외의 다른 구성요소를 더 포함할 수도 있다.

통신부(410)는 안테나(ANT), 무선통신부(411), 모뎀부(412), 마이크(MIC), 스피커(SPK)를 포함하는데, 스마트폰(100)이 전화통화를 수행할 수 있도록 이동통신망과의 인터페이스를 제공한다.

스마트폰 제어부(401)는 일반적인 스마트폰의 제어 동작을 수행하며, 특히 본 발명에 따라 도킹장치(50)와 통신하고 사용자의 제스처와 매칭된 텔레비전 제어 신호를 저장하는 등의 동작을 수행한다. 또한 사용자의 제스처 뿐 아니라 음성 및 터치 등을 이용한 텔레비전 제어 신호를 저장 또는 생성하여 텔레비전(30)으로 전송하도록 도킹장치(50)로 제공할 수 있다. 상세한 설명은 후술되는 도면을 참조하여 더 상세히 살피기로 한다.

메모리부(403)는 롬(ROM), 램(RAM), 하드디스크, 플래시메모리, 웹디스크, 클라우드 디스크 등의 저장 매체로, 스마트폰의 동작에 필요한 제어 데이터를 저장할 수 있다. 또한 메모리부(103)는 본 발명에 따라 제스처를 검출하기 위한 어플리케이션 및 사용자가 저장하는 리모컨 신호와 제스처를 매핑하여 저장하기 위한 영역 등을 포함할 수 있다.

화면표시부(405)는 LCD 또는 LED 등의 형태로 구성되며, 스마트폰 제어부(405)의 제어에 의해 스마트 단말의 동작에 필요한 과정 및 대기 상태에서 스마트 단말의 상태를 표시한다. 또한 화면표시부(405)는 본 발명에 따라 사용자의 제스처와 사용자의 동작을 표시할 수 있다.

터치입력부(407)는 손가락이나 터치 펜을 통한 사용자의 터치 동작을 감지하여 그에 따라 사용자 조작을 해석하는 모듈이다. 즉, 터치입력부(407)는 일반적인 사용자의 입력 신호를 수신하기 위한 구성요소이며, 그에 따라 구현 방식에 따라서는 키패드, 마우스, 조이스틱, 터치 펜 등의 다양한 입력 장치로 대체되거나 조합하여 함께 사용될 수 있다.

외부통신부(409)는 스마트폰과 다른 장치간에 직접 또는 무선통신 방식으로 연결할 수 있는 기기이다. 직접 연결 방식으로는 메모리 카드나 도킹장칭(50) 등과 연결될 수 있고, 무선통신 방식으로는 블루투스나 와이파이 등을 통해 연결될 수도 있다.

[도 5]는 본 발명의 제 2 실시예에 따른 도킹 장치(50)의 내부 기능블록 구성도이다.

도킹 장치(50)는 스마트 기기 인터페이스(501), 도킹장치 제어부(503), 도킹장치 적외선 송신부(505)를 포함하여 이루어진다. 스마트 기기 인터페이스(501)는 스마트 단말과 직접 또는 무선통신으로 연결하기 위한 인터페이스를 제공하며, 스마트 기기와 직접 연결하는 방식을 채택하는 것이 거치 등을 통해 사용자의 동작 인식이 용이하기 때문에 좀더 바람직하다.

도킹장치 제어부(503)는 도킹장치 적외선 송신부(505)로부터 적외선 신호를 수신하여 스마트 기기 인터페이스(501)로 전달함으로써 스마트폰에서 입력된 적외선 신호를 전기적인 신호로 검출할 수 있도록 한다. 또한 스마트폰으로부터 적외선 신호 송출이 요구될 시 도킹장치 적외선 송신부(505)를 통해 적외선 신호를 송출하도록 제어한다.

도킹장치 적외선 송신부(505)는 리모컨으로부터 수신되는 적외선 신호를 전기적 신호로 변환하여 도킹장치 제어부(503)로 제공하며, 도킹장치 제어부(503)로부터 적외선 신호 생성이 요구되면, 전기적 신호를 적외선 신호로 변환하여 텔레비전(30)으로 송출한다.

이러한 과정을 통해 도킹장치(50)는 스마트 단말을 활용하여 텔레비전을 제어할 수 있는 기능을 갖추게 된다.

[도 6]은 본 발명의 제 2 실시예에 따라 스마트폰에서 사용자의 제스처 저장 및 제스처에 따른 구동신호 생성 시의 제어 순서도이다.

스마트폰 제어부(401)는 S600 단계에서 대기상태를 유지한다. 여기서 대기상태란 사용자의 제스처 입력이나 제스처 프로그래밍 입력의 요구를 검사하는 것이다. 스마트폰 제어부(401)는 S600 단계에서 특정 이벤트가 발생하면 그 발생된 이벤트가 제스처 프로그래밍을 요구하는 입력인지 검사한다. S602 단계의 검사결과 제스처 프로그래밍을 요구하는 입력 이벤트라면 스마트폰 제어부(401)는 S604 단계로 진행하고, 그렇지 않다면 S620 단계로 진행한다.

먼저 S604 단계로 진행하는 경우를 살펴본다. 스마트폰 제어부(401)는 S604 단계로 진행하면 도킹장치(50)로부터 리모컨 신호를 수신한다. 이처럼 리모컨 신호를 수신하는 것은 리모컨의 동작을 위한 신호를 적외선 신호를 통해 수신하는 것이다.

예를 들어, 음량 조절을 입력하는 경우를 예로 살펴보자. 사용자가 리모컨의 음량 조절 키를 입력하면, 도킹장치(50)는 이를 적외선 신호로 수신하여 스마트폰 제어부(401)로 제공할 수 있다. 따라서 만일 사용자가 텔레비전 리모컨의 소리를 제거하는 즉, "음 소거를 요구하는 키"를 입력한 경우 리모컨에서 음 소거에 해당하는 적외선 신호가 생성되어 도킹장치(50)로 제공된다. 그러면 도킹장치(50)는 스마트폰 제어부(401)로 리모컨으로부터 수신된 음 소거에 해당하는 적외선 신호를 전기적 신호로 변환하여 제공한다. 따라서 스마트폰 제어부(401)는 사용자가 입력하고자 하는 제스처가 음 소거에 해당하는 신호임을 알 수 있다. 구현에 따라서는 스마트폰 제어부(401)는 리모컨으로부터 도킹장치(50)를 통해 수신된 신호가 음 소거 신호인지 몰라도 무관하다. 다만, 입력된 신호를 저장하고, 그에 대응하는 사용자의 제스처를 매칭하여 저장하면 된다.

따라서 스마트폰 제어부(401)는 S604 단계에서 리모컨 신호를 수신한 후 S606 단계로 진행하여 카메라(404)로부터 사용자의 움직임에 대응하는 제스처 동작을 동영상으로 수신한다.

이처럼 사용자의 움직임에 대한 동영상 신호를 카메라(404)로부터 제공받으면 스마트폰 제어부(401)는 동영상 신호로부터 사용자의 제스처를 추출하고, 그 추출된 제스처만 또는 사용자의 동영상과 추출된 제스처를 영상 신호로 생성하여 화면표시부(405)에 표시한다. 이를 통해 사용자는 자신의 동작에 대한 동영상 또는 그 동영상과 검출된 제스처의 움직임 신호를 선별하여 화면표시부(405)를 통해 확인할 수 있다.

이후 스마트폰 제어부(401)는 S608 단계로 진행하여 스마트폰 제어부(401)는 그 입력된 제스처를 도킹장치(50)를 통해 리모컨으로부터 수신된 적외선 신호와 매칭하여 저장한다.

이때, 입력된 동일한 제스처가 존재하는지와 도킹장치(50)을 통해 리모컨으로부터 수신되어 기 매칭된 데이터가 존재하는지 등을 검사할 수 있다. 만일 동일한 제스처가 존재하는 경우 그 사실을 화면표시부(405)를 통해 사용자에게 알리도록 구성할 수 있다(미도시). 또한 동일한 기능에 대해 제스처가 다시 입력된 경우라면 그 사실을 사용자에게 알리고 갱신 및 변경할 것인지를 묻는 단계(미도시)를 더 둘 수도 있다.

S608 단계에서 입력된 제스처를 해당하는 동작과 매칭하여 저장한 후 스마트폰 제어부(401)는 S610 단계에서 프로그래밍의 종료가 요구되는가를 검사한다. 만일 프로그래밍의 종료가 요구되지 않는 경우 스마트폰 제어부(401)는 S604 단계로 진행하여 리모컨으로부터 수신되는 신호와 제스처를 검출하여 매칭하는 동작을 계속 수행한다. 즉, 사용자는 자신이 원하는 만큼 리모컨에 존재하는 모든 키에 대해 자신만의 동작을 매칭하여 저장할 수 있다.

한편 S602 단계에서 제스처 프로그래밍이 요구되지 않은 경우 리모컨 제어부(211)는 S620 단계로 진행하여 카메라(404)로부터 영상 신호를 입력받고, 그 입력된 영상 신호에서 특정한 제스처를 추출한다. 그런 후 스마트폰 제어부(401)는 메모리부(403)로부터 그 추출된 제스처에 대응하도록 제스처와 리모컨 신호의 조합을 식별한다. 이후 스마트폰 제어부(401)는 도킹장치(50)로 그 식별된 데이터를 제공하여 도킹장치(50)가 그에 따른 적외선 신호를 생성하도록 함으로써 텔레비전(30)을 제어하기 위한 신호를 송출한다.

[도 7]은 본 발명의 제 2 실시예에 따라 가전기기를 스마트 단말과 도킹 장치를 이용하여 제어하는 신호 순서도이다.

사용자(10)는 S700 단계에서 사용자 제스처를 스마트 단말(40)로 제공한다. 그러면 스마트 단말(40)은 S702 단계에서 제스처와 함께 매칭된 리모컨 기능을 탐색하고, S704 단계에서 탐색된 결과에 따라 가전기기(30)를 제어하기 위한 제어 신호를 도킹장치(50)로 제공한다.

그러면 도킹장치(50)는 스마트 단말(40)로부터 제공된 신호를 이용하여 S706 단계에서 적외선 신호로 변환하고, S708 단계에서 생성된 적외선 신호를 가전기기(30)로 송신한다.

이에 따라 가전기기(30)는 S710 단계에서 수신된 신호 즉, 리모컨으로부터 수신된 신호와 동일한 신호를 수신하게 되므로, 마치 전용 리모컨으로부터 제어 신호가 수신된 것처럼 동작한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현하는 것이 가능하다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 캐리어웨이브(예: 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산된 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드, 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상과 같이, 본 명세서와 도면에는 본 발명의 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예가 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명하다.

10 : 사용자
20 : 제스처 리모컨
30 : 전자기기
40 : 스마트 단말
50 : 도킹장치
201 : 사용자 입력부
203 : 메모리부
205 : 비디오 인터페이스부
207 : 적외선 송신부
209 : 제스처 인식부
211 : 리모컨 제어부
401 : 제어부
403 : 메모리부
405 : 화면표시부
407 : 터치입력부
409 : 외부통신부
410 : 통신부
501 : 스마트 기기 인터페이스
503 : 도킹장치 제어부
505 : 도킹장치 적외선 송신부

Claims (7)

1. 제스처 리모컨을 이용하여 제스처 기반으로 전자기기를 리모트 제어하는 방법으로서,
   사용자의 요청에 따른 제스처 프로그래밍 시에, 제스처 리모컨(20)을 통해 특정의 제어코드에 대한 적외선 신호를 신규로 수신하는 단계;
   상기 제어코드에 대응하는 사용자의 제스처를 상기 제스처 리모컨(20)의 제스처 인식부(209)를 통해 신규로 인식하는 단계;
   상기 신규 인식한 제스처를 상기 제스처 리모컨(20)의 비디오 인터페이스부(205)를 통해 상기 전자기기로 제공하여 표시되도록 하는 단계;
   상기 표시된 제스처에 대한 저장이 요구되면 상기 신규 인식된 제스처와 상기 제어코드를 매칭하여 상기 제스처 리모컨(20)의 메모리부(203)에 저장하는 단계;
   사용자의 요청에 따른 제어 동작 시에, 상기 제스처 리모컨(20)의 제스처 인식부(209)를 통해 사용자의 제스처를 인식하는 단계;
   상기 인식된 제스처에 대해 상기 메모리부(203)에 매핑되어 저장된 제스처를 검색하여 그에 대응하는 제어코드를 식별하는 단계;
   상기 식별된 제어코드에 대응하는 적외선 신호를 생성하여 상기 전자기기로 송출하여 동작 제어가 이루어지도록 하는 단계;
   를 포함하여 구성되는 제스처 기반의 전자기기 리모트 제어 방법.
   
2. 청구항 1에 있어서,
   상기 제스처 프로그래밍 시에 상기 신규 인식된 제스처가 상기 메모리부(203)에 기 저장된 제스처들 중 하나와 대응되는지 검사하는 단계;
   상기 신규 인식된 제스처에 대응되는 제스처가 상기 메모리부(203)에 기 저장되어 있는 경우 이를 알리기 위한 메시지를 생성하여 사용자에게 표시하는 단계;
   사용자의 갱신 선택에 대응하여 상기 기 저장된 제스처를 상기 신규 인식된 제스처로 대체하는 단계;
   를 더 포함하여 구성되는 제스처 기반의 전자기기 리모트 제어 방법.
   
3. 청구항 1에 있어서,
   상기 제스처 프로그래밍 시에 상기 신규 수신된 적외선 신호에 따른 제어코드가 상기 메모리부(203)에 기 저장되어 있는지 검사하는 단계;
   상기 제어코드가 상기 메모리부(203)에 기 저장되어 있는 경우 이를 알리기 위한 메시지를 생성하여 표시하는 단계;
   사용자의 갱신 선택에 대응하여 상기 제어코드에 매칭된 제스처를 상기 제어코드에 대해 신규 인식된 제스처로 대체하는 단계;
   를 더 포함하여 구성되는 제스처 기반의 전자기기 리모트 제어 방법.
   
4. 스마트 단말과 도킹장치를 이용하여 제스처 기반으로 전자기기를 리모트 제어하는 방법으로서,
   스마트 단말이 사용자의 제스처를 검출하고, 상기 사용자의 제스처가 기 저장된 제스처인 경우 이에 해당하는 신호 생성을 요구하는 단계;
   도킹장치가 상기 스마트 단말로부터 수신된 신호를 적외선 신호로 변환하여 상기 전자기기로 송출하는 단계;
   상기 전자기기는 상기 도킹장치로부터 제공된 적외선 신호를 수신하여 구동하는 단계;
   상기 스마트 단말은 제스처 등록 모드에서 상기 도킹장치로부터 적외선 신호 수신시 카메라를 통해 사용자의 제스처를 검출하는 단계;
   상기 검출된 사용자의 제스처를 상기 적외선 신호와 매핑하여 저장하는 단계;
   를 포함하여 구성되는 제스처 기반의 전자기기 리모트 제어 방법.
   
5. 청구항 4에 있어서,
   상기 도킹장치로부터 적외선 신호 수신 시 미리 등록된 적외선 신호인가를 검사하는 단계;
   상기 미리 등록된 적외선 신호인 경우 이를 표시하고 갱신을 묻는 단계;
   상기 갱신이 요구될 시 카메라를 통해 사용자의 제스처를 검출하는 단계;
   를 더 포함하여 구성되는 제스처 기반의 전자기기 리모트 제어 방법.
   
6. 청구항 5에 있어서,
   상기 카메라로부터 사용자 제스처가 입력될 시 동일한 제스처가 등록되어 있는가를 검사하는 단계;
   동일한 제스처가 등록된 경우 이를 알리는 메시시지를 표시하고, 다시 제스처 등록을 요구하는 단계;
   를 더 포함하여 구성되는 제스처 기반의 전자기기 리모트 제어 방법.
   
7. 청구항 1 내지 청구항 6 중 어느 하나의 항에 따른 제스처 기반의 전자기기 리모트 제어 방법을 수행하는 제스처 기반 전자기기 제어프로그램을 기록한 컴퓨터로 판독가능한 기록매체.

Images