Nothing Special   »   [go: up one dir, main page]

KR101711488B1 - 동작 기반 인터랙티브 서비스 방법 및 시스템 - Google Patents

동작 기반 인터랙티브 서비스 방법 및 시스템 Download PDF

Info

Publication number
KR101711488B1
KR101711488B1 KR1020150013277A KR20150013277A KR101711488B1 KR 101711488 B1 KR101711488 B1 KR 101711488B1 KR 1020150013277 A KR1020150013277 A KR 1020150013277A KR 20150013277 A KR20150013277 A KR 20150013277A KR 101711488 B1 KR101711488 B1 KR 101711488B1
Authority
KR
South Korea
Prior art keywords
user
data
game
repertoire
teaching
Prior art date
Application number
KR1020150013277A
Other languages
English (en)
Other versions
KR20160093131A (ko
Inventor
장민수
김도형
김재홍
박남식
한문성
박천수
신성웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150013277A priority Critical patent/KR101711488B1/ko
Priority to US14/663,188 priority patent/US20160216770A1/en
Publication of KR20160093131A publication Critical patent/KR20160093131A/ko
Application granted granted Critical
Publication of KR101711488B1 publication Critical patent/KR101711488B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Processing Or Creating Images (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 댄스 게임이나 댄스 교습 등 사용자가 보다 용이하고 다양한 방법으로 효과적으로 동작 기반 퍼포먼스를 즐기거나 교습 받을 수 있도록, 사용자 동작을 평가 분석한 결과를 바탕으로 동작의 반복학습,　점진적 난이도 조절,　신체 부위별 평가와 피드백 등 동작 기반의 다양한 상호작용 서비스를 제공할 수 있는, 동작 기반 인터랙티브 서비스 방법 및 시스템에 관한 것이다.

Description

동작 기반 인터랙티브 서비스 방법 및 시스템{Method and System for Motion Based Interactive Service}
본 발명은 사용자 동작을 기반으로 인터랙티브 서비스를 제공하는 방법 및 시스템에 관한 것으로서, 특히, 동작감지센서를 통해 입수한 사용자 동작을 정확하게 감지하여 정보로 표현하고, 참조 데이터베이스와 비교하여 그 공간적 정확도와 시간적 정확도 등 품질을 평가 분석하며, 분석 결과를 바탕으로 사용자 동작 기반의 다양한 상호작용 서비스를 제공할 수 있는, 동작 기반 인터랙티브 서비스 방법 및 시스템에 관한 것이다.
동작과 제스처를 이용하는 응용과 서비스를 제공하기 위해 사람의 동작을 감지하고 분석하는 다양한 기술이 개발되었다.　이러한 동작 정보 분석과 평가 기술은 인간-기계 상호작용,　게임, 스포츠, 재활,　예술 등 다양한 분야에 활용되었다.
기존의 동작 기반 게임들은 전신 동작을 영상으로 받아들여 사용자가 화면상에 제시되는 동작을 정확하게 따라 하는지 분석하여 그 결과를 사용자에게 점수로 제시해준다. 이러한 기존 기술의 방식은 게임에는 적합하나 동작을 좀 더 상세하게 배우고자 하는 사용자에게 필요한 기능을 충분히 제공하지 못한다. 예를 들어, 기존 기술들은 사용자가 자신의 동작의 어느 부분을 고쳐야 할지 판단하기 위한 상세정보를 제공하지 않는다. 사용자 동작을 평가하여 한 개의 점수 또는 등급(예, Exellent, Good,　Nice)으로 결과를 표시해주는데 그치기 때문이다. 사용자는 구체적으로 어느 신체 부위의 동작이 문제가 있는지 문제가 있다면 어떤 문제인지 내용을 파악할 수 없다.
또한, 기존 기술은 특정 동작을 선별하여 집중 학습할 수 있는 기능을 제공하지 않는다. 댄스게임의 경우 항상 곡의 시작부터 끝까지 춤을 추면서 동작을 배워야 하므로, 사용자가 자신 없는 동작만 선별하여 반복적으로 연습할 수 없다. 많은 동작들은 이동을 포함하는 데 기존 기술은 전신 골격 정보만을 활용하여 동작의 정확도를 판단하므로 이동에 대응할 수 없다는 문제도 있다. 안무 동작의 경우 이동은 안무의 정확도를 판단하는데 매우 중요한 요소이므로 이를 고려한 기술이 필요하다.
동작분석을 기반으로 한 엔터테인먼트 목적의 시스템과 서비스 방법도 개발되고 있다.　예를 들어, 댄스방에서는 노래 대신 춤을 추고 점수를 받을 수 있다는 차이점이 있지만, 기본 구성은 기존의 노래방과 유사하다.　 이러한 종래의 시스템들은 다양한 온라인 서비스를 포함하기도 한다.　사용자의 춤을 영상으로 녹화하여 공유하고 의견을 교류하는 커뮤니티 서비스와 지정한 상대방과 실시간으로 춤 대결을 하거나 댄스 점수를 기반으로 순위를 겨루는 배틀 서비스 등이 있다. 이들 종래의 시스템과 서비스는 단순 영상의 공유만을 다루고 있다. 보다 활발한 사용자의 참여를 유도하기 위해서는 사용자가 직접 동작 데이터를 생성하여 배포하고 공유할 수 있는 수단이 필요하다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 댄스 게임이나 댄스 교습 등 사용자가 보다 용이하고 다양한 방법으로 효과적으로 동작 기반 퍼포먼스를 즐기거나 교습 받을 수 있도록, 사용자 동작을 평가 분석한 결과를 바탕으로 동작의 반복학습,　점진적 난이도 조절,　신체 부위별 평가와 피드백 등 동작 기반의 다양한 상호작용 서비스를 제공할 수 있는, 동작 기반 인터랙티브 서비스 방법 및 시스템을 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 디스플레이 화면을 통해 실행되는 레퍼토리에 대한 사용자 동작 기반 인터랙티브 서비스 장치에서의 인터랙티브 서비스 방법은, 사용자가 디스플레이 화면을 통해 선택한 레퍼토리에 대하여, 해당 레퍼토리 데이터의 기준 동작 데이터에 따른 순차 동작이 디스플레이 화면으로 표시되도록 실행하고 동작감지센서에 의해 획득된 사용자의 동작에 대한 영상과 깊이 정보를 수신하여 비교 대상 입력 데이터로 변환하는 단계; 상기 비교 대상 입력 데이터로부터 사용자의 동작에 대한 골격 마디의 종단점이나 관절에 대한 좌표값, 또는 골격 마디의 각도값을 포함하는 제1골격 데이터를 추출하고, 상기 제1골격 데이터를 상기 기준 동작 데이터에 포함된 해당 제2골격 데이터와 비교하여 시간적 또는 공간적 일치성에 대한 유사도를 평가하는 단계; 및 상기 평가에 따른 평가 결과를 상기 디스플레이 화면으로 피드백하는 단계를 포함한다.
상기 기준 동작 데이터는, 퍼토리 메타정보, 상기 디스플레이 화면에 표시되는 하나 이상의 멤버에 대한 상기 기준 동작 데이터로서의 동작 트랙, 및 음악 정보를 포함하는 음악 트랙을 포함할 수 있다.
상기 디스플레이 화면에 표시되는 복수의 멤버들 중 임의의 어느 하나를 선택한 레퍼토리에 대하여, 상기 동작 트랙은, 해당 멤버의 골격 마디의 종단점이나 관절에 대한 좌표값, 또는 골격 마디의 각도값을 포함하는 신체부위트랙; 및 시간 구간별 동작의 이름,　동작의 중요도,　신체 부위별 중요도,　또는 동작의 난이도를 포함한 메타 정보 트랙을 포함할 수 있다.
상기 피드백하는 단계는, 상기 사용자의 동작에 대한 상기 기준 동작 데이터와의 신체부위별 시간적 또는 공간적 일치성에 대한 유사도에 따라 구분하여 구분된 표시방법으로 상기 디스플레이 화면에 표시하거나 스피커를 통해 음성으로 피드백하는 단계를 포함할 수 있다.
상기 피드백하는 단계는, 상기 기준 동작 데이터에 따라 기준 동작을 수행하는 캐릭터 위에 상기 사용자의 동작을 실루엣으로 중첩하여 상기 디스플레이 화면에 표시하는 단계를 포함할 수 있다.
상기 피드백하는 단계는, 상기 사용자의 동작에 대한 동작 단위별로 상기 유사도의 점수 크기에 따라 구분하여 상기 디스플레이 화면 상의 서로 다른 영역에 아이콘으로 표시하는 단계를 포함할 수 있다.
상기 인터랙티브 서비스 방법은, 상기 기준 동작 데이터를 분석하여, 상기 디스플레이 화면에, 동작 단위별 순차적인 타임라인 구조의 구획을 표시하는 동작 구성 지도, 상기 동작 구성 지도에 표시된 동작 구획별로 중요도를 나타내는 등락 그래프를 포함한 동작 트랙 메타정보, 또는 상기 동작 구획별 요약 정보를 표시하며 해당 동작 구획별로 게임이나 교습이 가능하도록 사용자가 선택 가능한 아이콘의 집합을 표시하는 단계를 더 포함할 수 있다.
상기 인터랙티브 서비스 방법은, 상기 레퍼토리 데이터에 포함된 생체역학정보를 이용해 상기 사용자의 동작에 따른 상기 유사도에 따라 상기 칼로리 소모량을 산출하며, 상기 사용자의 동작에 대한 칼로리 소모량을 상기 디스플레이 화면에 표시하는 단계를 더 포함할 수 있다.
상기 레퍼토리 데이터는, 상기 인터랙티브 서비스 장치에 관리되어 제공되거나, 외부의 게임/교습 출판 장치를 통해 상기 레퍼토리 데이터를 입수하는 네트워크 상의 서버를 통해 온라인으로 제공되거나, 또는 사용자들의 상기 레퍼토리에 대한 해당 게임이나 교습에 따른 동작 수행 결과가 개인 프로파일로서 상기 서버로 제공된 후 상기 서버에서 온라인으로 제공될 수 있다.
그리고, 본 발명의 다른 일면에 따른 디스플레이 화면을 통해 실행되는 레퍼토리에 대한 사용자 동작 기반 인터랙티브 서비스를 위한 인터랙티브 서비스 시스템은, 사용자가 디스플레이 화면을 통해 선택한 레퍼토리에 대하여, 해당 레퍼토리 데이터의 기준 동작 데이터에 따른 순차 동작이 디스플레이 화면으로 표시되도록 실행하는 게임/교습 관리자; 및 동작감지센서에 의해 획득된 사용자의 동작에 대한 영상과 깊이 정보를 수신하여 비교 대상 입력 데이터로 변환하는 영상 처리 관리자를 포함하고, 상기 게임/교습 관리자는, 상기 비교 대상 입력 데이터로부터 사용자의 동작에 대한 골격 마디의 종단점이나 관절에 대한 좌표값, 또는 골격 마디의 각도값을 포함하는 제1골격 데이터를 추출하고, 상기 제1골격 데이터를 상기 기준 동작 데이터에 포함된 해당 제2골격 데이터와 비교하여 시간적 또는 공간적 일치성에 대한 유사도를 평가하며, 상기 평가에 따른 평가 결과를 상기 디스플레이 화면으로 피드백할 수 있다.
상기 기준 동작 데이터는, 레퍼토리 메타정보, 상기 디스플레이 화면에 표시되는 하나 이상의 멤버에 대한 상기 기준 동작 데이터로서의 동작 트랙, 및 음악 정보를 포함하는 음악 트랙을 포함할 수 있다.
상기 디스플레이 화면에 표시되는 복수의 멤버들 중 임의의 어느 하나를 선택한 레퍼토리에 대하여, 상기 동작 트랙은, 해당 멤버의 골격 마디의 종단점이나 관절에 대한 좌표값, 또는 골격 마디의 각도값을 포함하는 신체부위트랙; 및 시간 구간별 동작의 이름,　동작의 중요도,　신체 부위별 중요도,　또는 동작의 난이도를 포함한 메타 정보 트랙을 포함할 수 있다.
상기 게임/교습 관리자는, 상기 사용자의 동작에 대한 상기 기준 동작 데이터와의 신체부위별 시간적 또는 공간적 일치성에 대한 유사도에 따라 구분하여 구분된 표시방법으로 상기 디스플레이 화면에 표시하거나 스피커를 통해 음성으로 피드백할 수 있다.
상기 게임/교습 관리자는, 상기 기준 동작 데이터에 따라 기준 동작을 수행하는 캐릭터 위에 상기 사용자의 동작을 실루엣으로 중첩하여 상기 디스플레이 화면에 표시할 수 있다.
상기 게임/교습 관리자는, 상기 사용자의 동작에 대한 동작 단위별로 상기 유사도의 점수 크기에 따라 구분하여 상기 디스플레이 화면 상의 서로 다른 영역에 아이콘으로 표시할 수 있다.
상기 게임/교습 관리자는, 상기 기준 동작 데이터를 분석하여, 상기 디스플레이 화면에, 동작 단위별 순차적인 타임라인 구조의 구획을 표시하는 동작 구성 지도, 상기 동작 구성 지도에 표시된 동작 구획별로 중요도를 나타내는 등락 그래프를 포함한 동작 트랙 메타정보, 또는 상기 동작 구획별 요약 정보를 표시하며 해당 동작 구획별로 게임이나 교습이 가능하도록 사용자가 선택 가능한 아이콘의 집합을 표시할 수 있다.
상기 게임/교습 관리자는, 상기 레퍼토리 데이터에 포함된 생체역학정보를 이용해 상기 사용자의 동작에 따른 상기 유사도에 따라 상기 칼로리 소모량을 산출하고, 상기 사용자의 동작에 대한 칼로리 소모량을 상기 디스플레이 화면에 표시할 수 있다.
상기 레퍼토리 데이터는, 상기 인터랙티브 서비스 장치에 관리되어 제공되거나, 외부의 게임/교습 출판 장치를 통해 상기 레퍼토리 데이터를 입수하는 네트워크 상의 서버를 통해 온라인으로 제공되거나, 또는 사용자들의 상기 레퍼토리에 대한 해당 게임이나 교습에 따른 동작 수행 결과가 개인 프로파일로서 상기 서버로 제공된 후 상기 서버에서 온라인으로 제공될 수 있다.
본 발명에 따른 동작 기반 인터랙티브 서비스 방법 및 시스템에 따르면, 댄스 게임이나 댄스 교습 등 사용자가 보다 용이하고 다양한 방법으로 효과적으로 동작 기반 퍼포먼스를 즐기거나 교습 받을 수 있다. 이에 따라 온라인 네트워크를 통한 댄스 연습장과 같은 신규 서비스산업을 창출할 수 있을 뿐 아니라 사용자들이 다양한 동작 데이터를 제작하여 상호 공유 유통함으로써 부가적인 시장이 발생할 수 있을 것으로 기대된다.
또한, 기존의 응용이나 서비스들은 동작을 선별하여 교습 받는 방법을 제공하지 않지만, 본 발명에 따라 사용자가 손쉽게 동작을 선별하여 교습 받을 수 있다.　예를 들어,　기존의 댄스 게임들은 사용자가 곡을 선택하면 곡의 처음부터 끝까지 플레이하면서 사용자가 안무 동작을 추도록 한 후 종합적인 점수를 제공하는 방식으로 동작하지만, 본 발명에 의하면 사용자는 원할 때 곡을 구성하는 전체 안무 중 일부 안무를 선택하여 플레이할 수 있을 뿐만 아니라 일부 신체 부위만 플레이하면서 교습 받을 수도 있다.
또한, 기존의 동작인식 기반 게임들에서도 사용자가 수행한 동작의 품질을 평가할 수 있는 방법을 포함하고 있고 이를 기반으로 사용자에게 동작을 교습할 수 있는 수단을 제공하고는 있지만, 이러한 기존 방법에서는 교습 절차가 단순하고 사용자 동작에 대한 피드백이 풍부하지 않아 교습의 효율성이 떨어진다.　반면, 본 발명은 피드백 방법,　교습 절차 관리,　상호작용 인터페이스 구성을 개선함으로써 복잡한 동작을 보다 효율적으로 상세하게 교습할 수 있는 방법을 제시한다.
또한, 본 발명에 따른 안무에 동반되는 위치 이동을 고려한 안무 동작 평가 방법을 통하여, 복수의 멤버를 포함하는 군무의 대형 변화에도 대응할 수 있어 보다 다양한 안무를 수용해 다양한 인터랙티브 서비스가 가능하다.
또한, 본 발명에 따른 생체 역학 정보를 포함하는 데이터베이스를 활용함으로써 사용자의 칼로리 소모를 보다 정확히 예측할 수 있고,　이를 사용자의 건강관리에 활용할 수 있다.
그리고, 본 발명에 따라 온라인 서버를 통해 안무 등 퍼포먼스 데이터를 공급하고　유통함으로써 보다 활발하게 정보 공유와 사용자의 참여를 유도할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동작 기반 인터랙티브 서비스 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 동작 기반 인터랙티브 서비스 시스템의 동작 설명을 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 레퍼토리 데이터를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치를 통한 사용자 동작의평가 결과 피드백 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치를 통한 선택 교습 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 동작 기반 인터랙티브 서비스 시스템의 구현 방법의 일례를 설명하기 위한 도면이다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
본 발명은 깊이 감지가 가능한 영상센서 등 동작감지센서를 이용하여 사용자의 전신동작 정보를 습득하고,　이를 분석함으로써 사용자 동작의 품질을 평가하는 방법과 관련된다.　
도 1은 본 발명의 일 실시예에 따른 동작 기반 인터랙티브 서비스 시스템(100)을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 동작 기반 인터랙티브 서비스 시스템(100)은, LCD 등의 디스플레이 장치(101)와 디지털카메라, 깊이 카메라 등으로 이루어질 수 있는 동작감지센서(102)와, 영상처리관리자(111)와 게임/교습 관리자(112)를 포함한 동작 기반 게임/교습 장치(110)와, 서비스 관리자(121)와 레퍼토리 데이터베이스(122)를 포함한 동작 기반 게임/교습 서버(120), 및 레퍼토리 데이터(131)의 제공, 배포 등의 관리를 위한 동작 기반 게임/교습 출판 장치(130)를 포함할 수 있다.
디스플레이 장치(101)는 본 발명의 동작 기반 게임 및 교습 내용과 과정을 표시하고,　동작감지센서(101)는 디지털카메라, 깊이 카메라 등 다양한 촬영 수단과 센서를 통해 사용자 동작에 대한 그 전신을 포함한 영상과 깊이 정보(예, 픽셀별(x,y,z) 좌표 등) 등을 입수한다.　사용자는 동작감지센서(101)가 감지 가능한 범위 내의 공간에 위치한 후 동작 기반 게임/교습장치(110)가 안내하는 바에 따라 게임 또는 교습과정에 참여할 수 있다.
동작 기반 게임/교습 장치(110), 동작 기반 게임/교습 서버(120), 및 동작 기반 게임/교습 출판 장치(130)는 상호 간에 유무선 인터넷, 이동통신망, LAN(Local Area Network) 등 네트워크를 통하여 연동할 수 있다.
이하 도 2의 흐름도를 참조하여 본 발명의 일 실시예에 따른 동작 기반 인터랙티브 서비스 시스템(100)의 동작을 자세히 설명한다.
사용자는 먼저 동작 기반 게임/교습장치(110)의 게임/교습 관리자(112)가 디스플레이 장치(101)의 화면에 표시하여 제공하는 다양한 레퍼토리 리스트 중 하나를 선택하여 해당 레퍼토리를 디스플레이 장치(101)를 통해 제공받을 수 있다(S110).　디스플레이 장치(101)에 표시되는 동작 실행 멤버들이 복수인 경우에 어느 하나의 멤버를 선택할 수도 있다. 이와 같은 선택수단으로서 리모콘, 마우스, 적외선 포인터, 터치스크린 등 다양한 입력장치가 이용될 수 있다. 레퍼토리들 중 일부는 동작 기반 게임/교습장치(110)의 내부 저장소에 저장되어 요청시 제공될 수도 있고,　원격 서버인 동작 기반 게임/교습 서버(120)의 내부 저장소에 저장되어 요청되어 제공될 수도 있다.　댄스게임의 예를 들면,　하나의 레퍼토리는 안무 동작 데이터(기준 동작 데이터),　음악,　메타정보 등으로 구성될 수 있다.　사용자가 선택한 레퍼토리가 동작 기반 게임/교습 서버(120)에 저장되어 있으면 동작 기반 게임/교습 장치(110)는 동작 기반 게임/교습 서버(120)의 서비스 관리자(121)에 데이터를 요청하여 기준 동작 데이터를 포함하는 레퍼토리 데이터를 입수하여 제공 및 활용할 수 있다.　레퍼토리 데이터베이스(122)에는 사용자 동작의 품질을 평가하기 위한 안무 동작 데이터(기준 동작 데이터)의 집합과,　음악 정보,　메타정보 등을 저장 관리한다. 댄스게임의 예를 들면,　기준 동작 데이터는 댄스 전문가가 원곡의 안무에 따라 춘 안무 동작 데이터이다.
사용자 동작이 기준 동작과 유사할수록, 게임/교습 관리자(112)에 의해 사용자 동작의 점수는 높게 채점된다.　레퍼토리 데이터가 동작 기반 게임/교습 장치(110)로 전송되어 저장된 후 실행이 시작되면 레퍼토리 데이터에 포함된 음악과 기준 동작 데이터에 따른 일련의 동작이 순차적으로 화면에 표시된다.　사용자는 화면에 표시된 기준 동작을 보면서 동작을 따라 한다.　사용자의 동작에 대한 영상과 깊이 정보는 동작감지센서(102)에 의해 획득되고, 영상처리 관리자(111)는 동작감지센서(102)로부터 수신하는 사용자의 동작에 대한 영상과 깊이 정보를 소정의 변환 방식이나 인코딩 방식 등을 통해 장치(110)에서 처리하기 적절한 형태의 비교 대상 입력 데이터로 처리하여 게임/교습 관리자(112)로 전달된다. 게임/교습 관리자(112)는 사용자의 동작에 대한 영상과 깊이 정보에 대한 비교 대상 입력 데이터를 기준 동작 데이터와 비교를 기초로, 기준 동작과 사용자 동작을 비교 분석함으로써 품질을 평가한다(S120).
게임/교습 관리자(112)는 위와 같은 평가결과를 디스플레이 장치(101)를 통해 사용자에게 피드백할 수 있다(S130).　동작 평가는 일정 시간 구간 단위로 이루어져 사용자에게 실시간으로 제공될 뿐 아니라,　해당 레퍼토리의 곡이 종료한 뒤 구간별 평가 결과를 종합한 총 점수도 사용자에게 제공될 수 있다.　동작 평가가 이루어지는 시간 구간의 길이는 레퍼토리 데이터에 포함된 메타정보에 의해 결정될 수 있으며,　만약 메타정보가 존재하지 않는 경우에는 동작인식 기술에 의해 적정 길이로 임의 결정될 수 있다.
동작 기반 게임/교습 서버(120)는 동작 기반 게임/교습 서비스를 제공하는 데 필요한 레퍼토리 데이터들을 저장 관리하는 레퍼토리 데이터베이스(122)와 서비스 관리를 위한 서비스 관리자(121)를 포함한다.　레퍼토리 데이터베이스(122)에는 사용자가 선택 가능한 대량의 레퍼토리 데이터들이 저장 관리다.　서비스 관리자(121)는 동작 기반 게임/교습장치(110)로부터 요청을 받아 데이터베이스(122)로부터 해당 레퍼토리 데이터를 검색하여 추출한 후 동작 기반 게임/교습장치(110)로 전송해주는 역할을 수행한다.　또한, 서비스 관리자(121)는 사용자들 간 랭킹 관리,　인터넷 상에서 사용자 동작 영상 공유(예, 사용자의 동작에 대한 영상과 깊이 정보 또는 평가 결과 등 포함 가능) 등 다양한 온라인 서비스를 제공한다(S140).　
동작 기반 게임/교습 출판 장치(130)는 레퍼토리 데이터를 생성하는 기능을 수행하는 장치와 소프트웨어를 총칭한다.　저작 장치인 동작 기반 게임/교습 출판 장치(130)는 비주얼 마커,　관성센서 슈트 등 다양한 장비를 통해 댄스 전문가 등의 모션을 캡처하고 다양한 소프트웨어를 통해 편집할 수 있도록 지원하여 생성한 레퍼토리 데이터(131)를 네트워크 연결(132)을 통해 동작 기반 게임/교습 서버(120) 등 인터넷 상의 다양한 서버로 출판(제공)할 수 있다(S150). 동작 기반 게임/교습 서버(120)는 다수의 동작 기반 게임/교습장치(110)들이 네트워크 연결을 통해 연동되어,　데이터를 요청하고 배포할 수 있다. 게임/교습 관리자(112)로부터 제공되는 사용자의 동작 (결과) 데이터나 게임/교습 관리자(112)의 지원을 통하여 사용자가 생성한 레퍼토리 데이터도 동작 기반 게임/교습 서버(120)로 제공되어 온라인 상에서 배포되도록 할 수도 있다.
앞서 기술한 바와 같이 레퍼토리 데이터는 사용자 동작의 품질을 평가할 수 있는 기준 동작 데이터를 포함하며 사용자 동작의 품질을 평가하는 기준 데이터로 활용된다.　본 발명에 의한 일 실시 예에서 동작 데이터는 사람 전신을 구성하는 팔, 다리, 머리 등 각 골격의 종단점과 마디와 마디가 만나는 교차점의 좌표,　또는 골격 마디가 이루는 각도값 등으로 표현된다.　게임/교습 관리자(112)는 센서(102)를 통해 입수한 사용자의 동작에 대한 영상과 깊이 정보를 분석하여 기준 동작 데이터와 대응되는 동일한 형식의 골격 데이터(예, 골격 마디의 종단점, 또는 관절에 대응되는 좌표값, 골격 마디의 각도값 등)를 추출하고 기준 동작 데이터와 유사도를 계산함으로써 사용자 동작의 품질을 판별한다.　즉,　동작의 품질은 사용자 동작이 기준 데이터와 얼만큼 유사한가에 달려있다.　동작들 간의 유사도를 판별하는 다양한 시공간적 방법들은 이미 다양한 문헌을 통해 공개된 바 있으므로 본 발명의 범위에는 포함하지 않는다.　다만,　다양한 구성의 기준 동작 데이터를 나타낼 수 있는 데이터구조를 제시하고자 한다.
도 3은 본 발명의 일 실시예에 따른 레퍼토리 데이터를 설명하기 위한 도면이다. 도 3과 같이, 본 발명의 일 실시예에 따른 레퍼토리 데이터는, 레퍼토리 메타정보(300), 상기 기준 동작 데이터로서 복수의 동작 트랙(1,2,..,m)(310), 및 상기 음악 정보로서 음악 트랙(320)을 포함한다.
레퍼토리 메타정보(300)는 제목,　제작자, 저작권자, 고유번호,　키워드 등의 정보를 포함한다.　레퍼토리 메타정보(300)는 레퍼토리 검색을 위한 용도로 활용될 수 있다.　
음악 트랙(320)은 동작 트랙(310)과 동기화되는 음악 정보가 기록된 트랙이다. 음악 트랙(320)에는 해당 음악을 부른 가수, 작곡가 등 멤버의 이름 등을 포함하는 메타정보(302) 구조체가 포함될 수 있다
복수의 동작 트랙(1,2,..,m)(310)은 각각 디스플레이 장치(101)에 표시되는 동작 실행 멤버들 각각의 멤버에 대응한다.　예를 들어,　세 명이 함께 춤을 추는 댄스 레퍼토리는 세 개의 동작 트랙을 포함할 수 있다.　각 동작 트랙(310)에는 해당 트랙을 담당한 멤버의 이름 등을 포함하는 메타정보(301) 구조체가 포함될 수 있다.　
또한, 복수의 동작 트랙(1,2,..,m)(310)은 각각 복수의 신체 부위 트랙(312)과 메타정보 트랙(313)을 포함할 수 있다. 각 신체 부위 트랙(312)은 신체를 구성하는 팔, 다리, 머리 등 각 골격 마디의 종단점(신체 말단), 또는 무릎, 팔꿈치, 목 등 관절에 대응되는 3차원 좌표값이나 골격 마디의 각도값 등 골격 데이터에 대한 트랙이다.　이러한 각 신체 부위 트랙(312)의 3차원 좌표값에 대한 데이터는 모션 캡처 등의 방법을 통해 일정 수준 이상의 샘플링 주기로 검출되어 기록될 수 있다. 메타정보 트랙(313)은 동작 기반 게임의 진행과 교습에 필요한 다양한 정보를 동작 트랙의 시간 구간별로 기록한 트랙으로서,　시간 구간별 동작의 이름,　동작의 중요도,　신체 부위별 중요도,　동작의 난이도 등의 정보가 포함될 수 있다.　
예를 들어, 일 실시예로서 레퍼토리 데이터는 세 명의 멤버를 포함하는 댄스그룹이 부른 노래 한 곡과 그 영상에 대응한다.　레퍼토리 데이터에는 노래를 담은 음악 트랙(320) 한 개와 댄스그룹을 구성하는 세 명의 멤버 각각의 안무를 포함하는 세 개의 동작 트랙(310)이 포함될 수 있다.　각 동작 트랙(310)에는 해당 안무를 실행한 멤버의 이름을 포함하는 메타정보(301)가 추가된다.　만약 세 명의 안무가 동일하다면, 한 개의 동작 트랙(310)만을 유지하고,　세 명의 멤버에 대한 모든 정보를 메타정보(301)에 기록할 수도 있다. 각 동작 트랙(310)에 포함된 메타정보 트랙(313)에는 주요 시간 구간별로 안무의 이름과 핵심 신체 부위별 중요도 등이 기록될 수 있다.
동작 기반 게임/교습 장치(110)가 사용자 동작의 품질을 결정하는 근거는 사용자 동작 데이터와 기준 동작 데이터의 유사도이다.　동작의 시공간 특성과 제약을 고려한 다양한 유사성 측정 방법이 제안된 바 있다.　이 방법들에 의하면 두 동작 간의 유사도를 시간 일치성과 공간 일치성의 양측면에서 평가하는데,　이 평가는 팔, 다리, 머리 등 신체 부위별로 이루어지기도 한다.　뿐만 아니라 신체 부위 중 동작 수행에 있어 더 중요한 부위에 가중치를 더 높게 할당하는 방법과 일련의 단위 동작 중 더 중요한 동작에 더 높은 가중치를 할당하는 방법도 제시되었다.　 이러한 동작 간 유사도 계산 방법에 대하여 구체적인 설명을 생략하며 본 발명에서는 기존의 이러한 동작 간 유사도 계산을 활용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치(101)를 통한 사용자 동작의평가 결과 피드백 방법을 설명하기 위한 도면이다.
동작 기반 게임/교습장치(110)의 게임/교습 관리자(112)는 사용자 동작 평가 결과에 따라 디스플레이 장치(101)를 통해 다양한 정보를 실시간으로 피드백 제공함으로써 사용자가 자신의 동작을 수정하여 올바른 동작을 보다 손쉽게 습득할 수 있도록 도와준다.
본 발명에 의한 일 실시 예에서 동작 기반 게임/교습 장치(110)의 게임/교습 관리자(112)는 사용자 동작과 기준 동작 간 시간 일치성을 검사함으로써 사용자가 동작을 기준 동작보다 빠르게 하는지 느리게 하는지를 판단하고 이를 신체 부위별로 가시화하여 디스플레이 장치(101)를 통해 사용자에게 제공할 수 있다.　동작의 빠르기가 적절한 신체 부위와 빠르거나 느린 신체 부위(또는 골격)를 구분하고 화면에 표시되는 캐릭터의 신체 부위에 다양한 방법으로 색상을 입혀 제공할 수 있다.
도 3의 예와 같이, 사용자 동작에 대한 윤곽이나 실루엣(202a, 202b)을 표시할 뿐만 아니라, 동작이 빠른 부위에 대하여 붉은색 계열의 색상으로 신체 부위를 표시(203b)하고 느린 부위에 대하여는 청색 계열로 표시(203a)할 수 있다.　이때 색상의 농도를 조절함으로써 기준 동작보다 얼마나 느리거나 빠른지 정도(시간 일치도 피드백)를 표시할 수도 있다.　사용자는 색상 정보를 확인하여 자신의 동작을 기준 동작에 보다 용이하게 맞춰 나갈 수 있다.　공간 일치도에 대하여도 서로 다른 색상을 이용하여 피드백할 수 있다.　예를 들어, 신체 부위별로 동작의 궤적이 기준 동작과 일치하는 정도(공간 일치도)에 대하여, 시간 일치도 피드백에서 활용한 색상과 다른 색상으로 공간 일치도에 대하여 화면에 표시해줄 수 있다. 이러한 신체 부위별 가시화 방법은 색상을 이용한 방법에 한정되지 않으며 화살표나 기타 다양한 아이콘이나 문자열을 화면에 표시함으로써 동일한 효과를 얻을 수 있다.
본 발명에 의한 또 다른 일 실시 예에서 동작 기반 게임/교습 장치(110)는 디스플레이 장치(101)의 스피커 또는 별도의 스피커를 통하여 음성으로 사용자의 동작 수행 상태에 대하여 피드백할 수도 있다.　음성 피드백은 사용자가 쉽게 이해할 수 있는 수단일 뿐 아니라,　동작에 따라 사용자가 화면을 바라볼 수 없는 상태에서도 피드백 정보를 습득할 수 있다는 장점을 지닌다.　대표적인 음성 피드백의 구성은 신체 부위 이름과 상태로 구성된다.　예를 들면,　"왼쪽 팔 느려요",　"오른쪽 발 너무 빨라요."와 같다.　문장의 구체적 말투와 길이는 곡의 빠르기와 콘텐츠 저작 취향에 따라 다양하게 만들어질 수 있다.　
음성 피드백은 신체 부위 이름과 사용자 동작이 도달해야 할 상태로 구성될 수도 있다.　예를 들면,　"왼쪽 발 더 빠르게",　"오른쪽 발 더 느리게"와 같은 식이다.　이러한 음성 피드백 방법은 동작의 빠르기뿐 아니라 동작의 공간적 특성에 대해서도 이루어질 수 있다.　예를 들어,　"왼쪽 팔 더 높이",　“다리를 더 벌리고”와 같은 식이다.
본 발명에 의한 또 다른 일 실시 예에서 동작 기반 게임/교습 장치(110)의 게임/교습 관리자(112)는 도 3의 202c에 예시한 바와 같이 사용자 골격 정보를 이용하여 사람의 실루엣을 생성할 수 있고 이를 디스플레이 장치(101)의 화면 상의 기준 동작을 수행하는 캐릭터 위에 다양한 방식으로 중첩 표시할 수 있다.　사용자는 시각적으로 자신의 동작을 기준 동작과 용이하게 비교해볼 수 있으므로 보다 효과적으로 동작을 교정하고 습득할 수 있다. 전신 실루엣을 중첩할 때 사용자와 캐릭터의 신체 부위별 길이가 달라 자연스럽게 중첩하기 어려울 수 있지만, 대략적으로 사용자와 캐릭터의 크기를 맞추어 놓을 수도 있다.　사용자의 골격 마디 길이를 캐릭터의 신체구조와 유사하게 변형하여 캐릭터 외형과 사용자 전신 실루엣이 잘 맞도록 할 수 있다.　모션 캡처와 애니메이션 분야에서는 이러한 목적으로 활용하는 리타게팅(Retargetting)　기술을 본 발명에 의한 실루엣 중첩을 위해 활용할 수 있다.
본 발명에 의한 또 다른 일 실시 예에서 동작 기반 게임/교습 장치(110)의 게임/교습 관리자(112)는 사용자 동작을 평가한 결과를 소정의 시간 길이를 갖는 동작 단위로 화면에 표시할 수 있다.　예를 들어,　사용자가 임계치 이상의 정확도(유사도)로 잘 수행한 동작은 화면의 정해진 영역(211)에 아이콘(211a)으로 표시한다.　동일한 방식으로 사용자가 잘 수행하지 못하여 정확도가 낮은 동작도 화면의 다른 영역(210)에 아이콘(210a,　210b)으로 표시한다.　이때 신체 부위별 동작 정확도 점수를 반영하여 210a, 210b 와 같이 신체 부위별 색상이나 표시 위치를 다르게 제공할 수도 있다.
아이콘(210a,　210b, 211a) 내의 사용자 실루엣은 해당 동작의 기준 동작 데이터에 따라 움직이도록 만들 수 있다.　선택한 레퍼토리 데이터를 이용한 게임/교습이 종료하면 사용자는 화면을 통해 잘 수행한 동작과 잘 수행하지 못한 동작을 확인할 수 있을 뿐 아니라, 아이콘을 선택하여 게임/교습 관리자(112)로부터 잘 수행하지 못한 동작들을 대상으로 한 교습 화면을 제공받아 연습을 진행할 수도 있다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치(101)를 통한 선택 교습 방법을 설명하기 위한 도면이다.
동작 기반 게임/교습 장치(110)의 게임/교습 관리자(112)는 도 5와 같이 레퍼토리 데이터의 동작 트랙의 내용을 사용자가 열람하고 선택하기 용이한 동작 열람과 선택 방법을 제공할 수 있다. 본 발명에 의한 일 실시 예에서 게임/교습 관리자(112)는 사용자가 선택한 레퍼토리 데이터(또는 기준 동작 데이터)를 처리하여, 분석한 결과에 따라 도 5와 같이, 동작 트랙 메타정보(401), 동작 구성 지도(402), 동작 인덱스(403) 등을 디스플레이 장치(101)화면에 표시할 수 있다.　
먼저, 동작 구성 지도(402)는 사용자가 선택한 실행 멤버에 대응되는 동작 트랙(310)에 포함된 신체부위 트랙(312)의 내용을 기반으로 구성된다.　동작 구성 지도(402)는 동작 트랙(310)의 시작부터 끝까지 순차적인 동작의 구성을 여러 개의 구획으로 나눈 타임라인 구조로 표시될 수 있다.　각 구획은 하나의 구분된 안무 동작 단위에 대응한다.　댄스게임에 포함된 안무를 포함하는 곡을 예로 든다면,　동작 구성 지도(402)는 복수의 안무 동작들을 포함하며,　곡의 진행에 따른 안무 동작에 따라 구획이 나뉜다.　각 구획은 안무 동작의 지속시간에 따라 길이가 달라진다.　또한, 동작 구성 지도(402)의 각 구획은 상이한 안무 동작을 포함하는 구획끼리는 시각적으로 구별이 가능하고,　동일한 안무 동작을 포함하는 구획끼리는 색상 등 시각적으로 동일한 형태로 표시된다.　
동작 트랙 메타정보(401)는 메타정보 트랙(313)에 기재된 정보(예, 시간 구간별 동작의 이름,　동작의 중요도,　신체 부위별 중요도,　동작의 난이도 등)를 기반으로 구성된다.　본 발명에 의한 일 실시 예에서 동작 트랙 메타정보(401)는 동작 구성 지도(402)에 표시된 동작 구획별로 중요도를 나타내는 등락 그래프(미도시)를 포함할 수 있다.　또한,　주요 동작의 이름을 포함할 수도 있다.　사용자는 동작 구성 지도(402)와 동작 트랙 메타정보(401)를 보고 한눈에 전체 레퍼토리 데이터의 동작 트랙 구성을파악할 수 있다.　
동작 인덱스(403)는 동작 구성 지도(402)에 사용된 구획별 표시 방법(예, 동일한 안무 동작을 포함하는 구획)과 같이 해당 동작 구획에 대한 요약 정보 등을 표시한 아이콘의 집합(404a, 404b)으로 구성될 수 있다.　본 발명에 의한 일 실시 예에서 각 아이콘의 배경화면은 동작 구성 지도(402)에서 각 동작을 구분하기 위해 사용한 색상과 동일한 색상으로 제공될 수 있다. 이때 해당 구획에서 수행되어야 할 동작을 작은 캐릭터 아이콘으로 표시할 수 있다.　캐릭터 아이콘은 다양한 방식으로 해당 구획의 동작을 가시화하는데, 레퍼토리 데이터에 포함된 동작 트랙의 해당 시간 구간에 포함된 기준 동작 데이터를 이용한 움직이는 아이콘일 수도 있고,　실제 댄서가 해당 동작을 수행한 영상일 수도 있다.　각 아이콘은 부가적인 설명을 포함하는 설명 창(405a,　405b)과 함께 표시될 수 있다.　설명 창은 동작의 이름,　주의할 신체 부위 등의 메타정보를 포함할 수 있다.　사용자는 기존의 동작기반 게임 인터페이스에서 제공하는 손 제스처를 이용한 포인팅 또는 스크롤 기능을 이용하여 동작 인덱스(403)에 포함된 동작들 중 한 개 또는 여러 개를 선택할 수 있다.　레퍼토리 데이터가 두 개 이상의 동작 트랙(310)을 포함하는 경우 게임/교습 관리자(112)는 각 트랙(310)의 메타정보 트랙(313)를 참조하여 동작 트랙 메타정보(401), 동작 구성 지도(402), 동작 인덱스(403) 등을 생성할 수 있고, 각각의 동작 인덱스(403)에 해당 캐릭터를 포함하는 아이콘들을 모두 화면에 표시할 수 있다.　사용자는 그 중 원하는 캐릭터 또는 아이콘을 선택하고,　선택된 캐릭터 또는 아이콘에 대응하는 동작 트랙(310)에 따른 게임이나 교습을 수행할 수 있다. 이와 같이 사용자가 교습할 동작을 선택한 후 게임 또는 교습 기능을 선택하면 게임/교습 관리자(112)는 선택된 동작을 해당 순서에 따라 재생하고, 사용자는 동작을 따라 할 수 있으며, 이때 도 4와 같이 동작 품질평가와 피드백이 모두 이루어진다.
본 발명에 의한 일 실시 예에서 사용자가 교습할 동작에 대하여 위와 같은 동작 인덱스(403)의 아이콘을 여러 개 선택했을 경우, 게임/교습 관리자(112)는 각 동작을 순서대로 사용자에게 제시하여 연습하게 하되 각 동작을 사용자가 일정 수준 이상의 정확도가 나오도록 수행할 때까지 각 동작을 반복하도록 해당 화면을 제공할 수 있다.　하나의 동작을 반복적으로 재생하여 연습하게 한 뒤 동작의 정확도가 사전에 정한 임계치를 넘으면 다음 동작으로 넘어가도록 진행할 수 있다. 단,　사전에 정한 최대 반복회수가 넘도록 사용자의 동작 정확도가 개선되지 않으면 그 동작을 포기하고 다음 동작으로 넘어갈 수도 있다.　이때,　포기한 동작에 대하여 게임/교습 관리자(112)는 사용자가 계속 연습해야 할 동작으로서 소정의 저장 수단에 개인 프로파일로서 저장할 수 있다.
본 발명에 의한 일 실시 예에서 사용자는 레퍼토리 데이터(131)의 전체 구간 중 일부 구간의 시작과 끝을 지정하고 그 구간만 교습할 수 있다. 게임/교습 관리자(112)는 사용자가 동작을 수행하면서 용이하게 시작과 끝을 선택할 수 있도록 하기 위한 창을 도 5와 같은 화면에 표시하여 상호작용이 원활히 이루어지도록 할 수 있다. 예를 들어, 사용자는 동작 구성 지도(402)에 표시된 구획들 중 두 개를 선택함으로써 구간(406)의 시작(406a)과 끝(406b)을 지정할 수 있다. 화면 상의 동작 구성 지도(402)에서 선택한 두 개의 구획 중 좌측에 있는 구획(406a)의 시작 시점은 구간의 시작 시점이 되고 우측에 있는 구획(406b)의 종료 시점은 구간의 종료 시점이 된다. 사용자는 마우스,　적외선 포인터 등의 장치를 이용하여 화면의 특정지점을 포인팅함으로써 구획을 선택할 수도 있다. 또는, 터치스크린 방식 등에서 손을 이용하여 화면을 포인팅함으로써 구획을 선택할 수도 있다.
구간이 지정되면 게임/교습 관리자(112)는 구간 플레이를 실행할 수 있는 메뉴를 화면에 제공하여 사용자가 선택할 수 있도록 지원할 수 있다. 구간을 반복 플레이할 수 있는 메뉴도 함께 화면에 제공될 수 있다. 또는 게임/교습 관리자(112)는 특정 이벤트가 발생할 때까지 지정 구간을 무한 반복할 수도 있다. 예를 들어, 사용자가 아무런 동작을 하지 않는 상태로 2초 이상 멈춰있으면 게임/교습 관리자(112)는 영상과 깊이 정보에 따라 이를 인식하여 사용자가 더 이상 구간반복을 원하지 않는다고 판단하고 구간반복 플레이를 멈출 수 있다.
본 발명에 의한 일 실시 예에서 게임/교습 관리자(112)는 구간의 시작과 끝을 표시하기 위한 사용자의 제스처 명령을 인식할 수도 있다. 사용자는 레퍼토리를 시작해 놓고 정상적으로 동작을 수행할 수도 있지만, 또는 아무런 동작 없이 원하는 시점까지 기다릴 수도 있다. 구간의 시작으로 정하고 싶은 시점이 되면 사용자는 수행하던 동작을 멈춘 후 구간 시작을 표시하기 위한 제스처를 취함으로써, 게임/교습 관리자(112)는 구간 시작 표시 제스처를 인식하여 구간 시작 시점을 기록할 수 있다. 동일한 방식으로 사용자는 구간 종료 시점까지 기다린 후 구간 종료 표시 제스처를 취하고, 게임/교습 관리자(112)는 제스처를 인식하여 구간 종료 시점을 기록할 수 있다. 구간 지정이 완료되면 구간 플레이를 위한 메뉴들(예, 구간 플레이, 반복 플레이 등)이 제공된다.
본 발명에 의한 일 실시 예에서 구간 지정을 위해 음성명령을 활용할 수도 있다. 구간 시작과 종료 시점을 표시하기 위한 음성신호를 사전에 등록하고, 게임/교습 관리자(112)는 마이크(미도시)를 통해 수신되는 음성신호(예, 구획이름, 시간, 아이콘 이름 등)를 인식하여 구간의 시작과 종료 시점을 인식할 수 있다. 레퍼토리는 일반적으로 음악 트랙을 포함하게 되는데 음악 트랙의 음성 정보를 게임/교습 관리자(112)가 보유하고 있는 상태이므로 에코 제거(Echo Cancelling)과 같은 기술을 동원함으로써 사용자의 구간 지정 음성명령을 용이하게 인식할 수 있다.
또한, 본 발명에 의한 일 실시 예에서 사용자는 신체 부위 중 일부분만 선택하여 동작을 연습할 수도 있다. 이를 위하여, 게임/교습 관리자(112)는 사용자가 선택한 신체 부위만을 대상으로 정확도를 평가하여 피드백할 수도 있다. 신체 부위 선택을 위해 다양한 방법을 사용할 수 있다. 예를 들어, 게임/교습 관리자(112)는 화면에 도 5와 같이 사용자의 전신 실루엣을 표시할 수 있으며, 사용자는 화면 포인팅(예, 마우스, 음성, 제스처, 포인터 등)을 통해 원하는 신체 부위를 가리킴으로써 원하는 부위를 선택할 수 있다. 또는, 다른 실시 예에서 게임/교습 관리자(112)는 화면에 사람의 전신 실루엣을 표시한 후 일정 시간 간격으로 각 신체 부위를 순서대로 하이라이트 해 줄 수 있다. 원하는 신체 부위가 하이라이트 되었을 때 사용자는 마우스, 음성, 제스처, 포인터 등의 명령을 통해 하이라이트 된 부위를 선택할 수도 있다.
또한, 본 발명에 의한 일 실시 예에서 사용자는 레퍼토리의 진행속도를 조절하여 동작을 연습할 수도 있다. 익숙하지 않은 복잡한 동작을 느린 속도로 연습하여 사용자가 보다 용이하게 동작을 습득할 수 있도록 돕기 위한 기능이다. 진행속도 설정은 레퍼토리 전체 플레이, 구간 플레이,　동작 신체부위 선택 교습 등 모든 게임 플레이와 교습 기능 수행 시 이루어질 수 있다. 게임/교습 관리자(112)는 다양한 상황에서 게임이나 교습을 시작하기 전에 진행속도를 선택할 수 있는 메뉴를 제공할 수 있다. 속도는 몇 개의 단계로 구분된 값(아주 빠르게, 빠르게, 보통, 느리게,　아주 느리게)　중 하나를 선택할 수도 있고, 다이얼이나 스크롤바와 같은 인터페이스를 통해 원하는 속도 값을 선택할 수도 있다. 속도 값은 음악의 빠르기를 지정하는 BPM(Beats Per　Minute)을 적용할 수 있다.
또한, 본 발명에 의한 일 실시 예에서 게임/교습 관리자(112)는 사용자의 동작 속도에 맞추어 능동적으로 레퍼토리의 진행속도를 조정할 수도 있다. 사용자는 먼저 게임/교습 관리자(112)가 화면에 제공하는 메뉴를 통해, 게임/교습 관리자(112)가 능동적으로 레퍼토리 진행속도를 조정해주는 실행 모드를 선택할 수 있다. 선택된 진행 속도 모드에 의하면 사용자는 익숙하지 않은 동작 구간에서 정확하게 동작을 수행하기 위해 의도적으로 속도를 늦출 수 있다. 게임/교습 관리자(112)는 사용자 동작과 기준 동작 간 시간 일치성을 지속적으로 평가하므로 사용자의 동작 속도를 유추할 수 있다. 유추된 속도에 따라 게임/교습 관리자(112)는 레퍼토리의 진행 속도를 좀 더 빠르게 하거나 느리게 함으로써 사용자의 동작 속도에 레퍼토리의 진행속도를 일치시킬 수 있다.
한편, 동작 기반 게임/교습장치(110)의 게임/교습 관리자(112)는 사용자의 게임이나 교습 이력을 소정의 저장 수단에 개인 프로파일로 저장 관리하여 다양한 커뮤니티 서비스를 제공하고 개인별 동작 교습 효과를 개선하는 데 활용할 수 있다. 예를 들어, 게임/교습 관리자(112)는 사용자의 게임이나 교습 실행에 대한 수행점수 이력과 등급 정보 등을 개인 프로파일에 저장 관리할 수 있다.
게임/교습 관리자(112)는 개인 프로파일을 동작 기반 게임/교습 서버(120)로 전송할 수 있다.　동작 기반 게임/교습 서버(120)의 서비스 관리자(121)는 사용자별 개인 프로파일 정보를 레퍼토리 데이터베이스(122)에 저장 관리할 수 있으며, 개인 프로파일 데이터를 기반으로 사용자들 간 종합 게임 순위를 제공하거나 성과정보를 공유하는 등 다양한 온라인 커뮤니티 서비스를 제공할 수 있다.　이러한 서비스로서 사용자가 자주 게임을 했거나 교습한 레퍼토리를 기반으로 사용자에게 유사한 레퍼토리들을 추천하는 서비스,　사용자가 잘 수행한 동작들과 잘 수행하지 못한 동작들의 분포를 기반으로 사용자의 동작 능력을 평가하고 사용자의 수준에 맞는 동작 또는 레퍼토리를 추천하는 서비스,　사용자가 잘 수행하지 못한 동작들을 집중적으로 반복 교습할 수 있도록 교습 스케줄을 조정하는 서비스 등이 포함될 수 있다.
다른 한편, 많은 사용자 동작은 사용자의 움직임이나 전후좌우로 이동하는 동선을 포함할 수 있다.　예를 들어, 서비스 관리자(121)는 입수된 영상과 깊이 정보에 따라 사용자의 움직임이나 이동을 감지함으로써 동선을 고려한 보다 정확한 동작 정확도를 분석할 수 있다.　사용자의 위치 이동은 사용자를 위에서 내려다보는 방향에서 형성되는 2차원 평면 상 x축과 y 축 방향으로 이루어질 수 있다.　이러한 사용자 위치 이동은 동작감지센서(102)의 깊이 감지 가능한 카메라를 이용하여 시야각 내에서 측정이 가능하므로 실시간으로 감지한 사용자의 위치 정보를 이용하여 동선의 정확도를 판단할 수 있다.　당연하게도 이러한 위치 이동을 포함하는 동작의 정확도 계산을 위해서 레퍼토리 데이터의 각 동작 트랙(310)은 신체 부위별 동작 트랙 정보뿐만 아니라 2차원평면 공간상에서의 멤버의 위치정보를 포함할 수 있다.　사용자의 위치정보는 초기 위치를 기준으로 한 상대 위치정보로 표시될 수 있다.　
예를 들어,　동작감지센서(102)는 가로세로 각 3m　길이의 평면을 30cm　단위의 해상도로 감지할 수 있으며, 사용자의 위치를 공간 상의 소정의 좌표계(예, 6픽셀*6픽셀)로 표현할 수 있다.　이때,　사람의 초기 위치뿐 아니라 동작 트랙의 진행에 따른 위치 이동을 좌표로 표현 가능하며, 이러한 위치 이동 패턴은 좌표계 상에서 임의의 궤적을 형성한다.　이러한 위치 이동 표현 방법에 따라 사용자의 위치 이동이 xy 평면에서 (1,0) -> (2,1) -> (3,1) -> (3,0)　의 순서로 이루어진다고 했을 때,　레퍼토리 데이터의 동작 트랙에 포함된 위치 이동 시퀀스는(1,0) ->(+1, +1)　-> (+1,0) -> (0,-1)과 같이 이전 위치를 기준으로 한 상대적 이동값으로 표현될 수 있다.　이러한 상대 위치 표현방식은 깊이 감지센서의 해상도,　공간구조, 사용자의 초기 위치에 덜 의존적으로 작동하므로 위치 이동을 포함하는 안무의 정확도 판단에 더 유리하게 활용될 수 있다.
동작 트랙(310)에 포함된 위치 이동 시퀀스로 인해 사용자가 순간적으로 동작감지센서(102)의 깊이 감지 범위를 벗어날 수 있다.　이러한 경우 동작을 감지할 수 없으므로 동작 정확도 분석이 불가능하거나 분석 결과의 신뢰성이 저하되는 문제가 발생할 수 있다.　본 발명에 의한 일 실시예에 의하면 동작감지센서(102)의 깊이 감지 센서(또는 카메라)는 회전이 가능한 구동장치 위에 장착되며 사용자가 감지 범위의 상한치와 하한치 경계에 가까워지는 경우 사용자 방향으로 센서가 장착된 구동장치를 일정량 회전시킴으로써 사용자의 동작을 안정적으로 평가할 수 있다.
또 다른 한편, 본 발명에 의한 일 실시예에 의하면 레퍼토리 데이터(131)에 생체역학정보가 추가로 포함될 수 있다.　생체역학정보는 동작 트랙(310)의 메타정보 트랙(313)에 포함하거나 별도 정보 트랙을 생성하여 동작 트랙 안에 저장할 수 있다.　대표적인 생체역학정보의 내용은 동작 단위별 칼로리 소모량일 수 있다. 이를 위하여　동작 트랙(310) 제작을 위해 모션 캡처 등의 작업을 진행할 때 동작을 실행하는 사람의 신체 각 부위에 힘,　가속도 등 생체역학정보를 측정할 수 있는 센서장치들을 장착하여 데이터를 수집할 수 있다. 이러한 데이터를 기반으로 동작의 칼로리 소모량을 계산할 수 있다.　
이에 따라 사용자가 동작 트랙을 선택하여 게임이나 교습을 실행하면 동작 기반 게임/교습 장치(110)의 게임/교습 관리자(112)는 사용자의 동작에 대한 유사도를 계산하고 해당 동작에 딸려있는 칼로리 소비량을 기준으로 실제 사용자의 칼로리 소비량을 예측할 수 있다.　예를 들어,　동작 단위별로 사용자 동작이 기준 동작과 80%와 유사도를 보이고 해당 기준 동작을 수행하는데 10칼로리를 소모한다고 기록되어 있다면,　사용자의 칼로리 소모량을 10*0.8=8　칼로리로 예측할 수 있다.　정확도에 의존한 이러한 방법은 실제 사용자의 칼로리 소모량과 정확히 일치하지 않을 수 있으나 대략적인 소모량을 예측하는 방편으로 활용될 수 있다.　
더 단순하게는, 게임/교습 관리자(112)는 자체에서 사용자가 동작을 수행하는 해당 동작 단위의 시간 구간 내에서 신체 부위별 평균 이동거리 등과 같은 운동량을 산술적으로 계산하고 이를 임계치와 비교함으로써 동작 수행율(유사도)을 백분율로 계산하고 이를 기준 동작의 칼로리 소모량에 곱하여 사용자 동작으로 인한 칼로리 소모량을 산출할 수도 있다.　이와 같이 생체역학정보를 활용함으로써 게임/교습 관리자(112)는 사용자의 칼로리 소모량을 지속적으로 예측하고 개인 프로파일에 저장 관리할 수 있다.　개인 프로파일에 쌓인 칼로리 소모량을 통해 게임/교습 관리자(112)는 사용자 개인별 운동량을 관리함으로써 사용자의 건강증진에 도움을 제공할 수 있다.
또 다른 한편, 본 발명에 의한 일 실시 예에 의하면 전문가뿐 아니라 사용자도 레퍼토리 데이터를 제작하여 배포할 수 있다. 전문가 그룹은 모션 캡처 기술을 기반으로 동작 데이터를 수집하고 레퍼토리 데이터를 제작하여 동작 기반 게임/교습 출판 장치(130)를 통해 온라인 네트워크 상의 동작 기반 게임/교습 서버(120)들로 전송함으로써 레퍼토리 데이터를 배포할 수 있다. 서비스 관리자(121)는 동작 기반 게임/교습 서버(120)들에 배포된 레퍼토리에 대한 정보를 습득하거나 검색을 통해 배포된 레퍼토리를 찾아내고,　요청하여 해당 레퍼토리를 전송받음으로써 배포된 레퍼토리 데이터를 사용자에게 제공하고 활용할 수 있다.
뿐만 아니라, 본 발명에 의한 일 실시 예에서 사용자는 동작 기반 게임/교습장치(110)를 이용하여 자신의 게임이나 교습 실행에 따른 이력, 즉, 동작 (결과) 데이터를 동작 기반 게임/교습 서버(120)에 배포할 수 있다. 사용자가 레퍼토리를 선택하여 게임 또는 교습을 진행하면 게임/교습 관리자(112)는 사용자의 동작 정보를 지속적으로 저장 수단에 기록한다. 이때 기록되는 데이터는 전신 골격 데이터로서 골격 마디의 종단 좌표와 마디 교차점의 좌표를 포함할 수 있다. 이와 같이 기록되는 데이터는 재사용과 변형이 용이한 형태이어야 한다. 사용자가 동일한 레퍼토리를 반복하는 경우 게임/교습 관리자(112)는 이를 모두 기록 관리한다. 게임/교습 관리자(112)는 레퍼토리 배포 기능을 메뉴로 제공하여 사용자가 선택할 수 있도록 한다. 사용자가 배포를 선택하면, 게임/교습 관리자(112)는 지속적으로 기록 저장해둔 사용자의 동작 데이터를 종합하여 레퍼토리 내에 사용자의 동작 트랙(310)을 하나 생성하고 이를 동작 기반 게임/교습 서버(120)로 전송함으로써 배포할 수 있다.
사용자가 제작한 동작 트랙의 메타정보(301)에 사용자에 관한 정보가 기록될 수 있다. 사용자가 배포한 동작 트랙을 포함하는 레퍼토리 데이터 또한 전문가 그룹이 배포한 레퍼토리 데이터와 동일한 방식으로 사용자들이 전송 받아 게임이나 교습에 활용할 수 있다. 사용자의 동작 데이터를 종합할 때 게임/교습 관리자(112)는 동작 구간별로 가장 정확도가 높았던 기록 데이터를 선택하여 조합함으로써 가장 높은 품질의 동작 트랙을 구성할 수도 있다.
또한, 본 발명에 의한 일 실시 예에서 사용자는 동작 트랙을 포함하는 새로운 레퍼토리를 제작하여 배포할 수 있다. 이를 위해 게임/교습 관리자(112)는 레퍼토리 생성 기능을 메뉴로 제공할 수 있다. 사용자는 레퍼토리 생성 기능을 선택하고, 선택적으로 음악 트랙을 지정한다. 음악 트랙은 사용자가 보유한 음원 또는 서버(120)를 통해 전송 받은 음악 트랙일 수 있다. 다음으로 사용자는 레퍼토리를 진행하며 동작을 실행하고 게임/교습 관리자(112)는 사용자의 동작 데이터를 기록하여 동작 트랙에 저장하고 레퍼토리로 형식화한다. 사용자는 생성하는 동작 트랙의 일부 구간을 지정하여 구간 내의 동작만 반복하도록 동작 트랙이 생성되도록 할 수 있다. 이를 통해 마음에 들지 않는 동작을 보정한다. 또한 사용자는 편집 수단을 사용하여 생성할 레퍼토리 데이터에 각종 메타정보(300)를 기록할 수 있다.
도 6은 본 발명의 일 실시예에 따른 동작 기반 인터랙티브 서비스 시스템(100)의 구현 방법의 일례를 설명하기 위한 도면이다. 본 발명의 일 실시예에 따른 동작 기반 인터랙티브 서비스 시스템(100)의 동작 기반 게임/교습 장치(110), 동작 기반 게임/교습 서버(120), 동작 기반 게임/교습 출판 장치(130)는 하드웨어, 소프트웨어, 또는 이들의 결합으로 이루어질 수 있다. 예를 들어, 동작 기반 게임/교습 장치(110), 동작 기반 게임/교습 서버(120), 동작 기반 게임/교습 출판 장치(130)는 도 6과 같은 컴퓨팅 시스템(1000)으로 구현될 수 있다.
컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다. 프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
상술한 바와 같이, 본 발명에 따른 동작 기반 인터랙티브 서비스 시스템(100)에 따르면, 댄스 게임이나 댄스 교습 등 사용자가 보다 용이하고 다양한 방법으로 효과적으로 동작 기반 퍼포먼스를 즐기거나 교습 받을 수 있다. 이에 따라 온라인 네트워크를 통한 댄스 연습장과 같은 신규 서비스산업을 창출할 수 있을 뿐 아니라 사용자들이 다양한 동작 데이터를 제작하여 상호 공유 유통함으로써 부가적인 시장이 발생할 수 있을 것으로 기대된다. 또한, 기존의 응용이나 서비스들은 동작을 선별하여 교습 받는 방법을 제공하지 않지만, 본 발명에 따라 사용자가 손쉽게 동작을 선별하여 교습 받을 수 있다.　예를 들어,　기존의 댄스 게임들은 사용자가 곡을 선택하면 곡의 처음부터 끝까지 플레이하면서 사용자가 안무 동작을 추도록 한 후 종합적인 점수를 제공하는 방식으로 동작하지만, 본 발명에 의하면 사용자는 원할 때 곡을 구성하는 전체 안무 중 일부 안무를 선택하여 플레이할 수 있을 뿐만 아니라 일부 신체 부위만 플레이하면서 교습 받을 수도 있다. 또한, 기존의 동작인식 기반 게임들에서도 사용자가 수행한 동작의 품질을 평가할 수 있는 방법을 포함하고 있고 이를 기반으로 사용자에게 동작을 교습할 수 있는 수단을 제공하고는 있지만, 이러한 기존 방법에서는 교습 절차가 단순하고 사용자 동작에 대한 피드백이 풍부하지 않아 교습의 효율성이 떨어진다.　반면, 본 발명은 피드백 방법,　교습 절차 관리,　상호작용 인터페이스 구성을 개선함으로써 복잡한 동작을 보다 효율적으로 상세하게 교습할 수 있는 방법을 제시한다.
또한, 본 발명에 따른 안무에 동반되는 위치 이동을 고려한 안무 동작 평가 방법을 통하여, 복수의 멤버를 포함하는 군무의 대형 변화에도 대응할 수 있어 보다 다양한 안무를 수용해 다양한 인터랙티브 서비스가 가능하다. 또한, 본 발명에 따른 생체 역학 정보를 포함하는 데이터베이스를 활용함으로써 사용자의 칼로리 소모를 보다 정확히 예측할 수 있고,　이를 사용자의 건강관리에 활용할 수 있다. 그리고, 본 발명에 따라 온라인 서버를 통해 안무 등 퍼포먼스 데이터를 공급하고　유통함으로써 보다 활발하게 정보 공유와 사용자의 참여를 유도할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
디스플레이 장치(101)
동작감지센서(102)
동작 기반 게임/교습 장치(110)
영상처리관리자(111)
게임/교습 관리자(112)
동작 기반 게임/교습 서버(120)
서비스 관리자(121)
레퍼토리 데이터베이스(122)
동작 기반 게임/교습 출판 장치(130)

Claims (18)

  1. 디스플레이 화면을 통해 실행되는 레퍼토리에 대한 사용자 동작 기반 인터랙티브 서비스 장치에서의 인터랙티브 서비스 방법에 있어서,
    사용자가 디스플레이 화면을 통해 선택한 레퍼토리에 대하여, 해당 레퍼토리 데이터의 기준 동작 데이터에 따른 순차 동작이 디스플레이 화면으로 표시되도록 실행하고 동작감지센서에 의해 획득된 사용자의 동작에 대한 영상과 깊이 정보를 수신하여 비교 대상 입력 데이터로 변환하는 단계;
    상기 비교 대상 입력 데이터로부터 사용자의 동작에 대한 골격 마디의 종단점이나 관절에 대한 좌표값, 또는 골격 마디의 각도값을 포함하는 제1골격 데이터를 추출하고, 상기 제1골격 데이터를 상기 기준 동작 데이터에 포함된 해당 제2골격 데이터와 비교하여 시간적 또는 공간적 일치성에 대한 유사도를 평가하는 단계; 및
    상기 평가에 따른 평가 결과를 상기 디스플레이 화면으로 피드백하는 단계
    를 포함하는 것을 특징으로 하는 인터랙티브 서비스 방법.
  2. 제1항에 있어서,
    상기 기준 동작 데이터는,
    레퍼토리 메타정보, 상기 디스플레이 화면에 표시되는 하나 이상의 멤버에 대한 상기 기준 동작 데이터로서의 동작 트랙, 및 음악 정보를 포함하는 음악 트랙을 포함하는 것을 특징으로 하는 인터랙티브 서비스 방법.
  3. 제2항에 있어서,
    상기 디스플레이 화면에 표시되는 복수의 멤버들 중 임의의 어느 하나를 선택한 레퍼토리에 대하여,
    상기 동작 트랙은, 해당 멤버의 골격 마디의 종단점이나 관절에 대한 좌표값, 또는 골격 마디의 각도값을 포함하는 신체부위트랙; 및 시간 구간별 동작의 이름,　동작의 중요도,　신체 부위별 중요도,　또는 동작의 난이도를 포함한 메타 정보 트랙을 포함하는 것을 특징으로 하는 인터랙티브 서비스 방법.
  4. 제1항에 있어서,
    상기 피드백하는 단계는,
    상기 사용자의 동작에 대한 상기 기준 동작 데이터와의 신체부위별 시간적 또는 공간적 일치성에 대한 유사도에 따라 구분하여 구분된 표시방법으로 상기 디스플레이 화면에 표시하거나 스피커를 통해 음성으로 피드백하는 단계
    를 포함하는 것을 특징으로 하는 인터랙티브 서비스 방법.
  5. 제1항에 있어서,
    상기 피드백하는 단계는,
    상기 기준 동작 데이터에 따라 기준 동작을 수행하는 캐릭터 위에 상기 사용자의 동작을 실루엣으로 중첩하여 상기 디스플레이 화면에 표시하는 단계
    를 포함하는 것을 특징으로 하는 인터랙티브 서비스 방법.
  6. 제1항에 있어서,
    상기 피드백하는 단계는,
    상기 사용자의 동작에 대한 동작 단위별로 상기 유사도의 점수 크기에 따라 구분하여 상기 디스플레이 화면 상의 서로 다른 영역에 아이콘으로 표시하는 단계를 포함하는 것을 특징으로 하는 인터랙티브 서비스 방법.
  7. 제1항에 있어서,
    상기 기준 동작 데이터를 분석하여, 상기 디스플레이 화면에,
    동작 단위별 순차적인 타임라인 구조의 구획을 표시하는 동작 구성 지도,
    상기 동작 구성 지도에 표시된 동작 구획별로 중요도를 나타내는 등락 그래프를 포함한 동작 트랙 메타정보, 또는
    상기 동작 구획별 요약 정보를 표시하며 해당 동작 구획별로 게임이나 교습이 가능하도록 사용자가 선택 가능한 아이콘의 집합
    을 표시하는 단계를 더 포함하는 것을 특징으로 하는 인터랙티브 서비스 방법.
  8. 제1항에 있어서,
    상기 레퍼토리 데이터에 포함된 생체역학정보를 이용해 상기 사용자의 동작에 따른 상기 유사도에 따라 칼로리 소모량을 산출하며, 상기 사용자의 동작에 대한 칼로리 소모량을 상기 디스플레이 화면에 표시하는 단계를 더 포함하는 것을 특징으로 하는 인터랙티브 서비스 방법.
  9. 제1항에 있어서,
    상기 레퍼토리 데이터는, 상기 인터랙티브 서비스 장치에 관리되어 제공되거나, 외부의 게임/교습 출판 장치를 통해 상기 레퍼토리 데이터를 입수하는 네트워크 상의 서버를 통해 온라인으로 제공되거나, 또는 사용자들의 상기 레퍼토리에 대한 해당 게임이나 교습에 따른 동작 수행 결과가 개인 프로파일로서 상기 서버로 제공된 후 상기 서버에서 온라인으로 제공되는 것을 특징으로 하는 인터랙티브 서비스 방법.
  10. 디스플레이 화면을 통해 실행되는 레퍼토리에 대한 사용자 동작 기반 인터랙티브 서비스를 위한 인터랙티브 서비스 시스템에 있어서,
    사용자가 디스플레이 화면을 통해 선택한 레퍼토리에 대하여, 해당 레퍼토리 데이터의 기준 동작 데이터에 따른 순차 동작이 디스플레이 화면으로 표시되도록 실행하는 게임/교습 관리자; 및 동작감지센서에 의해 획득된 사용자의 동작에 대한 영상과 깊이 정보를 수신하여 비교 대상 입력 데이터로 변환하는 영상 처리 관리자를 포함하고,
    상기 게임/교습 관리자는, 상기 비교 대상 입력 데이터로부터 사용자의 동작에 대한 골격 마디의 종단점이나 관절에 대한 좌표값, 또는 골격 마디의 각도값을 포함하는 제1골격 데이터를 추출하고, 상기 제1골격 데이터를 상기 기준 동작 데이터에 포함된 해당 제2골격 데이터와 비교하여 시간적 또는 공간적 일치성에 대한 유사도를 평가하며, 상기 평가에 따른 평가 결과를 상기 디스플레이 화면으로 피드백하는 것을 특징으로 하는 인터랙티브 서비스 시스템.
  11. 제10항에 있어서,
    상기 기준 동작 데이터는,
    레퍼토리 메타정보, 상기 디스플레이 화면에 표시되는 하나 이상의 멤버에 대한 상기 기준 동작 데이터로서의 동작 트랙, 및 음악 정보를 포함하는 음악 트랙을 포함하는 것을 특징으로 하는 인터랙티브 서비스 시스템.
  12. 제11항에 있어서,
    상기 디스플레이 화면에 표시되는 복수의 멤버들 중 임의의 어느 하나를 선택한 레퍼토리에 대하여,
    상기 동작 트랙은, 해당 멤버의 골격 마디의 종단점이나 관절에 대한 좌표값, 또는 골격 마디의 각도값을 포함하는 신체부위트랙; 및 시간 구간별 동작의 이름,　동작의 중요도,　신체 부위별 중요도,　또는 동작의 난이도를 포함한 메타 정보 트랙을 포함하는 것을 특징으로 하는 인터랙티브 서비스 시스템.
  13. 제10항에 있어서,
    상기 게임/교습 관리자는, 상기 사용자의 동작에 대한 상기 기준 동작 데이터와의 신체부위별 시간적 또는 공간적 일치성에 대한 유사도에 따라 구분하여 구분된 표시방법으로 상기 디스플레이 화면에 표시하거나 스피커를 통해 음성으로 피드백하는 것을 특징으로 하는 인터랙티브 서비스 시스템.
  14. 제10항에 있어서,
    상기 게임/교습 관리자는, 상기 기준 동작 데이터에 따라 기준 동작을 수행하는 캐릭터 위에 상기 사용자의 동작을 실루엣으로 중첩하여 상기 디스플레이 화면에 표시하는 것을 특징으로 하는 인터랙티브 서비스 시스템.
  15. 제10항에 있어서,
    상기 게임/교습 관리자는, 상기 사용자의 동작에 대한 동작 단위별로 상기 유사도의 점수 크기에 따라 구분하여 상기 디스플레이 화면 상의 서로 다른 영역에 아이콘으로 표시하는 것을 특징으로 하는 인터랙티브 서비스 시스템.
  16. 제 10 항에 있어서,
    상기 게임/교습 관리자는, 상기 기준 동작 데이터를 분석하여, 상기 디스플레이 화면에,
    동작 단위별 순차적인 타임라인 구조의 구획을 표시하는 동작 구성 지도,
    상기 동작 구성 지도에 표시된 동작 구획별로 중요도를 나타내는 등락 그래프를 포함한 동작 트랙 메타정보, 또는
    상기 동작 구획별 요약 정보를 표시하며 해당 동작 구획별로 게임이나 교습이 가능하도록 사용자가 선택 가능한 아이콘의 집합
    을 표시하는 것을 특징으로 하는 인터랙티브 서비스 시스템.
  17. 제10항에 있어서,
    상기 게임/교습 관리자는, 상기 레퍼토리 데이터에 포함된 생체역학정보를 이용해 상기 사용자의 동작에 따른 상기 유사도에 따라 칼로리 소모량을 산출하고, 상기 사용자의 동작에 대한 칼로리 소모량을 상기 디스플레이 화면에 표시하는 것을 특징으로 하는 인터랙티브 서비스 시스템.
  18. 제10항에 있어서,
    상기 레퍼토리 데이터는, 상기 인터랙티브 서비스 장치에 관리되어 제공되거나, 외부의 게임/교습 출판 장치를 통해 상기 레퍼토리 데이터를 입수하는 네트워크 상의 서버를 통해 온라인으로 제공되거나, 또는 사용자들의 상기 레퍼토리에 대한 해당 게임이나 교습에 따른 동작 수행 결과가 개인 프로파일로서 상기 서버로 제공된 후 상기 서버에서 온라인으로 제공되는 것을 특징으로 하는 인터랙티브 서비스 시스템.
KR1020150013277A 2015-01-28 2015-01-28 동작 기반 인터랙티브 서비스 방법 및 시스템 KR101711488B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150013277A KR101711488B1 (ko) 2015-01-28 2015-01-28 동작 기반 인터랙티브 서비스 방법 및 시스템
US14/663,188 US20160216770A1 (en) 2015-01-28 2015-03-19 Method and system for motion based interactive service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150013277A KR101711488B1 (ko) 2015-01-28 2015-01-28 동작 기반 인터랙티브 서비스 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20160093131A KR20160093131A (ko) 2016-08-08
KR101711488B1 true KR101711488B1 (ko) 2017-03-03

Family

ID=56434440

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150013277A KR101711488B1 (ko) 2015-01-28 2015-01-28 동작 기반 인터랙티브 서비스 방법 및 시스템

Country Status (2)

Country Link
US (1) US20160216770A1 (ko)
KR (1) KR101711488B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101826268B1 (ko) 2017-04-28 2018-02-06 동국대학교 산학협력단 동작 예측 방법 및 시스템
KR20200072931A (ko) * 2018-12-13 2020-06-23 (주)아이유웰 피트니스 컨텐츠의 재생 방법
KR102183562B1 (ko) * 2020-01-02 2020-11-26 주식회사 씨제이이엔엠 인터랙티브 리듬 게임 제공 방법 및 인터랙티브 콘텐츠 시스템
KR20220109981A (ko) * 2021-01-29 2022-08-05 경남대학교 산학협력단 견습생 평가를 위한 가상 교육 시스템, 방법 및 이를 수행하기 위한 컴퓨팅 장치

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092430B (zh) * 2016-02-18 2020-03-24 纬创资通（中山）有限公司 空间绘画计分方法、用于进行空间绘画计分的装置及系统
US10628664B2 (en) * 2016-06-04 2020-04-21 KinTrans, Inc. Automatic body movement recognition and association system
US10748444B2 (en) 2016-06-13 2020-08-18 Electronics And Telecommunications Research Institute Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same
JP6871379B2 (ja) * 2017-07-07 2021-05-12 りか 高木 治療及び／又は運動の指導プロセス管理システム、治療及び／又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
CN108205654B (zh) * 2017-09-30 2021-06-04 北京市商汤科技开发有限公司 一种基于视频的动作检测方法及装置
KR102027877B1 (ko) 2017-10-11 2019-10-02 여의(주) 댄스 싱크로 분석 및 랭킹 결정 시스템
US20190259475A1 (en) * 2018-02-20 2019-08-22 SameDay Security, Inc. Connected Kiosk for the Real-Time Assessment of Falls Risk
KR101970687B1 (ko) * 2018-04-11 2019-04-19 주식회사 큐랩 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템
CN108664896A (zh) * 2018-04-16 2018-10-16 彭友 基于OpenPose的击剑动作获取方法及计算机存储介质
CN110428486B (zh) * 2018-04-28 2022-09-27 上海史贝斯健身管理有限公司 虚拟互动的健身方法、电子设备及存储介质
KR102097534B1 (ko) 2018-07-25 2020-04-06 주식회사 키네틱랩 사용자의 모션 인식 기반 댄스 게임을 제공하는 방법 및 장치
KR20200042143A (ko) 2018-10-15 2020-04-23 주식회사 더브이엑스 댄싱 룸 서비스 시스템 및 그 방법
CN109753868B (zh) * 2018-11-14 2023-09-29 深圳卡路里体育技术有限公司 运动动作的评估方法及装置、智能手环
KR102174695B1 (ko) * 2018-11-15 2020-11-05 송응열 객체 움직임 인식 방법 및 장치
KR102200998B1 (ko) * 2018-11-27 2021-01-11 (주)투케이시스템 가상현실 기반 근골격 건강 상태 측정 시스템
US20220062702A1 (en) * 2019-01-11 2022-03-03 Sony Group Corporation Information processing apparatus and information processing method
US10776981B1 (en) * 2019-06-07 2020-09-15 Snap Inc. Entertaining mobile application for animating a single image of a human body and applying effects
KR102201050B1 (ko) * 2019-07-04 2021-01-11 주식회사 펀웨이브 댄스모션 분석 평가장치 및 방법
CN118212693A (zh) 2019-08-18 2024-06-18 聚好看科技股份有限公司 显示设备及界面显示方法
CN113678137B (zh) * 2019-08-18 2024-03-12 聚好看科技股份有限公司 显示设备
CN113596590B (zh) * 2020-04-30 2022-08-26 聚好看科技股份有限公司 显示设备及播放控制方法
US11295527B2 (en) * 2019-08-30 2022-04-05 Sprongo, LLC Instant technique analysis for sports
JP7339604B2 (ja) * 2019-11-12 2023-09-06 オムロン株式会社 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム
CN111757254B (zh) * 2020-06-16 2022-09-13 北京软通智慧科技有限公司 一种滑冰运动分析方法、装置、系统及存储介质
KR102196275B1 (ko) 2020-06-18 2020-12-29 (주)창의발레소예 창의력 향상을 위한 발레 관련 컨텐츠 프로그램과 제공 방법 및 장치
KR102289830B1 (ko) * 2020-10-05 2021-08-13 최준석 발레레슨방법
CN112272324B (zh) * 2020-10-15 2023-03-14 聚好看科技股份有限公司 一种跟练模式控制方法及显示设备
KR102299414B1 (ko) * 2020-11-23 2021-09-07 스튜디오아트원 주식회사 댄스 커리큘럼 추천 시스템 및 댄스 커리큘럼 추천 서버
US20220277663A1 (en) * 2021-02-26 2022-09-01 Justin A Tehrani Guided Learning Systems, Devices, and Methods
KR102324579B1 (ko) * 2021-05-13 2021-11-10 국기봉 댄스 매칭 방법 및 시스템
KR102401955B1 (ko) * 2021-05-20 2022-05-25 (주)에어패스 Fsm 특성을 활용한 ar 스포츠 게임 콘텐츠 제공시스템
CN113569743B (zh) * 2021-07-29 2024-06-18 上海健指树健康管理有限公司 基于肢体识别技术的健身评估方法及系统
CN113591726B (zh) * 2021-08-03 2023-07-14 电子科技大学 一种太极拳训练动作的交叉模态评估方法
KR102412595B1 (ko) * 2021-09-09 2022-06-24 주식회사 치즈앤 3d 캐릭터를 활용한 특수촬영물 제작 서비스 제공 방법 및 장치
KR102355008B1 (ko) * 2021-10-26 2022-01-25 아이픽셀 주식회사 동작 인식 기반 상호작용 방법 및 기록 매체
WO2023079987A1 (ja) * 2021-11-04 2023-05-11 ソニーグループ株式会社 配信装置、配信方法、およびプログラム
US20230302357A1 (en) * 2022-03-22 2023-09-28 Rovi Guides, Inc. Systems and methods for analyzing video data of predictive movements

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100226652B1 (ko) * 1993-08-10 1999-10-15 가타야마 미도리 신체의 동작법을 지도하기 위한방법
KR100412932B1 (ko) * 2000-10-11 2003-12-31 주식회사 닷에이스 모션 게임 장치의 모션 데이터 디스플레이 방법 및 평가방법
KR20050082559A (ko) * 2004-02-19 2005-08-24 주식회사 소니컴퓨터 엔터테인먼트 코리아 댄스 학습 시스템, 이를 이용한 인터넷 커뮤니티 서비스시스템과 인터넷 커뮤니티 서비스 방법, 댄스 학습 방법및 상기 방법들을 실행하는 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체
TWI377055B (en) * 2007-08-10 2012-11-21 Ind Tech Res Inst Interactive rehabilitation method and system for upper and lower extremities
IT1399855B1 (it) * 2010-04-28 2013-05-09 Technogym Spa Apparato per l'esecuzione assistita di un esercizio ginnico.
US20130089844A1 (en) * 2011-10-07 2013-04-11 Ikkos, Llc Motion training using body stimulations
KR20130059578A (ko) * 2011-11-29 2013-06-07 주식회사 코어필 댄스방 게임 장치 및 방법
US20130252216A1 (en) * 2012-03-20 2013-09-26 Microsoft Corporation Monitoring physical therapy via image sensor
US9652992B2 (en) * 2012-10-09 2017-05-16 Kc Holdings I Personalized avatar responsive to user physical state and context
US20140134584A1 (en) * 2012-11-12 2014-05-15 Barry French Fitness assessment method and system
US20140287389A1 (en) * 2013-03-14 2014-09-25 The Regents Of The University Of California Systems and methods for real-time adaptive therapy and rehabilitation
CN105228708B (zh) * 2013-04-02 2017-08-29 日本电气方案创新株式会社 身体动作评分装置、舞蹈评分装置、卡拉ok装置以及游戏装置
US20160163224A1 (en) * 2014-12-05 2016-06-09 PEAR Sports LLC Dynamic Video Coaching System

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101826268B1 (ko) 2017-04-28 2018-02-06 동국대학교 산학협력단 동작 예측 방법 및 시스템
KR20200072931A (ko) * 2018-12-13 2020-06-23 (주)아이유웰 피트니스 컨텐츠의 재생 방법
KR102157322B1 (ko) * 2018-12-13 2020-09-17 (주)아이유웰 피트니스 컨텐츠의 재생 방법
KR102183562B1 (ko) * 2020-01-02 2020-11-26 주식회사 씨제이이엔엠 인터랙티브 리듬 게임 제공 방법 및 인터랙티브 콘텐츠 시스템
KR20220109981A (ko) * 2021-01-29 2022-08-05 경남대학교 산학협력단 견습생 평가를 위한 가상 교육 시스템, 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102511498B1 (ko) * 2021-01-29 2023-03-16 경남대학교 산학협력단 견습생 평가를 위한 가상 교육 시스템, 방법 및 이를 수행하기 위한 컴퓨팅 장치

Also Published As

Publication number Publication date
KR20160093131A (ko) 2016-08-08
US20160216770A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
KR101711488B1 (ko) 동작 기반 인터랙티브 서비스 방법 및 시스템
Raheb et al. Dance interactive learning systems: A study on interaction workflow and teaching approaches
JP6137935B2 (ja) 身体動作評価装置、カラオケシステム、及びプログラム
Fothergill et al. Instructing people for training gestural interactive systems
US20180374383A1 (en) Coaching feedback system and method
KR101936692B1 (ko) 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법
Kwon et al. Combining body sensors and visual sensors for motion training
JP6082101B2 (ja) 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置
KR101966040B1 (ko) 댄스 게임 장치 및 이를 이용한 댄스 게임 방법
US11620252B2 (en) System for recorded e-book digital content playout
CN105396279A (zh) 用于实现团体运动成果的系统和方法
US11682157B2 (en) Motion-based online interactive platform
US20200335007A1 (en) Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same
US11954869B2 (en) Motion recognition-based interaction method and recording medium
CA2610640A1 (en) An interactive audio-visual displaying system and a method thereof
Kico et al. Assessing the learning of folk dance movements using immersive virtual reality
JP2014023745A (ja) ダンス教習装置
US20140310640A1 (en) Interactive digital art apparatus
US20230162458A1 (en) Information processing apparatus, information processing method, and program
Bergner et al. First steps in dance data science: Educational design
KR102171319B1 (ko) 동작 교본 저작 장치, 동작 자가 학습 장치 및 방법
KR102095647B1 (ko) 스마트기기를 이용한 동작 비교장치 및 동작 비교장치를 통한 댄스 비교방법
WO2010084490A1 (en) Method and system for movement training
CN113496634A (zh) 一种基于单向视频交互的模拟驾驶训练方法
Hamanishi et al. Motion-specific browsing method by mapping to a circle for personal video observation with head-mounted displays

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 4