KR20140071086A

KR20140071086A - 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템

Info

Publication number: KR20140071086A
Application number: KR1020120139034A
Authority: KR
Inventors: 김은선; 송화영; 이유진; 정하영
Original assignee: 삼성전자주식회사
Priority date: 2012-12-03
Filing date: 2012-12-03
Publication date: 2014-06-11
Also published as: EP2738743A3; US9754414B2; CN103853913A; EP2738743A2; CN103853913B; US20140152698A1; KR101984915B1

Abstract

본 발명은 증강 현실에 관한 것으로, 단말기에 포함된 카메라를 이용하여 현실 세계의 일정 영역에 해당하는 영상을 획득하는 과정, 상기 획득된 영상을 기반으로 상기 현실 세계의 일정 영역에 대응하는 가상 공간을 구축하고 상기 가상 공간에 포함된 이미지 요소들을 적어도 하나의 배경 객체로 구분하여 표시하는 표시 과정, 적어도 하나의 사용자 컨텐츠를 상기 배경 객체에 매핑하여 증강 현실 컨텐츠를 생성하는 생성 과정을 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법과 이를 지원하는 단말기 및 시스템의 구성을 개시한다.

Description

증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템{Supporting Portable Device for operating an Augmented reality contents and system, and Operating Method thereof}

본 발명은 증강 현실 컨텐츠에 관한 것으로, 특히 사용자 희망에 따라 다양한 증강 현실 컨텐츠를 용이하게 생성할 수 있도록 지원하며 이를 기반으로 다양한 증강 현실 컨텐츠를 이용할 수 있도록 지원하는 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템에 관한 것이다.

증강 현실은 현실 세계와 가상 세계를 연결하여 현실 세계의 다양한 대상들에 대한 정보를 가상 세계를 통하여 얻거나 대상 운용을 수행할 수 있도록 지원하는 개념이다. 이러한 증강 현실 서비스 지원을 위하여 종래에는 증강 현실을 제공하는 서비스 제공 업체가 사전 저장된 현실 세계의 영상 정보 및 영상 정보에 포함된 대상물들의 정보를 저장하고, 이를 기반으로 증강 현실 서비스를 요청하는 단말기에 증강 현실 컨텐츠를 제공해 왔다.

상술한 종래 증강 현실 서비스는 서비스 제공 업체가 주축이 되어 정보를 제공해왔기 때문에 서비스 제공 업체가 보유한 정보의 양에 따라 특정 지역의 대상물에 대응하여 제공되는 증강 현실 컨텐츠 정보가 한정적이거나 없는 경우가 많았다. 결국 최근에는 증강 현실 서비스를 찾는 이용자들이 점차적으로 줄어드는 추세에 있다.

한편 증강 현실 컨텐츠는 카메라를 통하여 현실 세계를 바라보기 때문에 기본적으로 단말기에 표시되는 대상이 현실 그대로의 공간을 나타내는 특징이 있다. 종래에는 이러한 현실 세계의 일정 영역에 대응하는 가상 공간에 정보를 기입하기 위해서 다양한 툴에 대한 조작 능력과 수많은 시행착오에 따른 경험 및 이를 보정하기 위한 노력과 시간이 요구되었다. 결과적으로 이러한 요구 사항들은 새로운 증강 현실 컨텐츠 제작을 어렵게 하고 있으며, 그에 따른 증강 현실 컨텐츠 부족 문제를 더욱 악화시키고 있다.

따라서 본 발명의 목적은 전술된 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 증강 현실 컨텐츠 제작을 제한적인 입력 환경을 가지는 휴대 단말기에서도 보다 손쉽고 빠르게 생성할 수 있도록 지원하는 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템을 제공함에 있다.

또한 본 발명은 생성된 증강 현실 컨텐츠 공유를 통하여 증강 현실 서비스의 폭넓은 이용 및 그에 따른 직관적인 정보 획득이 가능하도록 지원하는 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명은 현실 세계의 일정 영역에 해당하는 영상을 기반으로 구축된 가상 공간 및 상기 가상 공간에 포함된 이미지 요소들을 기반으로 마련된 적어도 하나의 배경 객체, 상기 배경 객체에 매핑된 적어도 하나의 사용자 컨텐츠 및 영상 획득 위치 정보를 포함하는 증강 현실 컨텐츠를 생성 및 제공하는 단말기, 상기 단말기로부터 상기 증강 현실 컨텐츠를 수신하여 저장하는 증강 현실 제공 서버 장치를 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 시스템의 구성을 개시한다.

본 발명은 또한, 현실 세계의 일정 영역에 해당하는 영상을 획득하는 카메라부, 상기 획득된 영상을 기반으로 상기 현실 세계의 일정 영역에 대응하여 구축된 가상 공간 및 상기 가상 공간에 포함된 이미지 요소들을 기반으로 마련된 적어도 하나의 배경 객체를 표시하는 표시부, 적어도 하나의 사용자 컨텐츠를 상기 배경 객체에 매핑하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용을 지원하는 단말기의 구성을 개시한다.

본 발명은 또한, 증강 현실 서비스 이용을 위한 모드 선택에 따라 주변 영상 및 현재 위치 정보를 수집하는 과정, 상기 현재 위치 정보 및 주변 영상을 증강 현실 제공 서버 장치에 전송하는 과정, 상기 증강 현실 제공 서버 장치로부터 상기 현재 위치 정보에 해당하는 증강 현실 컨텐츠에서 상기 주변 영상에 매핑된 사용자 컨텐츠를 수신하는 과정, 상기 수신된 사용자 컨텐츠를 상기 주변 영상과 함께 출력하는 출력 과정을 포함하고, 상기 증강 현실 컨텐츠는 특정 단말기에 포함된 카메라로 수집된 영상을 기반으로 마련된 현실 세계의 일정 영역에 해당하는 가상 공간 및 상기 가상 공간의 이미지 요소들을 기반으로 구분된 적어도 하나의 배경 객체에 특정 사용자 컨텐츠를 매핑하여 생성되고 상기 단말기의 위치 정보가 포함된 컨텐츠인 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법의 구성을 개시한다.

본 발명은 또한, 증강 현실 서비스 이용을 위한 모드 선택에 따라 주변 영상 및 현재 위치 정보를 수집하는 과정, 상기 현재 위치 정보에 해당하는 증강 현실 컨텐츠를 검출하는 과정, 상기 증강 현실 컨텐츠에서 상기 주변 영상에 해당하는 영역을 검출하는 과정, 상기 주변 영상에 해당하는 영역에 매핑된 사용자 컨텐츠를 상기 주변 영상과 함께 출력하는 출력 과정을 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법의 구성을 개시한다.

본 발명은 또한, 단말기에 포함된 카메라를 이용하여 현실 세계의 일정 영역에 해당하는 영상을 획득하는 과정, 상기 획득된 영상을 기반으로 상기 현실 세계의 일정 영역에 대응하는 가상 공간을 구축하고 상기 가상 공간에 포함된 이미지 요소들을 적어도 하나의 배경 객체로 구분하여 표시하는 표시 과정, 적어도 하나의 사용자 컨텐츠를 상기 배경 객체에 매핑하여 증강 현실 컨텐츠를 생성하는 생성 과정을 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법의 구성을 개시한다.

이상에서 살펴본 바와 같이 본 발명의 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템에 따르면, 본 발명은 증강 현실 컨텐츠 제작을 직관적이며 쉽고 빠르게 제작할 수 있도록 지원하며, 사용자가 희망하는 다양한 컨텐츠를 자신의 기호에 따라 증강 현실에 적용하도록 함으로써 사용자 중심의 컨텐츠 이용을 지원한다.

또한 본 발명은 사용자 중심으로 제작된 다양한 증강 현실 컨텐츠의 공유를 통하여 보다 폭넓고 흥미 있는 컨텐츠들의 공유를 가능케 하며 그에 따라 방대한 증강 현실 컨텐츠 제공을 기반으로 사용자별 기호와 요구에 적절히 부응할 수 있도록 지원한다.

도 1은 본 발명의 실시 예에 따른 증강 현실 컨텐츠 운용을 지원하는 단말기의 구성을 나타낸 블록도.
도 2는 도 1의 제어부 구성을 보다 상세히 나타낸 도면.
도 3은 도 2의 제어부 구성 중 증강 현실 컨텐츠 저작 지원부 구성을 보다 상세히 나타낸 도면.
도 4는 도 2의 증강 현실 컨텐츠 운용부 구성을 보다 상세히 나타낸 도면.
도 5는 본 발명의 실시 예에 따른 증강 현실 컨텐츠 운용 중 컨텐츠 저작 방법을 설명하기 위한 도면.
도 6은 본 발명의 증강 현실 컨텐츠 운용 중 컨텐츠 편집 방법을 설명하기 위한 도면.
도 7 내지 도 13은 본 발명의 실시 예에 따른 사용자 컨텐츠 배치 방식 선정을 설명하기 위한 도면.
도 14는 본 발명의 실시 예에 따른 증강 현실 컨텐츠의 일 예 및 편집을 설명하기 위한 화면 예시도.
도 15는 본 발명의 실시 예에 따른 증강 현실 컨텐츠 저작을 설명하기 위한 화면 예시도.
도 16은 본 발명의 실시 예에 따른 증강 현실 컨텐츠 이용을 설명하기 위한 화면 예시도.
도 17은 본 발명의 실시 예에 따른 증강 현실 컨텐츠 운용 시스템의 구성을 개략적으로 나타낸 도면.

이하, 본 발명의 실시 예를 첨부된 도면에 의거하여 상세히 설명한다.

실시 예를 설명함에 있어서 본 발명이 속하는 기술분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 또한, 실질적으로 동일한 구성과 기능을 가진 구성 요소들에 대해서는 상세한 설명을 생략하도록 한다.

마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.

도 1은 본 발명의 실시 예에 따른 증강 현실 컨텐츠 운용을 지원하는 단말기(100)의 구성을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 증강 현실 컨텐츠 운용 기능 지원의 단말기(100)는 통신부(110), 입력부(120), 오디오 처리부(130), 표시부(140), 저장부(150), 카메라부(170), 모션 센서부(180), 위치 정보 수집 모듈 예컨대 GPS 모듈(190) 및 제어부(160)의 구성을 포함하여 구성될 수 있다.

이와 같은 구성을 가지는 본 발명의 증강 현실 컨텐츠 운용 기능 지원의 단말기(100)는 카메라부(170)를 기반으로 증강 현실 컨텐츠의 배경 객체를 수집하여 가상 공간을 구축하고, 구축된 가상 공간 상에 사용자가 지정한 적어도 하나의 사용자 컨텐츠를 배치하여 증강 현실 컨텐츠를 생성하도록 지원한다. 이 과정에서 본 발명의 단말기(100)는 모션 센서부(180)를 이용하여 가상 공간 상에 배치할 사용자 컨텐츠들의 배치 방식을 정의하도록 지원하며, 이에 따라 사용자는 단말기(100) 동작 제어를 통하여 가상 공간 상에 사용자 컨텐츠들의 배치 방식을 선택할 수 있다. 추가로 본 발명의 단말기(100)는 제작된 증강 현실 컨텐츠 편집 기능을 지원하며, 제작한 증강 현실 컨텐츠를 특정 서버 장치에 업로드하거나 업로드된 증강 현실 컨텐츠를 수신 운용할 수 있도록 지원한다. 상기 배경 객체는 사용자 컨텐츠를 매핑할 수 있는 가상 공간에 배치된 적어도 하나의 이미지 요소 또는 객체가 될 수 있으며, 카메라부(170)가 수집한 영상에서 특정 부분에 해당할 수 있다.

상기 통신부(110)는 증강 현실 컨텐츠 업로드 및 다운로드를 위한 통신 채널 형성을 지원하며, 사용자 선택에 따라 특정 증강 현실 컨텐츠 전송 또는 수신을 지원할 수 있다. 특히 통신부(110)는 증강 현실 다운로드를 위한 상황에서 단말기(100)의 현재 위치 정보 또는 영상 획득 위치 정보를 수집하여 특정 서버 장치에 제공함으로써 단말기(100)가 현재 위치한 지역 주변의 증강 현실 컨텐츠를 보다 신속하고 용이하게 검색할 수 있도록 지원할 수 있다. 상기 통신부(110) 관련 운용과 관련하여 후술하는 시스템 도면을 통하여 보다 상세히 설명하기로 한다.

입력부(120)는 단말기(100) 운용에 필요한 다양한 입력 신호를 생성하는 구성이다. 상기 입력부(120)는 버튼키나, 사이드 키, 홈 키 등 특정 키 형태로 형성됨은 물론, 풀 터치스크린 지원을 위해 가상 터치패드로 제공될 수도 있다. 여기서 가상 터치패드는 표시부(140) 상에 표시되어 사용자 터치에 따른 입력 신호를 생성할 수 있도록 지원하는 구성이 될 수 있다. 특히 본 발명의 입력부(120)는 본 발명의 증강 현실 컨텐츠 제작 모드를 활성화하는 입력 신호, 카메라부(170) 기반으로 수집된 배경 객체들을 이용하여 가상 공간을 구축하도록 요청하는 입력 신호, 구축된 가상 공간을 적용할지를 결정하기 위한 입력 신호, 가상 공간 상에 배치할 사용자 컨텐츠들을 지정하기 위한 입력 신호 등을 생성할 수 있다. 또한 입력부(120)는 가상 공간 상에 사용자 컨텐츠 배치 방식을 지정하는 과정에서 단말기(100)의 모션의 시작을 지정하기 위한 입력 신호 및 모션의 종료를 지정하기 위한 입력 신호를 사용자 제어에 따라 생성할 수 있다. 그리고 입력부(120)는 가상 공간 상에 사용자 컨텐츠들을 배치하기 위한 입력 신호, 배치된 사용자 컨텐츠들의 위치나 크기 조작을 위한 입력 신호 등을 사용자 제어에 따라 생성할 수 있다. 추가로 입력부(120)는 저장부(150)에 저장된 증강 현실 컨텐츠 데이터베이스 중에 특정 증강 현실 컨텐츠를 선택하여 운용하도록 지시하는 입력 신호, 증강 현실 컨텐츠 데이터베이스 중 서버 장치에 전송할 컨텐츠를 선택하는 입력 신호 등을 생성할 수 있다.

오디오 처리부(130)는 단말기(100)의 오디오 신호 처리 관련 기능을 지원한다. 이를 위하여 오디오 처리부(130)는 마이크(MIC)와 스피커(SPK)를 포함할 수 있다. 특히 오디오 처리부(130)는 본 발명의 증강 현실 컨텐츠 제작 과정에서 필요한 오디오 신호를 수집하기 위한 기능 지원을 수행할 수 있다. 예컨대 오디오 처리부(130)는 증강 현실 컨텐츠 제작 과정에서 가상 공간에 배치된 배경 객체들 중 적어도 하나의 배경 객체에 할당할 오디오 파일 생성을 위한 녹음 기능을 지원할 수 있다. 한편 오디오 처리부(130)는 증강 현실 컨텐츠 이용 과정에서 특정 오디오 파일이 할당된 배경 객체에 대한 이미지가 수집되면 해당 배경 객체에 할당된 오디오 파일을 재생하여 출력하도록 지원할 수 있다. 또한 오디오 처리부(130)는 증강 현실 컨텐츠 제작 과정에서 가상 공간에 배치된 다양한 배경 객체들에 사용자 컨텐츠들을 할당하는 과정에서 할당 완료 등을 나타내는 효과음이나 안내음 출력을 지원할 수 있다.

표시부(140)는 본 발명의 단말기(100) 기능 운용과 관련된 다양한 화면을 출력하는 구성이다. 이러한 표시부(140)는 터치 기능 지원을 위하여 터치 패널이 장착된 터치스크린 형태로 마련될 수 있다. 상기 표시부(140)는 증강 현실 제작을 위하여 카메라부(170) 운용 화면, 획득된 이미지들을 기반으로 구축한 배경 객체들이 배치된 가상 공간 화면을 제공할 수 있다. 여기서 가상 공간 화면은 사용자 컨텐츠들이 배치될 수 있는 할당 영역들을 포함할 수 있다. 할당 영역들은 사용자 컨텐츠들의 배치 방식이 정해지면 그에 대응하여 가상 공간 상에 배치될 수 있으며, 동일한 크기 또는 서로 다른 크기, 일정 부분 겹쳐진 배치 형태 등으로 제공될 수 있다. 또한 상기 표시부(140)는 가상 공간 상에 배치할 사용자 컨텐츠들 선택 화면, 선택된 사용자 컨텐츠들의 배치 방식 안내 화면, 사용자 컨텐츠들이 배치된 증강 현실 컨텐츠 화면을 제공할 수 있다. 그리고 상기 표시부(140)는 사용자 요청에 따라 증강 현실 컨텐츠 편집 화면 등을 제공할 수 있다. 상술한 표시부(140) 화면들에 대해서 후술하는 도면을 참조하여 보다 상세히 설명하기로 한다.

저장부(150)는 본 발명의 증강 현실 컨텐츠 제작, 편집, 이용을 수행하기 위한 다양한 데이터와 프로그램을 저장하는 구성이다. 특히 저장부(150)는 사용자 컨텐츠 데이터베이스(153), 증강 현실 저작 지원 프로그램(151) 및 증강 현실 컨텐츠 데이터베이스(155)를 포함할 수 있다.

사용자 컨텐츠 데이터베이스(153)는 증강 현실 컨텐츠 저작 시 해당 가상 공간 상에 배치할 다양한 컨텐츠들이 될 수 있다. 예컨대 사용자 컨텐츠 데이터베이스(153)는 다수의 이미지나 사진들, 텍스트 정보, 오디오 파일 등을 포함할 수 있다. 사용자 컨텐츠 데이터베이스(153)는 사용자 요청에 따라 카메라부(170)를 통하여 새롭게 수집된 사진이나 웹 페이지 등으로부터 새로 추출한 이미지, 메모나 노트 기능을 통하여 새로 작성된 파일, 마이크(MIC) 기능 또는 통신 기능을 통하여 새로 수집된 오디오 파일 등에 의해 갱신될 수 있다. 또한 사용자는 사용자 컨텐츠 데이터베이스(153)에 저장된 데이터들을 삭제할 수도 있다. 사용자 컨텐츠 데이터베이스(153)에 저장되는 컨텐츠들은 일정 속성 예컨대 날짜별, 데이터 확장자별, 제목별 등으로 그룹핑되어 검색 지원될 수 있다.

증강 현실 저작 지원 프로그램(151)은 본 발명의 증강 현실 컨텐츠 제작을 지원하는 다양한 루틴들을 저장하는 구성이다. 예를 들면, 증강 현실 저작 지원 프로그램(151)은 증강 현실 컨텐츠 제작 모드 선택을 위한 메뉴 항목이나 아이콘 제공 루틴, 모드 선택 시 카메라부(170)를 활성화하고 가상 공간 구축을 위한 이미지 획득을 지원하는 루틴, 획득된 이미지들을 기반으로 가상 공간을 구축하는 루틴을 포함할 수 있다. 여기서 가상 공간을 구축하는 루틴은 가상 공간을 일정 구획으로 구분하거나 또는 가상 공간 상에 배치된 다양한 객체들을 배경 객체로 구분하는 루틴을 포함할 수 있다. 한편 증강 현실 저작 지원 프로그램(151)은 가상 공간 상에 배치할 사용자 컨텐츠를 선택할 수 있도록 지원하는 루틴, 사용자 컨텐츠들의 배치 방식 선택을 지원하는 루틴, 배치 방식에 따라 가상 공간 상에 사용자 컨텐츠들의 배치 가능한 할당 영역들을 제공하는 루틴 등을 포함할 수 있다. 추가로 증강 현실 저작 지원 프로그램(151)은 저장된 증강 현실 컨텐츠를 편집 지원하는 루틴을 포함할 수 있다.

증강 현실 컨텐츠 데이터베이스(155)는 증강 현실 저작 지원 프로그램(151)에 의하여 생성된 증강 현실 컨텐츠를 저장하는 구성이다. 상술한 다양한 루틴들을 이용하여 생성된 증강 현실 컨텐츠는 제작 날짜와 제작 위치 등에 관한 정보를 포함하여 증강 현실 컨텐츠 데이터베이스(155)에 저장될 수 있다. 한편 증강 현실 컨텐츠 데이터베이스(155)는 통신부(110)를 통하여 증강 현실 제공 서버 장치가 제공한 증강 현실 컨텐츠도 저장할 수 있다. 또한 증강 현실 컨텐츠 데이터베이스(155)에 저장된 증강 현실 컨텐츠는 사용자 선택에 따라 증강 현실 제공 서버 장치에 업로드될 수 도 있다.

카메라부(170)는 단말기(100) 일측에 배치되어 피사체에 대한 영상을 수집하는 구성이다. 카메라부(170)가 수집한 영상은 제어부(160)에 전달될 수 있다. 특히 카메라부(170)가 수집한 영상은 사용자 컨텐츠 데이터베이스(153)에 사용자 컨텐츠로서 저장될 수 있다. 또한 카메라부(170)는 증강 현실 컨텐츠 제작 과정에서 가상 공간 구축을 위한 일정 이미지들을 획득하고 이를 제어부(160)에 제공할 수 있다. 그리고 카메라부(170)는 증강 현실 컨텐츠 이용 과정에서 프리뷰 영상 또는 실시간 영상을 획득하고 이를 제어부(160)에 제공할 수 있다.

모션 센서부(180)는 본 발명의 증강 현실 컨텐츠 제작 과정에서 사용자 컨텐츠들의 배치 방식을 선정하기 위한 다양한 모션 센서 신호를 수집하는 구성이다. 이러한 모션 센서부(180)는 단말기(100)의 움직임과 관련된 정보 예컨대 단말기의 움직임 방향, 움직임 거리, 움직임 속도 등을 포함할 수 있다. 움직임 방향은 전후좌우상하 및 해당 방향 기준 사이의 모든 방향을 포함한다. 이를 위하여 모션 센서부(180)는 지자기 센서, 가속도 센서, 자이도 센서 등 단말기(100)의 움직임과 관련된 정보를 수집할 수 있는 다양한 센서들 중 적어도 하나를 포함할 수 있다. 상술한 모션 센서부(180)는 증강 현실 컨텐츠 제작 모드 활성화 시 자동으로 활성화되거나 또는 사용자 컨텐츠 배치 방식 선정 시 자동으로 활성화될 수 있다. 이를 위하여 단말기(100)는 사용자 컨텐츠 배치 방식 선정을 위한 기능을 제공할 수 있다. 한편 모션 센서부(180)는 센싱된 센서 신호를 제어부(160)에 제공한다. 모션 센서부(180)가 수집한 모션 센서 신호는 증강 현실 컨텐츠 저작, 편집, 이용 과정 중 적어도 하나의 과정에서 이용될 수 있다. 예컨대 증강 현실 컨텐츠 저작 과정에서 모션 센서 신호는 사용자 컨텐츠들의 배치 방식 산정을 위하여 이용될 수 있다. 또한 증강 현실 컨텐츠 이용 과정에서 모션 센서 신호는 사용자 컨텐츠 브라우징 수행 과정에 이용될 수 있다. 예컨대 제어부(160)는 증강 현실 컨텐츠 이용 과정에서 모션 센서부(180)가 제공하는 모션 센서 신호에 따른 특정 배경 객체 매핑된 사용자 컨텐츠의 줌 인/줌 아웃 기능을 지원할 수 있다. 또한 제어부(160)는 사용자 컨텐츠의 특정 기능 예컨대 음악 컨텐츠가 특정 배경 객체에 할당된 경우 해당 배경 객체에 대한 이미지를 카메라부(170)를 통하여 수집한 상태에서 특정 모션 센서 신호가 발생하면 배경 객체 할당된 음악을 재생하도록 지원할 수 있다. 또한 제어부(160)는 동일한 방식으로 특정 배경 객체에 매핑된 동영상 재생을 지원하거나. 이미지를 표시부(140) 전체에 출력하는 이미지 풀 브라우징 기능을 지원할 수 있다.

GPS 모듈(190)은 증강 현실 컨텐츠가 제작되는 과정에서 활성화되어 현재 위치 정보를 수집한다. 그리고 GPS 모듈(190)은 현재 위치 정보를 제어부(160)에 제공할 수 있다. 또한 GPS 모듈(190)은 증강 현실 컨텐츠 이용 시 현재 위치 정보를 수집하여 제어부(160)에 제공할 수 있다. GPS 모듈(190)에 의해 수집된 위치 정보는 증강 현실 컨텐츠에 포함되어 저장될 수 있으며, 저장된 위치 정보는 증강 현실 컨텐츠 이용 시 단말기(100)의 현재 위치 정보와 비교되어 어떠한 증강 현실 컨텐츠를 호출할 것인지 결정하는데 이용될 수 있다. 또한 GPS 모듈(190)이 수집하는 위치 정보는 증강 현실 컨텐츠에 함께 저장되어 컨텐츠 공유 시 제공될 수 있다.

제어부(160)는 본 발명의 실시 예에 따른 증강 현실 컨텐츠 운용을 지원하기 위한 다양한 데이터의 수집과 처리, 이를 위한 신호 처리와 전달 및 제어를 수행하는 구성이다. 특히 제어부(160)는 본 발명의 증강 현실 컨텐츠 운용을 위하여 도 2에 도시된 바와 같은 구성을 포함할 수 있다.

도 2는 본 발명의 실시 예에 따른 제어부(160) 구성을 보다 상세히 나타낸 도면이다.

도 2를 참조하면, 본 발명의 제어부(160)는 카메라 운용부(40), 증강 현실 컨텐츠 저작 지원부(20) 및 증강 현실 컨텐츠 운용부(30)의 구성을 포함할 수 있다.

카메라 운용부(40)는 카메라부(170) 구동을 위한 다양한 신호 처리와 제어 및 수집된 이미지의 전달을 제어하는 구성이다. 특히 카메라 운용부(40)는 본 발명의 증강 현실 컨텐츠 제작 모드 활성화 시 카메라부(170)를 활성화하도록 제어하고 입력부(120) 또는 입력 기능의 표시부(140)로부터 입력되는 입력 이벤트에 따라 단말기(100)의 현재 위치에서의 주변 영상을 수집하도록 제어할 수 있다. 카메라 운용부(40)는 카메라부(170)가 수집한 영상들을 증강 현실 컨텐츠 저작 지원부(20)에 제공할 수 있다.

한편 카메라 운용부(40)는 증강 현실 컨텐츠 이용 모드가 활성화된 경우, 카메라부(170)를 활성화하고, 카메라부(170)를 통하여 수집되는 프리뷰 영상 또는 실시간 저장 영상을 증강 현실 컨텐츠 운용부(30)에 제공할 수 있다. 즉 카메라 운용부(40)는 단말기(100)에 설정된 모드에 따라 카메라부(170)를 활성화한 후 카메라부(170)가 수집한 영상을 증강 현실 컨텐츠 저작 지원부(20) 또는 증강 현실 컨텐츠 운용부(30)에 제공할 수 있다.

증강 현실 컨텐츠 저작 지원부(20)는 본 발명의 증강 현실 컨텐츠 저작을 지원하는 구성이다. 이를 위하여 증강 현실 컨텐츠 저작 지원부(20)는 도 3에 도시된 바와 같이 객체 인식부(21), 모션/궤적 트래킹부(22), 사용자 컨텐츠 조작 지원부(23), 사용자 컨텐츠 배치 공간 계산부(24) 및 사용자 컨텐츠 매핑부(25)의 구성을 포함한다.

객체 인식부(21)는 카메라부(170)가 제공한 영상들을 기반으로 가상 공간을 구축하고, 구축된 가상 공간에 포함된 이미지 요소들을 객체로 인식하는 구성이다. 이를 위하여 객체 인식부(21)는 카메라부(170)가 복수의 영상을 제공하면 제공된 영상들의 경계를 이어 붙여 하나의 가상 공간을 생성할 수 있다. 또는 객체 인식부(21)는 연속 영상 예컨대 파노라마 영상을 카메라부(170)로부터 제공받는 경우 해당 영상을 하나의 가상 공간으로 운용할 수 있다. 한편 객체 인식부(21)는 가상 공간이 지정되면 지정된 가상 공간 내의 객체 검출을 수행한다.

예컨대 객체 인식부(21)는 전달받은 영상들에 대한 필터링을 수행하여 경계점들을 찾고, 경계점들로 이루어진 폐곡면을 하나의 객체로 인식할 수 있다. 이 과정에서 객체 인식부(21)는 영상 필터링 과정에서 그림자 영역을 검출하고, 검출된 그림자 영역은 객체에서 제외하도록 제어할 수도 있다. 객체 인식부(21)는 카메라부(170)가 제공하는 정지 영상 또는 연속된 영상들에 대하여 객체 인식을 수행하고, 인식된 객체들에 대한 정보를 사용자 컨텐츠 매핑부(25)에 제공할 수 있다. 추가로 객체 인식부(21)는 카메라부(170)가 제공한 연속 영상들 또는 복수의 영상들을 일정 프레임 단위 또는 일정 구획 단위로 구분하고, 구분된 구획들을 일정 객체로 인식하도록 제어할 수도 있다.

모션/궤적 트래킹부(22)는 사용자 컨텐츠들의 배치 방식 선정을 지원하는 구성이다. 이를 위하여 모션/궤적 트래킹부(22)는 배치 방식 선정 모드 상태를 알리거나 또는 배치 방식 선정 모드 선택을 위한 아이콘이나 메뉴 제공을 지원할 수 있다. 그리고 배치 방식 선정 기능에 진입하면 모션/궤적 트래킹부(22)는 다양한 안내를 통하여 단말기(100)의 동작 수행을 지원할 수 있다. 사용자는 모션/궤적 트래킹부(22)가 제공하는 안내음이나 안내 문자 또는 안내 이미지 등을 표시부(140)나 오디오 처리부(130) 등을 통하여 안내 받으면서 증강 현실 컨텐츠 생성에 적용할 사용자 컨텐츠들의 배치 방식을 위한 단말기(100) 조작을 수행할 수 있다. 이 과정에서 모션/궤적 트래킹부(22)는 수집된 영상들로 구성된 가상 공간을 표시부(140)에 표시하도록 함으로써 사용자 컨텐츠들의 배치 방식 선정에 참고할 수 있도록 지원한다.

본 발명의 단말기(100)에서의 모션 인식은 기울어짐 인식, 속도 인식, 단말기(100)의 궤적 트래킹 등을 포함할 수 있다. 기울어짐 인식은 단말기(100)의 기울어짐을 감지할 수 있는 모션 센서부(180)의 센서를 이용하여 기울어짐에 따른 센서 신호 수집을 통하여 수행될 수 있으며, 이 과정에서 기울어진 값을 사용자 컨텐츠의 증강 현실 컨텐츠 저작에 적용할 수 있다. 예컨대 단말기(100)의 기울어진 값만큼 특정 배경 객체에 매핑된 사용자 컨텐츠도 기울어져서 배치되도록 설정될 수 있다.

속도 인식은 모션 센서부(180)의 속도 감지를 지원하는 센서를 이용하여 수행되며 사용자 컨텐츠들을 가상 공간 상에 연속으로 배치하는 과정에서, 배치될 사용자 컨텐츠 사이즈, 사용자 컨텐츠 수 등의 값을 가지고 사용자 컨텐츠들 간 간격을 계산에 이용될 수 있다. 예컨대 단말기(100)는 이동 속도 빠른 경우 사용자 컨텐츠들 간의 간격을 길게, 이동 속도가 느린 경우 사용자 컨텐츠들 간의 간격을 짧게 하는 배치 방식 적용을 지원할 수 있다.

단말기(100)의 궤적 트래킹은 단말기(100)의 움직임을 추적하여, 움직이기 시작한 시점을 기준으로 움직인 궤적을 트래킹한 센서 신호들에 의하여 정의될 수 있다. 여기서 단말기(100)는 움직임의 시작과 끝을 명확히 알리기 위한 입력 등을 별도로 정의하도록 지원할 수 있다. 예를 들어, 단말기(100)는 터치가 가능한 모바일 기기에서 스크린을 터치한 상태에서 기기를 움직였을 때, 터치한 시점이 기기의 움직임의 시작점이고, 움직인 후 터치를 해제하면 기기의 움직임의 끝점으로 인식할 수 있도록 지원한다.

사용자 컨텐츠 조작 지원부(23)는 입력부(120) 및 입력 기능의 표시부(140)로부터 입력된 입력 이벤트를 사용자 컨텐츠 매핑부(25)에 제공하는 구성이다. 이러한 사용자 컨텐츠 조작 지원부(23)는 입력 수단으로부터 생성된 입력 이벤트들 중에 증강 현실 컨텐츠에 적용될 사용자 컨텐츠의 조작을 위한 입력 이벤트들을 확인하고 이를 사용자 컨텐츠 매핑부(25)에 제공할 수 있다. 예컨대 사용자 컨텐츠 조작 지원부(23)는 사용자 컨텐츠의 크기를 늘리거나 줄이기 위한 입력 이벤트, 사용자 컨텐츠들의 위치 변경 또는 다른 사용자 컨텐츠로의 변경 위한 입력 이벤트들을 사용자 컨텐츠 매핑부(25)에 제공할 수 있다.

사용자 컨텐츠 배치 공간 계산부(24)는 모션/궤적 트래킹부(22) 제어에 의하여 수집된 모션 센서 신호를 기반으로 사용자 컨텐츠들의 배치 방식을 계산하는 구성이다. 예컨대 사용자 컨텐츠 배치 공간 계산부(24)는 모션 센서 신호에 따라 가상 공간 상에 일정 개수의 사용자 컨텐츠들을 배치할 위치와 각 사용자 컨텐츠들 간의 간격, 사용자 컨텐츠들의 크기, 사용자 컨텐츠들의 겹침 등을 계산할 수 있다. 이를 위하여 사용자 컨텐츠 배치 공간 계산부(24)는 모션 센서 신호를 기반으로 배경 객체들의 구분 및 배경 객체들의 위치 선정을 계산할 수 있다. 즉 사용자 컨텐츠 배치 공간 계산부(24)는 단말기(100)의 움직임에 따른 가상 공간 상에서의 깊이 배치 요소와 위치 배치 요소, 이동 궤적 및 속도 등에 대응하는 배경 객체들의 구분 또는 배경 객체들의 위치 선정을 지원한다.

사용자 컨텐츠 매핑부(25)는 사용자 컨텐츠 배치 공간 계산부(24)가 제공한 사용자 컨텐츠들의 배치 방식을 기반으로 객체 인식부(21)가 제공한 가상 공간 상의 객체들에 사용자 컨텐츠들을 매핑하도록 지원하는 구성이다. 이를 위하여 사용자 컨텐츠 매핑부(25)는 사용자가 지정한 사용자 컨텐츠들의 개수에 대한 정보를 확인하고, 해당 사용자 컨텐츠들의 개수에 대응하는 객체들을 선정한다. 그리고 사용자 컨텐츠 매핑부(25)는 해당 객체들에 사용자 컨텐츠들을 매핑하되 모션 센서 신호를 기반으로 선정된 배치 방식에 따라 사용자 컨텐츠들을 겹치거나 일정 간격 이격시켜 배치하도록 제어할 수 있다. 사용자가 지정한 사용자 컨텐츠들의 개수 정보가 없는 경우 사용자 컨텐츠 매핑부(25)는 디폴트로 설정된 사용자 컨텐츠들의 개수를 적용할 수 있다.

한편 사용자 컨텐츠 매핑부(25)는 객체 인식부(21)가 제공한 객체들 및 사용자 컨텐츠 배치 공간 계산부(24)가 제공한 사용자 컨텐츠 배치 방식을 이용하여 사용자 컨텐츠들의 할당 영역들을 생성하고, 해당 할당 영역들을 가상 공간 상에 배치한 화면을 제공할 수 있다. 이를 통하여 사용자 컨텐츠 매핑부(25)는 사용자가 특정 객체에 매핑하기를 희망하는 특정 사용자 컨텐츠를 직접 선택하도록 지원할 수 있다. 연속 촬영된 영상에서 일정 구역별 정지 영상을 배경 객체들로 할당한 가상 공간의 경우 사용자 컨텐츠 매핑부(25)는 각 정지 영상들에 사용자 컨텐츠들을 할당함으로써 증강 현실 컨텐츠 이용 시 각 정지 영상들을 사용자 컨텐츠들을 호출하는 트리거로 이용할 수 있도록 지원한다. 여기서 연속 촬영 영상의 경우 카메라부(170)의 동영상 촬영 기능 활성화 상태에서 일정 방향으로 촬영 각도를 움직임에 따라 수집될 수 있는 영상이다. 사용자 컨텐츠 배치 방식 선정 및 사용자 컨텐츠 배치와 관련된 설명은 후술하는 도면들을 참조하여 보다 상세히 설명하기로 한다.

한편 증강 현실 컨텐츠 운용부(30)는 증강 현실 서비스 이용이 선택되면 카메라부(170)를 기반으로 현실 세계에 대응하는 사용자 컨텐츠 출력을 지원하는 구성이다. 이러한 증강 현실 컨텐츠 운용부(30)는 도 4에 도시된 바와 같이 객체 트래킹부(31) 및 사용자 컨텐츠 출력부(33)를 포함할 수 있다.

객체 트래킹부(31)는 증강 현실 서비스 이용 모드가 선택되면 카메라부(170)를 활성화하도록 제어한다. 그리고 객체 트래킹부(31)는 카메라부(170)가 수집하는 프리뷰 영상 또는 실시간 저장 영상을 분석하여 현재 수집된 영상을 특정 증강 현실 컨텐츠와 비교할 수 있다. 이를 위하여 객체 트래킹부(31)는 GPS 모듈(190)을 활성화하도록 제어하고, GPS 모듈(190)을 이용하여 현재 위치 정보를 수집한다. 그리고 객체 트래킹부(31)는 현재 위치 정보와 동일한 위치 정보 또는 일정 오차 범위 내의 위치 정보를 가지는 증강 현실 컨텐츠를 저장부(150)에 저장된 증강 현실 컨텐츠 데이터베이스(155)에서 검출할 수 있다. 이 과정에서 객체 트래킹부(31)는 오차 범위에 해당하는 만큼의 거리에 따라 수집된 이미지에 포함된 객체들의 크기 또는 특징점들의 크기를 보상할 수 있다. 즉 객체 트래킹부(31)는 오차 범위가 클 경우 수집된 이미지의 객체들의 크기 또는 객체들의 특징점들의 크기를 수집 시점보다 크게 또는 작게 적용할 수 있다. 여기서 특징점은 이미지에 포함된 객체들 간의 배치 형태나 객체들의 경계선 등 다양한 정보를 포함한다.

한편 객체 트래킹부(31)는 활성화된 카메라부(170)가 수집한 영상을 검출된 증강 현실 컨텐츠의 특정 구역과 비교하여 동일 또는 유사한 구역을 증강 현실 컨텐츠에서 확인한다. 이 과정에서 객체 트래킹부(31)는 수집된 영상의 크기 조정 및 일정 오차 범위 이내의 일치율을 가지는 가상 공간의 일정 영역을 검출한다. 가상 공간 상의 일정 영역이 검출되면 객체 트래킹부(31)는 이를 사용자 컨텐츠 출력부(33)에 제공한다.

사용자 컨텐츠 출력부(33)는 객체 트래킹부(31)가 특정 객체를 특정 가상 공간 상에서 검출하면, 해당 객체에 할당된 사용자 컨텐츠를 확인한다. 그리고 사용자 컨텐츠 출력부(33)는 확인된 사용자 컨텐츠를 현재 카메라부(170)가 수집한 영상 화면에 출력하도록 지원할 수 있다. 이 과정에서 사용자 컨텐츠 출력부(33)는 사용자 컨텐츠를 화면 일측에 출력하거나 해당 화면에서 특정 컨텐츠에 해당하는 이미지의 인접된 영역에 출력하도록 지원할 수 있다. 또한 사용자 컨텐츠 출력부(33)는 출력할 컨텐츠가 오디오 파일인 경우 표시부(140) 화면 상에서 오디오 파일임을 안내하는 메시지를 출력하고 해당 오디오 파일을 오디오 처리부(130)를 통하여 출력하도록 지원할 수 있다.

도 5는 본 발명의 실시 예에 따른 증강 현실 컨텐츠 저작을 위한 단말기 운용을 설명하기 위한 도면이다.

도 5를 참조하면, 단말기(100)의 제어부(160)는 단말기 구동을 위하여 501 단계에서 공급된 전원을 단말기 각 구성에 분배하도록 제어한다. 예컨대 제어부(160)는 증강 현실 컨텐츠 저작 기능 선택 등을 위하여 해당 기능 선택을 위한 아이콘이나 메뉴 등이 표시되는 표시부(140)에 전원을 공급할 수 있다.

다음으로 제어부(160)는 503 단계에서 증강 현실 컨텐츠 저작 기능 활성화 여부 확인한다. 즉 제어부(160)는 증강 현실 컨텐츠 저작 모드 선택을 위한 입력 이벤트 발생이 있는 확인한다. 이 단계에서 제어부(160)는 발생된 입력 이벤트가 증강 현실 컨텐츠 저작 모드 선택을 위한 이벤트가 아닌 경우 505 단계로 분기하여 해당 입력 이벤트에 따른 기능 수행을 지원하도록 제어할 수 있다. 예컨대 제어부(160)는 입력 이벤트의 종류에 따라 단말기(100)가 지원하는 통화 기능, 파일 재생 기능, 파일 검색 기능, 파일 편집 기능, 파일 전송 기능, 통화 기능, 방송 수신 기능 등을 수행하도록 지원할 수 있다. 또는 제어부(160)는 입력 이벤트에 따라 이하 도 6에서 설명하는 증강 현실 컨텐츠 편집 기능 수행을 지원할 수도 있다.

한편 제어부(160)는 503 단계에서 증강 현실 컨텐츠 저작 모드 선택을 위한 입력 이벤트가 발생하면, 507 단계로 분기하여 가상 공간 구축을 지원한다. 이를 위하여 제어부(160)는 카메라부(170)를 활성화하고, 사용자 입력에 따라 주변 영상을 수집하도록 지원한다. 이때 제어부(160)는 주변 환경을 연속으로 촬영한 영상들 또는 파노라마 영상 등을 수집할 수 있도록 지원할 수 있다. 그리고 제어부(160)는 수집된 영상들을 이어 붙인 후 현실 세계의 일정 범위에 해당하는 가상 공간 이미지를 생성하도록 지원한다. 여기서 제어부(160)는 생성된 가상 공간 이미지를 저장부(150)에 임시 또는 반영구적으로 저장하도록 지원할 수 있다. 또한 제어부(160)는 GPS 모듈(190)을 활성화하여 현재 단말기(100)의 위치 정보를 수집하고, 수집된 위치 정보를 가상 공산 이미지에 포함시켜 저장하도록 제어할 수 있다.

다음으로 제어부(160)는 509 단계에서 획득된 가상 공간 이미지에서 배경 객체 획득을 수행한다. 이를 위하여 제어부(160)는 가상 공간 이미지를 일정 크기의 영역별로 구획하고, 구획된 각 영역들을 일정 객체로 구분할 수 있다. 또는 제어부(160)는 가상 공간 이미지를 필터링한 후 필터링된 결과를 토대로 해당 이미지에 포함된 일정 객체들을 검출하고, 검출된 객체들을 배경 객체로 구분할 수 있다. 이때 제어부(160)는 검출된 객체들에 대하여 일정 크기 이상의 객체들을 배경 객체로 할당하거나, 객체들 간의 이격 거리가 일정 거리 이내로 군집된 객체들을 하나의 배경 객체로 할당하도록 제어할 수도 있다.

한편 제어부(160)는 가상 공간 및 배경 객체 획득이 완료되면, 사용자 컨텐츠 배치 방식 획득을 위한 단말기(100) 제어를 수행할 수 있다. 이를 위하여 제어부(160)는 사용자가 희망하는 사용자 컨텐츠 배치 방식을 안내할 수 있다. 예컨대 제어부(160)는 단말기(100) 모션에 따라 어떠한 방식으로 사용자 컨텐츠들을 배치할 배치 방식이 형성되는지를 일정 텍스트나 이미지 등을 표시부(140)에 출력하거나 안내음 출력을 지원할 수 있다. 사용자는 상술한 안내 정보를 기반으로 특정 배치 방식 선택을 위한 단말기(100) 동작 제어를 수행할 수 있다. 이 과정에서 배치 방식 선택을 위한 단말기(100) 동작 구분을 위하여 사용자는 사전 정의된 특정 버튼 키나 표시부(140)의 가상 터치버튼을 선택하여 동작의 시작을 위한 입력 신호를 생성하고, 동작 완료 후 동작 종료를 위한 입력 신호를 생성할 수 있다. 이를 위하여 제어부(160)는 상술한 시작 신호 및 종료 신호 생성을 위한 버튼 키 할당 또는 가상 터치 키 출력을 지원할 수 있다. 제어부(160)는 사용자의 동작에 따른 모션 신호가 수집되면, 수집된 모션 신호에 따라 사용자 컨텐츠들의 배치 위치와 배치 깊이 등을 계산하고, 이를 기반으로 사용자 컨텐츠들의 배치를 위한 방식을 산정한다.

배치 방식이 산정되면, 제어부(160)는 513 단계에서 배치 방식에 따라 지정된 복수의 사용자 컨텐츠를 가상 공간 상에 배치도록 지원한다. 이때 제어부(160)는 가상 공간 상에 출력할 사용자 컨텐츠들의 수가 정해진 경우 배치 방식 산정 시 해당 사용자 컨텐츠들의 개수에 따른 배치 방식 산정을 수행할 수 있다. 그리고 제어부(160)는 가상 공간에 적용할 사용자 컨텐츠들의 개수가 지정되지 않은 경우 디폴트로 정의된 일정 개수를 기준으로 사용자 컨텐츠들의 배치 방식 산정을 수행할 수 있다.

또한 제어부(160)는 사용자 컨텐츠들의 수의 가변 및 사용자 컨텐츠들의 위치 변경이나 사이즈 변경 등을 용이하게 할 수 있도록 배경 객체들에 대응하는 할당 영역들을 생성하고 이를 가상 공간 상에 출력하도록 지원할 수 있다. 할당 영역들은 사용자 컨텐츠들을 매핑할 수 있는 영역들로서, 사용자 조작에 따라 개수가 늘어나거나 줄어들 수 있다. 할당 영역들의 적용 사례에 대해서 후술하는 도면을 참조하여 보다 상세히 설명하기로 한다.

다음으로, 제어부(160)는 515 단계에서 저작 완료를 위한 입력 이벤트 발생이 있는지 여부를 확인한다. 그리고 제어부(160)는 저작 완료를 위한 입력 이벤트 발생이 있는 경우 저작 완료된 증강 현실 컨텐츠를 저장부(150)에 저장하도록 제어하고, 단말기(100)의 특정 기능 예컨대 대기 화면이나, 증강 현실 컨텐츠 저작 기능 직전에 수행되던 기능으로 리턴하도록 제어할 수 있다. 한편 제어부(160)는 저작 미완 시 507 단계 이전으로 분기하여 증강 현실 컨텐츠 저작을 위한 과정 또는 새로운 증강 현실 컨텐츠 저작을 위한 과정을 지원할 수 있다.

도 6은 본 발명의 실시 예에 따른 증강 현실 컨텐츠 편집을 위한 단말기 운용을 설명하기 위한 도면이다.

도 6을 참조하면, 단말기(100)의 제어부(160)는 특정한 입력 이벤트가 발생하면 601 단계에서 증강 현실 컨텐츠 편집 기능 활성화를 위한 입력 이벤트 발생 여부를 확인한다. 이를 위하여 단말기(100)는 증강 현실 컨텐츠 편집 기능 선택을 위한 메뉴 항목이나 아이콘을 제공할 수 있다.

601 단계에서 수신된 입력 이벤트가 증강 현실 컨텐츠 편집 기능을 위한 입력 이벤트가 아닌 경우 제어부(160)는 603 단계로 분기하여 해당 입력 이벤트에 따른 기능 수행을 지원할 수 있다. 예컨대 제어부(160)는 입력 이벤트의 따른 파일 재생 기능이나 증강 현실 컨텐츠 이용 기능, 증강 현실 제공 서버 장치 접속 기능 등을 수행할 수 있으며, 또한 증강 현실 컨텐츠 저작 기능 수행을 지원할 수도 있다.

한편 601 단계에서 입력 이벤트가 증강 현실 컨텐츠 편집 기능을 위한 입력 이벤트이면 제어부(160)는 605 단계로 분기하여 편집을 위하여 증강 현실 컨텐츠 데이터베이스(155)에서 선택된 증강 현실 컨텐츠를 리사이징하도록 제어할 수 있다. 즉 제어부(160)는 편집을 위해 선택된 증강 현실 컨텐츠 전체를 표시부(140) 화면에서 확인할 수 있도록 크기를 조정한다. 여기서 제어부(160)는 편집을 위해 선택된 증강 현실 컨텐츠 크기가 표시부에 대응하는 크기이면 605 단계에서 기재한 리사이징 기능을 생략할 수도 있다.

다음으로 제어부(160)는 607 단계에서 표시부(140)에 증강 현실 컨텐츠 전체를 표시하도록 제어한다. 이 과정에서 제어부(160)는 가상 공간의 배경 객체와 사용자 컨텐츠들을 구분하여 표시할 수 있다. 예컨대 제어부(160)는 배경 객체의 색과 사용자 컨텐츠들의 색을 다르게 하거나 구분된 색인 할당을 통하여 구분되도록 지원할 수 있다. 그러면 사용자는 배경 객체들과 사용자 컨텐츠들의 배치를 확인을 통하여 사용자 컨텐츠들이 할당되지 않은 추가 배경 객체들이 있는지 알 수 있고, 이에 따라 특정 사용자 컨텐츠들을 다른 배경 객체에 매핑되도록 입력 이벤트 생성을 위한 단말기(100) 조작을 수행할 수 있다. 또는 사용자는 특정 배경 객체들에 매핑된 사용자 컨텐츠들을 서로 교체하거나 다른 사용자 컨텐츠로 교체하는 등의 입력 이벤트 생성을 위한 단말기 조작을 수행할 수 있다. 즉 사용자는 배경 객체에 할당된 사용자 컨텐츠를 매핑 해제하거나, 새로운 사용자 컨텐츠를 특정 배경 객체에 매핑하거나, 배경 객체에 할당된 사용자 컨텐츠의 크기를 리사이징하는 입력 이벤트 생성을 위한 단말기(100) 조작을 수행한다. 이에 따라 제어부(160)는 편집을 위한 입력 이벤트에 대응하여 이전 저장된 증강 현실 컨텐츠의 배경 객체들과 사용자 컨텐츠들의 매핑 정보를 편집할 수 있다.

제어부(160)는 상술한 입력 이벤트들이 생성되면, 해당 입력 이벤트에 따른 사용자 컨텐츠들의 이동, 교체, 삭제, 추가, 조정을 포함하는 편집 과정을 609 단계에서 수행한다.

그리고 제어부(160)는 611 단계에서 편집 종료를 위한 입력 이벤트 발생 여부를 확인한다. 이 단계에서 편집 종료를 위한 입력 이벤트 발생이 없는 경우 제어부(160)는 605 단계 이전으로 분기하여 이하 과정을 재수행하도록 지원한다. 한편 제어부(160)는 611 단계에서 편집 종료를 위한 입력 이벤트 발생 시, 편집된 증강 현실 컨텐츠 저장을 수행하고, 편집 기능 직전에 수행된 단말기(100) 기능으로 리턴하거나 대기 화면 또는 메뉴 화면 등으로 리턴하도록 지원할 수 있다.

이상에서 설명한 바와 같이 본 발명의 실시 예에 따른 증강 현실 컨텐츠 운용을 위한 단말기 및 이의 운용 방법에서는 표시부(140) 크기가 제한적인 단말기(100)를 이용하여 증강 현실 컨텐츠를 제작하되 보다 간소화된 방식과 편리한 방식을 통하여 증강 현실의 가상 공간 상에 사용자의 희망에 따른 사용자 컨텐츠 배치를 수행하도록 지원한다. 특히 본 발명은 사용자 컨텐츠 배치 과정에서 가상 공간에 표시할 배치 방식을 단말기(100)의 동작 조작을 통하여 입력할 수 있도록 함으로써 용이한 배치 방식 선정을 지원할 수 있다. 이하 도 7 내지 도 13을 참조하여 상술한 사용자 컨텐츠들의 배치 방식의 다양한 예를 보다 상세히 설명하기로 한다.

도 7 내지 도 13은 본 발명의 사용자 컨텐츠들의 배치 방식 선정을 설명하기 위한 도면이다. 설명에 앞서, 증강 현실에서 제공되는 가상 공간은 이미지들 내에 포함된 이미지 요소들을 배경 객체로 구분하고, 각 배경 객체들에 사용자 컨텐츠들을 매핑할 수 있도록 지원한다. 이때 배경 객체들은 2차원 표시부(140) 상에 입체감을 가지며 표시될 수 있기 때문에 사용자는 가상 공간 상에 다수의 사용자 컨텐츠들을 단순히 일정 간격으로 배치하도록 운용하는 것뿐만 아니라 깊이를 가지며 배치되도록 하는 배치 방식을 선정할 수도 있다.

먼저, 도 7을 참조하면, 사용자가 단말기(100)를 파지하고 도시된 바와 같이 단말기(100)를 사용자의 왼편에서 오른편으로 이동시키되 반원형으로 이동시키는 경우, 단말기(100)는 곡선형 배치 방식을 산정할 수 있다. 특히 사용자는 단말기(100) 이동 과정에서 단말기(100)를 수평 방향으로 반원형 이동시키는 경우 즉 사용자의 왼편 일정 위치에서 몸통의 바깥쪽으로 멀어지는 방향으로 단말기(100)를 곡선 이동시킨 후 다시 사용 사용자의 오른편 일정 위치로 단말기(100)를 이동시킬 수 있다. 그러면 단말기(100)는 도시된 바와 같이 사용자 컨텐츠들(101)을 배치하되, 좌우 가장자리에 배치되는 사용자 컨텐츠들은 상대적으로 작은 크기를 가지도록 적용하고 중심 쪽에 배치된 사용자 컨텐츠들을 상대적으로 큰 크기를 가지도록 하는 배치 방식을 산정할 수 있다. 또는 단말기(100)는 좌우 가장자리 배치 사용자 컨텐츠들을 상대적으로 큰 크기를 가지도록 적용하고, 중심 쪽에 배치된 사용자 컨텐츠들을 상대적으로 작은 크기를 가지도록 하는 배치 방식을 산정할 수 있다.

다음으로, 도 8을 참조하면, 사용자는 단말기(100)를 바닥과 수직이 되도록 세우고 사용자 자신의 위치 먼 쪽에서 가까운 쪽으로 당기는 동작을 수행할 수 있다. 그러면 단말기(100)는 모션 센서부(180)를 이용하여 이동에 따른 센서 신호를 수집하고 이를 기반으로 단말기(100)의 동작 상태를 확인할 수 있다. 특히 단말기(100)는 이동에 따른 속도 정보를 함께 수집하고, 이를 기반으로 도시된 바와 같이 사용자 컨텐츠들(101)의 배치 방식 산정을 수행할 수 있다. 즉 단말기(100)는 사용자로부터 먼 쪽에는 사용자 컨텐츠를 상대적으로 작은 크기로 배치하도록 정의하고 가까운 쪽에는 사용자 컨텐츠를 상대적으로 큰 크기로 배치하도록 정의할 수 있다. 그리고 단말기(100)는 이동 속도의 변화에 따라 속도가 빠른 구간에는 사용자 컨텐츠들의 배치 간격을 크게 하며, 느린 구간에는 사용자 컨텐츠들의 배치 간격을 좁게 산정할 수 있다.

도 9를 참조하면, 사용자는 단말기(100)를 파지하고 수평 방향으로 원형 회전을 수행할 수 있다. 그러면 단말기(100)는 모션 센서부(180)를 이용하여 단말기(100)가 바닥과 수평 방향으로 원형 방향으로 회전된 상태를 파악할 수 있으며, 이를 기반으로 사용자 컨텐츠들(101)의 가상 공간에서의 배치 방식을 도시된 바와 같이 원형으로 산정할 수 있다.

또한 도 10을 참조하면, 사용자는 단말기(100)를 파지한 상태에서 도시된 바와 같이 좌측 일정 영역에서 몸통의 바깥쪽 방향이되 더 좌측으로 치우쳐 단말기(100)를 이동시킨 후 방향을 전환하여 우측 몸통 가까운 방향으로 이동시키도록 동작할 수 있다. 이에 따라 단말기(100)는 좌측에서 우측 방향으로 호를 그리며 사용자 컨텐츠들(101)을 배치하되 좌측에 배치된 사용자 컨텐츠들의 배치 간격을 상대적으로 좁게 설정하도록 배치 방식을 산정할 수 있다.

한편 상기 도 7 내지 도 10에서 설명한 바와 같이 사용자 컨텐츠들(101)을 배치하는 배치 방식 산정에서 가상 공간 상에 깊이를 가지도록 설정하는 방법 외에 단말기(100)는 이하에서 설명하는 방식에서와 같이 일정 간격만을 가지는 배치 방식 선정을 지원한다.

즉, 도 11 내지 도 13에서 도시한 바와 같이, 사용자는 단말기(100)는 수평 상에서의 이동 없이 수직 상에서의 이동만을 수행할 수 있다. 즉 사용자는 도 11과 같이 수직 상에서 단말기(100)가 원을 그리도록 동작하거나, 도 12에서와 같이 단말기(100)가 수직 상에서 반호 형태로 움직이도록 동작하거나, 도 13에서와 같이 단말기(100)가 물결 형태로 움직이도록 동작할 수 있다. 그러면 단말기(100)는 각 도면들에 도시한 바와 같이 사용자 컨텐츠들(101)을 원형, 반호 형, 물결 형 등으로 배치되도록 배치 방식을 산정할 수 있다.

한편 본 발명의 사용자 컨텐츠들의 가상 공간 상의 배치 방식이 상술한 원형이나 반호, 물결 형 등에 한정되는 것은 아니며 사용자의 단말기(100) 모션 제어에 따라 다양한 형태로 정의될 수 있다. 특히 사용자 컨텐츠들의 배치 방식은 수평 방향으로의 이동을 가상 공간에서의 깊이 요소로 적용하며, 수직 방향으로 이동을 가상 공간에서의 평면의 위치 요소로 적용할 수 있다. 또는 단말기(100)는 수직 방향 이동을 깊이 요소로 수평 방향 이동을 평면 배치 위치 요소로 적용할 수도 있다. 사용자는 수평 방향 및 수직 방향 또는 수평과 수직의 대각 방향 등 자유로운 단말기(100) 움직임 제어를 통하여 가상 공간 상에 배치할 사용자 컨텐츠들의 배치 방식을 다양하게 선정하도록 요청할 수 있다. 이 과정에서 사용자는 배치 방식 선정의 시작과 종료를 지시하기 위하여 앞서 언급한 바와 같이 버튼 키 또는 가상 터치 키 선택과 해제를 수행할 수 있다.

도 14는 본 발명의 실시 예에 따라 제작된 증강 현실 컨텐츠 및 이의 편집 기능을 설명하기 위한 도면이다.

도 14를 참조하면, 본 발명의 증강 현실 컨텐츠 저작에 이용되는 가상 공간(141)은 1401에 나타낸 바와 같이 다수의 배경 객체들 41, 42, 43, 44와, 배경 객체들 41, 42, 43, 44에 매핑된 다수의 사용자 컨텐츠들 61, 62, 63, 64 및 다수의 할당 영역들 51, 52, 53, 54를 포함하여 구성될 수 있다. 여기서 가상 공간(141)은 앞서 언급한 바와 같이 연속된 촬영 영상 또는 다수의 영상들을 이어 붙여 마련될 수 있다.

한편 단말기(100)는 가상 공간(141) 상의 이미지들에 포함된 다양한 객체들을 수집하고, 수집된 객체들 중 적어도 하나를 배경 객체로서 결정할 수 있다. 특히 단말기(100)는 도시된 바와 같이 일정 영역별로 구획되는 이미지로부터 해당 구획 영역을 배경 객체들 41, 42, 43, 44로 선정할 수 있다. 또는 단말기(100)는 가상 공간(141)을 임의의 일정 영역들로 구분하고, 구분된 각 영역들을 배경 객체들 41, 42, 43, 44로 정의할 수 있다.

상기 단말기(100)는 각 배경 객체들 41, 42, 43, 44가 정의되면, 해당 배경 객체들 41, 42, 43, 44에 배치할 사용자 컨텐츠들 61, 62, 63, 64의 배치 위치에 해당하는 할당 영역들 51, 52, 53, 54를 도시된 바와 같이 제공할 수 있다. 할당 영역들 51, 52, 53, 54는 사용자 컨텐츠들 61, 62, 63, 64가 적용될 위치와 크기를 사전에 제공해주는 구성들로서 앞서 설명한 배치 방식이 선정되면 해당 배치 방식에 따라 일정 개수가 도시된 바와 같이 배치될 수 있다. 1401에서 나타낸 할당 영역들 51, 52, 53, 54의 배치 방식은 사용자가 단말기(100)를 파지하고 좌측에서 우측으로 단말기(100)를 수평 이동 시키되 몸 쪽에서 멀어지는 방향으로 이동시키는 동작을 취함에 따라 생성될 수 있다. 여기서 할당 영역 51은 할당 영역 54에 비하여 상대적으로 크게 제공될 수 있다. 할당 영역들 51, 52, 53, 54의 개수는 디폴트로 정의되거나 사용자가 특정 가상 공간(141)에 적용할 사용자 컨텐츠들 61, 62, 63, 64의 개수를 미리 정하는 경우 그에 대응하는 개수로 생성될 수 있다. 할당 영역들의 개수와 위치 및 크기 변경은 편집 기능을 통하여 제공될 수 있다.

제작된 증강 현실 컨텐츠 편집을 위한 기능이 선택되면 단말기(100)는 1403에서와 같이 편집 화면을 제공할 수 있다. 이를 위하여 단말기(100)는 증강 현실 컨텐츠 편집 기능 선택을 위한 메뉴 항목이 아이콘을 제공할 수 있다. 그리고 단말기(100)는 증강 현실 컨텐츠 편집 기능이 선택되면 증강 현실 컨텐츠 데이터베이스(155)에 저장된 다수의 증강 현실 컨텐츠를 리스트로 제공하고 그 중 특정 증강 현실 컨텐츠가 편집을 위하여 선택될 수 있다.

편집 기능 선택에 따라 단말기(100)는 도시된 바와 같은 증강 현실 컨텐츠의 전체 화면을 표시부에 출력하도록 지원할 수 있다. 그러면 사용자는 표시부에 출력된 가상 공간(141) 화면에서 사용자 컨텐츠들 61, 62, 63, 64의 배치나 종류를 변경할 수 있다. 예컨대 사용자는 배경 객체 43 위치의 할당 영역 53에 매핑된 사용자 컨텐츠 63을 할당 영역 54로 이동시키기 위한 입력 이벤트 예컨대 터치 드래그 이벤트를 생성할 수 있다. 이에 따라 할당 영역 53에는 매핑된 사용자 컨텐츠가 존재하지 않게 되며 단말기(100)는 사용자 컨텐츠 미 매핑된 상태임을 안내하기 위한 색인이나 이미지 등을 할당 영역 53에 출력할 수 있다. 한편 단말기(100)는 가상 공간(141) 상에 적용할 사용자 컨텐츠들의 목록 영역(60)을 도시된 바와 같이 일정 영역에 출력할 수 있다. 그러면 사용자는 목록 영역(60)에 배치된 사용자 컨텐츠들을 선택 및 이동시켜 특정 할당 영역에 배치하여 해당 배경 객체에 매핑하도록 제어할 수 있다. 여기서 목록 영역(60)에 배치된 사용자 컨텐츠들을 정지 영상이나 동영상의 이미지 컨텐츠들 및 오디오 컨텐츠(70)도 포함될 수 있다. 목록 영역(60)은 다른 사용자 컨텐츠들 61, 62, 63, 64를 검색할 수 있도록 스크롤 기능을 제공할 수 있으며, 편집 기능 완료 시 표시 상태가 해제되어 표시부(140)에서 제거될 수 있다.

사용자는 도시된 바와 같이 배경 객체 49 영역에 오디오 컨텐츠(70)를 매핑하기 위한 입력 이벤트 생성을 위한 조작을 수행할 수 있다. 배경 객체 49에는 별도의 할당 영역을 도시하지 않았으나, 단말기(100) 지원에 따라 해당 배경 객체 49에도 특정 할당 영역이 출력될 수 있을 것이다.

도 15는 본 발명의 실시 예에 따른 증강 현실 컨텐츠 저작을 설명하기 위한 도면이다.

도 15를 참조하면, 증강 현실 컨텐츠 제작 모드가 활성화된 상태에서 카메라부(170)를 통하여 연속된 촬영 영상 또는 다수의 영상이 수집되면 단말기(100)는 수집된 영상들을 기반으로 가상 공간(141)을 구축한다. 그리고 단말기(100)는 1501에서와 같이 구축된 가상 공간(141) 상에 배치된 이미지 요소들을 사전 정의된 일정 방식에 따라 구분하고, 구분된 영역을 배경 객체들 41, 42, 43, 44로 정의할 수 있다. 이와 함께 증강 현실 컨텐츠 저작을 위한 단말기(100)는 사용자 컨텐츠 목록 영역(60)을 출력하도록 지원한다. 여기서 단말기(100)는 사용자 컨텐츠 배치 방식을 앞서 설명한 방식을 통하여 사용자로부터 입력받거나 사전 정의된 일정 배치 방식 중 특정 방식을 랜덤하게 또는 사용자 선택에 따라 또는 가상 공간(141)의 구도에 따라 적응적으로 선택할 수 있다. 가상 공간(141)의 구도에 따른 선택은 가상 공간(141)의 이미지들의 배치를 분석하고 분석 결과에 따라 공간의 구도를 확인한 후, 해당 구도에 부합하도록 사전 정의된 일정 배치 방식을 선택함으로써 수행될 수 있다.

한편 증강 현실 컨텐츠 저작 기능 지원을 위하여 단말기(100)는 객체 수 증가 또는 감소 기능을 위한 객체 변화 항목(80)을 제공할 수 있다. 사용자가 객체 변화 항목(80)에서 객체 수 증가를 선택하는 경우 1505에서와 같이 객체 수가 증가된 생성 화면을 제공할 수 있다. 이를 위하여 단말기(100)는 가상 공간(141)에 배치된 객체들을 추가로 배경 객체로 선택하거나, 그룹 객체들을 하나의 배경 객체로 정의한 경우 해당 그룹을 해체하여 복수개의 배경 객체로 새로 정의할 수 있다. 예컨대 단말기(100)는 1501에서 배경 객체 41의 상부 공간은 특정 객체로 인식되었으나, 배경 객체들의 개수를 4개로 제한하는 디폴트 환경 또는 사용자 요청에 의하여 해당 객체를 배경 객체로 정의하지 않았다. 그리고 단말기(100)는 추가로 배경 객체의 수를 늘리기를 요청하는 입력 이벤트가 수신되면 도시된 바와 같이 배경 객체 41의 상부 공간을 배경 객체 45로 새로 정의할 수 있다. 새로 정의된 배경 객체 45 공간에는 할당 영역 55가 새롭게 할당될 수 있다. 동일한 방식으로 단말기(100)는 배경 객체 46, 47, 48 등을 새롭게 정의할 수 있으며, 해당 배경 객체들에 할당 영역 56, 57, 58 등을 할당할 수 있다. 이때 할당 영역들은 배경 객체의 크기나 배치 위치, 기울어짐과 같은 배치 상태에 따라 크기나 위치 및 기울어짐 등이 다르게 정의되어 할당될 수 있을 것이다. 한편 1505에서 배경 객체들의 개수 증가에 따라 사용자 컨텐츠 목록 영역(60) 역시 보다 확장되어 보다 많은 개수의 사용자 컨텐츠들을 선택할 수 있도록 지원할 수 있다.

1501에서 사용자가 사용자 컨텐츠 할당을 위한 동작을 수행하는 경우 1503에서와 같이 단말기(100)는 그에 대응하는 이미지 변화를 표시부에 출력하는 한편, 사용자 컨텐츠 할당에 따른 매핑 과정을 수행하도록 지원한다. 예컨대 목록 영역(60)에서 사용자 컨텐츠 63은 입력 이벤트에 의해 선택된 후 드래그 되어 할당 영역 53으로 이동될 수 있다. 그러면 단말기(100)는 할당 영역 53과 사용자 컨텐츠 63을 매핑하도록 지원한다. 추가로 단말기(100)는 배경 객체 43과 사용자 컨텐츠 63을 매핑하는 정보를 생성하여 저장한다. 또는 단말기(100)는 배경 객체들과 할당 영역들을 사전에 매핑한 정보를 제공할 수 있으며, 이를 토대로 사용자 컨텐츠들과 배경 객체들을 매핑한 정보를 제공할 수 있다.

1505에서 사용자 컨텐츠 할당을 위한 동작에 해당하는 입력 이벤트가 수신되는 경우 단말기(100)는 1503에서와 유사하게 1507에서와 같이 이미지 변화를 입력 이벤트에 따라 제공하고 그에 대응하는 매핑 작업을 수행할 수 있다. 예컨대 사용자 컨텐츠 69가 목록 영역(60)에서 선택된 후 할당 영역 56으로 이동되면 단말기(100)는 사용자 컨텐츠 69와 할당 영역 56을 매핑한 매핑 정보를 생성할 수 있다. 이때 단말기(100)는 할당 영역 56이 배치된 배경 객체 46과 사용자 컨텐츠 69에 대한 매핑 정보도 추가 작성하여 해당 증강 현실 컨텐츠에 포함되도록 지원할 수 있다.

또한 오디오 파일 타입인 사용자 컨텐츠 70이 선택되어 배경 객체 49로 이동되어 적어도 일부가 오버랩되면 단말기(100)는 사용자 컨텐츠 70과 배경 객체 49를 매핑한 매핑 정보를 생성할 수 있다. 배경 객체 49는 할당 영역이 제공되지 않은 구성의 예로서, 별도 할당 영역과 사용자 컨텐츠 매핑 정보 없이 사용자 컨텐츠와 배경 객체가 직접적으로 매핑된 매핑 정보를 저장하고 이를 기반으로 증강 현실 컨텐츠를 저작할 수 있는 예를 제시한 것이다. 즉 상술한 설명에서는 할당 영역들이 배치되는 증강 현실 컨텐츠에 대하여 주로 설명하였으나, 본 발명이 이에 한정되는 것은 아니며 본 발명의 단말기는 할당 영역들의 배치 없이 배경 객체들의 구분과 표시를 수행하고, 구분된 배경 객체들에 매핑된 사용자 컨텐츠들로 구성된 증강 현실 컨텐츠 제작을 지원할 수도 있다.

도 16은 본 발명의 실시 예에 따른 증강 현실 컨텐츠 이용 화면을 설명하기 위한 도면이다.

도 16을 참조하면, 증강 현실 컨텐츠 이용 모드에서, 사용자가 단말기(100)의 카메라부(170)를 이용하여 현실 공간(1)의 일정 영역에 해당하는 영상이 획득되면, 제어부(160)는 수집된 영상과 사전 저장된 증강 현실 컨텐츠 비교를 수행할 수 있다. 이 과정에서 단말기(100)는 GPS 모듈(190)을 활성화하여 현재 위치 정보를 수집하고, 수집된 위치 정보와 관련된 컨텐츠 예컨대 일정 거리 이내의 위치 정보를 가지는 증강 현실 컨텐츠를 증강 현실 컨텐츠 데이터베이스(155)에서 검색한다. 그리고 제어부(160)는 수집된 영상에 대응하는 영역을 위치 정보를 이용하여 검출된 증강 현실 컨텐츠의 어디 위치에 대응하는지 검색한다. 이 과정에서 제어부(160)는 수집된 영상의 특징점들을 추출하고, 해당 특징점들을 가지는 증강 현실 컨텐츠의 위치를 검출할 수 있다.

대응 영역이 검출되면, 제어부(160)는 증강 현실 컨텐츠의 해당 영역으로 정의된 배경 객체를 확인하고, 해당 배경 객체에 매핑된 사용자 컨텐츠를 검색하여 도시된 바와 같이 단말기의 표시부에 출력하도록 지원할 수 있다. 도시된 도면에서 현실 공간(1)의 좌상측 영역은 별도 물체가 제공되지 않은 영역이며, 단말기의 표시부에 출력된 영역에만 사용자 컨텐츠 65가 표시됨을 나타낸 것이다. 한편 사용자 컨텐츠 65는 동영상 컨텐츠가 될 수 있으며, 이에 따라 단말기의 제어부(160)는 디폴트 설정에 따라 또는 앞서 설명한 바와 같이 추가적인 단말기(100) 모션 센서 신호 수집에 따라 사용자 컨텐츠 65를 재생하도록 지원한다. 이에 따라 사용자 컨텐츠 65는 동영상이 재생되고 있는 상태가 될 수 있다. 또는 단말기(100)는 사용자 컨텐츠 65가 표시된 영역의 인접된 영역에 해당 컨텐츠 재생을 지시할 수 있는 링크된 텍스트나 아이콘을 배치할 수도 있다.

한편 단말기(100)는 현실 공간(1)의 우상측 영역에 해당하는 영상을 획득하고, 해당 배경 객체에 매핑된 사용자 컨텐츠 68을 표시부에 획득된 영상 화면과 함께 출력할 수 있다. 이때 사용자 컨텐츠 68은 정지 영상이 될 수 있으며, 이에 따라 단말기(100)는 별도 추가 변화 없이 사용자 컨텐츠 68이 해당 배경 객체 영역을 촬영하는 동안 표시부에 오버레이 되어 출력되도록 지원한다.

또한 단말기(100)는 현실 공간(1) 우하측 영역에 해당하는 영상을 카메라부(170)를 이용하여 획득할 수 있다. 그러면 현실 공간(1) 우하측에 해당하는 배경 객체에 할당된 사용자 컨텐츠 70이 단말기의 표시부(140) 상에 획득된 영상과 함께 출력될 수 있다. 이때 사용자 컨텐츠 70은 오디오 컨텐츠가 될 수 있으며, 이에 따라 단말기(100)는 사용자 컨텐츠 70이 표시부에 출력됨과 아울러 매핑된 오디오 컨텐츠의 오디오 신호 출력을 수행하도록 지원할 수 있다. 또는 단말기(100)는 사용자 컨텐츠 70이 표시부에 출력된 이후 사전 정의된 일정 모션 센서 신호 수집이 발생하면 해당 오디오 컨텐츠 재생을 지원할 수 있다. 또는 단말기(100)는 사용자 컨텐츠 70을 설명하는 "1.MP3"를 선택하는 입력 신호 생성 시 해당 오디오 컨텐츠 재생을 수행하도록 지원할 수 도 있다.

이상에서 설명한 바와 같이 본 발명의 실시 예에 따른 증강 현실 컨텐츠 운용의 단말기 및 방법은 단말기 사용자가 증강 현실 컨텐츠를 보다 손쉽고 신속하게 제작할 수 있도록 지원하여 보다 방대한 증강 현실 컨텐츠 제작과 이용을 지원할 수 있다. 추가로 본 발명은 상술한 방식으로 제작된 증강 현실 컨텐츠를 타 단말기와 공유할 수 있도록 지원함으로써 보다 다양한 정보의 교환을 통하여 서비스 이용 확대를 지원할 수 있다. 이를 위하여 본 발명은 도 17에 도시된 바와 같은 시스템을 기반으로 증강 현실 컨텐츠 운용을 지원할 수 있다.

도 17은 본 발명의 실시 예에 따른 증강 현실 컨텐츠 운용을 지원하는 증강 현실 컨텐츠 시스템의 구성을 개략적으로 나타낸 도면이다.

도 17을 참조하면, 본 발명의 증강 현실 컨텐츠 운용 시스템(10)은 단말기(100), 통신 시스템(300) 및 증강 현실 제공 서버 장치(200)의 구성을 포함할 수 있다. 상술한 설명에서는 증강 현실 컨텐츠를 단말기(100)의 저장부(150)에 저장하고 증강 현실 컨텐츠 이용 모드 활성화에 따라 증강 현실 컨텐츠에 포함된 사용자 컨텐츠를 현실 세계에 대응하는 가상 공간에 표시하는 것으로 설명하였지만 상기 사용자 컨텐츠는 증강 현실 제공 서버 장치(200)에서 제공될 수도 있다.

이를 위하여 단말기(100)는 현재 위치 정보를 증강 현실 제공 서버 장치(200)에 제공하고, 증강 현실 제공 서버 장치(200)로부터 현재 위치에 대응하는 증강 현실 컨텐츠를 제공받을 수 있다. 이를 위하여 증강 현실 제공 서버 장치(200)는 적어도 하나의 단말기(100)로부터 특정 지역에서 제작된 증강 현실 컨텐츠를 수신하고 저장 관리할 수 있다. 이때 증강 현실 제공 서버 장치(200)는 수신된 증강 현실 컨텐츠를 각 위치별로 관리하고, 특정 위치의 단말기(100)가 위치 정보와 함께 증강 현실 컨텐츠를 요청하는 경우 해당 위치에 등록된 적어도 하나의 증강 현실 컨텐츠를 제공할 수 있다.

단말기(100)는 위치 정보 제공과 함께 증강 현실 제공 서버 장치(200)로부터 적어도 하나의 증강 현실 컨텐츠를 수신하면 이를 표시부(140) 등에 출력하여 사용자에게 제공한다. 이후 단말기(100)는 증강 현실 컨텐츠 목록 중 사용자가 선택한 특정 증강 현실 컨텐츠를 증강 현실 제공 서버 장치(200)에 요청할 수 있다. 이와 함께 단말기(100)는 카메라부(170)를 활성화하고 사용자 파지 각도에 따른 주변 영상 수집을 수행한다. 그리고 단말기(100)는 수집된 주변 영상을 증강 현실 제공 서버 장치(200)에 전송한다.

증강 현실 제공 서버 장치(200)는 단말기(100)로부터 수신된 특정 증강 현실 컨텐츠 선택 정보를 토대로 해당 증강 현실 컨텐츠를 확인하고, 단말기(100)가 제공한 주변 영상 정보에 해당하는 증강 현실 컨텐츠의 일정 영역을 검출한다. 그리고 증강 현실 제공 서버 장치(200)는 검출된 일정 영역에 등록된 사용자 컨텐츠를 수집하여 단말기(100)에 제공할 수 있다. 이러한 사용자 컨텐츠 수집 및 제공 과정은 해당 단말기(100)가 증강 현실 컨텐츠 운용을 지속하는 동안 반복적으로 수행될 수 있다.

여기서 상기 단말기(100)에 제공된 증강 현실 컨텐츠는 해당 단말기(100)가 이전에 제작하여 등록한 컨텐츠가 될 수 있으며, 또한 다른 단말기가 해당 위치에서 제작하여 등록한 컨텐츠가 될 수도 있다. 특정한 장소 예컨대 개인 사유지의 경우에는 관련 증강 현실 컨텐츠가 제한적일 수 있으나, 관광지나 공유지의 경우에는 많은 사용자들이 방문하고 해당 위치에서 컨텐츠 제작을 수행할 수 있다. 이에 따라 증강 현실 제공 서버 장치(200)는 다양한 증강 현실 컨텐츠들 중 사용자의 기호나 흥미 등에 맞는 컨텐츠를 용이하게 선택할 수 있도록 컨텐츠들의 목록을 제공하는 과정에서 타 사용자들의 컨텐츠 선택에 따른 컨텐츠들의 순위 정보나 선택 정도 등을 함께 제공할 수 있다.

상기 증강 현실 제공 서버 장치(200)는 상술한 기능 지원을 위하여 통신 시스템(300)과 통신 채널을 형성할 수 있는 장치 통신부, 수신된 증강 현실 컨텐츠들을 저장하는 장치 저장부, 단말기가 제공하는 증강 현실 컨텐츠를 수신 및 저장하고 증강 현실 컨텐츠를 다운로드를 요청하는 단말기에 위치 정보를 기반으로 적어도 하나의 증강 현실 컨텐츠를 제공하는 장치 제어부의 구성을 포함할 수 있다.

상기 통신 시스템(300)은 단말기(100)와 증강 현실 제공 서버 장치(200) 간의 통신 채널 형성을 지원하는 구성이다. 이러한 통신 시스템(300)은 단말기(100)에 장착된 통신부(110)의 형태에 따라 달라질 수 있다. 통신 시스템(300)은 단말기(100)에서 저작된 증강 현실 컨텐츠를 증강 현실 제공 서버 장치(200)에 업로드할 수 있도록 지원하고, 또한 특정 단말기가 증강 현실 제공 서버 장치(200)로부터 특정 증강 현실 컨텐츠를 다운로드할 수 있도록 지원한다.

상술한 바와 같이 본 발명의 증강 현실 컨텐츠 운용 시스템(10)은 단말기에서 제작된 증강 현실 컨텐츠들을 공유할 수 있도록 지원함으로써 특정 지역별 증강 현실 컨텐츠들의 다변화를 꾀할 수 있으며, 서비스 이용자의 요구에 맞는 컨텐츠 검색을 보다 용이하게 할 수 있도록 지원한다.

한편 상술한 단말기 및 수신측 단말기는 그 제공 형태에 따라 다양한 추가 모듈을 더 포함할 수 있다. 즉 상기 단말기들은 근거리 통신을 위한 근거리통신모듈, 상기 단말기들의 유선통신방식 또는 무선통신방식에 의한 데이터 송수신을 위한 인터페이스, 인터넷 네트워크와 통신하여 인터넷 기능을 수행하는 인터넷통신모듈 및 디지털 방송 수신과 재생 기능을 수행하는 디지털방송모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수도 있다. 이러한 구성 요소들은 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 구성 요소들과 동등한 수준의 구성 요소가 상기 디바이스에 추가로 더 포함되어 구성될 수 있다. 또한 본 발명의 단말기는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다. 이는 본 기술분야의 통상의 지식을 가진 자에겐 쉽게 이해될 수 있을 것이다.

또한 본 발명의 실시 예에 따른 상기 단말기들은 다양한 통신 시스템들에 대응되는 통신 프로토콜들(communication protocols)에 의거하여 동작하는 모든 이동통신 단말기(mobile communication terminals)를 비롯하여, PMP(Portable Multimedia Player), 디지털방송 플레이어, PDA(Personal Digital Assistant), 음악 재생기(예컨대, MP3 플레이어), 휴대게임단말, 스마트 폰(Smart Phone), 노트북(Notebook) 및 핸드헬드 PC 등 모든 정보통신기기와 멀티미디어기기 및 그에 대한 응용기기를 포함할 수 있다.

한편, 본 명세서와 도면을 통해 본 발명의 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

10 : 증강 현실 컨텐츠 운용 시스템 100 : 단말기
110 : 통신부 120 : 입력부
130 : 오디오 처리부 140 : 표시부
150 : 저장부 160 : 제어부
170 : 카메라부 180 : 모션 센서부
190 : GPS 모듈 200 : 증강 현실 제공 서버 장치
300 : 통신 시스템

Claims

단말기에 포함된 카메라를 이용하여 현실 세계의 일정 영역에 해당하는 영상을 획득하는 과정;
상기 획득된 영상을 기반으로 상기 현실 세계의 일정 영역에 대응하는 가상 공간을 구축하고 상기 가상 공간에 포함된 이미지 요소들을 적어도 하나의 배경 객체로 구분하여 표시하는 표시 과정;
적어도 하나의 사용자 컨텐츠를 상기 배경 객체에 매핑하여 증강 현실 컨텐츠를 생성하는 생성 과정;을 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제1항에 있어서,
상기 표시 과정은
상기 증강 현실 컨텐츠에 적용할 사전 정의된 사용자 컨텐츠들의 개수를 확인하고, 사용자 컨텐츠들의 개수에 해당하는 배경 객체들을 구분하여 표시하는 과정;
디폴트로 정의된 사용자 컨텐츠들의 개수에 따라 배경 객체들을 구분하여 표시하는 과정; 중 어느 하나의 과정을 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제2항에 있어서,
상기 배경 객체들의 개수 증가 또는 감소 요청을 수신하는 과정;
상기 요청에 따라 상기 가상 공간에서의 배경 객체들의 개수를 증가 또는 감소하여 구분 표시하는 과정;을 더 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제1항에 있어서,
상기 표시 과정은
상기 증강 현실 컨텐츠에 적용할 사전 정의된 사용자 컨텐츠들의 개수를 확인하고, 사용자 컨텐츠들의 개수에 해당하는 배경 객체들을 구분하는 과정;
상기 배경 객체들의 일정 영역 내에 상기 사용자 컨텐츠들을 배치할 할당 영역들을 표시하는 과정;을 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제4항에 있어서,
상기 할당 영역들을 표시하는 과정은
상기 배경 객체들의 크기, 위치 및 기울어짐 상태에 따라 할당 영역들의 크기, 위치 및 기울어짐을 다르게 적용하는 과정;을 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제1항에 있어서,
상기 사용자 컨텐츠들을 상기 가상 공간 상에 일정 형태로 배치하기 위한 배치 방식을 선정하는 과정;을 더 포함하고,
상기 배치 방식을 선정하는 과정은
상기 단말기의 움직임에 따라 상기 가상 공간 상의 깊이별 배치 요소 및 상기 가상 공간 상의 위치별 배치 요소 중 적어도 하나와 상기 단말기의 이동 궤적 및 속도 중 적어도 하나를 수집하는 과정;을 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제6항에 있어서,
상기 생성 과정은
상기 수집된 배치 요소 및 이동 궤적과 속도를 기반으로 상기 가상 공간에서의 배경 객체들을 구분하는 과정;
상기 구분된 배경 객체들에 상기 사용자 컨텐츠들을 매핑하는 과정;을 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제1항에 있어서,
생성 과정은
사용자 컨텐츠 목록을 표시하는 과정;
상기 목록에 포함된 적어도 하나의 사용자 컨텐츠를 입력 이벤트에서 지정한 배경 객체에 매핑하는 과정;을 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제1항에 있어서,
현재 위치 정보를 수집하는 과정;
상기 현재 위치 정보를 상기 증강 현실 컨텐츠에 포함시켜 저장부에 저장하는 과정;을 더 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제9항에 있어서,
상기 증강 현실 컨텐츠를 증강 현실 제공 서버 장치에 전송하는 과정;을 더 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제1항에 있어서,
편집 모드 선택 시 저장된 특정 증강 현실 컨텐츠를 배경 객체 및 사용자 컨텐츠들을 구분하여 표시부에 표시하는 과정;
입력 이벤트 수신에 따라 상기 사용자 컨텐츠들과 상기 배경 객체들의 매핑 정보를 편집하는 과정;을 더 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제11항에 있어서,
증강 현실 컨텐츠 표시 과정에서 상기 증강 현실 컨텐츠 전체 화면을 상기 표시부에 표시되도록 리사이징하는 과정;을 더 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제1항에 있어서,
상기 사용자 컨텐츠는
정지 영상 컨텐츠, 동영상 컨텐츠, 오디오 컨텐츠 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
증강 현실 서비스 이용을 위한 모드 선택에 따라 주변 영상 및 현재 위치 정보를 수집하는 과정;
상기 현재 위치 정보에 해당하는 증강 현실 컨텐츠를 검출하는 과정;
상기 증강 현실 컨텐츠에서 상기 주변 영상에 해당하는 영역을 검출하는 과정;
상기 주변 영상에 해당하는 영역에 매핑된 사용자 컨텐츠를 상기 주변 영상과 함께 출력하는 출력 과정;을 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제14항에 있어서,
단말기에 포함된 카메라로 수집된 영상을 기반으로 마련된 현실 세계의 일정 영역에 해당하는 가상 공간 및 상기 가상 공간의 이미지 요소들을 기반으로 구분된 적어도 하나의 배경 객체에 특정 사용자 컨텐츠를 매핑하여 증강 현실 컨텐츠를 생성하고 상기 단말기의 위치 정보를 수집하여 저장하는 과정;
단말기에 포함된 카메라로 수집된 영상을 기반으로 마련된 현실 세계의 일정 영역에 해당하는 가상 공간 및 상기 가상 공간의 이미지 요소들을 기반으로 구분된 적어도 하나의 배경 객체에 특정 사용자 컨텐츠를 매핑하고 상기 단말의 위치 정보를 포함하여 생성된 증강 현실 컨텐츠를 증강 현실 제공 서버 장치로부터 수신하는 과정; 중 적어도 하나의 과정을 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제14항에 있어서,
상기 사용자 컨텐츠는
정지 영상 컨텐츠, 동영상 컨텐츠, 오디오 컨텐츠 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제16항에 있어서,
상기 출력 과정은
상기 사용자 컨텐츠가 정지 영상 컨텐츠인 경우 주변 영상과 함께 정지 영상 컨텐츠를 오버레이시켜 표시하는 과정;
상기 사용자 컨텐츠가 동영상 컨텐츠인 경우 주변 영상과 함께 동영상 컨텐츠를 표시하되 동영상을 재생하여 표시하는 과정;
상기 사용자 컨텐츠가 오디오 컨텐츠인 경우 주변 영상과 함께 오디오 컨텐츠임을 나타내는 정보를 표시하되 오디오 신호를 함께 출력하는 과정;을 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제17항에 있어서,
상기 출력 과정
상기 사용자 컨텐츠가 동영상 컨텐츠 또는 오디오 컨텐츠인 경우 상기 컨텐츠 재생을 위한 별도의 입력 이벤트 또는 모션 센서 신호를 수신하는 과정;
상기 입력 이벤트 또는 모션 센서 신호에 따라 상기 동영상 컨텐츠를 재생하거나 상기 오디오 컨텐츠의 오디오 신호를 출력하는 과정;을 더 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
증강 현실 서비스 이용을 위한 모드 선택에 따라 주변 영상 및 현재 위치 정보를 수집하는 과정;
상기 현재 위치 정보 및 주변 영상을 증강 현실 제공 서버 장치에 전송하는 과정;
상기 증강 현실 제공 서버 장치로부터 상기 현재 위치 정보에 해당하는 증강 현실 컨텐츠에서 상기 주변 영상에 매핑된 사용자 컨텐츠를 수신하는 과정;
상기 수신된 사용자 컨텐츠를 상기 주변 영상과 함께 출력하는 출력 과정;을 포함하고,
상기 증강 현실 컨텐츠는
특정 단말기에 포함된 카메라로 수집된 영상을 기반으로 마련된 현실 세계의 일정 영역에 해당하는 가상 공간 및 상기 가상 공간의 이미지 요소들을 기반으로 구분된 적어도 하나의 배경 객체에 특정 사용자 컨텐츠를 매핑하여 생성되고 상기 단말기의 위치 정보가 포함된 컨텐츠인 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
제19항에 있어서,
상기 출력 과정은
상기 사용자 컨텐츠가 정지 영상 컨텐츠인 경우 주변 영상과 함께 정지 영상 컨텐츠를 오버레이시켜 표시하는 과정;
상기 사용자 컨텐츠가 동영상 컨텐츠인 경우 주변 영상과 함께 동영상 컨텐츠를 표시하되 동영상을 재생하여 표시하는 과정;
상기 사용자 컨텐츠가 오디오 컨텐츠인 경우 주변 영상과 함께 오디오 컨텐츠임을 나타내는 정보를 표시하되 오디오 신호를 함께 출력하는 과정;을 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 방법.
현실 세계의 일정 영역에 해당하는 영상을 획득하는 카메라부;
상기 획득된 영상을 기반으로 상기 현실 세계의 일정 영역에 대응하여 구축된 가상 공간 및 상기 가상 공간에 포함된 이미지 요소들을 기반으로 마련된 적어도 하나의 배경 객체를 표시하는 표시부;
적어도 하나의 사용자 컨텐츠를 상기 배경 객체에 매핑하도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용을 지원하는 단말기.
제21항에 있어서,
영상 획득 위치 정보를 수집하는 위치 정보 수집 모듈;
상기 가상 공간 및 상기 사용자 컨텐츠가 매핑된 상기 배경 객체 정보와 상기 위치 정보를 포함한 증강 현실 컨텐츠를 저장하는 저장부;를 더 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용을 지원하는 단말기.
제22항에 있어서,
상기 제어부는
편집 기능 선택 시 상기 저장부에 저장된 증강 현실 컨텐츠의 사용자 컨텐츠 및 배경 객체를 구분하여 상기 표시부에 표시하도록 제어하는 것을 특징으로 하는 증강 현실 컨텐츠 운용을 지원하는 단말기.
제22항에 있어서,
상기 증강 현실 컨텐츠를 증강 현실 제공 서버 장치에 제공할 통신 채널 및 상기 증강 현실 제공 서버 장치에 저장된 증강 현실 컨텐츠를 수신할 통신 채널 중 적어도 하나를 형성하는 통신부;를 더 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용을 지원하는 단말기.
제21항에 있어서,
상기 표시부는
상기 배경 객체에 매핑할 사용자 컨텐츠를 배치시킬 적어도 하나의 할당 영역을 표시하는 것을 특징으로 하는 증강 현실 컨텐츠 운용을 지원하는 단말기.
현실 세계의 일정 영역에 해당하는 영상을 기반으로 구축된 가상 공간 및 상기 가상 공간에 포함된 이미지 요소들을 기반으로 마련된 적어도 하나의 배경 객체, 상기 배경 객체에 매핑된 적어도 하나의 사용자 컨텐츠 및 영상 획득 위치 정보를 포함하는 증강 현실 컨텐츠를 생성 및 제공하는 단말기;
상기 단말기로부터 상기 증강 현실 컨텐츠를 수신하여 저장하는 증강 현실 제공 서버 장치;를 포함하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 시스템.
제26항에 있어서,
상기 단말기는
상기 증강 현실 제공 서버 장치에 저장된 증강 현실 컨텐츠를 위치 정보 기반으로 검색하여 수신하는 것을 특징으로 하는 증강 현실 컨텐츠 운용 시스템.