Nothing Special   »   [go: up one dir, main page]

KR102276847B1 - 가상 오브젝트 제공 방법 및 그 전자 장치 - Google Patents

가상 오브젝트 제공 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR102276847B1
KR102276847B1 KR1020140126591A KR20140126591A KR102276847B1 KR 102276847 B1 KR102276847 B1 KR 102276847B1 KR 1020140126591 A KR1020140126591 A KR 1020140126591A KR 20140126591 A KR20140126591 A KR 20140126591A KR 102276847 B1 KR102276847 B1 KR 102276847B1
Authority
KR
South Korea
Prior art keywords
virtual object
conditions
condition
electronic device
matching
Prior art date
Application number
KR1020140126591A
Other languages
English (en)
Other versions
KR20160035248A (ko
Inventor
정진회
박지현
조규성
조익환
전용준
황민경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140126591A priority Critical patent/KR102276847B1/ko
Priority to US14/860,992 priority patent/US10242031B2/en
Publication of KR20160035248A publication Critical patent/KR20160035248A/ko
Application granted granted Critical
Publication of KR102276847B1 publication Critical patent/KR102276847B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 개시의 다양한 실시 예들은, 가상 오브젝트 제공 방법에 관한 것으로, 전자 장치에서 복수의 조건들을 확인하는 동작; 상기 전자 장치에서 적어도 하나의 가상 오브젝트 중에서 상기 복수의 조건들을 만족하는 가상 오브젝트를 검색하는 동작; 및 상기 전자 장치에서 상기 검색 결과 상기 복수의 조건들을 만족하는 가상 오브젝트가 존재하지 않을 경우, 상기 복수의 조건들 중 적어도 하나의 조건을 만족하는 가상 오브젝트를 제공하는 동작;을 포함할 수 있다.
또한, 본 개시의 다양한 실시 예들은 다른 실시 예들이 가능할 수 있다.

Description

가상 오브젝트 제공 방법 및 그 전자 장치{METHOD FOR PROVIDING A VIRTUAL OBJECT AND ELECTRONIC DEVICE THEREOF}
본 개시의 다양한 실시 예들은 전자 장치 및 전자 장치에서의 가상 오브젝트 제공 방법에 관한 것이다.
증강 현실(augmented reality; AR)이란 사용자가 눈으로 보는 현실 세계와 부가 정보를 갖는 가상 세계를 결합하여 보여주는 가상 현실의 하나이다. 현실 세계를 가상 세계로 보완해주는 개념인 증강 현실은 컴퓨터 그래픽으로 만들어진 가상 환경을 통해 현실 환경에 필요한 정보를 추가로 제공할 수 있다.
증강 현실 기술은 모바일 기기(예컨대, 스마트폰, 태블릿 PC, 웨어러블 장치(wearable device) 등)가 발전함에 따라 교육, 게임, 내비게이션, 광고, 또는 블로그와 같은 다양한 서비스에서도 접할 수 있게 되었다.
증강 현실은 현실 오브젝트와 관련된 가상 오브젝트를 표시하는 기술로서 가상 오브젝트는 현실 오브젝트에 부가되는 정보를 제공할 수 있다. 가상 오브젝트로 표시되는 정보는 정해진 조건들을 만족할 경우 표시될 수 있다. 종래에는 가상 오브젝트를 제공할 적어도 하나 이상의 조건들 중 적어도 하나에 변경이 발생하면(예컨대, 위치가 변경되거나 이미지가 변경되면) 해당 가상 오브젝트를 제공받지 못하는 경우가 발생할 수가 있었다.
본 개시의 다양한 실시 예들에서는, 현실 오브젝트에 부가되는 가상 오브젝트를 조건의 변화에 대응하여 제공할 수 있는 전자 장치 및 전자 장치에서의 가상 오브젝트 제공 방법을 제공할 수 있다.
본 개시의 다양한 실시 예 중 어느 하나에 따른 가상 오브젝트 제공 방법은, 전자 장치에서 복수의 조건들을 확인하는 동작; 상기 전자 장치에서 적어도 하나의 가상 오브젝트 중에서 상기 복수의 조건들을 만족하는 가상 오브젝트를 검색하는 동작; 및 상기 전자 장치에서 상기 검색 결과 상기 복수의 조건들을 만족하는 가상 오브젝트가 존재하지 않을 경우, 상기 복수의 조건들 중 적어도 하나의 조건을 만족하는 가상 오브젝트를 제공하는 동작;을 포함할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 가상 오브젝트를 표시하기 위한 적어도 하나 이상의 조건들 중 일부 조건을 만족하지 않더라도 만족하는 조건들을 기반으로 가상 오브젝트를 표시할 수 있게 되어 사용자에게 보다 다양한 정보들을 제공할 수 있다.
또한, 본 개시의 다양한 실시 예들에 따르면, 가상 오브젝트를 표시하기 위한 복합적인 조건들 중 일부 조건만을 만족하는 경우, 상기 만족하는 조건들을 기반으로 개인화된 서비스를 제공할 수 있다.
도 1은 본 개시의 다양한 실시 예에 따른, 전자 장치를 포함하는 네트워크 환경을 도시한다.
도 2는 본 개시의 다양한 실시 예에 따른, 전자 장치에 대한 블록도를 도시한다.
도 3은 본 개시의 다양한 실시 예에 따른, 가상 오브젝트 제공 절차를 나타내는 흐름도이다.
도 4는 본 개시의 다양한 실시 예에 따른, 부분 매칭 가상 오브젝트 설정 절차를 나타내는 흐름도이다.
도 5는 본 개시의 다양한 실시 예에 따른, 데이터베이스에 등록된 가상 오브젝트들을 나타내는 도면이다.
도 6은 본 개시의 다양한 실시 예에 따른, 부분 매칭 가상 오브젝트 설정 개념을 나타내는 도면이다.
도 7은 본 개시의 다양한 실시 예에 따른, 부분 매칭 가상 오브젝트 제공의 예를 나타내는 도면이다.
도 8은 본 개시의 다양한 실시 예에 따른, 부분 매칭 가상 오브젝트 제공의 예를 나타내는 도면이다.
도 9는 본 개시의 다양한 실시 예에 따른, 현실 오브젝트와 가상 오브젝트의 정합 예를 나타내는 도면이다.
도 10은 본 개시의 다양한 실시 예에 따른, 전자 장치와 가상 오브젝트 제공 서버를 포함하는 네트워크 환경을 도시한다.
도 11은 본 개시의 다양한 실시 예에 따른, 가상 오브젝트 제공 서버에 대한 블록도를 도시한다.
도 12는 본 개시의 다양한 실시 예에 따른, 전자 장치의 세부 구성을 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 본 개시(present disclosure)를 설명한다. 본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 개시 가운데 사용될 수 있는“포함한다” 또는 “포함할 수 있다” 등의 표현은 개시된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 “또는” 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, “A 또는 B”는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 개시 가운데 “제 1,”“제2,”“첫째,”또는“둘째,”등의 표현들이 본 개시의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 개시에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 개시에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있으나, 이에 한정되는 것은 아니다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예컨대, 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 각종 의료기기(예컨대, MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예컨대, 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예컨대, 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 개시에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 개시에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 개시에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
본 개시의 다양한 실시 예들에서는 증강 현실의 구현을 위해 현실 오브젝트에 부가되는 가상 오브젝트를 제공하기 위한 전자 장치 및 가상 오브젝트 제공 방법 등을 제공한다. 본 개시의 다양한 실시 예에 따라, 가상 오브젝트를 제공하기 위한 복합적인 조건들 중 일부 조건을 만족하지 않더라도 적어도 하나의 만족하는 조건들을 기반으로 가상 오브젝트를 제공할 수 있다.
후술하는 설명에서 '가상 오브젝트(virtual object)'는 실제 인식 대상과 적어도 하나의 조건에 대응하여 생성된 정보로서, 이후 동일한 조건에서 해당 정보가 활성화되어 사용자에게 제공될 수 있는 정보를 의미한다. 예컨대, 상기 가상 오브젝트는 텍스트, 이미지, 동영상, 애니메이션, 소리, 배경, 말풍선, 지도, 도형 등 어떠한 형태로도 구현될 수 있다. 또한, 본 개시의 다양한 실시 예에 따라 상기 가상 오브젝트에 대응된 복수의 조건들 중 적어도 하나의 조건이 변경되었을 경우, 해당 가상 오브젝트를 '부분 매칭 가상 오브젝트(예컨대, 이를 편의상 '고스트 클루(ghost clue)'라 칭할 수도 있다.)'라 칭하기로 한다.
본 개시의 다양한 실시 예에서는 가상 오브젝트에 대응된 복수의 조건들 중에서 변경된 일부 조건을 제외한 다른 만족하는 조건들이 존재할 경우 상기 가상 오브젝트를 후술하는 다양한 실시 예들에 따라 다른 형태의 정보로 제공할 수도 있다. 예컨대, 본 개시의 다양한 실시 예에 따라, 가상 오브젝트를 제공하기 위한 복합적인 조건들 중 일부 조건이 변경되더라도 변경되지 않은 나머지 조건을 기반으로 가상 오브젝트를 기존 형태 또는 변형된 형태로 표시할 수 있다. 또한, 상기 일부 조건이 변경되더라도 변경되기 전의 조건에 맞는 가상 오브젝트의 일부에 대해서 제공할 수도 있다.
본 개시의 다양한 실시 예에서 가상 오브젝트를 생성 또는 요청하는 조건은 가상 오브젝트를 표시하는 전자 장치의 지리상의 위치, 지향 방향, 지향 범위, 지향 대상, 지향 시간, 타 사용자(client)에 대한 노출 정도, 날씨 등과 같은 환경적 조건, 사용자 제스처 등이 될 수 있으며, 본 개시의 실시 예에 따른 조건들이 이에 한정되는 것은 아니다. 상기 가상 오브젝트를 생성 또는 요청하기 위한 조건의 유형들은 시스템에서 미리 설정될 수도 있고, 사용자의 선택에 의해 설정될 수도 있다.
후술하는 설명에서 본 개시의 다양한 실시 예들은 이해를 돕기 위해 가상 오브젝트 또는 조건을 주로 이미지 또는 영상으로 서술하지만, 본 개시의 실시 예들이 이미지 또는 영상에 제한되는 것은 아니며, 전술한 바와 같이 이미지, 영상, 소리, 냄새, 촉각, 온도, 또는 위치 등 기기가 인지할 수 있거나 사용자가 직접 입력한 조건들을 모두 포함할 수 있다.
이하, 도 1 및 도 2를 참조하여 본 개시의 다양한 실시 예에 따른 장치의 구조를 설명하며, 다음으로 도 3 및 도 4를 참조하여 본 개시의 다양한 실시 예에 따른 절차를 상세히 설명한다.
먼저, 첨부된 도면을 참조하여 다양한 실시 예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시 예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치를 지칭할 수 있다.
도 1은 다양한 실시 예에 따른, 전자 장치(101)를 포함하는 네트워크 환경(100)을 도시한다. 도 1을 참조하면, 상기 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(140), 디스플레이(150), 통신 인터페이스(160) 및 가상 오브젝트 처리 모듈(170) 중 적어도 하나를 포함할 수 있다.
상기 버스(110)는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예컨대, 제어 메시지)을 전달하는 회로일 수 있다.
상기 프로세서(120)는, 예를 들면, 상기 버스(110)를 통해 전술한 다른 구성요소들(예컨대, 상기 메모리(130), 상기 입출력 인터페이스(140), 상기 디스플레이(150), 상기 통신 인터페이스(160), 또는 상기 가상 오브젝트 처리 모듈(170) 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다. 또한, 상기 프로세서(120)는 상기 가상 오브젝트 처리 모듈(170)의 기능 전체 또는 적어도 일부를 포함할 수 있다. 예컨대, 후술하는 본 개시의 다양한 실시 예들에 따른 기능들이 상기 가상 오브젝트 처리 모듈(170)에서 처리되거나 상기 프로세서(120)에서 처리되거나 상기 가상 오브젝트 처리 모듈(170)과 상기 프로세서(120)가 연동하여 처리될 수 있다.
상기 메모리(130)는, 상기 프로세서(120) 또는 다른 구성요소들(예컨대, 상기 입출력 인터페이스(140), 상기 디스플레이(150), 상기 통신 인터페이스(160), 또는 상기 가상 오브젝트 처리 모듈(170) 등)로부터 수신되거나 상기 프로세서(120) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 상기 메모리(130)는, 예를 들면, 커널(131), 미들웨어(132), 애플리케이션 프로그래밍 인터페이스(API: application programming interface)(133) 또는 애플리케이션(134) 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 커널(131)은 나머지 다른 프로그래밍 모듈들, 예를 들면, 상기 미들웨어(132), 상기 API(133) 또는 상기 애플리케이션(134)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예컨대, 상기 버스(110), 상기 프로세서(120) 또는 상기 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널(131)은 상기 미들웨어(132), 상기 API(133) 또는 상기 애플리케이션(134)에서 상기 전자 장치(101)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어(132)는 상기 API(133) 또는 상기 애플리케이션(134)이 상기 커널(131)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어(132)는 상기 애플리케이션(134)으로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 애플리케이션(134) 중 적어도 하나의 애플리케이션에 상기 전자 장치(101)의 시스템 리소스(예컨대, 상기 버스(110), 상기 프로세서(120) 또는 상기 메모리(130) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예컨대, 스케쥴링 또는 로드 밸런싱)를 수행할 수 있다.
상기 API(133)는 상기 애플리케이션(134)이 상기 커널(131) 또는 상기 미들웨어(132)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예컨대, 명령어)를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 애플리케이션(134)은 SMS/MMS 애플리케이션, 이메일 애플리케이션, 달력 애플리케이션, 알람 애플리케이션, 건강 관리(health care) 애플리케이션(예컨대, 운동량 또는 혈당 등을 측정하는 애플리케이션) 또는 환경 정보 애플리케이션(예컨대, 기압, 습도 또는 온도 정보 등을 제공하는 애플리케이션) 등을 포함할 수 있다. 추가적으로 또는 대안적으로, 상기 애플리케이션(134)은 상기 전자 장치(101)와 외부 전자 장치(예컨대, 전자 장치(104)) 사이의 정보 교환과 관련된 애플리케이션일 수 있다. 상기 정보 교환과 관련된 애플리케이션은, 예를 들어, 상기 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 애플리케이션, 또는 상기 외부 전자 장치를 관리하기 위한 장치 관리(device management) 애플리케이션을 포함할 수 있다.
예를 들면, 상기 알림 전달 애플리케이션은 상기 전자 장치(101)의 다른 애플리케이션(예컨대, SMS/MMS 애플리케이션, 이메일 애플리케이션, 건강 관리 애플리케이션 또는 환경 정보 애플리케이션 등)에서 발생한 알림 정보를 외부 전자 장치(예컨대, 전자 장치(104))로 전달하는 기능을 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 알림 전달 애플리케이션은, 예를 들면, 외부 전자 장치(예컨대, 전자 장치(104))로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 상기 장치 관리 애플리케이션은, 예를 들면, 상기 전자 장치(101)와 통신하는 외부 전자 장치(예컨대, 전자 장치(104))의 적어도 일부에 대한 기능(예컨대, 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴온/턴오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 상기 외부 전자 장치에서 동작하는 애플리케이션 또는 상기 외부 전자 장치에서 제공되는 서비스(예컨대, 통화 서비스 또는 메시지 서비스)를 관리(예컨대, 설치, 삭제 또는 업데이트)할 수 있다.
다양한 실시 예에 따르면, 상기 애플리케이션(134)은 상기 외부 전자 장치(예컨대, 전자 장치(104))의 속성(예컨대, 전자 장치의 종류)에 따라 지정된 애플리케이션을 포함할 수 있다. 예를 들어, 외부 전자 장치가 MP3 플레이어인 경우, 상기 애플리케이션(134)은 음악 재생과 관련된 애플리케이션을 포함할 수 있다. 유사하게, 외부 전자 장치가 모바일 의료기기인 경우, 상기 애플리케이션(134)은 건강 관리와 관련된 애플리케이션을 포함할 수 있다. 일 실시 예에 따르면, 상기 애플리케이션(134)은 전자 장치(101)에 지정된 애플리케이션 또는 외부 전자 장치(예컨대, 서버(106) 또는 전자 장치(104))로부터 수신된 애플리케이션 중 적어도 하나를 포함할 수 있다.
상기 입출력 인터페이스(140)는, 입출력 장치(예컨대, 센서, 키보드 또는 터치 스크린)를 통하여 사용자로부터 입력된 명령 또는 데이터를, 예를 들면, 상기 버스(110)를 통해 상기 프로세서(120), 상기 메모리(130), 상기 통신 인터페이스(160), 또는 상기 가상 오브젝트 처리 모듈(170)에 전달할 수 있다. 예를 들면, 상기 입출력 인터페이스(140)는 터치 스크린을 통하여 입력된 사용자의 터치에 대한 데이터를 상기 프로세서(120)로 제공할 수 있다. 또한, 상기 입출력 인터페이스(140)는, 예를 들면, 상기 버스(110)를 통해 상기 프로세서(120), 상기 메모리(130), 상기 통신 인터페이스(160), 또는 상기 가상 오브젝트 처리 모듈(170)로부터 수신된 명령 또는 데이터를 상기 입출력 장치(예컨대, 스피커 또는 디스플레이)를 통하여 출력할 수 있다. 예를 들면, 상기 입출력 인터페이스(140)는 상기 프로세서(120)를 통하여 처리된 음성 데이터를 스피커를 통하여 사용자에게 출력할 수 있다.
상기 디스플레이(150)는 사용자에게 각종 정보(예컨대, 멀티미디어 데이터 또는 텍스트 데이터 등)를 표시할 수 있다.
상기 통신 인터페이스(160)는 상기 전자 장치(101)와 외부 장치(예컨대, 전자 장치(104) 또는 서버(106)) 간의 통신을 연결할 수 있다. 예를 들면, 상기 통신 인터페이스(160)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 상기 외부 장치와 통신할 수 있다. 상기 무선 통신은, 예를 들어, Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system) 또는 cellular 통신(예컨대, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 중 적어도 하나를 포함할 수 있다. 상기 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 네트워크(162)는 통신 네트워크(telecommunications network)일 수 있다. 상기 통신 네트워크는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 상기 전자 장치(101)와 외부 장치 간의 통신을 위한 프로토콜(예컨대, transport layer protocol, data link layer protocol 또는 physical layer protocol))은 애플리케이션(134), 애플리케이션 프로그래밍 인터페이스(133), 상기 미들웨어(132), 커널(131) 또는 통신 인터페이스(160) 중 적어도 하나에서 지원될 수 있다.
상기 도 1에서는 전자 장치(101)가 통신 인터페이스(160)를 구비하여 네트워크(120)를 통해 외부 전자 장치(104) 또는 서버(106) 등과 통신하는 것으로 도시되어 있으나, 본 개시의 다른 실시 예에 따라 상기 전자 장치(101)는 별도의 통신 기능 없이 전자 장치(101)의 내에서 독립적으로 동작하도록 구현될 수도 있다.
본 개시의 다양한 실시 예에 따르면, 상기 가상 오브젝트 처리 모듈(170)은 본 개시의 다양한 실시 예들에 따라 다른 구성요소들(예컨대, 상기 프로세서(120), 상기 메모리(130), 상기 입출력 인터페이스(140), 또는 상기 통신 인터페이스(160) 등)로부터 획득된 정보 중 적어도 일부를 처리하고, 이를 다양한 방법으로 사용자에게 제공할 수 있다. 예컨대, 전자 장치(101)는 특정 오브젝트를 적어도 하나의 조건들에 대응하여 가상 오브젝트로 저장-될 수 있으며, 미리 저장된 적어도 하나의 조건을 수신하면 상기 저장한 가상 오브젝트 중 수신한 조건에 맞는 가상 오브젝트를 출력할 수 있다. 또한, 상기 가상 오브젝트는 사용자가 보고 있는 실사 이미지에 추가하여 하나의 화면에 나타나도록 함으로써 상기 가상 오브젝트를 통해 현실 환경에 대한 추가 정보를 제공할 수 있다. 후술하는 도 2를 통하여 상기 가상 오브젝트 처리 모듈(170)에 대한 추가적인 정보가 제공된다.
도 2는 본 개시의 다양한 실시 예에 따른 전자 장치(예컨대, 전자 장치(101)의 가상 오브젝트 처리 모듈(170)의 블록도를 도시한다.
가상 오브젝트 처리 모듈(170)은 가상 오브젝트 등록부(210), 가상 오브젝트 요청부(220), 오브젝트 요청 처리부(230), 부분 매칭 가상 오브젝트 설정부(240) 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 본 개시의 실시 예에 따라 상기 가상 오브젝트 처리 모듈(170)은 가상 오브젝트 데이터베이스(250), 조건 정보 데이터베이스(260) 중 적어도 하나의 데이터베이스를 더 포함할 수 있다.
가상 오브젝트 등록부(210)는 증강 현실을 구현하기 위한 적어도 하나의 가상 오브젝트를 복수의 조건들에 대응하여 데이터베이스에 저장하는 기능을 수행할 수 있다. 상기 등록할 각 가상 오브젝트는 가상 오브젝트 데이터베이스(250)에 복수의 조건들(예컨대, 둘 이상의 조건들)을 지정하여 저장할 수 있다. 본 개시의 다양한 실시 예에 따르면, 상기 복수의 조건들은 부분 매칭 가상 오브젝트 설정을 위해 조건 정보 데이터베이스(260)에 별도로 저장되어 관리될 수도 있다. 본 개시의 다양한 실시 예에 따라 상기 가상 오브젝트, 부분 매칭 가상 오브젝트 및 조건 정보 중 적어도 하나는 각 개인별로 설정한 데이터일 수 있으며, 이를 통해 각 개인별 조건에 맞는 가상 오브젝트 또는 부분 매칭 가상 오브젝트를 제공함으로써 개인화된 서비스가 제공될 수 있다.
상기 가상 오브젝트 등록부(210)는 가상 오브젝트 등록 요청에 따라 해당 가상 오브젝트 및 복수의 조건들을 수신하여 등록할 수 있다.
가상 오브젝트 요청부(220)는 복수의 조건들을 수신하여 매칭되는 가상 오브젝트를 요청받으면, 상기 요청에 따라 오브젝트 요청 처리부(230)로 가상 오브젝트를 요청한다. 이때, 상기 요청된 복수의 조건들은 조건 정보 데이터베이스(260)에 저장될 수 있다.
오브젝트 요청 처리부(230)는 조건 비교부(231), 매칭 오브젝트 전송부(232), 부분 매칭 처리부(233) 등을 포함하여 구성될 수 있다. 조건 비교부(231)는 상기 가상 오브젝트 요청부(220)를 통한 가상 오브젝트의 요청에 따라 수신된 조건들을 가상 오브젝트 데이터베이스(250)에 저장된 각 가상 오브젝트에 대응된 복수의 조건들과 비교하는 기능을 수행한다.
매칭 오브젝트 전송부(232)는 상기 조건 비교부(231)의 비교 결과 수신된 조건들과 모든 조건이 일치하는 가상 오브젝트를 매칭 오브젝트로서 출력한다.
만약, 상기 조건 비교부(231)의 비교 결과, 수신된 복수의 조건들에 대해 모든 조건이 일치하는 가상 오브젝트가 가상 오브젝트 데이터베이스(250) 내에 존재하지 않을 경우, 적어도 하나의 조건을 만족하는 가상 오브젝트가 존재하는 지를 판단할 수 있다. 상기 판단 결과, 적어도 하나의 조건을 만족하는 가상 오브젝트가 존재할 경우, 본 개시의 다양한 실시 예에 따라 상기 부분 매칭 처리부(233)에서는 해당 오브젝트를 부분 매칭 가상 오브젝트로서 출력할 수 있다. 또한, 본 개시의 다른 실시 예에 따라 상기 수신된 복수의 조건들이 미리 설정된 부분 매칭 조건에 만족할 경우, 미리 설정된 부분 매칭 처리를 수행할 수 있다. 이에 대한 다양한 실시 예들은 후술하기로 한다.
부분 매칭 가상 오브젝트 설정부(240)는 본 개시의 실시 예에 따라 저장된 가상 오브젝트 중 특정 조건을 만족하는 가상 오브젝트를 부분 매칭 가상 오브젝트로 설정하는 기능을 수행한다. 예컨대, 본 개시의 실시 예에 따라 상기 가상 오브젝트 데이터베이스(250)에 저장된 각 가상 오브젝트에 대해 매칭된 복수의 조건들 중에서 특정 조건이 일치하지 않는 조건들이 일정 기간 이상 반복될 경우, 해당 가상 오브젝트를 부분 매칭 가상 오브젝트로 설정할 수 있다. 이에 따라, 상기 부분 매칭 처리부(233)에서는 상기 수신된 복수의 조건들이 상기 부분 매칭 가상 오브젝트의 부분 매칭 조건에 만족할 경우, 해당 부분 매칭 가상 오브젝트를 출력할 수 있다.
이에 따라, 상기 전자 장치(101)에서는 특정 조건이 변경되어(예컨대, 복수의 조건들 중 위치가 변경되거나 이미지가 변경되면) 전체 조건을 만족하는 가상 오브젝트가 존재하지 않더라도, 관련된 가상 오브젝트를 부분 매칭 가상 오브젝트로 제공함으로써 사용자에게 보다 다양한 정보들을 제공할 수 있다.
본 개시의 실시 예에 따라 도 1의 디스플레이(150)는 상기 가상 오브젝트 처리 모듈(170) 또는 프로세서(120)에 의해 처리된 결과를 화면상에 보여줄 수 있다. 예컨대, 본 개시의 실시 예에 따라 상기 가상 오브젝트 처리 모듈(170)에서 출력된 가상 오브젝트 또는 부분 매칭 가상 오브젝트는 상기 디스플레이(150)를 통해 사용자가 보고 있는 실사 이미지에 추가되어 하나의 화면에 나타나도록 함으로써 상기 가상 오브젝트를 통해 현실 환경에 대한 추가 정보를 제공할 수 있다.
상기 도 1에서 가상 오브젝트 처리 모듈(170)은 프로세서(120)와 별도의 모듈로서 도시되어 있으나, 상기 가상 오브젝트 처리 모듈(170)의 적어도 일부의 기능부는 프로세서(120) 내에 포함되어 구현될 수도 있다. 또한, 상기 가상 오브젝트 처리 모듈(170)의 전체 또는 적어도 일부 기능이 상기 프로세서(120) 또는 다른 모듈 (예컨대, 카메라 모듈 등)내에 포함되어 구현될 수도 있다. 본 개시의 다양한 실시 예에 따르면, 가상 오브젝트 처리 모듈(170)을 구성하는 일부 기능 또는 전체는 네트워크로 연결된 별도의 전자 장치 혹은 서버에 구성될 수 있다.
예컨대, 본 개시의 실시 예에 따라 전자 장치(101)에 구비된 카메라 모듈(도 12의 카메라 모듈(1291)에 대응)을 통해 영상이 촬영되면, 촬영된 영상에서 인지된 오브젝트에 가상 오브젝트를 정합하여 증강 현실을 제공할 수 있다. 여기서, 상기 가상 오브젝트는 전술한 바와 같이 전자 장치(101) 내에 저장된 오브젝트일 수도 있으며, 전자 장치(101)에서 네트워크(162)를 통해 외부의 서버(106)(예컨대, 도 10의 가상 오브젝트 제공 서버(1020))로 요청하여 수신된 오브젝트일 수도 있다.
예컨대, 상기 전자 장치(101)에서 촬영된 영상에서 적어도 하나의 현실 오브젝트를 인지하고, 복수의 조건들(예컨대, 상기 전자 장치(101)의 지리상의 위치, 지향 방향, 지향 범위, 지향 대상, 지향 시간, 타 사용자(client)에 대한 노출 정도, 날씨 등과 같은 환경적 조건, 사용자 제스처 등)을 전자 장치(101) 내의 가상 오브젝트 처리 모듈(170)로 전송함으로써 가상 오브젝트를 요청하거나, 네트워크(162)를 통해 외부의 서버(106)로 전송함으로써 가상 오브젝트를 요청하면, 상기 가상 오브젝트 처리 모듈(170) 또는 서버(106)에서는 상기 복수의 조건들에 매칭되는 가상 오브젝트를 데이터베이스에서 검색하여 제공할 수 있다. 전자 장치(101)에서는 상기 가상 오브젝트 처리 모듈(170) 또는 서버(106)로부터 제공된 가상 오브젝트를 현재 촬영된 영상에 정합(이미지 합성 또는 이미지 오버레이)함으로써 증강 현실을 표시할 수 있다.
다양한 실시 예에 따라, 상기 가상 오브젝트 처리 모듈(170) 또는 서버(106)에서 상기 복수의 조건들에 매칭되는 가상 오브젝트가 존재하지 않을 경우 종래에는 가상 오브젝트를 제공할 수 없었으나, 본 개시의 다양한 실시 예들에서는 상기 복수의 조건들 중 적어도 하나의 조건에 매칭되는 가상 오브젝트를 제공함으로써 사용자에게 다양하고 유용한 정보를 제공할 수 있다.
본 개시의 실시 예에서 각 기능부 또는 모듈이라 함은, 본 개시의 실시 예의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 각 기능부 또는 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 개시의 실시 예의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
본 개시의 다양한 실시 예 중 어느 하나에 따른 가상 오브젝트를 제공하는 전자 장치는, 복수의 조건들에 대응하는 가상 오브젝트의 검색을 요청하는 가상 오브젝트 요청부; 및 적어도 하나의 가상 오브젝트 중에서 상기 복수의 조건들을 만족하는 가상 오브젝트를 검색하고, 상기 복수의 조건들을 만족하는 가상 오브젝트가 존재하지 않을 경우, 상기 복수의 조건들 중 적어도 하나의 조건을 만족하는 가상 오브젝트를 제공하는 오브젝트 요청 처리부;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는, 적어도 하나의 가상 오브젝트를 복수의 조건들에 대응하여 저장하는 가상 오브젝트 등록부;를 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는, 상기 가상 오브젝트를 화면상에 표시되고 있는 이미지와 합성하여 표시하는 디스플레이를 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 오브젝트 요청 처리부는, 상기 복수의 조건들을 저장된 가상 오브젝트에 대응된 복수의 조건들과 비교하는 조건 비교부; 및 상기 비교 결과 적어도 하나의 조건이 일치하지 않으면, 상기 일치하지 않은 조건의 지속 여부를 판단하고, 상기 판단 결과 상기 일치하지 않은 조건이 미리 설정된 기간 이상 지속된 것으로 판단될 경우, 상기 일치하지 않은 조건이 지속된 복수의 조건들 중 적어도 하나의 일치된 조건들을 부분 매칭 조건으로 등록하는 부분 매칭 가상 오브젝트 설정부;를 포함하고, 상기 오브젝트 요청 처리부는, 상기 복수의 조건들이 상기 부분 매칭 조건을 만족할 경우, 상기 가상 오브젝트를 제공할 수 있다.
다양한 실시 예에 따르면, 상기 일치하지 않는 조건이 이미지일 경우, 상기 오브젝트 요청 처리부는, 상기 가상 오브젝트를 상기 전자 장치의 화면상에 표시된 이미지의 변경된 부분에 표시하도록 처리할 수 있다.
다양한 실시 예에 따르면, 상기 가상 오브젝트는, 스틸 이미지, 동영상, 소리, 냄새, 촉각, 온도 및 위치 중에서 선택된 어느 하나 이상일 수 있다.
다양한 실시 예에 따르면, 상기 조건은, 상기 전자 장치의 지리상의 위치, 지향 방향, 지향 범위, 지향 대상, 지향 시간, 타 사용자(client)에 대한 노출 정도, 날씨, 사용자 제스처 중에서 선택된 어느 하나 이상일 수 있다.
도 3은 본 개시의 다양한 실시 예에 따른 가상 오브젝트 제공 절차를 나타내는 흐름도이다. 도 3을 참조하면, 동작 302에서, 가상 오브젝트를 복수의 조건들에 대응하여 저장하고, 동작 304에서 증강 현실 구현을 위한 가상 오브젝트 요청을 수신하면, 본 개시의 다양한 실시 예에 따라 해당 조건에 맞는 가상 오브젝트를 제공할 수 있다.
상기 가상 오브젝트 요청은 복수의 조건들을 전송함으로써 요청할 수 있으며, 동작 306에서 상기 복수의 조건들을 만족하는 가상 오브젝트를 검색함으로써 해당 조건을 만족하는 오브젝트를 제공할 수 있다. 동작 308에서, 상기 검색 결과 상기 복수의 조건을 모두 만족하는 오브젝트가 존재할 경우, 동작 310에서 상기 검색된 해당 가상 오브젝트를 전송할 수 있다.
본 개시의 다양한 실시 예에 따르면, 동작 308에서, 상기 검색 결과 상기 복수의 조건을 모두 만족하는 오브젝트가 존재하지 않을 경우, 본 개시의 다양한 실시 예에 따라 동작 312에서 부분 매칭 가상 오브젝트가 존재하는 지를 검색할 수 있다. 상기 검색 결과, 부분 매칭 가상 오브젝트가 존재할 경우, 동작 314에서 해당 부분 매칭 가상 오브젝트를 전송할 수 있다.
본 개시의 다양한 실시 예에 따르면, 상기 가상 오브젝트에 대응되는 복수의 조건들 또는 상기 가상 오브젝트 요청을 위해 전송되는 복수의 조건들은 다양한 조건들로 구성될 수 있다. 예컨대, 전술한 바와 같이 가상 오브젝트를 표시하는 전자 장치의 지리상의 위치, 지향 방향, 지향 범위, 지향 대상, 지향 시간, 타 사용자(cient)에 대한 노출 정도, 날씨 등과 같은 환경적 조건, 사용자 제스처 등이 될 수 있으며, 다양한 실시 예들에 따른 조건들이 이에 한정되는 것은 아니다.
예컨대, 전자 장치에 구비된 카메라 모듈을 통해 현실 이미지가 촬영되면, 촬영된 영상으로부터 정보를 인식하거나, 촬영된 시점의 센싱된 각종 정보를 추출하여 조건 정보를 생성할 수 있다. 또한, 예컨대, 상기 촬영된 영상으로부터 인식된 인식 정보는 촬영된 영상으로부터 인식된 객체의 종류(예컨대, 바코드, QR 코드, 와인라벨, 물체, 사람의 신체, 얼굴 등)와 관련된 정보일 수도 있으며, 촬영된 영상으로부터 인식된 객체의 영역을 포함하는 적어도 일부의 영상 정보일 수도 있으며, 촬영된 영상으로부터 인식된 객체를 분석한 정보(예컨대, 바코드 식별 정보, QR 코드 분석 정보, 피처 포인트 정보(descriptor) 등)일 수도 있다.
한편, 상기 가상 오브젝트를 생성하는 복수의 조건들에 대한 설정 또는 변경은 전자 장치 내에서 설정할 수도 있으며, 서버 내에서 설정할 수도 있다. 또한, 상기 가상 오브젝트를 생성하는 조건들에 대한 설정 또는 변경은 서버 관리자 또는 서비스 관리자에 의해 설정될 수도 있으며, 사용자에 의해 설정될 수도 있다.
도 4는 본 개시의 다양한 실시 예에 따른 부분 매칭 가상 오브젝트 설정 절차를 나타내는 흐름도이다. 도 4를 참조하면, 동작 402에서 가상 오브젝트 요청을 수신하면, 도 3에 도시된 바와 같이 해당하는 복수의 조건들에 일치하는 가상 오브젝트 또는 부분 매칭 가상 오브젝트를 검색하여 제공할 수도 있으며, 다양한 실시 예에 따라 상기 수신된 복수의 조건들을 분석하여 부분 매칭 가상 오브젝트를 설정할 수도 있다.
예컨대, 동작 404에서 상기 수신된 가상 오브젝트 요청에 따른 복수의 조건들을 저장된 가상 오브젝트에 대응된 조건들과 비교하고, 동작 406에서 적어도 하나의 불일치 조건이 존재하면, 상기 불일치 조건의 지속 여부를 판단한다. 예컨대, 동작 408에서 상기와 동일한 불일치 조건이 일정 기간 동안 지속되었다면, 동작 410에서 상기 불일치 조건이 지속된 복수의 조건들 중 적어도 하나의 일치된 조건들을 부분 매칭 조건으로 등록한다. 또한, 동작 412에서 상기 부분 매칭 조건에 해당하는 가상 오브젝트를 부분 매칭 가상 오브젝트로 설정할 수 있다. 이에 따라, 상기 부분 매칭 조건으로 등록된 조건을 만족하는 가상 오브젝트의 요청에 대해서는 상기 부분 매칭된 가상 오브젝트를 부분 매칭 가상 오브젝트로 제공할 수 있다.
보다 구체적인 예를 들어 설명하면, 위치, 지향점과 대상(예컨대, 이미지)의 조건으로 생성된 복수의 조건들이 있고, 가상 오브젝트 요청시 특정 위치, 지향점을 지향하지만, 대상 조건을 만족하지 못해 해당 가상 오브젝트를 제공할 수 없는 경우, 상기 부분적으로 일치하는 조건들을 부분 매칭 조건으로 판단하고, 일치하는 나머지 적어도 하나의 조건을 기반으로 부분 매칭 가상 오브젝트를 설정할 수 있다.
또 다른 예로서, 위치, 지향점과 대상(예컨대, 이미지)의 조건으로 생성된 복수의 조건들이 있고, 가상 오브젝트 요청시 지향점과 대상은 만족하는데, 위치 조건을 만족하지 못해 해당 가상 오브젝트를 제공할 수 없는 경우, 상기 부분적으로 일치하는 조건들을 부분 매칭 조건으로 판단하고, 일치하는 나머지 적어도 하나의 조건을 기반으로 부분 매칭 가상 오브젝트를 설정할 수 있다.
한편, 상술한 본 발명의 일 실시 예에 따른 가상 오브젝트 제공 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 개시의 다양한 실시 예 중 어느 하나에 따른 가상 오브젝트 제공 방법은, 전자 장치에서 복수의 조건들을 확인하는 동작; 상기 전자 장치에서 적어도 하나의 가상 오브젝트 중에서 상기 복수의 조건들을 만족하는 가상 오브젝트를 검색하는 동작; 및 상기 전자 장치에서 상기 검색 결과 상기 복수의 조건들을 만족하는 가상 오브젝트가 존재하지 않을 경우, 상기 복수의 조건들 중 적어도 하나의 조건을 만족하는 가상 오브젝트를 제공하는 동작;을 포함할 수 있다.
다양한 실시 예에 따르면, 적어도 하나의 가상 오브젝트를 복수의 조건들에 대응하여 저장하는 동작;을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 가상 오브젝트를 제공하는 동작은, 상기 가상 오브젝트를 화면상에 표시되고 있는 이미지와 합성하여 표시하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 복수의 조건들을 상기 가상 오브젝트에 대응된 복수의 조건들과 비교하는 동작; 상기 비교 결과 적어도 하나의 조건이 일치하지 않으면, 상기 일치하지 않은 조건의 지속 여부를 판단하는 동작; 상기 판단 결과 상기 일치하지 않은 조건이 미리 설정된 기간 이상 지속된 것으로 판단될 경우, 상기 일치하지 않은 조건이 지속된 복수의 조건들 중 적어도 하나의 일치된 조건들을 부분 매칭 조건으로 등록하는 동작; 및 상기 복수의 조건들이 상기 부분 매칭 조건을 만족할 경우, 상기 가상 오브젝트를 제공하는 동작;을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 일치하지 않는 조건이 이미지일 경우, 이미지 형태의 가상 오브젝트를 제공하는 동작; 및 상기 가상 오브젝트를 화면상에 표시된 이미지의 변경된 부분에 표시하는 동작;을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 가상 오브젝트는, 스틸 이미지, 동영상, 소리, 냄새, 촉각, 온도 및 위치 중에서 선택된 어느 하나 이상일 수 있다.
다양한 실시 예에 따르면, 상기 조건은, 상기 전자 장치의 지리상의 위치, 지향 방향, 지향 범위, 지향 대상, 지향 시간, 타 사용자(client)에 대한 노출 정도, 날씨, 사용자 제스처 중에서 선택된 어느 하나 이상일 수 있다.
본 개시의 다양한 실시 예 중 어느 하나에 따른 전자 장치에서의 가상 오브젝트 제공 방법은, 복수의 조건들을 서버로 전송하여 가상 오브젝트를 요청하는 동작; 상기 서버로부터 가상 오브젝트를 수신하는 동작; 및 상기 수신된 가상 오브젝트를 화면상에 표시되고 있는 이미지와 합성하여 표시하는 동작을 포함하며, 상기 서버로부터 수신된 가상 오브젝트는, 상기 서버의 데이터베이스에 저장된 가상 오브젝트 중에서 상기 전자 장치로부터 수신된 복수의 조건들을 만족하는 가상 오브젝트로서, 상기 데이터베이스에 저장된 가상 오브젝트의 검색 결과 상기 수신된 복수의 조건들 전체를 만족하는 가상 오브젝트가 존재하지 않을 경우, 상기 수신된 복수의 조건들 중 적어도 하나의 조건을 만족하는 가상 오브젝트일 수 있다.
다양한 실시 예에 따르면, 상기 가상 오브젝트는, 스틸 이미지, 동영상, 소리, 냄새, 촉각, 온도 및 위치 중에서 선택된 어느 하나 이상일 수 있다.
다양한 실시 예에 따르면, 상기 조건은, 상기 전자 장치의 지리상의 위치, 지향 방향, 지향 범위, 지향 대상, 지향 시간, 타 사용자(client)에 대한 노출 정도, 날씨, 사용자 제스처 중에서 선택된 어느 하나 이상일 수 있다.
이하, 도 5 및 도 6을 참조하여, 데이터베이스에 등록된 가상 오브젝트의 예 및 부분 매칭 가상 오브젝트의 예를 설명한다. 후술하는 가상 오브젝트 또는 부분 매칭 가상 오브젝트의 예는 다양한 실시 예들의 이해를 돕기 위한 특정 예로서 다양한 방법으로 변형되어 실시될 수 있다. 예컨대, 조건의 종류, 매칭하는 조건의 개수, 부분 매칭 가상 오브젝트 설정을 위한 조건 등은 다양하게 변형하여 실시될 수 있다.
도 5는 본 개시의 다양한 실시 예에 따라 데이터베이스에 등록된 가상 오브젝트들을 나타내는 도면이다. 도 5를 참조하면, 각 가상 오브젝트(504)에 대해 복수의 조건들(예컨대, 도 5에서는 제1 조건(501), 제2 조건(502) 및 제3 조건(503)의 3개의 조건들)이 대응하여 저장될 수 있다.
예컨대, 제1 가상 오브젝트는 제1 조건(501)으로서 A1, 제2 조건(502)으로서 B1, 제3 조건(503)으로서 C1이 저장될 수 있다. 본 실시 예의 이해를 돕기 위해, 보다 구체적인 예를 들면, 도 7에 도시된 바와 같이 제1 조건은 지리상의 위치, 제2 조건은 촬영된 영상으로부터 인지된 객체, 제3 조건은 사용자 정보 등이 될 수 있다.
마찬가지로, 제2 가상 오브젝트는 제1 조건(501)으로서 A2, 제2 조건(502)으로서 B2, 제3 조건(503)으로서 C2가 저장될 수 있으며, 제3 가상 오브젝트는 제1 조건(501)으로서 A3, 제2 조건(502)으로서 B3, 제3 조건(503)으로서 C3이 저장될 수 있으며, 제N 가상 오브젝트는 제1 조건(501)으로서 AN, 제2 조건(502)으로서 BN, 제3 조건(503)으로서 CN이 저장될 수 있다.
따라서, 제1 조건(501)이 A1, 제2 조건(502)이 B1, 제3 조건(503)이 C1인 복수의 조건들을 수신하여 가상 오브젝트를 요청받을 경우, 상기 3가지 조건에 모두 일치하는 제1 가상 오브젝트가 검색되어 제공될 수 있다. 마찬가지로, 제1 조건(501)이 A2, 제2 조건(502)이 B2, 제3 조건(503)이 C2인 복수의 조건들을 수신하여 가상 오브젝트를 요청받을 경우, 상기 3가지 조건에 모두 일치하는 제2 가상 오브젝트가 검색되어 제공될 수 있다. 상기 복수의 조건들 중 하나의 조건이라도 만족하지 않을 경우에는 일치하는 가상 오브젝트가 없으므로 가상 오브젝트를 제공하지 못할 수 있으며, 본 개시의 다양한 실시 예에 따라 상술한 바와 같이 부분적으로 조건이 일치하는 부분 매칭 가상 오브젝트가 존재할 경우, 해당하는 부분 매칭 가상 오브젝트를 제공할 수도 있다.
도 6은 본 개시의 다양한 실시 예에 따른 부분 매칭 가상 오브젝트 설정 개념을 나타내는 도면이다.
도 6을 참조하면, 도 5에서 상술한 바와 같이, 제1 요청시 제1 조건(601)이 A1, 제2 조건(602)이 B1, 제3 조건(603)이 C1인 복수의 조건들을 수신하여 가상 오브젝트를 요청받을 경우, 상기 3가지 조건에 모두 일치하는 제1 가상 오브젝트가 대응된 가상 오브젝트(604)로 검색되어 제공될 수 있다. 제2 요청시 제1 조건(601)이 A3, 제2 조건(602)이 B3, 제3 조건(603)이 C3인 복수의 조건들을 수신하여 가상 오브젝트를 요청받을 경우, 상기 3가지 조건에 모두 일치하는 제3 가상 오브젝트가 대응된 가상 오브젝트(604)로 검색되어 제공될 수 있다. 제3 요청시 제1 조건(601)이 A1, 제2 조건(602)이 B1, 제3 조건(603)이 C1인 복수의 조건들을 수신하여 가상 오브젝트를 요청받을 경우, 제1 요청시와 마찬가지로 상기 3가지 조건에 모두 일치하는 제1 가상 오브젝트가 대응된 가상 오브젝트(604)로 검색되어 상기 전자 장치로 제공될 수 있다.
본 개시의 다양한 실시 예에 따르면, 제N 요청시 제1 조건(601)이 A1, 제2 조건(602)이 B1, 제3 조건(603)이 C4인 복수의 조건들을 수신하여 가상 오브젝트를 요청받을 경우, 상기 3가지 조건에 모두 일치하는 가상 오브젝트가 존재하지 않으므로, 가상 오브젝트(604)가 제공되지 않을 수 있다. 또한, 제N+1 요청시 제1 조건(601)이 A1, 제2 조건(602)이 B1, 제3 조건(603)이 C5인 복수의 조건들을 수신하여 가상 오브젝트를 요청받을 경우, 상기 3가지 조건에 모두 일치하는 가상 오브젝트가 존재하지 않으므로, 가상 오브젝트(604)가 제공되지 않을 수 있다. 또한, 제N+2 요청시 제1 조건(601)이 A1, 제2 조건(602)이 B1, 제3 조건(603)이 C4인 복수의 조건들을 수신하여 가상 오브젝트를 요청받을 경우, 상기 3가지 조건에 모두 일치하는 가상 오브젝트가 존재하지 않으므로, 가상 오브젝트(604)가 제공되지 않을 수 있다.
본 개시의 다양한 실시 예에 따라, 상기 제N 요청, 제N+1 요청, 제N+2 요청에 의해 제1 조건(601)이 A1, 제2 조건(602)이 B1인 경우, 제3 조건(603)이 변경된 것으로 판단할 수 있다. 예컨대, 도 8에 도시된 바와 같이 위치가 변경되거나 이미지가 변경될 수 있다. 이때, 상기와 같이 일치하지 않는 제3 조건(603)이 일정 횟수 또는 일정 시간 이상 지속될 때, 상기 제1 가상 오브젝트에 대응된 제1 조건(601)이 A1, 제2 조건(602)이 B1, 제3 조건(603)이 C1인 복수의 조건들을 부분 매칭 조건으로 설정할 수 있다. 또한, 상기 부분 매칭 조건을 만족하는 제1 가상 오브젝트는 부분 매칭 가상 오브젝트로 설정할 수 있다.
이와 같이, 상기 제1 가상 오브젝트가 부분 매칭 가상 오브젝트로 설정되면, 가상 오브젝트 요청시 제1 조건 및 제2 조건은 만족하나, 제3 조건이 만족하지 않더라도 상기 제1 가상 오브젝트를 제공할 수 있다. 마찬가지로, 제1 조건은 A2이고 제3 조건은 C2이며, 제2 조건이 변경되었을 경우, 상기 제2 조건이 변경되기 전 설정된 제2 가상 오브젝트를 부분 매칭 가상 오브젝트로 설정할 수 있다.
이하, 도 7 내지 도 9를 참조하여 본 개시의 다양한 실시 예에 따라 전자 장치에서 부분 매칭 가상 오브젝트를 표시하는 다양한 예들을 설명하기로 한다.
도 7은 본 개시의 다양한 실시 예에 따른 부분 매칭 가상 오브젝트 제공의 예를 나타내는 도면이다. 도 7을 참조하면, 특정 시간에 사용자 A(720)는 전자 장치(100)(예컨대, 스마트폰)를 이용하여 역삼동(700)의 스누피 커피 이미지(710)와 관련된 말풍선(730)을 생성할 수 있다. 상기 가상 오브젝트(예컨대, 말풍선)를 생성한 특정 시간, 사용자 ID(예컨대, 사용자 A(720)), 위치(역삼동(700)), 스누피 커피 이미지(710)는 가상 오브젝트인 말풍선(730)에 대응되는 복수의 상황 정보 또는 조건들일 수 있다.
본 개시의 다양한 실시 예에 따라, 상기 도 7에서 등록한 가상 오브젝트의 조건들 중 하나의 조건이 변경되었을 경우, 상기 도 7에서 등록한 가상 오브젝트를 부분 매칭 가상 오브젝트로 등록하여 일부 조건들만 만족하더라도 가상 오브젝트를 제공할 수 있다.
도 8은 본 개시의 다양한 실시 예에 따른 부분 매칭 가상 오브젝트 제공의 예를 나타내는 도면이다. 도 8을 참조하면, 특정 시간에 사용자 A(820)는 전자 장치(100)(예컨대, 스마트폰)를 이용하여 역삼동(800)의 커피 이미지(810)와 관련된 말풍선(830)을 생성할 수 있다. 상기 가상 오브젝트(예컨대, 말풍선)를 생성한 특정 시간, 사용자 ID(예컨대, 사용자 A(820)), 위치(역삼동(800)), 커피 이미지(810)는 가상 오브젝트인 말풍선(830)에 대응되는 복수의 상황 정보 또는 조건들일 수 있다.
본 개시의 다양한 실시 예에 따라, 가상 오브젝트의 다수의 조건 중 하나 이상의 조건이 변경되었을 때, 변경되지 않은 조건에 기반하여 가상 오브젝트(예컨대, 말풍선(830))를 표시할 수 있다.
예컨대, 가상 오브젝트의 조건 중 하나인 스누피 커피 이미지가 없어서 설정된 조건들이 모두 매칭되지 않더라도 가상 오브젝트인 말풍선(830)이 증강 현실 이미지로 제공될 수 있다. 예컨대, 본 개시의 다양한 실시 예에서와 같이, 스누피 카페가 없어져서 스누피 커피 이미지가 가상 오브젝트를 표시하는 복수의 조건들 중에서 변경 또는 삭제되는 경우라고 할지라도, 다양한 실시 예에 따라 가상 오브젝트에 대응된 복수의 조건들 중 일부 조건의 매칭 여부를 기반으로 가상 오브젝트(예컨대, 말풍선(830))를 표시할 수 있다.
본 개시의 다양한 실시 예에 따라, 사용자 A는 전자 장치(100)를 이용하여 부분 매칭 가상 오브젝트에 대하여 추가의 오브젝트를 생성하고 활용할 수 있다. 예컨대, 사용자 A는 부분 매칭 가상 오브젝트를 전자 장치(100)에서 확인하고, '스누피 카페 청담동으로 이전했어요.' 등과 같은 말풍선, 변경된 지도 또는 변경된 거리 뷰(streetview) 등의 정보들을 생성할 수 있다. 본 개시의 다양한 실시 예에 따르면, 생성한 가상 오브젝트 중 하나를 스누피 카페에 관한 정보를 필요로 하는 사용자 B에게 제공할 수 있다. 이에 따라, 가상 오브젝트의 일부 조건을 기반으로 관련된 가상 오브젝트를 열람할 수 있다.
본 개시의 다양한 실시 예로서, 가상 오브젝트의 복수의 조건들에 대해 레벨(단계)을 설정하고, 복수의 조건들에 대응된 가상 오브젝트를 생성하는 시점의 조건들과 가상 오브젝트를 열람하는 시점에서의 조건의 일치 정도에 따라서, 부분 매칭 가상 오브젝트를 표시하는 정도를 다르게 할 수도 있다.
예컨대, 상기 도 7 및 도 8을 다시 참조하면, 생성하는 시점의 가상 오브젝트에 대한 복수의 조건들 중 하나가 스누피 커피 이미지(710)인 가상 오브젝트를 열람할 경우, 다른 조건은 모두 일치하고, 상기 이미지에 대한 조건만 일치하지 않는 상황일 수 있다. 이때, 상기 이미지가 '스누피 커피 이미지'는 아니지만 '커피 이미지'인 경우와 커피와는 관련 없는 이미지가 입력되었을 경우, 다른 레벨의 부분 매칭 가상 오브젝트를 표시할 수 있다. 예를 들어, 가상 오브젝트의 조건에 레벨을 설정하는 방법으로, 상기에서 언급한 보안 레벨(단계)을 이용할 수도 있다.
예컨대, 생성하는 시점의 가상 오브젝트에 대한 복수의 조건들 중 하나가 스누피 커피 이미지인 가상 오브젝트를 열람할 경우, 다른 조건은 모두 일치하고, 이미지 조건만 일치하지 않는 상황일 때, 가상 오브젝트에 대응된 복수의 조건들에 설정된 보안 레벨에 따라, 부분 매칭 가상 오브젝트의 존재 여부만 인지할 수 있도록 해주고, 일치하지 않는 조건인 이미지에 대한 정보가 입력되었을 경우, 상기 부분 매칭 가상 오브젝트를 표시하도록 구현할 수 있다. 또한, 상기 일치하지 않는 조건인 이미지에 대한 정보의 입력은 '스누피 커피' 라고 음성으로 입력받을 수도 있고, 스누피 커피 이미지를 검색하여 입력하면, 해당 부분 매칭 가상 오브젝트를 보여줄 수도 있다.
본 개시의 다양한 실시 예에 따라, 가상 오브젝트를 표시하는 조건 중, 일부 일치하지 않는 조건에 대해서, 기존 조건과 일정 부분 관련이 있는 조건이 입력될 경우, 해당 일치하는 가상 오브젝트를 표시하도록 구현할 수도 있다.
예컨대, 스누피 카페가 해당 위치에서 없어져서 도 7의 가상 오브젝트의 조건 중 하나인 스누피 커피 이미지(710)가 도 8의 하트 커피 이미지(810)로 변경된 경우, 나머지 사용자 ID(720), 위치(700) 조건을 기반으로 가상 오브젝트를 변경된 현실 오브젝트인 현재 프리뷰 영상에 증강 현실로서 표시할 수 있다.
상기 조건이 변경된 가상 오브젝트의 표시 방법의 실시 예로서 도 8에서 도시된 바와 같이, 상기 가상 오브젝트의 조건 중에 하나였던, 스누피 이미지를 또 다른 가상 오브젝트로 현재 촬영된 영상에 오버랩(overlap)하여 표시할 수 있다.
본 개시의 다양한 실시 예에 따라, 상기 조건이 변경된 가상 오브젝트의 표시 방법의 또 다른 실시 예로서 프리뷰 상의 타임 라인 또는 시간을 검색할 수 있는 방법에 의해, 상기 변경된 조건인 스누피 커피가 있었던 시간 또는 가상 오브젝트를 생성했던 시간으로 되돌려서 가상 오브젝트와 함께 표시할 수 있도록 구현할 수도 있다.
다양한 실시 예에 따라 현실의 객체와 가상 오브젝트를 결합하여 저장하거나 다양하게 표시할 수도 있다.
예컨대, 사용자가 가상 오브젝트를 정보로서 저장했을 경우, 사용자는 원할 때 이를 조회할 수 있다. 또한, 각 조건에 영상이나 위치관련 정보가 포함되어 있을 경우 갤러리와 같은 형태로 표현할 수도 있다.
도 9에 도시된 바와 같이, 다른 실시 예에 따라, 전자 장치의 화면상에서 보여지는 내용은 촬영 시 영상과 가상 오브젝트가 맵핑된 화면일 수 있다. 예컨대, 본 개시의 다양한 실시 예에 따라 전자 장치에서 영상의 범위에 존재하는 모든 조건을 표시해주고, 사용자는 조건을 선택하여, 촬영 당시 보이지 않던 가상 오브젝트들을 표시할 수도 있다.
상기 조건이 변경된 가상 오브젝트의 표시 방법의 또 다른 실시 예로서, 증강 현실 정보를 생성할 때, 가상 오브젝트를 배경으로 설정했을 경우, 현실 대상을 인식했을 때의 배경을 가상 오브젝트의 배경으로 변경할 수 있다. 예를 들면 스누피 이미지가 인식되었을 경우, 정합되는 가상 오브젝트를 증강현실 정보를 생성할 당시의 배경을 사용하면, 추후 스누피 이미지를 제외한 카페 배경이 변경되더라도, 사용자는 증강현실 정보가 생성될 때의 배경위의 스누피 이미지를 볼 수 있다.
상기 조건이 변경된 가상 오브젝트의 표시 방법의 또 다른 실시 예로서, 상기 변경된 조건이 도 7 및 도 8에서 위치일 경우, 지도 또는 거리뷰(streetview)에 가상 오브젝트, 또는 가상 오브젝트와 가상 오브젝트의 일부 조건 중 하나(예컨대, 이미지)를 표시할 수도 있다.
본 개시의 다양한 실시 예에 따라 가상 오브젝트 또는 부분 매칭 가상 오브젝트의 제공 방법은 전술한 바와 같이 전자 장치 내에서 또는 외부 서버와 연동하여 제공할 수 있다. 또한, 가상 오브젝트 또는 부분 매칭 가상 오브젝트의 제공 방법의 적어도 일부는 전자 장치 내에서 나머지 적어도 일부는 외부 서버를 통해 수행될 수 있다. 이하, 도 10 및 도 11을 참조하여 외부 서버에 의해 가상 오브젝트 또는 부분 매칭 가상 오브젝트를 제공하는 방법의 실시 예를 설명하기로 한다.
도 10은 본 개시의 다양한 실시 예에 따른 시스템을 나타내는 도면이다. 도 10을 참조하면, 본 개시의 실시 예에 따른 시스템은 적어도 하나의 전자 장치(1000) 및 가상 오브젝트 제공 서버(1020)를 포함하여 구성될 수 있다.
본 개시의 실시 예에 따라 전자 장치(1000)에 구비된 카메라 모듈을 통해 영상이 촬영되면, 촬영된 영상에서 인지된 오브젝트에 가상 오브젝트를 정합하여 증강 현실을 제공할 수 있다. 상기 가상 오브젝트는 전자 장치(1000) 내에 저장된 오브젝트일 수도 있으며, 전자 장치(1000)에서 통신 네트워크(1010)를 통해 가상 오브젝트 제공 서버(1020)로 요청하여 수신된 오브젝트일 수도 있다.
예컨대, 상기 전자 장치(1000)에서 촬영된 영상에서 적어도 하나의 현실 오브젝트를 인지하고, 복수의 조건들(예컨대, 상기 전자 장치(1000)의 지리상의 위치, 지향 방향, 지향 범위, 지향 대상, 지향 시간, 타 사용자(client)에 대한 노출 정도, 날씨 등과 같은 환경적 조건, 사용자 제스처 등)을 통신 네트워크(1010)를 통해 가상 오브젝트 제공 서버(1020)로 전송함으로써 가상 오브젝트를 요청하면, 상기 가상 오브젝트 제공 서버(1020)에서는 상기 복수의 조건들에 매칭되는 가상 오브젝트를 데이터베이스에서 검색하여 전자 장치(1000)로 제공할 수 있다. 전자 장치(1000)에서는 상기 가상 오브젝트 제공 서버(1020)로부터 제공된 가상 오브젝트를 현재 촬영된 영상에 정합(이미지 합성 또는 이미지 오버레이)함으로써 증강 현실을 표시할 수 있다.
본 개시의 다양한 실시 예를 따라, 현실 오브젝트의 인지와 복수의 조건 수집은 다수의 전자 장치(1000)를 활용하여 얻을 수 있다. 예컨대, 전자 장치(1000)는 각기 소유하고 있는 센서 혹은 장치가 다를 수 있다. 예컨대, 다양한 실시 예에 따라 복합적인 조건을 구성하기 위해 다수의 전자 장치의 센싱 정보를 상호 간에 통신 모듈을 통해 전달할 수 있다. 또 다른 실시 예로, 다수의 전자 장치의 센싱 정보를 서버에서 통합해 전달받아 복수의 조건을 구성할 수도 있다.
상기 가상 오브젝트 서버(1020)에서 상기 복수의 조건들에 매칭되는 가상 오브젝트가 존재하지 않을 경우 종래에는 가상 오브젝트를 제공할 수 없었으나, 본 개시의 실시 예에서는 상기 복수의 조건들 중 적어도 하나의 조건에 매칭되는 가상 오브젝트를 전자 장치(1000)로 제공함으로써 사용자에게 다양하고 유용한 정보를 제공할 수 있다.
상기 도 10에서는 전자 장치(1000)에서 가상 오브젝트 제공 서버(1020)로 가상 오브젝트를 요청하여 제공받는 것으로 설명하였으나, 전술한 바와 같이 전자 장치(1000) 내에 저장된 저장부를 통해 복수의 조건들에 매칭되는 가상 오브젝트를 검색하여 표시할 수도 있다.
상기 통신 네트워크(1010)는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN; personal area network), 근거리 통신망(LAN; local area network), 도시권 통신망(MAN; metropolitan area network), 광역 통신망(WAN; wide area network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 통신 네트워크(1010)는 공지의 월드와이드웹(WWW; world wide web)일 수 있으며, 적외선(infrared data association; IrDA) 또는 블루투스(bluetooth)와 같이 단거리 통신에 이용되는 무선전송기술을 이용할 수도 있다. 또한, 상기 통신 네트워크(1010)는 방송 신호를 수신하기 위한 케이블 방송 통신망, 지상파 방송 통신망, 위성 방송 통신망 등을 포함할 수도 있다.
도 11은 본 개시의 다양한 실시 예에 따른 가상 오브젝트 제공 서버의 세부 구성을 나타내는 도면이다. 도 11을 참조하면, 가상 오브젝트 제공 서버(1020)는 가상 오브젝트 등록부(1110), 가상 오브젝트 요청부(1120), 오브젝트 요청 처리부(1130), 부분 매칭 가상 오브젝트 설정부(1140) 등을 포함하여 구성될 수 있다. 또한, 본 개시의 실시 예에 따라 상기 가상 오브젝트 제공 서버(1020)는 가상 오브젝트 데이터베이스(1150), 조건 정보 데이터베이스(1160) 등의 데이터베이스를 더 포함할 수 있다.
가상 오브젝트 등록부(1110)는 증강 현실을 구현하기 위한 적어도 하나의 가상 오브젝트를 복수의 조건들에 대응하여 데이터베이스에 저장하는 기능을 수행할 수 있다. 상기 등록할 각 가상 오브젝트는 가상 오브젝트 데이터베이스(1150)에 복수의 조건들(예컨대, 둘 이상의 조건들)에 대응하여 저장될 수 있다. 이때, 상기 복수의 조건들은 부분 매칭 가상 오브젝트 설정을 위해 조건 정보 데이터베이스(1160)에 별도로 저장되어 관리될 수도 있다.
상기 가상 오브젝트 등록부(1110)는 각 전자 장치(1000)에서의 가상 오브젝트 등록 요청에 따라 해당 가상 오브젝트 및 복수의 조건들을 수신하여 등록할 수도 있으며, 상기 가상 오브젝트 제공 서버(1020)에서 직접 등록할 수도 있다.
가상 오브젝트 요청부(1120)는 도 10에서 상술한 바와 같이 전자 장치(1000)로부터 복수의 조건들을 수신하여 매칭되는 가상 오브젝트를 요청받으면, 상기 요청에 따라 오브젝트 요청 처리부(1130)로 가상 오브젝트를 요청한다. 이때, 상기 요청된 복수의 조건들은 조건 정보 데이터베이스(1160)에 저장될 수 있다.
오브젝트 요청 처리부(1130)는 조건 비교부(1131), 매칭 오브젝트 전송부(1132), 부분 매칭 처리부(1133) 등을 포함하여 구성될 수 있다. 조건 비교부(1131)는 상기 가상 오브젝트 요청부(1120)를 통한 가상 오브젝트의 요청에 따라 수신된 조건들을 가상 오브젝트 데이터베이스(1150)에 저장된 각 가상 오브젝트에 대응된 복수의 조건들과 비교하는 기능을 수행한다.
매칭 오브젝트 전송부(1132)는 상기 조건 비교부(1131)의 비교 결과 수신된 조건들과 모든 조건이 일치하는 가상 오브젝트를 매칭 오브젝트로서 해당 전자 장치(1000)로 전송한다.
만약, 상기 조건 비교부(1131)의 비교 결과, 수신된 복수의 조건들에 대해 모든 조건이 일치하는 가상 오브젝트가 가상 오브젝트 데이터베이스(1150) 내에 존재하지 않을 경우, 적어도 하나의 조건을 만족하는 가상 오브젝트가 존재하는 지를 판단할 수 있다. 상기 판단 결과, 적어도 하나의 조건을 만족하는 가상 오브젝트가 존재할 경우, 부분 매칭 처리부(1133)에서는 해당 오브젝트를 부분 매칭 가상 오브젝트로서 상기 전자 장치(1000)로 전송할 수 있다. 또한, 본 개시의 다른 실시 예에 따라 상기 수신된 복수의 조건들이 미리 설정된 부분 매칭 조건에 만족할 경우, 미리 설정된 부분 매칭 처리를 수행할 수 있다. 이에 대한 다양한 실시 예들은 후술하기로 한다.
부분 매칭 가상 오브젝트 설정부(1140)는 본 개시의 실시 예에 따라 저장된 가상 오브젝트 중 특정 조건을 만족하는 가상 오브젝트를 부분 매칭 가상 오브젝트로 설정하는 기능을 수행한다. 예컨대, 본 개시의 실시 예에 따라 상기 가상 오브젝트 데이터베이스(1150)에 저장된 각 가상 오브젝트에 대해 매칭된 복수의 조건들 중에서 특정 조건이 일치하지 않는 조건들을 일정 기간 이상 반복하여 수신할 경우, 해당 가상 오브젝트를 부분 매칭 가상 오브젝트로 설정할 수 있다. 이에 따라, 상기 부분 매칭 처리부(1133)에서는 상기 전자 장치(1000)로부터 수신된 복수의 조건들이 상기 부분 매칭 가상 오브젝트의 부분 매칭 조건에 만족할 경우, 해당 부분 매칭 가상 오브젝트를 상기 전자 장치(1000)로 제공할 수 있다.
이에 따라, 상기 전자 장치(1000)에서는 특정 조건이 변경되어(예컨대, 복수의 조건들 중 위치가 변경되거나 이미지가 변경되면) 전체 조건을 만족하는 가상 오브젝트가 존재하지 않더라도, 관련된 가상 오브젝트를 부분 매칭 가상 오브젝트로 제공함으로써 사용자에게 보다 다양한 정보들을 제공할 수 있다.
본 개시의 다양한 실시 예 중 어느 하나에 따른 가상 오브젝트 제공 서버는, 증강 현실을 위한 적어도 하나의 가상 오브젝트를 복수의 조건들에 대응하여 저장하는 가상 오브젝트 등록부; 전자 장치로부터 복수의 조건들을 수신하여 가상 오브젝트의 검색을 요청하는 가상 오브젝트 요청부; 및 상기 저장된 가상 오브젝트 중에서 상기 전자 장치로부터 수신된 복수의 조건들을 만족하는 가상 오브젝트를 검색하고, 상기 수신된 복수의 조건들 전체를 만족하는 가상 오브젝트가 존재하지 않을 경우, 상기 수신된 복수의 조건들 중 적어도 하나의 조건을 만족하는 가상 오브젝트를 상기 전자 장치로 전송하는 오브젝트 요청 처리부;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 오브젝트 요청 처리부는, 상기 수신된 복수의 조건들을 저장된 가상 오브젝트에 대응된 복수의 조건들과 비교하는 조건 비교부; 및 상기 비교 결과 적어도 하나의 조건이 일치하지 않으면, 상기 일치하지 않은 조건의 지속 여부를 판단하고, 상기 판단 결과 상기 일치하지 않은 조건이 미리 설정된 기간 이상 지속된 것으로 판단될 경우, 상기 일치하지 않은 조건이 지속된 복수의 조건들 중 적어도 하나의 일치된 조건들을 부분 매칭 조건으로 등록하는 부분 매칭 오브젝트 설정부;를 포함하고, 상기 오브젝트 요청 처리부는, 상기 전자 장치로부터 수신된 복수의 조건들이 상기 부분 매칭 조건을 만족할 경우, 상기 가상 오브젝트를 상기 전자 장치로 제공할 수 있다.
이하, 도 12를 참조하여, 본 개시의 실시 예들이 적용될 수 있는 전자 장치의 세부 구조를 예로서 설명하기로 한다. 도 12는 다양한 실시 예들에 따른 전자 장치(1201)의 블록도(1200)를 도시한다. 상기 전자 장치(1201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 구성할 수 있다. 도 12를 참조하면, 상기 전자 장치(1201)는 하나 이상의 애플리케이션 프로세서(AP: application processor)(1210), 통신 모듈(1220), SIM(subscriber identification module) 카드(1224), 메모리(1230), 센서 모듈(1240), 입력 장치(1250), 디스플레이(1260), 인터페이스(1270), 오디오 모듈(1280), 카메라 모듈(1291), 전력관리 모듈(1295), 배터리(1296), 인디케이터(1297) 및 모터(1298)를 포함할 수 있다.
상기 AP(1210)는 운영체제 또는 응용 프로그램을 구동하여 상기 AP(1210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP(1210)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 일 실시 예에 따르면, 상기 AP(1210)는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
상기 통신 모듈(1220)(예컨대, 상기 통신 인터페이스(160))은 상기 전자 장치(1201)(예컨대, 상기 전자 장치(101))와 네트워크를 통해 연결된 다른 전자 장치들(예컨대, 전자 장치(104) 또는 서버(106) 간의 통신에서 데이터 송수신을 수행할 수 있다. 일 실시 예에 따르면, 상기 통신 모듈(1220)은 셀룰러 모듈(1221), Wifi 모듈(1223), BT 모듈(1225), GPS 모듈(1227), NFC 모듈(1228) 및 RF(radio frequency) 모듈(1229)을 포함할 수 있다.
상기 셀룰러 모듈(1221)은 통신망(예컨대, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등)을 통해서 음성 통화, 영상 통화, 문자 서비스 또는 인터넷 서비스 등을 제공할 수 있다. 또한, 상기 셀룰러 모듈(1221)은, 예를 들면, 가입자 식별 모듈(예컨대, SIM 카드(1224))을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 일 실시 예에 따르면, 상기 셀룰러 모듈(1221)은 상기 AP(1210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 예를 들면, 상기 셀룰러 모듈(1221)은 멀티 미디어 제어 기능의 적어도 일부를 수행할 수 있다.
일 실시 예에 따르면, 상기 셀룰러 모듈(1221)은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다. 또한, 상기 셀룰러 모듈(1221)은, 예를 들면, SoC(System on Chip) 형태로 구현될 수 있다. 도 12에서는 상기 셀룰러 모듈(1221)(예컨대, 커뮤니케이션 프로세서), 상기 메모리(1230) 또는 상기 전력관리 모듈(1295) 등의 구성요소들이 상기 AP(1210)와 별개의 구성요소로 도시되어 있으나, 일 실시 예에 따르면, 상기 AP(1210)가 전술한 구성요소들의 적어도 일부(예컨대, 셀룰러 모듈(1221)을 포함하도록 구현될 수 있다.
한 실시 예에 따르면, 상기 AP(1210) 또는 상기 셀룰러 모듈(1221)(예컨대, 커뮤니케이션 프로세서)은 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP(1210) 또는 상기 셀룰러 모듈(1221)은 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
상기 Wifi 모듈(1223), 상기 BT 모듈(1225), 상기 GPS 모듈(1227) 또는 상기 NFC 모듈(1228) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 도 16에서는 셀룰러 모듈(1221), Wifi 모듈(1223), BT 모듈(1225), GPS 모듈(1227) 또는 NFC 모듈(1228)이 각각 별개의 블록으로 도시되었으나, 일 실시 예에 따르면, 셀룰러 모듈(1221), Wifi 모듈(1223), BT 모듈(1225), GPS 모듈(1227) 또는 NFC 모듈(1228) 중 적어도 일부(예컨대, 두 개 이상)는 하나의 집적 회로(integrated chip; IC) 또는 IC 패키지 내에 포함될 수 있다. 예를 들면, 셀룰러 모듈(1221), Wifi 모듈(1223), BT 모듈(1225), GPS 모듈(1227) 또는 NFC 모듈(1228) 각각에 대응하는 프로세서들 중 적어도 일부(예컨대, 셀룰러 모듈(1221))에 대응하는 커뮤니케이션 프로세서 및 Wifi 모듈(1223)에 대응하는 Wifi 프로세서)는 하나의 SoC로 구현될 수 있다.
상기 RF 모듈(1229)은 데이터의 송수신, 예를 들면, RF 신호의 송수신을 할 수 있다. 상기 RF 모듈(1229)은, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, 상기 RF 모듈(1229)은 무선 통신에서 자유 공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다. 도 16에서는 셀룰러 모듈(1221), Wifi 모듈(1223), BT 모듈(1225), GPS 모듈(1227) 및 NFC 모듈(1228)이 하나의 RF 모듈(1229)을 서로 공유하는 것으로 도시되어 있으나, 일 실시 예에 따르면, 셀룰러 모듈(1221), Wifi 모듈(1223), BT 모듈(1225), GPS 모듈(1227) 또는 NFC 모듈(1228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호의 송수신을 수행할 수 있다.
상기 SIM 카드(1224)는 가입자 식별 모듈을 포함하는 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드(1224)는 고유한 식별 정보(예컨대, ICCID(integrated circuit card identifier)) 또는 가입자 정보(예컨대, IMSI(international mobile subscriber identity))를 포함할 수 있다.
상기 메모리(1230)(예컨대, 상기 메모리(130))는 내장 메모리(1232) 또는 외장 메모리(1234)를 포함할 수 있다. 상기 내장 메모리(1232)는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory)(예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 내장 메모리(1232)는 SSD(solid state drive) 일 수 있다. 상기 외장 메모리(1234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 상기 외장 메모리(1234)는 다양한 인터페이스를 통하여 상기 전자 장치(1201)와 기능적으로 연결될 수 있다. 일 실시 예에 따르면, 상기 전자 장치(1201)는 하드 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
상기 센서 모듈(1240)은 물리량을 계측하거나 전자 장치(1201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서 모듈(1240)은, 예를 들면, 제스처 센서(1240A), 자이로 센서(1240B), 기압 센서(1240C), 마그네틱 센서(1240D), 가속도 센서(1240E), 그립 센서(1240F), 근접 센서(1240G), 색상(color) 센서(1240H)(예컨대, RGB(red, green, blue) 센서), 생체 센서(1240I), 온/습도 센서(1240J), 조도 센서(1240K) 또는 UV(ultra violet) 센서(1240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 센서 모듈(1240)은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시), IR(infra red) 센서(미도시), 홍채 센서(미도시) 또는 지문 센서(미도시) 등을 포함할 수 있다. 상기 센서 모듈(1240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 입력 장치(1250)는 터치 패널(touch panel)(1252), (디지털) 펜 센서(pen sensor)(1254), 키(key)(1256) 또는 초음파(ultrasonic) 입력 장치(1258)를 포함할 수 있다. 상기 터치 패널(1252)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널(1252)은 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 상기 터치 패널(1252)은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널(1252)은 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서(1254)는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 상기 키(1256)는, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 상기 초음파(ultrasonic) 입력 장치(1258)는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치(1201)에서 마이크(예컨대, 마이크(1288))로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 일 실시 예에 따르면, 상기 전자 장치(1201)는 상기 통신 모듈(1220를 이용하여 이와 연결된 외부 장치(예컨대, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
상기 디스플레이(1260)(예컨대, 상기 디스플레이(150))는 패널(1262), 홀로그램 장치(1264) 또는 프로젝터(1266))를 포함할 수 있다. 상기 패널(1262)은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 상기 패널(1262)은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널(1262)은 상기 터치 패널(1252)과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 장치(1264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터(1266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 상기 스크린은, 예를 들면, 상기 전자 장치(1201)의 내부 또는 외부에 위치할 수 있다. 일 실시 예에 따르면, 상기 디스플레이(1260)는 상기 패널(1262), 상기 홀로그램 장치(1264), 또는 프로젝터(1266)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 인터페이스(1270)는, 예를 들면, HDMI(high-definition multimedia interface)(1272), USB(universal serial bus)(1274), 광 인터페이스(optical interface)(1276) 또는 D-sub(D-subminiature)(1278)를 포함할 수 있다. 상기 인터페이스(1270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(160)에 포함될 수 있다. 추가적으로 또는 대안적으로, 상기 인터페이스(1270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure digital) 카드/MMC(multi-media card) 인터페이스 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
상기 오디오 모듈(1280)은 소리(sound)와 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈(1280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(140)에 포함될 수 있다. 상기 오디오 모듈(1280)은, 예를 들면, 스피커(1282), 리시버(1284), 이어폰(1286) 또는 마이크(1288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
상기 카메라 모듈(1291)은 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 일 실시 예에 따르면, 하나 이상의 이미지 센서(예컨대, 전면 센서 또는 후면 센서), 렌즈(미도시), ISP(image signal processor, 미도시) 또는 플래쉬(flash, 미도시)(예컨대, LED 또는 제논 램프(xenon lamp))를 포함할 수 있다.
상기 전력 관리 모듈(1295)은 상기 전자 장치(1201)의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력 관리 모듈(1295)은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 일 실시 예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등의 회로가 추가될 수 있다.
상기 배터리 게이지는, 예를 들면, 상기 배터리(1296)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리(1296)는 전기를 저장 또는 생성할 수 있고, 그 저장 또는 생성된 전기를 이용하여 상기 전자 장치(1201)에 전원을 공급할 수 있다. 상기 배터리(1296)는, 예를 들면, 충전식 전지(rechargeable battery) 또는 태양 전지(solar battery)를 포함할 수 있다.
상기 인디케이터(1297)는 상기 전자 장치(1201) 혹은 그 일부(예컨대, 상기 AP(1210)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터(1298)는 전기적 신호를 기계적 진동으로 변환할 수 있다. 도시되지는 않았으나, 상기 전자 장치(1201)는 모바일 TV 지원을 위한 처리 장치(예컨대, GPU)를 포함할 수 있다. 상기 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 개시에 따른 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 개시에 따른 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 개시에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 개시에 사용된 용어 “모듈”은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈”은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈”은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. “모듈”은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈”은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 개시에 따른 “모듈”은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 본 개시에 따른 장치(예컨대, 모듈들 또는 그 기능들) 또는 방법(예컨대, 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예컨대, 상기 프로세서(210)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리(220)가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서(210)에 의해 구현(implement)(예컨대, 실행)될 수 있다. 상기 프로그래밍 모듈 의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(magnetic media)와, CD-ROM(compact disc read only memory), DVD(digital versatile disc)와 같은 광기록 매체(optical media)와, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media)와, 그리고 ROM(read only memory), RAM(random access memory), 플래시 메모리 등과 같은 프로그램 명령(예컨대, 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 개시의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 개시에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 개시에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
다양한 실시 예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 복수의 조건들을 확인하는 동작; 적어도 하나의 가상 오브젝트 중에서 상기 복수의 조건들을 만족하는 가상 오브젝트를 검색하는 동작; 및 상기 검색 결과 상기 복수의 조건들을 만족하는 가상 오브젝트가 존재하지 않을 경우, 상기 복수의 조건들 중 적어도 하나의 조건을 만족하는 가상 오브젝트를 제공하는 동작;을 포함할 수 있다. 또한, 본 개시의 다양한 실시 예들은 다른 실시 예들이 가능할 수 있다.
그리고 본 명세서와 도면에 개시된 본 개시의 실시 예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시 예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
100 : 네트워크 환경 101 : 전자 장치
104 : 전자 장치 106 : 서버
110 : 버스 120 : 프로세서
130 : 메모리 131 : 커널
132 : 미들웨어 133 : API
134 : 애플리케이션 140 : 입출력 인터페이스
150 : 디스플레이 160 : 통신 인터페이스
162 : 네트워크 170 : 가상 오브젝트 처리 모듈
210 : 가상 오브젝트 등록부 220 : 가상 오브젝트 요청부
230 : 오브젝트 요청 처리부 231 : 조건 비교부
232 : 매칭 오브젝트 전송부 233 : 부분 매칭 처리부
240 : 부분 매칭 가상 오브젝트 설정부
250 : 가상 오브젝트 DB 260 : 조건 정보 DB

Claims (20)

  1. 전자 장치에서 가상 오브젝트를 제공하는 방법에 있어서,
    복수의 현재 조건을 포함하는 제1 조건 집합을 포함하는, 가상 오브젝트에 대한 요청을 수신하는 동작;
    상기 복수의 현재 조건을 데이터베이스에 저장된 복수의 조건 집합에 포함된 복수의 조건과 각각 비교함으로써, 상기 가상 오브젝트를 위한 상기 데이터베이스를 검색하는 동작 - 상기 복수의 조건 집합은 상기 데이터베이스에 저장된 적어도 하나의 가상 오브젝트에 각각 대응됨 -;
    상기 복수의 조건 집합 중 상기 복수의 조건 집합에 포함된 복수의 조건이 상기 복수의 현재 조건과 모두 일치하는 조건 집합이 존재하지 않는 경우, 상기 복수의 현재 조건 중, 상기 복수의 조건 집합 중 하나의 조건 집합에 포함된 하나 이상의 제2 조건과 일치하는 하나 이상의 제1 조건을 확인하는 동작;
    상기 하나 이상의 제1 조건을 포함하는 조건 집합을 포함하는 상기 요청의 수신이 미리 설정된 횟수만큼 반복되었다고 확인되는 경우, 상기 하나 이상의 제1 조건을 부분 매칭 조건으로서 등록하고, 부분 매칭 가상 오브젝트를 상기 부분 매칭 조건에 대응시켜 상기 데이터베이스에 저장하는 동작; 및
    상기 부분 매칭 가상 오브젝트를 제공하는 동작;을 포함하는, 가상 오브젝트 제공 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 가상 오브젝트를 상기 복수의 조건 집합에 대응하여 저장하는 동작;을 더 포함하는, 가상 오브젝트 제공 방법.
  3. 제1항에 있어서, 상기 부분 매칭 가상 오브젝트를 제공하는 동작은,
    상기 부분 매칭 가상 오브젝트를 화면상에 표시되고 있는 이미지와 합성하여 표시하는 동작을 포함하는, 가상 오브젝트 제공 방법.
  4. 제1항에 있어서, 상기 방법은,
    상기 하나 이상의 제1 조건과 상기 하나 이상의 제2 조건의 일치가 미리 설정된 기간 이상 지속되는 경우, 상기 하나 이상의 제1 조건을 부분 매칭 조건으로서 등록하고, 상기 부분 매칭 가상 오브젝트를 상기 부분 매칭 조건에 대응시켜 상기 데이터베이스에 저장하는 동작을 더 포함하는, 가상 오브젝트 제공 방법.
  5. 제1항에 있어서,
    상기 복수의 조건 집합 중 하나의 조건 집합은 상기 복수의 현재 조건과 일치하지 않는 제3 조건을 포함하고,
    상기 제3 조건은 미리 설정된 제1 오브젝트를 포함하는 이미지가 입력되는 것이고,
    상기 복수의 현재 조건은 상기 제3 조건과 일치하지 않는 제4 조건을 포함하고,
    상기 제4 조건은 상기 제1 오브젝트와 상이한 제2 오브젝트를 포함하는 이미지가 입력되는 것이고,
    상기 방법은, 상기 제1 오브젝트에 대응되는 제3 오브젝트를, 상기 제2 오브젝트를 포함하는 상기 이미지의 상기 제2 오브젝트의 위치 상에 오버레이하여 제공하는 동작을 더 포함하는, 가상 오브젝트 제공 방법.
  6. 제1항에 있어서, 상기 가상 오브젝트는,
    스틸 이미지, 동영상, 소리, 냄새, 촉각, 온도 및 위치 중에서 선택된 어느 하나 이상인, 가상 오브젝트 제공 방법.
  7. 제1항에 있어서, 상기 복수의 조건은,
    상기 전자 장치의 지리상의 위치, 지향 방향, 지향 범위, 지향 대상, 지향 시간, 타 사용자(client)에 대한 노출 정도, 날씨, 사용자 제스처 중에서 선택된 어느 하나 이상에 관련되는, 가상 오브젝트 제공 방법.
  8. 가상 오브젝트를 제공하는 전자 장치에 있어서,
    메모리, 및 프로세서를 포함하고,
    상기 프로세서는:
    복수의 현재 조건을 포함하는 제1 조건 집합을 포함하는, 가상 오브젝트에 대한 요청을 수신하고;
    상기 복수의 현재 조건을 상기 메모리에 저장된 데이터베이스에 저장된 복수의 조건 집합에 포함된 복수의 조건과 각각 비교함으로써, 상기 가상 오브젝트를 위한 상기 데이터베이스를 검색하고 - 상기 복수의 조건 집합은 상기 데이터베이스에 저장된 적어도 하나의 가상 오브젝트에 각각 대응됨 -;
    상기 복수의 조건 집합 중 상기 복수의 조건 집합에 포함된 복수의 조건이 상기 복수의 현재 조건과 모두 일치하는 조건 집합이 존재하지 않는 경우, 상기 복수의 현재 조건 중, 상기 복수의 조건 집합 중 하나의 조건 집합에 포함된 하나 이상의 제2 조건과 일치하는 하나 이상의 제1 조건을 확인하고;
    상기 하나 이상의 제1 조건과 상기 하나 이상의 제2 조건의 일치가 미리 설정된 횟수만큼 반복되는 경우, 상기 하나 이상의 제1 조건을 부분 매칭 조건으로서 등록하고, 부분 매칭 가상 오브젝트를 상기 부분 매칭 조건에 대응시켜 상기 데이터베이스에 저장하고;
    상기 부분 매칭 가상 오브젝트를 제공하도록 구성되는, 전자 장치.
  9. 제8항에 있어서, 상기 프로세서는,
    상기 적어도 하나의 가상 오브젝트를 상기 복수의 조건 집합에 대응시켜, 상기 메모리에 저장된 상기 데이터베이스에 저장하도록 구성되는, 전자 장치.
  10. 제8항에 있어서, 상기 프로세서는,
    상기 가상 오브젝트를 화면상에 표시되고 있는 이미지와 합성하여, 디스플레이 상에 표시하도록 구성되는, 전자 장치.
  11. 제8항에 있어서, 상기 프로세서는,
    상기 하나 이상의 제1 조건과 상기 하나 이상의 제2 조건의 일치가 미리 설정된 기간 이상 지속되는 경우, 상기 하나 이상의 제1 조건을 부분 매칭 조건으로서 등록하고, 상기 부분 매칭 가상 오브젝트를 상기 부분 매칭 조건에 대응시켜 상기 데이터베이스에 저장하도록 구성되는, 전자 장치.
  12. 제8항에 있어서,
    상기 복수의 조건 집합 중 상기 하나는 상기 복수의 현재 조건과 일치하지 않는 제3 조건을 포함하고,
    상기 제3 조건은 미리 설정된 제1 오브젝트를 포함하는 이미지가 입력되는 것이고,
    상기 복수의 현재 조건은 상기 제3 조건과 일치하지 않는 제4 조건을 포함하고,
    상기 제4 조건은 상기 제1 오브젝트와 상이한 제2 오브젝트를 포함하는 이미지가 입력되는 것이고,
    상기 프로세서는, 상기 제1 오브젝트에 대응되는 제3 오브젝트를, 상기 제2 오브젝트를 포함하는 상기 이미지의 상기 제2 오브젝트의 위치 상에 오버레이하여 제공하도록 구성되는, 전자 장치.
  13. 제8항에 있어서, 상기 가상 오브젝트는,
    스틸 이미지, 동영상, 소리, 냄새, 촉각, 온도 및 위치 중에서 선택된 어느 하나 이상인, 전자 장치.
  14. 제8항에 있어서, 상기 복수의 조건은,
    상기 전자 장치의 지리상의 위치, 지향 방향, 지향 범위, 지향 대상, 지향 시간, 타 사용자(client)에 대한 노출 정도, 날씨, 사용자 제스처 중에서 선택된 어느 하나 이상에 관련되는, 전자 장치.
  15. 청구항 제1항 내지 제7항 중 어느 한 항에 기재된 방법을 컴퓨터상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 가상 오브젝트 제공 서버에 있어서,
    메모리, 및 프로세서를 포함하고,
    상기 프로세서는,
    복수의 현재 조건을 포함하는 제1 조건 집합을 포함하는, 가상 오브젝트에 대한 요청을 전자 장치로부터 수신하고;
    상기 복수의 현재 조건을 상기 메모리에 저장된 데이터베이스에 저장된 복수의 조건 집합에 포함된 복수의 조건과 각각 비교함으로써, 상기 가상 오브젝트를 위한 상기 데이터베이스를 검색하고 - 상기 복수의 조건 집합은 상기 데이터베이스에 저장된 적어도 하나의 가상 오브젝트에 각각 대응됨 -;
    상기 복수의 조건 집합 중 상기 복수의 조건 집합에 포함된 복수의 조건이 상기 복수의 현재 조건과 모두 일치하는 조건 집합이 존재하지 않는 경우, 상기 복수의 현재 조건 중, 상기 복수의 조건 집합 중 하나의 조건 집합에 포함된 하나 이상의 제2 조건과 일치하는 하나 이상의 제1 조건을 확인하고;
    상기 하나 이상의 제1 조건과 상기 하나 이상의 제2 조건의 일치가 미리 설정된 횟수만큼 반복되는 경우, 상기 하나 이상의 제1 조건을 부분 매칭 조건으로서 등록하고, 부분 매칭 가상 오브젝트를 상기 부분 매칭 조건에 대응시켜 상기 데이터베이스에 저장하고;
    상기 부분 매칭 가상 오브젝트를 상기 전자 장치에 제공하도록 구성되는, 가상 오브젝트 제공 서버.
  20. 제19항에 있어서, 상기 프로세서는,
    상기 하나 이상의 제1 조건과 상기 하나 이상의 제2 조건의 일치가 미리 설정된 기간 이상 지속되는 경우, 상기 하나 이상의 제1 조건을 부분 매칭 조건으로서 등록하고, 상기 부분 매칭 가상 오브젝트를 상기 부분 매칭 조건에 대응시켜 상기 데이터베이스에 저장하도록 구성되는, 가상 오브젝트 제공 서버.
KR1020140126591A 2014-09-23 2014-09-23 가상 오브젝트 제공 방법 및 그 전자 장치 KR102276847B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140126591A KR102276847B1 (ko) 2014-09-23 2014-09-23 가상 오브젝트 제공 방법 및 그 전자 장치
US14/860,992 US10242031B2 (en) 2014-09-23 2015-09-22 Method for providing virtual object and electronic device therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140126591A KR102276847B1 (ko) 2014-09-23 2014-09-23 가상 오브젝트 제공 방법 및 그 전자 장치

Publications (2)

Publication Number Publication Date
KR20160035248A KR20160035248A (ko) 2016-03-31
KR102276847B1 true KR102276847B1 (ko) 2021-07-14

Family

ID=55526219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140126591A KR102276847B1 (ko) 2014-09-23 2014-09-23 가상 오브젝트 제공 방법 및 그 전자 장치

Country Status (2)

Country Link
US (1) US10242031B2 (ko)
KR (1) KR102276847B1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6395423B2 (ja) * 2014-04-04 2018-09-26 キヤノン株式会社 画像処理装置、制御方法及びプログラム
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
TWI611307B (zh) * 2016-08-24 2018-01-11 李雨暹 適地性空間物件資料建立方法、顯示方法與應用系統
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US11145122B2 (en) 2017-03-09 2021-10-12 Samsung Electronics Co., Ltd. System and method for enhancing augmented reality (AR) experience on user equipment (UE) based on in-device contents
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US10332293B2 (en) * 2017-06-09 2019-06-25 Facebook, Inc. Augmenting reality with reactive programming
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
CN108255910A (zh) * 2017-07-31 2018-07-06 广州市动景计算机科技有限公司 信息展示方法、客户端、服务端及设备
US10803674B2 (en) * 2017-11-03 2020-10-13 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
US10360454B1 (en) * 2017-12-28 2019-07-23 Rovi Guides, Inc. Systems and methods for presenting supplemental content in augmented reality
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
CN118605978A (zh) * 2018-08-29 2024-09-06 华为技术有限公司 一种虚拟机器人形象的呈现方法及装置
US11232635B2 (en) 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
US11908149B2 (en) * 2019-10-10 2024-02-20 Andrew Thomas Busey Pattern-triggered object modification in augmented reality system
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
JP2022551735A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 無線フィンガプリントを用いたクロスリアリティシステム
CN114616509B (zh) 2019-10-31 2024-12-27 奇跃公司 具有关于持久坐标框架的质量信息的交叉现实系统
WO2021118962A1 (en) 2019-12-09 2021-06-17 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
US11830149B2 (en) * 2020-02-13 2023-11-28 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
JP2023514208A (ja) 2020-02-13 2023-04-05 マジック リープ， インコーポレイテッド マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム
US11410395B2 (en) 2020-02-13 2022-08-09 Magic Leap, Inc. Cross reality system with accurate shared maps
KR20220030641A (ko) * 2020-09-03 2022-03-11 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
CN113341215B (zh) * 2021-05-06 2022-11-25 南方电网数字电网研究院有限公司 双芯智能电表

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216650A (ja) * 2002-01-28 2003-07-31 Sony Corp 情報媒介システムのためのグラフィカルユーザインターフェイス
EP1887526A1 (en) * 2006-08-11 2008-02-13 Seac02 S.r.l. A digitally-augmented reality video system
US8676802B2 (en) * 2006-11-30 2014-03-18 Oracle Otc Subsidiary Llc Method and system for information retrieval with clustering
US8861898B2 (en) * 2007-03-16 2014-10-14 Sony Corporation Content image search
US8200663B2 (en) * 2007-04-25 2012-06-12 Chacha Search, Inc. Method and system for improvement of relevance of search results
US8055656B2 (en) * 2007-10-10 2011-11-08 International Business Machines Corporation Generating a user-specific search index of content within a virtual environment
GB2457267B (en) * 2008-02-07 2010-04-07 Yves Dassas A method and system of indexing numerical data
KR101652311B1 (ko) * 2010-01-26 2016-08-30 광주과학기술원 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
JP4902765B2 (ja) * 2010-03-31 2012-03-21 新日鉄ソリューションズ株式会社 情報処理システム及び情報処理方法
JP5055402B2 (ja) * 2010-05-17 2012-10-24 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
US8909623B2 (en) * 2010-06-29 2014-12-09 Demand Media, Inc. System and method for evaluating search queries to identify titles for content production
US8581997B2 (en) * 2010-10-28 2013-11-12 Intellectual Ventures Fund 83 Llc System for locating nearby picture hotspots
JP5480777B2 (ja) * 2010-11-08 2014-04-23 株式会社Ｎｔｔドコモ オブジェクト表示装置及びオブジェクト表示方法
KR101324336B1 (ko) * 2010-12-28 2013-10-31 주식회사 팬택 증강 현실 제공 단말기
JP5691568B2 (ja) * 2011-01-28 2015-04-01 ソニー株式会社 情報処理装置、報知方法及びプログラム
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9171384B2 (en) * 2011-11-08 2015-10-27 Qualcomm Incorporated Hands-free augmented reality for wireless communication devices
KR20130056529A (ko) 2011-11-22 2013-05-30 삼성전자주식회사 휴대용 단말기에서 증강현실 서비스를 제공하기 위한 장치 및 방법
US8732214B2 (en) * 2012-01-10 2014-05-20 W.W. Grainger, Inc. Product search
FR2985607B1 (fr) * 2012-01-11 2018-01-26 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede pour realiser un module photovoltaique avec deux etapes de gravure p1 et p3 et module photovoltaique correspondant.
US9235654B1 (en) * 2012-02-06 2016-01-12 Google Inc. Query rewrites for generating auto-complete suggestions
JP2013161416A (ja) * 2012-02-08 2013-08-19 Sony Corp サーバ、クライアント端末、システム、およびプログラム
KR20130095488A (ko) * 2012-02-20 2013-08-28 국민대학교산학협력단 스마트기기에서 증강현실을 이용한 3차원 모델 제공장치 및 방법
US9153073B2 (en) * 2012-05-23 2015-10-06 Qualcomm Incorporated Spatially registered augmented video
TWI475474B (zh) * 2012-07-30 2015-03-01 Mitac Int Corp Gesture combined with the implementation of the icon control method
US9142038B2 (en) * 2012-11-06 2015-09-22 Ripple Inc Rendering a digital element
US9547917B2 (en) * 2013-03-14 2017-01-17 Paypay, Inc. Using augmented reality to determine information
KR102077305B1 (ko) * 2013-05-09 2020-02-14 삼성전자 주식회사 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
US9292764B2 (en) * 2013-09-17 2016-03-22 Qualcomm Incorporated Method and apparatus for selectively providing information on objects in a captured image
JP2015090553A (ja) * 2013-11-05 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 端末装置、付加情報管理装置、および付加情報管理方法
KR102197964B1 (ko) * 2014-01-29 2021-01-04 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
WO2016004330A1 (en) * 2014-07-03 2016-01-07 Oim Squared Inc. Interactive content generation
US9330113B2 (en) * 2014-07-22 2016-05-03 Verizon Patent And Licensing Inc. Providing content based on image item

Also Published As

Publication number Publication date
US20160086381A1 (en) 2016-03-24
US10242031B2 (en) 2019-03-26
KR20160035248A (ko) 2016-03-31

Similar Documents

Publication Publication Date Title
KR102276847B1 (ko) 가상 오브젝트 제공 방법 및 그 전자 장치
US11120630B2 (en) Virtual environment for sharing information
US9762575B2 (en) Method for performing communication via fingerprint authentication and electronic device thereof
KR102360453B1 (ko) 카메라 설정 방법 및 장치
CN105426035B (zh) 用于提供信息的方法和电子装置
CN107665485B (zh) 用于显示图形对象的电子装置和计算机可读记录介质
KR102296323B1 (ko) 전자 장치 및 전자 장치에서의 정보 처리 방법
US10178503B2 (en) Method for controlling and electronic device thereof
US20160048170A1 (en) Method and electronic device for processing image
KR102160975B1 (ko) 전자장치로 위치 기반 서비스를 제공하기 위한 방법 및 시스템
KR102206060B1 (ko) 전자 장치의 효과 디스플레이 방법 및 그 전자 장치
KR20160105242A (ko) 스크린 미러링 서비스 제공장치 및 방법
US20170147064A1 (en) Method and apparatus for providing information in virtual reality environment
CN107037966B (zh) 感测输入的压力的电子设备和用于操作电子设备的方法
US10999501B2 (en) Electronic device and method for controlling display of panorama image
KR20150135837A (ko) 디스플레이 운용 전자장치 및 방법
KR102678242B1 (ko) 인증을 수행하는 전자 장치 및 방법
KR20150133989A (ko) 홈 스크린 페이지를 추가하는 전자 장치 및 방법
KR20160057101A (ko) 이미지 데이터의 보안 방법 및 이를 지원하는 전자 장치
US10582156B2 (en) Electronic device for performing video call and computer-readable recording medium
KR20180029745A (ko) 소프트 키를 표시하는 방법 및 그 전자 장치
KR102241831B1 (ko) 전자 장치 및 이의 운영 방법
US10114542B2 (en) Method for controlling function and electronic device thereof
KR102305117B1 (ko) 텍스트 입력 제어 방법 및 그 전자 장치
KR20160035649A (ko) 전자 장치에서 컨텐츠의 선호도를 표시하기 위한 장치 및 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140923

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190918

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20140923

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201015

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210416

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210707

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210708

End annual number: 3

Start annual number: 1

PG1601 Publication of registration