Nothing Special   »   [go: up one dir, main page]

KR101506610B1 - 증강현실 제공 장치 및 그 방법 - Google Patents

증강현실 제공 장치 및 그 방법 Download PDF

Info

Publication number
KR101506610B1
KR101506610B1 KR1020130047334A KR20130047334A KR101506610B1 KR 101506610 B1 KR101506610 B1 KR 101506610B1 KR 1020130047334 A KR1020130047334 A KR 1020130047334A KR 20130047334 A KR20130047334 A KR 20130047334A KR 101506610 B1 KR101506610 B1 KR 101506610B1
Authority
KR
South Korea
Prior art keywords
image
camera module
advertisement information
coordinate
information
Prior art date
Application number
KR1020130047334A
Other languages
English (en)
Other versions
KR20140128654A (ko
Inventor
이봉규
Original Assignee
주식회사 제이엠랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제이엠랩 filed Critical 주식회사 제이엠랩
Priority to KR1020130047334A priority Critical patent/KR101506610B1/ko
Publication of KR20140128654A publication Critical patent/KR20140128654A/ko
Application granted granted Critical
Publication of KR101506610B1 publication Critical patent/KR101506610B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강현실 제공 장치는 영상을 촬영하는 카메라부, 상기 영상에 포함된 객체를 인식하는 영상 인식부, 상기 객체의 특징점을 추출하는 객체 추출부, 상기 객체의 특징점에 대응하는 광고 정보를 획득하는 광고 정보 획득부, 상기 객체의 특징점을 데이터베이스에 저장된 객체 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보 및 상기 광고 정보를 상기 영상에 합성하여 합성영상을 생성하는 합성부, 및 상기 합성영상을 디스플레이하는 디스플레이부를 포함한다. 마커리스 기반의 증강현실 기술에서 추출된 객체에 대응하는 광고 정보를 제공할 수 있고, 스테레오 카메라를 이용하여 객체를 촬영함으로써, 객체의 3차원 위치를 정확하게 파악할 수 있고, 객체의 상하 회전 및 이동에 대해 객체를 용이하게 추적할 수 있으며, 실시간으로 객체의 3차원 좌표를 산출함으로써, 추출된 3차원 좌표를 이용하여 실세계 정보에 컨텐츠 정보 및 광고 정보를 실시간으로 더욱 정확하게 일치시킬 수 있다.

Description

증강현실 제공 장치 및 그 방법{APPARATUS FOR PROVIDING AUGMENTED REALITY AND METHOD THEREOF}
본 발명은 증강현실 제공 장치 및 그 방법에 관한 것으로, 보다 상세하게는 마커리스(markerless) 기반의 증강현실 제공 장치 및 그 방법에 관한 것이다.
증강현실(Augmented Reality)이란 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술을 말한다.
이러한 증강현실 기술에는 마커 기반의 증강현실 기술과 센서 기반의 증강현실 기술이 있다. 마커 기반의 증강현실 기술은 특정 건물에 대응되는 마커를 건물과 함께 촬영한 후 마커를 인식하여 해당 건물을 인식하는 기술이다. 센서 기반의 증강현실 기술은 단말기에 탑재된 GPS, 전자 나침반(Digital Compass) 등을 이용하여 단말기의 현재 위치 및 주시 방향을 유추하여 유추된 방향으로 영상에 해당하는 POI(Point of Interests) 정보를 오버레이(Overlay) 시켜주는 기술이다.
최근에는 마커를 필요로 하지 않고 특정 객체를 추적할 수 있는 마커리스(markerless) 기반의 증강현실 기술이 연구되고 있다. 즉, 마커리스 기반의 증강현실 기술은 인공적으로 프린트된 인쇄물로서의 마커가 아니라 현실 세계에서의 객체의 특징점을 추출하여 추적하는 기술이다.
이러한 마커리스 기반의 증강현실 기술은 현실의 영상에 가상의 그래픽을 합성하여 제공하는 수준에 그치고 있다.
한편, 마커리스 기반의 증강현실 기술에서 객체의 특징점에 대응하는 가상의 그래픽을 합성하기 위해서는 객체의 3차원 좌표가 필요하다. 그러나, 단일 카메라로 현실의 영상을 촬영하는 경우에는 객체의 3차원 위치 파악이 정확히 이루어지지 않아 객체의 회전과 이동에 대한 객체 추적에 많은 문제점이 있다.
한국공개특허 제10-2010-0124571호 미국공개특허 제2007- 0130001호
본 발명이 해결하고자 하는 기술적 과제는 마커리스 기반의 증강현실 기술에서 추출된 객체에 대응하는 광고 정보를 제공할 수 있고, 스테레오 카메라(Stereoscopic camera)를 이용하여 객체의 3차원 위치를 정확하게 파악할 수 있는 증강현실 제공 장치 및 그 방법을 제공함에 있다.
본 발명의 일 실시예에 따른 증강현실 제공 장치는 영상을 촬영하는 카메라부, 상기 영상에 포함된 객체를 인식하는 영상 인식부, 상기 객체의 특징점을 추출하는 객체 추출부, 상기 객체의 특징점에 대응하는 광고 정보를 획득하는 광고 정보 획득부, 상기 객체의 특징점을 데이터베이스에 저장된 객체 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보 및 상기 광고 정보를 상기 영상에 합성하여 합성영상을 생성하는 합성부, 및 상기 합성영상을 디스플레이하는 디스플레이부를 포함한다.
상기 카메라부는, 제1 영상을 촬영하는 제1 카메라 모듈, 및 제2 영상을 촬영하는 제2 카메라 모듈을 포함할 수 있다.
상기 객체 추출부는 상기 제1 영상에서 상기 객체의 제1 좌표를 산출하고, 상기 제2 영상에서 상기 객체의 제2 좌표를 산출하고, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 객체의 깊이 정보를 산출하여 상기 객체의 3차원 좌표를 산출할 수 있다.
상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 객체 추출부는 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도를 더 이용하여 상기 객체의 깊이 정보를 산출할 수 있다.
상기 객체 추출부는 수학식
Figure 112013037589943-pat00001
을 이용하여 상기 객체의 깊이 정보를 산출할 수 있고, 상기 Z는 상기 객체의 깊이 정보, 상기 f는 상기 초점 심도, 상기 B는 상기 제1 카메라 모듈의 핀홀과 상기 제2 카메라 모듈의 핀홀 간의 이격 거리, 상기 x1은 상기 제1 영상에서 상기 객체의 x축 좌표, 상기 x2는 상기 제2 영상에서 상기 객체의 x축 좌표이다.
상기 광고 정보 획득부는 상기 객체의 특징점 정보를 광고 정보 서버에 전송하고, 상기 광고 정보 서버로부터 상기 객체의 특징점에 대응하는 광고 정보를 수신할 수 있다.
본 발명의 다른 실시예에 따른 증강현실 제공 방법은 영상을 촬영하는 단계, 상기 영상에 포함된 객체를 인식하는 단계, 상기 객체의 특징점을 추출하는 단계, 상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계, 상기 객체의 특징점을 데이터베이스에 저장된 객체 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보 및 상기 광고 정보를 상기 영상에 합성하여 합성영상을 생성하는 단계, 및 상기 합성영상을 디스플레이하는 단계를 포함한다.
상기 영상을 촬영하는 단계는, 제1 카메라 모듈을 이용하여 제1 영상을 촬영하는 단계, 및 제2 카메라 모듈을 이용하여 제2 영상을 촬영하는 단계를 포함할 수 있다.
상기 객체의 특징점을 추출하는 단계는, 상기 제1 영상에서 상기 객체의 제1 좌표를 산출하는 단계, 상기 제2 영상에서 상기 객체의 제2 좌표를 산출하는 단계, 및 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 객체의 깊이 정보를 산출하여 상기 객체의 3차원 좌표를 산출하는 단계를 포함할 수 있다.
상기 객체의 3차원 좌표를 산출하는 단계는, 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도를 더 이용하여 상기 객체의 깊이 정보를 산출하는 단계를 포함할 수 있다.
상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계는, 상기 객체의 특징점 정보를 광고 정보 서버에 전송하는 단계, 및 상기 광고 정보 서버로부터 상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계를 포함할 수 있다.
마커리스 기반의 증강현실 기술에서 추출된 객체에 대응하는 광고 정보를 제공할 수 있다.
스테레오 카메라를 이용하여 객체를 촬영함으로써, 객체의 3차원 위치를 정확하게 파악할 수 있고, 객체의 상하 회전 및 이동에 대해 객체를 용이하게 추적할 수 있다.
또한, 실시간으로 객체의 3차원 좌표를 산출함으로써, 추출된 3차원 좌표를 이용하여 실세계 정보에 컨텐츠 정보 및 광고 정보를 실시간으로 더욱 정확하게 일치시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 제공 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용하여 객체의 3차원 좌표를 산출하는 방법을 설명하기 위한 나타내는 개략도이다.
도 3은 본 발명의 일 실시예에 따른 카메라 좌표계와 실제 좌표계를 나타내는 개략도이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.
또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적으로 제1 실시예에서 설명하고, 그 외의 실시예에서는 제1 실시예와 다른 구성에 대해서만 설명하기로 한다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
도 1은 본 발명의 일 실시예에 따른 증강현실 제공 장치를 나타내는 블록도이다.
도 1을 참조하면, 증강현실 제공 장치(100)는 카메라부(110), 영상 인식부(120), 객체 추출부(130), 광고 정보 획득부(140), 합성부(150) 및 디스플레이부(160)를 포함한다.
카메라부(110)는 영상 정보를 획득하기 위한 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)을 포함한다. 제1 카메라 모듈(111)은 실시간으로 제1 영상을 촬영하고, 제2 카메라 모듈(112)은 실시간으로 제2 영상을 촬영할 수 있다. 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)은 카메라 렌즈를 대신하여 핀홀을 사용하는 핀홀 카메라(pinhole camera)로 마련될 수 있다. 이때, 제1 카메라 모듈(111)의 핀홀과 제2 카메라 모듈(112)의 핀홀은 소정의 이격 거리로 이격되어 마련된다. 카메라부(110)는 제1 영상 및 제2 영상을 영상 인식부(120) 및 합성부(150)에 전달한다.
영상 인식부(120)는 제1 영상 및 제2 영상에 포함된 객체를 인식한다. 이때, 객체는 마커(maker)처럼 인식될 수 있도록 미리 등록된 실세계의 물체를 의미한다. 즉, 영상 인식부(120)는 마커처럼 인식될 수 있는 다수의 물체 형상을 저장하고, 제1 영상 및 제2 영상에 포함된 객체가 저장되어 있는 물체의 형상에 대응하는지 여부로 객체를 인식할 수 있다.
객체 추출부(130)는 인식된 객체에 대한 패턴, 로고, 색상, 코너점, 외곽선, 텍스처, 각도에 따른 외곽형태 등의 정보 중에서 적어도 어느 하나 이상의 정보에 근거하여 객체의 특징점을 추출한다. 객체의 특징점은 객체의 전체적인 특징들 뿐만 아니라 객체의 부분적인 특징들이 될 수 있다. 예를 들어, 객체의 코너점은 객체 모양에 대한 정보를 가장 많이 가지고 있으므로 객체의 표현, 해석, 인식에 가장 중요한 특징점으로 사용될 수 있다.
객체 추출부(130)는 객체의 크기를 검출하고, 객체의 2차원 좌표를 산출할 수 있다. 이때, 객체 추출부(130)는 제1 영상에서 인식된 객체의 제1 좌표를 산출하고, 제2 영상에서 인식된 객체의 제2 좌표를 산출할 수 있다. 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)이 핀홀 카메라이고 각각의 핀홀이 소정의 이격 거리로 이격되어 있으므로, 동일한 객체가 제1 영상 및 제2 영상에서 서로 다른 위치에 위치할 수 있다. 즉, 제1 영상에서 객체의 2차원의 제1 좌표와 제2 영상에서 객체의 2차원의 제2 좌표는 서로 다를 수 있다.
객체 추출부(130)는 제1 카메라 모듈(111)과 제2 카메라 모듈(112) 간의 이격 거리, 제1 좌표, 제2 좌표 및 초점 심도(focal depth)를 이용하여 객체의 깊이 정보를 산출하고, 객체의 자세 및 위치 오차가 보정된 객체의 3차원 좌표를 산출할 수 있다. 이에 대한 상세한 설명은 도 2 및 3에서 후술한다.
객체 추출부(130)는 객체의 특징점 정보를 광고 정보 획득부(140)에 전달한다. 그리고 객체 추출부(130)는 객체의 3차원 좌표 및 특징점 정보를 합성부(150)에 전달한다.
광고 정보 획득부(140)는 객체에 대한 광고 정보를 제공하는 광고 정보 서버(미도시)에 전송하고, 광고 정보 서버로부터 객체의 특징점에 대응하는 광고 정보를 획득한다. 광고 정보 서버는 건물, 상점, 물건 등에 대한 광고를 의뢰받고, 증강현실 제공 장치(100)에서 인식되는 객체에 대한 광고 정보를 증강현실 제공 장치(100)에 제공하는 서버일 수 있다. 광고 정보 획득부(140)는 획득된 광고 정보를 합성부(150)에 전달한다.
합성부(150)는 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징정보와 비교하여 객체에 대응하는 컨텐츠 정보를 호출한다. 그리고 합성부(150)는 객체의 3차원 좌표를 이용하여 제1 영상 및 제2 영상 중 적어도 어느 하나에 컨텐츠 정보 및 광고 정보를 합성하여 합성 영상을 생성한다.
디스플레이부(160)는 제1 영상 및 제2 영상 중 적어도 어느 하나에 컨텐츠 정보 및 광고 정보가 합성된 합성 영상을 디스플레이한다.
이때, 카메라부(110)에서 실시간으로 촬영되는 제1 영상 및 제2 영상에 대해 영상 인식부(120)에서 지속적인 객체 추적이 이루어지고, 객체 추출부(130)에서 객체의 3차원 좌표가 실시간으로 산출되면, 합성부(150)에서 컨텐츠 정보 및 광고 정보가 합성된 합성 영상이 실시간으로 생성되어 디스플레이될 수 있다.
이제, 도 2 및 3을 참조하여 객체의 3차원 좌표를 산출하는 방법에 대하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용하여 객체의 3차원 좌표를 산출하는 방법을 설명하기 위한 나타내는 개략도이다. 도 3은 본 발명의 일 실시예에 따른 카메라 좌표계와 실제 좌표계를 나타내는 개략도이다.
도 2 및 3을 참조하면, 제1 카메라 모듈(111)의 핀홀(C1')과 제2 카메라 모듈(112)의 핀홀(C2') 간의 이격 거리가 B 이고, 제1 카메라 모듈(111)의 핀홀(C1')을 통해 생성되는 제1 영상과 핀홀(C1') 간의 초점 심도(f)와 제2 카메라 모듈(112)의 핀홀(C2')을 통해 생성되는 제2 영상과 핀홀(C2') 간의 초점 심도(f)는 동일하다고 가정한다.
이때, 제1 카메라 모듈(111)의 핀홀(C1')을 통해 생성되는 제1 영상에서 객체는 카메라 좌표계의 m1(x1, y1)에 위치하게 되고, 제2 카메라 모듈(112)의 핀홀(C2')을 통해 생성되는 제2 영상에서 객체는 카메라 좌표계의 m2(x2, y2)에 위치하게 된다. 그리고 제1 영상의 중심점(C1)과 핀홀(C1')을 잇는 광학축과 제2 영상의 중심점(C2)과 핀홀(C2')을 잇는 광학축은 z 축 방향이 된다.
실제 좌표계에서 객체의 좌표는 m(X, Y, Z)이고, 제1 카메라 모듈(111)의 핀홀(C1')의 좌표는 C1'(X1, Y1, Z1)이고, 제2 카메라 모듈(112)의 핀홀(C2')의 좌표는 C2'(X2, Y2, Z2)이다.
카메라 좌표계와 실제 좌표계가 일치된다고 가정하면, 도 3에 도시한 바와 같이 영상 평면과 실제 평면이 나란히 존재하게 된다. 영상 평면은 제1 영상 및 제2 영상의 평면을 의미하고, 실제 평면은 객체가 위치하고 있는 평면을 의미한다.
이러한 경우, 실제 좌표계에서 객체의 좌표 m(X, Y, Z)은 수학식 1과 같이 나타낼 수 있다.
Figure 112013037589943-pat00002
이때, 객체의 좌표 m(X, Y, Z)의 Z 좌표는 제1 카메라 모듈(111)의 카메라 좌표계에서의 Z1 좌표 및 제2 카메라 모듈(112)의 카메라 좌표계에서의 Z2 좌표와 동일하다(Z1 = Z2 = Z).
그리고 X2 = X1 + B 이므로, 수학식 1을 수학식 2와 같이 나타낼 수 있고, 이로부터 수학식 3이 도출된다.
Figure 112013037589943-pat00003
Figure 112013037589943-pat00004
여기서, Z는 객체의 깊이 정보, f는 초점 심도, B는 제1 카메라 모듈(111)의 핀홀(C1')과 제2 카메라 모듈(112)의 핀홀(C2') 간의 이격 거리, x1은 제1 영상에서 객체의 x축 좌표, x2는 제2 영상에서 객체의 x축 좌표이다.
제1 영상의 카메라 좌표계에서 객체의 좌표 m1(x1, y1)에 Z 값을 추가하면, 제1 영상에서 객체의 3차원 좌표 m1(x1, y1, z1)이 산출된다(z1 = Z). 그리고, 제2 영상의 카메라 좌표계에서 객체의 좌표 m2(x2, y2)에 Z 값을 추가하면, 제2 영상에서 객체의 3차원 좌표 m2(x2, y2, z2)이 산출된다(z2 = Z).
즉, 객체의 깊이 정보를 산출하여 제1 영상 및 제2 영상에서 객체의 3차원 좌표를 얻을 수 있다.
도 4는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다.
도 4를 참조하면, 제1 카메라 모듈(111)을 이용하여 제1 영상이 촬영되고, 제2 카메라 모듈(112)을 이용하여 제2 영상이 촬영된다(S110). 이때, 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)은 핀홀을 이용하여 영상을 촬영하는 핀홀 카메라일 수 있다. 제1 카메라 모듈(111)의 핀홀과 제2 카메라 모듈(112)의 핀홀은 소정의 이격 거리로 이격되어 마련될 수 있다.
제1 영상 및 제2 영상에 포함된 객체가 인식된다(S120). 객체는 마커처럼 인식될 수 있도록 미리 등록된 실세계의 물체로서, 제1 영상 및 제2 영상에 포함된 객체가 저장되어 있는 물체의 형상에 대응하는지 여부로 객체가 인식될 수 있다.
인식된 객체에 대한 패턴, 로고, 색상, 외곽선, 텍스처, 각도에 따른 외곽형태 등의 정보 중에서 적어도 어느 하나 이상의 정보에 근거하여 객체의 특징점이 추출된다(S130). 이때, 객체의 크기가 검출되고, 객체의 2차원 좌표가 산출될 수 있다. 제1 영상에서 인식된 객체의 제1 좌표가 산출되고, 제2 영상에서 인식된 객체의 제2 좌표가 산출될 수 있다. 제1 카메라 모듈(111)과 제2 카메라 모듈(112) 간의 이격 거리, 제1 좌표, 제2 좌표 및 초점 심도(focal depth)를 이용하여 객체의 깊이 정보가 산출되고, 객체의 자세 및 위치 오차가 보정된 객체의 3차원 좌표가 산출될 수 있다.
객체의 특징점에 대응하는 광고 정보가 획득된다(S150). 객체의 특징점 정보가 객체에 대한 광고 정보를 제공하는 광고 정보 서버에 전송되고, 광고 정보 서버로부터 객체의 특징점에 대응하는 광고 정보가 획득될 수 있다. 광고 정보 서버는 건물, 상점, 물건 등에 대한 광고를 의뢰받고, 증강현실 제공 장치(100)에서 인식되는 객체에 대한 광고 정보를 증강현실 제공 장치(100)에 제공하는 서버일 수 있다.
객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징정보와 비교하여 객체에 대응하는 컨텐츠 정보가 호출되고, 호출된 컨텐츠 정보 및 광고 정보가 제1 영상 및 제2 영상 중 적어도 어느 하나에 합성되어 합성 영상이 생성된다(S150).
제1 영상 및 제2 영상 중 적어도 어느 하나에 컨텐츠 정보 및 광고 정보가 합성된 합성 영상이 디스플레이부(160)를 통해 디스플레이된다(S160).
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 증강현실 제공 장치
110 : 카메라부
111 : 제1 카메라 모듈
112 : 제2 카메라 모듈
120 : 영상 인식부
130 : 객체 추출부
140 : 광고 정보 획득부
150 : 합성부
160 : 디스플레이부

Claims (11)

  1. 제1 영상을 촬영하는 제1 카메라 모듈과 제2 영상을 촬영하는 제2 카메라 모듈을 포함하는 카메라부;
    상기 영상에 포함된 객체를 인식하는 영상 인식부;
    상기 제1 영상에서 상기 객체의 제1 좌표를 산출하고, 상기 제2 영상에서 상기 객체의 제2 좌표를 산출하고, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 객체의 깊이 정보를 산출하여 상기 객체의 3차원 좌표를 산출하고, 상기 객체의 특징점을 추출하는 객체 추출부;
    상기 객체의 특징점에 대응하는 광고 정보를 획득하는 광고 정보 획득부;
    상기 객체의 특징점을 데이터베이스에 저장된 객체 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보 및 상기 광고 정보를 상기 영상에 합성하여 합성영상을 생성하는 합성부; 및
    상기 합성영상을 디스플레이하는 디스플레이부를 포함하며,
    상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 객체 추출부는 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도와 하기 수학식을 이용하여 상기 객체의 깊이 정보를 산출하는 증강현실 제공 장치.
    [수학식]
    Figure 112014072358576-pat00010

    (상기 Z는 상기 객체의 깊이 정보, 상기 f는 상기 초점 심도, 상기 B는 상기 제1 카메라 모듈의 핀홀과 상기 제2 카메라 모듈의 핀홀 간의 이격 거리, 상기 x1은 상기 제1 영상에서 상기 객체의 x축 좌표, 상기 x2는 상기 제2 영상에서 상기 객체의 x축 좌표)
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1 항에 있어서,
    상기 광고 정보 획득부는 상기 객체의 특징점 정보를 광고 정보 서버에 전송하고, 상기 광고 정보 서버로부터 상기 객체의 특징점에 대응하는 광고 정보를 수신하는 증강현실 제공 장치.
  7. 제1 카메라 모듈을 이용하여 제1 영상을 촬영하는 단계;
    제2 카메라 모듈을 이용하여 제2 영상을 촬영하는 단계;
    상기 영상에 포함된 객체를 인식하는 단계;
    상기 객체의 특징점을 추출하는 단계;
    상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계;
    상기 객체의 특징점을 데이터베이스에 저장된 객체 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보 및 상기 광고 정보를 상기 영상에 합성하여 합성영상을 생성하는 단계; 및
    상기 합성영상을 디스플레이하는 단계를 포함하며,
    상기 객체의 특징점을 추출하는 단계는, 상기 제1 영상에서 상기 객체의 제1 좌표를 산출하는 단계; 상기 제2 영상에서 상기 객체의 제2 좌표를 산출하는 단계; 및 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 객체의 깊이 정보를 산출하여 상기 객체의 3차원 좌표를 산출하는 단계를 더 포함하고,
    상기 객체의 3차원 좌표를 산출하는 단계는, 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도와 하기 수학식을 이용하여 상기 객체의 깊이 정보를 산출하는 증강현실 제공 방법.
    [수학식]
    Figure 112014072358576-pat00011

    (상기 Z는 상기 객체의 깊이 정보, 상기 f는 상기 초점 심도, 상기 B는 상기 제1 카메라 모듈의 핀홀과 상기 제2 카메라 모듈의 핀홀 간의 이격 거리, 상기 x1은 상기 제1 영상에서 상기 객체의 x축 좌표, 상기 x2는 상기 제2 영상에서 상기 객체의 x축 좌표)
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제7 항에 있어서,
    상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계는,
    상기 객체의 특징점 정보를 광고 정보 서버에 전송하는 단계; 및
    상기 광고 정보 서버로부터 상기 객체의 특징점에 대응하는 광고 정보를 수신하는 단계를 포함하는 증강현실 제공 방법.
KR1020130047334A 2013-04-29 2013-04-29 증강현실 제공 장치 및 그 방법 KR101506610B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130047334A KR101506610B1 (ko) 2013-04-29 2013-04-29 증강현실 제공 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130047334A KR101506610B1 (ko) 2013-04-29 2013-04-29 증강현실 제공 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140128654A KR20140128654A (ko) 2014-11-06
KR101506610B1 true KR101506610B1 (ko) 2015-03-27

Family

ID=52454485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130047334A KR101506610B1 (ko) 2013-04-29 2013-04-29 증강현실 제공 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101506610B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160136817A (ko) 2015-05-21 2016-11-30 주식회사 맥스트 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160062770A (ko) * 2014-11-25 2016-06-03 전자부품연구원 증강현실 컨텐츠 매시업 서비스 방법 및 이를 적용한 모바일 장치
WO2018021707A1 (ko) * 2016-07-29 2018-02-01 황문상 Vr영상광고 시스템 및 vr광고제작시스템
US10229312B2 (en) 2016-12-30 2019-03-12 Facebook, Inc. Systems and methods for providing augmented reality overlays
US10575067B2 (en) * 2017-01-04 2020-02-25 Samsung Electronics Co., Ltd. Context based augmented advertisement
KR101947258B1 (ko) * 2017-03-10 2019-02-12 박태현 일시적 타투에 기초하여 광고를 수행하기 위한 장치 및 방법
KR101889025B1 (ko) * 2017-05-22 2018-08-16 동서대학교산학협력단 R-cnn 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법
KR101980444B1 (ko) * 2017-08-30 2019-08-28 연세대학교 산학협력단 증강현실 서버와 시스템 및 그 방법과 이에 관한 기록 매체
KR101997770B1 (ko) * 2017-12-06 2019-07-08 한국광기술원 증강현실 이미지 생성장치 및 방법
KR20200017325A (ko) * 2018-08-08 2020-02-18 주식회사 소울핑거 증강현실 컨텐츠 제공 시스템 및 방법
KR102376767B1 (ko) * 2018-12-20 2022-03-21 한국전자기술연구원 마커리스 방식의 증강현실 제공장치
WO2020262725A1 (ko) * 2019-06-25 2020-12-30 티팟스튜디오 주식회사 딥 러닝을 이용한 3차원 물체 인식에 기초하여 증강 현실 정보를 제공하는 방법 및 이를 이용한 시스템
KR102689641B1 (ko) * 2020-03-03 2024-07-30 주식회사 케이티 실감형 컨텐츠를 제공하는 서버, 방법 및 컴퓨터 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120032336A (ko) * 2010-09-28 2012-04-05 엘지전자 주식회사 이동단말기 및 그의 증강현실 정보의 표시 방법
KR20120071444A (ko) * 2010-12-23 2012-07-03 에스케이플래닛 주식회사 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기
KR20120082672A (ko) * 2011-01-14 2012-07-24 주식회사 케이티 휴대용 단말 장치, 증강현실 서비스 시스템 및 증강현실 서비스 제공방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120032336A (ko) * 2010-09-28 2012-04-05 엘지전자 주식회사 이동단말기 및 그의 증강현실 정보의 표시 방법
KR20120071444A (ko) * 2010-12-23 2012-07-03 에스케이플래닛 주식회사 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기
KR20120082672A (ko) * 2011-01-14 2012-07-24 주식회사 케이티 휴대용 단말 장치, 증강현실 서비스 시스템 및 증강현실 서비스 제공방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
이동석 외4, "스테레오 카메라를 이용한 이동객체의 실시간 추적과 거리 측정 시스템", 한국방송공학회, 방송공학회논문지 14(3), 2009.5, 366-377. *
이동석 외4, "스테레오 카메라를 이용한 이동객체의 실시간 추적과 거리 측정 시스템", 한국방송공학회, 방송공학회논문지 14(3), 2009.5, 366-377.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160136817A (ko) 2015-05-21 2016-11-30 주식회사 맥스트 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템

Also Published As

Publication number Publication date
KR20140128654A (ko) 2014-11-06

Similar Documents

Publication Publication Date Title
KR101506610B1 (ko) 증강현실 제공 장치 및 그 방법
US10740975B2 (en) Mobile augmented reality system
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
JP6195915B2 (ja) 画像計測装置
TWI496108B (zh) AR image processing apparatus and method
CN107273846B (zh) 一种人体体型参数确定方法及装置
KR101633620B1 (ko) 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
JP6507730B2 (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
JP5812599B2 (ja) 情報処理方法及びその装置
EP3096290B1 (en) Method and system for determining camera pose
KR101665399B1 (ko) 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법
US20130257908A1 (en) Object display device, object display method, and object display program
JP2008535116A (ja) ３次元レンダリング用の方法及び装置
JP2005268847A (ja) 画像生成装置、画像生成方法、および画像生成プログラム
KR101575954B1 (ko) 3차원 정합을 이용한 증강현실 장치 및 그 방법
CN112116631A (zh) 一种工业增强现实组合定位系统
JP5349224B2 (ja) 画像処理装置及び画像処理方法
KR20160146567A (ko) 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치
CN113228117B (zh) 创作装置、创作方法和记录有创作程序的记录介质
KR101509105B1 (ko) 증강현실 제공 장치 및 그 방법
KR20090000777A (ko) 감각형 오브젝트를 이용한 증강현실 시스템 및 증강현실제공 방법
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
KR20120091749A (ko) 혼합 현실 가시화 시스템 및 혼합 현실 가시화 방법
KR101837269B1 (ko) 다중 마커 기반의 정합 가이드 방법 및 시스템
Thangarajah et al. Vision-based registration for augmented reality-a short survey

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180323

Year of fee payment: 4