KR101049090B1

KR101049090B1 - Augmented reality marker and method for distributing contents using augmented reality

Info

Publication number: KR101049090B1
Application number: KR1020100092114A
Authority: KR
Inventors: 성준형
Original assignee: 성준형
Priority date: 2010-09-17
Filing date: 2010-09-17
Publication date: 2011-07-15

Abstract

PURPOSE: An AR marker and content distributing method using an AR are provided to conveniently and effectively distribute content through an SNS(Social Network Service) by generating identifiable AR marker and combining and displaying content to an image or a video based on the AR marker. CONSTITUTION: A tracking region(102) provides a standard coordinate displaying an AR(Augmented Reality) content. An identification area(104) stores identification information of the AR content displayed on the tracking area into a shape of a barcode or a QR code. The size of a pattern constituting the identification area does not enables the AR service terminal not to be recognized with a valid pattern.

Description

Augmented reality marker and method for distributing contents using augmented reality}

본 발명은 증강 현실 기법을 이용하여 개인화된 가변적 콘텐츠를 온라인을 통하여 유통하기 위한 기술과 관련된다.The present invention relates to a technique for distributing personalized variable content online using augmented reality techniques.

증강 현실(AR; Augmented Reality)이란 사용자가 눈으로 보는 현실 세계에 가상 물체를 겹쳐 보여주기 위한 기술이다. 최근에는 컴퓨터 기술이 발달하고 스마트폰 등의 디바이스가 널리 보급되면서 증강 현실 기술이 다양한 분야에서 사용되고 있다.Augmented Reality (AR) is a technology for superimposing virtual objects in the real world that the user sees. Recently, with the development of computer technology and widespread use of devices such as smart phones, augmented reality technology has been used in various fields.

증강 현실 기술을 이용하여 실제 화면상에 가상의 물체를 디스플레이하기 위해서는, 화면상에 증강 현실 마커(Augmented Reality Marker; 이하 "마커"로 칭함)가 있어야 한다. 상기 마커는 화면상에서 가상 물체 또는 콘텐츠가 디스플레이되기 위한 기준점(reference point)를 제공하는 동시에, 디스플레이되는 가상 물체 또는 콘텐츠의 종류를 식별하기 위한 식별자(identifier)의 역할을 동시에 수행한다. 그러나 이러한 마커의 경우 그 특성상 생성 가능한 마커의 개수가 제한되어 있어, 사용자별로 타 사용자와 구별되는 마커를 생성하기가 매우 어렵다.In order to display a virtual object on a real screen using augmented reality technology, an augmented reality marker (hereinafter referred to as a "marker") must be present on the screen. The marker provides a reference point for displaying the virtual object or the content on the screen, and simultaneously serves as an identifier for identifying the type of the virtual object or the content to be displayed. However, in the case of such a marker, the number of markers that can be generated is limited due to its characteristics, and thus it is very difficult to create a marker distinguished from other users for each user.

또한 트위터(Twitter) 또는 페이스북(Facebook) 등의 소셜 네트워킹 서비스의 경우, 사용자끼리 동영상보다는 이미지를 공유하는 경우가 더 많다. 그러나 동영상과 달리 이미지의 경우 해당 이미지에 바코드 또는 QR 코드 등이 찍혀 있더라도 이를 식별하기가 매우 어렵다. 예를 들어, 바코드 또는 QR 코드를 촬영한 부분이 비스듬하거나 또는 일부가 가려진 경우에는 이를 식별하는 것이 사실상 불가능하다.In addition, social networking services such as Twitter or Facebook often share images rather than videos. However, unlike video, it is very difficult to identify an image even if a barcode or QR code is imprinted on the image. For example, it is virtually impossible to identify when the part of the barcode or QR code is oblique or partly hidden.

또한, 일반적인 QR 코드 등은 그 자체에 정보를 저장하고 있을 뿐이므로, 한 번 QR 코드에 기재된 내용을 임의로 변경하거나 대체하는 것이 원천적으로 불가능하였다.In addition, since general QR codes and the like only store information in themselves, it was not possible to change or replace the contents described in the QR code arbitrarily once.

본 발명의 실시예들은 식별 가능한 다양한 개수의 증강 현실 마커를 생성하고, 상기 증강 현실 마커를 이용하여 실시간으로 웹캠 또는 모바일 디바이스를 통하여 보여지는 영상 또는 상기 증강 현실 마커가 촬영된 이미지 또는 동영상에 콘텐츠를 결합하여 디스플레이함으로써 소셜 네트워크 서비스 등을 통하여 편리하고 효율적으로 콘텐츠를 유통하는데 그 목적이 있다.Embodiments of the present invention generate various numbers of augmented reality markers that can be identified, and use the augmented reality markers to display content on an image or video taken by the augmented reality marker or an image viewed through a webcam or a mobile device in real time. By combining and displaying, the purpose is to distribute contents conveniently and efficiently through social network services.

또한, 본 발명의 실시예들은 증강 현실 마커를 이용하여 개인화된, 그리고 가변적인 콘텐츠 또는 정보를 제공하는데 그 목적이 있다.Embodiments of the present invention also aim to provide personalized and variable content or information using augmented reality markers.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강 현실 마커를 이용한 이미지 생성 방법은, 단말에서, 2차원 코드 또는 상기 2차원 코드를 포함하는 마커를 포함하는 이미지를 촬영하는 단계; 상기 단말에서, 상기 2차원 코드 또는 상기 2차원 코드를 포함하는 마커를 인식하고, 인식된 상기 2차원 코드 또는 상기 2차원 코드를 포함하는 마커로부터 마커 아이디를 추출하는 단계; 및 상기 단말에서, 추출된 상기 마커 아이디를 촬영된 상기 이미지의 부가 정보 영역에 저장하는 단계;를 포함한다.According to an aspect of the present invention, there is provided a method of generating an image using an augmented reality marker, including: photographing, by a terminal, an image including a marker including a 2D code or the 2D code; In the terminal, recognizing a marker including the 2D code or the 2D code and extracting a marker ID from the recognized 2D code or the marker including the 2D code; And storing, at the terminal, the extracted marker ID in the additional information area of the photographed image.

한편, 상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강 현실 마커를 이용한 콘텐츠 출력 방법은, 단말에서, 2차원 코드 또는 상기 2차원 코드를 포함하는 마커를 포함하는 영상을 촬영하는 단계; 상기 단말에서, 촬영된 상기 영상 내의 상기 2차원 코드를 인식하고, 인식된 상기 2차원 코드로부터 마커 아이디를 추출하는 단계; 상기 단말에서, 추출된 상기 마커 아이디에 대응되는 콘텐츠를 서버로부터 전송받는 단계; 및 상기 단말에서, 전송된 상기 콘텐츠를 상기 영상과 결합하여 디스플레이하는 단계;를 포함한다.On the other hand, the content output method using an augmented reality marker according to an embodiment of the present invention for solving the problem, the terminal, the step of photographing an image including a two-dimensional code or a marker including the two-dimensional code; In the terminal, recognizing the two-dimensional code in the captured image and extracting a marker ID from the recognized two-dimensional code; Receiving, at the terminal, content corresponding to the extracted marker ID from a server; And displaying, at the terminal, the transmitted content in combination with the image.

한편, 상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 증강 현실 마커를 이용한 콘텐츠 출력 방법은, 단말에서, 2차원 코드 또는 상기 2차원 코드를 포함하는 마커가 포함된 이미지의 부가 정보 영역으로부터 마커 아이디를 추출하는 단계; 상기 단말에서, 추출된 상기 마커 아이디에 대응되는 콘텐츠를 서버로부터 전송받는 단계; 및 상기 단말에서, 전송된 상기 콘텐츠를 상기 영상과 결합하여 디스플레이하는 단계;를 포함한다.On the other hand, the content output method using the augmented reality marker according to another embodiment of the present invention for solving the above problems, in the terminal, from the additional information area of the image including the 2D code or the marker including the 2D code Extracting a marker ID; Receiving, at the terminal, content corresponding to the extracted marker ID from a server; And displaying, at the terminal, the transmitted content in combination with the image.

또한, 상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강 현실 마커는, 화면상에 증강 현실 콘텐츠를 표시하기 위한 기준 좌표를 제공하는 트래킹 영역; 및 상기 트래킹 영역에 표시되는 상기 증강 현실 콘텐츠의 식별 정보가 저장되는 식별 영역;을 포함한다.In addition, the augmented reality marker according to an embodiment of the present invention for solving the above problems, tracking area for providing a reference coordinate for displaying augmented reality content on the screen; And an identification area in which identification information of the augmented reality content displayed in the tracking area is stored.

본 발명에 따를 경우, 거의 무한한 개수의 증강 현실 마커를 생성할 수 있으므로, 종래 마커의 제한을 극복하고 사용자별로 개인화된 서비스를 제공할 수 있는 효과가 있다. 또한 이와 같은 증강 현실 마커를 이용하여 실시간으로 웹캠 또는 모바일 디바이스를 통하여 보여지는 영상 또는 상기 증강 현실 마커가 촬영된 이미지 또는 동영상에 콘텐츠를 결합하여 디스플레이함으로써 소셜 네트워크 서비스 등을 통하여 편리하고 효율적으로 콘텐츠를 유통할 수 있다.According to the present invention, since an infinite number of augmented reality markers can be generated, there is an effect of overcoming the limitations of the conventional markers and providing a personalized service for each user. In addition, by using the augmented reality marker in real time, the content is displayed through a webcam or mobile device or the image or video taken by the augmented reality marker combined with the content to display the content conveniently and efficiently through a social network service, etc. I can distribute it.

도 1a 및 도 1b는 본 발명의 일 실시예에 따른 증강 현실 마커(100)를 나타낸 도면이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 증강 현실 마커(100)를 이용한 콘텐츠 제공 서비스를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 마커(100)를 이용한 증강 현실 서비스 시스템(400)을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 서비스 단말(404)을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 증강 현실 서비스 서버(406)를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 출력 방법을 나타낸 순서도이다.
도 8은 본 발명의 일 실시예에 따른 증강 현실 이미지 생성 방법을 나타낸 순서도이다.
도 9는 본 발명의 다른 실시예에 따른 증강 현실 콘텐츠 출력 방법을 나타낸 순서도이다. 1A and 1B illustrate an augmented reality marker 100 according to an embodiment of the present invention.
2 and 3 are views for explaining a content providing service using the augmented reality marker 100 according to an embodiment of the present invention.
4 is a diagram illustrating an augmented reality service system 400 using the augmented reality marker 100 according to an embodiment of the present invention.
5 is a diagram illustrating an augmented reality service terminal 404 according to an embodiment of the present invention.
6 is a diagram illustrating an augmented reality service server 406 according to an embodiment of the present invention.
7 is a flowchart illustrating a method of outputting augmented reality content according to an embodiment of the present invention.
8 is a flowchart illustrating a method of generating an augmented reality image according to an embodiment of the present invention.
9 is a flowchart illustrating a method of outputting augmented reality content according to another embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, this is only an example and the present invention is not limited thereto.

본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification.

본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하의 실시예는 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
The technical spirit of the present invention is determined by the claims, and the following embodiments are merely means for efficiently explaining the technical spirit of the present invention to those skilled in the art.

도 1a 및 도 1b는 본 발명의 일 실시예에 따른 증강 현실 마커(100)를 나타낸 도면이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 현실 마커(100)는 트래킹 영역(102; tracking region) 및 식별 영역(104; identification region)을 포함하여 구성된다.1A and 1B illustrate an augmented reality marker 100 according to an embodiment of the present invention. As shown, the augmented reality marker 100 according to an embodiment of the present invention includes a tracking region 102 and an identification region 104.

트래킹 영역(102)은 화면상에서 증강 현실 마커(100)의 위치를 식별하기 위한 영역이다. 즉, 트래킹 영역(102)은 증강 현실 마커(100)가 포함된 화면상에 증간 현실 콘텐츠를 출력하기 위한 3차원 기준 좌표를 제공한다. 예를 들어, 도 2에서와 같이 사용자가 증강 현실 마커(100)가 프린팅된 티셔츠를 입은 상태로 영상을 촬영하는 경우, 증강 현실 서비스 제공 단말은 상기 영상에서 트래킹 영역(102)을 감지함으로써 증강 현실 마커(100)의 위치를 감지하고, 도 3에서와 같이 해당 위치에 기 설정된 증강 현실 콘텐츠를 출력한다. 도 3에서는 증강 현실 마커(100)가 존재하는 위치에 "MESSAGE"라는 문구가 출력된 실시예를 예로 들어 도시하였다.The tracking area 102 is an area for identifying the position of the augmented reality marker 100 on the screen. That is, the tracking area 102 provides three-dimensional reference coordinates for outputting the additional reality content on the screen including the augmented reality marker 100. For example, when a user takes an image while wearing a T-shirt printed with the augmented reality marker 100 as shown in FIG. 2, the augmented reality service providing terminal detects the tracking area 102 in the image, thereby augmented reality. The position of the marker 100 is sensed and the augmented reality content preset at the position is output as shown in FIG. 3. 3 illustrates an embodiment in which the phrase “MESSAGE” is output at a position where the augmented reality marker 100 is present.

식별 영역(104)은 화면상의 트래킹 영역(102)에 표시되는 증강 현실 콘텐츠를 식별하기 위한 영역이다. 즉, 식별 영역(104)에는 트래킹 영역(102)에 표시되는 상기 증강 현실 콘텐츠의 식별 정보(Marker ID)가 저장된다. 본 발명의 실시예에서, 상기 식별 정보는 바코드(bar code) 또는 QR 코드 형태 등의 2차원 코드 형태로 저장될 수 있다.The identification area 104 is an area for identifying the augmented reality content displayed in the tracking area 102 on the screen. That is, the identification area 104 stores identification information (Marker ID) of the augmented reality content displayed on the tracking area 102. In an embodiment of the present invention, the identification information may be stored in the form of a two-dimensional code such as a bar code or a QR code.

트래킹 영역(102)의 경우 영상에서 마커를 식별하는 것이 주된 목적이므로, 그 특성상 형태가 제한되게 된다. 이와 달리, 2차원 코드로 구성된 식별 영역(104)의 경우, 화면상에서 그 위치를 식별하는 것은 일반 증강 현실 마커에 비해 어려우나(즉, 식별 영역(104)만을 증강 현실 마커로 사용하기는 거의 불가능하나), 2차원 코드의 형태에 따라 사용자가 원하는 만큼 다양한 정보를 담을 수 있다는 장점이 있다. 이에 따라 본 발명에서는 증강 현실 마커(100)에 있어 트래킹 영역(102)과 별도록 식별 영역(104)을 구비함으로써 종래의 증강 현실 마커가 가진 제한을 극복하고, 사용자별로 개인화된 증강 현실 마커(100)를 제공할 수 있도록 구성하였다. In the case of the tracking area 102, the main purpose of identifying the marker in the image is to limit the shape of the tracking area 102. In contrast, in the case of the identification area 104 composed of two-dimensional code, it is more difficult to identify the position on the screen than the general augmented reality marker (ie, it is almost impossible to use only the identification area 104 as the augmented reality marker. ), There is an advantage that can contain as much information as the user wants according to the form of the two-dimensional code. Accordingly, in the present invention, the identification area 104 is provided separately from the tracking area 102 in the augmented reality marker 100 to overcome the limitations of the conventional augmented reality marker and to personalize the augmented reality marker 100 for each user. ) Can be provided.

전술한 바와 같이, 식별 영역(104)에는 트래킹 영역(102)에 표시되는 증강 현실 콘텐츠의 식별 정보가 저장된다. 예를 들어, 상기 식별 정보는 네트워크상에 존재하는 콘텐츠의 URI(Uniform Resource Identifier)일 수 있다. 이에 따라 증강 현실 서비스의 사용자가 사용하는 증강 현실 서비스 단말은 식별 영역(104)으로부터 콘텐츠의 URI를 추출하고, 이를 이용하여 콘텐츠를 전송받아 트래킹 영역(102)에 디스플레이할 수 있다.As described above, the identification area 104 stores identification information of the augmented reality content displayed on the tracking area 102. For example, the identification information may be a Uniform Resource Identifier (URI) of content existing on a network. Accordingly, the augmented reality service terminal used by the user of the augmented reality service may extract the URI of the content from the identification area 104, receive the content, and display the content using the content in the tracking area 102.

본 발명의 일 실시예에서, 상기 증강 현실 서비스 단말에서의 증강 현실 마커(100)의 인식은 1) 트래킹 영역(102)을 이용한 마커의 위치 인식, 2) 식별 영역(104)을 이용한 콘텐츠 ID 검출의 두 단계로 이루어진다. 이 경우 트래킹 영역(102)을 이용하여 증강 현실 마커(100)의 위치를 인식하는 단계에서는 식별 영역(104)이 위치 인식에 영향을 주지 않는 것이 바람직하다. 또한, 트래킹 영역(102)은 마커의 위치를 인식하기 위한 것이므로, 영상 내에서 인식하기 쉬운 패턴으로 구성되어야 하며, 식별 영역(104)은 고유한 정보를 담고 있는 영역이므로 각각의 증강 현실 마커(100)가 서로 구별되기 위해서는 식별 영역(104)에 저장되는 정보의 양이 많아지게 된다. 그러나 식별 영역(104)에 저장되는 정보의 양이 많아질수록 섀넌 엔트로피(Shannon entropy)의 값이 높아지게 되어 결국 패턴을 쉽게 구별할 수 없게 되므로, 트래킹 영역(102)의 검출 시에는 식별 영역(104)을 마스킹(masking)할 필요가 있다. 이를 위하여 본 발명에서는 식별 영역(104)의 마스킹을 위하여 다음의 2가지 방법을 사용한다.In one embodiment of the present invention, the recognition of the augmented reality marker 100 in the augmented reality service terminal is 1) location recognition of the marker using the tracking area 102, 2) content ID detection using the identification area 104 Consists of two steps. In this case, in the step of recognizing the position of the augmented reality marker 100 using the tracking area 102, it is preferable that the identification area 104 does not affect the position recognition. In addition, since the tracking area 102 is for recognizing the position of the marker, the tracking area 102 should be configured in a pattern that is easy to recognize in the image, and the identification area 104 is an area containing unique information. Are distinguished from each other, the amount of information stored in the identification area 104 increases. However, as the amount of information stored in the identification area 104 increases, the value of Shannon entropy increases, so that patterns cannot be easily distinguished. Therefore, when the tracking area 102 is detected, the identification area 104 is detected. You need to mask). To this end, the present invention uses the following two methods for masking the identification area 104.

먼저, 하나는 그래뉼러티 마스킹(granulity masking)을 이용한 방법이다. 즉, 식별 영역(104)를 구성하는 바코드 또는 QR 코드 등 2차원 코드의 패턴의 크기를 트래킹 영역(102)의 검출 시 인식되는 최소 구분단위보다 작게 구성할 경우, 식별 영역(104)은 트래킹 영역(102)의 검출 과정에서 유효한 패턴으로 인식되지 않게 된다. 예를 들어, 도 1b에 도시된 증강 현실 마커(100)의 경우 트래킹 영역(102)의 검출 시에는 중앙 부분의 QR 코드를 포함하는 식별 영역(104)이 단순한 회색 사각형으로 인식되게 된다. 이와 같이 그래뉼러티를 이용하여 트래킹 영역(102)과 식별 영역(104)을 구분할 경우, 실제 증강 현실 마커(100)의 인식 과정에서는 식별 영역(104)로부터 마커 아이디를 검출하기 위하여 먼저 근거리에서 증강 현실 마커(100)를 촬영하고, 트래킹 영역(102)의 검출을 위하여 원거리에서 증강 현실 마커(100)를 촬영하도록 구성될 수 있다. 또는, 동일한 거리에서 증강 현실 마커(100)를 촬영하더라도 트래킹 영역(102)의 검출 시에는 촬영된 영상의 해상도를 인위적으로 낮춤으로써 식별 영역(104)이 유효한 패턴으로 인식되지 않도록 할 수도 있다.First, one method is using granulity masking. That is, when the size of the pattern of the two-dimensional code such as a barcode or QR code constituting the identification area 104 is configured to be smaller than the minimum division unit recognized at the detection of the tracking area 102, the identification area 104 is the tracking area. In the detection process of 102, it is not recognized as a valid pattern. For example, in the case of the augmented reality marker 100 illustrated in FIG. 1B, when the tracking area 102 is detected, the identification area 104 including the QR code of the center portion is recognized as a simple gray rectangle. As described above, when the tracking area 102 and the identification area 104 are distinguished using granularity, in the recognition process of the actual augmented reality marker 100, in order to detect a marker ID from the identification area 104, first, augmented reality is performed at a short distance. The marker 100 may be photographed, and the augmented reality marker 100 may be photographed at a distance for detecting the tracking area 102. Alternatively, even when the augmented reality marker 100 is photographed at the same distance, when the tracking area 102 is detected, the identification area 104 may not be recognized as a valid pattern by artificially lowering the resolution of the captured image.

다음 하나는, 크로매티시티 마스킹(chromaticity masking)을 이용한 방법이다. 즉, 증강 현실 마커(100)를 구성하는 트래킹 영역(102)과 식별 영역(104)을 서로 다른 색상 또는 밝기(명암)로 구성하는 것이다. 예를 들어, 트래킹 영역(102)이 청색(blue)으로 구성되고 식별 영역(104)이 적색(red)으로 구성될 경우, 트래킹 영역(102)의 검출 시에는 적색으로 구성된 화면상의 요소들을 무시하도록 함으로써 식별 영역(104)을 마스킹할 수 있다. 또는 도 1a와 같이 식별 영역(104)을 상대적으로 트래킹 영역(102)보다 어둡게 구성할 경우, 트래킹 영역(102)의 검출 시 일정 정도 이하의 밝기를 가지는 영역들을 검정색으로 처리하도록 프로그래밍함으로써 식별 영역(104)을 마스킹할 수 있다. 즉, 도 1a에서, 식별 영역(104)은 트래킹 영역(102)의 탐색시 주변의 검정색 경계와 동일하게 취급되게 된다. 이와 같은 트래킹 영역(102) 및 식별 영역(104)의 구별을 위한 방법들은 하나만 사용할 수도 있고 하나 이상을 결합하여 사용할 수도 있음을 유의한다.
The next one is a method using chromaticity masking. That is, the tracking area 102 and the identification area 104 constituting the augmented reality marker 100 are configured with different colors or brightness (contrast). For example, if the tracking area 102 is configured in blue and the identification area 104 is configured in red, the detection of the tracking area 102 causes the elements on the screen configured in red to be ignored. By doing this, the identification area 104 can be masked. Alternatively, when the identification area 104 is relatively darker than the tracking area 102 as illustrated in FIG. 1A, when the detection area 102 is detected, the identification area 104 may be programmed to process areas having a brightness of a certain level or less as black. 104) may be masked. That is, in FIG. 1A, the identification area 104 is treated the same as the black border around when searching for the tracking area 102. Note that only one method for distinguishing the tracking area 102 and the identification area 104 may be used or one or more may be used in combination.

도 4는 본 발명의 일 실시예에 따른 증강 현실 마커(100)를 이용한 증강 현실 서비스 시스템(400)을 나타낸 도면이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 현실 서비스 시스템(400)은 마커 소유자 단말(402), 증강 현실 서비스 단말(404), 증강 현실 서비스 서버(406) 및 사용자 인증 서버(408)를 포함하며, 상기 각 구성요소들은 네트워크(410)를 통하여 서로 연결된다.4 is a diagram illustrating an augmented reality service system 400 using the augmented reality marker 100 according to an embodiment of the present invention. As shown, augmented reality service system 400 according to an embodiment of the present invention is a marker owner terminal 402, augmented reality service terminal 404, augmented reality service server 406 and user authentication server 408 Includes, each of the components are connected to each other via a network (410).

마커 소유자 단말(402)은 증강 현실 마커(100)의 소유자(이하 "마커 소유자"라 칭함)가 사용하는 단말이다. 본 발명의 실시예에 있어서, 단말이란 네트워크(410)를 통하여 데이터 통신이 가능한 기기로서, 퍼스널 컴퓨터, PDA, 랩탑 컴퓨터, 스마트폰 등을 통칭하는 의미로 사용된다. 상기 마커 소유자는 마커 소유자 단말(402)을 이용하여 증강 현실 서비스 서버(406)에 접속하고 새로운 증강 현실 마커(100)를 생성할 수 있다. 또는, 상기 마커 소유자는 증강 현실 마커(100)가 프린트된 물품(티셔츠, 스티커, 배지, 명함 등)을 구매하고, 구매한 물품에 인쇄된 증강 현실 마커를 마커 소유자 단말을 이용하여 증강 현실 서비스 서버(406)에 등록할 수도 있다. The marker owner terminal 402 is a terminal used by the owner of the augmented reality marker 100 (hereinafter referred to as "marker owner"). In the exemplary embodiment of the present invention, the terminal is a device capable of data communication through the network 410, and is used to mean a personal computer, a PDA, a laptop computer, a smartphone, and the like. The marker owner may access the augmented reality service server 406 using the marker owner terminal 402 and generate a new augmented reality marker 100. Alternatively, the marker owner purchases an item (t-shirt, sticker, badge, business card, etc.) printed with the augmented reality marker 100, and uses the marker owner terminal to print the augmented reality marker printed on the purchased item. You may register at 406.

또한 상기 마커 소유자는 등록된 상기 증강 현실 마커에 대응되는 증강 현실 콘텐츠 및 상기 콘텐츠의 필터링 정책(filtering policy)를 증강 현실 마커(100)와 함게 증강 현실 서비스 서버(406)에 등록할 수 있다. 상기 증강 현실 콘텐츠는 상기 마커 소유자가 생성하거나 등록한 증강 현실 마커(100)가 화면상에 위치하는 영역에 출력되는 콘텐츠이다. 상기 증강 현실 콘텐츠의 예로는, 상기 마커 소유자의 연락처 정보, 상기 마커 소유자의 블로그 게시물 또는 트위터 메시지, 상기 마커 소유자의 웹사이트 또는 블로그 URL, 또는 상기 마커 소유자가 등록한 이미지,동영상 또는 3차원 모델 등이 될 수 있다.In addition, the marker owner may register the augmented reality content corresponding to the registered augmented reality marker and a filtering policy of the content with the augmented reality marker 100 in the augmented reality service server 406. The augmented reality content is a content that is output in an area where the augmented reality marker 100 generated or registered by the marker owner is located on the screen. Examples of the augmented reality content may include contact information of the marker owner, a blog post or twitter message of the marker owner, a website or blog URL of the marker owner, an image registered by the marker owner, a video, or a three-dimensional model. Can be.

상기 필터링 정책(filtering policy)은 상기 증강 현실 콘텐츠를 어떠한 사용자에게 노출할 것인지를 정해놓은 일종의 규칙을 의미한다. 본 발명의 실시예에서, 상기 증강 현실 마커를 상기 마커 소유자로부터 전달받은 사용자(뷰어)는 상기 증강 현실 마커를 이용하여 상기 마커 소유자가 등록한 증강 현실 콘텐츠를 볼 수 있다. 이때, 마커 소유자는 필터링 정책을 설정함으로써 상기 증강 현실 콘텐츠를 출력하기 위한 조건을 정할 수 있다. 예를 들어, 상기 마커 소유자의 트위터 아이디를 팔로우(follow)한 사용자에게만 상기 증강 현실 콘텐츠를 출력하도록 설정하거나, 또는 페이스북 친구(Facebook friend)에게만 상기 증강 현실 콘텐츠를 출력하도록 설정할 수 있다. 또한 상기 마커 소유자는 사용자별로 서로 다른 증강 현실 콘텐츠를 출력하도록 필터링 정책을 수립할 수도 있다.The filtering policy refers to a kind of rule that determines which user the augmented reality content is exposed to. In an embodiment of the present invention, the user (viewer) receiving the augmented reality marker from the marker owner may view augmented reality content registered by the marker owner using the augmented reality marker. In this case, the marker owner may determine a condition for outputting the augmented reality content by setting a filtering policy. For example, the augmented reality content may be output only to a user who has followed the Twitter ID of the marker owner, or may be configured to output the augmented reality content only to a Facebook friend. In addition, the marker owner may set a filtering policy to output different augmented reality content for each user.

증강 현실 서비스 단말(404)은 상기 마커 소유자가 생성하거나 등록한 증강 현실 마커를 이용하여 증강 현실 서비스를 이용하려는 사용자(뷰어)가 사용하는 단말로서, 마커 소유자 단말과 마찬가지로 퍼스널 컴퓨터, PDA, 랩탑 컴퓨터, 스마트폰 등이 증강 현실 서비스 단말(404)로 사용될 수 있다. 이와 같은 증강 현실 서비스 단말(404)은 도 5에 도시된 바와 같이 영상 획득부(502), 마커 인식부(504), 콘텐츠 수신부(506) 및 출력부(508)를 포함한다.The augmented reality service terminal 404 is a terminal used by a user (viewer) who wants to use an augmented reality service by using an augmented reality marker created or registered by the marker owner. Like the marker owner terminal, a personal computer, a PDA, a laptop computer, A smartphone or the like may be used as the augmented reality service terminal 404. As shown in FIG. 5, the augmented reality service terminal 404 includes an image acquirer 502, a marker recognizer 504, a content receiver 506, and an output unit 508.

영상 획득부(502)는 증강 현실 마커를 포함하는 영상을 획득한다. 예를 들어, 상기 사용자는 도 2에 도시된 바와 같이 증강 현실 마커(100)가 인쇄된 티셔츠를 입거나 또는 그 밖에 다양한 방법으로 증강 현실 마커(100)를 노출시킬 수 있으며, 영상 획득부(502)는 노출된 증강 현실 마커(100)가 포함된 영상을 촬영함으로써 상기 증강 현실 마커를 포함하는 영상을 획득할 수 있다. 상기 영상은 일반적으로 동영상일 수 있으나, 반드시 이에 한정되는 것은 아니며 필요한 경우 정지 영상으로 영상을 획득할 수도 있다.The image acquirer 502 acquires an image including an augmented reality marker. For example, as shown in FIG. 2, the user may wear a T-shirt printed with the augmented reality marker 100 or expose the augmented reality marker 100 in various ways, and the image acquirer 502 ) May acquire an image including the augmented reality marker by photographing an image including the exposed augmented reality marker 100. The image may be a video in general, but is not limited thereto, and an image may be obtained as a still image if necessary.

마커 인식부(504)는 획득된 상기 영상으로부터 증강 현실 마커(100)를 인식한다. 마커 인식은 전술한 바와 같이 1) 트래킹 영역(102)을 이용한 증강 현실 마커(100)의 3차원 위치 감지 2) 식별 영역(104)을 이용한 마커 아이디 획득의 2단계로 이루어질 수 있다. 물론 상기 각 단계들은 마커 인식부(504) 내에서 순차적으로 또는 동시에 수행될 수 있으며, 순서를 바꾸어 수행될 수 있음은 본 기술분야에서 통상의 지식을 가진 자에게 자명하다. 이와 같은 화면 상에서의 증강 현실 마커(100)의 인식과 관련된 구체적인 사항은 본 기술분야에서는 자명한 사항이므로 여기서는 그 상세한 설명을 생략한다.The marker recognizer 504 recognizes the augmented reality marker 100 from the obtained image. As described above, the marker recognition may be performed in two steps: 1) 3D position detection of the augmented reality marker 100 using the tracking area 102 and 2) obtaining a marker ID using the identification area 104. Of course, each of the above steps may be performed sequentially or simultaneously in the marker recognition unit 504, it is apparent to those skilled in the art that the steps may be performed in reverse order. Since specific matters related to the recognition of the augmented reality marker 100 on the screen are obvious in the art, detailed description thereof will be omitted herein.

콘텐츠 수신부(506)는 마커 인식부(504)에서 획득된 상기 마커 아이디를 증강 현실 서비스 서버(406)로 전송하고, 증강 현실 서비스 서버(406)로부터 상기 마커 아이디에 대응되는 증강 현실 콘텐츠를 전송받는다. 이때 콘텐츠 수신부(506)는 상기 마커 아이디와 함께 상기 사용자(뷰어)의 사용자 정보를 증강 현실 서비스 서버(406)로 전송할 수 있다. 전송된 상기 사용자 정보는 증강 현실 서비스 서버(406)에서 상기 증강 현실 콘텐츠에 필터링 정책을 적용하기 위하여 사용될 수 있다. 상기 사용자 정보의 예로는, 상기 사용자의 소셜 네트워킹 서비스 아이디, 또는 기타 상기 사용자를 네트워크 상에서 식별할 수 있는 정보일 수 있다.The content receiver 506 transmits the marker ID acquired by the marker recognizer 504 to the augmented reality service server 406, and receives augmented reality content corresponding to the marker ID from the augmented reality service server 406. . In this case, the content receiving unit 506 may transmit the user information of the user (viewer) together with the marker ID to the augmented reality service server 406. The transmitted user information may be used by the augmented reality service server 406 to apply a filtering policy to the augmented reality content. Examples of the user information may be a social networking service ID of the user, or other information for identifying the user on a network.

출력부(508)는 콘텐츠 수신부(506)에서 수신한 상기 증강 현실 콘텐츠를 상기 영상과 결합하여 출력한다. 구체적으로, 출력부(508)는 인식된 증강 현실 마커(100)의 트래킹 영역(102)으로부터 얻은 3차원 좌표에 상기 증강 현실 콘텐츠가 디스플레이되도록 상기 증강 현실 콘텐츠를 상기 영상과 결합하여 상기 사용자(뷰어)가 인식할 수 있는 형태로 화면 상에 디스플레이하게 된다.
The output unit 508 combines the augmented reality content received by the content receiving unit 506 with the image and outputs the combined content. In detail, the output unit 508 combines the augmented reality content with the image to display the augmented reality content in three-dimensional coordinates obtained from the tracking area 102 of the recognized augmented reality marker 100 so as to display the user (viewer). ) Is displayed on the screen in a form that can be recognized.

한편, 증강 현실 서비스 서버(406)는 상기 마커 소유자의 요청에 따라 증강 현실 마커(100)를 생성하거나 등록하고, 증강 현실 서비스 단말(404)의 사용자의 요청에 따라 증강 현실 콘텐츠를 제공하는 서버이다. 이와 같은 증강 현실 서비스 서버(406)는 도 6에 도시된 바와 같이, 마커 생성 및 등록부(602), 데이터베이스(604), 마커 아이디 수신부(606), 콘텐츠 탐색부(608) 및 콘텐츠 전송부(610)를 포함한다.Meanwhile, the augmented reality service server 406 is a server that generates or registers an augmented reality marker 100 at the request of the marker owner, and provides augmented reality content at the request of the user of the augmented reality service terminal 404. . As shown in FIG. 6, the augmented reality service server 406 includes a marker generation and registration unit 602, a database 604, a marker ID receiver 606, a content search unit 608, and a content transmitter 610. ).

마커 생성 및 등록부(602)는 마커 소유자 단말(402)로부터 새로운 마커의 생성을 요청받은 경우, 새로운 증강 현실 마커(100)를 생성하고 이를 마커 소유자 단말(402)로 전송한다. 또한 마커 소유자 단말(402)로부터 상기 마커 소유자가 구매한 증강 현실 마커(100)의 등록을 요청받은 경우 증강 현실 마커(100)를 데이터베이스(604)에 등록한다. 또한 마커 생성 및 등록부(602)는 생성되거나 등록된 증강 현실 마커(100)에 대응되는 증강 현실 콘텐츠 또는 필터링 정책을 마커 소유자 단말(402)로부터 입력받은 경우에도 이를 데이터베이스(604)에 등록한다.When the marker generation and registration unit 602 is requested to generate a new marker from the marker owner terminal 402, the marker generation and registration unit 602 generates a new augmented reality marker 100 and transmits it to the marker owner terminal 402. In addition, when a request is made to register the augmented reality marker 100 purchased by the marker owner from the marker owner terminal 402, the augmented reality marker 100 is registered in the database 604. In addition, the marker generation and registration unit 602 registers the augmented reality content or filtering policy corresponding to the generated or registered augmented reality marker 100 to the database 604 even when the marker owner terminal 402 is input.

데이터베이스(604)는 마커 소유자 단말(402)로부터 생성되거나 등록된 증강 현실 마커(100) 및 마커 아이디, 상기 증강 현실 마커(100)에 대응되는 증강 현실 콘텐츠 및 필터링 정책이 저장된다.The database 604 stores the augmented reality marker 100 and the marker ID generated or registered from the marker owner terminal 402, the augmented reality content and filtering policy corresponding to the augmented reality marker 100.

마커 아이디 수신부(606)는 증강 현실 서비스 단말(404)로부터 마커 아이디를 수신받는다. 또한 마커 아이디 수신부(606)는 증강 현실 서비스 단말(404)로부터 상기 마커 아이디를 전송한 사용자(뷰어)의 사용자 정보를 함께 수신할 수 있다.The marker ID receiver 606 receives a marker ID from the augmented reality service terminal 404. In addition, the marker ID receiving unit 606 may receive user information of the user (viewer) who transmitted the marker ID from the augmented reality service terminal 404.

콘텐츠 탐색부(608)는 마커 아이디 수신부(606)로부터 수신된 상기 마커 아이디를 이용하여 데이터베이스(604)를 탐색하고, 수신된 상기 마커 아이디에 대응되는 콘텐츠 및 필터링 정책을 데이터베이스(604)로부터 추출한다. 또한 콘텐츠 탐색부(608)는 추출된 콘텐츠에 상기 필터링 정책을 적용함으로써 증강 현실 서비스 단말(404)로 전송할 증강 현실 콘텐츠를 결정한다. 이때 필요한 경우 상기 필터링 정책의 적용을 위하여 수신된 상기 사용자 정보를 사용할 수 있다.The content searching unit 608 searches the database 604 using the marker ID received from the marker ID receiving unit 606, and extracts a content and filtering policy corresponding to the received marker ID from the database 604. . In addition, the content search unit 608 determines the augmented reality content to be transmitted to the augmented reality service terminal 404 by applying the filtering policy to the extracted content. At this time, if necessary, the received user information may be used to apply the filtering policy.

콘텐츠 전송부(610)는 콘텐츠 탐색부(608)에서 결정된 증강 현실 콘텐츠를 증강 현실 서비스 단말(404)로 전송한다.
The content transmitter 610 transmits the augmented reality content determined by the content search unit 608 to the augmented reality service terminal 404.

한편 사용자 인증 서버(408)는, 마커 소유자가 설정한 필터링 정책에 따라 상기 증강 현실 콘텐츠를 수신하려는 사용자(뷰어)를 인증하기 위하여 사용되는 서버이다. 사용자 인증 서버(408)는, 예를 들어 페이스북, 또는 트위터 등의 소셜 네트워킹 서비스의 사용자 인증 서버(408)일 수 있으며, 증강 현실 서비스 서버(406)는 OAuth 등의 사용자 인증 프로토콜을 이용하여 상기 사용자를 인증할 수 있다. 예를 들어 상기 마커 소유자가 자신의 페이스북 친구에게만 증강 현실 콘텐츠를 공개하도록 필터링 정책을 수립한 경우, 증강 현실 서비스 서버(406)는 상기 증강 현실 콘텐츠를 요청한 사용자가 상기 마커 소유자의 페이스북 친구인지의 여부를 확인할 필요가 있다. 이 경우 증강 현실 서비스 서버(406)는 페이스북의 사용자 인증 서버(408)에 접속하여 상기 사용자가 상기 마커 소유자와 페이스북 친구 관계인지의 여부를 확인할 수 있다.
Meanwhile, the user authentication server 408 is a server used to authenticate a user (viewer) who wants to receive the augmented reality content according to the filtering policy set by the marker owner. The user authentication server 408 may be, for example, a user authentication server 408 of a social networking service such as Facebook or Twitter, and the augmented reality service server 406 may use the user authentication protocol such as OAuth to perform the above. You can authenticate users. For example, if the marker owner has set up a filtering policy to disclose augmented reality content only to his Facebook friend, the augmented reality service server 406 may determine whether the user requesting the augmented reality content is a Facebook friend of the marker owner. It is necessary to check whether or not. In this case, the augmented reality service server 406 may access the user authentication server 408 of Facebook and check whether the user is a Facebook friend of the marker owner.

도 7은 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 출력 방법을 나타낸 순서도이다. 본 실시예는 "실시간 증강 현실 뷰(live augmented view)"로서, 사용자(뷰어)가 웹캠 등의 동영상 촬영 장치 또는 모바일 디바이스 등으로 실시간으로 보이는 영상에 증강 현실 콘텐츠를 출력하도록 구성된다.7 is a flowchart illustrating a method of outputting augmented reality content according to an embodiment of the present invention. This embodiment is a " live augmented view ", and is configured to output augmented reality content to a user (viewer) on an image which is viewed in real time by a video photographing device such as a webcam or a mobile device.

먼저, 증강 현실 서비스 단말(404)에서, 증강 현실 마커(100)를 포함하는 영상을 촬영한다(702).First, in the augmented reality service terminal 404, the image including the augmented reality marker 100 is photographed (702).

이후 증강 현실 서비스 단말(404)에서, 상기 영상 내의 증강 현실 마커(100)로부터 마커 아이디를 추출한다(704). 이때, 상기 마커 아이디 추출, 상기 증강 현실 마커의 식별 영역(104) 포함된 바코드 또는 QR 코드 등의 2차원 코드를 인식하고, 인식된 상기 2차원 코드를 디코딩하여 상기 마커 아이디를 추출하도록 구성될 수 있다.Thereafter, the augmented reality service terminal 404 extracts a marker ID from the augmented reality marker 100 in the image (704). In this case, the marker ID extraction, the identification region 104 of the augmented reality marker 104 may be configured to recognize a two-dimensional code, such as a barcode or QR code, and to decode the recognized two-dimensional code to extract the marker ID. have.

다음으로 증강 현실 서비스 단말(404)에서, 추출된 상기 마커 아이디에 대응되는 콘텐츠를 증강 현실 서비스 서버(406)로부터 전송받는다(706). 구체적으로 증강 현실 서비스 단말(404)은 추출된 상기 마커 아이디를 증강 현실 서비스 서버로 전송하고, 상기 마커 아이디에 대응되는 콘텐츠를 전송받도록 구성된다. 전술한 바와 같이, 필요한 경우에는 상기 마커 아이디와 함께 사용자(뷰어)의 정보를 증강 현실 서비스 서버(406)로 전송할 수 있으며, 이 경우 증강 현실 서비스 서버(406)는 상기 사용자 정보 및 상기 증강 현실 서비스 서버에 저장된 필터링 정책(filtering policy)에 의하여 필터링된 증강 현실 콘텐츠를 증강 현실 서비스 단말(404)로 전송하게 된다.Next, in the augmented reality service terminal 404, the content corresponding to the extracted marker ID is received from the augmented reality service server 406 (706). In more detail, the augmented reality service terminal 404 is configured to transmit the extracted marker ID to an augmented reality service server, and receive content corresponding to the marker ID. As described above, if necessary, information of the user (viewer) may be transmitted to the augmented reality service server 406 together with the marker ID. In this case, the augmented reality service server 406 may transmit the user information and the augmented reality service. The augmented reality content filtered by the filtering policy stored in the server is transmitted to the augmented reality service terminal 404.

마지막으로, 증강 현실 서비스 단말(404)은 전송된 상기 증강 현실 콘텐츠를 상기 촬영된 영상과 결합하여 출력한다(708). 구체적으로, 증강 현실 서비스 단말(404)은 상기 증강 현실 콘텐츠를 상기 영상 내부의 상기 증강 현실 마커가 위치하는 영역에 임베딩(embedding)되어 상기 영상과 함께 출력되도록 한다.
Finally, the augmented reality service terminal 404 combines the transmitted augmented reality content with the photographed image and outputs the result (708). In detail, the augmented reality service terminal 404 embeds the augmented reality content in an area in which the augmented reality marker is located in the image to be output together with the image.

도 8은 본 발명의 일 실시예에 따른 증강 현실 이미지 생성 방법을 나타낸 순서도이다. 본 발명에서의 증강 현실 이미지는 증강 현실 마커(100)를 피사체 중 하나로 포함하는 이미지를 의미한다. 즉, 증강 현실 마커(100)가 인쇄된 티셔츠를 입은 상태로 이미지를 촬영하거나, 또는 증강 현실 마커(100)가 인쇄된 물건 등을 촬영하는 경우 상기 촬영된 이미지는 본 발명에서의 증강 현실 이미지가 된다.8 is a flowchart illustrating a method of generating an augmented reality image according to an embodiment of the present invention. The augmented reality image in the present invention means an image including the augmented reality marker 100 as one of the subjects. That is, when photographing an image with a T-shirt printed with the augmented reality marker 100, or photographing an object on which the augmented reality marker 100 is printed, the photographed image is an augmented reality image in the present invention. do.

이와 같은 증강 현실 이미지는 후술할 "정지된 증강 현실 뷰(frozen augmented view)"에 사용하기 위한 것이다. 즉, 마커 소유자 또는 뷰어는 증강 현실 마커(100)가 포함된 이미지를 촬영한 뒤, 이를 타인(2차 사용자)에게 이메일 또는 트위터, 페이스북과 같은 소셜 네트워크 서비스 등을 통하여 전송할 수 있다. 이 경우 상기 이미지를 전송받은 사용자는 상기 이미지를 이용하여 "실시간 증강 현실 뷰(live augmented view)"와 유사한 증강 현실 서비스를 제공받을 수 있다. 일반적으로 SNS 서비스 등에서는 동영상보다는 스틸 이미지를 게시하거나 주고 받는 것이 일반적이므로, 상기와 같은 증강 현실 이미지는 증강 현실 마커(100)를 이용한 콘텐츠/정보의 배포 및 유통을 위한 촉매제가 될 수 있다.This augmented reality image is intended for use in a " frozen augmented view " That is, the marker owner or the viewer may take an image including the augmented reality marker 100 and transmit it to another person (second user) through an e-mail or a social network service such as Twitter or Facebook. In this case, the user who has received the image may be provided with an augmented reality service similar to a "live augmented view" using the image. In general, since an SNS service or the like posts or receives a still image rather than a video, the augmented reality image may be a catalyst for distributing and distributing content / information using the augmented reality marker 100.

도시된 단계를 설명하면, 먼저 증강 현실 서비스 단말(404)에서 증강 현실 마커를 피사체로 포함하는 이미지(정지화상)을 촬영한다(802).Referring to the illustrated steps, first, an image (still image) including an augmented reality marker as a subject is captured by the augmented reality service terminal 404 (802).

이후, 증강 현실 서비스 단말(404)은 상기 피사체로부터 증강 현실 마커(100)를 인식하고, 인식된 상기 증강 현실 마커(100)로부터 마커 아이디를 추출한다(804). 이때, 상기 마커 아이디의 추출은, 증강 현실 마커(100)에 포함된 바코드 또는 QR 코드 등의 2차원 코드를 인식하고, 인식된 상기 2차원 코드를 디코딩하여 마커 아이디를 추출하도록 구성될 수 있다. 이와 같이 촬영된 이미지가 아닌 피사체로부터 직접 증강 현실 마커(100)를 인식하는 이유는, 정지된 이미지의 경우 증강 현실 마커(100)를 식별하고 이로부터 QR 코드 등을 읽어들이기가 매우 어렵기 때문이다. 예를 들어, 피사체의 증강 현실 마커(100)가 인쇄된 면이 구겨지거나, 또는 다른 물체로 가려지거나 한 경우에는 정상적으로 마커를 인식하기가 사실상 불가능하다. 따라서 본 실시예에서는 이미지와는 별도로 증강 현실 마커(100)를 인식하는 과정이 필요하게 된다. 상기 802 및 804 단계는 동시에 수행될 수도 있으며, 순차적으로 수행될 수도 있고, 순서를 바꾸어 수행될 수도 있음에 유의한다.Thereafter, the augmented reality service terminal 404 recognizes the augmented reality marker 100 from the subject, and extracts a marker ID from the recognized augmented reality marker 100 (operation 804). In this case, the extraction of the marker ID may be configured to recognize a two-dimensional code such as a barcode or a QR code included in the augmented reality marker 100, and to extract the marker ID by decoding the recognized two-dimensional code. The reason for recognizing the augmented reality marker 100 directly from a subject other than the photographed image is that it is very difficult to identify the augmented reality marker 100 and read a QR code from the still image. . For example, when the augmented reality marker 100 of the subject is wrinkled or obscured by another object, it is virtually impossible to recognize the marker normally. Therefore, in the present embodiment, a process of recognizing the augmented reality marker 100 separately from the image is required. Note that steps 802 and 804 may be performed simultaneously, may be performed sequentially, or may be performed in a reverse order.

마지막으로, 증강 현실 서비스 단말(404)은 추출된 상기 마커 아이디를 촬영된 상기 이미지의 부가 정보 영역에 저장(caching)한다. 이때 상기 부가 정보 영역이란, 이미지 데이터에서 각 픽셀의 데이터를 저장하는 영역 이외의 영역을 의미한다. 예를 들어, 디지털 카메라의 촬영 정보 저장 영역, 워터마크 정보 저장 영역 또는 PNG 포맷의 파일의 경우 일반적으로는 잘 사용되지 않는 알파 채널 영역 등이 본 발명에서의 부가 정보 영역에 해당한다. 이와 같이 이미지의 부가 정보 영역에 상기 마커 아이디가 저장되게 되면, 상기 이미지를 전송받는 사용자는 화면상에서 증강 현실 마커가 제대로 인식되지 않더라도, 상기 부가 정보 영역으로부터 마커 아이디를 추출함으로써 증강 현실 서비스 서버(406)로부터 그에 해당하는 콘텐츠를 제공받을 수 있다. 또한, 상기 마커 아이디의 저장 시 필요한 경우, 상기 마커 아이디의 체크섬(checksum) 또는 해쉬값(hash)을 상기 마커 아이디와 함께 저장하거나, 상기 마커 아이디를 암호화하여 저장하는 것도 가능하다.
Finally, the augmented reality service terminal 404 caches the extracted marker ID in the additional information area of the photographed image. In this case, the additional information area refers to an area other than an area for storing data of each pixel in the image data. For example, in the case of a digital camera photographing information storage area, a watermark information storage area, or a PNG format file, an alpha channel area that is not generally used corresponds to an additional information area in the present invention. As such, when the marker ID is stored in the additional information area of the image, the user who receives the image may extract the marker ID from the additional information area even though the augmented reality marker is not properly recognized on the screen. ) Corresponding content can be provided. In addition, when necessary to store the marker ID, a checksum or a hash value of the marker ID may be stored together with the marker ID or may be stored by encrypting the marker ID.

도 9는 본 발명의 다른 실시예에 따른 증강 현실 콘텐츠 출력 방법을 나타낸 순서도이다. 본 실시예는 "정지된 증강 현실 뷰(frozen augmented view)"로서, 실시간으로 촬영된 영상이 아닌 도 8과 같은 방법으로 생성된 증강 현실 이미지로부터 증강 현실 마커(100)를 인식하고 인식된 증강 현실 마커(100)가 위치하는 영역에 증강 현실 콘텐츠를 출력하도록 구성된다. 전술한 바와 같이, 본 실시예의 경우 정지화상으로부터 증강 현실 마커(100)를 인식하여야 하므로, 동영상을 사용하는 "실시간 증강 현실 뷰(live augmented view)"에 비해 증강 현실 마커(100)로부터 마커 아이디를 추출하는 것이 어려울 수 있다. 따라서 본 실시예에서는 앞서 설명한 바와 같이 필요한 경우 상기 정지화상 내부의 부가 정보 저장 영역에 증강 현실 마커(100)의 마커 아이디를 저장함으로써 정지화상으로부터 마커 아이디를 추출하지 못하더라도 증강 현실 콘텐츠를 전송받을 수 있도록 구성될 수 있다. 9 is a flowchart illustrating a method of outputting augmented reality content according to another embodiment of the present invention. The present embodiment is a "frozen augmented view," which recognizes an augmented reality marker 100 from an augmented reality image generated by the method shown in FIG. 8 rather than an image captured in real time, and recognizes the augmented reality. The augmented reality content is output to an area where the marker 100 is located. As described above, in the present embodiment, since the augmented reality marker 100 must be recognized from the still image, the marker ID from the augmented reality marker 100 is compared with the "live augmented view" using the video. Extraction can be difficult. Accordingly, in the present embodiment, as described above, if the marker ID of the augmented reality marker 100 is stored in the additional information storage area inside the still image, the augmented reality content may be transmitted even if the marker ID is not extracted from the still image. It can be configured to be.

먼저, 증강 현실 서비스 단말(404)에서, 증강 현실 마커가 포함된 이미지(정지화상으로부터 마커 아이디를 추출한다(902). 이때, 상기 마커 아이디 추출, 상기 증강 현실 마커의 식별 영역(104) 포함된 바코드 또는 QR 코드 등의 2차원 코드를 인식하고, 인식된 상기 2차원 코드를 디코딩하여 상기 마커 아이디를 추출하도록 구성될 수 있다. 또는, 전술한 바와 같이 상기 이미지의 부가 정보 영역에 마커 아이디가 저장된 경우, 상기 부가 정보 영역으로부터 상기 마커 아이디를 추출하도록 구성될 수 있다.First, in the augmented reality service terminal 404, an image including an augmented reality marker (a marker ID is extracted from a still image in step 902. In this case, the marker ID extraction and the identification region 104 of the augmented reality marker are included. It may be configured to recognize a two-dimensional code, such as a barcode or QR code, and to decode the recognized two-dimensional code to extract the marker ID, or as described above, the marker ID is stored in the additional information area of the image. In this case, the marker ID may be extracted from the additional information area.

다음으로 증강 현실 서비스 단말(404)에서, 추출된 상기 마커 아이디에 대응되는 콘텐츠를 증강 현실 서비스 서버(406)로부터 전송받는다(904). 구체적으로 증강 현실 서비스 단말(404)은 추출된 상기 마커 아이디를 증강 현실 서비스 서버로 전송하고, 상기 마커 아이디에 대응되는 콘텐츠를 전송받도록 구성된다. 전술한 바와 같이, 필요한 경우에는 상기 마커 아이디와 함께 사용자(뷰어)의 정보를 증강 현실 서비스 서버(406)로 전송할 수 있으며, 이 경우 증강 현실 서비스 서버(406)는 상기 사용자 정보 및 상기 증강 현실 서비스 서버에 저장된 필터링 정책(filtering policy)에 의하여 필터링된 증강 현실 콘텐츠를 증강 현실 서비스 단말(404)로 전송하게 된다.Next, the augmented reality service terminal 404 receives the content corresponding to the extracted marker ID from the augmented reality service server 406 (904). In more detail, the augmented reality service terminal 404 is configured to transmit the extracted marker ID to an augmented reality service server, and receive content corresponding to the marker ID. As described above, if necessary, information of the user (viewer) may be transmitted to the augmented reality service server 406 together with the marker ID. In this case, the augmented reality service server 406 may transmit the user information and the augmented reality service. The augmented reality content filtered by the filtering policy stored in the server is transmitted to the augmented reality service terminal 404.

마지막으로, 증강 현실 서비스 단말(404)은 전송된 상기 증강 현실 콘텐츠를 상기 촬영된 영상과 결합하여 출력한다(906). 구체적으로, 증강 현실 서비스 단말(404)은 상기 증강 현실 콘텐츠를 상기 영상 내부의 상기 증강 현실 마커가 위치하는 영역에 임베딩(embedding)되어 상기 영상과 함께 출력되도록 한다.
Finally, the augmented reality service terminal 404 combines the transmitted augmented reality content with the photographed image and outputs it (906). In detail, the augmented reality service terminal 404 embeds the augmented reality content in an area in which the augmented reality marker is located in the image to be output together with the image.

한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플로피 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Meanwhile, an embodiment of the present invention may include a computer readable recording medium including a program for performing the methods described herein on a computer. The computer-readable recording medium may include program instructions, local data files, local data structures, etc. alone or in combination. The media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floppy disks, and ROM, RAM, flash memory, and the like. Hardware devices specifically configured to store and execute program instructions are included. Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. Although the present invention has been described in detail with reference to exemplary embodiments above, those skilled in the art to which the present invention pertains can make various modifications to the above-described embodiments without departing from the scope of the present invention. Will understand.

그러므로 본 발명의 권리범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the claims below and equivalents thereof.

Claims

Photographing an image including a 2D code or a marker including the 2D code in a terminal;
In the terminal, recognizing a marker including the 2D code or the 2D code and extracting a marker ID from the recognized 2D code or the marker including the 2D code; And
Storing, by the terminal, the extracted marker ID in an additional information area of the photographed image;
Image generation method comprising a.

The method of claim 1,
The marker ID extracting step is configured to extract a marker ID by decoding a two-dimensional code included in the two-dimensional code or a marker including the two-dimensional code.

Photographing an image including a marker including a barcode or a QR code in the terminal;
In the terminal, recognizing the barcode or QR code in the captured image and extracting a marker ID from the recognized barcode or QR code;
Receiving, at the terminal, content corresponding to the extracted marker ID from a server; And
Displaying, at the terminal, the transmitted content in combination with the image;
Content output method comprising a.

The method of claim 3,
The marker ID extraction step,
Determining a location of the marker within the image by detecting a tracking area of the marker including the barcode or the QR code in the captured image; And
Recognizing the barcode or QR code included in the marker including the barcode or QR code, and extracting the marker ID by decoding the recognized barcode or QR code;
The content output method further comprising.

Extracting, from the terminal, a marker ID from an additional information area of an image including a 2D code or a marker including the 2D code;
Receiving, at the terminal, content corresponding to the extracted marker ID from a server; And
In the terminal, displaying the transmitted content in combination with the image;
Content output method comprising a.

The method of claim 5,
Receiving the content corresponding to the marker ID,
Transmitting the extracted marker ID and user information of the image to the server; And
Receiving content filtered by the user information and a filtering policy stored in the server;
The content output method further comprising.

The method of claim 5,
The displaying of the content in combination with the image may include displaying the content together with the image by embedding the received content in an area in which the 2D code or the marker including the 2D code is located. The content output method.

A tracking area for providing reference coordinates for displaying augmented reality content on a screen; And
An identification area in which identification information of the augmented reality content displayed in the tracking area is stored in the form of a barcode or a QR code;
Augmented reality markers containing.

delete

The method of claim 8,
The minimum recognition unit for detecting the tracking area of the terminal is such that the size of the pattern constituting the identification area is not recognized as a valid pattern by the augmented reality service terminal when the tracking area of the augmented reality marker is detected by the terminal. Formed smaller, augmented reality marker.

The method of claim 8,
The tracking area is configured with a color element different from the identification area so that the identification area can be masked by excluding a color or contrast element constituting the identification area from the detection object when the tracking area is detected on the screen. Augmented Reality Marker.

Photographing an image including a marker including a barcode or a QR code in the terminal;
Recognizing a marker including the barcode or a QR code in the terminal and extracting a marker ID from a barcode or a QR code included in the recognized marker; And
Storing, by the terminal, the extracted marker ID in an additional information area of the photographed image;
Image generation method comprising a.