KR101060753B1

KR101060753B1 - 입력 이미지에 포함된 객체에 대한 콜렉션을 수행할 수 있도록 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체

Info

Publication number: KR101060753B1
Application number: KR1020110000650A
Authority: KR
Inventors: 류중희; 류하나
Original assignee: (주)올라웍스
Priority date: 2011-01-04
Filing date: 2011-01-04
Publication date: 2011-08-31
Also published as: JP5642889B2; JP2014504759A; EP2665006A4; CN103548025B; US8467577B2; US20120170806A1; CN103548025A; EP2665006A1; WO2012093811A1

Abstract

본 발명에 따르면, (a) 단말 장치의 화면 상에 소정 객체를 포함하는 이미지가 입력되면, 참조 객체 이미지와의 이미지 매칭을 통하여 유사도를 산출하고 유사도가 임계 유사도 이상에 해당하는 참조 객체 이미지의 식별자를 통해 객체를 인식하기 위한 사물 인식 기술, 객체에 포함된 문자, 숫자, 기호 중 적어도 하나를 인식하여 객체를 인식하기 위한 문자 인식 기술 및 객체에 포함된 바코드로부터 객체를 인식하기 위한 바코드 인식 기술 중 적어도 하나를 사용하여 객체의 정체를 인식하는 단계, (b) 객체의 정체에 대한 인식 정보, 입력 이미지가 생성된 장소에 대한 인식 정보, 입력 이미지가 생성된 시간에 대한 인식 정보 중 적어도 하나를 사용하여 해당 언어의 문법에 맞게 조합된 구문 또는 절을 포함하는 오토코멘트에 대한 정보 및 인식된 객체에 대한 이미지에 대한 정보를 포함하는 콜렉션 페이지를 획득하는 단계; 및 (c) 콜렉션 페이지에 대한 등록 요청이 수신되면, 상기 콜렉션 페이지가 저장되도록 하는 단계를 포함하는 방법이 제공된다. 본 발명에 의하면, 입력된 이미지에 포함된 객체의 정체, 위치, 시간 등의 정보를 이용하여 관심 객체에 대한 오토코멘트와 이미지에 대한 정보를 획득함으로써 사용자 주변의 수 많은 객체에 대한 다양한 정보를 사용자가 일일이 편집하는 번거로움 없이 빠르게 저장할 수 있다.

Description

입력 이미지에 포함된 객체에 대한 콜렉션을 수행할 수 있도록 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체{METHOD, TERMINAL, AND COMPUTER-READABLE RECORDING MEDIUM FOR SUPPORTING COLLECTION OF OBJECT INCLUDED IN INPUTTED IMAGE}

본 발명은 단말 장치를 통해 입력되는 입력 이미지에 포함된 객체에 대한 콜렉션을 수행할 수 있도록 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는, 입력 이미지에 포함된 객체의 정체를 사물 인식 기술, 문자 인식 기술(OCR) 및 바코드 인식 기술 중 적어도 하나를 사용하여 인식한 후, 객체의 정체에 대한 인식 정보, 이미지가 생성된 장소에 대한 인식 정보, 및 이미지가 생성된 시간에 대한 인식 정보 중 적어도 하나를 사용하여 해당 언어의 문법에 맞게 조합된 문장, 즉 오토코멘트에 대한 정보와 인식된 객체에 대한 이미지에 대한 정보를 포함하는 콜렉션 페이지를 획득하고, 콜렉션 페이지에 대한 등록 요청이 수신되면 콜렉션 페이지가 저장되도록 함으로써, 사용자로 하여금 사용자 주변의 수 많은 객체에 대한 다양한 정보를 일일이 편집하는 번거로움 없이 편리하고 빠르게 관심 객체에 대한 정보를 수집하고 이와 관련된 다양한 서비스를 제공 받을 수 있도록 하는 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

근래에 들어, 인터넷 사용이 확산됨에 따라 기존에는 책자와 같은 인쇄물의 형태로 제공되어 왔던 정보가 디지털 데이터로 변환되어 제공되는 것이 일반화되었다. 또한, 디지털 데이터로 변환된 정보는 인터넷과 3G 망 등과 같은 초고속 통신 시스템의 보급에 의해 많은 사용자들 사이에서 실시간으로 공유되고 서로 전달될 수 있어, 정보의 공유 및 전달력의 측면에서 상대적으로 단점을 지닌 인쇄물에 비해 널리 활용되고 있다.

특히, 최근에는 사용자 단말 장치에 의하여 실시간으로 촬영되는 입력 영상에 컴퓨터 그래픽스(Computer Graphics: CG), 문자 등의 부가 정보를 합성하여 표시하는 증강 현실(Augmented Reality: AR)의 방식으로 여러 형태의 정보를 제공하는 기술이 소개된 바 있는데, 이러한 증강 현실 기술에 따르면, 사용자가 실제로 보고 있는 현실 세계를 담고 있는 화면에 필요한 정보를 시각적으로 중첩하여 제공할 수 있으므로 사용자에게 보다 나은 환경을 제공할 수 있게 된다.

한편, 위와 같이 증강 현실 기술을 이용하여 여러 정보를 제공 및 공유함에 있어서, 사용자 단말 장치에 의하여 촬영 또는 입력되는 이미지에 포함되어 있는 모든 객체에 대하여 정보를 판단하고 이를 효율적으로 저장하는 것은 현실적으로 어려우며, 상대적으로 관심도(또는 중요도)가 높은 객체에 대한 정보만을 차등적으로 저장할 때에도 해당 정보를 체계적으로 기록하고 저장하는 것이 여간 번거로운 작업일 수 밖에 없는바 보다 적극적인 수요자 참여를 이끌어내는데에 어느 정도 한계가 존재하는 것이 사실이었다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은 입력된 이미지에 포함된 객체의 정체, 위치, 시간 등의 정보를 이용하여 관심 객체에 대한 오토코멘트와 객체와 대응되어 있는 이미지에 대한 정보를 획득하여 콜렉션 페이지를 구성하고, 이에 대한 등록 요청 시 콜렉션 페이지가 체계적으로 저장되도록 함으로써 사용자 주변의 수 많은 객체에 대한 다양한 정보를 사용자가 손쉽게 저장할 수 있도록 하는 것을 다른 목적으로 한다.

또한, 본 발명은 특정 객체에 대해 콜렉션된 정보를 바탕으로, 해당 객체와 관련하여 수행할 수 있는 미션 정보와 미션 수행 시 제공되는 보상 정보를 사용자에게 제공되도록 함으로써 사용자의 참여 의욕을 고취시킬 수 있도록 하는 것을 또 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 태양에 따르면, 단말 장치를 통해 입력되는 입력 이미지에 포함된 객체에 대한 콜렉션을 수행할 수 있도록 지원하기 위한 방법에 있어서, (a) 상기 단말 장치의 화면 상에 소정 객체를 포함하는 이미지가 입력되면, 상기 입력되는 이미지와 기저장된 참조 객체 이미지와의 이미지 매칭을 통하여 유사도를 산출하고 상기 유사도가 기설정된 임계 유사도 이상에 해당하는 참조 객체 이미지의 식별자를 통해 상기 객체의 정체를 인식하기 위한 사물 인식 기술, 상기 객체에 포함된 문자, 숫자, 기호 중 적어도 하나를 인식하여 상기 객체의 정체를 인식하기 위한 문자 인식 기술 및 상기 객체에 포함된 바코드로부터 상기 객체의 정체를 인식하기 위한 바코드 인식 기술 중 적어도 하나를 사용하여 상기 객체의 정체를 인식하는 단계, (b) 상기 객체의 정체에 대한 인식 정보, 상기 입력 이미지가 생성된 장소에 대한 인식 정보, 상기 입력 이미지가 생성된 시간에 대한 인식 정보 중 적어도 하나를 사용하여 해당 언어의 문법에 맞게 조합된 구문 또는 절을 포함하는 오토코멘트에 대한 정보 및 상기 인식된 객체에 대한 이미지에 대한 정보를 포함하는 콜렉션 페이지를 획득하는 단계; 및 (c) 상기 콜렉션 페이지에 대한 등록 요청이 수신되면, 사용자별로 상기 콜렉션 페이지가 저장되도록 하는 단계를 포함하는 방법이 제공된다.

본 발명의 다른 태양에 따르면, 단말 장치를 통해 입력되는 입력 이미지에 포함된 객체에 대한 콜렉션을 수행할 수 있도록 지원하기 위한 단말 장치에 있어서, 상기 단말 장치의 화면 상에 소정 객체를 포함하는 이미지가 입력되면, 상기 입력되는 이미지와 기저장된 참조 객체 이미지와의 이미지 매칭을 통하여 유사도를 산출하고 상기 유사도가 기설정된 임계 유사도 이상에 해당하는 참조 객체 이미지의 식별자를 통해 상기 객체의 정체를 인식하기 위한 사물 인식 기술, 상기 객체에 포함된 문자, 숫자, 기호 중 적어도 하나를 인식하여 상기 객체의 정체를 인식하기 위한 문자 인식 기술 및 상기 객체에 포함된 바코드로부터 상기 객체의 정체를 인식하기 위한 바코드 인식 기술 중 적어도 하나를 사용하여 상기 객체의 정체를 인식하는 객체 인식부, 상기 객체의 정체에 대한 인식 정보, 상기 입력 이미지가 생성된 장소에 대한 인식 정보, 상기 입력 이미지가 생성된 시간에 대한 인식 정보 중 적어도 하나를 사용하여 해당 언어의 문법에 맞게 조합된 구문 또는 절을 포함하는 오토코멘트에 대한 정보 및 상기 인식된 객체에 대한 이미지에 대한 정보를 포함하는 콜렉션 페이지를 획득하고, 상기 획득된 콜렉션 페이지에 대한 등록 요청이 수신되면 사용자의 상기 콜렉션 페이지가 저장되도록 하는 콜렉션 수행부를 포함하는 단말 장치가 제공된다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명에 의하면, 입력된 이미지에 포함된 객체의 정체, 위치, 시간 등의 정보를 이용하여 관심 객체에 대한 오토코멘트와 이미지에 대한 정보를 획득하고, 이에 대한 등록 요청 시 관심 객체에 대한 오토코멘트와 이미지에 대한 정보를 체계적으로 저장되도록 함으로써 사용자 주변의 수 많은 객체에 대한 다양한 정보를 사용자가 일일이 편집하는 번거로움 없이 편리하고 빠르게 저장하고 이를 관리되도록 할 수 있다.

또한, 본 발명에 의하면, 특정 객체에 대해 콜렉션된 정보를 바탕으로, 해당 객체와 관련하여 수행할 수 있는 미션 정보와 미션 수행 시 제공되는 보상 정보가 사용자에게 제공되므로, 사용자가 보다 적극적으로 객체에 대한 콜렉션을 수행하도록 유도할 수 있다.

도 1은 본 발명의 일 실시예에 따라 입력 이미지에 포함된 객체에 대한 콜렉션을 수행할 수 있도록 지원하기 위한 단말 장치(100)의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 소정 객체가 입력 이미지로서 입력되는 경우 해당 객체를 인식하는 예를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따라 오토코멘트에 대한 정보와 인식된 객체에 대한 이미지에 대한 정보를 포함하는 콜렉션 페이지의 예를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 객체에 대한 콜렉션 페이지가 저장되는 예를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따라 각 사용자가 자신의 콜렉션 페이지를 관리할 수 있도록 하기 위하여 할당된 고유의 가상 공간을 예시적으로 나타내는 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

[본 발명의 바람직한 실시예]

본 명세서에 있어서, 콜렉션(collection)은, 이미지에 포함된 특정 객체의 종류, 특성 등을 포함하는 객체의 정체에 대한 정보와 해당 객체가 포함된 이미지의 촬영 장소와 시간 정보 등 중 적어도 하나를 이용한 오토코멘트, 및 해당 객체에 대응하는 이미지 등을 데이터로 수집하여 저장하는 일련의 프로세스를 가리키는 것으로 정의할 수 있다. 예를 들어, 입력된 이미지에 영화 포스터가 포함된 경우 해당 포스터를 콜렉션의 대상 객체로 인식하고, 포스터에 대응하는 영화 정보(시놉시스, 감독, 주연 배우 정보 등)와 포스터가 포함된 이미지가 촬영된 시간과 장소 정보 등으로부터 해당 언어의 문법에 맞게 조합된 문장에 대한 정보 및 포스터의 이미지에 대한 정보 등을 데이터로 수집하여 저장하는 일련의 과정이 영화 포스터에 대한 콜렉션에 해당한다.

전체 시스템의 구성

도 1은 본 발명의 일 실시예에 따라 입력 이미지에 포함된 객체에 대한 콜렉션을 수행할 수 있도록 지원하기 위한 단말 장치(100)의 구성을 개략적으로 나타내는 도면이다.

도 1에 도시되어 있는 바와 같이, 본 발명의 일 실시예에 따른 단말 장치(100)는, 입력 이미지 획득부(110), 객체 인식부(120), 콜렉션 수행부(130), 퀘스트 관리부(140), 통신부(150) 및 제어부(160)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 입력 이미지 획득부(110), 객체 인식부(120), 콜렉션 수행부(130), 퀘스트 관리부(140), 통신부(150) 및 제어부(160)는 그 중 적어도 일부가 단말 장치(100)와 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 단말 장치(100)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 단말 장치(100)와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.

먼저, 본 발명의 일 실시예에 따르면, 입력 이미지 획득부(110)는 후술할 객체 인식부(120)에 의하여 구현되는 객체 인식의 바탕이 되는 입력 이미지를 획득하는 기능을 수행할 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 입력 이미지 획득부(110)는 CCD 카메라 등의 다양한 촬영 장치를 포함할 수 있으며, 단말 장치(100)를 휴대하고 있는 사용자 주변의 풍경 모습을 가령 프리뷰(preview) 상태로 실시간으로 입력 받는 기능을 수행할 수 있다.

다음으로, 본 발명의 일 실시예에 따르면, 객체 인식부(120)는 입력 이미지 획득부(110)에 의하여 소정 객체를 포함하는 입력 이미지가 획득되면, 소정의 데이터베이스에 기저장된 객체 이미지(이하, 참조 객체 이미지)와의 이미지 매칭을 통하여 유사도를 산출하고 산출된 유사도가 기설정된 임계 유사도 이상에 해당하는 참조 객체 이미지의 식별자를 통해 객체의 정체를 인식하기 위한 사물 인식 기술, 촬영된 객체에 포함된 문자, 숫자, 기호 중 적어도 하나를 인식하여 객체의 정체를 인식하기 위한 문자 인식 기술(OCR) 및 촬영된 객체에 포함된 바코드로부터 객체의 정체를 인식하기 위한 바코드 인식 기술 등을 사용하여 객체의 정체를 인식하는 기능을 수행할 수 있다.

여기서, 다양한 각도 및 거리를 두고 입력 이미지에 포함되는 특정 사물을 인식하기 위한 소정의 사물 인식 기술로서, K. MIKOLAJCZYK 외 7인이 공동으로 저술하고 2005년 11월 "International Journal of Computer Vision"에 기재된 "A Comparison of Affine Region Detectors"이라는 논문 등을 참조할 수 있을 것이다(상기 논문의 내용은 그 전체가 본 명세서에 병합되어 있는 것으로 고려되어야 한다). 상기 논문에는 다양한 각도로 촬영된 동일한 사물을 정확하게 인식하기 위하여 affine invariant 영역을 검출하는 방법에 대하여 기재되어 있다. 물론, 본 발명에 적용 가능한 사물 인식 기술이 상기 논문에 기재된 방법에만 한정되는 것은 아니며, 다양한 변형예를 적용하여 본 발명을 구현할 수 있을 것이다. 또한, 참조 객체 이미지와의 이미지 매칭을 통하여 유사도를 산출함으로써 객체의 정체를 인식하는 사물 인식 기술을 사용하기 위하여 객체 인식부(120)는 참조 객체 이미지 및 이에 대응되는 식별자 정보가 기록되는 소정의 데이터베이스(미도시됨)와 연동될 수 있다.

또한, 입력 이미지에 포함되는 특정 문자열을 인식하기 위한 소정의 문자 인식 기술(OCR)로서는, 한국특허출원 제2006-0078850호의 명세서 등을 참조할 수 있으며, 여기서 상기 명세서는 그 전체로서 본 명세서에 병합된 것으로 간주되어야 한다. 상기 명세서에는 입력된 이미지 내에 포함된 문자열을 구성하는 각각의 문자 후보를 발생시키고 발생된 각각의 문자 후보에 대해 문자 인식을 수행하는 방법에 대하여 기재되어 있다. 여기서, 본 발명에 적용 가능한 문자 인식 기술이 상기 명세서에 기재된 방법에만 한정되는 것은 아니며, 다양한 변형예를 상정할 수 있을 것이다.

또한, 입력 이미지에 포함되는 바코드를 인식하기 위한 기술로서는, 한국등록특허 제0791704호의 명세서 등을 참조할 수 있으며, 여기서 상기 명세서는 그 전체로서 본 명세서에 병합된 것으로 간주되어야 한다. 상기 명세서에는 입력 화상으로부터 바코드 구조의 특징에 기초하여 연결 영역의 인접 관계를 분석하여 바코드 영역을 추출한 후 흑 화소의 연결 영역의 폭으로부터 바코드의 모듈 폭으로 되는 단위 폭을 결정하고 단위 폭의 배율의 배열로 규정되어 있는 바코드 패턴과 입력의 폭 패턴을 대조함으로써 바코드를 인식하는 방법에 대하여 기재되어 있다. 여기서, 본 발명에 적용 가능한 문자 인식 기술이 상기 명세서에 기재된 방법에만 한정되는 것은 아니며, 다양한 변형예를 상정할 수 있을 것이다.

도 2는 본 발명의 일 실시예에 따라 소정 객체가 입력 이미지로서 입력되는 경우 해당 객체를 인식하는 예를 나타내는 도면이다.

도 2를 참조하면, 단말 장치(100)에 입력되는 이미지 내에 "잡스처럼 꿈꾸고 게이츠처럼 이뤄라"라는 책이 포함되어 있는 경우, 객체 인식부(120)는 상기 입력 이미지를 대상으로 사물 인식 기술, 문자 인식 기술 및/또는 바코드 인식 기술 등을 적용하여 해당 입력 이미지에 포함된 객체를 "잡스처럼 꿈꾸고 게이츠처럼 이뤄라"라는 책으로서 인식할 수 있을 것이다.

다음으로, 본 발명의 일 실시예에 따르면, 콜렉션 수행부(130)는 객체 인식부(120)에 의해 획득된 객체의 정체에 대한 인식 정보와 입력 이미지가 생성된 장소 및 입력 이미지가 생성된 시간에 대한 인식 정보 등 중 적어도 하나를 사용하여 해당 언어의 문법에 맞게 조합된 구문 또는 절(소위, 오토코멘트)과 인식된 객체에 대한 이미지에 대한 정보를 포함하는 콜렉션 페이지를 획득하고, 획득된 콜렉션 페이지에 대한 등록 요청이 수신되면 사용자의 콜렉션 페이지가 저장되도록 하는 기능을 수행할 수 있다.

구체적으로, 본 발명의 일 실시예에 따른 콜렉션 수행부(130)는 입력 이미지가 생성된 장소에 대한 인식 정보를 사용하여 콜렉션 페이지에 포함될 오토코멘트를 완성하기 위하여 GPS 기술, A-GPS 기술, WPS 기술, CELL 방식 LBS(Location Based Service; 위치 기반 서비스) 등의 위치 정보 획득 기술을 이용해 단말 장치(100)의 현재 위치를 산출할 수 있을 것이다. 이를 위해 콜렉션 수행부(130)는 소정의 GPS 모듈, 이동 통신 모듈 등을 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 콜렉션 수행부(130)는 콜렉션 페이지에 포함될 인식된 객체에 대한 이미지를 입력 이미지로부터 직접적으로 획득하거나, 혹은 입력 이미지에 포함된 객체와의 이미지 매칭을 통하여 획득된 기설정된 임계 유사도 이상의 참조 객체 이미지로부터 간접적으로 획득할 수도 있다. 이러한, 콜렉션 페이지에 포함되는 인식된 객체에 대한 이미지는, 바람직하게는, 썸네일 형태가 될 수 있다.

한편, 본 발명의 일 실시예에 따른 콜렉션 수행부(130)는 사용자의 콜렉션 페이지가 저장되도록 함에 있어서 콜렉션 페이지가 단말 장치(100)의 사용자별로 관리될 수 있게끔 저장되도록 할 수 있으며, 이 경우 콜렉션 수행부(130)는 각 사용자가 자신의 콜렉션 페이지를 관리할 수 있도록 지원하는 고유의 가상 공간을 사용자별로 할당하여 줄 수도 있다.

도 3은 본 발명의 일 실시예에 따라 오토코멘트에 대한 정보와 인식된 객체에 대한 이미지에 대한 정보를 포함하는 콜렉션 페이지의 예를 나타내는 도면이다.

도 3을 참조하면, 콜렉션 수행부(130)는 객체 인식부(120)에 의해 획득된 책의 정체에 대한 인식 정보(310)와 입력 이미지가 생성된 장소("XX 문고") 및 시간("2010년 10월 20일")에 대한 인식 정보를 사용하여 한글 문법에 맞게 조합된 오토코멘트(320) 및 인식된 책에 대한 이미지(330)를 포함하는 콜렉션 페이지(300)를 획득한 것을 확인할 수 있다. 도 3의 경우, 인식된 책에 대한 이미지(330)가 입력 이미지로부터 직접적으로 획득된 것(즉, 도 2의 입력 이미지)이 아닌, 참조 객체 이미지로부터 간접적으로 획득된 썸네일 형태의 이미지로서 표시되고 있는 경우를 예시적으로 나타내고 있다. 다만, 도 3의 콜렉션 페이지(300)는 오토코멘트(320) 및 인식된 책에 대한 이미지(330)를 직접 디스플레이하고 있는 것으로 도시되어 있지만, 본 발명의 일 실시예가 반드시 이에 한정되는 것은 아니며, 오토코멘트(320) 및 인식된 책에 대한 이미지(330)를 직접 디스플레이하는 대신 오토코멘트에 대한 정보나 인식된 책에 대한 이미지에 대응되어 있는 식별자 정보 등을 단순히 저장하는 경우도 상정해 볼 수 있을 것이다. 이후, 콜렉션 수행부(130)는 콜렉션 페이지(300)에 대한 등록 요청이 수신되면 사용자의 콜렉션 페이지(300)가 저장되도록 하고 있음을 확인할 수 있다(도 4 참조).

도 5는 본 발명의 일 실시예에 따라 각 사용자가 자신의 콜렉션 페이지를 관리할 수 있도록 하기 위하여 할당된 고유의 가상 공간을 예시적으로 나타내는 도면이다.

도 5를 참조하면, 콜렉션 수행부(130)는 사용자의 콜렉션 페이지가 저장되도록 함에 있어서 사용자가 자신의 콜렉션 페이지를 관리할 수 있게끔 "MY ROOM"이라는 사용자 고유의 가상 공간을 할당하여 주고 있음을 확인할 수 있다.

다음으로, 본 발명의 일 실시예에 따르면, 퀘스트 관리부(140)는 사용자에 의해 특정 객체가 기설정된 임계 횟수 이상 콜렉션되면, 해당 객체와 관련하여 사용자가 수행할 수 있는 미션 정보와 미션을 수행하였을 때에 제공되는 보상에 관한 정보를 사용자에게 제공하는 기능을 수행할 수 있다. 구체적으로, 미션 정보는 사용자가 해당 객체를 추가적으로 몇 회 이상 콜렉션해야 되는지에 관한 정보가 될 수 있고, 보상 정보는 사용자가 미션을 수행한 경우 그 보상으로서 제공되는 정보, 가령 해당 객체를 서비스 또는 판매하는 업체에서 발행하는 쿠폰 정보에 해당할 수 있다. 가령, 사용자가 "63 빌딩 수족관"이라는 장소(객체)를 3번 방문하여 콜렉션했다면, 퀘스트 관리부(140)는 "63 빌딩 수족관을 2회 더 콜렉션하면 63 빌딩 수족관 입장료의 50% 할인 쿠폰이 발급됩니다"라는 미션 정보와 보상 정보를 사용자에게 제공하는 경우를 상정해 볼 수 있을 것이다.

다음으로, 본 발명의 일 실시예에 따르면, 통신부(150)는 본 발명의 단말 장치(100)가 외부 장치와 통신할 수 있도록 하는 기능을 수행할 수 있다.

마지막으로, 본 발명의 일 실시예에 따르면, 제어부(160)는 입력 이미지 획득부(110), 객체 인식부(120), 콜렉션 수행부(130), 퀘스트 관리부(140) 및 통신부(150) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(160)는 외부로부터의 또는 단말 장치(100)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 입력 이미지 획득부(110), 객체 인식부(120), 콜렉션 수행부(130), 퀘스트 관리부(140) 및 통신부(150)에서 각각 고유 기능을 수행하도록 제어한다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 단말 장치
110: 입력 이미지 획득부
120: 객체 인식부
130: 콜렉션 수행부
140: 퀘스트 관리부
150: 통신부
160: 제어부
300: 콜렉션 페이지
310: 객체의 정체에 대한 인식 정보
320: 오토코멘트
330: 인식된 객체에 대한 이미지

Claims

단말 장치를 통해 입력되는 입력 이미지에 포함된 객체에 대한 콜렉션을 수행할 수 있도록 지원하기 위한 방법에 있어서,
(a) 상기 단말 장치의 화면 상에 소정 객체를 포함하는 이미지가 입력되면, 상기 입력되는 이미지와 기저장된 참조 객체 이미지와의 이미지 매칭을 통하여 유사도를 산출하고 상기 유사도가 기설정된 임계 유사도 이상에 해당하는 참조 객체 이미지의 식별자를 통해 상기 객체의 정체를 인식하기 위한 사물 인식 기술, 상기 객체에 포함된 문자, 숫자, 기호 중 적어도 하나를 인식하여 상기 객체의 정체를 인식하기 위한 문자 인식 기술 및 상기 객체에 포함된 바코드로부터 상기 객체의 정체를 인식하기 위한 바코드 인식 기술 중 적어도 하나를 사용하여 상기 객체의 정체를 인식하는 단계,
(b) 상기 객체의 정체에 대한 인식 정보, 상기 입력 이미지가 생성된 장소에 대한 인식 정보, 상기 입력 이미지가 생성된 시간에 대한 인식 정보 중 적어도 하나를 사용하여 해당 언어의 문법에 맞게 조합된 구문 또는 절을 포함하는 오토코멘트에 대한 정보 및 상기 인식된 객체에 대한 이미지에 대한 정보 중 적어도 일부를 포함하는 콜렉션 페이지를 획득하는 단계,
(c) 상기 콜렉션 페이지에 대한 등록 요청이 수신되면, 사용자별로 상기 콜렉션 페이지가 저장되도록 하는 단계, 및
(d) 상기 사용자에 의해 상기 객체가 기설정된 임계 횟수 이상 콜렉션되면, 상기 사용자가 상기 객체에 관련하여 지정된 행위를 수행하는 경우 상기 사용자에게 보상을 제공한다는 정보를 상기 사용자에게 제공하는 단계
를 포함하는 방법.
삭제
제1에 있어서,
상기 (d) 단계에서,
상기 객체에 관련하여 지정된 행위를 수행하는 것은 상기 사용자에게 추가적으로 요청되는 상기 객체에 관한 콜렉션 횟수를 달성하는 것을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 보상을 제공한다는 정보는 상기 객체를 서비스 또는 판매하는 업체에서 발행하는 쿠폰 정보를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (b) 단계에서,
상기 객체에 대한 이미지는 상기 입력 이미지로부터 직접적으로 획득되거나 상기 입력 이미지에 포함된 상기 객체와 상기 참조 객체 이미지와의 이미지 매칭을 통하여 획득된 상기 기설정된 임계 유사도 이상에 해당하는 참조 객체 이미지로부터 간접적으로 획득되는 것을 특징으로 하는 방법.
제5항에 있어서,
상기 객체에 대한 이미지는 썸네일 형태로 획득되는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 콜렉션 페이지는 상기 단말 장치의 사용자별로 관리될 수 있도록 저장되는 것을 특징으로 하는 방법.
제7항에 있어서,
상기 (c) 단계는,
상기 사용자별로 상기 콜렉션 페이지를 관리할 수 있도록 하기 위한 가상 공간을 할당하는 것을 특징으로 하는 방법.
단말 장치를 통해 입력되는 입력 이미지에 포함된 객체에 대한 콜렉션을 수행할 수 있도록 지원하기 위한 단말 장치에 있어서,
상기 단말 장치의 화면 상에 소정 객체를 포함하는 이미지가 입력되면, 상기 입력되는 이미지와 기저장된 참조 객체 이미지와의 이미지 매칭을 통하여 유사도를 산출하고 상기 유사도가 기설정된 임계 유사도 이상에 해당하는 참조 객체 이미지의 식별자를 통해 상기 객체의 정체를 인식하기 위한 사물 인식 기술, 상기 객체에 포함된 문자, 숫자, 기호 중 적어도 하나를 인식하여 상기 객체의 정체를 인식하기 위한 문자 인식 기술 및 상기 객체에 포함된 바코드로부터 상기 객체의 정체를 인식하기 위한 바코드 인식 기술 중 적어도 하나를 사용하여 상기 객체의 정체를 인식하는 객체 인식부,
상기 객체의 정체에 대한 인식 정보, 상기 입력 이미지가 생성된 장소에 대한 인식 정보, 상기 입력 이미지가 생성된 시간에 대한 인식 정보 중 적어도 하나를 사용하여 해당 언어의 문법에 맞게 조합된 구문 또는 절을 포함하는 오토코멘트에 대한 정보 및 상기 인식된 객체에 대한 이미지에 대한 정보 중 적어도 일부를 포함하는 콜렉션 페이지를 획득하고, 상기 획득된 콜렉션 페이지에 대한 등록 요청이 수신되면 사용자의 상기 콜렉션 페이지가 저장되도록 하는 콜렉션 수행부, 및
상기 사용자에 의해 상기 객체가 기설정된 임계 횟수 이상 콜렉션되면, 상기 사용자가 상기 객체에 관련하여 지정된 행위를 수행하는 경우 상기 사용자에게 보상을 제공한다는 정보를 상기 사용자에게 제공하는 퀘스트 관리부
를 포함하는 단말 장치.
제9항에 있어서,
상기 사용자에 의해 상기 객체가 기설정된 임계 횟수 이상 콜렉션되면, 상기 객체에 관련하여 수행할 수 있는 미션 정보 및 상기 미션을 수행하였을 때에 제공되는 보상 정보를 상기 사용자에게 제공하는 퀘스트 관리부
를 더 포함하는 단말 장치.
제9항에 있어서,
상기 퀘스트 관리부는,
상기 사용자에게 추가적으로 요청되는 상기 객체에 관한 콜렉션 횟수를 달성하는 경우 상기 사용자에게 보상을 제공한다는 정보를 상기 사용자에게 제공하는 것을 특징으로 하는 단말 장치.
제9항에 있어서,
상기 퀘스트 관리부는,
상기 객체를 서비스 또는 판매하는 업체에서 발행하는 쿠폰 정보를 포함하는 상기 보상을 제공한다는 정보를 제공하는 것을 특징으로 하는 단말 장치.
제9항에 있어서,
상기 콜렉션 수행부는,
상기 인식된 객체에 대한 이미지를, 상기 입력 이미지로부터 직접적으로 획득하거나 상기 입력 이미지에 포함된 상기 객체와 상기 참조 객체 이미지와의 이미지 매칭을 통하여 획득된 상기 기설정된 임계 유사도 이상에 해당하는 참조 객체 이미지로부터 간접적으로 획득하는 것을 특징으로 하는 단말 장치.
제13항에 있어서,
상기 콜렉션 수행부는,
상기 인식된 객체에 대한 이미지를 썸네일 형태로 획득하는 것을 특징으로 하는 단말 장치.
제9항에 있어서,
상기 콜렉션 수행부는,
상기 콜렉션 페이지가 상기 단말 장치의 사용자별로 관리될 수 있게끔 저장되도록 하는 것을 특징으로 하는 단말 장치.
제15항에 있어서,
상기 콜렉션 수행부는,
상기 사용자별로 상기 콜렉션 페이지를 관리할 수 있도록 하기 위한 가상 공간을 할당하는 것을 특징으로 하는 단말 장치.
제1항 내지 제8항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.