KR20210094396A

KR20210094396A - 이미지 기반 검색 어플리케이션 및 그를 위한 검색 서버

Info

Publication number: KR20210094396A
Application number: KR1020200008121A
Authority: KR
Inventors: 이현욱
Original assignee: 케이씨대학교산학협력단; 이현욱
Priority date: 2020-01-21
Filing date: 2020-01-21
Publication date: 2021-07-29

Abstract

본 발명은 이미지 기반 검색 어플리케이션 및 그를 위한 검색 서버에 관한 것으로, 특히 카메라가 탑재된 이동통신단말기에서 검색 대상을 촬영하면 그 촬영된 이미지로 질의어를 생성하여 정보를 검색하는 이미지 기반 검색 어플리케이션 및 그를 위한 검색 서버에 관한 것이다.

Description

이미지 기반 검색 어플리케이션 및 그를 위한 검색 서버{APPLICATION FOR SEARCHING SERVICE BASED ON IMAGE AND SEARCHING SERVER THEREFOR}

본 발명은 이미지 기반 검색 어플리케이션 및 그를 위한 검색 서버에 관한 것으로, 더욱 상세하게는 카메라가 탑재된 이동통신단말기에서 검색 대상을 촬영하면 그 촬영된 이미지로 질의어를 생성하여 정보를 검색하는 이미지 기반 검색 어플리케이션 및 그를 위한 검색 서버에 관한 것이다.

최근 IT 기술의 발달로 사물이나 장소 등에 대한 정보를 얻기 위해서 인터넷을 통해 다양한 검색 엔진이나 사회 관계망에 접속하여 질의 및 검색하는 방법이 이용되고 있다.

그러나 위와 같은 정보 접근 방법은 해당 사물이나 장소에 대한 기초 정보, 예컨대 사물의 물품명이나 지역명 등을 알고 있어야만 이를 근거로 검색이 가능한 문제가 있다.

더욱이 검색 대상에 대한 기초 정보를 알고 있는 경우라도 검색에는 많은 시간과 노력이 필요로 하며, 자신이 희망하는 정보를 맞춤형으로 획득하기 위해서는 전문성까지 요한다.

이러한 문제점을 해결하기 위해 일부 물품이나 e-콘텐츠에 바코드나 QR코드를 함께 제공하여 정보 접근을 용이하게 하지만, 이러한 경우 식별 코드를 일일이 부여할 수 없는 한계가 존재한다.

대한민국 공개특허 제10-2014-0132028호 대한민국 공개특허 제10-2018-0058461호

본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로, 카메라가 탑재된 이동통신단말기에서 검색 대상을 촬영하면 그 촬영된 이미지로 질의어를 생성하여 정보를 검색하는 이미지 기반 검색 어플리케이션 및 그를 위한 검색 서버를 제공하고자 한다.

이를 위해, 본 발명에 따른 이미지 기반 검색 어플리케이션은 이동통신단말기에서 구동되는 이미지 기반 검색 어플리케이션에 있어서, 상기 이미지 기반 검색 어플리케이션은 상기 이동통신단말기의 메모리에 저장되고, 프로세서에 의해 실행되며, 상기 이동통신단말기에 구비된 카메라로 검색 대상을 촬영하는 촬영단계와; 상기 촬영을 통해 획득된 영상 이미지를 기반으로 검색 서버에 검색을 요청하는 검색요청단계와; 상기 검색 서버로부터 상기 영상 이미지를 기반으로 검색한 결과를 수신하는 검색결과 수신단계; 및 상기 수신된 검색결과를 카테고리별로 분류하여 상기 이동통신단말기의 디스플레이에 표출하는 검색결과 제공단계;를 포함하여 구현되는 것을 특징으로 한다.

이때, 상기 검색요청단계는 상기 촬영된 영상 이미지를 분석하여 이동통신단말기에서 질의어(query)를 생성한 후 검색 서버로 전송하거나 또는 상기 촬영된 영상 이미지를 수신한 검색 서버에서 질의어를 생성하는 단계를 포함하는 것이 바람직하다.

또한, 상기 검색요청단계는 상기 이동통신단말기의 사용자 인터페이스를 통해 제공되는 조건 설정부에서 검색조건을 설정하는 검색조건 설정단계를 포함하는 것이 바람직하다.

또한, 상기 검색조건 설정단계는 상기 검색 대상 전체를 촬영한 전체 영상 이미지로 검색을 요청하는 제1 레벨 설정단계; 및 상기 제1 레벨 설정단계에 의해 사용자가 원하는 검색 결과를 획득하지 못하는 경우, 상기 전체 영상 이미지의 일부분에 해당하는 부분 영상 이미지로 추가 검색을 요청하는 제2 레벨 설정단계;를 포함하는 것이 바람직하다.

또한, 상기 제2 레벨 설정단계는 상기 전체 영상 이미지의 일부분으로 포함되는 있는 부품, 문자 및 기호 중 적어도 어느 하나 이상으로 검색을 요청하는 단계인 것이 바람직하다.

또한, 상기 제2 레벨 설정단계에 의해 사용자가 원하는 검색 결과를 획득하지 못하는 경우, 상기 검색 대상을 확대시 나타나는 텍스쳐(texture) 이미지로 검색을 요청하는 제3 레벨 설정단계를 것이 바람직하다.

또한, 상기 검색조건 설정단계는 상기 검색 대상에 바코드 및 QR 코드를 포함하는 식별 코드가 포함되어 있는 경우 상기 식별 코드를 분석하여 검색을 요청하는 식별코드 설정단계를 포함하는 것이 바람직하다.

또한, 상기 검색조건 설정단계는 상기 이동통신단말기에 탑재된 GPS 모듈을 통해 상기 촬영이 이루어진 지역의 위치정보를 획득하고, 상기 위치정보가 포함된 검색을 요청하는 위치정보 설정단계를 포함하는 것이 바람직하다.

또한, 상기 검색조건 설정단계는 상기 검색 대상에 대한 설명을 제공하는 제1 카테고리; 상기 검색 대상이 언급되고 있는 소셜 네트워크 또는 커뮤니티를 제공하는 제2 카테고리; 상기 검색 대상을 배포하는 홈페이지를 제공하는 제3 카테고리; 및 상기 검색 대상의 거래가 이루어지는 사이트를 제공하는 제4 카테고리;를 포함하는 다수의 카테고리 중 적어도 어느 하나 이상의 카테고리를 검색 조건에 포함시키는 카테고리 설정단계를 포함하는 것이 바람직하다.

또한, 상기 검색결과 제공단계는 상기 카테고리 설정단계에서 선택된 카테고리에 해당되는 검색결과를 상기 이동통신단말기로 전송하되, 다수개의 카테고리에 순서가 정해진 경우 상기 정해진 순서에 따라 상기 이동통신단말기의 디스플레이에 표출하는 것이 바람직하다.

한편, 본 발명에 따른 이미지 기반 검색 서버는 위와 같은 이미지 기반 검색 어플리케이션에서 요청된 이미지 검색을 수행하는 것으로, 상기 이동통신단말기와 데이터 통신을 하는 네트워크 인터페이스와; 상기 이동통신단말기에서 촬영한 이미지를 입력받아 저장하는 검색정보 DB; 및 상기 질의어(query)를 이용하여 상기 검색 대상에 대한 검색을 수행하는 검색 엔진;을 포함하는 것을 특징으로 한다.

이때, 상기 이미지 기반 검색 어플리케이션을 저장하여 상기 이동통신단말기에서 다운로드 요청시 제공하는 어플리케이션 DB를 더 포함하는 것이 바람직하다.

이상과 같은 본 발명은 카메라가 탑재된 이동통신단말기에서 검색 대상을 촬영하면 그 촬영된 이미지로 질의어를 생성하여 자동으로 검색 대상과 관련된 연관 정보에 대한 검색이 이루어진다.

따라서, 정보 검색시 검색 대상에 대한 별도의 기초 정보가 없더라도 카메라로 검색 대상을 촬영하여 이미지를 제시하기만 하면, 촬영된 이미지로부터 추출되는 시각 정보에 기초하여 자동으로 검색을 가능하게 한다.

도 1은 본 발명이 적용되는 서비스 시스템 계통도를 나타낸 일 실시예이다.
도 2는 본 발명에 따른 이미지 기반 검색 어플리케이션이 탑재된 이동통신단말기를 나타낸 구성도이다.
도 3은 본 발명에 따른 이미지 기반 검색 어플리케이션의 실행 순서를 나타낸 순서도이다.
도 4는 상기 도 3에서 검색 조건 설정 상태를 나타낸 흐름도이다.
도 5는 상기 도 3에서 카테고리별 검색 조건을 나타낸 분류도이다.
도 6은 본 발명에 따른 이미지 기반 검색 서버를 나타낸 구성도이다.
도 7 내지 도 14는 본 발명에 따른 이미지 기반 검색 결과를 나타낸 실시예들이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 이미지 기반 검색 어플리케이션 및 그를 위한 검색 서버에 대해 상세히 설명한다.

먼저, 도 1과 같이 본 발명이 적용 가능한 서비스 시스템은 클라이언트측의 이동통신단말기(10) 및 서버측의 이미지 기반 검색 서버(20)를 포함하며, 이들은 유무선 통신 네트워크를 통해 쌍방향 데이터 통신을 한다.

이때, 이동통신단말기(10)는 검색 서버(20)에 촬영 이미지 즉, 시각에 기반한 검색을 요청하여 검색 결과를 제공받는 것으로, 스마트폰, 테블릿 PC, PDA, 스마트 패드 및 넷북 등 카메라를 탑재한 다양한 통신단말을 포함한다.

이미지 기반 검색 서버(20)(이하, '검색 서버'라 함)는 위와 같은 이동통신단말기(10)에서 촬영한 이미지를 기반으로 하여 생성된 질의어(query)를 이용하여 관련 정보를 검색 후 그 결과를 이동통신단말기(10)에 제공한다.

이러한 점에서 본 발명의 검색 서버(20)는 시각에 기반한 검색 서버(20)에 해당하며, 검색 서버(20)는 그 자체에 내장된 검색 엔진을 이용하거나, 외부에 존재하는 제3의 서버(외부 검색 엔진)(30)을 이용하여 정보를 검색한다.

이상과 같이 본 발명은 카메라가 탑재된 이동통신단말기(10)에서 검색 대상을 촬영하면 그 촬영된 이미지로 질의어를 생성하여 자동으로 검색 대상과 관련된 정보 및/또는 그와 연관된 정보에 대한 검색이 이루어진다.

따라서, 정보 검색시 검색 대상에 대한 별도의 기초 정보가 없더라도 카메라로 검색 대상을 촬영하여 이미지를 제공하기만 하면, 촬영 이미지로부터 추출되는 시각 정보에 기초하여 자동으로 검색을 가능하게 한다.

이를 위해, 본 발명에 따른 이미지 기반 검색 어플리케이션은 위에서 설명한 바와 같은 이동통신단말기(10)에서 구현되며, 이동통신단말기(10)의 메모리(15)에 저장되고 프로세서(16)에 의해 실행된다.

도 2와 같이, 이동통신단말기(10)는 그 단말기 고유 기능을 위해 카메라(11), 디스플레이(12), GPS 모듈(13), 통신모듈(14), 메모리(15) 및 프로세서인 중앙처리장치(16)를 포함하며, 이러한 하드웨어 구성들은 아래와 같은 본 발명의 기술적 구성들과 연동된다.

본 발명의 기술적 구성들은 이동통신단말기(10)에 저장 혹은 다운로드된 어플리케이션의 실행에 의해 UI 처리부(17), 검색 요청부(18) 및 조건 설정부(19)가 해당 이동통신단말기(10)에 구현된다.

이때, UI 처리부(17)는 이동통신단말기(10)에서 어플리케이션 실행시 사용자에게 각종 인터페이스(UI: User Interface)를 제공한다. 이러한 인터페이스에는 단말기에 표출되는 검색 요청부(18) 및 조건 설정부(19)를 포함하며, 일 예로 GUI 타입의 선택 버튼 및 텍스트 입력란 등으로 구현된다.

따라서, 검색 요청부(18)는 UI 처리부(17)에 의해 이동통신단말기(10)의 화면(디스플레이)에 제공되며 아래에서 설명하는 바와 같이 검색 서버(20)에 검색을 요청하는데 사용된다. 조건 설정부(19)는 검색 범위 등 검색 조건을 설정하는데 사용된다.

도 3에는 본 발명에 따른 이미지 기반 검색 어플리케이션에 의해 이동통신단말기(10)에서 구현되는 검색 서비스 순서가 도시되어 있다.

도시된 바와 같이, 본 발명에 따른 이미지 기반 검색 어플리케이션은 이동통신단말기(10)에서 시각에 기반한 정보 검색을 할 수 있도록 촬영단계(S10), 검색요청단계(S20), 검색결과 수신단계(S30) 및 검색결과 제공단계(S40)를 구현하는 것을 특징으로 한다.

이때, 촬영단계(S10)는 이동통신단말기(10)에 탑재된 카메라(11)를 이용하여 검색 대상을 촬영하는 단계이며, 검색 대상으로는 사람(인물), 물건(물품), 구조물(건축물) 및 장소(전경) 등을 비롯하여 다양한 것이 있다.

이와 같이 촬영을 통해 얻어진 영상 이미지는 정보 검색에 직접 이용된다. 따라서, 본 발명은 물품명이나 지역명 등 종래 정보 검색시 사용되던 기초 정보를 모르는 경우에도 영상 이미지를 기반으로 정보 검색을 가능하게 한다.

다음, 검색요청단계(S20)에서는 이동통신단말기(10)에서 촬영을 통해 획득된 영상 이미지를 기반으로 검색 서버(20)에 검색을 요청하는데, 검색 서버(20)는 검색 요청이 있으면 네트워크에 접속 후 질의어를 이용하여 검색(S21)을 한다.

여기서, 질의어(query)는 영상 이미지 자체가 되어 이미지간 대비를 하거나, 영상정보처리 및 머신 러닝(예: AI 기반 딥러닝 등)에 의해 영상 이미지로부터 유추 또는 추출되는 문자열(character string)이 되거나 혹은 이들 이미지와 문자열의 조합일 수 있다.

또한, 질의어는 이동통신단말기(10) 자체에서 생성하거나 혹은 검색 요청을 받은 검색 서버(20)에서 생성할 수 있다. 촬영된 영상 이미지를 분석하여 이동통신단말기(10) 자체에서 질의어를 생성하는 경우에는 그 생성된 질의어를 검색 서버(20)로 전송하여 검색에 이용되게 한다.

다만, 스마트폰과 같은 이동통신단말기(10)의 데이터 처리량 및 속도를 고려하면 질의어는 검색 서버(20)에서 생성하는 것이 바람직하다. 나아가, 검색시 조건을 설정하는 것이 바람직한데 이에 대해서는 아래에서 다시 설명한다.

다음, 검색결과 수신단계(S30)에서는 검색 서버(20)로부터 영상 이미지를 기반으로 검색한 결과를 수신한다. 상술한 바와 같이 검색 서버(20)는 자체의 검색 엔진만으로 검색을 수행하거나 필요시 외부에 구축된 제3의 서버(30)를 이용하여 검색한다.

검색결과는 유무선 통신네트워크를 통해 검색 서버(20)에 접속 중인 이동통신단말기(10)의 통신모듈(14)을 통해 수신된다. 검색 결과는 카테고리별로 분류되는 다수개를 제공하는 것이 바람직하다.

검색결과 제공단계(S40)에서는 수신된 검색결과를 카테고리별로 분류(도 5 참조)하여 이동통신단말기(10)의 디스플레이(12)에 표출하며, 필요시 하이퍼링크가 포함된 검색 결과를 제공한다.

카테고리는 검색 대상에 대한 설명을 위한 '정보'와, 흔히 SNS라 하는 '소셜 네트워크'와, 검색 대상을 관리하는 '홈페이지' 및 매매가 이루어지는 '거래 사이트' 등으로 다양하게 구분될 수 있다.

또한, 위와 같이 분류된 카테고리를 상위 카테고리로 하여 각각의 상위 카테고리별로 하위 카테고리를 또 다시 분류할 수 있으며, 사용자는 검색을 희망하는 카테고리의 선택이 가능하다.

또한, 검색 결과를 제공받은 사용자는 해당 검색 결과를 자신의 희망하는 요건을 갖추었는지 판단하여 검색 종료를 결정(S41)를 할 수 있으며, 검색 추가를 희망시 조건 설정 등을 추가하여 계속된 검색을 할 수 있다.

한편, 위에서 언급한 바와 같이 검색 요청 단계에서 검색 서버(20)로 검색을 요청시 본 발명은 검색조건 설정단계(S20a)를 더 진행할 수 있다. 설정된 검색 조건은 이미지 기반 검색시 검색 정확도 및 검색 확률을 높인다.

이를 위해 검색조건 설정단계(S20a)에서는 이동통신단말기(10)의 화면에 사용자 인터페이스(UI)인 조건 설정부(19)를 제공하고, 제공된 조건 설정부(19)를 통해 사용자로부터 검색조건을 입력받는다.

이러한 조건 설정부(19)는 UI 처리부(17)의 제어하에 이동통신단말기(10)의 디스플레이(12)에 표시되는 입력창 또는 선택버튼이며, 아래에서 설명하는 각각의 조건을 설정할 수 있도록 입력창 및/또는 선택버튼을 생성하여 제공한다.

도 4에는 본 발명에서 이미지 기반 검색시 사용되는 설정 조건들이 그 단계별로 도시되어 있다.

도시된 바와 같이, 본 발명은 제1 레벨 설정단계(CD-1), 제2 레벨 설정단계(CD-2), 제3 레벨 설정단계(CD-3), 식별코드 설정단계(CD-4), 위치정보 설정단계(CD-5) 및 카테고리 설정단계(CD-6)를 포함하며, 각각은 이동통신단말기(10)에 표시된 선택 버튼을 눌러 활성화되고 조건을 입력받는다.

여기서, 제1 내지 제3 레벨 설정단계(CD-3)는 영상 이미지의 범위 조절에 따른 조건 설정단계이고, 식별코드 설정단계(CD-4)는 식별코드 존재시 이를 이용하는 조건 설정단계이다.

또한, 위치정보 설정단계(CD-5)는 GPS 위치정보를 이용하는 조건 설정단계이고, 카테고리 설정단계(CD-6)는 검색 결과에 따라 구분되는 카테고리를 선택하는 조건 설정단계이다.

좀더 구체적으로, 상기 제1 레벨 설정단계(CD-1)는 검색 대상 전체를 촬영한 전체 영상 이미지로 검색을 요청하는 단계로, 별도의 조건 설정이 없는 경우에는 제1 레벨 설정단계(CD-1)가 기본이 되어 영상 이미지 전체로 검색을 한다.

제2 레벨 설정단계(CD-2)는 제1 레벨 설정단계(CD-1)에 의해 사용자가 원하는 검색 결과를 획득하지 못한 경우나 검색 실패시 사용하는 것으로, 전체 영상 이미지의 일부분에 해당하는 부분 영상 이미지로 추가 검색을 요청한다.

전체 영상 이미지로 검색하는 경우에는 하나의 이미지 내에 특징부나 오브젝트가 여러개인 경우가 많아서 검색시 특징부나 오브젝트를 추출하지 못하고 전체로서 판단하기 때문에 검색 실패나 노이즈가 많을 수 있다.

이에, 사용자는 일 예로 화면에 제공된 GUI 버튼을 누르는 방식으로 제2 레벨 설정단계(CD-2)에 진입 후 호출된 전체 이미지 중 일정 영역을 지정하거나 혹은 일정 부분만을 재촬영하여 검색을 요청한다.

전체 이미지 중 일정 영역은 추가 검색 영역에 해당하는 것으로, 바람직한 실시예로써 전체 영상 이미지 중 일부분은 검색 대상에 포함된 부품, 문자 및 기호 등이 있으며, 이를 이용해 재검색을 요청한다.

예컨대, 검색 대상이 자동차(전체)인 경우 제1 레벨 설정단계(CD-1)만으로 만족할 만한 검색이 되지 않는다면, 제2 레벨 설정단계(CD-2)에서는 헤드라이트(부품)로 더욱 한정하여 검색이 이루어지게 한다.

유사하게 검색 대상이 여행지에서 발견한 건물(전체)인 경우 제1 레벨 설정단계(CD-1)만으로 만족할 만한 검색이 되지 않는다면, 제2 레벨 설정단계(CD-2)에서는 건물에 부착된 간판(문자)으로 더욱 한정하여 검색이 이루어지게 한다.

또한, 상기 기호의 경우는 자동차에 부착된 엠블럼이나 건물 간판이나 물품에 부착된 상표 등을 포함할 수 있으며, 이러한 제2 레벨 설정단계(CD-2)를 통해 제1 레벨 설정단계(CD-1)의 검색을 더욱 정밀하게 할 수 있다.

끝으로, 제3 레벨 설정단계(CD-3)는 제2 레벨 설정단계(CD-2)에 의해 사용자가 원하는 검색 결과를 획득하지 못하는 경우, 검색 대상을 확대시 나타나는 텍스쳐(texture) 이미지로 검색을 요청하는 단계이다.

제3 레벨 설정단계(CD-3)에서도 화면에 제공된 GUI 버튼을 누르는 방식으로 제3 레벨 설정단계(CD-3)에 진입하며, 사용자는 호출된 전체 이미지에 대한 해상도를 재설정하거나 줌인(zoom-in) 상태에서 재촬영하여 검색을 요청한다.

이와 같이 제3 레벨 설정단계(CD-3)에서 텍스쳐를 검색 요건으로 추가하는 경우는 질감을 갖는 물품(예: 섬유나 목재 등)에 주로 유효하며, 특히 물품의 질감에 특징이 있어서 해당 물품을 검색 대상으로 하는 경우 검색 효율을 높인다.

위에서 설명을 생략한 식별코드 설정단계(CD-4)에서는 검색 대상에 바코드 및 QR 코드를 포함하는 식별 코드가 포함되어 있는 경우 식별 코드를 분석하여 검색을 요청한다.

즉, 식별코드 설정단계(CD-4)에서는 촬영된 검색 대상에 식별 코드가 포함되어 있는지 확인 후, 만약 식별 코드가 있는 경우에는 이를 이용하여 검색한다. 물론, 식별 코드를 이용한 검색시에도 상술한 제1 내지 제3 레벨 설정단계(CD-3)의 조건 설정도 함께 이용될 수 있으며 이는 이하에서도 마찬가지이다.

위치정보 설정단계(CD-5)는 이동통신단말기(10)에 탑재된 GPS 모듈(13)을 통해 촬영이 이루어진 지역의 위치정보를 획득하고, 그 지역의 위치정보가 포함된 질의어를 생성하여 검색을 요청한다.

위치정보는 이동통신단말기(10)의 GPS 모듈(13)로부터 직접 제공받거나 혹은 촬영된 영상 이미지 파일에 메타 데이터로 포함되어 있는 것을 추출하여 위치 정보로 이용할 수 있으며, 위치 정보를 통해 검색을 더욱 쉽게 한다.

다만, 위치정보를 검색 조건으로 추가하는 경우에는 검색 대상이 특정물이나 유명한 경치와 같이 특정 지역에만 있는 경우에 주로 유효하므로 이러한 경우에만 위치정보 설정단계(CD-5)를 이용하는 것이 바람직할 것이다.

다음, 카테고리 설정단계(CD-6)는 정보 검색시 설정된 카테고리에 해당하는 항목으로 한정(제한)하여 검색을 실시함으로써 검색 시간을 단축시키는 것으로, 일 예로 4종류의 카테고리로 분류된다.

도 5와 같이, 4종류의 카테고리는 제1 카테고리 내지 제4 카테고리의 4종류 카테고리로 분류되며, 각각의 제1 카테고리 내지 제4 카테고리는 그 하위의 카테고리로 다시 분류 가능하다.

이때, 제1 카테고리는 검색 대상에 대한 설명을 제공하는 것으로 공공기관, 교육 및 문학과 같이 주로 정보 제공과 관련된 것이고, 제2 카테고리는 해당 검색 대상이 언급(게시, 리플)되고 있는 소셜 네트워크 또는 커뮤니티와 관련된다.

제3 카테고리는 검색 대상을 배포하는 홈페이지와 관련된 것으로 기업체나 행사주최의 인터넷상 사이트가 이에 해당한다. 제4 카테고리는 검색 대상의 거래가 이루어지는 사이트를 제공하는 것으로 오픈마켓이나 중고 사이트를 포함한다.

따라서, 사용자는 다수의 카테고리 중 적어도 어느 하나 이상의 카테고리를 검색 조건에 포함시켜 검색이 이루어지록 함으로써 관심 분야 이외의 검색이 이루어지는 것을 방지하고 검색 속도를 월등히 높일 수 있게 한다.

나아가, 위와 같은 조건 설정이 이루어진 경우라면 그에 동기하여 검색결과 제공단계(S40)에서도 한정이 이루어진다. 즉, 카테고리 설정단계(CD-6)에서 선택된 카테고리에 해당되는 검색결과만을 이동통신단말기(10)로 전송하여 제공한다.

이때, 검색 조건으로써 다수개의 카테고리를 포함하되, 이들 카테고리에 순서를 붙인 경우에는 그 정해진 순서에 따라 이동통신단말기(10)의 디스플레이(12)에 표출함으로써 사용자 친화적인 환경을 제공한다.

한편, 본 발명에 따른 이미지 기반 검색 서버(20)는 이미지 기반 검색 어플리케이션에서 요청된 이미지 검색을 수행하는 것으로, 검색 결과는 클라이언트측인 이동통신단말기(10)로 전송한다.

이를 위해, 검색 서버(20)는 네트워크 인터페이스(21)와, 검색정보 DB(22), 질의어 생성부(23) 및 검색 엔진(24)을 포함한다. 또한, 서버를 구성하는 기본 구성으로 서버 메모리(25) 및 중앙처리장치(26)를 포함한다.

여기서, 상기 네트워크 인터페이스(21)는 이동통신단말기(10)와 데이터통신을 하는 것으로 이동통신단말기(10)로부터 촬영된 영상 이미지 및 검색 요청 명령어를 입력받는다. 또한 경우에 따라서는 이동통신단말기(10)에서 생성한 질의어 역시 입력받는다.

검색정보 DB(22)는 이동통신단말기(10)에서 촬영한 이미지를 입력받아 저장하는 것으로, 저장된 영상 이미지는 질의어 생성에 사용된다. 서버측에서 질의어를 생성하는 경우에도 질의어는 클라이언트 ID와 함께 DB(DataBase)에 저장된다.

질의어 생성부(23)는 검색 서버(20)에서 촬영된 영상 이미지를 이용하여 질의어를 생성시 이용되는 것으로, 이와 같이 검색 서버(20)에서 질의어를 생성하는 경우 이동통신단말기(10)에서는 촬영 이미지 파일만 제공한다.

검색 엔진(24)은 위와 같이 생성된 질의어를 이용하여 검색 대상과 관련된 정보를 검색하는 것으로, 검색 엔진(24)은 검색 서버(20) 내에 탑재된 것이거나 그 중 일부는 외부 서버(30)에 구축되어 함께 연동되는 것일 수 있다.

다만, 검색 서버(20)는 어플리케이션 DB(27)를 더 포함하는 것이 바람직한데, 어플리케이션 DB(27)에는 이미지 기반 검색 어플리케이션을 저장하여 이동통신단말기(10)에서 다운로드 요청시 제공할 수 있게 한다. 따라서, 본 발명의 검색 서버(20)는 어플리케이션 다운로드 서버로서도 기능할 수 있게 된다.

이하, 위에서 설명한 바와 같은 본 발명에 따른 이미지 기반 검색 어플리케이션 및 그를 위한 검색 서버의 다양한 실시예에 대해 설명한다.

도 7은 사용자가 소지한 이동통신단말기(10)로 광고 부착판을 촬영하여 검색 서버(20)에 검색을 요청한 상태를 나타낸 것으로, 검색 결과 부착된 공연 광고와 관련된 예매 페이지 및 커뮤니티 공간이 검색되어 제공된다.

이때, 광고 부착판에는 여러개의 광고가 부착되어 있으므로, 검색 조건을 설정하여 특정의 광고를 지정함으로써 더욱 정확한 정보를 제공받게 된다. 예컨대, 제2 레벨 설정단계(CD-2)를 통해 전체 영상 이미지 중 특정의 광고가 있는 부분을 재선택하여 검색을 요청하고 그에 대한 검색 결과만을 제공받는다.

도 8은 이동통신단말기(10)로 US 1달러 지폐의 뒷면을 촬영한 것으로, 촬영 후 검색 서버(20)에 검색 요청을 하면 현재 1달러의 가치를 알려주는 사이트를 검색한다. 물론, 그 외에 1달러 지폐에 그려진 그림의 의미나 미국에 있는 조폐공사도 연결될 수 있다.

도 9는 맛집의 정면을 촬영한 것으로, 촬영 후 검색 요청을 하면 검색 서버(20)는 해당 맛집의 메뉴판 및 커뮤니티 공간을 제공한다. 이때, 건물 전체의 이미지 보다는 그 일부에 포함된 간판 문자를 검색하도록 조건 설정이 가능하다.

도 10은 여행 중 프랑스 파리에 있는 에펠탑을 촬영하여 검색을 요청한 상태를 나타낸 것이다. 에펠탑과 같은 명소는 매우 유명하여 그 명칭을 알고 있지만 촬영을 통한 이미지 검색을 통해 에펠탑의 역사, 높이 및 잘 찍는 법 등 다양한 카테고리가 검색된다. 이때, 촬영시의 GPS 위치정보를 설정 조건으로 추가하면 그 검색 정확도를 더욱 높일 수 있다.

도 11은 운동기구를 촬영한 후 검색을 요청한 것으로, 검색 결과 효과적인 운동 방법을 알려주는 사이트를 소개한다. 물론, 도시는 생략되어 있지만 해당 운동기구의 명칭, 판매 사이트 및 촬영장소에서 가장 가까운 헬스클럽(gym)을 검색하여 소개할 수도 있다.

그 외 도 12와 같이 식물을 촬영한 후 검색을 요청하면 해당 식물에 대한 상세 정보를 안내하는 사이트를 검색하여 제공하고, 도 13과 같이 사람을 촬영하면 입고 있는 옷의 판매처나 중고거래 사이트를 검색하여 제공한다. 또한, 도 14와 같은 식품을 촬영한 경우에는 그에 대한 레시피를 검색하여 제공한다.

따라서, 본 발명은 검색 대상에 대한 물품명이나 지역명과 같은 기초 정보를 알지 못하는 경우에도, 사용자가 소지한 이동통신단말기(10)로 촬영을 하고 검색을 요청하기만 하면 다양한 카테고리의 검색 정보를 제공받을 수 있게 된다.

이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.

따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

10: 이동통신단말기 11: 카메라
12: 디스플레이 13: GPS 모듈
14: 통신모듈 15: 메모리
16: 단말기 중앙처리장치 17: UI 처리부
18: 검색 요청부 19: 조건 설정부
20: 검색 서버 21: 네트워크 인터페이스
22: 검색정보 DB 23: 질의어 생성부
24: 검색 엔진 25: 서버 메모리
26: 서버 중앙처리장치 27: 어플리케이션 DB

Claims

이동통신단말기(10)에서 구동되는 이미지 기반 검색 어플리케이션에 있어서,
상기 이미지 기반 검색 어플리케이션은 상기 이동통신단말기(10)의 메모리(15)에 저장되고, 프로세서(16)에 의해 실행되며,
상기 이동통신단말기(10)에 구비된 카메라(11)로 검색 대상을 촬영하는 촬영단계(S10)와;
상기 촬영을 통해 획득된 영상 이미지를 기반으로 검색 서버(20)에 검색을 요청하는 검색요청단계(S20)와;
상기 검색 서버(20)로부터 상기 영상 이미지를 기반으로 검색한 결과를 수신하는 검색결과 수신단계(S30); 및
상기 수신된 검색결과를 카테고리별로 분류하여 상기 이동통신단말기(10)의 디스플레이(12)에 표출하는 검색결과 제공단계(S40);를 포함하여 구현되는 것을 특징으로 하는 이미지 기반 검색 어플리케이션.
제1항에 있어서,
상기 검색요청단계(S20)는,
상기 촬영된 영상 이미지를 분석하여 이동통신단말기(10)에서 질의어(query)를 생성한 후 검색 서버(20)로 전송하거나 또는 상기 촬영된 영상 이미지를 수신한 검색 서버(20)에서 질의어를 생성하는 단계를 포함하는 것을 특징으로 하는 이미지 기반 검색 어플리케이션.
제1항에 있어서,
상기 검색요청단계(S20)는,
상기 이동통신단말기(10)의 사용자 인터페이스를 통해 제공되는 조건 설정부(19)에서 검색조건을 설정하는 검색조건 설정단계(S20a)를 포함하는 것을 특징으로 하는 이미지 기반 검색 어플리케이션.
제3항에 있어서,
상기 검색조건 설정단계(S20a)는,
상기 검색 대상 전체를 촬영한 전체 영상 이미지로 검색을 요청하는 제1 레벨 설정단계(CD-1); 및
상기 제1 레벨 설정단계(CD-1)에 의해 사용자가 원하는 검색 결과를 획득하지 못하는 경우, 상기 전체 영상 이미지의 일부분에 해당하는 부분 영상 이미지로 추가 검색을 요청하는 제2 레벨 설정단계(CD-2);를 포함하는 것을 특징으로 하는 이미지 기반 검색 어플리케이션.
제4항에 있어서,
상기 제2 레벨 설정단계(CD-2)는,
상기 전체 영상 이미지의 일부분으로 포함되는 있는 부품, 문자 및 기호 중 적어도 어느 하나 이상으로 검색을 요청하는 단계인 것을 특징으로 하는 이미지 기반 검색 어플리케이션.
제4항에 있어서,
상기 제2 레벨 설정단계(CD-2)에 의해 사용자가 원하는 검색 결과를 획득하지 못하는 경우,
상기 검색 대상을 확대시 나타나는 텍스쳐(texture) 이미지로 검색을 요청하는 제3 레벨 설정단계(CD-3)를 더 포함하는 것을 특징으로 하는 이미지 기반 검색 어플리케이션.
제3항에 있어서,
상기 검색조건 설정단계(S20a)는,
상기 검색 대상에 바코드 및 QR 코드를 포함하는 식별 코드가 포함되어 있는 경우 상기 식별 코드를 분석하여 검색을 요청하는 식별코드 설정단계(CD-4)를 포함하는 것을 특징으로 하는 이미지 기반 검색 어플리케이션.
제3항에 있어서,
상기 검색조건 설정단계(S20a)는,
상기 이동통신단말기(10)에 탑재된 GPS 모듈(13)을 통해 상기 촬영이 이루어진 지역의 위치정보를 획득하고, 상기 위치정보가 포함된 검색을 요청하는 위치정보 설정단계(CD-5)를 포함하는 것을 특징으로 하는 이미지 기반 검색 어플리케이션.
제3항에 있어서,
상기 검색조건 설정단계(S20a)는,
상기 검색 대상에 대한 설명을 제공하는 제1 카테고리;
상기 검색 대상이 언급되고 있는 소셜 네트워크 또는 커뮤니티를 제공하는 제2 카테고리;
상기 검색 대상을 배포하는 홈페이지를 제공하는 제3 카테고리; 및
상기 검색 대상의 거래가 이루어지는 사이트를 제공하는 제4 카테고리;를 포함하는 다수의 카테고리 중 적어도 어느 하나 이상의 카테고리를 검색 조건에 포함시키는 카테고리 설정단계(CD-6)를 포함하는 것을 특징으로 하는 이미지 기반 검색 어플리케이션.
제9항에 있어서,
상기 검색결과 제공단계(S40)는,
상기 카테고리 설정단계(CD-6)에서 선택된 카테고리에 해당되는 검색결과를 상기 이동통신단말기(10)로 전송하되,
다수개의 카테고리에 순서가 정해진 경우 상기 정해진 순서에 따라 상기 이동통신단말기(10)의 디스플레이(12)에 표출하는 것을 특징으로 하는 이미지 기반 검색 어플리케이션.
상기 제1항 내지 제10항 중 어느 하나의 항과 같은 이미지 기반 검색 어플리케이션에서 요청된 이미지 검색을 수행하는 이미기 기반 검색 서버에 있어서,
상기 이동통신단말기(10)와 데이터 통신을 하는 네트워크 인터페이스(21)와;
상기 이동통신단말기(10)에서 촬영한 이미지를 입력받아 저장하는 검색정보 DB(22); 및
상기 질의어(query)를 이용하여 상기 검색 대상에 대한 검색을 수행하는 검색 엔진(24);을 포함하는 것을 특징으로 하는 이미기 기반 검색 서버.
제11항에 있어서,
상기 이미지 기반 검색 어플리케이션을 저장하여 상기 이동통신단말기(10)에서 다운로드 요청시 제공하는 어플리케이션 DB(27)를 더 포함하는 것을 특징으로 하는 이미기 기반 검색 서버.