KR102167494B1 - 클라우드 기반 ｑｒ 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법 - Google Patents

Abstract

클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법이 제공되며, 사용자 단말로부터 수납박스의 QR 코드, 수납박스 내에 포함된 수납물의 수납물 이미지 및 수납물 명칭을 입력받는 단계, QR 코드와 수납물 이미지 및 수납물 명칭을 매핑하여 저장하는 단계 및 사용자 단말에서 QR 코드가 스캔되는 경우 QR 코드에 기 매핑되어 저장된 수납물 이미지 및 수납물 명칭을 출력하도록 제어하는 단계를 포함한다.

Description

클라우드 기반 ＱＲ 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법{METHOD FOR PROVIDING CLOUD PLATFORM BASED ORGANIZATION SOLUTION USING QR CODE AND STORAGE BOX}

본 발명은 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법에 관한 것으로, QR 코드와 매핑하여 수납물의 정보를 체계적으로 관리할 수 있는 플랫폼을 제공한다.

경제적 성장과 개성을 중요시하는 사회적 경향으로 인해 일반인이 보유하는 평균물품의 수가 증가하고 그 종류도 다양화되는 추세이다. 이와 같은 사회적, 경제적 영향으로 인한 보유 물품량의 변화는 거주자에게 수납공간 부족의 불편함을 초래하고 동시에 충분한 수납공간의 필요성을 새롭게 인식시키는 계기를 제공한다. 현실적으로 용적률과 건폐율을 높이는 건축방식에서 수납공간은 계획없이 관행에 따라 남는 공간에 임의적을 할애하는 경우가 많아 거주자에게 불편한 생활을 초래하고 있다. 또한, 공간규모 측면에서 주거공간이 가지는 문제점으로 인하여 거주자의 현재 보유물품 및 미래 증가분을 고려한 충분한 수납공간이 제공되고 있지도 않으며, 보유물품에 비해 수납공간이 부족하게 되면 물품이 사용되는 공간이 아닌 수납의 여유가 있는 타 공간에 수납함으로써 사용자의 동선을 연장시키고 있다.

이때, QR 코드를 이용하여 박스 내부의 상품 리스트를 확인하는 방법이 연구 및 개발되었는데, 이와 관련하여 선행기술인 한국등록특허 제10-2015552호(2019년08월28일 공고)에는, 사용자가 구매하려는 상품에 대한 주문요청신호를 수신하면, 상품의 명칭을 포함하는 상품 리스트를 생성하고, 상품 리스트를 암호화하여 QR 코드를 생성하며, 생성된 QR 코드가 상품에 부착될 수 있도록 QR 코드를 인쇄하고, QR 코드가 부착된 상품이 포장된 상자를 배달받으면 사용자 단말은 QR 코드를 촬영하여 QR 코드 이미지 정보를 획득하고, 사용자 단말은 QR 코드로부터 상품 리스트를 획득하는 구성을 개시하고 있다.

다만, 상술한 구성은 상품 리스트를 출력할 뿐 상품의 이미지를 포함한 상세설명이 기재되지 않기 때문에 1 가지의 동종상품을 대량으로 취급하는 상점에서는 유용할 수 있으나, 각 가정 내에는 각 가족구성원에게 필요한 상품이 1 가지씩 다종인 경우가 많다는 특수성으로 인하여, 각 명칭만으로 각 물건을 구분하는 것은 한계가 있다. 또한, 각 가정 내에서 자신이 산 물품을 어디에 두었는지 기억을 못하는 경우 수납은 되지만 정작 사용되지는 않거나 수납을 한 가정구성원에게 반복적으로 질의하는 방식으로 물건을 찾게 되고, 만약 찾지 못하는 경우 수납공간만을 차지하는 공간손실의 문제로 이어지기 때문에 물품자원이 낭비되는 것은 물론 공간자원까지 소모하게 된다. 이에, 기업이 아닌 각 가정에서 수납된 물품을 직관적으로 빠르게 인식할 수 있는 수납정보관리 시스템의 연구 및 개발이 요구된다.

본 발명의 일 실시예는, 수납박스에 인쇄된 QR 코드를 인식한 후, 수납물의 명칭, 이미지 및 상세정보를 기입하도록 함으로써, 수납박스를 열지 않고도 QR 코드의 인식만으로도 수납물의 명칭 뿐만 아니라 이미지 및 상세설명이 출력되도록 하고, 수납박스의 위치까지 사용자 단말의 좌표로 저장함으로써 어느 물건이 어디에 있는지를 빠르게 확인할 수 있도록 하며, 음성인식 및 인공지능 스피커와 연동을 통하여 물품의 위치를 알려줌으로써 물건을 정리한 가족구성원의 개입없이도 바로 물건을 찾을 수 있도록 하고, 증강현실을 이용하여 방 내부를 촬영하는 것만으로도 물품의 위치와 물품의 이미지를 통하여 쉽고 빠르게 찾을 수 있도록 하며, 사용자가 지정한 지정 단말로 물품의 위치, 명칭, 이미지 및 상세정보를 클라우드 기반으로 공유함으로써 가족구성원 모두가 물품의 위치를 쉽고 빠르게 찾을 수 있도록 하는, 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 사용자 단말로부터 수납박스의 QR 코드, 수납박스 내에 포함된 수납물의 수납물 이미지 및 수납물 명칭을 입력받는 단계, QR 코드와 수납물 이미지 및 수납물 명칭을 매핑하여 저장하는 단계 및 사용자 단말에서 QR 코드가 스캔되는 경우 QR 코드에 기 매핑되어 저장된 수납물 이미지 및 수납물 명칭을 출력하도록 제어하는 단계를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 수납박스에 인쇄된 QR 코드를 인식한 후, 수납물의 명칭, 이미지 및 상세정보를 기입하도록 함으로써, 수납박스를 열지 않고도 QR 코드의 인식만으로도 수납물의 명칭 뿐만 아니라 이미지 및 상세설명이 출력되도록 하고, 수납박스의 위치까지 사용자 단말의 좌표로 저장함으로써 어느 물건이 어디에 있는지를 빠르게 확인할 수 있도록 하며, 음성인식 및 인공지능 스피커와 연동을 통하여 물품의 위치를 알려줌으로써 물건을 정리한 가족구성원의 개입없이도 바로 물건을 찾을 수 있도록 하고, 증강현실을 이용하여 방 내부를 촬영하는 것만으로도 물품의 위치와 물품의 이미지를 통하여 쉽고 빠르게 찾을 수 있도록 하며, 사용자가 지정한 지정 단말로 물품의 위치, 명칭, 이미지 및 상세정보를 클라우드 기반으로 공유함으로써 가족구성원 모두가 물품의 위치를 쉽고 빠르게 찾을 수 있다.

도 1은 본 발명의 일 실시예에 따른 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 수납정리 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 수납정리 서비스 제공 서버(300), 적어도 하나의 지정 단말(400)을 포함할 수 있다. 다만, 이러한 도 1의 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 수납정리 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 수납정리 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 지정 단말(400)과 연결될 수 있다. 또한, 적어도 하나의 지정 단말(400)은, 네트워크(200)를 통하여 수납정리 서비스 제공 서버(300)와 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 수납박스에 인쇄된 QR 코드를 인식한 후 수납물의 명칭, 이미지 및 상세정보를 입력받는 단말일 수 있다. 그리고, 적어도 하나의 사용자 단말(100)은 입력시 사용자 단말(100)의 위치를 함께 수납정리 서비스 제공 서버(300)로 전송하는 단말일 수 있고, 적어도 하나의 지정 단말(400)을 지정하여 수납 정보 데이터를 공유하는 단말일 수 있다. 또한, 적어도 하나의 사용자 단말(100)은, 증강현실(AR)을 통하여 물품의 위치를 기반으로 증강현실 이미지, 명칭 및 리스트를 출력하는 단말일 수 있다. 그리고, 적어도 하나의 사용자 단말(100)은, 실시간 위치를 기준으로 기 설정된 반경 내의 물품 리스트, 이미지 및 상세설명을 출력하는 단말일 수 있다. 또한, 적어도 하나의 사용자 단말(100)은 음성인식을 통하여 매칭되는 수납물 명칭이 위치한 수납박스의 위치 및 상세설명을 출력하는 단말일 수 있다. 그리고, 적어도 하나의 사용자 단말(100)은, 인공지능 스피커(미도시)와 연동되는 경우 인공지능 스피커에서 자연어처리(NLP)를 통하여 자연어로 질의한 수납물의 위치에 대한 응답을 제공하도록 하는 단말일 수 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

수납정리 서비스 제공 서버(300)는, 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 수납정리 서비스 제공 서버(300)는, 사용자 단말(100)로부터 QR 코드가 인식되는 경우 수납물의 명칭, 이미지 및 상세정보를 등록하도록 하고 QR 코드와 매핑 및 저장하는 서버일 수 있다. 또한, 수납정리 서비스 제공 서버(300)는, 사용자 단말(100)에서 적어도 하나의 지정 단말(400)을 지정하는 경우 적어도 하나의 지정 단말(400)에서 클라우드 기반으로 수납 정보를 공유하도록 하는 서버일 수 있다. 그리고, 수납정리 서비스 제공 서버(300)는 사용자 단말(100)의 위치를 수집하여 QR 코드와 매핑하여 저장함으로써 수납박스의 위치를 함께 등록하는 서버일 수 있으며, 이를 기준으로 AR 및 위치 기반으로 수납물 콘텐츠 및 위치를 알려주는 서버일 수 있다. 또한, 수납정리 서비스 제공 서버(300)는, 인공지능 스피커와 사용자 단말(100)이 연동되는 경우 인공지능 스피커를 통하여 음성 발화를 인식하고 질의에 대한 응답으로 수납물의 위치를 알려주도록 하는 서버일 수 있다. 그리고, 수납정리 서비스 제공 서버(300)는 딥러닝 알고리즘을 통하여 적어도 하나의 물품을 식별하도록 함으로써 사용자 단말(100)에서 상세정보나 수납물 명칭을 기재하지 않은 경우 이를 구분하여 자동기입되도록 하는 서버일 수 있다.

여기서, 수납정리 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

적어도 하나의 지정 단말(400)은, 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 피지정자의 단말일 수 있다. 이때, 적어도 하나의 지정 단말(400)은 사용자 단말(100)에서 공유한 정보를 통하여 사용자 단말(100)에서 실행되는 동작, 기능 및 프로세스를 그대로 실행할 수 있는 단말일 수 있고, 클라우드 기반으로 사용자 단말(100)과 동기화되는 단말일 수 있다.

여기서, 적어도 하나의 지정 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 지정 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 지정 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

도 2는 도 1의 시스템에 포함된 수납정리 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 수납정리 서비스 제공 서버(300)는, 입력부(310), 저장부(320), 제어부(330), 공유부(340), 음성인식부(350), 자동인식부(360), 이미지인식부(370), 증강현실부(380)를 포함할 수 있다.

본 발명의 일 실시예에 따른 수납정리 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100) 및 적어도 하나의 지정 단말(400)로 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100) 및 적어도 하나의 지정 단말(400)은, 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100) 및 적어도 하나의 지정 단말(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.

도 2를 참조하면, 입력부(310)는, 사용자 단말(100)로부터 수납박스의 QR 코드, 수납박스 내에 포함된 수납물의 수납물 이미지 및 수납물 명칭을 입력받을 수 있다. 수납박스에는 QR 코드가 미리 인쇄되어 출시 및 판매될 수 있다. 물론, 사용자 단말(100)에서 QR 코드 발급을 신청한 후, 사용자 단말(100)과 연동되거나 다른 단말과 연동된 프린터를 이용하여 출력 및 부착하는 방법으로 사용되는 것도 가능하다. 또, 입력부(310)는, 사용자 단말(100)로부터 수납박스의 QR 코드, 수납박스 내에 포함된 수납물의 수납물 이미지 및 수납물 명칭을 입력받을 때, 사용자 단말(100)의 위치 정보를 수집 또는 입력받아 QR 코드와 매핑되도록 저장할 수 있다.

여기서, 위치 정보를 수집할 때 실외라면 GPS를 사용하는 것이 정확한 위치를 얻을 수 있는 방법이겠지만, 실내 환경에서 GPS 신호를 사용하여 정확한 위치 정보를 얻기에는 한계가 있다. 이를 위하여, 본 발명의 일 실시예에 따른 입력부(310)에서는 비전 기술, IMU(Inertial Measurement Unit) 센서, 와이파이 RSSI(Received Signal Strength Indicator) 신호나 비컨 등을 사용하거나, 비전 기술 중 하나인 SLAM(Simultaneous Localization And Mapping)를 이용할 수 있다. 이 중 SLAM은, 카메라를 통해 주위 환경 정보를 생성하고 카메라 포즈를 추정하는 기술로, 컴퓨터 비전 및 딥러닝과 결합하여 카메라를 이용함으로써 3차원 공간 상의 위치를 추정하고 동시에 주변 정보를 취합한 지도를 가상 공간에 만들어내는 Visual SLAM(시각 정보를 이용한 동시적 위치 추정 및 지도 작성 기술)로 이용될 수 있다.

여기서, SLAM 을 통해 실내에서 얻은 사용자의 위치는 높은 정확도를 보이는데, 이때 깊이(Depth) 차이를 제대로 인지하지 못할 수 있으므로 본 발명의 일 실시예에서는 영상 내에서 크기 정보를 제공할 수 있는 마커를 QR 코드로 사용하기로 한다. 카메라를 통해 얻은 영상 정보에서 마커의 크기를 인지하고 인지된 정보는 SLAM에 사용된다. SLAM은 들어온 정보를 보다 정확한 사물 깊이 정보를 얻게되고 카메라 포즈를 추정할 수 있으므로 SLAM 알고리즘만을 사용하는 경우보다 마커를 함께 사용할 경우가 깊이 정보를 정확하게 파악하게 되고 단안렌즈만을 이용하는 일반적인 스마트폰이 깊이 카메라(Depth Camera)의 부재로 발생시키는 오차를 최소화할 수 있게 된다. 대부분의 가정 내에서는 물건의 위치를 측정하기 위하여 스마트폰 외에 별도의 RFID나 비콘을 설치하기가 어렵기 때문에, 스마트폰과 QR 코드(마커)만을 이용하는 방법으로 이용할 수 있다.

예를 들어, drawMarker() 함수를 통해 마커 이미지를 생성하고 detectMarker() 함수를 사용하여 이미지 상의 마커에서 4개의 코너점 값과 ID를 얻는다. 얻어낸 마커의 4개의 코너점 값과 ID를 활용하여 OPenCV 라이브러리에서 제공하는 Estimate Pose Single Markers Method 함수를 이용하여 카메라의 3차원 위치와 방향을 알아낸다. 카메라의 자세 추정을 실행하기 전에 카메라 고유의 파라미터(Focal Length, Pricipal Point, Skew Coefficient)을 얻어내서 오차 값을 보정하는 카메라 캘리브레이션(Calibration) 알고리즘을 이용한 작업을 하여 정밀한 카메라 위치와 방향값을 측정할 수 있다. 또, EstimatePoseSingleMarkers Method 함수를 사용하면 카메라로부터 입력된 영상으로부터 감지된 마커를 받아 카메라에 대한 포즈 추정을 개별적으로 반환한다. 따라서 각 마커에 대해 하나의 회전(Rotation Vector) 및 평행이동 벡터(Trasform Vector)가 반환되는데 입력 값으로 마커 한 변의 길이를 얻어내면 마커 코디네이트(Coordinate) 시스템은 마커의 중앙에 위치하게 되며 z축은 마커 평면에 수직이 된다. 이렇게 되면, 사용자의 스마트폰인 사용자 단말(100)과 QR 코드만을 가지고도 카메라와 수납박스 간의 거리값을 측정하고, 카메라 캘리브레이션을 이용하여 카메라 고유의 파라미터 값을 측정할 수 있으며, 카메라의 오차를 보정하여 카메라의 위치와 자세를 추정할 수 있기 때문에, 수납박스의 XYZ 좌표를 정확하게 얻어낼 수 있고, 이를 해당 위치로 저장할 수 있다.

저장부(320)는, QR 코드와 수납물 이미지 및 수납물 명칭을 매핑하여 저장할 수 있다. 예를 들어, A 수납박스에 B QR 코드가 부착되어 있고, 충전기, 콘센트, 케이블선이 포함되었다고 가정하면, 입력부(310)는 [B-충전기, 콘센트, 케이블선-충전기, 콘센트, 케이블선을 찍은 사진]과 같은 방식으로 저장할 수 있다.

제어부(330)는, 사용자 단말(100)에서 QR 코드가 스캔되는 경우 QR 코드에 기 매핑되어 저장된 수납물 이미지 및 수납물 명칭을 출력하도록 제어할 수 있다. 이때, 수납물 이미지나 명칭 외에도 상세설명이 출력될 수 있고, 각 수납물의 주인, 즉 아버지, 어머니, 아들, 딸과 같이 각 가족구성원의 소유자를 더 부가하여 출력할 수 있다.

공유부(340)는, 입력부(310)에서 사용자 단말(100)로부터 수납박스의 QR 코드, 수납박스 내에 포함된 수납물의 수납물 이미지 및 수납물 명칭을 입력받은 후, 사용자 단말(100)에서 적어도 하나의 지정 단말(400)을 지정하는 경우, 사용자 단말(100)에서 입력한 데이터를 클라우드 기반으로 공유할 수 있다. 여기서, 적어도 하나의 지정 단말(400)에서 수납물 명칭 및 수납물 이미지를 추가, 변경 및 삭제하는 경우 로그를 기록하고 QR 코드와 매핑되도록 업데이트할 수 있다. 이때, 공유부(340)는 클라우드 기반으로 공유를 수행하는데, SaaS(Software as a Servcie)를 이용할 수도 있다.

SaaS는 인터넷 어디에서든 쉽게 이용할 수 있고, 웹브라우저만 있으면 어디서든 접근할 수 있다. 이때, 각 사용자 단말(100)의 요구사항에 따라 BaaS(Backend as a Service)를 더 추가할 수도 있다. 물론, 인프라나 플랫폼 자체가 구비되지 않은 가정의 경우 IaaS(Infrastructure as a Service)로 서버 운영에 필요한 서버자원, IP, Network, Storage, 전력 등 여러 인프라 자원을 탄력적이고 빠르게 제공할 수 있다. IaaS는 자원을 쉽게 추가하거나 제거할 수 있으며 운영체제를 제공하므로 친숙한 환경이 주어질 수 있다. 또, PaaS(Platform as a Service)로 서비스를 제공할 수 있는데, 안정적인 환경과 그 환경을 이용하는 응용 프로그램을 개발할 수 있는 API까지 제공하는 서비스이다. PaaS는 간편하게 원시코드를 빌드 및 배포할 수 있으며 사용량에 따라 스케일 아웃(Scale Out)을 하기 용이하다. BaaS는 모바일 애플리케이션에 특화된 서비스로 모바일 애플리케이션에서 처리하기 힘든 회원관리 및 푸시, 파일 처리 등 서버 측 애플리케이션을 제공할 수 있다. PaaS의 플랫폼을 이용할 수 있고 제공되는 백앤드 모듈을 REST API나 라이브러리 CALL을 통해 바로 사용할 수 있도록 구성될 수도 있다.

음성인식부(350)는, 저장부(320)에서 QR 코드와 수납물 이미지 및 수납물 명칭을 매핑하여 저장한 후, 사용자 단말(100)에서 수납물 명칭이 음성발화로 인식되는 경우, 수납물 명칭에 기 매핑된 위치 정보를 음성으로 출력하도록 제어할 수 있다. 이때, 자연어처리는 후술될 인공지능 스피커에서 함께 설명하기로 한다.

자동인식부(360)는, 저장부(320)에서 QR 코드와 수납물 이미지 및 수납물 명칭을 매핑하여 저장한 후, 사용자 단말(100)의 위치를 실시간으로 모니터링할 수 있고, 모니터링된 사용자 단말(100)의 위치를 기반으로 기 설정된 반경 내에 등록된 QR 코드가 존재하는 경우, 자동으로 QR 코드에 기 매핑되어 저장된 수납물 명칭 및 수납물 이미지를 사용자 단말(100)에 표시할 수 있다. 또, 자동인식부(360)는, 저장부(320)에서 QR 코드와 수납물 이미지 및 수납물 명칭을 매핑하여 저장한 후, 사용자 단말(100)의 위치를 실시간으로 모니터링하고, 모니터링된 사용자 단말(100)의 위치를 기반으로 기 설정된 반경 내에 등록된 QR 코드가 복수개 존재하는 경우, 복수의 QR 코드에 기 매핑되어 저장된 수납물 명칭을 리스트로 사용자 단말(100)로 제공할 수 있다. 그리고, 사용자 단말(100)은, 사용자 단말(100)에서 리스트에 포함된 수납물 명칭 중 어느 하나를 선택하는 경우, 선택된 수납물 명칭에 기 매핑되어 저장된 수납물 이미지 및 위치 정보를 사용자 단말(100)로 전송할 수 있다.

이미지인식부(370)는, 입력부(310)에서 사용자 단말(100)로부터 수납박스의 QR 코드, 수납박스 내에 포함된 수납물의 수납물 이미지 및 수납물 명칭을 입력받은 후, 수납물 이미지를 기 구축된 인공지능 알고리즘으로 인식하여 기 저장된 태그를 태깅할 수 있고, 태깅된 태그를 수납물 명칭에 추가하여 업데이트할 수 있다. 이때, 각 수납물의 명칭 및 이미지를 빅데이터를 구축하여 학습시키는 경우, 이후 각 수납물과 유사한 이미지가 입력되면, 해당 명칭을 자동으로 태깅할 수가 있다. 예를 들어, 니트의류의 수백 내지 수천개의 이미지를 "니트의류"라는 명칭(태그)과 함께 학습을 시키는 경우, 임의의 니트의류가 질의로 입력되었을 때, "니트의류"라는 명칭을 자동으로 입력하고 태그를 태깅할 수 있게 되는 것이다. 이렇게 되면, 사람이 일일이 각 수납물에 대한 설명이나 명칭을 입력하지 않을지라도 사진을 찍는 것만으로도 명칭의 리스트업이 가능해질 수 있다. 각각의 수납정리 애플리케이션들은 각각의 명칭을 일일이 기입해야 하고, 각 가정 내에서는 수납물이 이동하거나 제거되거나 하는 등으로 변동이 많아 한 번 입력을 했더라도 변동되는 수납물에 대해서는 업데이트가 되지 않아 애플리케이션의 쓸모가 없어지는 경우가 많다.

이를 위하여, 사용자가 사진을 찍고 QR 코드만 인식하면, 사진 내 포함된 적어도 하나의 수납물에 대하여 자동으로 이미지를 분류하고, 수납물 명칭을 태그를 태깅하는 방식으로 자동기입하도록 함으로써, 사람이 일일이 기입을 하고 정리를 하며 업데이트를 하는 과정을 거치지 않도록 할 수 있다. 만약 장난감을 A 수납박스에서 B 수납박스로 옮겼다고 할지라도, B 수납박스 내의 장난감 사진을 찍고 QR 코드를 인식하는 것만으로도 B 수납박스의 수납물 명칭이 업데이트 및 기록될 수 있다. 이때, 이미지 쿼리 검색 플랫폼(Query By Image Retrieval)을 이용할 수 있는데, 이는, 키워드 기반 검색 대신 쿼리문을 문장이 아닌 이미지 자체로 주어 검색을 하는 것을 말한다. 이미지가 쿼리로 들어오면 이미지인식부(370)는 이미지의 특징을 분석하여 정의된 피쳐(Feature)와 유사도 측정 방법을 이용하여 인덱싱된 DB안에서 검색 결과를 반환해준다.

또는, MPEG-7 시각 기술자를 이용할 수도 있는데, 이는 국제표준 MPEG-7에서 영상에 내재된 객체의 유사도 검색 및 메타데이터 기술을 위해 정의된 기술자들이다. 사람의 시각적 특성을 고려하여 색상, 모양(Texture)을 표현하는 피쳐들로 이루어진 Dominant Color Descriptor(DCD), Scalable Color Descriptor(SCD), Color Layout Descriptor(CLD), Color Structure Descriptor(CSD) 등을 이용하는데, 나열된 것들로 한정되지는 않는다. 또는, 유사도를 파악하기 위하여, Hausdorff 거리를 이용할 수도 있는데, 이는 두 점의 집합들 사이의 기하학적 유사도를 나타내는 측도이다. 상술한 방법들은 모두, 두 디자인 형태의 동일성, 즉, 색상, 형상, 모형, 배치의 동일성 및 유사도를 찾는 것을 목표로 할 수 있다.

증강현실부(380)는, 저장부(320)에서 QR 코드와 수납물 이미지 및 수납물 명칭을 매핑하여 저장한 후, 사용자 단말(100)에서 카메라를 동작시키는 경우, 사용자 단말(100)의 위치와 수납박스의 위치 정보에 기반하여 증강현실 콘텐츠로 수납물 이미지 및 수납물 명칭을 촬영된 수납박스 상에 오버레이할 수 있다. 이때, 증강현실을 위한 마커는 상술한 바와 같이 QR 코드를 이용한다. QR 코드는 각 수납박스마다 인쇄되어 나오거나 별도로 프린트하여 부착할 수 있고 QR 코드의 크기도 이미 서버에서 알고 있기 때문에 카메라의 자세추정 및 깊이(Depth) 추정이 가능하다. 증강현실부(380)는 수납박스에 인쇄된 QR 코드를 AR 마커로 하여, 마커를 통하여 카메라의 위치를 추정하고, 추정된 위치에 대응하도록 수납물 명칭 및 이미지를 AR 콘텐츠로 출력할 수 있다.

즉, 증강현실부(380)는 3D 좌표계에서의 사용자 단말(100)의 카메라 위치와 자세를 계산하고, 3D 좌표계에서의 마커 네 점의 위치 정보와 카메라의 2D 이미지 좌표계에서의 마커 네 점의 매칭 정보로 solvePnP(solve Perspective - n - Problem)를 통해 카메라의 위치와 자세를 계산할 수 있다. solvePnP는 카메라 이미지 좌표계 안에 있는 2차원 점과 월드 좌표계의 3차원 점의 매칭 관계를 이용하여 카메라의 위치와 방향 정보를 알아낼 때 사용할 수 있다. 이 기술을 이용하기 위해서는 이미지 좌표계에 해당하는 2차원 점 4개와 3차원 월드 좌표계의 점 4개, 그리고 해당 카메라의 내부 파라미터(Intrinsic Parameter)와 왜곡계수(Distortion Coefficient)가 요구될 수 있다. 이 값들과 마커에 설정된 절대 좌표를 기준으로 사용자의 위치를 알 수 있게 해주는 회전 벡터와 평행이동 벡터행렬(Rvec, Tvec)이 반환되면, 반환된 행렬 정보를 이용하여 3D 좌표에서 카메라 위치와 자세를 계산할 수 있다. 실제 회전변환 행렬은 회전변환에 대한 Rodrigues 표현이기 때문에, Rodrigues 표현을 회전 변환에 대한 행렬로 변환할 수 있다. 반환받은 회전 벡터와 평행이동 벡터행렬을 사용하여 3D 공간의 한 점 P에 대한 월드 좌표와 2D 카메라 좌표계에서 대응하는 좌표 사이는 변환 관계를 형성할 수 있다. 월드 좌표계에서 카메라의 월드좌표계 상의 위치는 카메라 좌표계의 원점에 대응 하는 점이기 때문에, 각 사용자에 해당하는 카메라 좌표의 위치를 얻을 수 있으며, 해당 카메라 위치와 원점을 기준으로 물체를 증강할 수 있다.

또 다른 방법은, 증강현실부(380)에서 옵티컬 플로우(Optical Flow)를 이용하여 사용자의 자세를 추정하는 방법이다. 옵티컬 플로우는, 인접한 두 프레임 사이에서 각 픽셀 사이의 속도 벡터를 계산하여 움직임 패턴을 계산하는 방법이다. Lucas-Kanade 옵티컬 플로우는 한 프레임에서 추적하고자 하는 특징점 주변에 윈도우를 씌워 그 안에서 움직임 패턴을 추적하는 방법인데, 윈도우보다 큰 움직임이 발생하는 경우에는 움직임을 계산하지 못하기 때문에, Pyramidal Lucas-Kanade 옵티컬 플로우를 사용할 수 있다. 원본 영상으로부터 다양한 스케일의 이미지 피라미드를 구성하여 윈도우 내의 특징점을 매칭하기 때문에 커다란 움직임에도 비교적 자세추정의 에러가 적고, 모든 특징점을 추적할 필요가 없기 때문에 검출된 마커의 네 점을 추적하는 방법을 이용할 수 있다.

덧붙여서, 사용자 단말(100)은 동일한 AP(Access Point)로 연결된 인공지능 스피커와 연결될 수 있다. 이때, 인공지능 스피커를 통하여 수납물 명칭이 인식된 경우, 인공지능 스피커를 통하여 수납박스의 위치 정보를 출력할 수 있다. 예를 들어, "엄마 내 교복 어딨어요?"라고 사용자가 음성발화한 경우, 인공지능 스피커는 우선 발화자의 음성을 식별하고 발화자가 가족구성원 중 누구인지를 파악한다. 그리고, "엄마", "내", "교복", "어딨어"라고 각각 형태소를 인지하고 토큰화(Tokenization)하고, 발화자의 교복으로 수납물 명칭이 저장된 수납박스의 위치를 검색하며, 검색된 위치를 다시 자연어처리하여 음성으로 출력하게 된다. 이때, 각 가족구성원의 음성은 미리 학습함으로써 구분이 가능한 상태를 전제한다. 이 경우 이미, QR 코드-수납박스 위치-수납물 명칭이 매핑되어 저장되어 있으므로, 수납물 명칭이 입력으로 들어온 경우, 수납박스 위치를 출력할 수 있고, 이를 음성으로 변환하여 출력하는 것이다.

자연어처리란, 인간이 발화하는 언어 현상을 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만드는 자연 언어 이해 혹은 그러한 형태를 다시 인간이 이해할 수 있는 언어로 표현하는 제반 기술을 의미한다. 자연어 처리 방식으로는 전통적으로 규칙 기반 접근법, 통계기반 접근법이 있고, 이 둘의 강점을 통합한 하이브리드 방식이 있으며, 인공신경망 방식이 있는데, 최근 들어 부상하고 있는 딥러닝(Deep Learning)이 인공신경망 방식에 해당한다. 딥러닝을 이용한 방식은 입력 문장과 출력 문장을 하나의 쌍으로 두고, 가장 적합한 표현 및 번역 결과를 찾는 방식이다.

자연어 처리 방식은, 우선 품사 부착(POS Tagging)으로 시작되는데, 품사 부착은 자연어 처리 기술 중 가장 기본이 되는 기술이다. 교착어에 해당되는 한국어는 굴절어인 영어와는 달리 품사 부착을 형태소 분석 후에 수행하는 것으로 일반화 되어 있지만, 형태소 분석을 하지 않고 품사 부착을 수행하는 방법도 이용될 수 있다. 두 번째는 파싱(Parsing) 과정인 구문 분석이다. 한국어는 어순이 자유롭고, 주어를 포함한 필수 논항의 생략이 빈번히 일어나는 특징으로 인해 구문 분석의 난이도가 높은데, 국가에서 개발된 세종 말뭉치가 이용될 수 있다.

이에 더하여, 교정(Spelling)이 더 포함될 수 있는데, 한국어 교정 기술의 경우 크게 띄어쓰기 교정과 철자 교정 기술로 나누어진다. 한국어 띄어쓰기의 경우 주로 말뭉치 기반의 통계기반 방식으로 진행될 수 있으나 이에 한정되지는 않는다. 한국어 철자 교정 연구의 경우 한국어가 가지는 교착어의 특성으로 인해 N-gram 방식의 접근이 어렵기 때문에, 한국어의 철자 교정은 Rule-based 방식으로 교정어휘 쌍을 사용할 수 있으나, 역시 이에 한정되는 것은 아니다.

또한, 중의성 해소(Word Sense Disambiguation, WSD)는 주로 소규모의 의미 태그 부착 말뭉치나 사전 정보 등을 이용하여 엔트로피 정보, 조건부 확률, 상호 정보 등을 사용하여 다양하게 진행될 수 있다. 한국어 학습 데이터에는 눈, 손, 말 등 중의성이 있는 어휘에 대해 각각 수십 개의 데이터가 포함될 수 있다. 그리고, 상호 참조(Coreference Resolution)가 더 포함될 수 있다. 마지막으로, 개체명 인식(Named Entity Recognition, NER) 과정이 더 부가될 수 있는데, 한국어 개체명 인식의 경우, 다양한 도메인에서 다양한 모델을 사용할 수 있다.

이하, 상술한 도 2의 수납정리 서비스 제공 서버의 구성에 따른 동작 과정을 도 3을 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3a를 참조하면, (a) 수납정리 서비스 제공 서버(300)는 사용자 단말(100)에서 QR 코드를 스캔 또는 리딩하면, 이에 대응하는 수납물 명칭, 상세정보 등을 기입하는 화면이 출력되도록 하고, 입력이 완료되면 QR 코드와 매핑되도록 저장할 수 있다. 그리고, (b) 사용자 단말(100)에서 공유하기를 눌러서 피공유자(피지정자)를 지정하면, 적어도 하나의 지정 단말(400)은 사용자 단말(100)이 구축한 수납정리정보 데이터베이스에 접근할 수 있으며, 각 지정 단말(400)에서 편집이 가능하도록 권한을 설정할 수도 있다. 이때, 정보를 공유받은 지정 단말(400)에서 QR 코드를 스캔 또는 리딩하는 경우, 이에 대응하여 매핑 및 저장된 수납물 명칭, 이미지 등이 지정 단말(400)에서 출력되게 된다.

또한, (c) 수납정리 서비스 제공 서버(300)는 사용자 단말(100)에서 사진을 입력하고 상세정보를 기록하지 않더라도 촬영된 사진만으로도 각 수납물을 분류 및 식별하여 태그를 태깅함으로써 사용자가 명칭을 일일이 기록하는 것을 대체할 수도 있고, 사용자 단말(100)에서는 이를 컨펌하거나 수정하는 방식으로 사용자의 개입을 최소화하여 입력에 많은 시간을 할애하지 않도록 할 수도 있다. 그리고, (d) 수납정리 서비스 제공 서버(300)는 사용자 단말(100)에서 사용자의 발화가 인식된 경우, 인식된 음성을 텍스트로 변환하고 자연어로 입력된 질의를 분석함으로써 수납물의 위치 정보를 검색하고, 해당 수납물의 위치 정보를 다시 자연어로 처리하여 사용자 단말(100)로 제공하도록 할 수 있다.

도 3b 내지 도 3e는 본 발명의 일 실시예에 따른 수납정리 서비스의 사용자 화면을 도시한다. 다만, 도 3b 내지 도 3e의 화면이나 사용자 시나리오 및 UI/UX는 실시예에 따라 변경가능하므로 나열된 것들로 한정되지 않으며 열거되지 않은 이유로 배제되지 않는다. 도 3b를 참조하면, 사용자 단말(100)은 사용자 등록을 한 후 수납박스에 인쇄된 QR 코드를 스캔하고, 도 3c와 같이 수납박스의 이름을 지정한 후, 수납박스 내부 및 수납박스의 이미지 등을 등록받으며, 메모란에 상세한 설명을 기재한다. 이때, 수납을 처음하거나 정리나 분류체계에 익숙하지 않은 사람들을 위하여 미리 태그를 지정하여 제공할 수도 있다. 예를 들어, 의류, 신발류, 장난감, 책, 전자기기류, 공구류 등의 태그가 제공될 수도 있다.

이때, 메모란에 기재된 단어를 기준으로 각 수납물에 태그를 자동으로 생성하여 부착할 수도 있다. 태그는, 고정된 것이 아니라, 새로 생성되거나 변경 또는 삭제될 수도 있는 유동적인 분류자일 수 있다. 데이터의 정제와 분류를 위해서는 정보자원의 분석이 요구되고, 다양한 배경지식을 가진 가족구성원이 사용하는 용어가 서로 다름에 따라 각각의 가족구성원이 기 설정된 태그로 자신의 수납물 정보를 표현할 수 없는 경우가 많다. 이때, 태그(선택지)가 존재하지 않는 경우, 대부분의 플랫폼에서는 메모란과 같은 기타 박스(메모란)를 생성하고, 기타에 수납물을 표현할 수 있는 정보를 기재하도록 하는데, 이렇게 기재된 데이터를 태그화하기 위하여, 본 발명의 일 실시예에서는, 기타 박스에 포함된 단어 및 문장을 벡터 형태로 표현한 후 벡터 형태로 표현된 기타 박스의 단어 및 문장의 클러스터링을 수행하도록 한다. 이때, 클러스터링이란 텍스트 마이닝과 정보검색이론 분야의 연구에서 많이 적용되는 대표적인 비지도학습 방법이며, 군집화 방법에 따라 계층구조 클러스터링(Hierarchical Clustering), 분할구조 클러스터링(Partitional Clustering), 그리고 스펙트럼구조클러스터링(Spectral Clustering)으로 나누어진다.

가장 일반적으로 사용되는 클러스터링 알고리즘은 상향식 계층군집화(Agglomerative Hierarchical Clustering) 알고리즘과 K-means 알고리즘이 있는데, K-means 알고리즘은 상향식 계층 클러스터링보다 성능은 떨어지지만 효율적인 군집화 알고리즘으로 평가되고 있다. 이에 따라, 본 발명의 일 실시예에서는, 군집화 성능보다 효율성에 더 초점을 맞추어 K-means 알고리즘을 군집화 알고리즘으로 적용할 수 있다. 물론, 상향식 계층군집화 알고리즘을 배제하는 것은 아니다. 이때, K-means 알고리즘은, 벡터 공간내의 K개의 중심점을 K개의 클러스터로 표현할 수 있다는 전제를 가지고 수행되며, 일반적으로 각 벡터의 코사인 유사도 산출을 통해 클러스터를 형성한다. K-means 알고리즘은 클러스터를 생성하는 방법에 따라 Bisecting, Antipole, Multipole 등의 다양한 확장 알고리즘을 더 이용할 수 있다.

상술한 과정을 상세히 설명하면 다음과 같다. 첫 번째로, 기타 박스에 기재된 단어 및 문장의 형태소 분석 및 불용어 제거 과정을 진행할 수 있다. 기타 박스에 기재된 단어 및 문장을 가지고 K-means를 수행하기 위해 기타 박스에 기재된 데이터들은 클러스터링 수행에 적합한 형태로 변환되어어야 한다. 이를 위해, 단어 및 문장을 벡터로 변환하는 수치화 작업을 진행한다. 수치화 작업을 위하여 단어 및 문장에 대한 형태소 분석을 실시하며, 그 결과 형태소 하나하나가 한 벡터의 차원을 이루게 된다. 해당 형태소의 포함 여부에 따라 각각의 벡터 요소들은 1 또는 0의 값을 가지게 되며, 이 과정에서 형태소 분석기를 이용할 수 있다.

두 번째는, 태그 풀(Tag Pool)을 생성하는 것이다. 단어 및 문장이 기재된 기타 박스 간의 거리 측정 및 비교 가능한 기준은 벡터 곱을 통해 달성된다. 이를 위해 모든 형태소에 대한 정보를 포함하고 있는 표준벡터에 대한 정의가 필요하며, 이러한 표준벡터로 모든 기타 박스로부터 추출된 태그 풀을 사용할 수 있다. 태그 풀은, 모든 기타 박스에 포함된 단어 및 문장으로부터 추출된 태그들을 중복 없이 모두 담고 있는 풀을 의미한다.

세 번째는, 태그의 계층구조를 제작하는 과정인데, 태그 계층구조는 앞서 제작한 태그 풀을 기반으로 제작된다. 태그 계층구조 생성을 위한 벡터는 태그 풀의 요소를 서로 비교하면서 임의의 태그들이 동일한 태그 풀에 포함된 경우가 몇 번 있는가에 따라 벡터 값을 부여할 수 있다. 예를 들어, 동일한 사용자가 하나의 기타 박스에 입력한 단어 및 문장에서 임의의 두 태그를 동시에 입력한 정도에 따라 벡터값이 부여된다. 이러한 방식을 따라 산출된 각각의 태그 벡터들은 단위벡터로 변환 후 K-means를 통해 클러스터링 되고, 군집 분석을 통해 유사도가 높은 벡터들끼리 그룹화하여 몇 개의 태그 그룹으로 분류될 수 있다. 그리고 다시 각각의 그룹에 대해 위와 같은 클러스터링 작업을 반복적으로 적용함으로써 전체 태그 집합에 대한 태그 계층구조를 생성할 수 있다.

마지막으로, 태그 벡터를 계산해야 하는데, 마지막으로 태그 벡터를 만드는 과정을 통해 군집화 알고리즘을 수행하기 위한 모든 준비 과정이 끝나게 된다. 이 과정을 통해 각각의 기타 박스가 서로 얼마나 닮은 정보를 가지고 있는지 유추해 볼 수 있는 기준을 마련하게 된다. 이에 더하여, 태그 계층구조를 태그 벡터에 반영하기 위해 계층구조를 바탕으로 계산된 값을 사용할 수 있고, 이때 부여되는 벡터 값은 예를 들어, Leacock-Chodorow Measure를 사용할 수 있지만, 이에 한정되는 것은 아니다. Leacock-Chodorow Measure는 0부터 무한대까지의 값으로 어휘 유사도를 표현하기 때문에, 태그 벡터의 가중치를 업데이트하는 용도로 적용할 수 있다.

이렇게 클러스터링을 위한 모든 준비가 완료되면, 각 기타 박스를 묶는 작업을 통하여 새로운 태그를 도출할 수 있다. 이때, 첫 클러스터링 K값의 결정을 위해, K-means 클러스터링 적용할 때, 군집화 결과 그룹의 개수(K)는 군집화 성능에 중요한 영향을 미친다. 대부분의 경우 K는 정적인 변수로 설정되어 그 개수에 맞추어 클러스터링 결과를 도출하도록 하고 있지만 가족구성원이 사용하는 단어가 다름에 의해 발생하는 방향성, 특이성으로 인하여 다른 방향의 태그를 가지는 특성을 고려하면 일정한 K값을 정하는 것은 매우 어려운 일이다.

따라서, 본 발명의 일 실시예에 따른 방법에서는 기타 박스에 포함된 단어 및 문장에 따른 각기 다른 태그에 따라 각기 다른 K값을 설정하는 것도 가능하다. K-means는 최적의 클러스터가 생성될 때까지 반복하여 군집을 재생성한다. 즉, K-means에 의해 일단 클러스터가 생성되면 클러스터된 모든 그룹들에 대하여 중심 값을 다시 계산하고 모든 태그 풀을 대상으로 K개의 클러스터에 순서대로 벡터 곱을 수행한다. 그 후 수행결과 벡터 곱이 가장 컸던 그룹에 다시 그 태그 풀을 배정하며 마지막 태그 풀까지 벡터곱과 배정 과정을 수행한다. 이로 인해 새로운 클러스터링 결과가 산출되면 다시 중심 값을 구하는 과정을 반복 수행하여 최적의 클러스터링 상태를 이루도록 한다. 이때, 종료 시점은, 새롭게 형성된 결과들이 직전의 클러스터링 결과와 비교하였을 때 아무런 변화가 일어나지 않았을 때이다.

이렇게 수납박스의 이름을 추가하고, 사진촬영으로 이미지를 추가하며 메모란에 상세내용을 기재하여 저장한 후 도 3d와 같이 여유공간을 슬라이드 바(Bar) 형태로 설정할 수도 있다. 이러한 방식으로 저장하고 나면, 도 3e와 같이 실내 어느 위치에 어떠한 수납박스가 존재하고 어느 정도의 여유공간이 있는지, 또 각각의 수납박스에는 어떠한 수납물이 저장되어 있는지를 한 눈에 확인할 수 있다.

이와 같은 도 2 및 도 3의 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 4는 본 발명의 일 실시예에 따른 도 1의 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 4를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 4에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 4를 참조하면, 수납정리 서비스 제공 서버(300)는, 사용자 단말(100)로부터 QR 코드 스캔을 받고(S4100), 박스이름을 추가하도록 하며(S4200, S4300), 이미지 및 명칭을 추가요청 한 후(S4400) 등록이 완료되면(S4500), 추가적으로 위치정보를 함께 수집하여(S4600), QR 코드와 매핑하여 저장하게 된다(S4700).

그리고, 수납정리 서비스 제공 서버(300)는 사용자 단말(100)에서 지정한 지정 단말(400)로 저장된 수납물 정보를 공유하고(S4710), 사용자 단말(100) 또는 지정 단말(400)에서 QR 코드를 스캔하는 경우(S4800) 이에 대응하는 정보를 제공하고(S4820), QR 코드 스캔이 되지 않더라도 어느 박스에 어느 물품이 들어있는지에 대한 수납정보를 제공함으로써 체계적인 수납정리가 되도록 한다. 덧붙여서, 사용자 단말(100)에서 사용자의 발화로 음성인식이 되는 경우(S4920), 수납정리 서비스 제공 서버(300)는 질의를 해석하여 답변을 제공할 수도 있다(S4920).

상술한 단계들(S4100~S4920)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S4100~S4920)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 4의 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 3을 통해 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5는 본 발명의 일 실시예에 따른 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법을 설명하기 위한 동작 흐름도이다. 도 5를 참조하면, 수납정리 서비스 제공 서버는, 사용자 단말로부터 수납박스의 QR 코드, 수납박스 내에 포함된 수납물의 수납물 이미지 및 수납물 명칭을 입력받는다(S5100).

그리고, 수납정리 서비스 제공 서버는 QR 코드와 수납물 이미지 및 수납물 명칭을 매핑하여 저장하고(S5200), 사용자 단말에서 QR 코드가 스캔되는 경우 QR 코드에 기 매핑되어 저장된 수납물 이미지 및 수납물 명칭을 출력하도록 제어한다(S5300).

이와 같은 도 5의 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5를 통해 설명된 일 실시예에 따른 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

1. 수납정리 서비스 제공 서버에서 실행되는 수납정리 서비스 제공 방법에 있어서,
   사용자 단말로부터 수납박스의 QR 코드, 상기 수납박스 내에 포함된 수납물의 수납물 이미지, 수납물 명칭 및 상세설명을 입력받는 단계;
   상기 사용자 단말에서 적어도 하나의 지정 단말을 지정하는 경우, 상기 사용자 단말에서 입력한 데이터를 클라우드 기반으로 공유하는 단계;
   상기 QR 코드와 수납물 이미지, 수납물 명칭 및 상세설명을 매핑하여 저장하는 단계; 및
   상기 사용자 단말에서 상기 QR 코드가 스캔되는 경우 상기 QR 코드에 기 매핑되어 저장된 수납물 이미지, 수납물 명칭, 상세설명 및 수납물의 소유자에 대한 정보를 출력하도록 제어하는 단계;를 포함하고,
   상기 사용자 단말로부터 수납박스의 QR 코드, 상기 수납박스 내에 포함된 수납물의 수납물 이미지 및 수납물 명칭을 입력받는 단계는, 상기 사용자 단말의 위치 정보를 수집 또는 입력받아 상기 QR 코드와 매핑되도록 저장하는 단계를 포함하고,
   상기 적어도 하나의 지정 단말에서 상기 수납물 명칭 및 수납물 이미지를 추가, 변경 및 삭제하는 경우 로그를 기록하고 상기 QR 코드와 매핑되도록 업데이트하며,
   상기 QR 코드와 수납물 이미지 및 수납물 명칭을 매핑하여 저장하는 단계 이후에,
   상기 사용자 단말의 위치를 실시간으로 모니터링하는 단계;
   상기 모니터링된 사용자 단말의 위치를 기반으로 기 설정된 반경 내에 등록된 QR 코드가 존재할 때, 자동으로 상기 QR 코드에 기 매핑되어 저장된 수납물 명칭 및 수납물 이미지를 상기 사용자 단말에 표시하는 단계; 및
   상기 사용자 단말에서 카메라를 동작시킬 때, 상기 사용자 단말의 위치와 상기 수납박스의 위치 정보에 기반하여 증강현실 콘텐츠로 상기 수납물 이미지 및 수납물 명칭을 촬영된 수납박스 상에 오버레이하는 단계를 더 포함하는 것을 특징으로 하는 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 제 1 항에 있어서,
   상기 QR 코드와 수납물 이미지 및 수납물 명칭을 매핑하여 저장하는 단계 이후에,
   상기 사용자 단말에서 상기 수납물 명칭이 음성발화로 인식되는 경우, 상기 수납물 명칭에 기 매핑된 위치 정보를 음성으로 출력하도록 제어하는 단계;
   를 더 포함하는 것인, 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법.
   
6. 삭제
7. 제 1 항에 있어서,
   상기 QR 코드와 수납물 이미지 및 수납물 명칭을 매핑하여 저장하는 단계 이후에,
   상기 사용자 단말의 위치를 실시간으로 모니터링하는 단계;
   상기 모니터링된 사용자 단말의 위치를 기반으로 기 설정된 반경 내에 등록된 QR 코드가 복수개 존재하는 경우, 상기 복수의 QR 코드에 기 매핑되어 저장된 수납물 명칭을 리스트로 상기 사용자 단말로 제공하는 단계;
   상기 사용자 단말에서 상기 리스트에 포함된 수납물 명칭 중 어느 하나를 선택하는 경우, 선택된 상기 수납물 명칭에 기 매핑되어 저장된 수납물 이미지 및 위치 정보를 상기 사용자 단말로 전송하는 단계;
   를 더 포함하는 것인, 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법.
   
8. 제 1 항에 있어서,
   상기 사용자 단말로부터 수납박스의 QR 코드, 상기 수납박스 내에 포함된 수납물의 수납물 이미지 및 수납물 명칭을 입력받는 단계 이후에,
   상기 수납물 이미지를 기 구축된 인공지능 알고리즘으로 인식하여 기 저장된 태그를 태깅하는 단계;
   상기 태깅된 태그를 상기 수납물 명칭에 추가하여 업데이트하는 단계;
   를 더 포함하는 것인, 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법.
   
9. 삭제
10. 제 1 항에 있어서,
    상기 사용자 단말은 동일한 AP(Access Point)로 연결된 인공지능 스피커와 연결되고,
    상기 인공지능 스피커를 통하여 상기 수납물 명칭이 인식된 경우, 상기 인공지능 스피커를 통하여 상기 수납박스의 위치 정보를 출력하는 것인, 클라우드 기반 QR 코드 및 수납박스를 이용한 수납정리 서비스 제공 방법.

Images