KR102056696B1

KR102056696B1 - 사용자 행위 데이터를 생성하기 위한 단말 장치, 사용자 행위 데이터 생성 방법 및 기록매체

Info

Publication number: KR102056696B1
Application number: KR1020170148427A
Authority: KR
Inventors: 박영택; 전명중; 배석현; 김제민; 박현규; 방성혁
Original assignee: 숭실대학교 산학협력단
Priority date: 2017-11-09
Filing date: 2017-11-09
Publication date: 2019-12-17
Also published as: US20190138925A1; KR20190052752A; US11321622B2

Abstract

사용자 행위 데이터를 생성하기 위한 단말 장치, 사용자 행위 데이터 생성 방법 및 기록매체가 제공된다. 개시된 단말 장치는 컴퓨터에서 판독 가능한 명령을 저장하는 메모리부; 및 상기 명령을 실행하도록 구현되는 프로세서부:를 포함하되, 상기 프로세서부는, 사용자의 시간에 따른 행위와 관련된 로우 데이터를 이용하여 사용자의 의도들의 달성을 위한 확률 분포 모델을 산출하고, 상기 확률 분포 모델을 이용하여 상기 사용자의 의도들을 구성하는 복수의 행위들의 순서를 정렬한 시 계열 데이터인 사용자 행위 데이터를 생성한다.

Description

사용자 행위 데이터를 생성하기 위한 단말 장치, 사용자 행위 데이터 생성 방법 및 기록매체{Terminal device for generating user behavior data, Method for generating user behavior data and recording medium}

본 발명의 실시예들은 머신 러닝 모델의 생성 및 통계 분석에 관련된 연구에서의 실험용 벤치마크 데이터 생성 등에 사용될 수 있는 사용자 행위 데이터를 생성하기 위한 단말 장치, 사용자 행위 데이터 생성 방법 및 기록매체에 관련된 것이다.

본 발명은 SW컴퓨팅산업원천기술개발사업(SW)의 일환으로 출원된 특허이며, 관련 사항은 아래와 같다.

부처명: 미래창조과학부

전담기관: 정보통신기술연구진흥센터

연구과제명: 고령 사회에 대응하기 위한 실환경 휴먼케어 로봇 기술 개발

연구기관(주관기관): ETRI(한국전자통신연구원)

연구기관(위탁기관): 숭실대학교 산학협력단, 한국과학기술원, 한국과학기술연구원, 전자부품연구원, (주) 유진로봇, (주) 써로마인드로보틱스, (주) 마인즈랩

과제번호: 2017-0-00162

데이터 처리 및 분석을 위한 기계 학습 알고리즘의 발전과 하드웨어 기술의 수준의 증대에 따라, 다양한 도메인 데이터에 대한 분석 및 결과 예측 연구들이 수행되고 있다. 일반적으로 연구 결과물에 대한 검증을 위해서 벤치마크 데이터를 활용한 성능 평가가 이루어진다. 벤치마크 데이터는 다수의 실험자로부터 사용하기 적합하다고 인정받는 데이터로 기계학습 모델 성능 비교의 중요한 잣대로 사용된다.

한편, 시 계열이 아닌 테이블 형태의 데이터 생성은 기존에도 많은 연구들이 존재해왔다. 이러한 테이블 데이터들은 시간적 순서에 대한 정보를 갖지 않고, 하나의 라인의 데이터가 하나의 레이블을 갖는다. 표 1은 시 계열이 아닌 테이블 형태의 데이터에 대한 예시이다.

포착 물체	장소	행위	발생 의도
그릇	부엌	앉다	식사
식탁	부엌	숟가락으로 떠먹다	식사
오븐	부엌	서다	식사

즉, 표 1은 '식사'라는 발생 의도에 대한 테이블 데이터이다. 이러한 테이블 데이터는 각각의 열 인스턴스(row instance)들이 '식사'라는 의도 발생을 구성하는 설명이 된다. 테이블 데이터는 '식사'라는 발생 의도를 구성하는 시간적 과정들에 대해 설명하지 못하고 오직 하나의 시점에서의 포착 정보를 통해 의도를 구성한다. 표 1의 데이터의 각각의 하나의 식사라는 의도를 구성하는 독립적인 정보로 사용된다.

이 때, 종래의 데이터 생성기들은 시 계열이 고려되지 않은 고정 시점에 해당하는 데이터를 생성한다. 그러나, 사람의 의도를 구성하는 데이터의 경우, 하나의 시점에서 포착되는 데이터보다 시간의 흐름에 따라 포착되는 연속적인 데이터가 보다 많은 패턴 정보를 포함할 수 있다. 시 계열을 고려하지 않고 데이터 분류에 유용한 속성을 분류기로 선정함으로써 좋은 분류 패턴을 만드는 것 역시 가능하지만, 시 계열에 대한 고려는 데이터 속성 선정과는 독립적인 방법론으로서 병행 가능하다.

상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 시 계열 차원을 부여하여 사용자 데이터를 생성하는 단말 장치, 사용자 데이터 생성 방법 및 그 기록매체를 제안하고자 한다.

본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.

상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 컴퓨터에서 판독 가능한 명령을 저장하는 메모리부; 및 상기 명령을 실행하도록 구현되는 프로세서부:를 포함하되, 상기 프로세서부는, 사용자의 시간에 따른 행위와 관련된 로우 데이터를 이용하여 사용자의 의도들의 달성을 위한 확률 분포 모델을 산출하고, 상기 확률 분포 모델을 이용하여 상기 사용자의 의도들을 구성하는 복수의 행위들의 순서를 정렬한 시 계열 데이터인 사용자 행위 데이터를 생성하는 것을 특징으로 하는 단말 장치가 제공된다.

상기 사용자 행위 데이터는, 상기 사용자의 의도들을 구성하는 복수의 행위들이 시간 순서대로 정렬되어 있는 구조를 가지는 복수의 서브 데이터들을 포함하되, 상기 복수의 서브 데이터들 각각에 포함된 정보는 시간 정보, 상기 사용자의 위치 정보 및 상기 사용자의 행위 정보를 포함할 수 있다.

상기 복수의 행위들 각각은 제1 행위 또는 제2 행위 중 어느 하나의 타입이되, 상기 제1 행위는 상기 사용자기 위치하는 장소들의 이동과 관련된 행위이고, 상기 제2 행위는 상기 의도를 달성하기 위한 행위이며, 상기 의도들 각각은, 상기 제1 행위를 하나 이상 수행하여 하나 이상의 장소를 이동한 후에, 상기 하나 이상 중 최후의 장소에서 상기 제2 행위를 하나 이상 수행하여 달성될 수 있다.

상기 확률 분포 모델은, 시간을 기준으로 한 상기 의도의 발생 확률의 정보와 대응되는 제1 확률 분포 모델과, 상기 최후의 장소에서의 시간을 기준으로 한 상기 하나 이상의 제2 행위의 발생 정보와 대응되는 제2 확률 분포 모델을 포함할 수 있다.

상기 프로세서부는, 상기 제1 확률 분포 모델을 이용하여 상기 의도들의 순서를 산출하고, 상기 산출된 의도들의 순서에 따라서 상기 의도들 별로 동선을 산출하고, 상기 동선에 따른 하나 이상의 장소의 이동과 관련된 상기 하나 이상의 제1 행위를 산출하고, 상기 제2 확률 분포 모델을 이용하여 상기 의도들 별로 상기 동선의 최후의 장소에서 수행되는 상기 하나 이상의 제2 행위를 산출하고, 상기 의도들 모두에 대한 상기 동선에 따른 상기 하나 이상의 장소, 상기 동선에 따른 상기 하나 이상의 제1 행위 및 상기 최후의 장소에서의 하나 이상의 제2 행위를 이용하여 상기 사용자 행위 데이터를 생성할 수 있다.

상기 프로세서부는, 상기 산출된 의도들의 순서가 제1 휴리스틱 룰을 만족시키지 못하는 경우, 상기 의도들의 순서를 재산출하되, 상기 제1 휴리스틱 룰은 기 설정된 룰로서, 상기 산출된 의도들의 순서가 사람이 수행하는 의도들의 순서로 볼 수 없다는 룰일 수 있다.

제5항에 있어서, 상기 프로세서부는, 상기 산출된 하나 이상의 제2 행위가 제2 휴리스틱 룰을 만족시키지 못하는 경우, 상기 하나 이상의 제2 행위를 재산출하되, 상기 제2 휴리스틱 룰은 기 설정된 룰로서, 상기 하나 이상의 제2 행위의 수행 순서가 사람이 수행한 행위로 볼 수 없다는 룰일 수 있다.

상기 프로세서부는, 상기 동선의 최초의 장소, 상기 동선의 최후의 장소 및 상기 동선에 따른 하나 이상의 장소의 이동 경로를 산출하여 상기 의도들 별로 동선을 산출할 수 있다.

상기 프로세서부는, 그래프 형태의 가상 맵을 이용하여 상기 의도들 별로 상기 하나 이상의 장소의 이동 경로를 산출하되, 상기 가상 맵은 상기 사용자가 위치하는 장소들과 대응되는 노드들 및 상기 노드들 각각을 연결하는 에지를 포함하고, 상기 에지는 하나의 노드에서 다른 하나의 노드로 이동할 확률이 에지값으로 부여될 수 있다.

상기 의도들 별 동선 중 i번째 동선의 최초의 장소는 상기 의도들 별 동선 중 i-1번째 동선의 최후의 장소와 대응되고, 상기 프로세서부는, 최후의 장소의 산출 확률이 부여되어 있는 후보 장소들의 확률적 랜덤 선택을 통해 상기 의도들 별로 상기 동선의 최후의 장소를 산출하고,

상기 맵 상의 모든 노드들을 연결하는 에지의 에지값을 이용하여 상기 동선에 따른 하나 이상의 장소의 이동 경로를 산출할 수 있다.

상기 프로세서부는, 상기 맵 상의 노드들을 연결하는 에지의 에지값의 확률적 랜덤 선택을 통해 상기 하나 이상의 장소의 이동 경로를 산출할 수 있다.

또한, 본 발명의 다른 실시예에 따르면, 프로세서부가 포함된 단말 장치에서 수행되는 사용자 행위 데이터 생성 방법에 있어서, 사용자의 시간에 따른 행위와 관련된 로우 데이터를 이용하여 사용자의 의도들의 달성을 위한 확률 분포 모델을 산출하는 단계; 및 상기 확률 분포 모델을 이용하여 상기 사용자의 의도들을 구성하는 복수의 행위들의 순서를 정렬한 시 계열 데이터인 상기 사용자 행위 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 사용자 행위 데이터 생성 방법이 제공된다.

또한, 본 발명의 또 다른 실시예에 따르면, 사용자 데이터 생성을 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서, 사용자의 시간에 따른 행위와 관련된 로우 데이터를 이용하여 사용자의 의도들의 달성을 위한 확률 분포 모델을 산출하는 단계; 및 상기 확률 분포 모델을 이용하여 상기 사용자의 의도들을 구성하는 복수의 행위들의 순서를 정렬한 시 계열 데이터인 상기 사용자 행위 데이터를 생성하는 단계;를 수행하는 프로그램이 기록된 기록매체가 제공된다.

본 발명에 따른 단말 장치, 사용자 데이터 생성 방법 및 그 기록매체는 행위 패턴 데이터를 사용하는 머신 러닝 모델의 생성 및 통계 분석에 관련된 연구에서의 실험용 벤치마크 데이터 생성 등에 사용될 수 있다.

또한, 본 발명에 따른 단말 장치, 사용자 데이터 생성 방법 및 그 기록매체는 행위 패턴에 관련된 기계 학습 기반 예측 모델의 학습 데이터로 사용할 수 있으며, 기계 학습 모델의 학습에 필요한 데이터 인스턴스의 양과 시 계열의 길이를 사용자가 원하는 형태와 개수만큼 구축할 수 있다.

또한, 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다.
도 2는 본 발명의 단말 장치에서 수행되는 동작의 개념을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 단말 장치의 동작인 사용자 행위 데이터 생성 방법의 흐름도를 도시한 도면이다.
도 4는 본 발명에 따른 제1 확률 분포 모델의 일례를 도시한 도면이다.
도 5는 본 발명에 따른 제2 확률 분포 모델의 일례를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 사용자 행위 데이터 생성 방법 중 하나의 단계의 세부 단계를 도시한 도면이다.
도 7은 본 발명에 따른 가상 맵의 일례를 도시한 도면이다.
도 8은 본 발명에 따른 스크립트 데이터 및 사용자 행위 데이터의 일례를 도시한 도면이다.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술한다.

도 1은 본 발명의 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 단말 장치(100)는 입력부(110), 메모리부(120) 및 프로세서(130)를 포함한다. 이하, 각 구성 요소 별로 그 기능을 상세하게 설명하기로 한다.

입력부(110)는 로우 데이터(raw data)를 입력받는다.

메모리부(120)는 휘발성 및/또는 비휘발성 메모리일 수 있고, 단말 장치(100)의 적어도 하나의 다른 구성요소에 관계된 명령어 또는 데이터를 저장한다. 특히, 메모리부(120)는 시 계열 구조의 사용자 행위 데이터를 생성하는 프로그램과 관련된 명령 또는 데이터를 저장할 수 있다.

프로세서부(130)는 중앙처리장치, 애플리케이션 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 예를 들면, 프로세서부(130)는 단말 장치(100)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 특히, 프로세서부(130)는 프로그램의 실행에 관계된 명령을 실행할 수 있다.

이하, 도 2 및 도 8를 참조하여, 프로세서부(130)을 중심으로 수행되는 단말 장치(100)의 동작을 보다 상세하게 설명한다.

도 2는 본 발명의 단말 장치(100)에서 수행되는 동작의 개념을 설명하기 위한 도면이다.

도 2를 참조하면, 단말 장치(100)에서 생성되는 사용자 행위 데이터는 지각 시퀀스(Percept Sequence) 데이터로서, 사용자의 행위와 관련된 로우 데이터를 이용하여 확률 분포 모델(일례로, 혼합 가우시안 확률 분포 모델)을 생성하고, 이를 통해 구축되는 특정 시간에 속하는 행위 의도와 관련된 테이블 형태의 시 계열 데이터를 의미한다.

사용자 행위 데이터는 사용자의 시간 별 이동 경로 정보를 포함하며, 실제 수집된 사용자의 활동을 기반으로 미리 정의된 지도 내지 도면 상의 위치 정보로 수정하여 가중치 그래프 구조 구축을 통해 생성한 시 계열 형태의 정보이다.

따라서, 최종적으로 생성되는 사용자 행위 데이터는 테이블 형태의 데이터로서, 사용자의 의도들을 구성하는 복수의 행위들이 시간 순서대로 정렬되어 있는 구조를 가지는 복수의 서브 데이터들을 포함하며, 복수의 서브 데이터들 각각은 테이블의 행과 대응될 수 있다. 그리고, 서브 데이터는 시간 정보, 사용자의 위치 정보 및 사용자의 행위 정보, 사용자가 포착한 물체 정보 등이 포함된다.

이 때, 단말 장치(100)는 동일한 동작을 통해 사용자 행위 데이터를 복수개 생성할 수 있으며, 복수개의 사용자 행위 데이터는 행위 패턴 데이터를 사용하는 머신 러닝 모델을 생성하기 위한 입력 데이터, 통계 분석에 관련된 연구에서의 실험용 벤치마크 데이터를 생성하기 위한 입력 데이터로 사용될 수 있다.

도 3는 본 발명의 일 실시예에 따른 단말 장치(100)의 동작인 사용자 행위 데이터 생성 방법의 흐름도를 도시한 도면이다. 이하, 각 구성 요소 별로 그 기능을 상세하게 설명하기로 한다.

단계(310)에서, 입력부(110)는 사용자의 시간에 따른 행위와 관련된 로우 데이터를 입력받는다.

단계(320)에서는 프로세서부(130)는 로우 데이터를 이용하여 사용자의 의도들의 달성을 위한 확률 분포 모델을 산출한다.

여기서, 의도(intention)는 사용자가 하고자 하는 생각이나 계획을 의미한다. 일례로, 사용자의 의도는 집에서 수행되는 식사, TV 시청, 청소, 커뮤니케이션, 독서 등일 수 있다. 의도는 복수의 행위를 통해 달성될 수 있으며, 복수의 행위들 각각은 제1 행위 또는 제2 행위 중 어느 하나의 타입일 수 있다.

보다 상세하게, 제1 행위는 사용자기 위치하는 장소들의 이동과 관련된 행위이고, 제2 행위는 상기 의도를 달성하기 위한 행위일 수 있다. 그리고, 의도는 제1 행위를 하나 이상 수행하여 하나 이상의 장소를 이동한 후에, 상기한 하나 이상 중 최후의 장소에서 제2 행위를 하나 이상 수행하여 달성될 수 있다.

그리고, 확률 분포 모델은, 시간을 기준으로 한 의도의 발생 확률의 정보와 대응되는 제1 확률 분포 모델 및 의도에 대한 하나 이상의 장소 중 최후의 장소에서의 시간을 기준으로 한 하나 이상의 제2 행위의 발생 정보와 대응되는 제2 확률 분포 모델과 대응될 수 있다.

도 4에서는 본 발명에 따른 제1 확률 분포 모델의 일례를 도시하고 있고, 도 5에서는 본 발명에 따른 제2 확률 분포 모델의 일례를 도시하고 있다.

도 4를 참조하면, 제1 확률 분포 모델은 가우시안 확률 분포 모델로서, 기 설정된 시간 동안 복수개의 의도들인 "식사, TV 시청, 청소, 커뮤니케이션, 독서"가 발생되는 확률의 정보를 의미한다. 그리고, 도 5를 참조하면, 제2 확률 분포 모델 역시 가우시안 확률 분포 모델로서, 기 설정된 시간 동안 식사와 관련된 복수개의 장소 중 최후의 장소에서의 복수개의 제2 행위들인 "수저/포크로 음식 집어먹기, 칼로 도마 위 음식 자르기, 가스레인지 음식 데우기, 냉장고 음식 넣고 꺼내기, 콩나물/시금치/콩 다듬기, 이동하기, 물/음료 컵에 따르기, 물/음료 컵에 마시기"가 발생되는 확률의 정보를 의미한다.

단계(330)에서, 프로세서부(130)는 상기에서 설명한 확률 분포 모델을 이용하여 사용자 행위 데이터를 생성한다. 이 때, 사용자 행위 데이터는 앞서 언급한 바와 같이 사용자의 의도들을 구성하는 복수의 행위들의 순서를 정렬한 시 계열 데이터이다.

도 6은 단계(330)의 세부 단계를 도시한 도면이다. 도 6을 참조하여 단계(330)에서 수행되는 프로세서부(130)의 동작을 보다 상세하게 설명한다.

먼저, 단계(331)에서, 프로세서부(130)는 제1 확률 분포 모델을 이용하여 의도들의 순서를 산출한다.

이 때, 의도들의 순서는 기 설정된 시간 동안 시간 순서대로 발생하는 의도들의 시퀀스를 의미한다. 일례로, 7시 ~ 13시까지의 시간 동안 집에 위치하는 사용자의 의도들의 순서는 "식사 → TV 시청 → 독서 → 식사"일 수 있다.

본 발명의 일 실시예에 따르면, 프로세서부(130)는 제1 확률 분포 모델 상에서의 특정 시간에서 발생하는 의도들의 확률에 대한 확률적 랜덤 선택을 통해 특정 시간에서의 의도를 산출할 수 있다.

일례로서, 도 4를 참조하면, 500 시간에서는 "청소" 의도의 확률값은 0.0155, "커뮤니케이션" 의도의 확률값은 0.004, "식사" 의도의 확률값은 0.002이며, 프로세서부(130)는 "청소" 의도의 확률값, "커뮤니케이션" 의도의 확률값, "식사" 의도의 확률값 각각에 대한 확률적 랜덤 선택을 통해 500 시간에서의 의도를 산출할 수 있다. 이와 같은 동작은 특정 시간 단위 별로 수행될 수 있다.

한편, 의도들의 순서를 산출함에 있어, 중복 및 의미적 모순 사례가 발생할 수 있기 때문에, 본 발명의 경우 제1 휴리스틱 룰(Heuristic Rule)을 정의하여 모순을 방지할 수 있다. 이 때, 제1 휴리스틱 룰은 기 설정된 룰로서, 상기 산출된 의도들의 순서가 사람이 수행하는 의도들의 순서로 볼 수 없다는 룰이다.

일례로서, 중복된 의도들이 연결되어 발생하는 경우는 휴리스틱 룰을 만족하지 못한다. 이는 이전 단계의 의도가 중복 발생 시점까지 이어져오고 있는 것이다. 이 경우, 프로세서부(130)는 의도에 대한 중복 표기를 소거한다. 예를 들어, t₁ 시점에서 식사 의도가 발생하고 t₂ 시점에서도 식사가 발생한다면, 이를 "식사 → 식사"로 표기하지 않고 "식사"로 압축하여 표현한다.

다른 일례로서, 논리적으로 모순인 의도 발생이 일어나는 경우, 프로세서부(130)는 의도들의 순서를 재산출한다. 예를 들어, "식사 → 청소 → 식사"와 같이 "식사"의 의도가 정해진 시간 대에 두 번 발생하는 경우 논리적으로 모순되는 경우이다. 이 경우, 프로세서부(130)는 의도들의 순서를 재산출하여 모순이 생기지 않는 경우의 의도들의 순서만을 산출한다.

다음으로, 단계(332)에서, 프로세서부(130)는 산출된 의도들의 순서에 따라서 의도들 별로 동선을 산출하고, 동선에 따른 하나 이상의 장소의 이동과 관련된 하나 이상의 제1 행위를 산출한다. 이 때, 제1 행위는 "걷다", "서 있다" 등과 대응된다.

본 발명의 일 실시예에 따르면, 프로세서부(130)는 동선의 최초의 장소, 동선의 최후의 장소 및 동선에 따른 하나 이상의 장소의 이동 경로를 산출하여 의도들 별 동선을 산출할 수 있다. 의도들 별 동선 각각은 동일한 프로세서부(130)의 동작을 통해 산출되며, 하나의 의도에 대한 동선의 산출 동작을 설명하면 다음과 같다.

프로세서부(130)는 먼저 동선의 최후의 장소를 선택한다. 이 때, 프로세서부(130)는 동선의 최후의 장소로 적합한 후보 장소들을 검색하고, 후보 장소들 중 하나의 장소를 동선의 최후의 장소로 산출할 수 있다.

본 발명의 일 실시예에 따르면, 후보 장소들은 최후의 장소의 산출 확률이 부여되어 있으며, 프로세서부(130)는 후보 장소들의 확률적 랜덤 선택을 통해 동선의 최후의 장소를 산출할 수 있다. 예를 들어, "식사"의 의도의 경우, '주방(60%)', '거실(20%)', '안방(20%)'이 후보 장소들이 될 수 있으며, 프로세서부(130)는 '주방(60%)', '거실(20%)', '안방(20%)'에 대한 확률적 랜덤 선택을 통해 동선의 최후의 장소를 산출할 수 있다.

그 후, 프로세서부(130)는 동선의 최초의 장소를 선택한다. 이 때, 의도들 별 동선 중 첫번째 의도의 최초의 장소는 모든 장소들에 대한 랜덤 선택을 통해 선택되며, 상기 의도들 별 동선 중 i(2 이상의 정수)번째 동선의 최초의 장소는 의도들 별 동선 중 i-1번째 동선의 최후의 장소와 대응된다. 즉, 첫번째 의도의 최후의 장소는 두번째 의도의 최초의 장소이고, 두번째 의도의 최후의 장소는 세번째 의도의 최초의 장소가 되며, 이는 나머지 의도들에 대해 동일하게 적용된다.

그리고, 프로세서부(130)는 최초의 장소 및 최후의 장소의 정보와 함께 그래프 형태의 가상 맵을 이용하여 동선을 구성하는 하나 이상의 장소의 이동 경로를 산출한다.

도 7에서는 가상 맵의 일례를 도시하고 있다. 도 7을 참조하면, 가상 맵은 실제의 지도와 대응되는 것으로서, 사용자가 위치하는 장소들과 대응되는 노드들 및 상기한 노드들 각각을 연결하는 에지로 구성된다. 이 때, 에지에는 에지값이 부여되며, 에지값은 하나의 노드에서 다른 하나의 노드로 이동할 확률을 의미한다. 일례로, "Living Room Entrance"을 기준으로 "Living Room"으로 이동할 확률은 50%이고, "Entrance Aisle"로 이동할 확률은 50%이다.

따라서, 프로세서부(130)는 최초의 장소에서 최후의 장소로 이동하기 위한 하나 이상의 장소의 이동 경로를 산출한다. 이 때, 동선에 따른 하나 이상의 장소는 최초의 장소 및 최후의 장소를 포함한다. 여기서, 프로세서부(130)는 맵 상의 모든 노드들을 연결하는 에지의 에지값을 이용하여 동선에 따른 하나 이상의 장소의 이동 경로를 산출할 수 있다. 이 때, 프로세서부(130)는 맵 상의 노드들을 연결하는 에지의 에지값의 확률적 랜덤 선택을 통해 하나 이상의 장소의 이동 경로를 산출할 수 있다.

계속하여, 단계(333)에서, 프로세서부(130)는 제2 확률 분포 모델을 이용하여 의도들 별로 동선의 최후의 장소에서 수행되는 하나 이상의 제2 행위를 산출한다.

즉, 의도는 동선을 구성하는 하나 이상의 장소 중 최후의 장소에서 수행되며, 최후의 장소에서는 의도를 달성하기 위한 많은 행위인 제2 행위들이 수행된다. 일례로, "식사"의 의도를 수행하기 위해, 최후의 장소인 "주방"에서는 수저/포크로 음식 집어먹기, 냉장고 음식 넣고 꺼내기 등의 제2 행위들이 수행된다. 따라서, 프로세서부(130)는 최후의 장소에서 수행되는 하나 이상의 제2 행위를 산출한다.

본 발명의 일 실시예에 따르면, 프로세서부(130)는 제2 확률 분포 모델 상에서의 특정 시간에서 발생하는 제2 행위들의 확률에 대한 확률적 랜덤 선택을 통해 특정 시간에서의 제2 행위를 산출할 수 있다.

일례로서, 도 5를 참조하면, 제2 확률 분포 모델에서는 복수개의 제2 행위인 "수저/포크로 음식 집어먹기, 칼로 도마 위 음식 자르기, 가스레인지 음식 데우기, 냉장고 음식 넣고 꺼내기, 콩나물/시금치/콩 다듬기, 이동하기, 물/음료 컵에 따르기, 물/음료 컵에 마시기"에 대한 발생 확률이 시간을 기준으로 부여되어 있으며, 프로세서부(130)는 복수개의 제2 행위들 각각에 대한 확률적 랜덤 선택을 통해 각각의 시간에서의 제2 행위를 산출할 수 있다. 이와 같은 동작은 특정 시간 단위 별로 수행될 수 있다.

한편, 하나 이상의 제2 행위의 순서를 산출함에 있어, 중복 및 의미적 모순 사례가 발생할 수 있기 때문에, 앞서 설명한 바와 유사하게 본 발명은 제2 휴리스틱 룰을 정의하여 모순을 방지할 수 있다. 이 때, 제2 휴리스틱 룰 역시 기 설정된 룰로서, 상기 하나 이상의 제2 행위의 순서가 사람이 수행하는 행위들의 순서로 볼 수 없다는 룰이다. 이는 앞서 설명한 제1 휴리스틱 룰과 유사하므로, 상세한 설명은 생략하기로 한다.

마지막으로, 단계(334)에서, 프로세서부(130)는 의도들 모두에 대한 동선에 따른 하나 이상의 장소, 동선에 따른 상기 하나 이상의 제1 행위 및 최후의 장소에서의 하나 이상의 제2 행위를 이용하여 사용자 행위 데이터를 생성한다.

보다 상세하게, 프로세서부(130)는 상기한 정보들을 이용하여 사용자 행위 데이터의 중간 생성 데이터인 스크립트 데이터를 생성하고, 생성된 스크립트 데이터를 이용하여 테이블 형태의 시 계열 데이터인 사용자 행위 데이터를 생성할 수 있다. 즉, 프로세서부(130)는 스크립트 데이터를 한 줄씩 독출하고, 이에 해당하는 시 계열 테이블 형태의 사용자 행위 데이터를 생성할 수 있다.

도 8에서는 스크립트 데이터(도 8의 (a)) 및 사용자 행위 데이터(도 8의 (b))의 일례를 도시하고 있다.

도 8을 참조하면, 스크립트 데이터의 포맷은 S_ID(상대 시간), 시, 분, 사람 ID, 행위, 자세, 장소로 구성된다. 스크립트 데이터의 각 행의 데이터는 스크립트 데이터의 컨버터를 통해 테이블 형태의 사용자 행위 데이터로 변환된다.

그리고, 테이블 형태의 사용자 행위 데이터는 시간에 대한 정보와 사물, 행위와 자세, 위치에 대한 정보로 구성된다. 이 때, 'TimeStep'은 하나의 의도의 시작부터 끝까지의 시간 정보를 단위 시간(일례로, 초 단위)로 측정한 정보를 의미하고, 'Hour'는 스크립트 데이터로부터 받아온 시작 시간 정보로부터 시간이 소요됨에 따라 변화하는 시간 정보를 시 단위로 측정한 정보를 의미한다. 그리고, 'User ID'는 사용자의 ID를 의미하고, 'Main Object'는 의도 발생 시 포착되는 동선과 행위 정보에 따라 검출되는 사물에 대한 정보를 의미한다. 이 때, 사물은 가상의 가내 도면 구조에서 특정 장소들에 의존적으로 검출된다. 또한, 'Primitive Action'는 의도 내에서 발생하는 행위 내지 자세에 관한 정보이고, 'Location'는 가상 공간 상의 2차원 좌표(x,y) 및 이에 해당하는 특정 위치에 대한 정보를 의미한다.

요컨대, 본 발명은 사용자의 하루 동안의 행위 패턴을 분석하여 확률 분포 모델(일례로, 혼합 가우시안 확률 분포 모델)을 생성하고, 이를 통해 하루 중 선택된 특정 구간의 시간대에 해당하는 행위 및 의도 순서를 구성하는 데이터를 자동으로 생성한다. 장소와 관련된 순서(시퀀스) 데이터의 경우 사용자들의 장소의 이동 경로에서 공통된 부분을 취합한 후, 이를 미리 정해둔 가상의 맵 위에서의 이동 경로로 재구성하여 동선에 대한 정보를 생성한다. 또한, 본 발명에서 생성되는 사용자 행위 데이터에는 의도 정보, 장소 정보, 각 시점에서 발생하는 행위 정보, 물체에 대한 정보가 포함된다.

또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims

컴퓨터에서 판독 가능한 명령을 저장하는 메모리부; 및
상기 명령을 실행하도록 구현되는 프로세서부:를 포함하되,
상기 프로세서부는, 사용자의 시간에 따른 행위와 관련된 로우 데이터를 이용하여 사용자의 의도들의 달성을 위한 확률 분포 모델을 산출하고, 상기 확률 분포 모델을 이용하여 상기 사용자의 의도들을 구성하는 복수의 행위들의 순서를 정렬한 시 계열 데이터인 사용자 행위 데이터를 생성하며,
상기 복수의 행위들 각각은 제1 행위 또는 제2 행위 중 어느 하나의 타입이되, 상기 제1 행위는 상기 사용자가 위치하는 장소들의 이동과 관련된 행위이고, 상기 제2 행위는 상기 의도를 달성하기 위한 행위이며,
상기 의도들 각각은, 상기 제1 행위를 하나 이상 수행하여 하나 이상의 장소를 이동한 후에, 상기 하나 이상 중 최후의 장소에서 상기 제2 행위를 하나 이상 수행하여 달성되는 것을 특징으로 하는 단말 장치.
제1항에 있어서,
상기 사용자 행위 데이터는, 상기 사용자의 의도들을 구성하는 복수의 행위들이 시간 순서대로 정렬되어 있는 구조를 가지는 복수의 서브 데이터들을 포함하되,
상기 복수의 서브 데이터들 각각에 포함된 정보는 시간 정보, 상기 사용자의 위치 정보 및 상기 사용자의 행위 정보를 포함하는 것을 특징으로 하는 단말 장치.
삭제
제1항에 있어서,
상기 확률 분포 모델은, 시간을 기준으로 한 상기 의도의 발생 확률의 정보와 대응되는 제1 확률 분포 모델과, 상기 최후의 장소에서의 시간을 기준으로 한 상기 하나 이상의 제2 행위의 발생 정보와 대응되는 제2 확률 분포 모델을 포함하는 것을 특징으로 하는 단말 장치.
제4항에 있어서,
상기 프로세서부는,
상기 제1 확률 분포 모델을 이용하여 상기 의도들의 순서를 산출하고,
상기 산출된 의도들의 순서에 따라서 상기 의도들 별로 동선을 산출하고, 상기 동선에 따른 하나 이상의 장소의 이동과 관련된 상기 하나 이상의 제1 행위를 산출하고,
상기 제2 확률 분포 모델을 이용하여 상기 의도들 별로 상기 동선의 최후의 장소에서 수행되는 상기 하나 이상의 제2 행위를 산출하고,
상기 의도들 모두에 대한 상기 동선에 따른 상기 하나 이상의 장소, 상기 동선에 따른 상기 하나 이상의 제1 행위 및 상기 최후의 장소에서의 하나 이상의 제2 행위를 이용하여 상기 사용자 행위 데이터를 생성하는 것을 특징으로 하는 단말 장치.
제5항에 있어서,
상기 프로세서부는, 상기 산출된 의도들의 순서가 제1 휴리스틱 룰을 만족시키지 못하는 경우, 상기 의도들의 순서를 재산출하되,
상기 제1 휴리스틱 룰은 기 설정된 룰로서, 상기 산출된 의도들의 순서가 사람이 수행하는 의도들의 순서로 볼 수 없다는 룰인 것을 특징으로 하는 단말 장치.
제5항에 있어서,
상기 프로세서부는, 상기 산출된 하나 이상의 제2 행위가 제2 휴리스틱 룰을 만족시키지 못하는 경우, 상기 하나 이상의 제2 행위를 재산출하되,
상기 제2 휴리스틱 룰은 기 설정된 룰로서, 상기 하나 이상의 제2 행위의 수행 순서가 사람이 수행한 행위로 볼 수 없다는 룰인 것을 특징으로 하는 단말 장치.
제5항에 있어서,
상기 프로세서부는, 상기 동선의 최초의 장소, 상기 동선의 최후의 장소 및 상기 동선에 따른 하나 이상의 장소의 이동 경로를 산출하여 상기 의도들 별로 동선을 산출하는 것을 특징으로 하는 단말 장치.
◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈

제8항에 있어서,
상기 프로세서부는, 그래프 형태의 가상 맵을 이용하여 상기 의도들 별로 상기 하나 이상의 장소의 이동 경로를 산출하되,
상기 가상 맵은 상기 사용자가 위치하는 장소들과 대응되는 노드들 및 상기 노드들 각각을 연결하는 에지를 포함하고, 상기 에지는 하나의 노드에서 다른 하나의 노드로 이동할 확률이 에지값으로 부여되는 것을 특징으로 하는 단말 장치.
◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈

제9항에 있어서,
상기 의도들 별 동선 중 i번째 동선의 최초의 장소는 상기 의도들 별 동선 중 i-1번째 동선의 최후의 장소와 대응되고,
상기 프로세서부는,
최후의 장소의 산출 확률이 부여되어 있는 후보 장소들의 확률적 랜덤 선택을 통해 상기 의도들 별로 상기 동선의 최후의 장소를 산출하고,
상기 맵 상의 모든 노드들을 연결하는 에지의 에지값을 이용하여 상기 동선에 따른 하나 이상의 장소의 이동 경로를 산출하는 것을 특징으로 하는 단말 장치.
◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈

제10항에 있어서,
상기 프로세서부는, 상기 맵 상의 노드들을 연결하는 에지의 에지값의 확률적 랜덤 선택을 통해 상기 하나 이상의 장소의 이동 경로를 산출하는 것을 특징으로 하는 단말 장치.
프로세서부가 포함된 단말 장치에서 수행되는 사용자 행위 데이터 생성 방법에 있어서,
사용자의 시간에 따른 행위와 관련된 로우 데이터를 이용하여 사용자의 의도들의 달성을 위한 확률 분포 모델을 산출하는 단계; 및
상기 확률 분포 모델을 이용하여 상기 사용자의 의도들을 구성하는 복수의 행위들의 순서를 정렬한 시 계열 데이터인 상기 사용자 행위 데이터를 생성하는 단계;를 포함하되,
상기 복수의 행위들 각각은 제1 행위 또는 제2 행위 중 어느 하나의 타입이되, 상기 제1 행위는 상기 사용자가 위치하는 장소들의 이동과 관련된 행위이고, 상기 제2 행위는 상기 의도를 달성하기 위한 행위이며,
상기 의도들 각각은, 상기 제1 행위를 하나 이상 수행하여 하나 이상의 장소를 이동한 후에, 상기 하나 이상 중 최후의 장소에서 상기 제2 행위를 하나 이상 수행하여 달성되는 것을 특징으로 하는 사용자 행위 데이터 생성 방법.
삭제