JP7501065B2 - 行動管理装置、行動管理プログラム、行動管理システム及び行動分析装置 - Google Patents

Description

本発明は、行動管理装置、行動管理プログラム、行動管理システム及び行動分析装置に関する。

従来、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）技術の進歩により、ＩｏＴに対応した機器を用いて、様々な情報を取得することが可能になっている。例えば、店舗内等の追跡領域内で移動する人物を追跡する追跡システムが提案されている（例えば、特許文献１）。

特開２０１１－２８９６号公報

特許文献１に記載の技術を用いて人物を追跡することで、例えば、人物が商品の購入に至る経緯や、未購入のまま退出に至る経緯を把握することができ、取得した情報をマーケティングに活用することができる。
しかし、更なる効果的なマーケティングを行うためには、人物の移動に関する情報以外の更なる情報が必要であると考えた。

本発明は、効果的なマーケティングを行うことを可能にする行動管理装置、行動管理プログラム、行動管理システム及び行動分析装置を提供することを目的とする。

本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、所定空間内に設置された１以上のセンシング装置からセンシング情報を受信するセンシング情報受信手段と、前記センシング情報受信手段が受信した前記センシング情報に基づいて前記所定空間内の人物を特定し、特定した前記人物及び同時に特定した人物の組合せに関する特徴となる属性情報を推定する人物特定手段と、前記人物特定手段により特定した前記人物の言動を示す言動情報を、前記センシング情報を用いて取得する言動情報取得手段と、前記人物の購買に係る情報を取得する購買情報取得手段と、前記人物特定手段により取得した前記属性情報と、前記言動情報取得手段により取得した前記言動情報と、前記購買情報取得手段により取得した前記購買に係る情報とを関連付けて行動データベースに記憶する情報記憶手段と、を備える、行動管理装置である。
第２の発明は、第１の発明の行動管理装置において、前記人物特定手段が特定した前記人物に対して一意の識別情報を付与する識別情報付与手段を備え、前記情報記憶手段は、前記言動情報に、前記識別情報をさらに関連付ける、行動管理装置である。
第３の発明は、第１の発明又は第２の発明の行動管理装置において、前記人物特定手段は、特定した前記人物の性別及び年齢に関する前記属性情報をさらに取得する、行動管理装置である。
第４の発明は、第１の発明から第３の発明までのいずれかの行動管理装置において、特定人物を識別可能な特定人物情報を記憶する特定人物記憶部を備え、前記人物特定手段は、前記センシング情報受信手段が受信した前記センシング情報と、前記特定人物記憶部の前記特定人物情報とを用いて未知の人物を特定する、行動管理装置である。
第５の発明は、第４の発明の行動管理装置において、前記センシング情報受信手段が受信した前記センシング情報と、前記特定人物記憶部に記憶された前記特定人物情報とに基づいて、前記特定人物の前記言動情報である特定人物言動情報を取得する特定人物言動取得手段を備え、前記情報記憶手段は、前記未知の人物の前記言動情報に、前記特定人物言動取得手段により取得した前記特定人物の前記特定人物言動情報をさらに関連付ける、行動管理装置である。
第６の発明は、第１の発明から第５の発明までのいずれかの行動管理装置において、前記センシング情報は、前記センシング装置により情報を取得した日時情報を含み、前記言動情報取得手段は、前記日時情報に基づいて時系列にした前記言動情報を取得する、行動管理装置である。
第７の発明は、第１の発明から第６の発明までのいずれかの行動管理装置において、前記行動データベースに記憶された前記属性情報に基づいて分類分けをする分類手段と、前記分類手段による分類ごとの前記言動情報に基づく購買結果を分析する情報分析手段と、前記情報分析手段による分析結果を出力する分析結果出力手段と、を備える、行動管理装置である。
第８の発明は、第１の発明から第７の発明までのいずれかの行動管理装置としてコンピュータを機能させるための行動管理プログラムである。
第９の発明は、第１の発明から第７の発明までのいずれかの行動管理装置と、前記センシング装置と、を備えた行動管理システムであって、前記センシング装置は、前記所定空間内における前記人物の出入りを含む前記センシング情報を取得し、前記行動管理装置の前記情報記憶手段は、前記言動情報取得手段により取得した前記言動情報により、前記人物が前記所定空間内から外へ出たことが確認できた場合に、前記人物特定手段により推定した前記属性情報と、前記言動情報取得手段により取得した前記言動情報と、前記購買に係る情報とを関連付けて前記行動データベースに記憶する、行動管理システムである。
第１０の発明は、第９の発明の行動管理システムにおいて、前記センシング装置は、カメラ及びマイクのうち少なくとも一方を含み、前記センシング情報は、前記カメラにより取得する画像及び前記マイクにより取得する音声のうち少なくとも一方を含む、行動管理システムである。
第１１の発明は、第１の発明から第６の発明までのいずれかの行動管理装置が備える前記行動データベースを用いた行動分析装置であって、前記行動データベースに記憶された前記属性情報に基づいて分類分けをする分類手段と、前記分類手段による分類ごとの前記言動情報に基づく購買結果を分析する情報分析手段と、前記情報分析手段による分析結果を出力する分析結果出力手段と、を備える行動分析装置である。

本発明によれば、効果的なマーケティングを行うことを可能にする行動管理装置、行動管理プログラム、行動管理システム及び行動分析装置を提供することができる。

第１実施形態に係る行動管理システムの使用環境の例を示す図である。 第１実施形態に係る行動管理装置の機能ブロックを示す図である。 第１実施形態に係る行動管理装置での情報登録処理を示すフローチャートである。 第１実施形態に係る行動管理装置での言動取得処理を示すフローチャートである。 第１実施形態に係る行動管理システムでの実施例を示す図である。 第１実施形態に係る行動管理装置の行動ＤＢに記憶されるデータ例を示す図である。 第１実施形態に係る行動管理装置での行動分析処理を示すフローチャートである。 第２実施形態に係る行動管理システムでの実施例を示す図である。 第２実施形態に係る行動管理装置の機能ブロックを示す図である。 第２実施形態に係る行動管理装置での言動取得処理を示すフローチャートである。 第２実施形態に係る行動管理装置の行動ＤＢに記憶されるデータ例を示す図である。

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（第１実施形態）
＜行動管理システム１００＞
図１は、第１実施形態に係る行動管理システム１００の使用環境の例を示す図である。
図２は、第１実施形態に係る行動管理装置１の機能ブロックを示す図である。

行動管理システム１００は、行動管理装置１（後述する）が、例えば、貴金属店等の有人店舗において、出入口Ｄから入ってきた来店者の属性情報と、この有人店舗の店員との両方の言動情報と、来店者の購買情報とを関連付ける。そして、行動管理システム１００は、行動管理装置１が、関連付けられた情報を分類及び分析し、分析結果を出力することで、効果的なマーケティングを行うことを可能にするシステムである。
図１に示すように、行動管理システム１００による言動情報及び購買情報を取得する範囲は、店舗ＳＰ（所定空間）である。つまり、行動管理システム１００は、店舗ＳＰの来店者（未知の人物）及び店員（特定人物）を対象にする。店舗ＳＰには、複数台のカメラ４（センシング装置）が設けられている。複数台のカメラ４により、店舗ＳＰの全ての範囲が撮影可能になっている。また、店舗ＳＰには、会計を行うレジスタ８が設けられている。さらに、店舗ＳＰには、複数のショーケース９が設けられている。なお、図１に示す店舗ＳＰは、一例である。

図２に示すように、行動管理システム１００は、行動管理装置１と、カメラ４とを備える。図２には、カメラ４は、１つが記載されているが、図１に示すように、行動管理システム１００では、カメラ４を複数台備えるのが一般的である。行動管理装置１と、カメラ４とは、通信ネットワークＮを介して通信可能に接続されている。

＜行動管理装置１＞
行動管理装置１は、カメラ４から受信した画像データ（センシング情報）に基づく各種の処理を行う装置である。行動管理装置１は、例えば、サーバである。
行動管理装置１は、制御部１０と、記憶部３０と、通信インタフェース部３９とを備える。
制御部１０は、行動管理装置１の全体を制御するＣＰＵ（中央処理装置）である。制御部１０は、記憶部３０に記憶されているＯＳ（オペレーションシステム）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部１０は、情報登録処理部１１と、情報分析処理部２１とを備える。

情報登録処理部１１は、カメラ４から画像データを受信し、画像データに含まれる人物の属性情報と、言動情報と、購買情報とを関連付ける処理を行う。
情報登録処理部１１は、センシング情報受信部１２（センシング情報受信手段）と、人物特定部１３（人物特定手段）と、ＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）付与部１４（識別情報付与手段）と、属性取得部１５（人物特定手段）と、言動情報取得部１６（言動情報取得手段、特定人物言動情報取得手段）と、購買情報取得部１７（購買情報取得手段）と、関連付け部１８（情報記憶手段）とを備える。
センシング情報受信部１２は、店舗ＳＰ内に設置された各カメラ４から画像データを受信する。センシング情報受信部１２は、受信した画像データを、受信した日時情報に関連付ける。

人物特定部１３は、センシング情報受信部１２が受信した画像データに基づいて店舗ＳＰ内の人物を特定する。人物特定部１３は、例えば、画像データに対して画像認識処理を行って人物を特定する。画像データから人物を特定する方法としては、様々な公知の手法により行うことができる。ここで、人検出の手法としては、例えば、ＨＯＧ特徴量を用いるものがある。ＨＯＧ特徴量を用いた人検出に関しては、「Ｎ．Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ．Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ．Ｉｎ ＣＶＰＲ，ｐａｇｅｓ８８６－８９３，２００５」に記載されている。
そして、人物特定部１３は、特定した人物の特徴を、画像データから取得する。人物の特徴としては、例えば、体形、服装、髪型等であってよく、画像データから得られた特徴量等の数値であってもよい。
また、人物特定部１３は、センシング情報受信部１２が受信した画像データと、特定人物記憶部３３に記憶された店員の特徴とを用いて、店員を特定する。

ＩＤ付与部１４は、人物特定部１３が特定した店員を除く人物である来店者に固有のＩＤ（識別情報）を付与する。以下、付与するＩＤを、来店者ＩＤともいう。ＩＤ付与部１４が付与した来店者ＩＤは、一意の識別情報である。ＩＤ付与部１４が付与した来店者ＩＤは、当該来店者ＩＤに対応する人物が出入口Ｄから出るまで、その人物を識別するのに用いる。
属性取得部１５は、人物特定部１３が特定した来店者の属性情報を取得する。属性取得部１５は、属性情報として、画像データを分析することにより得られる年齢や性別に関する情報を取得する。また、属性取得部１５は、特定した人物及び同時に特定した人物の組合せに関する特徴となる属性情報として、複数の人物の関係性等の情報を推定する。

言動情報取得部１６は、ＩＤ付与部１４により来店者ＩＤを付与した人物の店舗ＳＰ内における言動を示す言動情報を取得する。言動は、例えば、会話内容、表情、感情、移動経路、動作等々といった多様な概念を含む。
言動情報取得部１６は、例えば、ＩＤ付与部１４により来店者ＩＤを付与した人物の店舗ＳＰ内における移動を、画像データを用いて追跡する。言動情報取得部１６は、来店者ＩＤを付与した人物の画像の特徴を取得して、取得した特徴に基づいてトラッキングする。
また、言動情報取得部１６は、ＩＤ付与部１４により来店者ＩＤを付与した人物の店舗ＳＰ内における感情データ（感情を示す情報）を、例えば、画像データを分析することで得られる人物の表情から推定する。

まず、顔検出の手法としては、例えば、Ｈａａｒ－ｌｉｋｅ特徴を用いるものがある。Ｈａａｒ－ｌｉｋｅ特徴を用いた顔検出に関しては、「Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ．Ｊ．Ｊｏｎｅｓ：“Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００１ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．５１１－５１８，（２００１）．」に記載されている。
そして、言動情報取得部１６は、検出した画像データの顔画像に対して画像認識処理を行った結果として、顔画像から表情が笑顔であると認識されれば、大らかな状態であるといった感情データを得ることができる。ここで、表情と感情データとの対応付けを予め記憶部３０に記憶させておき、言動情報取得部１６は、この対応付けを用いて感情データを得てもよい。
さらに、言動情報取得部１６は、人物特定部１３で特定した店員に関しても、来店者と同様に、言動情報（特定人物言動情報）を取得する。

購買情報取得部１７は、ＩＤ付与部１４により来店者ＩＤを付与した人物の購買情報（購買に係る情報）を取得する。購買情報取得部１７は、画像データを分析して、例えば、来店者がレジスタ８に近傍の位置に一定時間以上滞在している場合に、購買したと推定する。また、購買情報取得部１７は、購買商品を、例えば、画像データを分析することで取得する。
他方、購買情報取得部１７は、画像データを分析して、例えば、来店者がレジスタ８に近傍の位置に一定時間以上滞在していない場合や、レジスタ８に近傍の位置に近づかずに出入口Ｄから退店した場合に、購買しなかったと推定する。

関連付け部１８は、属性取得部１５で取得及び推定した属性情報と、言動情報取得部１６で取得した言動情報と、購買情報取得部１７で取得した購買情報とを関連付けて、行動ＤＢ（データベース）３２に記憶させる。ここで、言動情報に関連付ける購買情報は、購買があった場合には、購買商品を含む情報であり、購買がなかった場合には、購買なしの旨の情報である。

情報分析処理部２１は、行動ＤＢ３２に記憶された属性情報と言動情報と購買情報との関連付けに基づいて、情報を分析する処理を行う。
情報分析処理部２１は、分類部２２（分類手段）と、情報分析部２３（情報分析手段）と、分析結果出力部２４（分析結果出力手段）とを備える。

分類部２２は、行動ＤＢ３２に記憶された属性情報に基づいて分類分けをする。例えば、分類部２２は、属性情報として、例えば、一人客と、カップルの客とについて、分類してもよい。また、分類部２２は、一人客の場合及びカップル客の場合のそれぞれについて、年齢や性別によって分類してもよい。
情報分析部２３は、分類部２２による分類ごとの言動情報に基づく購買結果を分析する。
分析結果出力部２４は、情報分析部２３による分析結果を、例えば、行動管理装置１に対して通信可能に接続された図示しない表示装置に出力する。

記憶部３０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
なお、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、行動管理装置１は、制御部１０、記憶部３０等を備えた情報処理装置であり、コンピュータの概念に含まれる。
記憶部３０は、プログラム記憶部３１と、行動ＤＢ３２と、特定人物記憶部３３と、センシング装置位置記憶部３４とを備える。

プログラム記憶部３１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部３１は、行動管理プログラム３１ａを記憶している。
行動管理プログラム３１ａは、上記した制御部１０が行う各種機能を実行するためのアプリケーションプログラムである。
行動ＤＢ３２は、上記した情報登録処理部１１で取得した属性情報と、言動情報と、購買情報とを関連付けて記憶するデータベースである。

特定人物記憶部３３は、店員情報を記憶する記憶領域である。特定人物記憶部３３は、例えば、店員を識別するための販売員ＩＤをキーとして、店員の画像の特徴データ（特定人物情報）を予め記憶しておく。
センシング装置位置記憶部３４は、各カメラ４のＩＤと、各カメラ４が撮影する店舗ＳＰにおける撮影領域とを対応付けて記憶する記憶領域である。
通信インタフェース部３９は、カメラ４等との間で通信を行うためのインタフェースである。

＜カメラ４＞
カメラ４は、店舗ＳＰ内をくまなく撮影するために、店舗ＳＰに複数設置されている。そして、カメラ４は、店舗ＳＰに来店した来店者及び店舗ＳＰで接客する店員を撮影する。
カメラ４は、通信ネットワークＮを介して行動管理装置１に接続されている。カメラ４が撮影した画像データは、行動管理装置１に送信される。

＜通信ネットワークＮ＞
通信ネットワークＮは、行動管理装置１と、カメラ４との間のネットワークであり、例えば、インターネット回線等の通信網である。通信ネットワークＮは、全てが無線による通信であってもよいし、有線による通信であってもよい。

次に、行動管理システム１００での処理について説明する。
＜情報登録処理＞
図３は、第１実施形態に係る行動管理装置１での情報登録処理を示すフローチャートである。
図４は、第１実施形態に係る行動管理装置１での言動取得処理を示すフローチャートである。

以下に説明する情報登録処理は、行動管理装置１が店舗ＳＰに滞在中の来店者の属性情報、言動情報及び購買情報を取得して行動ＤＢ３２に記憶する処理である。よって、来店者ごとに当該処理が行われる。
図３のステップＳ（以下、単に「Ｓ」という。）１１において、行動管理装置１の情報登録処理部１１（センシング情報受信部１２）は、各カメラ４から画像データを受信する。
Ｓ１２において、情報登録処理部１１（人物特定部１３）は、受信した画像データによって、出入口Ｄから入店する人物を確認したか否かを判断する。確認した場合（Ｓ１２：ＹＥＳ）には、情報登録処理部１１は、処理をＳ１３に移す。確認していない場合（Ｓ１２：ＮＯ）には、情報登録処理部１１、処理をＳ１１に移し、出入口Ｄから入店する人物を確認するまで当該処理を繰り返す。

Ｓ１３において、情報登録処理部１１（人物特定部１３）は、画像データに基づいて人物を特定する。
Ｓ１４において、情報登録処理部１１（人物特定部１３）は、特定した人物が店員であるか否かを判断する。情報登録処理部１１は、特定人物記憶部３３に記憶された店員の特徴を用いて、特定した人物が店員であるか否かを判断できる。店員である場合（Ｓ１４：ＹＥＳ）には、情報登録処理部１１は、処理をＳ１８に移す。他方、店員ではない場合（Ｓ１４：ＮＯ）には、情報登録処理部１１は、処理をＳ１５に移す。店員ではない場合とは、特定された人物が来店者である場合をいう。
Ｓ１５において、情報登録処理部１１（属性取得部１５）は、画像データに基づいて来店者の属性情報を取得及び推定する。

Ｓ１６において、情報登録処理部１１は、言動取得処理を行う。
ここで、言動取得処理について、図４に基づき説明する。
図４のＳ３１において、情報登録処理部１１（言動情報取得部１６）は、来店者の位置情報を取得する。情報登録処理部１１は、来店者の位置情報を、例えば、センシング装置位置記憶部３４を参照し、来店者を含む画像を撮影したカメラ４に対応する位置情報を特定して、特定した位置情報とする。
Ｓ３２において、情報登録処理部１１（言動情報取得部１６）は、来店者の感情データを取得する。情報登録処理部１１は、画像データを分析することで来店者の表情を得る。そして、情報登録処理部１１は、取得した表情から来店者の感情を推定する。

Ｓ３３において、情報登録処理部１１（言動情報取得部１６）は、来店者のトラッキングの結果、来店者がレジスタ８の位置に一定時間とどまっているか否かを判断する。とどまっている場合（Ｓ３３：ＹＥＳ）には、情報登録処理部１１は、処理をＳ３４に移す。他方、とどまっていない場合（Ｓ３３：ＮＯ）には、情報登録処理部１１は、処理をＳ３５に移す。
Ｓ３４において、情報登録処理部１１（購買情報取得部１７）は、購買情報を取得する。
Ｓ３５において、情報登録処理部１１（センシング情報受信部１２）は、画像データを受信する。その後、情報登録処理部１１は、処理を図３のＳ１７に移す。

図３のＳ１７において、情報登録処理部１１（人物特定部１３）は、当該人物である来店者が、店舗ＳＰの出入口Ｄから退店するのを確認したか否かを判断する。退店を確認した場合（Ｓ１７：ＹＥＳ）には、情報登録処理部１１は、処理をＳ１９に移す。他方、退店を確認していない場合（Ｓ１７：ＮＯ）には、情報登録処理部１１は、処理をＳ１６に移し、言動取得処理を繰り返す。この言動取得処理によって、情報登録処理部１１は、来店者の位置情報を常に取得するので、来店者の移動を時系列にトラッキングできる。また、情報登録処理部１１は、来店者の感情データを常に取得するので、来店者の移動と共に時系列に来店者の感情データを得ることができる。

他方、Ｓ１８において、情報登録処理部１１（言動情報取得部１６）は、店員言動取得処理を行う。店員言動取得処理は、来店者の場合と同様に、位置情報に基づくトラッキングを行い、感情データを取得する処理である。
Ｓ１９において、情報登録処理部１１（関連付け部１８）は、取得した各情報を、行動ＤＢ３２に関連付けて記憶する。その後、情報登録処理部１１は、本処理を終了する。

次に、取得する言動情報について、具体例に基づき説明する。
図５は、第１実施形態に係る行動管理システム１００での実施例を示す図である。
図６は、第１実施形態に係る行動管理装置１の行動ＤＢ３２に記憶されるデータ例を示す図である。

図５では、店舗ＳＰ内のショーケース９で商品の購入を進める店員Ｃ１と、店員Ｃ１に対面している来店者Ｐ１及びＰ２とを示す。店舗ＳＰに設けられた複数台のカメラ４は、店員Ｃ１と、来店者Ｐ１及びＰ２とを撮影している。
図６は、情報登録処理によって行動ＤＢ３２に登録された図５の例での情報例を示す。
行動ＤＢ３２は、来店者ＩＤと、属性情報と、言動情報と、店員情報と、購買情報とを関連付けて記憶する。

図６に示す来店者ＩＤが「０００１」の来店者は、図５の来店者Ｐ１に対応し、来店者ＩＤが「０００２」の来店者は、図５の来店者Ｐ２に対応する。また、図５の店員Ｃ１は、来店者ＩＤが「０００１」と来店者ＩＤが「０００２」の来店者Ｐ１及びＰ２を接客している。
来店者ＩＤが「０００１」である来店者Ｐ１と、来店者ＩＤが「０００２」である来店者Ｐ２とが共に行動しているので、行動管理装置１は、属性情報として、来店者Ｐ１と来店者Ｐ２とがカップルであると推定する。また、行動管理装置１は、属性情報として、来店者Ｐ１と来店者Ｐ２との各々の年齢や性別のデータを得る。
さらに、行動管理装置１は、言動情報として、来店者ＩＤが「０００１」である来店者Ｐ１が笑顔であったのに対して、来店者ＩＤが「０００２」である来店者Ｐ２が泣き顔になったため、来店者Ｐ１が焦り顔になり、来店者Ｐ２が真顔に変化したとのデータを得る。そして、行動管理装置１は、言動情報として、店員Ｃ１が笑顔で接客しているとのデータを得る。その後、行動管理装置１は、言動情報及び購買情報として、来店者Ｐ１及びＰ２が商品を購買したとのデータを得る。
また、図６に示す例では、行動管理装置１は、来店者ＩＤが「０００３」の者が１人で来店したとの属性情報を推定し、別のショーケース９を見た後に退店したことを示す言動情報を得る。

このように、行動管理システム１００では、行動管理装置１による情報登録処理によって、来店者の属性情報、言動情報及び購買情報が関連付けられて行動ＤＢ３２に登録することができる。また、接客した店員の言動情報を、行動ＤＢ３２にさらに関連付けることができる。
そして、行動ＤＢ３２に登録する情報は、来店者の個人を特定する情報を含まない。よって、情報の管理が容易なものにできる。

次に、行動ＤＢ３２に登録した情報の利用について説明する。
＜行動分析処理＞
図７は、第１実施形態に係る行動管理装置１での行動分析処理を示すフローチャートである。
この処理は、例えば、店舗ＳＰを運営するユーザが、行動ＤＢ３２に登録された情報を分析したいタイミングで行われる。

図７のＳ４１において、行動管理装置１の情報分析処理部２１（分類部２２）は、行動ＤＢ３２に記憶されている属性情報に基づいてデータを分類する。情報分析処理部２１は、属性情報として、例えば、一人客か、カップルか、同性の複数客か、といったものに基づいてデータを分類してもよい。また、情報分析処理部２１は、属性情報として、例えば、性別や年代に基づいてデータを分類してもよい。

Ｓ４２において、情報分析処理部２１（情報分析部２３）は、分類ごとに言動情報に基づく購買結果を分析する。情報分析処理部２１は、例えば、一人客の来店者の表情や感情を購買傾向ごとに分析し、カップルの表情や感情を購買傾向ごとに分析する。一例として、情報分析処理部２１は、来店時に怒っている一人客の来店者は、高価な商品を購入することが多い、といった分析ができる。
Ｓ４３において、情報分析処理部２１（分析結果出力部２４）は、分析結果を出力する。情報分析処理部２１は、例えば、カップルでパンフレットを手に取っている来店者は、購買する確率が高い等の分析結果を出力することができる。
なお、情報分析処理部２１は、分析に用いる情報を、ユーザに選択させてもよい。

このように、第１実施形態の行動管理システム１００によれば、以下のような効果がある。
（１）行動管理装置１は、店舗ＳＰ内の来店者を特定し、特定した来店者の組み合わせに関する特徴を、属性情報として推定できる。また、行動管理装置１は、特定した来店者の移動の軌跡と、来店者の表情から推定される感情データとを、言動情報として取得できる。さらに、行動管理装置１は、来店者の購買情報を取得して、言動情報に関連付けて行動ＤＢ３２に登録する。
よって、属性情報と言動情報と購買情報とが関連付けられた行動ＤＢ３２を、効果的なマーケティングを行うための分析に用いることができる。

（２）来店者に来店者ＩＤを付与するので、来店者ＩＤを用いて来店者を識別できる。
また、来店者自身の属性情報を取得するので、来店者自身の属性情報を言動情報にさらに関連付けて行動ＤＢ３２に登録できる。よって、効果的なマーケティングを行うための分析に、来店者自身の属性情報をさらに用いることができ、多面的に分析を行うことができる。
（３）来店者と店員とを識別し、それぞれの言動情報を取得して関連付ける。よって、来店者の言動情報に店員の言動情報を加味して分析を行うことができる。

（４）行動ＤＢ３２に登録された属性情報と言動情報と購買情報との関連付けを用いて、購買に係る分類を行った後に行動分析を行うので、取得した様々な情報を、効果的なマーケティングを行うための分析に用いることができる。
分析結果をユーザに出力するので、マーケティングに生かすことができる。

（第２実施形態）
第２実施形態では、言動情報に音声データから得たものを含むものを説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
図８は、第２実施形態に係る行動管理システム２００での実施例を示す図である。
図９は、第２実施形態に係る行動管理装置２０１の機能ブロックを示す図である。

図８に示すように、行動管理システム２００では、店舗ＳＰ内に複数台のカメラ４の他に、マイク２０５が、例えば、各ショーケース９に載置され、店員Ｃ１や来店者Ｐ１及びＰ２の音声データ（センシング情報）を取得する。そして、行動管理システム２００では、音声データを用いて言動情報を取得する。
図９に示すように、行動管理システム２００は、行動管理装置２０１と、カメラ４と、マイク２０５とを備える。行動管理装置２０１と、カメラ４と、マイク２０５とは、通信ネットワークＮを介して通信可能に接続されている。

＜行動管理装置２０１＞
行動管理装置１は、カメラ４から受信した画像データと、マイク２０５から受信した音声データとに基づく各種の処理を行う装置である。
行動管理装置２０１は、制御部２１０と、記憶部２３０と、通信インタフェース部３９とを備える。
制御部２１０は、情報登録処理部２１１と、情報分析処理部２１とを備える。
情報登録処理部２１１は、カメラ４から画像データを受信し、マイク２０５から音声データを受信して、画像データに含まれる人物の属性情報及び言動情報と、購買情報とを関連付ける処理を行う。

情報登録処理部２１１は、センシング情報受信部２１２と、人物特定部２１３と、ＩＤ付与部１４と、属性取得部２１５と、言動情報取得部２１６と、購買情報取得部１７と、関連付け部１８とを備える。
センシング情報受信部２１２は、店舗ＳＰ内に設置された各カメラ４から画像データを受信する。また、センシング情報受信部２１２は、店舗ＳＰ内に設置された各マイク２０５から音声データを受信する。

人物特定部２１３は、センシング情報受信部２１２が受信した画像データ及び音声データに基づいて店舗ＳＰ内の人物を特定する。音声データから人物を特定する方法としては、様々な公知の手法により行うことができる。人物特定部２１３は、例えば、音声データに対して音声認識処理を行って音声の特徴によって人物を特定できる。
属性取得部２１５は、人物特定部２１３が特定した来店者の属性情報を取得する。属性取得部２１５は、属性情報として、画像データ及び音声データを分析することにより得られる年代や性別に関する情報等を取得する。また、属性取得部２１５は、画像データ及び音声データを分析することにより得られる、特定した人物及び同時に特定した人物の組合せに関する特徴となる属性情報として、複数の人物の関係性等の情報を推定する。

言動情報取得部２１６は、来店者ＩＤを付与した人物の店舗ＳＰ内における言動を示す言動情報を取得する。言動情報取得部１６は、例えば、人物の店舗ＳＰ内における移動を、画像データ及び音声データを用いて追跡する。店舗ＳＰにおいて、例えば、各ショーケース９にマイク２０５を設置しておけば、どのショーケース９の近くに来店者がいるかを、取得した音声データの音量や足音等の音自体によって得ることができる。また、言動情報取得部２１６は、来店者ＩＤを付与した人物の画像の特徴を取得して、取得した特徴に基づいてトラッキングする。
さらに、言動情報取得部２１６は、来店者ＩＤを付与した人物の店舗ＳＰ内における感情を、画像データ及び音声データを分析することで推定する。音声データの場合、言動情報取得部２１６は、取得した音声データから早口であることを分析した場合に、来店者は、焦っている状態であるといった感情データを得ることができる。

記憶部２３０は、プログラム記憶部２３１と、行動ＤＢ３２と、特定人物記憶部３３と、センシング装置位置記憶部２３４とを備える。
プログラム記憶部２３１は、行動管理プログラム２３１ａを記憶している。
行動管理プログラム２３１ａは、上記した制御部２１０が行う各種機能を実行するためのアプリケーションプログラムである。
センシング装置位置記憶部２３４は、各カメラ４のＩＤと、各カメラ４が撮影する店舗ＳＰにおける撮影領域とを対応付けて記憶する記憶領域である。また、センシング装置位置記憶部２３４は、各マイク２０５のＩＤと、各マイク２０５が設置された店舗ＳＰにおける位置とを対応付けて記憶する記憶領域である。

＜マイク２０５＞
マイク２０５は、店舗ＳＰ内における来店者と店員との会話等を取得するために、店舗ＳＰに複数設置されている。この例では、マイク２０５は、各ショーケース９の上に載置されている。そして、マイク２０５は、店舗ＳＰに来店した来店者及び店舗ＳＰで接客する店員の会話を集音する。
マイク２０５は、通信ネットワークＮを介して行動管理装置２０１に接続されている。マイク２０５が集音した音声データは、行動管理装置２０１に送信される。

次に、行動管理システム２００での処理について説明する。
＜情報登録処理＞
行動管理装置２０１が行う情報登録処理は、第１実施形態（図３）と同様である。
但し、図３のＳ１１に対応する処理において、行動管理装置２０１の情報登録処理部２１１（センシング情報受信部２１２）は、各カメラ４から画像データを受信し、各マイク２０５から音声データを受信する。
また、図３のＳ１３に対応する処理において、行動管理装置２０１の情報登録処理部２１１（人物特定部２１３）は、画像データと音声データとに基づいて人物を特定する。
さらに、図３のＳ１５に対応する処理において、行動管理装置２０１の情報登録処理部２１１（属性取得部２１５）は、画像データと音声データとに基づいて来店者の属性情報を取得する。

ここで、図３のＳ１６に対応する言動取得処理について、図１０に基づき説明する。
図１０のＳ２３１において、情報登録処理部２１１（言動情報取得部２１６）は、来店者の位置情報を取得する。情報登録処理部２１１は、来店者の位置情報を、例えば、センシング装置位置記憶部２３４を参照し、来店者を含む画像を撮影したカメラ４に対応する位置情報を特定して、特定した位置情報とする。また、情報登録処理部２１１は、来店者の位置情報を、例えば、センシング装置位置記憶部２３４を参照し、来店者の音声データを集音したマイク２０５に対応する位置情報を特定して、特定した位置情報としてもよい。さらに、情報登録処理部２１１は、画像データから得た位置情報と音声データから得た位置情報とを精査して位置情報を取得してもよい。

Ｓ２３２において、情報登録処理部２１１（言動情報取得部２１６）は、来店者の感情データを取得する。情報登録処理部２１１は、画像データを分析することで来店者の表情を得て、取得した表情から来店者の感情を推定する。また、情報登録処理部２１１は、音声データを分析することで音声内容を得る。さらに、情報登録処理部２１１は、音声データを分析することで、音量と、音の周波数等とにより来店者の感情を推定する。
Ｓ２３３及びＳ２３４の処理は、第１実施形態（図４）のＳ３３及びＳ３４の処理と同様である。
Ｓ２３５において、情報登録処理部２１１（センシング情報受信部２１２）は、画像データ及び音声データを受信する。その後、情報登録処理部２１１は、処理を図３のＳ１７に対応する処理に移す。

図１１は、第２実施形態に係る行動管理装置１の行動ＤＢ３２に記憶されるデータ例を示す図である。
図１１は、図８に示す例であって、店員Ｃ１と、来店者Ｐ１及びＰ２が、第１実施形態と同様の言動をした場合であり、音声データを加えたものである。図１１の言動情報には、画像データから得られた情報の他、音声データから得られた情報として発話内容を含むものになっている。

このように、行動管理システム２００では、行動管理装置２０１による情報登録処理によって、行動ＤＢ３２には、来店者の言動情報として、来店者の表情及び音声に基づいて得られた感情データを記憶することができる。また、行動ＤＢ３２には、来店者の言動情報として、来店者の音声に対して音声認識処理を行うことで得られた発話内容を記憶することができる。行動管理装置２０１は、属性情報と、これらの言動情報と、購買情報とを関連付けて行動ＤＢ３２に登録することができる。

行動ＤＢ３２に登録した情報を分析する行動分析処理は、第１実施形態（図７）と同様である。
図７のＳ４２に対応する処理で情報分析処理部２１（情報分析部２３）によって行われる分類した属性情報に基づく購買結果の分析は、発話内容に基づいて様々に行うことができる。
情報分析処理部２１は、例えば、購買情報の購買傾向ごとに、各分類における単語の出現頻度を分析することができる。情報分析処理部２１は、一例として、値段の高い商品を購入した来店者は、発話内容に「誕生日」や「結婚」といった単語を多く含む、といった分析ができる。また、情報分析処理部２１は、購入した商品が指輪類である場合に、店員の発話内容には「新作」や「お揃い」といった単語を多く含む、といった分析ができる。

また、情報分析処理部２１は、分析方法として、例えば、ディープラーニング等の機械学習を用いた発話内容のラベル付けを用いることができる。この分析方法では、例えば、発話内容と、購買情報との組み合わせを教師データとして学習する。これは、売上の良いときの店員の発話内容を分析するものであり、この機械学習結果を用いることで、情報分析処理部２１は、発話内容から売上を推定することができる。

このように、第２実施形態の行動管理システム２００によれば、以下のような効果がある。
センシング情報として画像データに加えて音声データを用いるため、来店者や店員の言動情報を、より多くの情報から得ることができる。よって、行動分析に用いるデータを多様にでき、より詳細な分析を行うことができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。

（変形形態）
（１）各実施形態では、行動分析処理において、行動ＤＢに記憶されている購買情報に基づいてデータを分類するものを例に説明したが、これに限定されない。例えば、来店者の購買情報に基づいてデータを分類してもよいし、店員ごとにデータを分類してもよい。具体的には、例えば、購買情報に基づいてデータを分類する場合には、購買した場合と、購買しなかった場合との２つについて、各々言動情報に基づく分析をしてもよい。また、購買した商品ごと（例えば、指輪、ネックレス等）に言動情報に基づく分析をしてもよい。さらに、購買した商品数や商品の価格の範囲（例えば、５千円未満、５千円以上２万円未満、２万円以上等）ごとに言動情報に基づく分析をしてもよい。
このように、様々な切り口でデータを分類して分析することで、効果的なマーケティングを行うための情報を得ることができる。

（２）各実施形態では、購買したか否かを、画像データを分析することで得るものを例に説明したが、これに限定されない。例えば、レジスタを行動管理装置に接続して、レジスタからＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）データを受信し、受信したＰＯＳデータを購買情報としてもよい。そのようにすれば、より正確な購買情報を得ることができる。
（３）各実施形態では、カメラの撮影領域に基づいて来店者の位置情報を得るものを例に説明したが、これに限定されない。例えば、店舗のフロアの床面を領域ごとに色分けし、カメラが撮影した来店者が立っている床面の色に基づいて位置情報を得るようにしてもよい。そのようにすれば、カメラを可動させることができ、カメラの設置箇所を減らすことができる。

（４）各実施形態では、行動管理装置が情報登録処理と情報分析処理とを行うものを例に説明したが、これに限定されない。例えば、行動分析処理は、行動管理装置１に対して通信可能に接続された行動分析装置（図示せず）により行ってもよい。そして、行動管理プログラムは、情報登録処理と情報分析処理との機能を有するプログラムであるとして説明したが、機能ごとに別プログラムにしてもよい。

（５）各実施形態では、言動情報として、位置情報による移動のトラッキングと感情データの取得による感情の推定とを例に説明したが、これに限定されない。言動情報として、例えば、会話内容や、表情、動作等を含んでもよい。

（６）第１実施形態では、センシング装置としてカメラを例に説明し、第２実施形態では、センシング装置としてカメラ及びマイクを例に説明したが、これに限定されない。更なるセンシング装置として、例えば、温度センサや、重量センサ等を用いてもよい。例えば、温度センサであれば、来店者の顔の温度変化によって、喜怒哀楽といった感情を取得できる。

１，２０１ 行動管理装置
４ カメラ
８ レジスタ
９ ショーケース
１０，２１０ 制御部
１１，２１１ 情報登録処理部
１２，２１２ センシング情報受信部
１３，２１３ 人物特定部
１４ ＩＤ付与部
１５，２１５ 属性取得部
１６，２１６ 言動情報取得部
１７ 購買情報取得部
１８ 関連付け部
２１ 情報分析処理部
２２ 分類部
２３ 情報分析部
２４ 分析結果出力部
３０，２３０ 記憶部
３１ａ，２３１ａ 行動管理プログラム
３２ 行動ＤＢ
３３ 特定人物記憶部
１００，２００ 行動管理システム
２０５ マイク
Ｃ１ 店員
Ｐ１，Ｐ２ 来店者

Claims (11)

1. 所定空間内に設置された１以上のセンシング装置からセンシング情報を受信するセンシング情報受信手段と、
   前記センシング情報受信手段が受信した前記センシング情報に基づいて前記所定空間内の人物を特定し、特定した前記人物及び同時に特定した人物の組合せに関する特徴となる属性情報を推定する人物特定手段と、
   前記人物特定手段により特定した前記人物の言動を示す言動情報を、前記センシング情報を用いて取得する言動情報取得手段と、
   前記人物の購買に係る情報を取得する購買情報取得手段と、
   前記人物特定手段により取得した前記属性情報と、前記言動情報取得手段により取得した前記言動情報と、前記購買情報取得手段により取得した前記購買に係る情報とを関連付けて行動データベースに記憶する情報記憶手段と、
   前記行動データベースに記憶された前記属性情報に基づいて分類分けをする分類手段と、
   前記分類手段による分類ごとの前記言動情報に基づく購買傾向を分析する情報分析手段と、
   前記情報分析手段による分析結果を出力する分析結果出力手段と、
   を備え、
   前記言動情報は、会話内容に係る情報を含み、
   前記情報分析手段は、前記会話内容に含まれる単語の出現頻度と前記購買傾向との分析を含む、行動管理装置。
2. 請求項１に記載の行動管理装置において、
   前記人物特定手段が特定した前記人物に対して一意の識別情報を付与する識別情報付与手段を備え、
   前記情報記憶手段は、前記言動情報に、前記識別情報をさらに関連付ける、行動管理装置。
3. 請求項１又は請求項２に記載の行動管理装置において、
   前記人物特定手段は、特定した前記人物の性別及び年齢に関する前記属性情報をさらに取得する、行動管理装置。
4. 請求項１から請求項３までのいずれかに記載の行動管理装置において、
   特定人物を識別可能な特定人物情報を記憶する特定人物記憶部を備え、
   前記人物特定手段は、前記センシング情報受信手段が受信した前記センシング情報と、前記特定人物記憶部の前記特定人物情報とを用いて未知の人物を特定する、行動管理装置。
5. 請求項４に記載の行動管理装置において、
   前記センシング情報受信手段が受信した前記センシング情報と、前記特定人物記憶部に記憶された前記特定人物情報とに基づいて、前記特定人物の前記言動情報である特定人物言動情報を取得する特定人物言動取得手段を備え、
   前記情報記憶手段は、前記未知の人物の前記言動情報に、前記特定人物言動取得手段により取得した前記特定人物の前記特定人物言動情報をさらに関連付ける、行動管理装置。
6. 請求項１から請求項５までのいずれかに記載の行動管理装置において、
   前記センシング情報は、前記センシング装置により情報を取得した日時情報を含み、
   前記言動情報取得手段は、前記日時情報に基づいて時系列にした前記言動情報を取得する、行動管理装置。
7. 請求項１から請求項６までのいずれかに記載の行動管理装置としてコンピュータを機能させるための行動管理プログラム。
8. 請求項１から請求項６までのいずれかに記載の行動管理装置と、
   前記センシング装置と、
   を備えた行動管理システムであって、
   前記センシング装置は、前記所定空間内における前記人物の出入りを含む前記センシング情報を取得し、
   前記行動管理装置の前記情報記憶手段は、前記言動情報取得手段により取得した前記言動情報により、前記人物が前記所定空間内から外へ出たことが確認できた場合に、前記人物特定手段により推定した前記属性情報と、前記言動情報取得手段により取得した前記言動情報と、前記購買に係る情報とを関連付けて前記行動データベースに記憶する、行動管理システム。
9. 請求項８に記載の行動管理システムにおいて、
   前記センシング装置は、マイクを含み、
   前記センシング情報は、前記マイクにより取得する音声を含む、行動管理システム。
10. 請求項９に記載の行動管理システムにおいて、
    前記センシング装置は、カメラを含み、
    前記センシング情報は、前記カメラにより取得する画像を含む、行動管理システム。
11. 所定空間内に設置された１以上のセンシング装置からセンシング情報を受信するセンシング情報受信手段と、
    前記センシング情報受信手段が受信した前記センシング情報に基づいて前記所定空間内の人物を特定し、特定した前記人物及び同時に特定した人物の組合せに関する特徴となる属性情報を推定する人物特定手段と、
    前記人物特定手段により特定した前記人物の言動を示す言動情報を、前記センシング情報を用いて取得する言動情報取得手段と、
    前記人物の購買に係る情報を取得する購買情報取得手段と、
    前記人物特定手段により取得した前記属性情報と、前記言動情報取得手段により取得した前記言動情報と、前記購買情報取得手段により取得した前記購買に係る情報とを関連付けて行動データベースに記憶する情報記憶手段と、
    を有する行動管理装置が備える前記行動データベースを用いた行動分析装置であって、
    前記行動データベースに記憶された前記属性情報に基づいて分類分けをする分類手段と、
    前記分類手段による分類ごとの前記言動情報に基づく購買傾向を分析する情報分析手段と、
    前記情報分析手段による分析結果を出力する分析結果出力手段と、
    を備え、
    前記言動情報は、会話内容に係る情報を含み、
    前記情報分析手段は、前記会話内容に含まれる単語の出現頻度と前記購買傾向との分析を含む、行動分析装置。

Images