JP5787949B2 - 情報処理装置、特定方法および特定プログラム - Google Patents

Description

本発明は、情報処理装置、特定方法および特定プログラムに関する。

従来、利用者から取得した生体情報に基づいて利用者の心理状況や感情を判定し、判定した利用者の心理状況や感情に応じたサービスの提供を行う技術が知られている。このような技術の一例として、画像を撮影した際の感情を画像とともに保存する通信装置の技術が知られている。

例えば、通信装置は、利用者の脈拍数等のバイタル情報を取得し、取得したバイタル情報に基づいて、画像の撮影を行う。また、通信装置は、取得したバイタル情報から、画像を撮影した際の利用者の感情を示す付加情報を生成する。そして、通信装置は、撮影した画像と生成した付加情報とを対応付けてサーバ装置に記憶させることで、画像を撮影した当時の感情を保存する。

特開２００５−３０３７３４号公報

しかしながら、従来の技術では、撮影された画像に複数の撮影対象が写っている場合は、付加情報が示す感情がどの撮影対象に対する感情であるかを特定できない。

本願は、上記に鑑みてなされたものであって、個々の撮影対象に対する利用者の感情を特定する情報処理装置、特定方法および特定プログラムを提供することを目的とする。

本願に係る情報処理装置は、利用者が撮影した画像に写された撮影対象を示す対象情報と、該画像が撮影された際に前記利用者から取得された生体情報とを、前記利用者が撮影した複数の画像について取得する取得部と、前記撮影対象ごとに、該撮影対象を示す対象情報に対応する生体情報を前記取得部が取得した生体情報から抽出する抽出部と、前記抽出部が抽出した生体情報を用いて、前記撮影対象に対する前記利用者の感情を特定する特定部とを備えることを特徴とする。

実施形態の一態様によれば、個々の撮影対象に対する利用者の感情を特定できる。

図１は、実施形態に係る情報提供システムが発揮する機能の一例を示す図である。 図２は、実施形態に係るヘッドマウント装置の機能構成の一例を説明する図である。 図３は、実施形態に係るソーシャルネットワークサーバの機能構成の一例を説明する図である。 図４は、実施形態に係る感情判定サーバの機能構成の一例を説明する図である。 図５は、実施形態に係る対象情報データベースの一例を説明する図である。 図６は、実施形態に係る感情情報管理テーブルの一例を説明する図である。 図７は、実施形態に係る感情判定サーバが利用者の感情を判定する処理の一例を説明する図である。 図８は、実施形態に係る抽出部が特定部から受信する特定結果の一例を説明する図である。 図９は、実施形態に係る対象情報データベースからノイズを削除した例を説明する図である。 図１０は、実施形態に係る特定部がノイズ消去後に特定する感情情報の一例を説明する第１の図である。 図１１は、実施形態に係る感情情報管理テーブルが記憶する情報のバリエーションを説明する図である。 図１２は、実施形態に係る特定部がノイズ消去後に特定する感情情報の一例を説明する第２の図である。 図１３は、実施形態に係る感情判定サーバが実行する処理の流れを説明する図である。 図１４は、実施形態に係る感情判定サーバが実行する処理の第１のバリエーションの流れを説明する図である。 図１５は、実施形態に係る感情判定サーバが実行する処理の第２のバリエーションの流れを説明する図である。 図１６は、特定プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願に係る情報処理装置、特定方法および記録媒体を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、特定方法および特定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．情報提供システム〕
まず、図１を用いて、本願の情報処理装置、特定方法および記録媒体に記録された特定プログラムに係る情報提供システム１が実行する処理の一例について説明する。図１は、実施形態に係る情報提供システムが発揮する機能の一例を示す図である。図１に示す例では、情報提供システム１には、ヘッドマウント装置１０、ソーシャルネットワークサーバ３０、感情判定サーバ４０をネットワーク２で接続した形態を有する。なお、情報提供システム１には、他にも複数のヘッドマウント装置を有しても良い。また、以下の説明では、ヘッドマウント装置１０は、ユーザー＃１により装着されているものとする。

ヘッドマウント装置１０は、利用者から生体情報を取得するウェアラブルデバイスである。例えば、ヘッドマウント装置１０は、眼鏡型のデバイスである。また、ヘッドマウント装置１０は、ユーザー＃１の視野内に任意の情報を表示することができる。また、ヘッドマウント装置１０は、カメラを有しており、ユーザー＃１が視野内に捕らえた光景を撮影することができる。

また、ヘッドマウント装置１０は、耳にかけるつるの部分に生体センサを有し、ユーザー＃１の心拍数、脈拍、体温、筋電変化、皮膚電気活動(Electro-Dermal Activity, EDA)、音声、歩行距離、歩行時間等様々な生体センサ値を利用者から取得することができる。そして、ヘッドマウント装置１０は、３Ｇ（Generation）、４Ｇ、ＬＴＥ（Long Term Evolution）、ＧＳＭ（登録商標）（Global System for Mobile Communications）等の無線通信網を介してネットワーク２に接続することができる。かかるヘッドマウント装置１０の一例としては、例えば、グーグルグラス（登録商標）等の装置が考えられる。

なお、ヘッドマウント装置１０は、ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ（Local Area Network）等の近距離無線通信を用いて、図示を省略した携帯電話等の端末装置に接続し、接続した端末装置を介してネットワーク２に接続してもよい。また、ヘッドマウント装置１０は、ユーザー＃１の手首等に装着され、ユーザー＃１から各種生体センサ値を取得する生体情報取得装置を介して、ユーザー＃１から生体センサ値を取得してもよい。

また、ヘッドマウント装置１０は、同様の機能を発揮できる構成であれば、複数の装置を連携させて発揮させてもよい。例えば、ヘッドマウント装置１０は、利用者から生体センサ値を収集する生体情報取得装置と、生体情報取得装置と近距離無線通信を行い、取得された生体センサ値を取得する端末装置との組み合わせで実現してもよい。なお、かかる端末装置は、ヘッドマウント装置１０のように、利用者の視野内に画像を表示する機能を有していなくともよく、任意の情報を表示する画面を有していればよい。

ここで、ヘッドマウント装置１０は、以下の処理を実行する。まず、ヘッドマウント装置１０は、ユーザー＃１からの操作に応じて、ユーザー＃１が視野内に捉えた光景を撮影するとともに、画像を撮影した際の利用者の生体センサ値を取得する。また、ヘッドマウント装置１０は、取得した生体センサ値から、利用者の覚醒度と快度とを生成する。そして、ヘッドマウント装置１０は、生成した覚醒度と快度との組を感情スコアとして画像に付与し、ネットワーク２を介して、ソーシャルネットワークサーバ３０に画像を送信する。

例えば、ヘッドマウント装置１０は、取得した感情スコアを画像のプロパティに格納し、画像をソーシャルネットワークサーバ３０に送信する。なお、ヘッドマウント装置１０は、画像のプロパティに感情スコアを格納せずとも、画像と感情スコアとを対応付けてソーシャルネットワークサーバ３０に送信すればよい。

ソーシャルネットワークサーバ３０は、各利用者が投稿した画像を掲示板形式で公開するマイクロブログの機能や、各利用者が投稿した文章や画像などのデータを他の利用者に公開する機能等を有する。すなわち、ソーシャルネットワークサーバ３０は、任意の利用者間でデータの送受信を行う任意のＳＮＳ（Social Networking Service）を提供するサーバである。なお、かかるＳＮＳの詳細な例としては、ヤフーブログ（登録商標）、フェイスブック（登録商標）、Ｍｙｓｐａｃｅ（登録商標）等がある。

ここで、ソーシャルネットワークサーバ３０は、利用者からの操作に応じて、各利用者が投稿した画像に撮影された撮影対象を示す対象情報を画像に付与する。例えば、ソーシャルネットワークサーバ３０は、利用者が有する任意の端末装置から撮影対象の入力要求を受信すると、かかる利用者が投稿した画像の選択画面を利用者の端末装置に提供する。

かかる場合、利用者は、端末装置を介して、撮影対象の情報の入力を行う画像を選択し、選択した画像に写る撮影対象の情報を入力する。例えば、利用者は、選択した画像に写る人物、風景、物体等の撮影対象を示す対象情報の一例として、選択した画像に写る人物を識別するユーザーＩＤ（Identifier）を入力する。

例えば利用者は、選択した画像に写る人物がユーザー＃１である場合は、ユーザーＩＤ「Ａ」を入力し、ユーザー＃２である場合は、ユーザーＩＤ「Ｂ」を入力する。また、例えば、利用者は、選択した画像に写る人物がユーザー＃３である場合は、ユーザーＩＤ「Ｃ」を入力し、ユーザー＃４である場合は、ユーザーＩＤ「Ｄ」を入力し、ユーザー＃５である場合は、ユーザーＩＤ「Ｅ」を入力する。その後、端末装置は、利用者が入力した対象情報をソーシャルネットワークサーバ３０に送信する。

一方、ソーシャルネットワークサーバ３０は、受信した対象情報を利用者が選択した画像に付与する。例えば、ソーシャルネットワークサーバ３０は、利用者が選択した画像のプロパティに、受信したユーザーＩＤを格納する。なお、ソーシャルネットワークサーバ３０は、画像のプロパティに対象情報を格納する処理は、画像と対象情報とを対応付けて管理する処理の一例であり、画像と対象情報とを対応付けることができるのであれば、任意の手法を適用してよい。

感情判定サーバ４０は、撮影された画像に写る撮影対象を示す対象情報と、画像が撮影された際に撮影者から取得された感情スコアとを用いて、撮影対象に対する撮影者の感情を判定する。例えば、感情判定サーバ４０は、ソーシャルネットワークサーバ３０から、ユーザー＃１が撮影した複数の画像を取得する。そして、感情判定サーバ４０は、取得した画像に含まれる対象情報と感情スコアとを用いて、各対象情報に対するユーザー＃１の感情を判定する。

ここで、利用者が撮影した画像には、複数の撮影対象が写っている場合がある。例えば、ユーザー＃１が撮影した画像には、複数のユーザー＃２、ユーザー＃３が写っている場合がある。かかる場合、従来の技術は、画像を撮影した際にユーザー＃１から取得した感情スコアのみでは、個々のユーザーに対するユーザー＃１の感情を判定することができない。

そこで、感情判定サーバ４０は、以下の処理を実行する。まず、感情判定サーバ４０は、ソーシャルネットワークサーバ３０から受信した各画像のプロパティに格納された対象情報と感情スコアとを取得する。そして、感情判定サーバ４０は、判定対象となる撮影対象のユーザーＩＤが付与された全ての画像から感情スコアを抽出する。

そして、感情判定サーバ４０は、抽出した感情スコアを用いて、判定対象となる撮影対象に対する利用者の感情を判定する。例えば、感情判定サーバ４０は、判定対象となる撮影対象のユーザーＩＤが付与された全ての画像から抽出した感情スコアの平均値を算出する。そして、感情判定サーバ４０は、算出した感情スコアの平均値に基づいて、撮影対象に対する利用者の感情を判定する。

具体的には、感情判定サーバ４０は、判定対象となる撮影対象のユーザーＩＤが付与された全ての画像から、覚醒度と快度との組を抽出し、抽出した覚醒度の平均値、および、抽出した快度の平均値をそれぞれ算出する。そして、感情判定サーバ４０は、算出した覚醒度の平均値、および、快度の平均値を用いて、利用者の感情が「エキサイト状態」、「喜び状態」、「リラックス状態」、「退屈状態」、「憂鬱状態」、「悲しみ状態」、「恐怖状態」、「怒り状態」のいずれであるかを判定する。

すなわち、感情判定サーバ４０は、利用者が撮影した画像のうち、判定対象となる撮影対象が写る全ての画像を特定し、特定した画像を撮影した際に利用者から取得された感情スコアの平均値を用いて、撮影対象に対する利用者の感情を判定する。このため、感情判定サーバ４０は、利用者が撮影した画像に複数の撮影対象が写っている場合にも、各撮影対象に対する利用者の感情を判定できる。

なお、感情判定サーバ４０は、人物以外にも、任意の撮影対象について利用者の感情を判定できる。すなわち、感情判定サーバ４０は、利用者が撮影した画像に撮影場所等を示す対象情報が付与されている場合にも、同一の対象情報が付与された画像から感情スコアを抽出し、抽出した感情スコアの平均値を用いて、利用者の感情を判定することで、撮影場所等に対する利用者の感情を判定することができる。

なお、感情判定サーバ４０は、判定対象となる撮影対象の対象情報が付与された画像から感情スコアを抽出し、抽出した感情スコアを用いて利用者の感情を判定するのであれば、任意の手法を用いて利用者の感情を判定することができる。例えば、感情判定サーバ４０は、ソーシャルネットワークサーバ３０から受信した画像に付与された感情スコアからノイズとなる感情スコアを考慮して利用者の感情を判定しても良い。

例えば、ユーザー＃１が撮影した１つの画像に、ユーザー＃１が否定的な感情を強く有するユーザー＃２と、ユーザー＃１が平均的な感情を有するユーザー＃３とが写っている場合は、利用者が否定的な感情を有すると判定される感情スコアが画像に付与される。かかる場合、ユーザー＃３に対するユーザー＃１の感情が、ユーザー＃２に対するユーザー＃１の感情に引っ張られてしまい、否定的な感情であると判定され易くなる。

そこで、感情判定サーバ４０は、以下の処理を実行する。まず、感情判定サーバ４０は、対象情報ごとに、同一の対象情報が付与された画像に付与された感情スコアを抽出し、抽出した感情スコアの平均値を用いて、各撮影対象に対する利用者の感情を判定する。そして、感情判定サーバ４０は、利用者の感情が所定の条件を満たすと判定された撮影対象、例えば、利用者が否定的な感情を強く有する撮影対象を特定する。

次に、感情判定サーバ４０は、特定した撮影対象が写っていない画像から取得された対象情報と感情スコアとを選択し、選択した感情スコアのうち、判定対象となる撮影対象を示す対象情報に対応する感情スコアを抽出する。そして、感情判定サーバ４０は、抽出した感情スコアの平均値を用いて、撮影対象に対する利用者の感情を特定する。

すなわち、感情判定サーバ４０は、利用者が否定的な感情を強く有する撮影対象が写る画像から抽出された感情スコアを除外して、各撮影対象に対する利用者の感情を判定する。この結果、感情判定サーバ４０は、利用者が撮影した画像に、利用者が否定的な感情を強く有する撮影対象が含まれる場合にも、他の撮影対象に対する利用者の感情を適切に判定することができる。なお、感情判定サーバ４０は、利用者が好意的な感情を強く有する撮影対象が写っている画像から抽出された感情スコアを除外して、各撮影対象に対する利用者の感情を判定してもよい。

ここで、利用者が好意的な感情を強く有する撮影対象とは、例えば、利用者が「エキサイト状態」、「喜び状態」等の「超ポジティブ状態」に含まれる感情を有する撮影対象である。また、利用者が好意的な感情を有する撮影対象とは、「リラックス状態」および「喜び状態」等の「ポジティブ状態」に含まれる感情を有する撮影対象である。また、利用者が否定的な感情を有する撮影対象とは、「退屈状態」、「憂鬱状態」、「悲しみ状態」などの「ネガティブ状態」に含まれる感情を有する撮影対象である。また、利用者が否定的な感情を強く有する撮影対象とは、「恐怖状態」、「怒り状態」などの「超ネガティブ状態」に含まれる感情を有する撮影対象である。

また、他の例として、感情判定サーバ４０は、取得した感情スコアをそれぞれ個別に用いて、利用者が各画像を撮影した際の感情、すなわち、各画像に対する利用者の感情を判定する。また、感情判定サーバ４０は、利用者の感情が所定の条件を満たすと判定された画像に写る回数を、各撮影対象ごとに計数する。例えば、感情判定サーバ４０は、利用者の感情が所定の条件を満たすと判定された画像から取得された対象情報の数を、撮影対象ごとに計数する。そして、感情判定サーバ４０は、計数した数が所定の閾値よりも多い撮影対象を特定し、特定した撮影対象が写る画像から取得された感情スコアを除外して、各撮影対象に対する利用者の感情を特定してもよい。

例えば、感情判定サーバ４０は、利用者が撮影した画像に写る撮影対象を示す対象情報と、かかる画像を撮影した際に利用者から収集された感情スコアとの組を取得する。また、感情判定サーバ４０は、各組に含まれる感情スコアを個別に用いて、利用者の感情が所定の条件を満たすか否かを取得した組ごとに判定する。また、感情判定サーバ４０は、対象情報ごとに、かかる対象情報が所定の条件を満たすと判定された組に含まれる数を計数し、計数した数が所定の閾値よりも多い対象情報を特定する。そして、感情判定サーバ４０は、記憶した対象情報と感情スコアとの組から、特定した対象情報を含む組を消去し、残りの感情スコアを用いて、各撮影対象に対する利用者の感情を特定してもよい。

次に、情報提供システム１において、感情判定サーバ４０が実行する処理の流れについて説明する。なお、以下の例では、感情判定サーバ４０が、ユーザー＃２が写る写真に付与された感情スコアの平均値を用いて、ユーザー＃１がユーザー＃２に対して有する感情を判定する処理について説明する。また、以下の説明では、ヘッドマウント装置１０は、利用者から（覚醒度，快度）の形式で示す感情スコアを画像に付与するものとする。

まず、図１中（ａ）に示すように、ヘッドマウント装置１０は、ユーザー＃１が撮影した画像に、ユーザー＃１が画像を撮影した際の感情スコア（１，１）を付与する。そして、ヘッドマウント装置１０は、図１中（ｂ）に示すように、ネットワーク２を介して、感情スコアを付与した画像をソーシャルネットワークサーバ３０に送信する。かかる場合、ソーシャルネットワークサーバ３０は、図１中（ｃ）に示すように、ユーザー＃１から受信した各画像を公開する。

ここで、ソーシャルネットワークサーバ３０は、ユーザー＃１、若しくは他の利用者からの操作に応じて、各画像に、撮影対象を示す対象情報を付与する。例えば、ソーシャルネットワークサーバ３０は、図１中（ｄ）に示すように、ユーザー＃２とユーザー＃３とが写る画像に対し、ユーザー＃２を示すユーザーＩＤ「Ｂ」と、ユーザー＃３を示すユーザーＩＤ「Ｃ」とを付与する。また、ソーシャルネットワークサーバ３０は、図１中（ｅ）に示すように、ユーザー＃２とユーザー＃４とが写る画像に対し、ユーザー＃２を示すユーザーＩＤ「Ｂ」と、ユーザー＃４を示すユーザーＩＤ「Ｄ」とを付与する。

一方、感情判定サーバ４０は、図１中（ｆ）に示すように、所定のタイミングで、ソーシャルネットワークサーバ３０から、ユーザー＃１が撮影した各画像を取得する。そして、感情判定サーバ４０は、図１中（ｇ）に示すように、各画像から対象情報と感情スコアとを抽出する。

また、感情判定サーバ４０は、図１中（ｈ）に示すように、判定対象となるユーザー＃２の対象情報「Ｂ」と対応する感情スコア、すなわち、対象情報「Ｂ」が付与された画像に付与されていた感情スコアを抽出し、抽出した感情スコアの平均値を算出する。そして、感情判定サーバ４０は、算出した平均値を用いて、ユーザー＃２に対するユーザー＃１の感情を判定する。例えば、感情判定サーバ４０は、図１中（ｉ）に示すように、ユーザー＃２に対するユーザー＃１の感情が「超ネガティブ状態」であると判定する。

その後、例えば、感情判定サーバ４０は、図１中（ｌ）に示すように、ユーザー＃１に対し、ユーザー＃２に対するユーザー＃１の感情を通知する。このため、感情判定サーバ４０は、利用者が撮影した画像に複数の撮影対象が写っている場合にも、各撮影対象に対する個別の感情をユーザー＃１に識別させることができる。

なお、感情判定サーバ４０は、利用者の感情を通知する他にも、様々な処理を実行してよい。例えば、感情判定サーバ４０は、各撮影対象に対する利用者の感情を記憶する。そして、感情判定サーバ４０は、利用者の端末装置（例えば、ヘッドマウント装置１０）がソーシャルネットワークサーバ３０から画像を取得した際に、かかる画像に付与された対象情報を取得し、取得した対象情報が示す撮影対象に対する利用者の感情を特定する。そして、感情判定サーバ４０は、特定した感情を示す感情情報を端末装置へ送信し、感情情報が示す感情を端末装置に表示させてもよい。

また、感情判定サーバ４０は、同様の処理をユーザー＃１以外のユーザーに対しても行い、各ユーザーが相互に有する感情に応じた処理を実行しても良い。例えば、感情判定サーバ４０は、ユーザー＃２がユーザー＃３に「超ポジティブ状態」となる感情を有し、ユーザー＃３がユーザー＃２に「ポジティブ状態」となる感情を有する場合は、ユーザー＃３に対し、ユーザー＃２の情報を提供しても良い。

また、感情判定サーバ４０は、図１中（ｍ）に示すように、ソーシャルネットワークサーバ３０に利用者の感情を通知し、通知した感情に応じて、利用者が投稿した文章や写真等のデータの公開を制限させてもよい。例えば、感情判定サーバ４０は、ユーザー＃１がユーザー＃２に対して「超ネガティブ状態」となる感情を有する場合は、ユーザー＃１が投稿したデータをユーザー＃２に対して公開しないよう、ソーシャルネットワークサーバ３０に対して指示してもよい。

かかるように、感情判定サーバ４０は、判定した感情に応じて任意の処理を実行することができる。なお、以下の説明では、感情判定サーバ４０は、ヘッドマウント装置１０に対して、ヘッドマウント装置１０を装着したユーザー＃１の感情を通知する例について説明する。

〔２．ヘッドマウント装置の機能構成〕
次に、図２を用いて、実施形態に係るヘッドマウント装置１０の機能構成について説明する。図２は、実施形態に係るヘッドマウント装置の機能構成の一例を説明する図である。図２に示す例では、ヘッドマウント装置１０は、カメラ１１、生体センサ１２、通信部１３、制御部１４、記憶部１５、表示部１６を有する。また、記憶部１５は、画像データベース１７を有する。また、制御部１４は、撮影部１８、収集部１９、送信部２０、表示制御部２１を有する。

まず、記憶部１５が有する画像データベース１７について説明する。画像データベース１７は、利用者が撮影した画像を一時的に記憶する。例えば、画像データベース１７には、ユーザー＃１がヘッドマウント装置１０を用いて撮影した画像が格納される。ここで、画像データベース１７に格納される画像には、プロパティとして、ユーザー＃１が画像を撮影した際の生体情報が付与されている。

カメラ１１は、画像を取得する画像取得装置である。例えば、カメラ１１は、利用者の目の横に設置された画像取得装置であり、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサを用いて、ヘッドマウント装置１０を装着した利用者の画像を取得する。

生体センサ１２は、利用者から生体センサ値を取得するセンサである。例えば、生体センサ１２は、１つ以上の生体センサ値を利用者から取得する。そして、生体センサ１２は、取得した各生体センサ値から、覚醒度と快度とを−５〜５までの１０段階で評価した感情スコアを生成する。

通信部１３は、ヘッドマウント装置１０、ソーシャルネットワークサーバ３０、感情判定サーバ４０との間の通信を制御する。具体的には、通信部１３は、ソーシャルネットワークサーバ３０に送信する画像と、画像を撮影した利用者を示すユーザーＩＤとを含む画像通知を送信部２０から受信した場合は、ネットワーク２を介して、受信した画像通知をソーシャルネットワークサーバ３０に送信する。また、通信部１３は、感情判定サーバ４０から、対象情報と、ヘッドマウント装置１０の利用者の感情を示す感情情報とを含む感情情報通知を受信した場合は、受信した感情情報通知を表示制御部２１に出力する。

表示部１６は、利用者の視界内に任意の情報を表示可能な表示装置である。例えば、表示部１６は、利用者の視線上に設置された自由曲面プリズムに画像を入力することで、利用者の視界内に情報の表示を行う。例えば、表示部１６は、表示制御部２１からの制御に応じて、撮影対象を示す情報と、かかる撮影対象に対する利用者の感情とを表示する。また、例えば、表示部１６は、画像を表示するとともに、画像に写っている各撮影対象の情報と、各撮影対象に対する利用者の感情とを表示する。

撮影部１８は、利用者の指示したタイミングで、画像を撮影する。具体的には、撮影部１８は、利用者が画像の撮影を指示した場合は、カメラ１１を動作させて画像を取得する。そして、撮影部１８は、撮影した画像を収集部１９に出力する。

収集部１９は、利用者が撮影した画像と、利用者が画像を撮影した際の感情スコアとを収集する。例えば、収集部１９は、利用者が画像の撮影を指示した場合は、生体センサ１２を動作させ、感情スコアを取得する。そして、収集部１９は、撮影部１８から受信した画像に収集した感情スコアを付与する。その後、収集部１９は、感情スコアを付与した画像を画像データベース１７に格納する。

送信部２０は、ソーシャルネットワークサーバ３０に送信する画像を読み出して送信する。例えば、送信部２０は、利用者が他の利用者に公開する写真を画像データベース１７から選択した場合は、利用者が選択した画像を画像データベース１７から読み出す。そして、送信部２０は、読み出した画像と、ヘッドマウント装置１０の利用者のユーザーＩＤとを含む画像通知を通信部１３に出力する。この結果、利用者が撮影した画像は、ネットワーク２を介して、ソーシャルネットワークサーバ３０に送信される。

表示制御部２１は、感情判定サーバ４０から感情情報を受信すると、受信した感情情報を表示部１６に表示させる。例えば、表示制御部２１は、感情判定サーバ４０から感情情報通知を受信すると、受信した感情情報通知から対象情報と感情情報とを抽出する。そして、表示制御部２１は、ヘッドマウント装置１０の利用者が、抽出した対象情報が示す撮影対象に対し、抽出した感情情報が示す感情を有している旨を表示部１６に表示させる。

なお、表示制御部２１は、感情情報通知から抽出した対象情報と感情情報とを対応付けて記憶部１５に格納してもよい。また、表示制御部２１は、利用者の要求に応じ、ソーシャルネットワークサーバ３０から対象情報が付与された画像を取得してもよい。

また、表示制御部２１は、取得した画像に付与された対象情報を抽出し、抽出した対象情報と対応付けられた感情情報を記憶部１５から取得する。そして、表示制御部２１は、画像から抽出した対象情報が示す撮影対象に対し、記憶部１５から取得した感情情報が示す感情を有している旨を、取得した画像とともに表示部１６に表示させる。かかる処理を実行することで、ヘッドマウント装置１０は、利用者が撮影した画像に複数の撮影対象が写っている場合にも、各撮影対象に対する個別の感情を表示することができる。

〔３．ソーシャルネットワークサーバの機能構成〕
次に、図３を用いて、実施形態に係るソーシャルネットワークサーバ３０の機能構成について説明する。図３は、実施形態に係るソーシャルネットワークサーバの機能構成の一例を説明する図である。図３に示す例では、ソーシャルネットワークサーバ３０は、通信部３１、制御部３２、記憶部３３を有する。また、記憶部３３は、画像データベース３４を有する。また、制御部３２は、受信部３５、更新部３６、配信部３７を有する。

まず、記憶部３３が記憶する画像データベース３４に格納される情報の一例について説明する。画像データベース３４は、各利用者が撮影した画像が格納されたデータベースである。例えば、画像データベース３４には、各利用者のユーザーＩＤと、対応するユーザーＩＤが示す利用者が撮影した画像とが対応付けて格納される。

通信部３１は、ソーシャルネットワークサーバ３０と、ヘッドマウント装置１０および感情判定サーバ４０との通信を制御する。例えば、通信部３１は、ヘッドマウント装置１０から画像通知を受信した場合は、受信した画像通知を受信部３５に出力する。また、通信部３１は、任意の端末装置から画像識別情報と対象情報とを含む付与通知を受信した場合は、受信した付与通知を更新部３６に出力する。

また、通信部３１は、配信対象となる画像を示す画像識別情報と、要求元を示す情報とを含む配信要求を受信した場合は、受信した配信要求を配信部３７に出力する。また、通信部３１は、配信部３７から画像と画像の送信先を示す情報とを受信した場合は、受信した画像を通知が示す送信先へ送信する。つまり、通信部３１は、配信部３７から受信した画像を、かかる画像の送信を要求する配信要求の送信元へ送信する。

受信部３５は、利用者が撮影した画像を受信し、受信した画像を画像データベース３４に格納する。具体的には、受信部３５は、通信部３１から、利用者を示すユーザーＩＤと、ユーザーＩＤが示す利用者が撮影した画像を含む画像通知を受信する。かかる場合は、受信部３５は、受信した画像通知からユーザーＩＤと画像とを抽出し、抽出した画像に対して画像を識別する画像識別情報を付与する。そして、受信部３５は、ユーザーＩＤと画像とを対応付けて画像データベース３４に格納する。

更新部３６は、画像データベース３４に格納された各画像に対し、各画像に写る撮影対象を示す対象情報を付与する。例えば、更新部３６は、通信部１３から付与通知を受信すると、受信した付与通知から画像識別情報と対象情報とを抽出する。次に、更新部３６は、画像データベース３４を参照し、抽出した画像識別情報が示す画像を検索する。そして、更新部３６は、検索した画像に対して、付与通知から抽出した対象情報を付与する。例えば、更新部３６は、付与通知からユーザーＩＤ「Ｂ」、「Ｃ」、「Ｄ」を抽出した場合は、検索した画像のプロパティに、ユーザーＩＤ「Ｂ」、「Ｃ」、「Ｄ」を格納する。

配信部３７は、ソーシャルネットワークサーバ３０に利用者から投稿された画像の配信を行う。例えば、配信部３７は、通信部３１から配信要求を受信すると、受信した配信要求から画像識別情報と要求元を示す情報とを抽出する。そして、配信部３７は、抽出した画像識別情報が示す画像を画像データベース３４から読み出し、配信要求から読み出した要求元を示す情報と画像を通信部３１に出力する。また、配信部３７は、抽出した要求元を示す情報を、画像の送信先を示す情報として、通信部３１に出力する。

なお、配信部３７は、画像識別情報としてユーザーＩＤを含む配信要求を感情判定サーバ４０から受信する。かかる場合は、配信部３７は、配信要求に格納されたユーザーＩＤと対応付けられた全ての画像を感情判定サーバ４０に配信する。

〔４．感情判定サーバの機能構成〕
次に、図４を用いて、実施形態に係る感情判定サーバ４０の機能構成について説明する。図４は、実施形態に係る感情判定サーバの機能構成の一例を説明する図である。図４に示す例では、感情判定サーバ４０は、通信部４１、制御部４２、記憶部４３を有する。また、記憶部４３は、対象情報データベース４４と感情情報管理テーブル４５とを記憶する。また、制御部４２は、取得部４６、抽出部４７、特定部４８、提供部４９を有する。

まず、記憶部４３が記憶する対象情報データベース４４と感情情報管理テーブル４５とに格納される情報の一例について説明する。対象情報データベース４４は、ある利用者が撮影した画像に写る撮影対象を示す対象情報と、かかる画像を撮影した際に利用者から収集された感情スコアとが対応付けて格納されている。

例えば、図５は、実施形態に係る対象情報データベースの一例を説明する図である。なお、図５に示す例では、対象情報データベース４４には、ユーザー＃１が撮影した画像に写る撮影対象を示す対象情報と、かかる画像を撮影した際にユーザー＃１から収集された感情スコアとが対応付けて格納されている。

図５に示すように、対象情報データベース４４には、対象情報と覚醒度と快度とが画像ごとに対応付けて格納されている。例えば、対象情報データベース４４には、対象情報「Ｂ」、「Ｃ」、覚醒度「０．５０」、快度「−１．００」とが対応付けて格納されている。すなわち、対象情報データベース４４は、ユーザー＃２とユーザー＃３とが写る画像をユーザー＃１が撮影した際に、ユーザー＃１から感情スコアとして覚醒度「０．５０」と快度「−１．００」とが取得された旨を示す。

なお、対象情報データベース４４には、対象情報「Ｂ」、「Ｄ」、覚醒度「４．０」、快度「０．５０」とが対応付けて格納され、対象情報「Ｂ」、「Ｅ」、覚醒度「０．５０」、快度「−３．００」とが対応付けて格納され対象情報「Ｃ」、「Ｄ」、覚醒度「０．５０」、快度「３．５０」とが対応付けて格納されている。また、対象情報データベース４４には、対象情報「Ｃ」、「Ｅ」、覚醒度「−３．０」、快度「０．００」とが対応付けて格納され、対象情報「Ｄ」、「Ｅ」、覚醒度「０．５０」、快度「１．５０」とが対応付けて格納され、対象情報「Ｂ」、「Ｃ」、「Ｄ」、覚醒度「１．６７」、快度「１．００」とが対応付けて格納されている。

また、対象情報データベース４４には、対象情報「Ｂ」、「Ｃ」、「Ｅ」、覚醒度「−０．６７」、快度「−１．３３」とが対応付けて格納され、対象情報「Ｂ」、「Ｄ」、「Ｅ」、覚醒度「１．６７」、快度「−０．３３」とが対応付けて格納され、対象情報「Ｃ」、「Ｄ」、「Ｅ」、覚醒度「−０．６７」、快度「１．６７」とが対応付けて格納されている。また、対象情報データベース４４には、対象情報「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、覚醒度「０．５０」、快度「０．２５」とが対応付けて格納され、対象情報「Ｂ」、「Ｄ」、覚醒度「３．００」、快度「１．０８」とが対応付けて格納され、対象情報「Ｃ」、「Ｄ」、「Ｅ」、覚醒度「２．００」、快度「１．５５」とが対応付けて格納されている。また、対象情報データベース４４には、対象情報「Ｄ」、「Ｅ」、覚醒度「２．０２」、快度「３．５２」とが対応付けて格納され、対象情報「Ｂ」、「Ｅ」、覚醒度「３．０６」、快度「−１．０２」とが対応付けて格納されている。

図４に戻って、説明を続ける。感情情報管理テーブル４５は、各利用者が撮影対象に対して有する感情が格納されている。例えば、図６は、実施形態に係る感情情報管理テーブルの一例を説明する図である。なお、図６に示す例では、感情情報管理テーブル４５には、対象情報の一例としてユーザーＩＤが格納されている。図６に示すように、感情情報管理テーブル４５には、感情を有する利用者を示すユーザーＩＤと、感情の対象となる利用者のユーザーＩＤである対象情報と、感情を示す感情情報とが対応付けて格納されている。

例えば、図６に示す例では、感情情報管理テーブル４５には、ユーザーＩＤ「Ａ」と対象情報「Ｂ」と感情情報「超ネガティブ状態」とが対応付けて格納され、ユーザーＩＤ「Ａ」と対象情報「Ｃ」と感情情報「ポジティブ状態」とが対応付けて格納されている。また、感情情報管理テーブル４５には、ユーザーＩＤ「Ａ」と対象情報「Ｄ」と感情情報「超ポジティブ状態」とが対応付けて格納され、ユーザーＩＤ「Ａ」と対象情報「Ｅ」と感情情報「ポジティブ状態」とが対応付けて格納されている。

すなわち、図６に示す例では、感情情報管理テーブル４５は、ユーザー＃１のユーザー＃２に対する感情が「超ネガティブ状態」であり、ユーザー＃１のユーザー＃３に対する感情が「ポジティブ状態」である旨を示す。また、感情情報管理テーブル４５は、ユーザー＃１のユーザー＃４に対する感情が「超ポジティブ状態」であり、ユーザー＃１のユーザー＃５に対する感情が「ポジティブ状態」である旨を示す。

図４に戻って、説明を続ける。通信部４１は、感情判定サーバ４０と、ヘッドマウント装置１０およびソーシャルネットワークサーバ３０との通信を制御する。例えば、通信部４１は、配信要求を取得部４６から受信した場合は、受信した配信要求をソーシャルネットワークサーバ３０に送信する。また、通信部４１は、ソーシャルネットワークサーバ３０から画像を受信した場合は、受信した画像を取得部４６に出力する。また、通信部４１は、提供部４９から感情情報通知と、送信先の通知とを受信した場合は、通知された送信先（例えば、ヘッドマウント装置１０）に対し、受信した感情情報通知を送信する。

取得部４６は、利用者が撮影した画像に写る撮影対象を示す対象情報と、かかる画像を撮影した際に利用者から収集された感情スコアとを画像から取得する。例えば、取得部４６は、特定部から、感情を特定する利用者の指示を受けると、指示された利用者のユーザーＩＤを含む配信要求を生成し、生成した配信要求を通信部４１に出力する。

また、取得部４６は、配信要求を出力した結果、配信要求に含めたユーザーＩＤが示す利用者により撮影された画像を通信部４１から受信した場合は、受信した画像のプロパティから対象情報と感情スコアとを抽出する。そして、取得部４６は、抽出した対象情報と感情スコアとを対応付けて対象情報データベース４４に格納する。具体的には、取得部４６は、１つの画像から抽出した１つ以上の対象情報と、覚醒度と、快度とを対応付けて、対象情報データベース４４の同一エントリに格納する。その後、取得部４６は、抽出部４７に対し、処理の実行を指示する。

抽出部４７は、撮影対象ごとに、かかる撮影対象を示す対象情報に対応する感情スコアを対象情報データベース４４から抽出する。例えば、抽出部４７は、取得部４６から処理の実行を指示されると、対象情報データベース４４の各エントリから、対象情報「Ｂ」が格納されたエントリを特定する。そして、抽出部４７は、特定したエントリに含まれる各覚醒度と各快度とを抽出し、抽出した覚醒度と快度とを特定部４８に出力する。また、抽出部４７は、感情を有する利用者のユーザーＩＤ「Ａ」と、判定対象となる対象情報「Ｂ」とを特定部４８に通知する。

また、例えば、抽出部４７は、対象情報「Ｃ」、「Ｄ」、「Ｅ」のそれぞれについても、同様の処理を実行することで、各撮影対象が写る画像を撮影した際に利用者から収集された感情スコアを撮影対象ごとに抽出する。そして、抽出部４７は、抽出した感情スコアを特定部４８に出力する。

特定部４８は、抽出部４７が撮影対象ごとに抽出した感情スコアを用いて、各撮影対象に対する利用者の感情を特定する。具体的には、特定部４８は、抽出部４７が撮影対象ごとに対象情報データベース４４から抽出した複数の覚醒度と複数の快度とを受信する。かかる場合は、特定部４８は、受信した複数の覚醒度の平均値と、受信した複数の快度の平均値とを算出する。そして、特定部４８は、算出した覚醒度の平均値と快度の平均値とを用いて、撮影対象に対する利用者の感情を特定する。

例えば、特定部４８は、図５に示した感情スコアのうち、図５中（Ａ）に示す覚醒度と快度、すなわち、対象情報に「Ｂ」が含まれるエントリの覚醒度と快度とを受信する。かかる場合は、特定部４８は、受信した覚醒度の平均値「１．１７」と、受信した快度の平均値「−０．５６」とを算出する。そして、特定部４８は、算出した平均値に基づいて、対象情報「Ｂ」が示す撮影対象、すなわちユーザー＃２に対するユーザー＃１の感情を特定する。その後、特定部４８は、感情を判定した利用者、例えば、ユーザー＃１以外の利用者を取得部４６に通知し、通知した利用者が撮影した画像の取得を指示する。

ここで、図７を用いて、特定部４８が利用者の感情を判定する処理の一例について説明する。図７は、実施形態に係る感情判定サーバが利用者の感情を判定する処理の一例を説明する図である。なお、図７には、利用者の覚醒度の平均値と快度の平均値とから感情を判定する際に用いる２次元感情モデルの一例を記載した。

例えば、特定部４８は、図７中（Ｂ）に示すように、利用者の覚醒度が正の値であり、快度が負の値である場合は、「怒り状態」や「恐怖状態」等、利用者の感情が「超ネガティブ状態」であると判定する。具体例を挙げると、特定部４８は、覚醒度の値が約「３」の範囲内であり、かつ、快度の値が約「−５〜−２」の範囲内である場合は、利用者の感情が「怒り状態」であると判定し、覚醒度の値が約「１〜３」の範囲内であり、快度の値が約「−３〜０」の範囲内である場合は、利用者の感情が「恐怖状態」であると判定する。

また、特定部４８は、図７中（Ｃ）に示すように、利用者の覚醒度が負の値であり、快度が負の値である場合は、「悲しみ状態」、「憂鬱状態」、「退屈状態」等、利用者の感情が「ネガティブ状態」であると判定する。具体例を挙げると、特定部４８は、覚醒度の値が約「−１〜０」の範囲内であり、かつ、快度の値が約「−５〜−２」の範囲内である場合は、利用者の感情が「悲しみ状態」であると判定し、覚醒度の値が約「−３〜−１」であり、快度の値が約「−３〜−１」の範囲内である場合は、利用者の感情が「憂鬱状態」であると判定し、覚醒度の値が約「−５〜−３」であり、快度の値が約「−３〜０」の範囲内である場合は、利用者の感情が「退屈状態」であると判定する。

また、特定部４８は、図７中（Ｄ）に示すように、利用者の覚醒度が負の値であり、快度が正の値である場合は、「リラックス状態」等、利用者の感情が「ポジティブ状態」であると判定する。具体例を挙げると、特定部４８は、覚醒度の値が約「−４〜−３」の範囲内であり、かつ、快度の値が約「０〜３」の範囲内である場合は、利用者の感情が「リラックス状態」であると判定する。

また、特定部４８は、図７中（Ｅ）に示すように、利用者の覚醒度が正の値であり、快度が正の値である場合は、「エキサイト状態」、「喜び状態」等、利用者の感情が「超ポジティブ状態」であると判定する。具体例を挙げると、特定部４８は、覚醒度の値が約「３〜５」の範囲内であり、かつ、快度の値が約「３〜４」の範囲内である場合は、利用者の感情が「エキサイト状態」であると判定し、覚醒度の値が約「０〜２」の範囲内であり、かつ、快度の値が約「２〜５」の範囲内である場合は、利用者の感情が「喜び状態」であると判定する。

ここで、特定部４８が実行する処理の一例について説明する。例えば、特定部４８は、対象情報に「Ｂ」が含まれるエントリの覚醒度の平均値「１．１７」と、受信した快度の平均値「−０．５６」とを算出する。この結果、特定部４８は、算出した覚醒度の平均値と快度の平均値とから、ユーザー＃２に対するユーザー＃１の感情が「超ネガティブ状態」であると判定する。そして、特定部４８は、抽出部から通知された感情を有する利用者のユーザーＩＤ「Ａ」と、対象情報「Ｂ」とに対応付けて、特定した感情を示す感情情報「超ネガティブ状態」を感情情報管理テーブル４５に格納する。

提供部４９は、特定部４８が特定した感情を提供する。例えば、提供部４９は、感情情報管理テーブル４５から、ユーザー＃１のユーザーＩＤ「Ａ」と対応付けられた対象情報と感情情報とを抽出し、抽出した対象情報と感情情報とを含む感情情報通知を生成する。そして、提供部４９は、生成した感情情報通知を通信部４１に出力するとともに、ユーザーＩＤ「Ａ」が示すユーザー＃１のヘッドマウント装置１０を送信先として通信部４１に通知する。

このように感情判定サーバ４０は、利用者が撮影した画像に含まれる撮影対象を示す対象情報と、かかる画像を撮影した際に利用者から収集した感情スコアとを取得し、取得した感情スコアから同一の対象情報に対応する感情スコアを抽出し、抽出した感情スコアの平均値に基づいて、撮影対象に対する利用者の感情を特定する。このため、感情判定サーバ４０は、利用者が撮影した画像に複数の撮影対象が含まれる場合にも、各撮影対象に対する利用者の感情を個別に特定することができる。

〔５．感情判定サーバが実行する処理の第１のバリエーション〕
次に、各撮影対象に対する利用者の感情を感情判定サーバ４０が特定する際に実行する処理の第１のバリエーションについて説明する。例えば、特定部４８は、撮影対象ごとに、かかる撮影対象を示す対象情報に対応する感情スコアの平均値を用いて、各対象情報が示す撮影対象に対する利用者の感情を特定する。そして、特定部４８は、各撮影対象に対する利用者の感情を、感情情報管理テーブル４５には格納せず、抽出部４７に通知する。

かかる場合、抽出部４７は、特定部４８から通知された利用者の感情が所定の条件を満たす撮影対象を特定する。例えば、抽出部４７は、通知された利用者の感情が「超ネガティブ状態」である撮影対象を特定する。そして、抽出部４７は、対象情報データベース４４に格納された各エントリのうち、特定した撮影対象を示す対象情報を含むエントリを削除する。その後、抽出部４７は、撮影対象ごとに、かかる撮影対象を示す対象情報が含まれるエントリを対象情報データベース４４から特定し、特定したエントリに含まれる感情スコアを特定部４８に出力する。

一方、特定部４８は、抽出部４７から再度受信した感情スコアの平均値を算出し、算出した平均値を用いて、各撮影対象に対する利用者の感情を再度特定する。そして、特定部４８は、再度特定した利用者の感情を感情情報管理テーブル４５に格納する。

例えば、図８は、実施形態に係る抽出部が特定部から受信する特定結果の一例を説明する図である。なお、図８には、ユーザー＃１が各ユーザー＃２〜＃Ｅが写る画像を撮影した際に、ユーザー＃１から取得された感情スコアの平均値と、平均値に基づいて特定されたユーザー＃１の感情とを記載した。

例えば、抽出部４７は、図８に示すように、対象情報「Ｂ」が示す撮影対象について、覚醒度の平均が「１．１７」であり快度の平均が「−０．５６」であるため、ユーザー＃１が「超ネガティブ状態」となる感情を有している旨を受信する。また、抽出部４７は、対象情報「Ｃ」が示す撮影対象について、覚醒度の平均が「−０．１７」であり快度の平均が「０．１７」であるため、ユーザー＃１が「ポジティブ状態」となる感情を有している旨を受信する。

また、抽出部４７は、対象情報「Ｄ」が示す撮影対象について、覚醒度の平均が「１．１７」であり快度の平均が「０．３５」であるため、ユーザー＃１が「超ポジティブ状態」となる感情を有している旨を受信する。また、抽出部４７は、対象情報「Ｅ」が示す撮影対象について、覚醒度の平均が「−０．１７」であり快度の平均が「−０．１８」であるため、ユーザー＃１が「ネガティブ状態」となる感情を有している旨を受信する。

かかる場合、抽出部４７は、図８中（Ｆ）に示すように、対象情報データベース４４に格納されたエントリのうち、対象情報「Ｂ」を含むエントリを削除する。この結果、対象情報データベース４４は、図９で示す対象情報と感情スコアとを記憶する。

図９は、実施形態に係る対象情報データベースからノイズを削除した例を説明する図である。図９に示すように、抽出部４７は、対象情報「Ｂ」を含むエントリを対象情報データベース４４から削除する。そして、抽出部４７は、図９に示す感情スコアのうち、撮影対象ごとに、かかる撮影対象の対象情報と対応付けられた感情スコアを抽出し、抽出した感情スコアを特定部４８に出力する。例えば、抽出部４７は、図９中（Ｇ）に示すように、対象情報「Ｃ」と対応付けられた覚醒度と快度とを抽出し、抽出した覚醒度と快度とを特定部４８に出力する。

一方、特定部４８は、図１０に示すように、抽出部４７が再度抽出した感情スコアの平均値を用いて、対象情報「Ｃ」〜「Ｅ」が示す撮影対象に対するユーザー＃１の感情を再度判定する。図１０は、実施形態に係る特定部がノイズ消去後に特定する感情情報の一例を説明する第１の図である。図１０に示すように、特定部４８は、各対象情報「Ｃ」〜「Ｅ」について、抽出部４７が再度抽出した感情スコアの平均値を算出し、算出した平均値に基づいて、ユーザー＃１の感情を特定する。

この結果、特定部４８は、図１０中（Ｈ）に示すように、対象情報「Ｅ」が示す撮影対象、すなわちユーザー＃５に対するユーザー＃１の感情について、図８に示した１回目の判定結果とは異なる「ポジティブ状態」であると判定する。すなわち、特定部４８は、ユーザー＃２に対するユーザー＃１の感情に引っ張られていたユーザー＃５に対するユーザー＃１の感情を、適切に判定することができる。

なお、かかる処理を実行する場合は、特定部４８は、１回目の処理において特定したユーザー＃２に対するユーザー＃１の感情を感情情報管理テーブル４５に格納し、２回目の処理において特定した他のユーザー＃２〜＃Ｅに対するユーザー＃１の感情を感情情報管理テーブル４５に格納する。かかる処理を行うことで、特定部４８は、ユーザー＃１が撮影した全ての撮影対象について、ユーザー＃１の感情を特定することができる。

〔６．感情判定サーバが実行する処理の第２のバリエーション〕
次に、各撮影対象に対する利用者の感情を感情判定サーバ４０が特定する際に実行する処理の第２のバリエーションについて説明する。例えば、抽出部４７は、対象情報データベース４４に格納された感情スコアをそれぞれ個別に特定部４８に通知し、利用者が各画像を撮影した際の感情、すなわち、各画像に対する利用者の感情を特定させる。また、抽出部４７は、撮影対象ごとに、利用者の感情が所定の条件を満たすと判定された画像に写る回数を計数する。

そして、抽出部４７は、計数した数が所定の閾値よりも多い撮影対象を特定し、特定した撮影対象が写る画像を撮影した際に利用者から収集された感情スコアを対象情報データベース４４から除外する。また、抽出部４７は、対象情報データベース４４に残る感情スコアから、撮影対象ごとに、かかる撮影対象を示す対象情報と対応する感情スコアを抽出し、抽出した感情スコアを特定部４８に出力する。その後、特定部４８は、抽出部４７から受信した感情スコアの平均値に基づいて、各撮影対象に対する利用者の感情を特定する。

例えば、抽出部４７は、対象情報データベース４４に格納された各エントリの感情スコアを１つずつ特定部４８に通知する。かかる場合、特定部４８は、受信した感情スコアを個別に用いて、利用者の感情を判定する。すなわち、特定部４８は、ユーザー＃１が撮影した各画像ごとに、利用者の感情を特定する。そして、特定部４８は、特定結果を抽出部４７に通知する。

また、抽出部４７は、特定部４８から通知された感情を示す感情情報を、対象情報データベース４４に格納する。この結果、抽出部４７は、対象情報データベース４４に対し、図１１に示す情報を格納する。図１１は、実施形態に係る感情情報管理テーブルが記憶する情報のバリエーションを説明する図である。

次に、抽出部４７は、図１１中（Ｉ）に示すように、対象情報データベース４４の各エントリのうち感情情報が「超ネガティブ状態」であるエントリを特定する。そして、抽出部４７は、特定したエントリに含まる対象情報の数を対象情報ごとに計数する。

例えば、図１１に示す例では、抽出部４７は、特定したエントリに含まれる対象情報「Ｂ」の数「３」、対象情報「Ｃ」の数「２」、対象情報「Ｅ」の数「２」とを計数する。そして、抽出部４７は、計数した各対象情報の数と所定の閾値、例えば「３」とを比較する。その後、抽出部４７は、計数した数が所定の閾値以上となる対象情報「Ｂ」を含むエントリを対象情報データベース４４から削除する。

そして、抽出部４７は、対象情報データベース４４から、撮影対象ごとに、撮影対象を示す対象情報を含むエントリの感情スコアを抽出し、抽出した感情スコアを特定部４７に出力する。この結果、特定部４８は、図１２に示すように、抽出部４７が再度抽出した感情スコアの平均値を用いて、対象情報「Ｃ」〜「Ｅ」が示す撮影対象に対するユーザー＃１の感情を再度判定する。

すなわち、抽出部４７は、利用者の感情が所定の要件を満たすと判定された画像に写った回数を撮影対象ごとに計数する。そして、抽出部４７は、計数した回数が所定の閾値以上となる撮影対象が写っていない画像から取得された感情スコアを用いて、各撮影対象に対するユーザー＃１の感情を判定する。

図１２は、実施形態に係る特定部がノイズ消去後に特定する感情情報の一例を説明する第２の図である。図１２に示すように、特定部４８は、各対象情報「Ｃ」〜「Ｅ」について、抽出部４７が再度抽出した感情スコアの平均値を算出し、算出した平均値に基づいて、ユーザー＃１の感情を特定する。この結果、特定部４８は、図１２中（Ｊ）に示すように、対象情報「Ｅ」が示す撮影対象に対するユーザー＃１の感情について、図８に示した判定結果とは異なる「超ポジティブ状態」であると判定する。

〔７−１．感情判定サーバが実行する処理の流れ〕
次に、図１３を用いて、感情判定サーバ４０が実行する処理の流れについて説明する。図１３は、実施形態に係る感情判定サーバが実行する処理の流れを説明する図である。例えば、図１３に示すように、感情判定サーバ４０は、ソーシャルネットワークサーバ３０が公開する画像から、利用者が画像を撮影した際の感情スコアを取得する（ステップＳ１０１）。

また、感情判定サーバ４０は、利用者が撮影した画像に写る撮影対象を特定する（ステップＳ１０２）。そして、感情判定サーバ４０は、撮影対象ごとに、かかる撮影対象が写る画像から取得された感情スコアの平均値を算出する（ステップＳ１０３）。その後、感情判定サーバ４０は、算出した平均値に基づいて、利用者の感情を特定し（ステップＳ１０４）、処理を終了する。

〔７−２．感情判定サーバが実行する処理の第１のバリエーションの流れ〕
次に、図１４を用いて、感情判定サーバ４０が実行する処理の第１のバリエーションの流れについて説明する。図１４は、実施形態に係る感情判定サーバが実行する処理の第１のバリエーションの流れを説明する図である。なお、図１４に示す各処理のうち、図１３に示す処理と同じ処理については、同一の符号を付し、説明を省略する。

例えば、感情判定サーバ４０は、特定した感情が「超ネガティブ状態」となる撮影対象があるか否かを判定し（ステップＳ２０１）、特定した感情が「超ネガティブ状態」となる撮影対象があると判定した場合は（ステップＳ２０１：Ｙｅｓ）、以下の処理を実行する。まず、感情判定サーバ４０は、利用者の感情が「超ネガティブ状態」である撮影対象が写る画像から取得された感情スコアをノイズとして除去する（ステップＳ２０２）。

次に、感情判定サーバ４０は、ノイズを除去した感情スコアから撮影対象ごとに、かかる撮影対象が写る画像から取得された感情スコアの平均値を算出する（ステップＳ２０３）。その後、感情判定サーバ４０は、算出した平均値に基づいて、利用者の感情を特定し（ステップＳ２０４）、処理を終了する。一方、特定した感情が「超ネガティブ状態」となる撮影対象がないと判定した場合は（ステップＳ２０１：Ｎｏ）、ステップＳ２０２〜Ｓ２０４をスキップし、処理を終了する。

〔７−３．感情判定サーバが実行する処理の第２のバリエーションの流れ〕
次に、図１５を用いて、感情判定サーバ４０が実行する処理の第２のバリエーションの流れについて説明する。図１５は、実施形態に係る感情判定サーバが実行する処理の第２のバリエーションの流れを説明する図である。例えば、感情判定サーバ４０は、ソーシャルネットワークサーバ３０が公開する画像から、利用者が画像を撮影した際の感情スコアを取得する（ステップＳ３０１）。

また、感情判定サーバ４０は、利用者が撮影した画像に写る撮影対象を特定する（ステップＳ３０２）。そして、感情判定サーバ４０は、画像ごとに取得した感情スコアを用いて利用者の感情を特定する（ステップＳ３０３）。続いて、感情判定サーバ４０は、特定された感情が「超ネガティブ状態」となる画像に含まれる回数を撮影対象ごとに計数する（ステップＳ３０４）。そして、感情判定サーバ４０は、計数された回数が所定の閾値よりも多い撮影対象を特定し（ステップＳ３０５）、特定した撮影対象が写る画像から取得された感情スコアをノイズとして除去する（ステップＳ３０６）。

その後、感情判定サーバ４０は、ノイズを除去した感情スコアから撮影対象ごとに、かかる撮影対象が写る画像から取得された感情スコアの平均値を算出する（ステップＳ３０７）。その後、感情判定サーバ４０は、算出した平均値に基づいて、利用者の感情を特定し（ステップＳ３０８）、処理を終了する。

〔８．変形例〕
上記した実施形態に係る情報提供システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、上記の情報提供システム１の他の実施形態について説明する。
〔８−１．感情判定サーバとソーシャルネットワークサーバとの関係について〕
上述した実施形態では、情報提供システム１は、利用者が撮影した画像を公開するソーシャルネットワークサーバ３０と、利用者が撮影した画像をソーシャルネットワークサーバ３０から取得し、取得した画像から抽出した感情スコアと対象情報とを用いて、利用者の感情を特定する感情判定サーバ４０とを有していた。しかしながら、実施形態はこれに限定されるものではない。例えば、ソーシャルネットワークサーバ３０と感情判定サーバ４０とが発揮する機能については、１つの情報処理装置によって実現されてもよい。

〔８−２．ソーシャルネットワークサーバについて〕
上述した例では、ソーシャルネットワークサーバ３０は、利用者が撮影した画像を公開した。しかしながら、実施例はこれに限定されるものではない。例えば、ソーシャルネットワークサーバ３０の配信部３７は、ユーザー＃１が公開する画像の配信要求をユーザー＃２から受信した場合は、ユーザー＃１を示すユーザーＩＤ「Ａ」とユーザー＃２を示す対象情報「Ｂ」とを含む問合せを感情判定サーバ４０に送信する。

一方、感情判定サーバ４０の提供部４９は、ソーシャルネットワークサーバ３０から問合せを受信すると、受信した問合せからユーザーＩＤ「Ａ」と対象情報「Ｂ」とを抽出する。そして、提供部４９は、ユーザーＩＤ「Ａ」と対象情報「Ｂ」とに対応付けられた感情情報を感情情報管理テーブル４５から取得し、取得した感情情報をソーシャルネットワークサーバ３０に送信する。

その後、ソーシャルネットワークサーバ３０の配信部３７は、感情判定サーバ４０から受信した感情情報が所定の条件を満たすか否か、（例えば、感情情報が「超ネガティブ状態」であるか否か）を判定し、受信した感情情報が所定の条件を満たす場合は、ユーザー＃２に対し、画像を公開できない旨を通知する。また、配信部３７は、受信した感情情報が所定の条件を満たさない場合は、要求された画像をユーザー＃２に送信する。

なお、配信部３７は、例えば、第１の利用者から第２の利用者が投稿したデータの閲覧要求を受信した場合は、第１の利用者から第２の利用者に対する感情と、第２の利用者から第１の利用者に対する感情とを感情判定サーバ４０から取得し、取得した各感情に応じて、第１の利用者のデータを第２の利用者に公開するか否かを判定してもよい。例えば、配信部３７は、第１の利用者から第２の利用者に対する感情と、第２の利用者から第１の利用者に対する感情とがそれぞれ「超ポジティブ状態」である場合は、第１の利用者のデータを第２の利用者に公開すると判定してもよい。

このように、ソーシャルネットワークサーバ３０は、感情判定サーバ４０が特定した利用者の感情に応じて、利用者が投稿した画像や文章などのデータの公開を制限することができる。

〔８−３．感情判定サーバについて〕
上述した実施例では、感情判定サーバ４０は、特定した感情を利用者のヘッドマウント装置１０に出力することで、特定した感情を利用者に通知した。しかしながら、実施例はこれに限定されるものではない。例えば、感情判定サーバ４０は、第１の利用者から第２の利用者に対する感情と、第２の利用者から第１の利用者に対する感情とに応じて、第１の利用者の情報を第２の利用者に提供してもよい。

具体的には、感情判定サーバ４０は、第１の利用者が好意を有している旨や、第１の利用者のプロフィール等を第２の利用者に通知してもよい。なお、感情判定サーバ４０は、提案を行わずに、ソーシャルネットワークサーバ３０または感情判定サーバ４０が管理する各利用者のソーシャルグラフの更新のみを行っても良い。

例えば、感情判定サーバ４０は、感情情報管理テーブル４５を参照し、第１の利用者から第２の利用者に対する感情と、第２の利用者から第１の利用者に対する感情とを取得する。そして、感情判定サーバ４０は、第１の利用者の第２の利用者に対する感情が「超ポジティブ状態」であり、第２の利用者の第１の利用者に対する感情が「ポジティブ状態」である場合は、第１の利用者の情報を第２の利用者に提供してもよい。

また、感情判定サーバ４０は、第１の利用者の第２の利用者に対する感情が「エキサイト状態」であり、第２の利用者の第１の利用者に対する感情が「リラックス状態」である場合にのみ、第１の利用者の情報を第２の利用者に提供してもよい。すなわち、感情判定サーバ４０は、第１の利用者の情報を第２の利用者に提供するか否かを、各利用者の感情に基づいて判定するのであれば、任意の条件を用いることができる。

また、感情判定サーバ４０は、任意のタイミングで各利用者に感情情報を提供することができる。また、感情判定サーバ４０は、ヘッドマウント装置１０ではなく、例えば、各利用者が有する端末装置等に、プッシュ型のメールやメッセージ形式で、感情情報を提供してもよい。

また、感情判定サーバ４０は、ユーザー＃１が友人に対して有する感情を特定し、特定した感情を各友人に対して送信してもよい。例えば、感情判定サーバ４０は、ユーザー＃１とユーザー＃３、＃Ｄが友人である場合は、ユーザー＃１がユーザー＃３、＃Ｄに対して有する感情、もしくは、友人ではないユーザー＃２、＃Ｅに対する感情を、ユーザー＃３、＃Ｄに対して提供してもよい。

〔８−４．対象情報について〕
上述した例では、感情判定サーバ４０は、利用者の操作により画像に付された対象情報を用いて、各画像に写された撮影対象を識別した。しかしながら、実施形態はこれに限定されるものではない。例えば、ソーシャルネットワークサーバ３０は、受信した画像から画像検索技術や顔識別技術を用いて、画像に写る撮影対象を特定し、特定した撮影対象を示す対象情報を自動で画像に付与してもよい。

〔８−５．感情を特定する処理について〕
上述した感情判定サーバ４０は、対象情報と感情スコアとを用いて、対象情報が示す撮影対象に対する利用者の感情を特定した。しかしながら、実施例はこれに限定されるものではない。例えば、感情判定サーバ４０は、利用者が画像を撮影する際の視線の動きを示す視線情報に基づいて、感情スコアの重み付けを行い、重み付けを考慮した感情スコアの平均値に基づいて、感情を特定してもよい。

例えば、ヘッドマウント装置１０は、赤外線等を用いて、利用者の眼球の動きを捉える機能を有する。そして、ヘッドマウント装置１０は、画像が撮像された場合は、画像が撮像された際の感情スコアと、利用者が視野内のどの範囲を注視しているか、すなわち視線が撮影された画像のどの範囲を見ていたかを示す視線情報を生成する。その後、ヘッドマウント装置１０は、撮影された画像に感情スコアと視線情報とを付与し、ソーシャルネットワークサーバ３０に送信する。

一方、ソーシャルネットワークサーバ３０は、利用者の操作により画像に対象情報が付与される際、各撮影対象が写る範囲の入力を対象情報ごとに要求する。かかる場合、例えば、利用者が操作する端末装置は、画像上に所定の大きさの枠を重ねて表示する。そして、端末装置は、利用者に対し、撮影対象が写る範囲に枠を移動する操作を求める。

また、端末装置は、利用者によって、撮影対象が写る範囲に枠の移動が行われた場合は、枠内に移る撮影対象を示す対象情報の入力を要求する。そして、ソーシャルネットワークサーバ３０は、枠内に移る撮影対象を示す対象情報の入力された場合は、画像に対し、枠の位置を示す位置情報と、かかる枠内に移る撮影対象を示す対象情報との組を対応付けて付与する。

かかる場合、感情判定サーバ４０は、ソーシャルネットワークサーバ３０が公開する画像から、判定対象となる撮影対象を示す対象情報が付与された画像を抽出する。また、感情判定サーバ４０は、抽出した各画像について、以下の処理を実行する。まず、感情判定サーバ４０は、判定対象となる撮影対象を示す対象情報と対応付けられた位置情報と、視線情報とを抽出する。そして、感情判定サーバ４０は、抽出した位置情報と視線情報とがどれくらい重複するかを示す一致度を算出し、画像に付与された感情スコアと、算出した一致度との積を算出する。その後、感情判定サーバ４０は、算出した積の平均値に基づいて、利用者の感情を判定する。

すなわち、感情判定サーバ４０は、ある画像について、撮影対象が写る範囲と、利用者が見ていた方向とが一致する場合は、かかる画像から抽出された感情スコアの値を底上げし、撮影対象が写る範囲と利用者が見ていた方向とが異なる場合は、かかる画像から抽出された感情スコアの値を低くする。このような処理を実行することで、感情判定サーバ４０は、利用者が画像を撮影した際の視線に応じた重み付けを考慮して、撮影対象に対する利用者の感情を特定することができる。この結果、感情判定サーバ４０は、撮影対象に対する利用者の感情を適切に特定することができる。

なお、上述した視線情報による重み付けを考慮して感情を特定する処理については、上述した第１のバリエーションまたは第２のバリエーションと組み合わせて実施することも可能である。また、感情判定サーバ４０は、画像から抽出される感情スコアに対して重み付けを考慮するのであれば、上述した処理以外の処理を実行しても良い。

〔８−６．対象情報の付与について〕
上述したソーシャルネットワークサーバ３０は、利用者の手入力による対象情報を記憶した。しかしながら、実施形態は、これに限定されるものではない。例えば、ソーシャルネットワークサーバ３０は、公知の顔認識技術を利用することで、画像に写る撮影対象を示す対象情報を自動的に取得しても良い。

例えば、ソーシャルネットワークサーバ３０は、利用者の顔を識別するための識別情報と、かかる利用者を示す対象情報とを対応付けて管理する。そして、ソーシャルネットワークサーバ３０は、識別情報を用いて、投稿された画像に写る利用者を特定する。例えば、ソーシャルネットワークサーバ３０は、画像内から撮影対象の顔と思われる範囲を抽出し、抽出した範囲から眉、目、鼻、耳等の形状や配置から識別情報を算出する。そして、ソーシャルネットワークサーバ３０は、算出した識別情報と、あらかじめ管理する識別情報とが一致、若しくは、類似の範囲に収まる場合は、かかる識別情報と対応付けられた対象情報を画像に付与する。

なお、上述した顔認識技術については、感情判定サーバ４０が実行してもよいし、ソーシャルネットワークサーバ３０、感情判定サーバ４０以外のサーバ装置によって実現されても良い。また、上述した顔認識技術については、画像がソーシャルネットワークサーバ３０に投稿される前に実行されてもよい。例えば、ヘッドマウント装置１０は、上述した顔識別技術を用いて、撮影した画像に写る撮影対象の対象情報を特定し、特定した対象情報を撮影した画像に付与してソーシャルネットワークサーバ３０に送信してもよい。

また、例えば、ヘッドマウント装置１０は、顔識別技術により撮影対象を特定するサーバ装置に対して撮影した画像を送信し、撮影した画像に写る撮影対象の対象情報をサーバ装置から受信する。そして、ヘッドマウント装置１０は、受信した対象情報を撮影した画像に付与してソーシャルネットワークサーバ３０に送信してもよい。

なお、顔識別技術により、自動で撮影対象を特定する処理と、利用者の手入力により撮影対象を特定する処理とを併用してもよい。

〔８−７．画像の撮影タイミングについて〕
上述した実施形態では、ヘッドマウント装置１０は、利用者の操作に応じて、利用者の視野を撮影した。しかしながら、実施形態は、これに限定されるものではない。例えば、ヘッドマウント装置１０は、利用者の視野を常時自動で撮影してもよい。また、ヘッドマウント装置１０は、所定の時間間隔、若しくは、利用者から取得した生体センサの値、感情スコアの値等に応じて、自動で利用者の視野を撮影しても良い。

なお、ヘッドマウント装置１０が撮影を自動で実行する場合にも、撮影した画像に写る撮影対象の特定は、利用者が手動でやってもよいし、ヘッドマウント装置１０、ソーシャルネットワークサーバ３０、感情判定サーバ４０、他のサーバ装置等任意の装置が、顔識別技術を用いて自動で行っても良い。

〔８−８．生体情報について〕
上述したヘッドマウント装置１０は、利用者から生体センサ値を取得し、取得した生体センサ値を用いて、感情スコアを算出した。また、感情判定サーバ４０は、ヘッドマウント装置１０が算出した感情スコアの平均を用いて、各撮影対象に対する利用者の感情を特定した。しかしながら、実施例はこれに限定されるものではない。例えば、感情スコアの算出は、ソーシャルネットワークサーバ３０や感情判定サーバ４０が実行しても良い。また、感情判定サーバ４０は、感情スコアから利用者の感情を特定するのではなく、例えば、心拍数や皮膚電気活動の値等、生体センサ値をそのまま用いて、利用者の感情を判定してもよい。

すなわち、上述した実施形態において、感情判定サーバ４０は、生体センサ値や感情スコア等、利用者から取得される任意の情報を含む生体情報を用いて、利用者の感情を判定してもよい。例えば、感情判定サーバ４０は、抽出した画像に付与された生体センサ値の平均値を用いて、利用者の感情を判定してもよい。なお、以下の記載では、生体センサ値や感情スコアを生体情報と記載する。

〔８−９．その他〕
上述したソーシャルネットワークサーバ３０、感情判定サーバ４０の機能は、いわゆるクラウドの機能を用いて、複数のサーバ装置によって実現されることとしてもよい。例えば、ソーシャルネットワークサーバ３０が有する受信部３５、更新部３６、配信部３７が発揮する機能は、それぞれ異なるサーバ装置によって実現されても良い。また、感情判定サーバ４０が有する取得部４６、抽出部４７、特定部４８、提供部４９が発揮する機能は、それぞれ異なるサーバ装置によって実現されても良い。

また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。また、例えば、各図に示したアプリケーションのＵＩ（User Interface）は、これに限定されるものではない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、各構成要素が発揮する機能は、ＣＰＵ（Central Processing Unit）が所定の特定プログラムを実行することで発揮することとしてもよい。

〔９．効果〕
上述したように、感情判定サーバ４０は、利用者が撮影した画像に写された撮影対象を示す対象情報と、画像が撮影された際に利用者から取得された生体情報とを、利用者が撮影した複数の画像について取得する。また、感情判定サーバ４０は、撮影対象ごとに、かかる撮影対象を示す対象情報に対応する生体情報を取得した生体情報から抽出する。そして、感情判定サーバ４０は、抽出した生体情報を用いて、撮影対象に対する利用者の感情を特定する。このため、感情判定サーバ４０は、利用者が撮影した画像に複数の撮影対象が写る場合にも、各撮影対象に対する利用者の感情を個別に特定することができる。

また、感情判定サーバ４０は、撮影対象ごとに抽出した生体情報の平均値を算出し、算出した平均値に基づいて、撮影対象に対する利用者の感情を特定する。このため、感情判定サーバ４０は、利用者が撮影した画像に複数の撮影対象が写る場合にも、各撮影対象に対する利用者の感情を個別に特定できる。

また、感情判定サーバ４０は、利用者の感情が所定の要件を満たす撮影対象が写っていない画像から取得された生体情報から、撮影対象ごとに、かかる撮影対象を示す対象情報に対応する生体情報を新たに抽出する。そして、感情判定サーバ４０は、新たに抽出した生体情報を用いて、撮影対象に対する利用者の感情を再度特定する。このように、感情判定サーバ４０は、取得した生体情報から、感情の幅が大きい撮影対象に係る生体情報をノイズとして除外し、ノイズを除外した生体情報から他の撮影対象に対する利用者の感情を特定する。このため、感情判定サーバ４０は、各撮影対象に対する利用者の感情を正確に特定できる。

また、感情判定サーバ４０は、利用者が撮影した画像ごとに、かかる画像を撮影した際に利用者から取得された生体情報を個別に用いて、利用者の感情が所定の条件を満たすか否かを判定する。また、感情判定サーバ４０は、撮影対象ごとに、利用者の感情が所定の条件を満たすと判定された画像に写っている回数を計数する。そして、感情判定サーバ４０は、計数した数が所定の閾値以上となる撮影対象が写っていない画像から取得された生体情報から、撮影対象ごとに、かかる撮影対象を示す対象情報と対応する生体情報を抽出する。その後、感情判定サーバ４０は、抽出した生体情報を用いて、撮影対象に対する利用者の感情を再度特定する。このため、感情判定サーバ４０は、各撮影対象に対する利用者の感情を正確に特定できる。

また、感情判定サーバ４０は、利用者が画像を撮影した際にどの撮影対象を見ていたかを示す視線情報をさらに取得する。そして、感情判定サーバ４０は、撮影対象ごとに抽出した生体情報と、かかる生体情報に対応する視線情報による重み付けとを用いて、各撮影対象に対する利用者の感情を特定する。このように、感情判定サーバ４０は、利用者が画像を撮影する際の視線方向を考慮して、各撮影対象に対する利用者の感情を特定するので、各撮影対象に対する利用者の感情を正確に特定できる。

〔１０．プログラム〕
なお、上述した実施形態における感情判定サーバ４０は、例えば図１６に示すような構成のコンピュータ５０が特定プログラムを実行することによって実現される。図１６は、特定プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。コンピュータ５０は、ＣＰＵ（Central Processing Unit）５１、ＲＡＭ（Random Access Memory）５２、ＲＯＭ（Read Only Memory）５３、ＨＤＤ（Hard Disk Drive）５４、通信インターフェイス（Ｉ／Ｆ）５５、入出力インターフェイス（Ｉ／Ｆ）５６、およびメディアインターフェイス（Ｉ／Ｆ）５７を備える。

ＣＰＵ５１は、ＲＯＭ５３またはＨＤＤ５４に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ５３は、コンピュータ５０の起動時にＣＰＵ５１によって実行されるブートプログラムや、コンピュータ５０のハードウェアに依存するプログラム等を格納する。

ＨＤＤ５４は、ＣＰＵ５１によって実行される特定プログラム、および、特定プログラムによって使用されるデータ等を格納する。例えば、ＨＤＤ５４は、図６に記載した感情情報管理テーブル４５等と同様のデータを記憶する。通信インターフェイス５５は、ネットワーク２を介して他の機器からデータを受信してＣＰＵ５１へ送り、ＣＰＵ５１が生成したデータを、ネットワーク２を介して他の機器へ送信する。

ＣＰＵ５１は、入出力インターフェイス５６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ５１は、入出力インターフェイス５６を介して、入力装置からデータを取得する。また、ＣＰＵ５１は、生成したデータを、入出力インターフェイス５６を介して出力装置へ出力する。

メディアインターフェイス５７は、記録媒体５８に格納された特定プログラムまたはデータを読み取り、ＲＡＭ５２を介してＣＰＵ５１に提供する。ＣＰＵ５１は、当該プログラムを、メディアインターフェイス５７を介して記録媒体５８からＲＡＭ５２上にロードし、ロードしたプログラムを実行する。記録媒体５８は、本願に係る特定プログラムが記録された記録媒体であり、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

コンピュータ５０が上述した実施形態に係るソーシャルネットワークサーバ３０として機能する場合、コンピュータ５０のＣＰＵ５１は、ＲＡＭ５２上にロードされたプログラムを実行することにより、取得部４６、抽出部４７、特定部４８、提供部４９の各機能を実現する。

コンピュータ５０のＣＰＵ５１は、特定プログラムを、記録媒体５８から読み取って実行するが、他の例として、他の装置から、ネットワーク２を介してこれらのプログラムを取得してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に多様な変更または改良を加えることが可能であることが当業者には明らかである。また、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１ 情報提供システム
２ ネットワーク
１０ ヘッドマウント装置
１１ カメラ
１２ 生体センサ
１３、３１、４１ 通信部
１４、３２、４２ 制御部
１５，３３、４３ 記憶部
１６ 表示部
１７ 画像データベース
１８ 撮影部
１９ 収集部
２０ 送信部
２１ 表示制御部
３０ ソーシャルネットワークサーバ
３４ 画像データベース
３５ 受信部
３６ 更新部
３７ 配信部
４０ 感情判定サーバ
４４ 対象情報データベース
４５ 感情情報管理テーブル
４６ 取得部
４７ 抽出部
４８ 特定部
４９ 提供部

Claims (7)

1. 利用者が撮影した画像に写された撮影対象を示す対象情報と、該画像が撮影された際に前記利用者から取得された生体情報とを、前記利用者が撮影した複数の画像について取得する取得部と、
   前記撮影対象ごとに、該撮影対象を示す対象情報に対応する生体情報を前記取得部が取得した生体情報から抽出する抽出部と、
   前記抽出部が抽出した生体情報を用いて、前記撮影対象に対する前記利用者の感情を特定する特定部と
   を備えることを特徴とする情報処理装置。
2. 前記特定部は、前記抽出部が抽出した生体情報の平均値を算出し、当該算出した平均値に基づいて、前記撮影対象に対する前記利用者の感情を特定することを特徴とする請求項１に記載の情報処理装置。
3. 前記抽出部は、前記取得部が取得した生体情報のうち、前記特定部によって特定された感情が所定の要件を満たす撮影対象が写っていない画像について前記取得部が取得した生体情報から、前記撮影対象ごとに、該撮影対象を示す対象情報に対応する生体情報を新たに抽出し、
   前記特定部は、前記抽出部が新たに抽出した生体情報を用いて、前記撮影対象に対する前記利用者の感情を再度特定する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記取得部が取得した生体情報を個別に用いて、前記利用者の感情が所定の条件を満たすか否かを前記画像ごとに判定する判定部と、
   前記判定部によって前記利用者の感情が所定の条件を満たすと判定された画像に前記撮影対象が写っている回数を、前記撮影対象ごとに計数する計数部と、
   を備え、
   前記抽出部は、前記取得部が取得した生体情報のうち、前記計数部によって計数された数が所定の閾値以上となる撮影対象を特定し、該特定した撮影対象が写っていない画像について前記取得部が取得した生体情報から、前記撮影対象ごとに、該撮影対象を示す対象情報に対応する生体情報を抽出する
   ことを特徴とする請求項１または２に記載の情報処理装置。
5. 前記取得部は、前記利用者が前記画像を撮影した際にどの撮影対象を見ていたかを示す視線情報と、前記対象情報と、前記生体情報とを複数の画像について取得し、
   前記特定部は、前記抽出部が抽出した生体情報と、該生体情報と対応する視線情報による重み付けとを用いて、前記撮影対象に対する前記利用者の感情を特定する
   ことを特徴とする請求項１〜４のいずれか１つに記載の情報処理装置。
6. 情報処理装置が、
   利用者が撮影した画像に写された撮影対象を示す対象情報と、該画像が撮影された際に前記利用者から取得された生体情報とを、前記利用者が撮影した複数の画像について取得する取得工程と、
   前記撮影対象ごとに、該撮影対象を示す対象情報に対応する生体情報を前記取得した生体情報から抽出する抽出工程と、
   前記抽出した生体情報を用いて、前記撮影対象に対する前記利用者の感情を特定する特定工程と
   を実行することを特徴とする特定方法。
7. コンピュータに、
   利用者が撮影した画像に写された撮影対象を示す対象情報と、該画像が撮影された際に前記利用者から取得された生体情報とを、前記利用者が撮影した複数の画像について取得する取得手順と、
   前記撮影対象ごとに、該撮影対象を示す対象情報に対応する生体情報を前記取得した生体情報から抽出する抽出手順と、
   前記抽出した生体情報を用いて、前記撮影対象に対する前記利用者の感情を特定する特定手順と
   を実行させることを特徴とする特定プログラム。
   
   
   

Images