JP6856959B1 - 情報処理装置、システム、方法及びプログラム - Google Patents

Abstract

【課題】映像コンテンツを視聴する視聴者の満足度を算出することが可能な技術を提供する。【解決手段】満足度算出システム１のサーバ１０は、その機能として、カメラが撮影した画像データを取得して解析し、視聴者の目における目の開き度合いを取得する開き度合い取得モジュール１０３４と、画像データを解析して視聴者の目におけるまばたきの回数を取得するまばたき回数取得モジュール１０３５と、目の開き度合い、及びまばたきの回数をパラメータとして、視聴者の映像コンテンツに対する満足度を算出する満足度算出モジュール１０３８と、を備える。【選択図】図４

Description

本開示は、情報処理装置、システム、方法及びプログラムに関する。

近年、映像コンテンツを制作するためのコストを確実に回収するため、または映像コンテンツの趣向を分析するためのマーケティングを目的として、映像コンテンツを視聴する機会を提供し、当該映像コンテンツに対する評価情報を取得する手法が検討されている。映像コンテンツ自体がデジタル化により容易に編集することが可能になったこともあり、例えばＡ／Ｂテストのようなマーケティング手法を用いて、映像コンテンツに対する評価を分析することが考えられている。

インターネット上の動画に対する評価手法については、いくつかの実施例がある。特許文献１には、インターネット上の動画共有サービスにおける動画に対する、いわゆる投げ銭により、動画を評価するソーシャルプラットフォームが開示されている。特許文献１に記載のソーシャルプラットフォームでは、投げ銭を行うためのアイテム画像を表示させると、そのアイテム画像に対応する金額の投げ銭の決済が行われる決済手段が設けられ、投げ銭機能が実装されている。

特開２０１２−１２００９８号公報

しかしながら、未公開の映像コンテンツ、例えば映画のような映像コンテンツに対する評価を得るためには、試写会のような場所でアンケートを取るような手法しかないのが現状であり、このような映像コンテンツに対する視聴者の反応を示す情報を、例えばシーンごとに取得することが可能な技術が望まれていた。

そこで、本開示では、映像コンテンツを視聴する視聴者の満足度を算出することが可能な技術について説明する。

本開示の一実施形態によると、制御部を備える情報処理装置が提供される。制御部は、映像コンテンツを視聴する視聴者を撮影した画像データから、視聴者の目を検知し、視聴者の目の開き度合いを取得する開き度合い取得部と、画像データから、視聴者の目を検知し、視聴者のまばたきの回数を取得するまばたき回数取得部と、開き度合い、及びまばたきの回数をパラメータとして、視聴者の映像コンテンツに対する満足度を算出する算出部と、を備える。

本開示の一実施形態によると、カメラと、情報処理装置と、を備えるシステムが提供される。カメラは、映像コンテンツを視聴する視聴者を撮影し、画像データを生成して情報処理装置に取得させ、情報処理装置は、制御部を備え、制御部は、映像コンテンツを視聴する視聴者を撮影した画像データから、視聴者の目を検知し、視聴者の目の開き度合いを取得する開き度合い取得部と、画像データから、視聴者の目を検知し、視聴者のまばたきの回数を取得するまばたき回数取得部と、開き度合い、及びまばたきの回数をパラメータとして、視聴者の映像コンテンツに対する満足度を算出する算出部と、を備える。

一実施形態によると、プロセッサを備えるコンピュータにより実行されるための方法が提供される。方法は、プロセッサが、映像コンテンツを視聴する視聴者を撮影した画像データから、視聴者の目を検知し、視聴者の目の開き度合いを取得するステップと、画像データから、視聴者の目を検知し、視聴者のまばたきの回数を取得するステップと、開き度合い、及びまばたきの回数をパラメータとして、視聴者の映像コンテンツに対する満足度を算出するステップと、を実行する。

また、一実施形態によると、プロセッサを備えるコンピュータに実行させるためのプログラムが提供される。プログラムは、プロセッサに、映像コンテンツを視聴する視聴者を撮影した画像データから、視聴者の目を検知し、視聴者の目の開き度合いを取得するステップと、画像データから、視聴者の目を検知し、視聴者のまばたきの回数を取得するステップと、開き度合い、及びまばたきの回数をパラメータとして、視聴者の映像コンテンツに対する満足度を算出するステップと、を実行させる。

本開示によれば、映像コンテンツを視聴する視聴者を撮影した画像データから、視聴者の目の開き度合い、及びまばたきの回数を取得し、これらに基づき、視聴者の映像コンテンツに対する満足度を算出する。そのため、映像コンテンツに対する視聴者の反応を示す情報を、例えばシーンごとに取得することが可能である。これにより、映像コンテンツに対する評価を分析することが可能になる。

満足度算出システム１の全体の構成を示す図である。 満足度算出システム１が設置された施設の外観の例を示す鳥瞰図である。 音声出力装置３０の外観の例を示す斜視図である。 実施の形態１の満足度算出システム１を構成するサーバ１０の機能的な構成を示すブロック図である。 図４の開き度合い取得モジュール１０３４における目の開き度合いを算出する具体的手法を示す模式図である。 実施の形態１の満足度算出システム１を構成する音声出力装置３０の機能的な構成を示す図である。 サーバ１０が記憶する映像コンテンツデータベース１８１、視聴者データベース１８４のデータ構造を示す図である。 実施の形態１の満足度算出システム１による映像コンテンツ出力処理を行う流れの一例を示すフローチャートである。 実施の形態１の満足度算出システム１による満足度算出処理を行う流れの一例を示すフローチャートである。 満足度算出処理における各パラメータの推移を表示したサーバ１０の画面例を示す図である。

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称及び機能も同じである。従って、それらについての詳細な説明は繰り返さない。

＜概要＞
以下、満足度算出システムにおける、映像コンテンツを視聴した視聴者の満足度の算出処理について説明する。満足度算出システムは、映画のような映像コンテンツを表示（上映）して視聴者に視聴する機会を提供し、そのときに視聴者が当該映像コンテンツを視聴している状態を撮影するとともに、視聴者の状態をセンサで取得し、撮影した画像データ及びセンサの検知信号から、視聴者の分析を行い、満足度を算出するシステムである。

ここで、満足度とは、映像コンテンツを視聴した視聴者の生体反応等から推測される、映像コンテンツに対する満足の度合いを数値化したものである。一般に、（映像コンテンツに限らず）何かを視聴している者がその対象について集中して視聴している場合、目（瞼）の開きが大きくなり、まばたきの回数が減少し、顔の動き（回数及び動きの大きさ）が少なくなり、脈拍数及び体温が増加することが経験的に知られている。そのため、映像コンテンツを視聴している視聴者が、上記のような反応を示している場合、当該視聴者はその映像コンテンツの視聴に集中していると考えられる。

また、映像コンテンツを視聴している視聴者は、その映像コンテンツを面白い、楽しいと感じている場合、集中力が上昇すると考えられ、その映像コンテンツをつまらない、退屈なものだと感じている場合、集中力が散漫になって低下すると考えられる。以上より、視聴者の目の開き、まばたきの回数、顔の動き、脈拍数及び体温と、視聴した映像コンテンツの満足度との間に因果関係があると考えられる。

そこで、本開示の満足度算出システムでは、視聴者が当該映像コンテンツを視聴している状態をカメラで撮影し、撮影した画像データから、視聴者の顔を識別してそれぞれの視聴者の目を検知する。画像データにおける視聴者の目の動きから、目の開き度合いと、まばたきの回数を取得する。また、視聴者の顔の動き、及び生体情報を検知するセンサの検知信号により、視聴者の顔の動きを取得し、視聴者の生体情報を取得する。取得した目の開き度合い、まばたきの回数、顔の動き、及び生体情報に基づき、映像コンテンツに対する満足の度合いを示す満足度を算出する。このように構成することで、視聴者の生体反応に基づく、視聴者の映像コンテンツに対する満足度を確実に取得することを可能にしている。

また、本開示の満足度算出システムでは、映像コンテンツを視聴する際に、ヘッドホンやイヤホンのような音声出力装置を装着し、音声出力装置から音声を聞くように構成されている。その音声出力装置には、上記のセンサが配置され、視聴者が音声出力装置を装着することで、視聴者の顔の動き及び視聴者の生体情報を検知できるようになっている。このように構成することで、視聴者の顔の動き、及び視聴者の生体情報を確実に取得することを可能にしている。

さらに、本開示の満足度算出システムでは、映像コンテンツを視聴している視聴者をそれぞれ識別し、視聴者ごとに満足度を算出している。これにより、視聴者の属性ごとに満足度を取得し、映像コンテンツに対する評価を分析することを可能にしている。

＜第１の実施の形態＞
以下、満足度算出システム１について説明する。

＜１ 満足度算出システム１の全体構成＞
図１は、満足度算出システム１の全体の構成を示す図である。満足度算出システムは、映画のような映像コンテンツを表示（上映）して視聴者に視聴する機会を提供し、そのときの視聴者の分析を行い、満足度を算出するためのシステムである。図１に示すように、満足度算出システム１は、サーバ１０と、映像出力装置２０と、複数の音声出力装置（図１では、音声出力装置３０Ａ及び音声出力装置３０Ｂを示している。以下、総称して「音声出力装置３０」ということもある）と、カメラ４０とを含む。サーバ１０と映像出力装置２０と音声出力装置３０とカメラ４０とは、ネットワーク８０を介して相互に通信可能に接続されている。ネットワーク８０は、有線または無線ネットワークにより構成される。

サーバ１０は、視聴者に視聴させる映像コンテンツや、視聴者を撮影した画像データ、センサによる視聴者の検知信号、及び、視聴者ごとの映像コンテンツに対する満足度の情報を管理する装置である。サーバ１０は、映像コンテンツの映像データを映像出力装置２０へ送信し、音声データを音声出力装置３０へ送信する。また、サーバ１０は、視聴者を撮影した画像データ及びセンサの検知信号を取得し、視聴者の満足度を算出する。

サーバ１０は、ネットワーク８０を介して映像出力装置２０、音声出力装置３０及びカメラ４０と通信可能に接続される。サーバ１０は、４Ｇ、５Ｇ、ＬＴＥ（Long Term Evolution）等の通信規格に対応した無線基地局８１、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１などの無線ＬＡＮ（Local Area Network）規格に対応した無線ＬＡＮルータ８２等の通信機器と通信することにより、ネットワーク８０に接続される。ネットワーク８０のその他の構成として、各装置間を無線または有線で接続してもよく、無線で接続する場合、通信プロトコルとして例えば、Ｚ−Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が使用されてもよく、有線で接続する場合、ＵＳＢ（Universal Serial Bus）ケーブル等により接続してもよい。

サーバ１０は、ネットワーク８０に接続されたコンピュータである。サーバ１０は、通信ＩＦ（Interface）１２と、入出力ＩＦ１３と、メモリ１５と、ストレージ１６と、プロセッサ１９とを備える。

通信ＩＦ１２は、サーバ１０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力ＩＦ１３は、ユーザからの入力操作を受け付けるための入力装置（例えば、マウス等のポインティングデバイス、キーボード）、及び、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）とのインタフェースとして機能する。メモリ１５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。ストレージ１６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）である。プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

映像出力装置２０は、サーバ１０からの指示により、映像コンテンツの映像データを受信して映像として表示（上映）を行う装置であり、例えば、フレームの縁にＬＥＤ素子を配列したＬＥＤパネルや、有機ＥＬディスプレイ、または液晶ディスプレイにより構成されている。この映像出力装置２０は、映画館のような上映施設等に設けられている。なお、映像出力装置２０は、例えば複数のＬＥＤパネルを並列に配置して数１００インチ程度の大型ビジョンとして構成し、一度に大人数の視聴者により視聴が可能に構成してもよい。さらに、映像出力装置２０は１つに限られず、複数の映像出力装置２０により構成してもよく、複数の映像出力装置２０を備えた施設を１のサーバ１０で、例えば遠隔により制御するように構成してもよい。

音声出力装置３０は、サーバ１０からの指示により、映像コンテンツの音声データを音声として出力する装置であり、音声出力装置３０から出力される音声は、映像出力装置２０に上映される映像と同期するように構成されている。なお、上記のように複数の映像出力装置２０が設けられ、それぞれ異なる映像コンテンツが上映されている場合、上映されている映像コンテンツに対応する音声が出力されるように構成し、複数の音声が出力されるチャネルから選択可能に構成してもよい。

音声出力装置３０は、映像コンテンツを視聴する視聴者の耳を覆うように装着され、サーバ１０の制御により、映像コンテンツの音声を無線通信により受信して音声として出力するワイヤレスヘッドホン等により実現される。この他、音声出力装置３０は、例えば有線で接続されるヘッドホンや、視聴者の耳を覆うものに限られず、無線または有線で接続されるイヤホンであるとしてもよい。

図１に音声出力装置３０Ｂとして示すように、音声出力装置３０は、通信ＩＦ３２と、センサ部３３と、スピーカ３４と、メモリ３５と、記憶部３６と、プロセッサ３９とを備える。

通信ＩＦ３２は、音声出力装置３０が外部の装置と通信するため、信号を入出力するためのインタフェースである。センサ部３３は、映像コンテンツを視聴している視聴者の顔の動きと生体情報とを取得する装置であり、例えば、視聴者の顔の動きを角速度として検知するジャイロセンサと、脈拍や体温を検知する温度センサや光センサ等の心電センサにより構成されている。センサ部３３は、センサ及びその他の部品を集積化したＭＥＭＳ（Micro Electro Mechanical Systems）により構成してもよい。すなわち、センサ部３３は、振動検知、体温計、脳波計、心拍計のような機能を備えている。

スピーカ３４は、音声信号を音声に変換し、ユーザに対し情報を音声として出力するための出力装置である。メモリ３５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。記憶部３６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）である。プロセッサ３９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

カメラ４０は、サーバ１０からの指示により、映像コンテンツを視聴している視聴者を撮影する装置であり、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像装置と、撮影した画像をデジタル信号からなる画像データに変換するＡ／Ｄ変換装置とを備えるデジタルカメラ等により構成されている。カメラ４０は、サーバ１０の制御により撮影する方向を変更するように構成してもよく、広範囲を撮影可能にするために撮影方向を適宜動かせるように構成してもよい。

カメラ４０は、映像コンテンツを視聴している視聴者を動画として撮影し、または所定の時間間隔で静止画として撮影し、動画または静止画の画像データへの変換を行う。また、カメラ４０は、撮影した画像データをサーバ１０へ送信する。なお、カメラ４０は１つに限られず、１つの施設に複数のカメラ４０が設けられてもよい。また、カメラ４０は単体の装置とは限られず、例えば、移動体通信システムに対応したスマートフォン、タブレット等の携帯端末に設けられたカメラ機能により構成してもよい。

＜１．１ 映像出力装置２０及び音声出力装置３０の構成＞
図２は、満足度算出システム１が設置された施設の外観の例を示す鳥瞰図である。図２に示す満足度算出システム１は、例えば映画館のように映像コンテンツの上映を行うスペースに設置された例を示している。また、満足度算出システム１は、視聴者がヘッドホン等の音声出力装置３０を装着して音声を取得するように構成されているため、映像コンテンツを視聴する以外の、飲食やその他の作業も可能となっており、いわゆるカフェスペースも併設され、多目的スペースを構成している施設である。さらに、満足度算出システム１は、例えば視聴者の自宅等で構成してもよい。例えば、サーバ１０をクラウドサーバ等で構成し、サーバ１０からオンデマンド等のサービスで、視聴者が使用するテレビやディスプレイ等により構成する映像出力装置２０に映像を出力させ、視聴者が使用するヘッドホン等により構成する音声出力装置３０に音声を出力させ、視聴者が使用するスマートフォン等により構成するカメラ４０で視聴者を撮影してその画像データをサーバ１０へ送信させてもよい。

図２に示す満足度算出システム１は、映像コンテンツの上映を行う上映スペースと、カフェスペースとが併設されたフロアＦに設けられ、フロアＦの所定の箇所（図２に示す右上方向）に映像出力装置２０とカメラ４０とが設置されている。映像出力装置２０が映像コンテンツの映像情報を上映する正面側には、映像コンテンツを視聴者Ｗが視聴するために着座する席が設けられている。視聴者Ｗは、前述のように映像コンテンツを視聴する際に音声出力装置３０を装着する。

この施設では、視聴者Ｗが入室するためには会員登録が必要であり、視聴者Ｗの氏名、性別、年齢等の属性情報を管理し、それぞれの視聴者の動きがカメラ４０による撮影により把握されるようになっている。また、この音声出力装置３０は、当該施設の管理者により貸与されたものである。これにより、会員登録されている視聴者Ｗの属性情報と、センサ部３３が取得した視聴者Ｗの情報と、カメラ４０が撮影した視聴者Ｗの画像データとが対応付けられるようになっており、視聴者Ｗの属性ごとの満足度を把握することが可能になっている。

さらに、このような構成により、視聴者Ｗは周囲の状況を気にすることなく、映像コンテンツの視聴に集中することが可能となっており、また、カフェスペースの利用者のように映像コンテンツを視聴していない者は、映像コンテンツの音声を気にすることなく飲食やその他の行為が可能となっている。

また、映像出力装置２０はＬＥＤパネル等により構成されているため、一定の明るさの光を視聴者Ｗ側に照射する。そのため、カメラ４０は、その光により視聴者Ｗを一定の解像度で撮影することが可能になっている。

満足度算出システム１が設置された施設は、図２に示すように、映画館のような閉鎖空間とは限られず、例えばコンビニエンスストアのイートインコーナーや、イベントスペースのような商業施設の空間であってもよい。また、飲食店内や、ホテルのラウンジ、マンションのような集合住宅の共有スペースのように、一定の静音性が確保されているスペースに満足度算出システム１を設置してもよい。さらに、パチンコやパチスロ店のような遊技施設や、ゲームセンター、アミューズメント施設のように、一定の雑音がある施設に満足度算出システム１を設置してもよい。

図３は、音声出力装置３０の外観の例を示す斜視図である。音声出力装置３０は、図３に示すように、映像コンテンツを視聴する視聴者が音声を聞くため、頭部から両耳を挟むようにして装着するヘッドホンで構成され、両耳をそれぞれ覆う一対の耳収容部３７と、一対の耳収容部３７を支持すると共に視聴者の頭部を適度な圧力で押圧することで耳収容部３７を視聴者の耳に装着させるアーム部３８とから構成されている。なお、音声出力装置３０はこのような構成に限られず、例えば、アーム部３８を備えずに耳収容部３７が視聴者の耳たぶに係止するように装着するような構成であってもよく、視聴者の耳の孔の中に挿入するようなカナル型イヤホンであってもよい。

図３に示すように、一対の耳収容部３７の内側における、視聴者の耳の周辺の皮膚に接触する位置には、センサ部３３が設けられている。センサ部３３が取得する生体情報により、耳収容部３７における位置は特定の位置に限られず、耳収容部３７内に複数設けられてもよい。また、センサ部３３が取得する生体情報の種類により、視聴者の皮膚に直接接触するように配置してもよく、視聴者の皮膚から離隔するように配置してもよい。なお、このような構成であるため、音声出力装置３０にはイヤーパッドを装着しないで使用することが望ましいが、イヤーパッドを装着することを妨げるものではない。

＜１．２ サーバ１０の機能的な構成＞
図４は、実施の形態１の満足度算出システム１を構成するサーバ１０の機能的な構成を示す図である。図４に示すように、サーバ１０は、通信部１０１と、記憶部１０２と、制御部１０３としての機能を発揮する。

通信部１０１は、サーバ１０が外部の装置と通信するための処理を行う。

記憶部１０２は、サーバ１０が使用するデータ及びプログラムを記憶する。記憶部１０２は、映像コンテンツデータベース１８１と、センサ検知信号データベース１８２と、カメラ撮影画像データベース１８３と、視聴者データベース１８４等を記憶する。

映像コンテンツデータベース１８１は、満足度算出システム１において提供する映像コンテンツ及びその上映時間の情報、すなわち映像出力装置２０の上映スケジュールを保持するためのデータベースである。詳細は後述する。

センサ検知信号データベース１８２は、満足度算出システム１を利用する視聴者が装着する、音声出力装置３０のセンサ部３３からの検知信号を時系列で保持するためのデータベースである。センサ部３３の検知信号は、日時情報が付加されて音声出力装置３０からサーバ１０へ送信されるので、その検知信号が格納される。

カメラ撮影画像データベース１８３は、満足度算出システム１を利用する視聴者を撮影した、カメラ４０の画像データを時系列で保持するためのデータベースである。カメラ４０の画像データは、日時情報が付加されてカメラ４０からサーバ１０へ送信されるので、その検知信号が格納される。

視聴者データベース１８４は、満足度算出システム１を利用する視聴者の情報と、視聴者ごとに視聴した映像コンテンツの満足度の情報を保持するためのデータベースである。詳細は後述する。なお、視聴者データベース１８４は、施設に登録されている会員情報（属性情報を含む）を格納してもよい。

制御部１０３は、サーバ１０のプロセッサがプログラムに従って処理を行うことにより、各種モジュールとして受信制御モジュール１０３１、送信制御モジュール１０３２、映像コンテンツ出力制御モジュール１０３３、開き度合い取得モジュール（開き度合い取得部）１０３４、まばたき回数取得モジュール（まばたき回数取得部）１０３５、顔動き取得モジュール（動き取得部）１０３６、生体情報取得モジュール（生体情報取得部）１０３７、及び満足度算出モジュール（算出部）１０３８に示す機能を発揮する。

受信制御モジュール１０３１は、サーバ１０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

送信制御モジュール１０３２は、サーバ１０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。

映像コンテンツ出力制御モジュール１０３３は、映像コンテンツを視聴者に視聴させるため、映像コンテンツの映像データを映像出力装置２０へ送信し、音声データを音声出力装置３０へ送信する処理を制御する。映像コンテンツ出力制御モジュール１０３３は、映像コンテンツデータベース１８１を参照し、映像コンテンツを上映させる日時を示すスケジュール情報に基づき、映像コンテンツの画像データ及び音声データを送信すると共に、映像コンテンツを上映させるように制御信号を送信し、映像コンテンツのデータ容量やデータ形式、解像度等の情報も送信する。

このとき、映像コンテンツ出力制御モジュール１０３３は、映像出力装置２０及び音声出力装置３０に対して、画像データ及び音声データを一括送信して上映させてもよく、ストリーミング形式で順次送信して上映させてもよい。なお、映像コンテンツ出力制御モジュール１０３３は、映像コンテンツの上映時間やクリエイターの氏名または名称等のクレジット情報を送信してもよい。

開き度合い取得モジュール１０３４は、カメラ４０が撮影した画像データを取得し、画像データを解析して視聴者の目を認識して検知し、視聴者の目の開き度合いを取得する処理を制御する。開き度合い取得モジュール１０３４は、視聴者の目を識別する手法として、公知技術である機械学習等による画像認識技術が用いられる。

例えば、開き度合い取得モジュール１０３４は、画像データを解析して視聴者の目を検知し、画像データにおける視聴者の目を開いた部分の面積を算出し、この面積を目の開き度合いとして取得する。また、開き度合い取得モジュール１０３４は、画像データを解析して視聴者の目を検知し、画像データにおける視聴者の目を開いた部分における、上瞼と下瞼との接点（目の左右の端点）と、上瞼の上方の端点、または虹彩（いわゆる黒目）と上瞼との接点と、下瞼の下方の端点、または虹彩と下瞼との接点との位置の情報を算出し、位置の情報に基づき、視聴者の目の開き度合いとして取得する。

図５は、図４の開き度合い取得モジュール１０３４における目の開き度合いを算出する具体的手法を示す模式図である。上記の目の開き度合いを算出する手法について、図５を用いて説明する。図５には、視聴者の目を模式的に示した目Ｅが示されており、目Ｅには、上瞼Ｌ１と、下瞼Ｌ２と、虹彩Ｌ３とが示されている。ここで、図５（ａ）は、虹彩Ｌ３が上瞼Ｌ１及び下瞼Ｌ２と接している場合の例であり、図５（ｂ）は、虹彩Ｌ３が上瞼Ｌ１及び下瞼Ｌ２と接していない場合の例である。

図５（ａ）に示すように、虹彩Ｌ３が上瞼Ｌ１及び下瞼Ｌ２と接している場合、画像データを解析することにより、上瞼Ｌ１と下瞼Ｌ２との接点Ｐ１，Ｐ２と、虹彩Ｌ３と上瞼Ｌ１との接点Ｐ３，Ｐ４と、虹彩Ｌ３と下瞼Ｌ２との接点Ｐ５，Ｐ６との位置を認識することが可能である。そこで、視聴者の目Ｅの画像データにおける、接点Ｐ１〜Ｐ６の座標を算出し、座標の位置情報に基づき、視聴者の目の開き度合いを取得する。

また、図５（ｂ）に示すように、虹彩Ｌ３が上瞼Ｌ１及び下瞼Ｌ２と接していない場合、画像データを解析することにより、上瞼Ｌ１と下瞼Ｌ２との接点Ｐ１，Ｐ２と、上瞼Ｌ１の上方の端点Ｐ７と、下瞼Ｌ２の下方の端点Ｐ８との位置を認識することが可能である。そこで、視聴者の目Ｅの画像データにおける、接点Ｐ１，Ｐ２、端点Ｐ７，Ｐ８の座標を算出し、座標の位置情報に基づき、視聴者の目の開き度合いを取得する。なお、例えば虹彩Ｌ３が上瞼Ｌ１と接しているが、下瞼Ｌ２と接していないような場合には、上瞼Ｌ１については図５（ａ）に示す手法で接点Ｐ３，Ｐ４を認識し、下瞼Ｌ２については図５（ｂ）に示す手法で端点Ｐ８を認識してもよく、逆の場合も同様である。

まばたき回数取得モジュール１０３５は、カメラ４０が撮影した画像データを取得し、画像データを解析して視聴者の目を認識して検知し、視聴者の目におけるまばたきの回数を取得する処理を制御する。まばたき回数取得モジュール１０３５は、視聴者の目を識別する手法として、開き度合い取得モジュール１０３４と同様に、公知技術である機械学習等による画像認識技術が用いられる。なお、人の目のまばたきを画像データとして取得するためには、一般には５０ｆｐｓ（frame per second）以上のフレームレートが必要とされているため、カメラ４０では、５０ｆｐｓ以上のフレームレートで撮影が行われる。

例えば、まばたき回数取得モジュール１０３５は、画像データを解析して視聴者の目を検知し、所定時間（例えば、１分）における視聴者のまばたきの回数を取得する。また、まばたき回数取得モジュール１０３５は、視聴者の目が閉じた状態になり、その状態から所定の時間（例えば、１秒）内に視聴者の目が開いた状態になったとき、視聴者がまばたきをしたと認識し、まばたきの回数としてカウントする。このような構成は、視聴者の目が閉じた状態になり、一定時間以上目が開かない場合、当該視聴者はその間映像コンテンツを視聴しているとはいえず、例えば睡眠状態であると考えられるため、睡眠状態と区別するために設定している。

顔動き取得モジュール１０３６は、視聴者が映像コンテンツを視聴している際に装着している音声出力装置３０から、センサ部３３が検知して出力した検知信号を取得し、検知信号を解析して視聴者の顔の動きを取得する処理を制御する。顔動き取得モジュール１０３６は、センサ部３３を構成するジャイロセンサが検知する角速度とその動きの時間から、視聴者の顔の動きを取得する。

例えば、顔動き取得モジュール１０３６は、センサ部３３を構成するジャイロセンサが検知する角速度とその動きの時間から、視聴者が顔を前後左右に傾けた動き、または視聴者が顔の向きを移動させた動き（左右方向に回転させた動き）を取得する。ここで、視聴者が顔を傾けた動きとは、首を動かすことによる動きでもよく、体幹部分を動かすことによる上半身全体の動きであってもよい。また、取得する視聴者の顔の動きの具体例は、視聴者が所定時間（例えば、１０分）内に所定の移動範囲以上に顔を動かした回数でもよく、顔を動かした角度や移動距離でもよい。

生体情報取得モジュール１０３７は、視聴者が映像コンテンツを視聴している際に装着している音声出力装置３０から、センサ部３３が検知して出力した検知信号を取得し、検知信号を解析して視聴者の生体情報を取得する処理を制御する。生体情報取得モジュール１０３７は、センサ部３３を構成する心電センサが検知する、視聴者の脈拍、血圧や体温を取得する。

満足度算出モジュール１０３８は、開き度合い取得モジュール１０３４が取得した目の開き度合い、まばたき回数取得モジュール１０３５が取得したまばたきの回数、顔動き取得モジュール１０３６が取得した顔の動き、及び生体情報取得モジュール１０３７が取得した生体情報をパラメータとして、視聴者の映像コンテンツに対する満足度を算出する処理を制御する。満足度算出モジュール１０３８は、パラメータとして目の開き度合い及びまばたきの回数のみから満足度を算出してもよく、またはパラメータとして顔の動きを加えてもよく、またはパラメータとして生体情報を加えてもよい。満足度とは、上記のように映像コンテンツを視聴した視聴者の生体反応等から推測される、映像コンテンツに対する満足の度合いを所定時間（例えば、１分）ごとに時系列で数値化したものであり、視聴者ごとに当該視聴者の満足度として算出され、または複数の視聴者の満足度が合計値や平均値として算出されて当該映像コンテンツの評価指標とするものである。また、この満足度は、所定時間ごとの時系列の推移として取得してもよい。

例えば、視聴者の個々の満足度の推移を把握することで、ある映像コンテンツに対する満足度の推移が近い視聴者をグルーピングしたり、グループごとの視聴者の属性等を分析したりすることで、映像コンテンツのマーケティングの指標値として使用してもよい。また、満足度の推移が近い視聴者をレコメンドしたり、満足度の推移が近い他の視聴者が視聴した映像コンテンツを当該視聴者にとっても満足度が高いと推測することで、その映像コンテンツをレコメンドしたりしてもよい。

ここで、目の大きさやまばたきの回数、顔の動き、生体情報は視聴者の生体活動に依存する値であるため、個人差が大きいものと考えられる。そのため、満足度算出モジュール１０３８は、例えば最初に取得した視聴者の目や顔、身体状態を初期値（基準値）とし、その後のそれぞれの値の変化、または変化率から満足度を算出してもよく、所定の時間内におけるそれぞれの値の変化、または変化率から満足度を算出してもよく、一般的な視聴者の目や顔、身体状態（例えば、平均値）との差で満足度を算出してもよい。

例えば、満足度算出モジュール１０３８は、上記の例により数値化された目の開き度合い、まばたきの回数、顔の動き、及び生体情報の値をパラメータとして、それぞれ所定の演算を行い、演算後のそれぞれの値を加算することで満足度を算出する。具体的には、目の開き度合いを算出する関数Ｊを、取得した開き度合いの値ｊの関数とする。関数Ｊは、例として、
Ｊ＝αｊ＋β
のような１次関数でもよく、
Ｊ＝αｊ＾ｎ＋βｊ＾（ｎ−１）＋・・・＋γ
のような高次関数でもよく、
Ｊ＝α＾（ｊ＋ｎ）＋β
のような指数関数であってもよい。同様に、まばたきの回数を算出する関数Ｋを、取得したまばたきの回数の値ｋの関数とする。顔の動きを算出する関数Ｌを、取得した顔の動きの値ｌの関数とする。生体情報を算出する関数Ｍを、取得した生体情報の値ｍとする。ここで、それぞれの関数は、それぞれの値をそのまま使用するものであってもよい。満足度Ｐは、以下の式のようにそれぞれの関数を加算し、
Ｐ＝Ｊ＋Ｋ＋Ｌ＋Ｍ
のように算出される。

また、例えば、満足度算出モジュール１０３８は、上記の例により目の開き度合い、まばたきの回数、顔の動き、及び生体情報の関数に対して、それぞれ異なる所定の係数を重み付けとして乗算し、乗算後のそれぞれの値を加算することで満足度を算出する。上記の例の場合、満足度Ｐは、以下の式
Ｐ＝ａＪ＋ｂＫ＋ｃＬ＋ｄＭ
により算出される。ここで、ａ，ｂ，ｃ，ｄは、それぞれ所定の係数である。

また、上記のように、映像コンテンツを視聴している者が集中して視聴している場合、目の開きが大きくなり、まばたきの回数が減少し、顔の動きが少なくなり、脈拍数及び体温が増加することが経験的に知られている。そのため、係数ａ，ｄを正の値の係数とし、係数ｂ，ｃを負の値の係数として、満足度を算出してもよい。また、上記それぞれの値は、視聴している映像コンテンツのジャンルによっては、変化の値や割合が異なると考えられる。そのため、映像コンテンツのジャンルごとに係数ａ，ｂ，ｃ，ｄの重み付けを変更してもよい。さらに、上記それぞれの値は、視聴している映像コンテンツのジャンルやシーンごとの視聴者の感情によっては、視聴者が反応するまでタイムラグが発生することがあると考えられる。そのため、タイムラグを補正してそれぞれの値を取得してもよい。

さらに、例えば、満足度算出モジュール１０３８は、上記の例による目の開き度合い、及びまばたきの回数の関数を加算して、集中度とし、集中度に対して所定の演算を行うことで満足度を算出してもよい。上記の例の場合、集中度Ｑは、以下の式
Ｑ＝ａＪ＋ｂＫ
により算出され、満足度Ｐは、以下の式
Ｐ＝αＱ＋βＲ
により算出される。ここで、Ｒは、顔の動き、及び生体情報の関数に対して所定の演算を行った関数または値でもよく、その他の値をパラメータとして算出した関数または値でもよい。

＜１．３ 音声出力装置３０の機能的な構成＞
図６は、実施の形態１の満足度算出システム１を構成する音声出力装置３０の機能的な構成を示す図である。図６に示すように、音声出力装置３０は、通信部３０１と、検知部３０２と、記憶部３０３と、制御部３０４としての機能を発揮する。

通信部３０１は、音声出力装置３０が外部の装置と通信するための処理を行う。

検知部３０２は、音声出力装置３０が視聴者の顔の動きと生体情報とを取得するための処理を行う。上記のジャイロセンサと心電センサとにより構成されている。

記憶部３０３は、音声出力装置３０が使用するデータ及びプログラムを記憶する。記憶部３０３は、ジャイロセンサ検知信号データベース３８１と、生体センサ検知信号データベース３８２等を記憶する。

ジャイロセンサ検知信号データベース３８１は、検知部３０２を構成するジャイロセンサの検知信号を時系列で保持するためのデータベースである。

生体センサ検知信号データベース３８２は、検知部３０２を構成する心電センサの検知信号を時系列で保持するためのデータベースである。

制御部３０４は、音声出力装置３０のプロセッサがプログラムに従って処理を行うことにより、各種モジュールとして受信制御モジュール３０３１、送信制御モジュール３０３２、音声出力モジュール３０３３、ジャイロセンサ制御モジュール３０３４、生体センサ制御モジュール３０３５に示す機能を発揮する。

受信制御モジュール３０３１は、音声出力装置３０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

送信制御モジュール３０３２は、音声出力装置３０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。

音声出力モジュール３０３３は、サーバ１０から送信された音声データを、スピーカ３４から映像コンテンツの音声として出力する処理を制御する。

ジャイロセンサ制御モジュール３０３４は、検知部３０２を構成するジャイロセンサの動作処理を制御する。また、ジャイロセンサ制御モジュール３０３４は、検知信号をサーバ１０へ送信する。

生体センサ制御モジュール３０３５は、検知部３０２を構成する心電センサの動作処理を制御する。また、生体センサ制御モジュール３０３５は、検知信号をサーバ１０へ送信する。

＜２ データ構造＞
図７は、サーバ１０が記憶する映像コンテンツデータベース１８１、視聴者データベース１８４のデータ構造を示す図である。

図７に示すように、映像コンテンツデータベース１８１のレコードのそれぞれは、項目「施設ＩＤ」と、項目「施設名」と、項目「コンテンツ上映情報」等を含む。

項目「施設ＩＤ」は、満足度算出システム１が設置された施設それぞれを識別する情報である。１つの施設に映像出力装置２０が複数設置され、それぞれ異なる映像コンテンツを上映する場合、異なる値の項目「施設ＩＤ」が付与され、別々に管理される。

項目「施設名」は、満足度算出システム１が設置された施設の名称を示す情報である。

項目「コンテンツ上映情報」は、満足度算出システム１を利用する施設で上映される映画等の映像コンテンツの上映スケジュールの情報であり、具体的には、項目「開始日時」と、項目「終了時刻」と、項目「コンテンツ名」等を含む。図７に示すように、１の項目「施設ＩＤ」に対して、１または複数の項目「コンテンツ上映情報」が時系列で格納されている。

項目「開始日時」は、当該施設で上映される映像コンテンツの開始日及び開始時刻を示す情報である。

項目「終了時刻」は、当該施設で上映される映像コンテンツの終了時刻を示す情報である。

項目「コンテンツ名」は、当該施設で上映される映像コンテンツの名称を示す情報である。

サーバ１０は、施設の管理者から映像コンテンツの上映情報の入力を受け付けることに伴って、映像コンテンツデータベース１８１を更新する。

視聴者データベース１８４のレコードのそれぞれは、「視聴者ＩＤ」と、項目「視聴者名」と、項目「視聴コンテンツ」と、項目「満足度情報」等を含む。

項目「視聴者ＩＤ」は、満足度算出システム１を利用する施設で上映された映像コンテンツを視聴した視聴者それぞれを識別する情報である。

項目「視聴者名」は、満足度算出システム１を利用する施設で上映された映像コンテンツを視聴した視聴者の氏名を示す情報である。なお、当該施設で視聴者の氏名情報が取得できなかった場合は、図７に示す項目「視聴者ＩＤ」が「＃０２０２」で示すレコードのように、格納されなくてもよい。

項目「視聴コンテンツ」は、当該視聴者が視聴した映像コンテンツの名称を示す情報であり、映像コンテンツデータベース２８１の項目「コンテンツ名」に対応している。

項目「満足度情報」は、満足度算出システム１を利用する施設で上映された映像コンテンツを視聴した視聴者の満足度の情報であり、具体的には、項目「経過時刻」と、項目「満足度」等を含む。図７に示すように、１の項目「視聴者ＩＤ」に対して、１または複数の項目「満足度情報」が所定時間（例えば、１分）ごとの時系列で格納されている。

項目「経過時刻」は、当該映像コンテンツの開始からの所定時間ごとの経過時刻を示す情報である。

項目「満足度」は、項目「経過時刻」の時刻における、当該映像コンテンツを視聴した視聴者の満足度を示す情報であり、満足度算出モジュール１０３８で算出された満足度の値である。

サーバ１０の満足度算出モジュール１０３８は、映像コンテンツを視聴した視聴者の満足度を算出するごとに、視聴者データベース１８４を更新する。

＜３ 動作＞
以下、図８及び図９を参照しながら、第１の実施の形態における満足度算出システム１による満足度算出の各処理について説明する。

図８は、実施の形態１の満足度算出システム１による映像コンテンツ出力処理を行う流れの一例を示すフローチャートである。

ステップＳ１１１において、サーバ１０の映像コンテンツ出力制御モジュール１０３３は、映像コンテンツデータベース１８１を参照し、映像コンテンツを上映させる日時を管理する。映像コンテンツ出力制御モジュール１０３３は、映像コンテンツを上映するために送信すべき時間になると、ステップＳ１１２の処理へ進む。

ステップＳ１１２において、サーバ１０の映像コンテンツ出力制御モジュール１０３３は、映像コンテンツを視聴者に視聴させるため、映像コンテンツの映像データを映像出力装置２０へ送信し、音声データを音声出力装置３０へ送信する。

ステップＳ１２２において、映像出力装置２０は、サーバ１０が送信する映像コンテンツの映像データを受け付ける。音声出力装置３０は、サーバ１０が送信する映像コンテンツの音声データを受け付ける。

ステップＳ１２３において、映像出力装置２０は、受け付けた映像コンテンツの映像データを映像として上映する。音声出力装置３０は、受け付けた映像コンテンツの音声データを音声として出力する。

以上のように、満足度算出システム１は、所定の時間になると映像コンテンツの映像データを映像出力装置２０へ送信し、音声データを音声出力装置３０へ送信する。映像出力装置２０は、映像データを映像として上映し、音声出力装置３０は、音声データを音声として出力する。これにより、映像コンテンツの上映が行われ、視聴者は音声出力装置３０を装着して視聴する。

図９は、実施の形態１の満足度算出システム１による満足度算出処理を行う流れの一例を示すフローチャートである。

ステップＳ２１１において、音声出力装置３０のジャイロセンサ制御モジュール３０３４は、検知部３０２を構成するジャイロセンサの動作制御を行い、ジャイロセンサの検知信号を、通信部３０１を介してサーバ１０へ送信する。また、生体センサ制御モジュール３０３５は、検知部３０２を構成する生体センサの動作制御を行い、生体センサの検知信号を、通信部３０１を介してサーバ１０へ送信する。

ステップＳ２３１において、カメラ４０は、撮影した画像データをサーバ１０へ送信する。

ステップＳ２２１において、サーバ１０は、音声出力装置３０から送信された検知信号を、通信部１０１を介して受け付ける。また、サーバ１０は、カメラ４０から送信された画像データを、通信部１０１を介して受け付ける。サーバ１０は、受け付けた検知信号をセンサ検知信号データベース１８２に、受け付けた画像データをカメラ撮影画像データベース１８３に、それぞれ格納する。

ステップＳ２２２において、サーバ１０の開き度合い取得モジュール１０３４は、カメラ撮影画像データベース１８３に格納されている画像データを取得する。開き度合い取得モジュール１０３４は、画像データを解析して視聴者の目を認識して検知し、視聴者の目における目の開き度合いを取得する。

ステップＳ２２３において、サーバ１０のまばたき回数取得モジュール１０３５は、カメラ撮影画像データベース１８３に格納されている画像データを取得する。まばたき回数取得モジュール１０３５は、画像データを解析して視聴者の目を認識して検知し、視聴者のまばたきの回数を取得する。

ステップＳ２２４において、サーバ１０の顔動き取得モジュール１０３６は、センサ検知信号データベース１８２に格納されている検知信号を取得する。顔動き取得モジュール１０３６は、ジャイロセンサの検知信号を解析し、検知信号の角速度とその動きの時間から視聴者の顔の動きを取得する。

ステップＳ２２５において、サーバ１０の生体情報取得モジュール１０３７は、センサ検知信号データベース１８２に格納されている検知信号を取得する。生体情報取得モジュール１０３７は、心電センサの検知信号を解析し、視聴者の生体情報（視聴者の脈拍や体温）を取得する。

ステップＳ２２６において、サーバ１０の満足度算出モジュール１０３８は、ステップＳ２２２で取得した目の開き度合い、ステップＳ２２３で取得したまばたきの回数、ステップＳ２２４で取得した顔の動き、ステップＳ２２５で取得した生体情報に基づき、視聴者の映像コンテンツに対する満足度を算出する。

ステップＳ２２７において、サーバ１０の満足度算出モジュール１０３８は、算出した満足度を視聴者データベース１８４に格納し、データベースを更新する。

以上のように、満足度算出システム１のサーバ１０は、視聴者を撮影した画像データから目の開き度合い、及びまばたきの回数を取得し、センサが検知した検知信号から顔の動き、及び生体情報を取得する。これらの情報から、映像コンテンツに対する満足度を算出する。これにより、映像コンテンツに対する評価を分析することが可能になる。

＜４ 画面例＞
以下、図１０を参照しながら、満足度算出システム１による各パラメータの推移を表示した画面例について説明する。

図１０は、満足度算出処理における各パラメータの推移を表示したサーバ１０の画面例を示す図である。図１０の画面例は、サーバ１０の入出力ＩＦ１３（ディスプレイ）に、目の開き度合い、まばたきの回数、顔の動き、及び生体情報（脈拍）の時系列の推移を表示した画面例を示す。図９のステップＳ２２６による算出結果に相当する。

図１０に示すように、サーバ１０の入出力ＩＦ１３（ディスプレイ）には、視聴者の目の開き度合い、まばたきの回数、顔の動き、及び生体情報（脈拍）の時系列の推移を示すグラフ１０３１ａが例として表示されている。このグラフ１０３１ａは、映像コンテンツの開始時点の目の開き度合い、まばたきの回数、顔の動き、及び脈拍を１００とし、その後の経過による各パラメータの変化率を算出し、グラフ化したものである。また、映像コンテンツの上映時間は２時間である。

図１０のグラフ１０３１ａを参照すると、目の開き度合い、及び脈拍は、映像コンテンツの開始以降減少を続け、開始後３０分の時点で上昇に反転し、開始後９０分の時点をピークに減少を続け、映像コンテンツの終了時点で１００付近の値になっている。また、まばたきの回数、及び顔の動きは、映像コンテンツの開始以降上昇を続け、開始後３０分の時点をピークに減少に反転し、開始後９０分の時点で上昇に反転し、映像コンテンツの終了時点で１００付近の値になっている。

上記のように、映像コンテンツを視聴している者が集中して視聴している場合、目の開きが大きくなり、まばたきの回数が減少し、顔の動きが少なくなり、脈拍数が増加する傾向があることから、図１０に示す例の場合、開始後３０分の時点が最も集中していない状態であり、開始後９０分の時点が最も集中している状態であることが分かる。そのため、満足度を算出する際の係数は、目の開き度合い、及び脈拍が大きい場合に満足度が高くなるように（正の係数）設定し、まばたきの回数、及び顔の動きが小さい場合に満足度が高くなるように（負の係数）設定する。

＜小括＞
以上のように、本実施形態によると、視聴者を撮影した画像データを解析し、目の開き度合い、及びまばたきの回数を取得する。センサが検知した検知信号から、顔の動き、及び生体情報を取得する。これらの情報に基づき、映像コンテンツに対する満足度を算出する。そのため、映像コンテンツに対する視聴者の反応を示す情報を取得することが可能である。これにより、映像コンテンツに対する評価を分析することが可能になる。

また、目の開き度合い、まばたきの回数、顔の動き、及び生体情報を所定時間ごとに取得し、所定時間ごとに満足度を算出する。これにより、映像コンテンツの時間経過ごとに細かく視聴者の反応を示す情報を取得することが可能である。これにより、映像コンテンツのシーンごとの評価を分析することが可能になり、例えば、プロモーション等に使用される重要なシーンの抽出を容易に行うことが可能になる。

以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換及び変更を行なって実施することができる。これらの実施形態及び変形例ならびに省略、置換及び変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。

＜付記＞
以上の各実施形態で説明した事項を、以下に付記する。

（付記１）制御部を備える情報処理装置であって、制御部は、コンテンツを視聴する視聴者を撮影した画像データから、視聴者の目を検知し、視聴者の目の開き度合いを取得する開き度合い取得部と、画像データから、視聴者の目を検知し、視聴者のまばたきの回数を取得するまばたき回数取得部と、開き度合い、及びまばたきの回数をパラメータとして、視聴者の映像コンテンツに対する満足度を算出する算出部と、を備える情報処理装置。

（付記２）制御部は、さらに、画像データから、または視聴者が装着する音声出力装置に設けられたセンサから出力された検知信号から、視聴者の顔の動きを取得する動き取得部を備え、算出部は、顔の動きをパラメータとして、視聴者の映像コンテンツに対する満足度を算出する、（付記１）に記載の情報処理装置。

（付記３）動き取得部は、視聴者が自己の耳に装着する音声出力装置に設けられたセンサから出力された検知信号から、視聴者の顔の動きを取得する、（付記２）に記載の情報処理装置。

（付記４）動き取得部は、音声出力装置に設けられたジャイロセンサから出力された検知信号から、視聴者の顔を傾けた動き、または視聴者の顔の向きを移動させた動きを取得する、（付記２）または（付記３）に記載の情報処理装置。

（付記５）制御部は、さらに、視聴者が装着する音声出力装置に設けられたセンサから出力された検知信号から、視聴者の生体情報を取得する生体情報取得部を備え、算出部は、生体情報をパラメータとして、視聴者の映像コンテンツに対する満足度を算出する、（付記１）から（付記４）のいずれかに記載の情報処理装置。

（付記６）生体情報取得部は、視聴者が装着する音声出力装置に設けられた脈拍センサから出力された検知信号から、視聴者の脈拍または血圧の情報を生体情報として取得する、（付記５）に記載の情報処理装置。

（付記７）生体情報取得部は、視聴者が装着する音声出力装置に設けられた温度センサから出力された検知信号から、視聴者の体温の情報を生体情報として取得する、（付記５）または（付記６）に記載の情報処理装置。

（付記８）算出部は、パラメータのそれぞれの値の所定の時刻における基準値と比較した差分、基準値との変化率、所定の時間内における変化の値、所定の時間内における変化率のいずれか１つまたは複数に基づき、満足度を算出する、（付記１）から（付記７）のいずれかに記載の情報処理装置。

（付記９）算出部は、パラメータのそれぞれの値に対して所定の関数による演算を行い、演算後のそれぞれの値を加算して満足度を算出する、（付記１）から（付記８）のいずれかに記載の情報処理装置。

（付記１０）算出部は、パラメータまたは演算後のそれぞれの値に対して、それぞれ所定の係数を乗算し、乗算後のそれぞれの値を加算して満足度を算出する、（付記９）に記載の情報処理装置。

（付記１１）算出部は、パラメータまたは演算後のそれぞれの所定の値に対して、正の値の係数を乗算し、パラメータまたは演算後のそれぞれの所定の値に対して、負の値の係数を乗算し、乗算後のそれぞれの値を加算する、（付記１０）に記載の情報処理装置。

（付記１２）算出部は、１または複数の視聴者をそれぞれ識別し、それぞれの視聴者ごとに満足度を算出する、（付記１）から（付記１１）のいずれかに記載の情報処理装置。

（付記１３）開き度合い取得部は、視聴者の目を開いた部分の面積を算出し、視聴者の目の開き度合いとして取得する、（付記１）から（付記１２）のいずれかに記載の情報処理装置。

（付記１４）開き度合い取得部は、視聴者の目を開いた部分における、上瞼と下瞼との接点と、上瞼の上方の端点、または虹彩と上瞼との接点と、下瞼の下方の端点、または虹彩と下瞼との接点と、の位置の情報を算出し、位置の情報に基づき、視聴者の目の開き度合いとして取得する、（付記１）から（付記１２）のいずれかに記載の情報処理装置。

（付記１５）まばたき回数取得部は、視聴者を撮影した画像データの所定時間における視聴者のまばたきの回数を取得する、（付記１）から（付記１４）のいずれかに記載の情報処理装置。

（付記１６）まばたき回数取得部は、視聴者の目が閉じた状態から、所定の時間内に視聴者の目が開いた状態になったとき、視聴者のまばたきと認識して回数をカウントする、（付記１）から（付記１５）のいずれかに記載の情報処理装置。

（付記１７）カメラと、情報処理装置と、を備えるシステムであって、カメラは、映像コンテンツを視聴する視聴者を撮影し、画像データを生成して情報処理装置に取得させ、情報処理装置は、制御部を備え、制御部は、映像コンテンツを視聴する視聴者を撮影した画像データから、視聴者の目を検知し、視聴者の目の開き度合いを取得する開き度合い取得部と、画像データから、視聴者の目を検知し、視聴者のまばたきの回数を取得するまばたき回数取得部と、開き度合い、及びまばたきの回数をパラメータとして、視聴者の映像コンテンツに対する満足度を算出する算出部と、を備える、システム。

（付記１８）プロセッサを備えるコンピュータにより実行されるための方法であって、方法は、プロセッサが、映像コンテンツを視聴する視聴者を撮影した画像データから、視聴者の目を検知し、視聴者の目の開き度合いを取得するステップと、画像データから、視聴者の目を検知し、視聴者のまばたきの回数を取得するステップと、開き度合い、及びまばたきの回数をパラメータとして、視聴者の映像コンテンツに対する満足度を算出するステップと、を実行する、方法。

（付記１９）プロセッサを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、映像コンテンツを視聴する視聴者を撮影した画像データから、視聴者の目を検知し、視聴者の目の開き度合いを取得するステップと、画像データから、視聴者の目を検知し、視聴者のまばたきの回数を取得するステップと開き度合い、及びまばたきの回数をパラメータとして、視聴者の映像コンテンツに対する満足度を算出するステップと、を実行させる、プログラム。

１０ サーバ、２０ 映像出力装置、３０ 音声出力装置、４０ カメラ、８０ ネットワーク、１２ 通信ＩＦ、１３ 入出力ＩＦ、１５ メモリ、１６ ストレージ、１９ プロセッサ、３３ センサ部、１０１ 通信部、１０２ 記憶部、１８１ 映像コンテンツデータベース、１８２ センサ検知信号データベース、１８３ カメラ撮影画像データベース、１８４ 視聴者データベース、１０３ 制御部、１０３３ 映像コンテンツ出力制御モジュール、１０３４ 開き度合い取得モジュール（開き度合い取得部）、１０３５ まばたき回数取得モジュール（まばたき回数取得部）、１０３６ 顔動き取得モジュール（動き取得部）、１０３７ 生体情報取得モジュール（生体情報取得部）、１０３８ 満足度算出モジュール（算出部）

Claims (15)

1. 制御部と、記憶部とを備える情報処理装置であって、
   前記制御部は、
   映像コンテンツを視聴する１または複数の視聴者を撮影した時系列の画像データから、前記視聴者の目を識別して検知し、前記視聴者の目の開き度合いを取得する開き度合い取得部と、
   前記画像データから、前記視聴者の目を識別して検知し、前記視聴者のまばたきの回数を取得するまばたき回数取得部と、
   前記画像データから、または前記視聴者が自己の耳に装着する音声出力装置に設けられたセンサから出力された時系列の検知信号から、前記視聴者の顔の動きを取得する動き取得部と、
   前記検知信号から、前記視聴者の生体情報を取得する生体情報取得部と、
   前記開き度合い、前記まばたきの回数、前記視聴者の顔の動き、及び前記視聴者の生体情報をパラメータとして、前記視聴者の前記映像コンテンツに対する時系列の満足度を算出する算出部と、を備え、
   前記音声出力装置は、前記映像コンテンツを視聴する施設の管理者により管理され、
   前記画像データに撮影されている前記視聴者の動きを把握し、前記視聴者を識別する情報と、前記センサから出力された検知信号と、前記画像データに撮影されている前記視聴者との対応付けを行い、
   前記記憶部は、前記視聴者を識別する情報に紐づけ、前記視聴者ごとに、あらかじめ記憶されている前記視聴者の属性情報と、前記センサから出力された検知信号と、前記視聴者の前記満足度とを記憶する、情報処理装置。
2. 前記動き取得部は、前記音声出力装置に設けられたジャイロセンサから出力された検知信号から、前記視聴者の顔を傾けた動き、または前記視聴者の顔の向きを移動させた動きを取得する、請求項１に記載の情報処理装置。
3. 前記生体情報取得部は、前記視聴者が装着する音声出力装置に設けられた脈拍センサから出力された検知信号から、前記視聴者の脈拍または血圧の情報を前記生体情報として取得する、請求項１または請求項２に記載の情報処理装置。
4. 前記生体情報取得部は、前記視聴者が装着する音声出力装置に設けられた温度センサから出力された検知信号から、前記視聴者の体温の情報を前記生体情報として取得する、請求項１から請求項３のいずれか１項に記載の情報処理装置。
5. 前記算出部は、前記パラメータのそれぞれの値の所定の時刻における基準値と比較した差分、前記基準値との変化率、所定の時間内における変化の値、所定の時間内における変化率のいずれか１つまたは複数に基づき、前記満足度を算出する、請求項１から請求項４のいずれか１項に記載の情報処理装置。
6. 前記算出部は、前記パラメータのそれぞれの値に対して所定の関数による演算を行い、演算後のそれぞれの値を加算して前記満足度を算出する、請求項１から請求項５のいずれか１項に記載の情報処理装置。
7. 前記算出部は、前記パラメータまたは演算後のそれぞれの値に対して、それぞれ所定の係数を乗算し、乗算後のそれぞれの値を加算して前記満足度を算出する、請求項６に記載の情報処理装置。
8. 前記算出部は、
   一部の前記パラメータまたは演算後のそれぞれの所定の値に対して、正の値の係数を乗算し、
   前記一部のパラメータまたは演算後のそれぞれの所定の値とは異なる、他の一部の前記パラメータまたは演算後のそれぞれの所定の値に対して、負の値の係数を乗算し、乗算後のそれぞれの値を加算する、請求項７に記載の情報処理装置。
9. 前記開き度合い取得部は、前記視聴者の目を開いた部分の面積を算出し、前記視聴者の目の開き度合いとして取得する、請求項１から請求項８のいずれか１項に記載の情報処理装置。
10. 前記開き度合い取得部は、前記視聴者の目を開いた部分における、上瞼と下瞼との接点と、上瞼の上方の端点、または虹彩と上瞼との接点と、下瞼の下方の端点、または虹彩と下瞼との接点と、の位置の情報を算出し、前記位置の情報に基づき、前記視聴者の目の開き度合いとして取得する、請求項１から請求項８のいずれか１項に記載の情報処理装置。
11. 前記まばたき回数取得部は、前記視聴者を撮影した画像データの所定時間における前記視聴者のまばたきの回数を取得する、請求項１から請求項１０のいずれか１項に記載の情報処理装置。
12. 前記まばたき回数取得部は、前記視聴者の目が閉じた状態から、所定の時間内に前記視聴者の目が開いた状態になったとき、前記視聴者のまばたきと認識して回数をカウントする、請求項１から請求項１１のいずれか１項に記載の情報処理装置。
13. カメラと、情報処理装置と、を備えるシステムであって、
    前記カメラは、映像コンテンツを視聴する視聴者を撮影し、画像データを生成して前記情報処理装置に取得させ、
    前記情報処理装置は、制御部と、記憶部とを備え、
    前記制御部は、
    映像コンテンツを視聴する１または複数の視聴者を撮影した時系列の画像データから、前記視聴者の目を識別して検知し、前記視聴者の目の開き度合いを取得する開き度合い取得部と、
    前記画像データから、前記視聴者の目を識別して検知し、前記視聴者のまばたきの回数を取得するまばたき回数取得部と、
    前記画像データから、または前記視聴者が自己の耳に装着する音声出力装置に設けられたセンサから出力された時系列の検知信号から、前記視聴者の顔の動きを取得する動き取得部と、
    前記検知信号から、前記視聴者の生体情報を取得する生体情報取得部と、
    前記開き度合い、前記まばたきの回数、前記視聴者の顔の動き、及び前記視聴者の生体情報をパラメータとして、前記視聴者の前記映像コンテンツに対する時系列の満足度を算出する算出部と、を備え、
    前記音声出力装置は、前記映像コンテンツを視聴する施設の管理者により管理され、
    前記画像データに撮影されている前記視聴者の動きを把握し、前記視聴者を識別する情報と、前記センサから出力された検知信号と、前記画像データに撮影されている前記視聴者との対応付けを行い、
    前記記憶部は、前記視聴者を識別する情報に紐づけ、前記視聴者ごとに、あらかじめ記憶されている前記視聴者の属性情報と、前記センサから出力された検知信号と、前記視聴者の前記満足度とを記憶する、システム。
14. プロセッサと、メモリとを備えるコンピュータにより実行されるための方法であって、
    前記方法は、前記プロセッサが、
    映像コンテンツを視聴する１または複数の視聴者を撮影した時系列の画像データから、前記視聴者の目を識別して検知し、前記視聴者の目の開き度合いを取得するステップと、
    前記画像データから、前記視聴者の目を識別して検知し、前記視聴者のまばたきの回数を取得するステップと、
    前記画像データから、または前記視聴者が自己の耳に装着する音声出力装置に設けられたセンサから出力された時系列の検知信号から、前記視聴者の顔の動きを取得するステップと、
    前記検知信号から、前記視聴者の生体情報を取得するステップと、
    前記開き度合い、前記まばたきの回数、前記視聴者の顔の動き、及び前記視聴者の生体情報をパラメータとして、前記視聴者の前記映像コンテンツに対する時系列の満足度を算出するステップと、を実行する、方法であって、
    前記音声出力装置は、前記映像コンテンツを視聴する施設の管理者により管理され、
    前記画像データに撮影されている前記視聴者の動きを把握し、前記視聴者を識別する情報と、前記センサから出力された検知信号と、前記画像データに撮影されている前記視聴者との対応付けを行い、
    前記メモリは、前記視聴者を識別する情報に紐づけ、前記視聴者ごとに、あらかじめ記憶されている前記視聴者の属性情報と、前記センサから出力された検知信号と、前記視聴者の前記満足度とを記憶する、方法。
15. プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、
    前記プログラムは、前記プロセッサに、
    映像コンテンツを視聴する１または複数の視聴者を撮影した時系列の画像データから、前記視聴者の目を識別して検知し、前記視聴者の目の開き度合いを取得するステップと、
    前記画像データから、前記視聴者の目を識別して検知し、前記視聴者のまばたきの回数を取得するステップと、
    前記画像データから、または前記視聴者が自己の耳に装着する音声出力装置に設けられたセンサから出力された時系列の検知信号から、前記視聴者の顔の動きを取得するステップと、
    前記検知信号から、前記視聴者の生体情報を取得するステップと、
    前記開き度合い、前記まばたきの回数、前記視聴者の顔の動き、及び前記視聴者の生体情報をパラメータとして、前記視聴者の前記映像コンテンツに対する時系列の満足度を算出するステップと、を実行させる、プログラムであって、
    前記音声出力装置は、前記映像コンテンツを視聴する施設の管理者により管理され、
    前記画像データに撮影されている前記視聴者の動きを把握させ、前記視聴者を識別する情報と、前記センサから出力された検知信号と、前記画像データに撮影されている前記視聴者との対応付けを行わせ、
    前記メモリに、前記視聴者を識別する情報に紐づけ、前記視聴者ごとに、あらかじめ記憶されている前記視聴者の属性情報と、前記センサから出力された検知信号と、前記視聴者の前記満足度とを記憶させる、プログラム。
    

Images