JP2006079533A - 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 被験者に負担をかけることなく簡易に得られる情報に基づいて被験者の緊張度などの内部状態を評価する。
【解決手段】 ヒトは緊張している場面では顔は正立しているが、リラックスしている場面では顔が左右に傾く傾向がある。そこで、緊張度が既知であるときの顔の撮影画像から得られる顔の傾きと緊張度との関連付けを行なって基礎データを作成し、以降は、撮影画像から検出される顔の傾きと基礎データとの比較によって顔の傾きに対応する緊張度を推定する。例えば、顔画像の左右の口角間を結ぶ線分の垂直２等分線の鉛直方向に対する傾きにより、顔の傾きが求まる。
【選択図】 図４

Description

本発明は、被験者の内部状態を評価する情報処理装置及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、被験者に負担をかけることなく簡易に得られる情報に基づいて被験者の緊張度などの内部状態を評価する情報処理装置及び情報処理方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、被撮影者を撮影した音声映像情報を被撮影者の緊張度に基づいて管理する情報処理装置及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、映像や音声、さらには使用したプレゼンテーション資料など会議の内容を記録した会議情報を、少なくとも１人の会議参加者の撮影画像に基づいて得られる緊張度に基づいてインデキシングやその他の情報の管理・分類を行なう情報処理装置及び情報処理方法、並びにコンピュータ・プログラムに関する。

人体の識別・検出技術は、個人認証などセキュリティ・システムとして、あるいはユーザに負担をかけないマンマシン・インターフェースとして開発されてきた。

人の識別・認証には、顔、声紋、虹彩、網膜毛細血管、指紋、手の指、甲などの生態情報を利用する方法が一般的である。ところが、顔、声紋以外は、人が認証を意識した所作、例えば、目や手の甲などを識別装置にかざしたりする行為が必要となるため、ユーザにとって煩わしい。また、人との共生を目指すロボットの場合、家庭やオフィスなどでそのような認証を意識したユーザの行為は不自然であり、また、複数の人を同時に識別できないという問題点もある。このような理由から、視覚データによる顔識別を行なう方法が有力であると思料される。

顔認識処理は、静止画又は動画などの画像フレーム中からユーザの顔の位置を同定したり顔の向きを認識したりする顔領域の抽出（若しくは顔検出）と、抽出された顔領域の画像情報を基に人物の顔を識別若しくは認識する顔識別という２つの工程に大別される。顔識別の手法としては、顔の各要素の相対的位置関係を用いたアルゴリズムや、幾何学的に不変の特徴と統計的な特徴の部分を組み合わせたアルゴリズム、局所的な特徴とその構成に重点を置いたアルゴリズムなどが挙げられる（例えば、非特許文献１を参照のこと）。初期は横顔を使った認識技術も検討されたが、現在は、正面画像の認識技術が中心となっている。

さらに、顔認識の拡張技術として、撮影画像に含まれる顔の表情を評価して、画像の分類や管理に利用する方法が考えられる。例えば、入力された撮影画像中の被撮影者の表情を評価して採点し、被撮影者がよい表情である撮影画像をプリントして楽しむことができる（例えば、特許文献１を参照のこと）。

本発明者らは、顔の表情など被験者の表層的な状態だけでなく、緊張度などの心理状態や感情といった内部状態を検出することができれば、さらに充実したサービスを提供することができると思料する。ところが、被撮影者の画像解析により表情を評価することはできるが、内部状態の評価はうまく行なわれていないのが実情である。何故ならば、人間の反応や感情は常に変化するが、その状態が必ずしも言葉や身振りに現れないことが多いからである。

例えば、人体の生理情報を検知して人体の緊張度を算出し、この算出結果すなわち人体の緊張度に応じて駆動制御することで、人間の感情を読み取り、感情に適切に対応させた機械動作を実現することができる（例えば、特許文献２を参照のこと）。

また、競技やスポーツにおいて、選手や動物に生体信号を検出する生体信号検出器を取り付け、得られた生体信号を配信することで、観戦者は選手や動物のコンディションや緊張度をリアルタイムで知ることが可能となり、スポーツや競技の娯楽性を高めた競技観覧システムを実現することができる（例えば、特許文献３を参照のこと）。

しかしながら、これらは緊張度を評価する生体信号を取得するために、被験者に検出器を取り付ける必要があるため、被験者に煩わしさを与え、簡便性に欠けるシステムとなる。生体信号として、主に脈拍、心音、呼吸音、発刊量、体内の乳酸量、筋肉弾性度若しくは弛緩度、脳波などを扱っており、被験者にプローブを取り付ける必要がある。（脳波は、通常、頭皮上に付着した電極を通して、微小な電位変化から計測する。簡易的な脳波計測装置として、例えば、頭皮上の、左右前頭部の２チャンネルから、脳の活動電位を計測するシステム（例えば、非特許文献２を参照のこと）がある。）

特開２００４−４６５９１号公報 特開２００２−２３９１８号公報 特開２００４−１９２６３２号公報 社団法人情報処理学会編「新版 情報処理ハンドブック」（オーム社、平成７年１１月２５日ｐ．１１９３） ひとセンシング株式会社、ＨＳＫ中枢リズムモニタシステム

本発明の目的は、緊張度や感情、心理状態といった被験者の内部状態を好適に評価することができる、優れた情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、被験者に負担をかけることなく簡易に得られる情報に基づいて被験者の緊張度などの内部状態を評価することができる、優れた情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、被験者の内部状態の評価を行なう情報処理装置であって、被験者を撮影した画像を入力する画像入力手段と、入力画像から被験者の顔を検出する顔検出手段と、検出された顔領域から顔の傾きの指標を検出する指標検出手段と、顔の傾き又は顔の傾きの変化を求める顔の傾き検出手段と、顔の傾き又は顔の傾きの変化パターンに基づいて、被験者の内部状態を評価する評価手段とを具備し、前記評価手段は、被験者の内部状態として例えば緊張度を評価する。

顔認識技術はユーザに負担をかけないマンマシン・インターフェースとして開発されてきた。また、顔画像から被撮影者の表情を評価して撮影画像の分類・整理などに利用することができる。

他方、顔の表情など被験者の表層的な状態だけでなく、緊張度などの心理状態や感情といった内部状態を検出することによって、より被験者に適合させたサービスを実現することができる。

ところが、従来は、顔画像から被撮影者の緊張度などの内部状態を取得するといったことは行なわれておらず、脈拍、心音、呼吸音、発刊量、体内の乳酸量、筋肉弾性度若しくは弛緩度、脳波などの生体信号を基に緊張度を測定しており、生体信号の検出器を被験者に取り付けるという煩わしさがある。

例えば、会議の参加者は、それぞれの年齢や社歴、地位などに応じて緊張したりリラックスしたりする。また、会議の進行に応じて緊張の度合いも時間的に変化していくことが想定される。

ここで、本発明者らは、ヒトは緊張していると想定される場面では顔は正立していることが多い一方、リラックスしていると想定される場面では顔が左右に傾く（左右に振れる）という傾向を先見的に導き出した。

そこで、本発明では、撮影画像中で顔の傾きを検出し、その傾きから緊張度合いを推定するようにした。この場合、緊張度を取得するために、被験者に検出信号を取り付ける必要がないので、被験者に身体的並びに心理的な負担をかけないで済む。例えば、撮影した動画像のインデキシングなどの画像の分類や整理を行なうための指標として緊張度を利用する場合には、記録された撮影画像そのものを使用して緊張度を推定することができるので、簡易なシステムとなる。

本発明における緊張度の推定処理は、例えば、緊張度が既知であるときの顔の画像を撮影し、この撮影画像から得られる顔の傾きと緊張度との関連付けを行なって、基礎データを作成するステップと、撮影画像を基に顔の傾きを検出し、基礎データとの比較によって顔の傾きに対応する緊張度を推定するステップで構成される。

ここで、顔の傾きは、正面の顔画像において、左右の口角、又は左右の虹彩の位置を抽出し、左右の口角又は左右の虹彩間を結ぶ線分の垂直２等分線を引き、この垂直２等分線の鉛直方向に対する傾きにより、比較的容易に求めることができる。

緊張度が既知であるときの顔の画像から顔の傾きを求めて、基礎データを作成する段階では、例えば、生体信号検出器で得られる生体信号を用いてより正確な緊張度を取得し、緊張度と顔の傾きとの正しい関連付けを行なうようにしてもよい。このような場合であっても、一旦基礎データが作成されれば、撮影画像から得られる傾きを基礎データ上で比較照合すればよく、生体信号は不要となり、緊張度を簡易に推定することができる。

例えば、撮影したビデオ画像中の被撮影者の顔の傾きを検出し、傾きそのもの、又は傾きから推定される緊張度に基づいて、ビデオ画像のインデキシングなどメタデータを作成することができる。

緊張していると場面では顔は正立し、リラックスしている場面では顔が左右に傾く、という一般的な傾向があるものの、リラックスしている場面で顔がどの程度左右に傾く（あるいは振れる）のかは、年齢や社歴、地位、その他の個体情報などに応じて個体差がある。したがって、本システムは、複数の被撮影者から基礎データを得るよりも、同じ被撮影者において、顔の傾きと緊張度の自己相関をとる方法に適している。

また、同じ人物であっても、会議中に聞き手となっているときと、発言しているときとでは、顔の傾きと緊張度との対応関係が著しく変化する。したがって、話中に得られたデータは除外して考えることが好ましい。

例えば、映像や音声によって会議の内容を記録した会議情報を扱うシステムでは、複数の会議参加者の撮影画像が記録されるが、複数の参加者の緊張度合いをそれぞれの画像から推定することができる。この場合、各自の緊張度の変化を個別に扱ってもよいが、各自の緊張度を人毎に重みを付与して重畳することにより、会議全体での緊張度の変化を表すことができる。

ここで、顔が傾く傾向は人それぞれなので、人毎に重みを正規化してもよいし、発言中か否かにより正規化してもよい。勿論、動的に正規化してもよい。

このようにして会議全体での緊張度の時間的な推移が得られると、映像音声などからなる会議情報を、会議全体の緊張度に基づいてインデキシングを行なうことができる。例えば、会議全体での緊張度が高まった時点から代表フレームを抽出することができる。また、顔の傾き度合いにより、緊張度合いを分類することができる。例えば、参加者間で立場を順序付けたり、グループ分けしたりすることができる。

また、本発明の第２の側面は、被験者の内部状態の評価を行なうための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、被験者を撮影した画像を入力する画像入力ステップと、入力画像から被験者の顔を検出する顔検出ステップと、検出された顔領域から顔の傾きの指標を検出する指標検出ステップと、顔の傾き又は顔の傾きの変化を求める顔の傾き検出ステップと、顔の傾き又は顔の傾きの変化パターンに基づいて、被験者の内部状態を評価する評価ステップとを具備することを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る情報処理装置と同様の作用効果を得ることができる。

本発明によれば、被験者に負担をかけることなく簡易に得られる情報に基づいて被験者の緊張度などの内部状態を評価することができる、優れた情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、被撮影者を撮影した映像音声情報を被撮影者の緊張度に基づいて管理することができる、優れた情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、映像や音声、さらには使用したプレゼンテーション資料など会議の内容を記録した会議情報を、少なくとも１人の会議参加者の撮影画像から得られる緊張度に基づいてインデキシングやその他の情報の管理・分類を行なうことができる、優れた情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

本発明は、被験者に負担をかけることなく簡易に得られる情報に基づいて被験者の緊張度などの内部状態を評価するための情報処理装置に関するが、具体的には、撮影情報を基に被撮影者の緊張度を推定することができる。

本発明では、ヒトは緊張している場面では顔は正立しているが、リラックスしている場面では顔が左右に傾くという傾向を基本原理として利用する。顔画像の左右の口角間を結ぶ線分の垂直２等分線の鉛直方向に対する傾きにより、顔の傾きを求めて緊張度を推定する。

そして、本発明によれば、ビデオなどの撮影情報に基づいて推定された被撮影者の緊張度を利用して、長時間にわたるビデオのインデキシングやその他の処理を施すことができる。例えば、緊張度が高くなった時点から代表フレームを抽出することができる。

Ａ．装置構成
図１には、本発明の実施に供される情報処理装置のハードウェア構成を模式的に示している。

図示のシステムは、プロセッサ１０を中心に構成されている。プロセッサ１０は、オペレーティング・システム（ＯＳ）が提供するプログラム実行環境下で、メモリに記憶されたプログラムに基づいて各種の処理を実行する。また、プロセッサ１０は、外部バス・インターフェース１４及びバス３０を介して接続されている各種の周辺機器を制御している。バス３０に接続された周辺機器は次のようなものである。

メモリ２０は、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）などの半導体メモリで構成され、プロセッサ１０において実行されるプログラム・コードをロードしたり、実行プログラムの作業データを一時格納したりするために使用される。メモリ２０は、プロセッサ１０のメモリ空間を構成する。

ディスプレイ・コントローラ２１は、プロセッサ１０から送られてくる描画命令に従って表示画像を生成し、表示装置２２に送る。ディスプレイ・コントローラに接続された表示装置２２は、ディスプレイ・コントローラ２１から送られた表示画像情報に従い、その画像を画面に表示出力する。

入出力インターフェース２３は、キーボード２４やマウス２５が接続されており、キーボード２４やマウス２５からの入力信号をプロセッサ１０へ転送する。

入出力インターフェース２３は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの汎用インターフェースを備えており、さまざまな情報機器を図示の計算機システムに接続することができる。例えば、ユーザ若しくはその他の被撮影者の画像入力を行なう場合には、カメラ２９を入出力インターフェース２３経由で接続することができる。

ネットワーク・インターフェース２６は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどの外部ネットワークに接続されており、インターネットを介したデータ通信を制御する。すなわち、プロセッサ１０から送られたデータをインターネット上の他の装置へ転送するとともに、インターネットを介して送られてきたデータを受け取りプロセッサ１０に渡す。例えば、プログラムやデータなどをネットワーク経由で外部から受信することができる。

ハード・ディスク装置（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）コントローラ２７には、ＨＤＤなどの大容量外部記憶装置２８が接続されており、ＨＤＤ コントローラ２７が接続されたＨＤＤ２８へのデータの入出力を制御する。ＨＤＤ２８には、プロセッサが実行すべきオペレーティング・システム（ＯＳ）のプログラム、アプリケーション・プログラム、ドライバ・プログラム、さらにはプログラムによって参照又は再生処理が行なわれるデータやコンテンツなどが格納されている。本実施形態では、各プログラムは、ＨＤＤ２８上に実行可能形式でインストールされる。

なお、情報処理装置はパーソナル・コンピュータなどの一般的な計算機システムを用いて構成することができるが、図１に示した以外にも多くの電気回路などが必要である。但し、これらは当業者には周知であり、また、本発明の要旨を構成するものではないので、本明細書中では省略している。また、図面の錯綜を回避するため、図中の各ハードウェア・ブロック間の接続も一部しか図示していない点を了承されたい。

情報処理装置上では、所望のアプリケーション・プログラムを起動することにより、さまざまな適用業務の処理を実行することができる。とりわけ本実施形態では、以下に示す機能を持つアプリケーション・プログラムがインストールされているものとする。
（１）カメラからの入力画像（動画、静止画、音声映像を含む）の処理
（２）入力画像の蓄積
（３）入力画像の再生
（４）入力画像に含まれる被撮影者の顔画像から緊張度の推定
（５）推定された緊張度に基づくインデキシングやその他の画像管理

Ｂ．緊張度の推定処理
本発明では、撮影情報を基に被撮影者の緊張度を推定するという、被験者に負担をかけない緊張度推定方法を提供する。この処理は、ヒトは緊張している場面では顔は正立しているが、リラックスしている場面では顔が左右に傾くという傾向を基本原理として利用するものである。

撮影した顔画像を基の顔の傾きを測定する具体的な方法として、顔画像の左右の口角間を結ぶ線分の垂直２等分線の鉛直方向に対する傾きにより、顔の傾きを求めて緊張度を推定する。勿論、左右の口角ではなく、左右の虹彩間を結ぶ線分の垂直２等分線の鉛直方向に対する傾きを用いて顔の傾きを求める方法や、その他、顔画像から顔の傾きを求める代替的な手法は幾つかある。

本発明における緊張度の推定処理は、例えば、緊張度が既知であるときの顔の画像を撮影し、この撮影画像から得られる顔の傾きと緊張度との関連付けを行なって、基礎データを作成するステップと、撮影画像を基に顔の傾きを検出し、基礎データとの比較によって顔の傾きに対応する緊張度を推定するステップで構成される。

図２には、顔画像から緊張度を推定するための処理手順をフローチャートの形式で示している。

まず、カメラ２９より撮影された動画像を入力する（ステップＳ１）。そして、動画像から被撮影者の顔領域を検出する（ステップＳ２）。顔領域は、例えば、画像フレームをスキャンして、所定の顔テンプレートとのマッチングを行ない、類似どの高い場所を顔領域として抽出することができる。

次いで、正面の顔画像において、左右の口角の位置を抽出する（ステップＳ３）。そして、左右の口角間を結ぶ線分の垂直２等分線を引き、これと鉛直な直線に対する傾きから、顔の傾きを求める（ステップＳ４）。

図３には、顔画像から左右の口角の位置を検出し、これらを結ぶ線分の垂直２等分線を引いた様子を示している。また、図４には、この垂直２等分線の傾きから顔の傾きθを求める様子を示している。

また、顔の傾きを求める代替的な手法として、左右の虹彩の位置を抽出し、左右の口角又は左右の虹彩間を結ぶ線分の垂直２等分線を引き、これと鉛直な直線に対する傾きから顔の傾きθを求めることができる。図５には、顔画像から左右の虹彩の位置を検出し、これらを結ぶ線分の垂直２等分線を引いた様子を示している。また、図６には、この垂直２等分線の傾きから顔の傾きθを求める様子を示している。

次いで、顔の傾きの時間的な推移θ(t)のパターン認識を行なう(ステップＳ５)。

ヒトは緊張していると想定される場面では顔は正立していることが多い一方、リラックスしていると想定される場面では顔が左右に傾く（左右に振れる）という傾向がある。例えば、会議の参加者は、それぞれの年齢や社歴、地位などに応じて緊張したりリラックスしたりする。また、会議の進行に応じて緊張の度合いも時間的に変化していくことが想定される。そこで、撮影画像中で顔の傾きを検出し、その傾きのパターンから緊張度合いを推定することができる。

顔の傾きパターンθ（ｔ）を用いた緊張度の推定処理は、緊張度が既知であるときの顔の画像を撮影し、この撮影画像から得られる顔の傾きと緊張度との関連付けを行なって、基礎データを作成するステップと、撮影画像を基に顔の傾きを検出し、基礎データとの比較によって顔の傾きに対応する緊張度を推定するステップで構成される。

基礎データを作成する段階では、緊張度が既知であるときの顔の画像から顔の傾きを求めるとともに、脈拍、心音、呼吸音、発刊量、体内の乳酸量、筋肉弾性度若しくは弛緩度、脳波といった、一般的な生体信号検出器で得られる生体信号を用いてより正確な緊張度を取得し、緊張度と顔の傾きとの正しい関連付けを行なうことができる。

図７には、顔画像から得られた顔の傾きの時間的推移θ（ｔ）と、脈拍数との対応関係を例示している。自律神経である交感神経が亢進すれば緊張度が高まり、副交感神経が亢進すれば緊張度が低くなる。脈拍数などの生理情報から緊張度を検知する方法自体は周知である。したがって、被撮影者の生理情報から緊張度が高まっているときの顔の傾き、又は顔が左右に振れるパターンを同定して、基礎データを作成することができる。

緊張している場面では顔は正立し、リラックスしている場面では顔が左右に傾く、という一般的な傾向があるものの、リラックスしている場面で顔がどの程度左右に傾く（あるいは振れる）のかは、年齢や社歴、地位、その他の個体情報などに応じて個体差がある。このため、複数の被撮影者から基礎データを得るよりも、同じ被撮影者において、顔の傾きと緊張度の自己相関をとる方法に適している。

また、同じ人物であっても、会議中に聞き手となっているときと発言しているときとでは、顔の傾きと緊張度との対応関係が著しく変化するので、話中に得られたデータは除外して考えることが好ましい。

そして、一旦基礎データが作成された以降は、基礎データとの比較によって顔の傾きに対応する緊張度を推定するステップを実行することができる。撮影画像から得られる傾きを基礎データ上で比較照合すればよく、生体信号は不要となり、被撮影者の緊張度を簡易に推定することができる。例えば、被撮影者の顔の傾きθが所定角度に到達した、あるいは顔が左右に振れる幅Δθ、又は左右に振れる速度ｄθ／ｄｔが所定値になったなど、θ（ｔ）のパターンを基礎データと比較することによって、被撮影者がリラックスしたかどうかを判別することができる。

Ｃ．会議記録システムへの応用
上述したように、撮影情報から得られる被撮影者の顔の傾きを基に、被撮影者の緊張度を推定することができる。

一方、会議の参加者を撮影した映像や参加者の発言内容などの音声などのビデオ情報、さらには会議で使用されるホワイトボードや、スライドその他のプレゼンテーション資料など、会議に関連するさまざまなメディア・データを会議の進行と同期させて保管するという会議記録システムが一般的になりつつある。

会議はほぼ毎日複数の会議において時間毎に開催されるため、蓄積された会議情報は膨大であり、その数は日々増加していく。会議での決定事項を見返すなど、会議データを適切に再利用するためには、見たいシーンをすばやく検索する技術が不可欠であり、会議における音声映像情報を記録した会議情報についてのインデックスを作成して、所望する情報を効率よく検索する必要がある。

本発明によれば、会議情報としての映像情報を利用して、各会議参加者の緊張度合いをそれぞれの画像から推定することができる。この場合、各自の緊張度の変化を個別に扱ってもよいが、各自の緊張度を人毎に重みを付与して重畳することにより、会議全体での緊張度の変化を表すことができる。

ここで、顔が傾く傾向は人それぞれなので、人毎に重みを正規化してもよいし、発言中か否かにより正規化してもよい。勿論、動的に正規化してもよい。

図８には、本発明の一実施形態に係る会議記録装置の構成を模式的に示している。図示の会議記録装置は、会議状況記録部１２０と、参加者情報記録部１３０と、データ処理部１４０で構成される。

会議状況記録部１２０は、会議１００の様子を音声映像情報として記録する。参加者情報記録部１３０は、会議参加者の情報の処理及び記録を実行する。データ処理部１４０は、会議状況記録部１２０で記録されたデータと参加者情報記録部１３０で記録されたデータを基に、会議１００のインデックスを作成する処理を実行する。

図９には、会議１００において会議状況記録部１２０による記録対象となる実施態様を図解している。

同図に示す例は、会議１００は、４人の会議参加者Ａ１１、Ｂ１２、Ｃ１３、Ｄ１４で運営され、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１５０を利用して資料１６０が提示されている。会議状況記録部１２０が会議の音声情報を含む映像情報を記録するとともに、参加者情報記録部１３０が会議参加者毎の顔の傾きパターン情報を記録する。

図１０には、会議記録装置のうち、参加者情報記録部１３０と、データ処理部１４０の内部構成をより詳細に示している。

参加者情報記録部１３０では、会議参加者の動画像情報を取得し、会議参加者の緊張度を推定してこれらを会議参加者毎の参加者情報として記録する。図示の実施形態では、参加者情報記録部１３０は、動画像入力部１３１と、撮影画像から顔を検出する顔検出部１３２と、顔領域から口角を検出する口角検出部１３３と、左右の口角を結ぶ線分の垂直２等分線の傾きを基に顔の傾きを検出する顔傾き検出部１３４と、顔の傾きパターンを参加者情報として記録する記録部１３５を備えている。

データ処理部１４０では、参加者情報記録部１３０で記録された会議参加者の情報に基づいて各会議参加者の緊張度合いを推定し、さらに推定された緊張度合いに基づいて、会議情報中で会議参加者が興味の高い時点を割り出して、会議情報記録部１２０により記録された音声映像情報中の該当する場所の情報を用いてインデックス情報を生成し、これを記録する。

参加者情報記録部１３０では、会議参加者ｉ毎の緊張度の指標である顔の傾きパターンθ_i（ｔ）が測定され、記録されている。各自の緊張度の変化を個別に扱ってもよいが、緊張度判定部１４１では、各自の緊張度を人毎に重みを付与して重畳することにより、会議全体での緊張度の変化を表す。

ここで、顔が傾く傾向は人それぞれなので、人毎に重みを正規化してもよいし、発言中か否かにより正規化してもよい。勿論、動的に正規化してもよい。会議参加者ｉの緊張度の指標である顔の傾きパターンθ_i（ｔ）は、下式により正規化することができる。

そして、正規化された会議参加者毎の緊張度を人毎に重みを付与し、下式により重畳して正規化（平均化）することにより、会議全体での緊張度の変化Θ（ｔ）を表す。

このようにして会議全体での緊張度の時間的な推移が得られると、インデックス情報生成部１４２は、映像音声などからなる会議情報を緊張度に基づいてインデキシングを行なうことができる。例えば、会議全体での緊張度が高まった時点から代表フレームを抽出することができる。また、顔の傾き度合いにより、緊張度合いを分類することができる。例えば、参加者間で立場を順序付けたり、グループ分けしたりすることができる。

そして、インデックス情報記録部１４３は、生成されたインデックス情報を記録する。

図１１には、会議参加者ｉ毎の緊張度θ_i（ｔ）を重畳して会議全体での緊張度の変化Θ（ｔ）を求め、会議を記録した映像情報から代表フレームを抽出する様子を示している。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、被撮影者の緊張度を表す指標である顔の傾きを測定するために、左右の口角間を結ぶ線分の垂直２等分線を求める実施形態を説明したが、顔画像を基に顔の傾きを測定するその他の手法を適宜用いることができる。

また、本明細書では、映像や音声によって会議の内容を記録した会議情報を扱う会議記録システムにおいて、複数の参加者の緊張度合いに基づいて会議情報のインデキシングを行なう実施形態について説明したが、勿論、本発明を、ユーザの緊張度などの心理学的要素を利用したサービスや、その他の適用業務に応用することも可能である。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、本発明の実施に供される情報処理装置のハードウェア構成を模式的に示した図である。 図２は、顔画像から緊張度を推定するための処理手順を示したフローチャートである。 図３は、顔画像から左右の口角の位置を検出し、これらを結ぶ線分の垂直２等分線を引いた様子を示した図である。 図４は、図３により得られた垂直２等分線の傾きから顔の傾きθを求める様子を示した図である。 図５は、顔画像から左右の虹彩の位置を検出し、これらを結ぶ線分の垂直２等分線を引いた様子を示した図である。 図６は、図５により得られた垂直２等分線の傾きから顔の傾きθを求める様子を示した図である。 図７は、顔画像から得られた顔の傾きの時間的推移θ（ｔ）と、脈拍数との対応関係を例示した図である。 図８は、本発明の一実施形態に係る会議記録装置の構成を模式的に示した図である。 図９は、会議１００において会議状況記録部１２０による記録対象となる実施態様を示した図である。 図１０は、会議記録装置のうち、参加者情報記録部１３０と、データ処理部１４０の内部構成をより詳細に示した図である。 図１１は、会議参加者ｉ毎の緊張度θ_i（ｔ）を重畳して会議全体での緊張度の変化Θ（ｔ）を求め、会議を記録した映像情報から代表フレームを抽出する様子を示した図である。

符号の説明

１０…プロセッサ
２０…メモリ
２１…ディスプレイ・コントローラ
２２…表示装置
２３…入出力インターフェース
２４…キーボード
２５…マウス
２６…ネットワーク・インターフェース
２７…ＨＤＤコントローラ
２８…ＨＤＤ
２９…カメラ
３０…バス
１００…会議
１２０…会議状況記録部
１３０…参加者情報記録部
１３１…動画像入力部
１３２…顔検出部
１３３…口角検出部
１３４…顔の傾き検出部
１３５…記録部
１４０…データ処理部
１４１…緊張度判定部
１４２…インデックス情報生成部
１４３…インデックス情報記録部

Claims (25)

1. 被験者の内部状態の評価を行なう情報処理装置であって、
   被験者を撮影した画像を入力する画像入力手段と、
   入力画像から被験者の顔を検出する顔検出手段と、
   検出された顔領域から顔の傾きの指標を検出する指標検出手段と、
   顔の傾き又は顔の傾きの変化を求める顔の傾き検出手段と、
   顔の傾き又は顔の傾きの変化パターンに基づいて、被験者の内部状態を評価する評価手段と、
   を具備することを特徴とする情報処理装置。
2. 前記評価手段は、被験者の内部状態として緊張度を評価する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記評価手段は、顔が正立するに従って被験者の緊張度が高まったと評価する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記評価手段は、緊張度が既知であるときの顔の画像を撮影し、この撮影画像から得られる顔の傾き又は顔の傾きの変化パターンと緊張度との関連付けを行なって基礎データを作成するとともに、撮影画像を基に顔の傾きを検出し、基礎データとの比較に基づいて顔の傾きに対応する緊張度を推定する、
   ことを特徴とする請求項２に記載の情報処理装置。
5. 前記指標検出手段は、顔画像から左右の口角を顔の傾きの指標として検出し、
   前記顔の傾き検出手段は、前記垂直２等分線の傾きを顔の傾きとして検出する、
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記指標検出手段は、顔画像から左右の虹彩を顔の傾きの指標として検出し、
   前記顔の傾き検出手段は、前記垂直２等分線の傾きを顔の傾きとして検出する、
   ことを特徴とする請求項１に記載の情報処理装置。
7. 複数の会議参加者からなる会議において、会議参加者毎の撮影画像に基づいて各会議参加者の内部状態を評価し、
   各自の内部状態を人毎に重みを付与して重畳することにより、会議全体での内部状態の変化を表す会議状態評価手段をさらに備える、
   ことを特徴とする請求項１に記載の情報処理装置。
8. 前記会議状態評価手段は、会議参加者毎に顔の傾きの変化を正規化する、
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記会議状態評価手段は、発言中か否かにより顔の傾きの変化を正規化する、ことを特徴とする請求項７に記載の情報処理装置。
10. 前記会議状態評価手段は、顔の傾きの変化を動的に正規化する、
    ことを特徴とする請求項７に記載の情報処理装置。
11. 会議の状況を映像並びに音声によって記録した会議情報を入力する会議情報入力手段と、
    前記会議状態評価手段によって得られた会議全体での内部状態の変化に基づいて会議情報の処理を行なう会議情報処理手段と、
    をさらに備えることを特徴とする請求項７に記載の情報処理装置。
12. 前記会議情報処理手段は、会議全体での内部状態に基づいた会議情報のインデキシング、会議全体での緊張度が高まった時点からの代表フレームの抽出、顔の傾き度合いによる緊張度合いの分類のうち少なくとも１つの処理を行なう、
    ことを特徴とする請求項１１に記載の情報処理装置。
13. 被験者の内部状態の評価を行なう情報処理方法であって、
    被験者を撮影した画像を入力する画像入力ステップと、
    入力画像から被験者の顔を検出する顔検出ステップと、
    検出された顔領域から顔の傾きの指標を検出する指標検出ステップと、
    顔の傾き又は顔の傾きの変化を求める顔の傾き検出ステップと、
    顔の傾き又は顔の傾きの変化パターンに基づいて、被験者の内部状態を評価する評価ステップと、
    を具備することを特徴とする情報処理方法。
14. 前記評価ステップでは、被験者の内部状態として緊張度を評価する、
    ことを特徴とする請求項１３に記載の情報処理方法。
15. 前記評価ステップでは、顔が正立するに従って被験者の緊張度が高まったと評価する、
    ことを特徴とする請求項１４に記載の情報処理方法。
16. 前記評価ステップでは、緊張度が既知であるときの顔の画像を撮影し、この撮影画像から得られる顔の傾き又は顔の傾きの変化パターンと緊張度との関連付けを行なって基礎データを作成するとともに、撮影画像を基に顔の傾きを検出し、基礎データとの比較に基づいて顔の傾きに対応する緊張度を推定する、
    ことを特徴とする請求項１４に記載の情報処理方法。
17. 前記指標検出ステップでは、顔画像から左右の口角を顔の傾きの指標として検出し、
    前記顔の傾き検出ステップでは、前記垂直２等分線の傾きを顔の傾きとして検出する、
    ことを特徴とする請求項１３に記載の情報処理方法。
18. 前記指標検出ステップでは、顔画像から左右の虹彩を顔の傾きの指標として検出し、
    前記顔の傾き検出ステップでは、前記垂直２等分線の傾きを顔の傾きとして検出する、
    ことを特徴とする請求項１３に記載の情報処理方法。
19. 複数の会議参加者からなる会議において、会議参加者毎の撮影画像に基づいて各会議参加者の内部状態を評価し、
    各自の内部状態を人毎に重みを付与して重畳することにより、会議全体での内部状態の変化を表す会議状態評価ステップをさらに備える、
    ことを特徴とする請求項１３に記載の情報処理方法。
20. 前記会議状態評価ステップでは、会議参加者毎に顔の傾きの変化を正規化する、
    ことを特徴とする請求項１９に記載の情報処理方法。
21. 前記会議状態評価ステップでは、発言中か否かにより顔の傾きの変化を正規化する、
    ことを特徴とする請求項１９に記載の情報処理方法。
22. 前記会議状態評価ステップでは、顔の傾きの変化を動的に正規化する、
    ことを特徴とする請求項１９に記載の情報処理方法。
23. 会議の状況を映像並びに音声によって記録した会議情報を入力する会議情報入力ステップと、
    前記会議状態評価ステップにおいて得られた会議全体での内部状態の変化に基づいて会議情報の処理を行なう会議情報処理ステップと、
    ことを特徴とする請求項１９に記載の情報処理方法。
24. 前記会議情報処理ステップでは、会議全体での内部状態に基づいた会議情報のインデキシング、会議全体での緊張度が高まった時点からの代表フレームの抽出、顔の傾き度合いによる緊張度合いの分類のうち少なくとも１つの処理を行なう、
    ことを特徴とする請求項２３に記載の情報処理方法。
25. 被験者の内部状態の評価を行なうための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
    被験者を撮影した画像を入力する画像入力ステップと、
    入力画像から被験者の顔を検出する顔検出ステップと、
    検出された顔領域から顔の傾きの指標を検出する指標検出ステップと、
    顔の傾き又は顔の傾きの変化を求める顔の傾き検出ステップと、
    顔の傾き又は顔の傾きの変化パターンに基づいて、被験者の内部状態を評価する評価ステップと、
    を具備することを特徴とするコンピュータ・プログラム。
    

Images