JP4900739B2 - 電子写真立て、その制御方法及びプログラム - Google Patents

Description

本発明は、電子写真立て、その制御方法及びプログラムに関する。

デジタルカメラで撮影された写真は、デジタル形式の画像ファイル（以下、電子写真または単に写真という。）であるため、紙への印刷出力は必ずしも必要でなく、画像としていつでも好きなときに表示（パソコンのディスプレイに映し出すこと。）できるという利点があるものの、それでもパソコンに不慣れな人にとっての使い難さを否めない。

このため、電子写真立て（デジタルフォトフレーム：ＤＰＦ）と呼ばれる便利な表示装置が用いられている。ＤＰＦは、デジタルカメラから取り出された記録メディアをセットするだけで、当該メディアに記録されている電子写真を自動的に表示することができるものであり、パソコンに不慣れな人にとっても容易に使いこなせるものである。

しかし一方で、ＤＰＦは、セットされた記録メディア内の電子写真を順番またはランダムに読み出して表示するものに過ぎないため、鑑賞者の好みに適合しない写真表示が行われてしまうという欠点がある。

下記の特許文献１、２には、カメラ付のＤＰＦに関する技術が開示されている。特許文献１では表示中の写真を見た（認識した）回数やその時間長に応じて写真表示の優先順位を決定するようにしており、また、特許文献２では登録者ごとにその登録者のお気に入りの写真を表示するようにしている。

しかしながら、特許文献１の技術にあっては、少なくとも過去に決定された優先順位に従って写真を表示するため、鑑賞者の現在の感情に合わない写真が表示されるおそれがあり、たとえば、楽しい気持ちのときに悲しげな内容の写真が表示されると、気持ちが落ち込むという欠点があるし、特許文献２の技術にあっては、お気に入りの写真を登録者ごとに事前選択しておく必要があり、手間がかかって面倒であるという欠点がある。

一方、ＤＰＦ以外に範囲を広げて従来技術を調べてみると、たとえば、下記の特許文献３〜５のようなものがある。
すなわち、特許文献３には、広告画像を見ている人毎に最適な広告画像を表示できるようにした表示装置において、広告画像を見ている人の顔の表情をカメラで撮影し、その表情が＜退屈＞を表している場合に、所定の映像を流して注意を取り戻すようにした技術が記載されている。
また、特許文献４には、歌い手の音声（歌声）と、人物を模したアニメーション画像とを聞き手側に配信するカラオケシステムにおいて、歌い手の表情をカメラで撮影し、その表情をアニメーション画像に反映させるようにした技術が記載されている。
さらに、特許文献５には、使用者の視界に相当する画像を撮影して保存すると共に、その保存時点における当該使用者の生体情報（脈拍、心拍、心電・・・・等）を検出して前記画像に関連付けて保存し、しかる後、前記使用者が画像を閲覧しようとする際には、当該使用者の生体情報を再び検出し、その生体情報と同じ生体情報が関連付けられている画像を取り出して表示するようにした技術が記載されている。

特開２００８−１６５００９号公報 特開２００９−１７１１７６号公報 特開２００５−２６７６１１号公報 特開２００６−２５１２７１号公報 特開２００８−１１８５２７号公報

しかしながら、上記の特許文献３〜５の技術にあっては、以下の問題点がある。
（１）特許文献３：
画像を見ている人の表情が＜退屈＞を表している場合に、所定の映像を流しているに過ぎない。つまり、単に注意を取り戻すように工夫したに過ぎない。
（２）特許文献４：
歌い手の表情をアニメーション画像に反映させているに過ぎない。
（３）特許文献５：
生体情報に基く画像の選択的表示を行っているが、この生体情報は、脈拍、心拍、心電・・・・等であって、画像を見ようとしている人の表情ではない。

したがって、これらの技術（特許文献３〜５の技術）のＤＰＦへの適用を考えると、そもそも（２）は、カラオケのアニメーション技術であるから、ＤＰＦへの適用は不適当であるし、また、（１）については、注意を取り戻すことができる映像をどのようにして選定すべきか不明（同文献では退屈している場合にアクション／冒険映画の映像を流すとしているが、必ずしもそうとはいえない。そのような映像に興味を示さない人も当然存在する。）である、また、（３）については、脈拍、心拍、心電・・・・等の生体情報を検出するための大掛かりな装置が必要でコストが嵩み実用的でない、という問題点を抱えている。

そこで、本発明は、手間をかけず且つ簡単な仕組みで、現在の感情に応じた写真を表示できる電子写真立て、その制御方法及びプログラムを提供することを目的とする。

請求項１記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てにおいて、前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別手段と、前記表情判別手段によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶手段と、前記関連付け記憶手段に記憶されている電子写真を表示する場合に、各電子写真に関連付けて記憶されている顔の表情に関する情報と、前記表情判別手段により判別された人物の顔の表情とを比較し、その比較結果に応じて前記関連付け記憶手段に記憶されている各電子写真の表示を制御する表示制御手段と、を備え、前記関連付け記憶手段は、これから表示しようとする電子写真に、前記顔の表情に関する情報が関連付けて記憶されていない場合は、前記表情判別手段によって判別された顔の表情に関する情報を当該電子写真に関連付けて記憶することを特徴とする電子写真立てである。
請求項２記載の発明は、前記表示制御手段は、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段と、前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段とを含むことを特徴とする請求項１に記載の電子写真立てである。
請求項３記載の発明は、前記表示制御手段は、前記表情判別手段により判別された人物の顔の表情に基づいて、前記関連付け記憶手段に記憶されている複数の電子写真の中から前記表示部に表示する電子画像を選択することを特徴とする請求項１に記載の電子写真立てである。
請求項４記載の発明は、前記表情判別手段は、前記表示部に電子写真を表示しているときに、当該表示部の方に視線を向けている人物を、当該表示部に表示された電子写真を見ている人物として特定することを特徴とする請求項１乃至３のいずれかに記載の電子写真立てである。
請求項５記載の発明は、被写体を撮像して画像を取得する撮像手段と、前記表情判別手段は、前記表示部に電子写真を表示しているときに、前記撮像手段により取得された画像内に検出される人物を、前記表示部に表示された電子写真を見ている人物として特定し、当該画像に基づく画像認識処理により当該人物の表情を判別することを特徴とする請求項１乃至３のいずれかに記載の電子写真立てである。
請求項６記載の発明は、人物の顔に関する情報を保持する人物特定情報保持手段と、前記表示部に表示された電子写真を見ている人物を前記人物特定情報保持手段に保持されている情報に基き特定する人物特定手段と、を更に備え、前記関連付け記憶手段は、前記表情判別手段によって判別された顔の表情に関する情報を、前記人物特定手段により特定された人物に関係するものとして表示中の電子写真に関連付けて記憶することを特徴とする請求項１乃至５のいずれかに記載の電子写真立てである。
請求項７記載の発明は、前記人物特定情報保持手段は、前記電子写真を見る可能性のある人物の顔に関する情報を、任意に登録して保持することを特徴とする請求項２に記載の電子写真立てである。
請求項８記載の発明は、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物を特定する人物特定手段と、前記表情判別手段は、前記人物特定手段によって特定された人物の顔の表情を判別することを特徴とする請求項１記載の電子写真立てである。
請求項９記載の発明は、前記関連付け記憶手段は、これから表示しようとする電子写真に、すでに前記顔の表情に関する情報が関連付けて記憶されている場合であっても、当該情報の記憶から一定期間を経過している場合には、前記顔の表情に関する情報を関連付けて記憶し直すことを特徴とする請求項１又は６いずれかに記載の電子写真立てである。
請求項１０記載の発明は、前記人物特定手段による特定の結果、前記表示部の方に視線を向けている人物が前記人物特定情報保持手段に保持されている情報に基き特定されなかった場合に、前記表情判別手段は、前記人物特定手段の特定結果にかかわらず当該人物の顔の表情を判別し、前記関連付け判別手段は、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別することを特徴とする請求項８に記載の電子写真立てである。
請求項１１記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てにおいて、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別手段と、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段と、前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段と、前記関連付け判別手段の判別結果が否定の場合は、前記表情判別手段によって判別された顔の表情に関する情報を当該電子写真に関連付けて記憶することを特徴とする関連付け記憶手段と、を備えたことを特徴とする電子写真立てである。
請求項１２記載の発明は、人物の顔に関する情報を保持する人物特定情報保持手段と、前記表示部に表示された電子写真を見ている人物を前記人物特定情報保持手段に保持されている情報に基き特定する人物特定手段と、を更に備え、前記関連付け判別手段は、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、前記人物特定手段により特定された人物に関係するものとして、これから表示しようとする電子写真に関連付けられているか否かを判別することを特徴とする請求項１１に記載の電子写真立てである。
請求項１３記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立ての制御方法において、前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別工程と、前記表情判別工程によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶工程と、前記関連付け記憶工程に記憶されている電子写真を表示する場合に、各電子写真に関連付けて記憶されている顔の表情に関する情報と、前記表情判別工程により判別された人物の顔の表情とを比較し、その比較結果に応じて前記関連付け記憶手段に記憶されている各電子写真の表示を制御する表示制御工程と、を含み、前記関連付け記憶工程は、これから表示しようとする電子写真に、前記顔の表情に関する情報が関連付けて記憶されていない場合は、前記表情判別工程によって判別された顔の表情に関する情報を当該電子写真に関連付けて記憶することを特徴とする電子写真立ての制御方法である。
請求項１４記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立ての制御方法において、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別工程と、前記表情判別工程によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別工程と、前記関連付け判別工程の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容工程と、前記関連付け判別工程の判別結果が否定の場合は、前記表情判別工程によって判別された顔の表情に関する情報を当該電子写真に関連付けて記憶することを特徴とする関連付け記憶工程と、を含むことを特徴とする電子写真立ての制御方法である。
請求項１５記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てのコンピュータを、前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別手段、前記表情判別手段によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶手段、前記関連付け記憶手段に記憶されている電子写真を表示する場合に、各電子写真に関連付けて記憶されている顔の表情に関する情報と、前記表情判別手段により判別された人物の顔の表情とを比較し、その比較結果に応じて前記関連付け記憶手段に記憶されている各電子写真の表示を制御する表示制御手段として機能させることを特徴とし、前記関連付け記憶手段は、これから表示しようとする電子写真に、前記顔の表情に関する情報が関連付けて記憶されていない場合は、前記表情判別手段によって判別された顔の表情に関する情報を当該電子写真に関連付けて記憶するように機能させることを特徴とするプログラムである。
請求項１６記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てのコンピュータを、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別手段、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段、前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段、前記関連付け判別手段の判別結果が否定の場合は、前記表情判別手段によって判別された顔の表情に関する情報を当該電子写真に関連付けて記憶することを特徴とする関連付け記憶手段として機能させることを特徴とするプログラムである。

本発明によれば、手間をかけず且つ簡単な仕組みで、現在の感情に応じた写真を表示できる電子写真立て、その制御方法及びプログラムを提供することができる。

実施形態に係る電子写真立て（ＤＰＦ）の外観図である。 ＤＰＦ１の内部ブロック図である。 付加機能で使用される写真リストテーブルの概念構造図である。 制御部１９のＣＰＵ２０で実行される制御プログラムを示す図である。 カテゴリ分け処理（図４のステップＳ６）を示す図である。 カテゴリ分けの概念図である。 カテゴリ分類に従った選択的表示の概念図である。 実施形態の写真リストテーブル２７の改良構造と鑑賞者登録データテーブルの構造を示す図である。 実施形態のメインフロー（図４参照）の改良例を示す図である。 実施形態のカテゴリ分け処理（図５参照）の改良例を示す図である。

以下、本発明の実施形態を、図面を参照しながら説明する。
図１は、実施形態に係る電子写真立て（ＤＰＦ）の外観図である。この図において、ＤＰＦ１は、液晶パネルやＥＬパネルあるいはプラズマパネルまたは電子ペーパ等の表示情報書き換え型の表示デバイスを用いた表示部２と、その表示部２の周囲を取り囲む、適当にデザインされた額縁３と、額縁３の背面に設けられた電子回路収容箱４と、この電子回路収容箱４の背面に取り付けられた可倒式の脚部５とを備えると共に、額縁３の前面側の任意位置（図では表示部２の上）に取り付けられたカメラ６を備えている。

ここで、カメラ６の撮影画角αは、ＤＰＦ１の表示部２に表示される写真を鑑賞する人物（以下、鑑賞者７）の顔が撮影できる適切な値に設定されており、また、カメラ６の焦点距離についても鑑賞者７までの距離に合わせて適切に設定されている。

電子回路収容箱４の側面には、様々なスイッチ類、たとえば、電源スイッチ８やメニュースイッチ９、上矢印スイッチ１０及び下矢印スイッチ１１などを含む操作部１２と、カード型メモリ装置（ＣＦカードやＳＤカードなど）または脱着式ハードディスクもしくは磁気ディスク等の記録メディアを挿入するためのメディアスロット１３と、電源コネクタ１４とが設けられており、このＤＰＦ１を使用する際には、ＡＣアダプタ１５のＡＣプラグ１６を不図示の壁面コンセントに挿し、さらに、ＡＣアダプタ１５の電源プラグ１７を電子回路収容箱４の側面の電源コネクタ１４に差し込んでから、電源スイッチ８をオンにする。

図２は、ＤＰＦ１の内部ブロック図である。この図において、電源部１８はＡＣアダプタ１５からのＤＣ電源供給を受けて、このＤＰＦ１の動作に必要な各種電源を発生する。制御部１９は、ＣＰＵ（中央処理装置）２０、ＲＡＭ（揮発性高速メモリ）２１、ＲＯＭ（不揮発性メモリ）２２、ＰＲＯＭ（書き換え可能型不揮発性メモリ）２３及びその他の周辺回路からなる、いわゆるマイクロコンピュータ（又は単にコンピュータ）で構成されており、あらかじめＲＯＭ２２に書き込まれている制御プログラム（後述の図４参照）や、適宜にＰＲＯＭ２３に書き込まれる可変データ（後述の図３参照）をＲＡＭ２１に読み込み、その制御プログラムをＣＰＵ２０で実行することにより、電子写真立てとしての所要の機能を実現する。

具体的には、制御部１９は、メディアＩ／Ｆ部２４のメディアスロット１３に記録メディア２５が差し込まれているか否かを調べ、記録メディア２５が差し込まれている場合には、その記録メディア２５に格納されている画像ファイル（以下、便宜的に「写真」という。）を読み出して表示部２に表示する一方、記録メディア２５が差し込まれていない場合には、内部メモリとしての記憶部２６に格納されている写真（工場出荷時に格納されたサンプル写真または事前に記録メディア２５から移し変えられた写真）を読み出して表示部２に表示するという電子写真立てとしての基本的機能を実現することに加え、本実施形態にあっては、後で詳しく説明するように、表示部２に写真を表示する際に、単に複数の写真を順番またはランダムに表示するのではなく、カメラ６で撮影した鑑賞者の表情に応じて適切な写真を選択して表示するという特有の機能（以下、付加機能という。）を実現する点で冒頭で説明した従来技術（特許文献１〜５に記載のもの）と相違する。

図３は、付加機能で使用される写真リストテーブルの概念構造図である。この写真リストテーブル２７は、制御部１９のＰＲＯＭ２３に保存されており、必要に応じて内容が更新される（書き換えられる）ようになっている。写真リストテーブル２７は、写真の保存枚数に相当する複数のレコードからなり、各々のレコードは、各写真の識別番号（一般的にはファイル名であるが、ここでは便宜的に三桁の数列とする。）を格納するための番号フィールド２７ａと、各写真のカテゴリ情報を格納するためのカテゴリフィールド２７ｂとで構成されている。

カテゴリ情報とは、各々の写真を鑑賞者が見た際にどのような表情をしたのかを示す情報のことであり、ここでは便宜的に「笑顔大」、「笑顔中」、「無表情」としている。ただし、これらのカテゴリ（笑顔大、笑顔中、無表情）は一例に過ぎない。上記のとおり、「各々の写真を鑑賞者が見た際にどのような表情をしたのかを示す情報」であればよい。たとえば、「笑顔小」を加えてもよく、あるいは、「怒り顔」や「泣き顔」、「悲しい顔」など他の表情を加えてもよい。さらに、それらの他の表情についても、「大」、「中」、「小」などに細分化してもよい。あるいは、上記の笑顔も含めて表情の度合いを、「大」、「中」、「小」などの段階的表現ではなく、数値で表してもよい。たとえば、最大を１００、最小を０とし、その間を９９〜１までの範囲で表すなどしてもよい。あるいは、無表情を０とし、笑顔をプラス（＋）、怒り顔や泣き顔をマイナス（−）であらわしてもよい。

図４は、制御部１９のＣＰＵ２０で実行される制御プログラム（以下、メインルーチンという。）を示す図である。この図において、ＤＰＦ１の電源スイッチ８がオンになると、まず、写真選択用のカウンタ変数ｉに初期値「１」をセットし（ステップＳ１）、次いで、カードスロット１３に記録メディア２５が挿入されているか否かを判定する（ステップＳ２）。そして、挿入されていなければ記憶部２６に収められているｉ番目の写真を読み出し（ステップＳ３）、挿入されていれば記録メディア２５に収められているｉ番目の写真を読み出す（ステップＳ４）。

次いで、ＰＲＯＭ２３の写真リストテーブル２７を参照して、そのｉ番目の写真がカテゴリ分けされたものであるか否かを判定し（ステップＳ５）、カテゴリ分けされていなければ後で詳しく説明する「カテゴリ分け処理」を実行（ステップＳ６）する一方、カテゴリ分けされていれば、次に、カメラ６を起動してその撮影画像を取り込み、当該画像中に鑑賞者７の顔が写っているか否かを判定する（ステップＳ７）。

そして、鑑賞者７の顔が写っていなければ、そのままｉ番目の写真を表示部２に出力して表示（ステップＳ９）するが、鑑賞者７の顔が写っていた場合には、その鑑賞者７の顔の表情を判別（具体的には、笑顔であるか、笑顔以外の怒り顔や泣き顔または悲しい顔であるか、あるいは、無表情であるかなどを判別）し、ｉ番目の写真のカテゴリがその判別結果に適合したものであるか否かを判定する（ステップＳ８）。たとえば、ｉ番目の写真の番号を“００１”と仮定したとき、写真リストテーブル２７によれば、この番号“１００”の写真のカテゴリが「笑顔大」であるので、この場合、カメラ６の撮像画像中の鑑賞者７の表情が同じ（笑顔大）であれば、ステップＳ８の判定結果がＹＥＳになり、それ以外の表情であればステップＳ８の判定結果がＮＯになる。

ステップＳ８の判定結果がＹＥＳの場合、すなわち、ｉ番目の写真のカテゴリが、カメラ６で撮影した鑑賞者７の顔の表情に適合したカテゴリである場合は、そのｉ番目の写真を表示部２に出力して表示し（ステップＳ９）、カウンタ変数ｉを＋１して（ステップＳ１０）、ｉ＞ｉｍａｘ（ｉｍａｘは写真の総数）であるか否かを判定する（ステップＳ１１）。そして、ｉ＞ｉｍａｘであれば、写真のエンドレス表示を行うためにステップＳ１に戻り、ｉ＞ｉｍａｘでなければ、次順の写真（新たなｉ番目の写真）に対して同様の処理を行うためにステップＳ２に戻る。

なお、鑑賞者７の表情判別には、たとえば、多数の顔画像のテンプレートと検出された顔画像とのマッチングによって表情を評価する公知手法を用いることができる。あるいは、「フィッシャー（Ｆｉｓｈｅｒ）の線形判別分析」と呼ばれる公知手法を用いてもよい。この手法は、２つの表情をそれぞれ持つ顔のサンプル画像を事前に多数用意しておき、これらのサンプル画像のデータを基に、２つの表情間の２クラス問題と考えて線形判別分析（ＬＤＡ：Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ）により、これらの２つの表情をよく判別する判別軸を事前に形成しておき、表情評価の際には、入力された顔画像のデータと判別軸との内積を求めることで表情評価値を算出するというものである。また、鑑賞者７の顔検出にも公知手法を用いることができる。たとえば、顔画像中の２画素間の輝度差を学習して特徴量としてあらかじめ保持しておき、そして、入力画像に対して一定の大きさのウィンドウを順次当てはめて、ウィンドウの中の画像に顔が含まれるか否かを特徴量を基に推定して、顔検出の推定値を出力するという公知方法などである。この方法では、入力画像を順次縮小して同じ処理を行うことにより、一定の大きさのウィンドウを用いて顔検出の推定を行うことができ、それらの動作により得られた推定値から顔が存在する領域を最終的に判別することができる。

図５は、カテゴリ分け処理（図４のステップＳ６）を示す図である。この図において、カテゴリ分け処理では、まず、ｉ番目の写真を表示部２に出力して表示（ステップＳ２１）すると共に、その表示状態のまま、カメラ６を起動してその撮影画像を取り込み、当該画像中に鑑賞者７の顔が写っているか否かを判定する（ステップＳ２２）。

そして、鑑賞者７の顔が写っていなければ、そのままフローを抜けて図４のメインフローに戻る（ステップＳ１０に進む）が、鑑賞者７の顔が写っていた場合には、その鑑賞者７の顔の表情を判別（具体的には、笑顔であるか、笑顔以外の怒顔や泣き顔または悲しい顔であるか、あるいは、無表情であるかを判別）し（ステップＳ２３）、その判別結果に対応したカテゴリ情報を、写真リストテーブル２７のｉ番目の写真のカテゴリフィールド２７ｂに書き込み（ステップＳ２４）、フローを抜けて図４のメインフローに戻る（ステップＳ１０に進む）。

このように、図４のメインフロー（及び図５のカテゴリ分け処理）によれば、記憶部２６または記録メディア２５から写真を順次に読み込み、それらの写真がカテゴリ分けされていない場合には、図５のカテゴリ分け処理を実行して、その写真を見ている人物（鑑賞者７）の顔の表情に対応したカテゴリ分けを行うことができ、さらに、そのようにしてカテゴリ分けされた写真を表示しようとする際には、当該時点における鑑賞者７の顔の表情に適合したカテゴリの写真だけを取り出して選択的に表示することができる。

図６及び図７は、本実施形態の作用概念図であり、図６はカテゴリ分けの概念図、図７はカテゴリ分類に従った選択的表示の概念図である。
今、図６に示すように、番号“００１”の写真を見た鑑賞者７の表情が最大の笑顔である場合、写真リストテーブル２７の番号“００１”のカテゴリフィールド２７ｂに「笑顔大」が書き込まれ、同様に、番号“００２”の写真を見た鑑賞者７の表情が中程度の笑顔である場合、写真リストテーブル２７の番号“００２”のカテゴリフィールド２７ｂに「笑顔中」が書き込まれる。さらに、番号“００３”の写真を見た鑑賞者７の表情が無表情である場合、写真リストテーブル２７の番号“００３”の写真のカテゴリフィールド２７ｂに「無表情」が書き込まれる。

そして、図７に示すように、それらのカテゴリ分けされた写真を鑑賞しようとする際には、（ａ）そのときの鑑賞者７の表情が最大の笑顔であれば、記憶部２６または記録メディア２５に収められている写真のうち、カテゴリが「笑顔大」の写真だけが表示部２に表示される。または、（ｂ）そのときの鑑賞者７の表情が中程度の笑顔であれば、記憶部２６または記録メディア２５に収められている写真のうち、カテゴリが「笑顔中」の写真だけが表示部２に表示される。あるいは、（ｃ）そのときの鑑賞者７の表情が無表情であれば、記憶部２６または記録メディア２５に収められている写真のうち、カテゴリが「無表情」の写真だけが表示部２に表示される。

このように、本実施形態では、鑑賞者７の現在の感情（実際には顔の表情）に適合した写真を選択して表示することができるので、冒頭で説明した特許文献１の欠点を解消できるうえ、さらに、感情を区別するためのカテゴリ分けの作業は、カテゴリ分けされていない写真を表示する際に自動的に行われる（図５のカテゴリ分け処理を参照）ので、人為的な手間をかける必要がなく、冒頭で説明した特許文献２の欠点も解消できる。

加えて、鑑賞者７の現在の感情と表示される写真との間にカテゴリの一致という一定の相関があるから、冒頭で説明した特許文献３のように、退屈を感じている人の注意を取り戻すことができるかどうか不確かな映像を流すものに比べて、明らかに鑑賞者７の注意を引き付けることができるようになり、この特許文献３の欠点も解消できるし、さらに、脈拍、心拍、心電、筋電・・・・等々の生体情報を検出するための大掛かりな装置が不要であるため、冒頭で説明した特許文献５の欠点も解消できる。

以上のとおりであるから、本実施形態によれば、手間をかけず且つ簡単な仕組みで、現在の感情と適合する写真を表示できる電子写真立て（ＤＰＦ）を実現することができる。

なお、以上の実施形態は発明の実施形態の一例を示しているに過ぎない。発明の技術思想の範囲内で様々な変形例や発展例を考えることができる。

たとえば、実施形態を改良して鑑賞者７を個々に区別できるようにしてもよい。
図８は、実施形態の写真リストテーブル２７の改良構造と鑑賞者登録データテーブルの構造を示す図である。この図において、（ａ）に示す写真リストテーブル１２７は、実施形態の写真リストテーブル２７を改良したものであり、相違点は鑑賞者７ごとのカテゴリフィールドを設けたことにある。すなわち、この写真リストテーブル１２７は、各写真の識別番号を格納するための番号フィールド１２７ａと、鑑賞者７ごとのカテゴリフィールド１２７ｂとを備え、さらに、鑑賞者７ごとのカテゴリフィールド１２７ｂを複数のサブカテゴリフィールド１２７ｃ、１２７ｄ、１２７ｅ、・・・・に細分化している。ここで、図示の例では便宜的に三つのサブカテゴリフィールド１２７ｃ、１２７ｄ、１２７ｅに細分化されているものとし、且つ、サブカテゴリフィールド１２７ｃを「鑑賞者Ａ」用、サブカテゴリフィールド１２７ｄを「鑑賞者Ｂ」用、サブカテゴリフィールド１２７ｅを「鑑賞者Ｃ」用としている。

一方、鑑賞者登録データテーブル１２８は、鑑賞者Ａ、Ｂ、Ｃ、・・・・の顔データを事前に登録しておくためのものであり、この鑑賞者登録データテーブル１２８は、鑑賞者ＩＤを格納するためのＩＤフィールド１２８ａと、鑑賞者Ａ、Ｂ、Ｃ、・・・・の各々の顔データ（カメラ６で撮影した顔写真または顔の特徴を表したもの）を格納するための鑑賞者顔データフィールド１２８ｂとを有する。

図９及び図１０は、実施形態のメインフロー（図４参照）の改良例とカテゴリ分け処理（図５参照）の改良例を示す図である。

まず、図９の囲み波線で示すように、実施形態のメインフローのステップＳ７の後に新たなステップＳ３１を追加すると共に、メインフローのステップＳ８を一部変更してステップＳ８ａとした。すなわち、ステップＳ３１で、カメラ６で撮影中の鑑賞者７が鑑賞者登録データテーブル１２８に登録済みの鑑賞者７（つまり、鑑賞者Ａ、Ｂ、Ｃ、・・・・のいずれか）であるか否かを判定し、未登録の鑑賞者７であれば、そのまま写真を表示（ステップＳ９）する一方、登録済みの鑑賞者７であれば、ステップＳ８ａに進み、写真リストテーブル１２７を参照して、その鑑賞者７の顔の表情に適合したカテゴリの写真であるか否かを判定するように改良した。

また、図１０の囲み波線で示すように、実施形態のカテゴリ分け処理のステップＳ２２の後に新たなステップＳ３２を追加すると共に、同処理のステップＳ２３とステップＳ２４を一部変更してそれぞれステップＳ２３ａとステップＳ２４ａとした。すなわち、ステップＳ３２で、カメラ６で撮影中の鑑賞者７が鑑賞者登録データテーブル１２８に登録済みの鑑賞者７（つまり、鑑賞者Ａ、Ｂ、Ｃ、・・・・のいずれか）であるか否かを判定し、未登録の鑑賞者７であれば、そのままメインフローに戻る一方、登録済みの鑑賞者７であれば、ステップＳ２３ａで、その鑑賞者７の顔の表情を特定し、次いで、ステップＳ２４ｄで、その鑑賞者７の顔の表情に適合したカテゴリで写真を分類するように改良した。

このように改良すれば、鑑賞者Ａ、Ｂ、Ｃ、・・・・の個々に対応したカテゴリを用いて写真の選択表示を行うことができるようになり、個人個人の写真に対する異なる感性に対応したきめ細かな写真の表示選択特性を得ることができるから、たとえば、家族や職場等の構成員各々を鑑賞者Ａ、Ｂ、Ｃ、・・・・として事前に登録しておき、且つ、それら各人ごとに写真のカテゴリ分けを行っておけば、当該構成員のいずれかがＤＰＦ１の前に来たとき（写真を鑑賞しようとしたとき）に、その鑑賞者のその時点における感情に適合した写真を選択表示することができ、普遍的でより実用性に即したものとすることができる。

なお、以上の説明では、電子写真立て（ＤＰＦ）への適用を示したが、これはあくまでも一例に過ぎない。電子写真（デジタル形式の画像ファイル）を表示可能な電子機器であればどのようなものであってもよく、たとえば、画像再生用のディスプレイを備えた、デジタルカメラやデジタルビデオカメラ、画像ストレージ、ゲームマシン、パーソナルコンピュータ、あるいは、携帯電話機、その他の画像表示装置であってもよい。

また、実施形態において、写真の選択表示を行う際の表示順は、順番あるいはランダムいずれであってもよい。順番にする場合は、写真選択用のカウンタ変数ｉの値と写真リストテーブル２７のレコード番号とを一対一で対応させればよい。つまり、ｉ＝１を第１レコード、ｉ＝２を第２レコード、・・・・、ｉ＝ｎを第ｎレコードとすればよい。ｉの値を更新するたびに写真リストテーブル２７の第１レコードから「順番」に写真を読み出すことができる。ランダムにする場合は、カウンタ変数ｉの値を不規則に更新すればよい。たとえば、ｉ＝１、ｉ＝５、ｉ＝３、・・・・などとすれば、写真リストテーブル２７の第１レコード、第５レコード、第３レコード、・・・・というように「不規則」（つまり、ランダム）に写真を読み出すことができる。

また、実施形態においては、写真のカテゴリ分け処理（図５参照）を実行する条件について、その写真がまだカテゴリ分けされていない場合としているが、これに限定されない。たとえば、カテゴリ分けを行った後、一定期間を経過した写真については再びカテゴリ分け処理（図５参照）を実行するようにしてもよい。写真に対して抱く感情はいつまでも同じではなく、各人の体調や生活環境または季節などにより微妙にまたは大胆に変化し得るからである。

また、実施形態の前記改良例（鑑賞者を個々に区別できるようにしたもの）においては、未登録者が鑑賞者となる場合に、カテゴリを無視してそのまま写真を表示するようにしている（図９のステップＳ３１のＮＯ→ステップＳ９）が、これに限らず、カテゴリを考慮するように変更してもよい。

今、人物Ｘを未登録の鑑賞者とし、人物ａ、ｂ、ｃ、・・・・を登録済みの鑑賞者（つまり、写真リストテーブル１２７に登録済みの鑑賞者Ａ、Ｂ、Ｃ、・・・・）とすると、この場合、写真リストテーブル１２７に格納されているカテゴリは人物ａ、ｂ、ｃ、・・・・の表情に適合したものであって、人物Ｘとはまったく関係しない。

しかしながら、写真に抱く感情はすべての人に共通とまではいえないものの、多くの場合、ある程度の一般性を持つことも事実である（たとえば、楽しい内容の写真を見た多くの人は同様に楽しい感情を抱く）から、人物ａ、ｂ、ｃ、・・・・（つまり、登録済みの鑑賞者Ａ、Ｂ、Ｃ、・・・・）の全員またはその大多数が共通して抱いた感情は他の人物Ｘにも概ね当てはまるという考え方の元で、未登録者（人物Ｘ）が鑑賞者となる場合においても、登録済みのカテゴリを使用して写真の選択的表示を行うようにしてもかまわない。むしろ、そのようにすれば、完璧ではないものの、未登録者（人物Ｘ）の顔の表情に“概ね”適合したカテゴリの写真を選択表示できるので、カテゴリを無視した場合に比べ、表示される写真の統一感を高めることができる点で好ましいものとすることができる。

また、実施形態では、内部メモリとしての記憶部２６や着脱式の記録メディア２５に収められている電子写真を表示する、としているが、これ以外にも、たとえば、ＬＡＮやＷＡＮ等のネットワーク上に保存されている電子写真、あるいは、赤外線やブルーツース等の近距離通信によって伝送された電子写真を表示するようにしてもよい。
また、実施形態では、鑑賞者の顔の表情に一致したカテゴリの写真を表示させたが、たとえば、鑑賞者の顔が「悲しい顔」であった場合に、悲しさを紛らわせるために、当該鑑賞者が「笑い顔」のときの写真を表示するようにしてもよい。
また、実施形態では、電子写真立ての前面に設けられたカメラ部で撮像された画像に基づいて当該電子写真立ての表示部に表示された電子写真を見ている人物を判定したが、電子写真立てにはカメラ部を備えずとも、外部から入力された情報に基づいて、当該電子写真立ての表示部に表示された電子写真を見ている人物の存在や個人を判定するようにしてもよい。
また、カメラ部で撮像された画像ではなく、マイク部で入力された音声などに基づいて人物の存在や個人を判定するようにしてもよい。
また、カメラ部で撮像された画像に人物の顔を検出するだけでなく、検出された人物の顔画像から視線方向を検出し、視線方向が電子写真立ての方を向いている場合のみ、当該電子写真立ての表示部に表示された電子写真を見ていると判定するようにしてもよい。
また、実施形態では、電子写真立ての表示部に表示しようとする電子写真を特定した後、当該電子写真を表示するか否かを顔の表情に基づいて決定しているが、電子写真を見ている人物の顔の表情に基づいて、複数の電子写真の中から表示する電子写真を選択するようにしてもよい。

１ ＤＰＦ（電子写真立て）
２ 表示部
６ カメラ（撮像手段）
１９ 制御部（表情判別手段、関連付け記憶手段、表示許容手段、人物特定情報保持手段、人物特定手段、表示制御手段、関連付け判別手段）

Claims (16)

1. 少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てにおいて、
   前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別手段と、
   前記表情判別手段によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶手段と、
   前記関連付け記憶手段に記憶されている電子写真を表示する場合に、各電子写真に関連付けて記憶されている顔の表情に関する情報と、前記表情判別手段により判別された人物の顔の表情とを比較し、その比較結果に応じて前記関連付け記憶手段に記憶されている各電子写真の表示を制御する表示制御手段と、
   を備え、
   前記関連付け記憶手段は、これから表示しようとする電子写真に、前記顔の表情に関する情報が関連付けて記憶されていない場合は、前記表情判別手段によって判別された顔の表情に関する情報を当該電子写真に関連付けて記憶することを特徴とする電子写真立て。
2. 前記表示制御手段は、
   前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段と、
   前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段と
   を含むことを特徴とする請求項１に記載の電子写真立て。
3. 前記表示制御手段は、前記表情判別手段により判別された人物の顔の表情に基づいて、前記関連付け記憶手段に記憶されている複数の電子写真の中から前記表示部に表示する電子画像を選択することを特徴とする請求項１に記載の電子写真立て。
4. 前記表情判別手段は、前記表示部に電子写真を表示しているときに、当該表示部の方に視線を向けている人物を、当該表示部に表示された電子写真を見ている人物として特定することを特徴とする請求項１乃至３のいずれかに記載の電子写真立て。
5. 被写体を撮像して画像を取得する撮像手段と、
   前記表情判別手段は、前記表示部に電子写真を表示しているときに、前記撮像手段により取得された画像内に検出される人物を、前記表示部に表示された電子写真を見ている人物として特定し、当該画像に基づく画像認識処理により当該人物の表情を判別することを特徴とする請求項１乃至３のいずれかに記載の電子写真立て。
6. 人物の顔に関する情報を保持する人物特定情報保持手段と、
   前記表示部に表示された電子写真を見ている人物を前記人物特定情報保持手段に保持されている情報に基き特定する人物特定手段と、を更に備え、
   前記関連付け記憶手段は、前記表情判別手段によって判別された顔の表情に関する情報を、前記人物特定手段により特定された人物に関係するものとして表示中の電子写真に関連付けて記憶することを特徴とする請求項１乃至５のいずれかに記載の電子写真立て。
7. 前記人物特定情報保持手段は、前記電子写真を見る可能性のある人物の顔に関する情報を、任意に登録して保持することを特徴とする請求項２に記載の電子写真立て。
8. 前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物を特定する人物特定手段と、
   前記表情判別手段は、前記人物特定手段によって特定された人物の顔の表情を判別することを特徴とする請求項１記載の電子写真立て。
9. 前記関連付け記憶手段は、これから表示しようとする電子写真に、すでに前記顔の表情に関する情報が関連付けて記憶されている場合であっても、当該情報の記憶から一定期間を経過している場合には、前記顔の表情に関する情報を関連付けて記憶し直すことを特徴とする請求項１又は６いずれかに記載の電子写真立て。
10. 前記人物特定手段による特定の結果、前記表示部の方に視線を向けている人物が前記人物特定情報保持手段に保持されている情報に基き特定されなかった場合に、
    前記表情判別手段は、前記人物特定手段の特定結果にかかわらず当該人物の顔の表情を判別し、
    前記関連付け判別手段は、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する
    ことを特徴とする請求項８に記載の電子写真立て。
11. 少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てにおいて、
    前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別手段と、
    前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段と、
    前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段と、
    前記関連付け判別手段の判別結果が否定の場合は、前記表情判別手段によって判別された顔の表情に関する情報を当該電子写真に関連付けて記憶することを特徴とする関連付け記憶手段と、
    を備えたことを特徴とする電子写真立て。
12. 人物の顔に関する情報を保持する人物特定情報保持手段と、
    前記表示部に表示された電子写真を見ている人物を前記人物特定情報保持手段に保持されている情報に基き特定する人物特定手段と、を更に備え、
    前記関連付け判別手段は、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、前記人物特定手段により特定された人物に関係するものとして、これから表示しようとする電子写真に関連付けられているか否かを判別することを特徴とする請求項１１に記載の電子写真立て。
13. 少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立ての制御方法において、
    前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別工程と、
    前記表情判別工程によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶工程と、
    前記関連付け記憶工程に記憶されている電子写真を表示する場合に、各電子写真に関連付けて記憶されている顔の表情に関する情報と、前記表情判別工程により判別された人物の顔の表情とを比較し、その比較結果に応じて前記関連付け記憶手段に記憶されている各電子写真の表示を制御する表示制御工程と、
    を含み、
    前記関連付け記憶工程は、これから表示しようとする電子写真に、前記顔の表情に関する情報が関連付けて記憶されていない場合は、前記表情判別工程によって判別された顔の表情に関する情報を当該電子写真に関連付けて記憶することを特徴とする電子写真立ての制御方法。
14. 少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立ての制御方法において、
    前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別工程と、
    前記表情判別工程によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別工程と、
    前記関連付け判別工程の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容工程と、
    前記関連付け判別工程の判別結果が否定の場合は、前記表情判別工程によって判別された顔の表情に関する情報を当該電子写真に関連付けて記憶することを特徴とする関連付け記憶工程と、
    を含むことを特徴とする電子写真立ての制御方法。
15. 少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てのコンピュータを、
    前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別手段、
    前記表情判別手段によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶手段
    前記関連付け記憶手段に記憶されている電子写真を表示する場合に、各電子写真に関連付けて記憶されている顔の表情に関する情報と、前記表情判別手段により判別された人物の顔の表情とを比較し、その比較結果に応じて前記関連付け記憶手段に記憶されている各電子写真の表示を制御する表示制御手段
    として機能させることを特徴とし、
    前記関連付け記憶手段は、これから表示しようとする電子写真に、前記顔の表情に関する情報が関連付けて記憶されていない場合は、前記表情判別手段によって判別された顔の表情に関する情報を当該電子写真に関連付けて記憶するように機能させることを特徴とするプログラム。
16. 少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てのコンピュータを、
    前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別手段、
    前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段、
    前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段、
    前記関連付け判別手段の判別結果が否定の場合は、前記表情判別手段によって判別された顔の表情に関する情報を当該電子写真に関連付けて記憶することを特徴とする関連付け記憶手段
    として機能させることを特徴とするプログラム。
    

Images