Nothing Special   »   [go: up one dir, main page]

JP5779938B2 - プレイリスト作成装置、プレイリスト作成方法及びプレイリスト作成プログラム - Google Patents

プレイリスト作成装置、プレイリスト作成方法及びプレイリスト作成プログラム Download PDF

Info

Publication number
JP5779938B2
JP5779938B2 JP2011073282A JP2011073282A JP5779938B2 JP 5779938 B2 JP5779938 B2 JP 5779938B2 JP 2011073282 A JP2011073282 A JP 2011073282A JP 2011073282 A JP2011073282 A JP 2011073282A JP 5779938 B2 JP5779938 B2 JP 5779938B2
Authority
JP
Japan
Prior art keywords
search
unit
data
information
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011073282A
Other languages
English (en)
Other versions
JP2012209724A (ja
Inventor
麻衣 柴田
麻衣 柴田
允文 加藤
允文 加藤
大 西田
大 西田
和孝 後郷
和孝 後郷
高城 博
博 高城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011073282A priority Critical patent/JP5779938B2/ja
Priority to US13/419,840 priority patent/US8799283B2/en
Priority to CN2012100783233A priority patent/CN102737091A/zh
Publication of JP2012209724A publication Critical patent/JP2012209724A/ja
Application granted granted Critical
Publication of JP5779938B2 publication Critical patent/JP5779938B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • G06F16/636Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4825End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

本発明はプレイリスト作成装置、プレイリスト作成方法及びプレイリスト作成プログラムに関し、例えば、写真画像の表示中に再生する音声データの再生順序を規定したプレイリストを作成するコンテンツ再生システムに適用して好適なものである。
従来の再生装置は、被写体を撮影して静止画や動画のような画像を生成すると、当該生成した画像を、撮影の日時を示す日時情報を付加して画像ファイルとしてメモリに記録する。
また再生装置は、外部から、音楽の作成や発表等の日時を示す日時情報が付加された音楽ファイルを取り込んでメモリに記録する。
さらに再生装置は、画像ファイルの画像を表示する場合、メモリ内で、当該画像ファイルに付加された日時情報と、少なくとも一部が一致する日時情報が付加された音楽ファイルを検索して、その検索した音楽ファイルを示す再生音楽リストを作成する。
そして再生装置は、画像ファイルを再生しながら、再生音楽リストが示す音楽ファイルを再生することで、画像を表示して見せながら、当該画像の年代に合った音楽を聴かせるようにしていた(例えば、特許文献1参照)。
一方、従来のコンテンツ再生装置は、被写体を撮影して生成された画像ファイルを、撮影日や画像に対して任意に設定されたキーワード等の画像属性情報と対応付けてハードディスクに記録する。
またコンテンツ再生装置は、音楽ファイルを、音楽のリリース年や当該音楽に対して任意に設定されたキーワード等の音楽属性情報と対応付けてハードディスクに記録する。
さらにコンテンツ再生装置は、ユーザの過去の記憶やイメージが年月日やキーワードとして指定されると、画像属性情報を用いて、当該指定された年月日やキーワードに対応する画像ファイルを検索して、当該検索した画像ファイルを示す画像リストを作成する。
さらにコンテンツ再生装置は、音楽属性情報を用いて、その指定された年月日やキーワードに対応する音楽ファイルを検索して、当該検索した音楽ファイルを示す音楽リストを作成すると共に、その検索した音楽ファイルを画像リストの画像ファイルに関連付ける。
そしてコンテンツ再生装置は、画像リスト及び音楽リストに従い、関連付けた画像ファイル及び音楽ファイルを同時に再生することで、ユーザの過去の記憶やイメージに関連付けた画像と音楽とを同時に視聴させるようにしていた(例えば、特許文献2参照)。
特開2009−117973公報(第7頁、第8頁、第9頁) 特開2007−200424公報(第7頁、第15頁、第27頁)
ところが、従来の再生装置やコンテンツ再生装置は、人物が写り込んでいる画像を表示して見せながら、その人物の嗜好に合った音声を聴かせるようには構成されていない。
このため従来の再生装置やコンテンツ再生装置では、画像と音声との新たな楽しみ方を提供し得るとは言い難いと言う問題があった。
本発明は以上の点を考慮してなされたもので、画像と音声との新たな楽しみ方を提供し得るプレイリスト作成装置、プレイリスト作成方法及びプレイリスト作成プログラムを提案しようとするものである。
かかる課題を解決するため本発明においては、プレイリスト作成装置において、画像データに基づく画像に写り込んでいる人物を特定するようにして、当該画像データに基づく画像に写り込んでいる複数の人物を特定した場合、画像データに基づく画像の表示用に選択された表示時間に応じて、複数の人物に共通な嗜好と、当該複数の人物それぞれの嗜好との何れか一方を抽出し、当該抽出した嗜好に基づき、その嗜好に合った音声の音声データを検索して、画像データに基づく画像の表示中の、当該検索した音声データの再生順序を規定するプレイリストを作成するようにした。
従って本発明では、画像データを再生して人物が写り込んでいる画像を任意に選定された表示時間表示しながら、プレイリストに従い音声データを再生して、当該画像に写り込んでいる複数の人物の共通な嗜好に合った音声、又は複数の人物それぞれの嗜好に合った音声を聴かせることができる。
本発明によれば、画像データに基づく画像に写り込んでいる人物を特定するようにして、当該画像データに基づく画像に写り込んでいる複数の人物を特定した場合、画像データに基づく画像の表示用に選択された表示時間に応じて、複数の人物に共通な嗜好と、当該複数の人物それぞれの嗜好との何れか一方を抽出し、当該抽出した嗜好に基づき、その嗜好に合った音声の音声データを検索して、画像データに基づく画像の表示中の、当該検索した音声データの再生順序を規定するプレイリストを作成するようにしたことにより、画像データを再生して人物が写り込んでいる画像を任意に選定された表示時間表示しながら、プレイリストに従い音声データを再生して、当該画像に写り込んでいる複数の人物の共通な嗜好に合った音声、又は複数の人物それぞれの嗜好に合った音声を聴かせることができ、かくして画像と音声との新たな楽しみ方を提供し得るプレイリスト作成装置、プレイリスト作成方法及びプレイリスト作成プログラムを実現することができる。
本実施の形態によるプレイリスト作成装置の構成の概要を示すブロック図である。 第1の実施の形態によるコンテンツ再生システムの構成を示すブロック図である。 プレイリスト作成装置の具体例である写真画像表示装置の機能回路ブロックによる回路構成を示すブロック図である。 画像プレイリストの構成を示す略線図である。 電話帳データの構成を示す略線図である。 特定人物リストの構成を示す略線図である。 特定対象リストの構成を示す略線図である。 嗜好追加人物リストの構成(1)を示す略線図である。 嗜好追加人物リストの構成(2)を示す略線図である。 嗜好追加人物リストの構成(3)を示す略線図である。 検索条件リストの構成(1)を示す略線図である。 検索条件リストの構成(2)を示す略線図である。 検索条件リストの構成(3)を示す略線図である。 検索音声リストの構成(1)を示す略線図である。 検索音声リストの構成(2)を示す略線図である。 検索音声リストの構成(3)を示す略線図である。 音声プレイリストの構成(1)を示す略線図である。 音声プレイリストの構成(2)を示す略線図である。 音声プレイリストの構成(3)を示す略線図である。 音声プレイリストの構成(4)を示す略線図である。 現在再生中の検索音声データの検索理由の提示(1)の説明に供する略線図である。 現在再生中の検索音声データの検索理由の提示(2)の説明に供する略線図である。 現在再生中の検索音声データの検索理由の提示(3)の説明に供する略線図である。 検索理由の提示をきっかけとして実行可能な処理の提示の説明に供する略線図である。 情報提供装置の機能回路ブロックによる回路構成を示すブロック図である。 画像音声再生処理手順を示すフローチャートである。 画像プレイリスト作成処理サブルーチンを示すフローチャートである。 画像解析処理サブルーチンを示すフローチャートである。 被写体特定処理サブルーチンを示すフローチャートである。 嗜好抽出処理サブルーチンを示すフローチャートである。 検索条件リスト生成処理サブルーチンを示すフローチャートである。 検索処理サブルーチンを示すフローチャートである。 音声プレイリスト作成処理サブルーチンを示すフローチャートである。 画像音声再生処理サブルーチンを示すフローチャートである。 検索理由提示処理手順(1)を示すフローチャートである。 検索理由提示処理手順(2)を示すフローチャートである。 第2の実施の形態によるコンテンツ再生システムの構成を示すブロック図である。 プレイリスト作成装置の具体例である写真画像表示装置のハードウェア回路ブロックによる回路構成を示すブロック図である。 情報提供装置のハードウェア回路ブロックによる回路構成を示すブロック図である。
以下図面を用いて、発明を実施するための最良の形態(以下、これを実施の形態とも呼ぶ)について説明する。なお、説明は以下の順序で行う。
1.実施の形態の概要
2.第1の実施の形態
3.第2の実施の形態
4.変形例
<1.実施の形態の概要>
まず、実施の形態の概要を説明する。因みに、この概要を説明した後、本実施の形態の具体例である第1の実施の形態及び第2の実施の形態の説明に移る。
図1において、1は全体として本実施の形態によるプレイリスト作成装置を示す。係るプレイリスト作成装置1において人物特定部2は、画像データに基づく画像に写り込んでいる人物を特定する。
またプレイリスト作成装置1において嗜好抽出部3は、人物特定部2により特定された人物の嗜好を抽出する。さらにプレイリスト作成装置1において検索部4は、嗜好抽出部3により抽出された嗜好に基づき、当該嗜好に合った音声の音声データを検索する。
そしてプレイリスト作成装置1においてプレイリスト作成部5は、画像データに基づく画像の表示中の、検索部4により検索された音声データの再生順序を規定するプレイリストを作成する。
かかる構成によりプレイリスト作成装置1は、画像データを再生して人物が写り込んでいる画像を表示しながら、プレイリストに従い音声データを再生して、当該画像に写り込んでいる人物の嗜好に合った音声を聴かせることができる。よってプレイリスト作成装置1は、画像と音声との新たな楽しみ方を提供することができる。
<2.第1の実施の形態>
[2−1.コンテンツ再生システムの構成]
図2において、10は全体として、第1の実施の形態によるコンテンツ再生システムを示す。係るコンテンツ再生システム10は、上述したプレイリスト作成装置1の具体例であるデジタルフォトフレームと呼ばれる写真画像表示装置11を有している。
そしてコンテンツ再生システム10は、写真画像表示装置11がネットワーク12を介して情報提供装置13と通信し得るようになされている。
写真画像表示装置11は、後述するように写真画像データのみを再生する画像単独再生機能、音声データのみを再生する音声単独再生機能、通話機能や電子メールの送受信機能、ネットワーク12上のサイトへのアクセス機能を有している。
また写真画像表示装置11は、再生対象の1又は複数の写真画像データと、情報提供装置13から提供される種々の情報とに基づき、当該1又は複数の写真画像データに基づく写真画像の表示中の、音声データの再生順序を規定するプレイリストを作成する。因みに、以下の説明では、音声データの再生順序を規定するプレイリストを、音声プレイリストとも呼ぶ。
そして写真画像表示装置11は、再生対象の1又は複数の写真画像データを再生しながら(すなわち、写真画像データに基づく写真画像を表示しながら)、プレイリストに従い音声データを再生する画像音声再生機能も有している。
[2−2.写真画像表示装置の機能回路ブロックによるハードウェア構成]
次いで、図3を用いて、写真画像表示装置11の機能回路ブロックによるハードウェア構成について説明する。
図3に示すように、写真画像表示装置11は、各種処理を実行すると共に、係る処理に応じて当該写真画像表示装置11全体を制御する主制御部20を有している。
主制御部20は、外部機器インタフェース21に接続された、パーソナルコンピュータやデジタルカメラ等のような外部機器(図示せず)から画像ファイルが転送されると、当該画像ファイルを、外部機器インタフェース21を介して取り込む。また主制御部20は、その画像ファイルを画像記憶部22に送出して記憶する。
ここで、画像ファイルは、例えば、デジタルカメラにおいて被写体を写真撮影することにより生成されたものであり、ヘッダ部と本体部とから構成されている。
画像ファイルの本体部には、デジタルカメラを用いて、1又は複数の人物(知人等)や自然物(山や川、海等)、人工物(建築物や展示物等)等の被写体を写真撮影して生成された1つの写真画像データが格納されている。
画像ファイルのヘッダ部には、本体部内の写真画像データの属性情報として、デジタルカメラにより、被写体が写真撮影されたときに例えば、Exif(Exchangeable image file format)に準じて生成されたヘッダデータが格納されている。
また画像ファイルのヘッダ部には、本体部内の写真画像データの属性情報として、デジタルカメラにより、被写体が写真撮影されたときに例えば、当該写真画像データに画素を間引くような縮小処理を施して生成されたサムネイル画像データも格納されている。
因みに、サムネイル画像データに基づくサムネイル画像は、写真画像データに基づく写真画像よりもサイズが小さいものの、当該写真画像の絵柄と実質的に同一の絵柄を有していることにより、その写真画像のインデックスとして用いることができるものである。
ところで、ヘッダデータには、画像ファイルと共に本体部内の写真画像データを個別に識別可能な識別情報(例えば、ファイル名であり、以下この識別情報を画像識別情報とも呼ぶ)や、被写体を写真撮影したときの撮影条件を示す種々の情報が含まれている。
またヘッダデータには、撮影条件を示す情報として、デジタルカメラにより被写体を写真撮影したときに、GPS(Global Positioning System)用の人工衛星と通信して検出された当該デジタルカメラの位置を示す情報が含まれている。
なお、デジタルカメラが被写体を写真撮影したときに検出された位置は、緯度及び経度で表されている。そして、以下の説明では、デジタルカメラが被写体を写真撮影したときに検出された位置を、カメラ位置とも呼び、ヘッダデータに含まれる撮影条件としての当該カメラ位置を示す情報を、カメラ位置情報とも呼ぶ。
さらにヘッダデータには、撮影条件を示す情報として、デジタルカメラにより被写体を写真撮影するときに、方位センサを用いて検出された、当該デジタルカメラの撮影レンズが写真撮影用に被写体に向けられた方位を示す情報も含まれている。
なお、デジタルカメラが被写体を写真撮影したときに検出された方位は、東西南北で表されている。そして、以下の説明では、デジタルカメラが被写体を写真撮影したときに検出された方位を、撮影方向とも呼び、ヘッダデータに含まれる撮影条件としての当該撮影方向を示す情報を、撮影方向情報とも呼ぶ。
さらにヘッダデータには、撮影条件を示す情報として、デジタルカメラにより被写体が写真撮影されたときに現在日時を計時する時計を用いて検出された撮影日時を示す情報(以下、これを撮影日時情報とも呼ぶ)等も含まれている。
主制御部20は、外部機器から画像ファイルが転送される毎に、当該画像ファイルを、外部機器インタフェース21を介して取り込んで画像記憶部22に記憶する。
これにより主制御部20は、画像記憶部22に、それぞれ写真画像データが格納された複数の画像ファイルを蓄積することができる。
そして主制御部20は、ユーザにより操作部23を介して画像単独再生機能が選択されると、画像単独再生モードに移行する。
この際、主制御部20は、画像記憶部22から複数の画像ファイル各々に格納されているサムネイル画像データと画像識別情報とを読み出す。
また主制御部20は、これら複数のサムネイル画像データに基づき、再生対象の写真画像データを選択するための画像選択画面データを生成する。
そして主制御部20は、画像選択画面データを、表示制御部24を介して表示部25に送出することにより、当該表示部25に画像選択画面データに基づき画像選択画面(図示せず)を表示する。
この場合、画像選択画面には、複数のサムネイル画像が例えば、マトリックス状に配置されている。また画像選択画面には、写真画像の表示時間を例えば、数分乃至数百分までの分単位の時間の中から任意に選択させるための選択部も配置されている。因みに、以下の説明では、写真画像の表示用に選択される表示時間を、特に選択表示時間とも呼ぶ。
これにより主制御部20は、画像選択画面を介して、ユーザに再生可能な写真画像データ(すなわち、表示可能な写真画像)を、対応するサムネイル画像として通知する。
主制御部20は、ユーザにより操作部23を介して画像選択画面上で再生対象の1又は複数の写真画像データがサムネイル画像として選択されると、図4に示すような、選択された1又は複数の写真画像データの再生順序を規定するプレイリスト26を作成する。
因みに、以下の説明では、写真画像データの再生順序を規定するプレイリスト26を、画像プレイリスト26とも呼ぶ。
この場合、主制御部20は、画像プレイリスト26に、再生対象として選択された1又は複数の写真画像データの画像識別情報を、その選択された順番で並べて登録している。
これにより主制御部20は、画像プレイリスト26において、再生対象の1又は複数の写真画像データを画像識別情報で示し、当該1又は複数の写真画像データの再生順序を例えば、画像識別情報の並び順(写真画像データが選択された順番)として規定している。
また主制御部20は、ユーザにより操作部23を介して画像選択画面上で選択表示時間が選択されると、当該選択された選択再生時間を示す選択時間情報と共に画像プレイリスト26を設定情報記憶部27に送出して記憶する。
これにより主制御部20は、その画像プレイリスト26に従い再生対象の写真画像データを再生するように設定する。
また主制御部20は、その画像プレイリスト26に従い再生対象の写真画像データを再生した場合、当該写真画像データに基づく写真画像を、選択表示時間の間、継続して表示するようにも設定する。
因みに、主制御部20は、画像選択画面上で選択表示時間を任意に1つだけ選択させるようにしている。このため主制御部20は、再生対象の写真画像データが複数選択された場合、これら複数の写真画像データに基づく写真画像各々の表示時間を一律に選択表示時間にする。
この状態で主制御部20は、画像プレイリスト26に従い(すなわち、画像プレイリスト26内の画像識別情報に基づき)、画像記憶部22から最初に再生すべき写真画像データが格納された画像ファイルを読み出す。
そして主制御部20は、その画像ファイルから写真画像データを取り出すと共に、当該取り出した写真画像データを、表示制御部24を介して表示部25に送出する。これにより主制御部20は、表示部25に、その写真画像データに基づく写真画像を表示する。
また主制御部20は、表示部25で写真画像の表示を開始すると、内部のタイマ(図示せず)により計時を開始する。
これにより主制御部20は、タイマにより計時している時間(以下、これを計時時間とも呼ぶ)が選択表示時間に達するまでの間は、表示部25で写真画像の表示を継続する。
そして主制御部20は、計時時間が選択表示時間に達すると、画像プレイリスト26に、次に再生すべき写真画像データ(すなわち、次に再生すべき写真画像データの画像識別情報)を登録しているか否かを判別する。
その結果、主制御部20は、画像プレイリスト26に、次に再生すべき写真画像データを登録していると、当該画像プレイリスト26に従い、画像記憶部22から次に再生すべき写真画像データが格納された画像ファイルを読み出す。
そして主制御部20は、その画像ファイルから写真画像データを取り出すと共に、当該取り出した写真画像データを、表示制御部24を介して表示部25に送出する。
これにより主制御部20は、表示部25に、それまで表示していた写真画像に換えて、新たに送出した写真画像データに基づく写真画像を表示する。
主制御部20は、この際も表示部25での新たな写真画像の表示の開始に応じて内部のタイマにより計時を開始する。
そして主制御部20は、計時時間が選択表示時間に達するまでの間、表示部25で新たな写真画像の表示を継続する。また主制御部20は、計時時間が選択表示時間に達すると、上述と同様に処理する。
これに対し主制御部20は、画像プレイリスト26に、次に再生すべき写真画像データを登録していないと、表示部25への写真画像データの送出を停止して、当該表示部25に写真画像の表示を終了させる。
このようにして主制御部20は、表示部25に対し、再生対象として選択された1又は複数の写真画像データに基づく写真画像を、適宜切り換えるようにして選択表示時間ずつ表示する。
これにより主制御部20は、表示部25を介して1つの写真画像だけを見せ、又は複数の写真画像をスライドショーのように順次切り換えて見せることができる。
一方、主制御部20は、例えば、外部機器インタフェース21に接続された外部機器から音声ファイルが転送されると、当該音声ファイルを、外部機器インタフェース21を介して取り込む。また主制御部20は、その音声ファイルを音声記憶部28に送出して記憶する。
ここで、音声ファイルは、ヘッダ部と本体部とから構成されている。音声ファイルの本体部には、音楽や自然界の音(波の音や川のせせらぎ、鳥やの鳴き声等)、落語、朗読等の音声をデジタルデータ化して生成された1つの音声データが格納されている。
音声ファイルのヘッダ部には、本体部内の音声データの属性情報を示すヘッダデータが格納されている。ところで、ヘッダデータには、音声ファイルと共に本体部内の音声データを個別に識別可能な識別情報(例えば、音声データの制作会社により任意に付された識別情報であり、以下この識別情報を音声識別情報とも呼ぶ)が含まれている。
またヘッダデータには、本体部内の音声データに基づく音声のタイトルやアーティスト、当該音声が属するジャンル、リリース年、当該音声データの再生時間等の種々の情報も含まれている。
主制御部20は、外部機器から音声ファイルが転送される毎に、当該音声ファイルを、外部機器インタフェース21を介して取り込んで音声記憶部28に記憶する。
また主制御部20は、ユーザにより操作部23を介して音声購入ページ画像の取得が要求されると、ページ画像要求データを、通信制御部29及びネットワークインタフェース30を順次介して、例えば、ネットワーク12上の情報提供装置13に送出する。
この際、情報提供装置13は、ページ画像要求データの受信に応じて音声購入ページ画像のページ画像データを写真画像表示装置11に返信する。
よって主制御部20は、ページ画像要求データを送信した結果、情報提供装置13からページ画像データが返信されると、当該ページ画像データを、ネットワークインタフェース30及び通信制御部29を順次介して受信する。
そして主制御部20は、そのページ画像データを、表示制御部24を介して表示部25に送出することにより、当該表示部25にページ画像データに基づく音声購入ページ画像を表示する。
この状態で主制御部20は、ユーザにより操作部23を介して音声購入ページ画像上で購入を希望する音声データが選択されると、これに応じて、選択された音声データの購入を要求するための購入要求データを生成する。
そして主制御部20は、その購入要求データを、通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上の情報提供装置13に送信する。
この際、情報提供装置13は、購入要求データの受信に応じて、ユーザにより購入用に選択された音声データの購入に対する課金処理を実行する。
そして情報提供装置13は、課金処理が完了すると、その音声データが格納された上述と同様構成の音声ファイルを写真画像表示装置11に返信する。
よって主制御部20は、購入要求データを送信した結果、情報提供装置13から音声ファイルが返信されると、当該音声ファイルを、ネットワークインタフェース30及び通信制御部29を順次介して受信する。また主制御部20は、その受信した音声ファイルを音声記憶部28に送出して記憶する。
主制御部20は、このようにユーザにより音声データの購入が要求される毎に、情報提供装置13を利用して音声データを購入して音声記憶部28に記憶することができる。
このようにして主制御部20は、外部機器や情報提供装置13を利用して、音声記憶部28に、それぞれ音声データが格納された複数の音声ファイルを蓄積することができる。
そして主制御部20は、ユーザにより操作部23を介して音声単独再生機能が選択されると、音声単独再生モードに移行する。
この際、主制御部20は、音声記憶部28から複数の音声ファイル各々に格納されているヘッダデータ(すなわち、音声データの属性情報)を読み出す。
また主制御部20は、これら複数のヘッダデータに含まれる例えば、タイトルに基づき、再生対象の音声データを選択するための音声選択画面データを生成する。
そして主制御部20は、その音声選択画面データを、表示制御部24を介して表示部25に送出することにより、当該表示部25に音声選択画面データに基づき音声選択画面(図示せず)を表示する。
この場合、音声選択画面には、例えば、複数の音声データに基づく音声のタイトルがリスト化されて配置されている。
これにより主制御部20は、音声選択画面を介して、ユーザに再生可能な音声データ(すなわち、出力可能な音声)を、対応するタイトルとして通知する。
この状態で主制御部20は、ユーザにより操作部23を介して音声選択画面上で再生対象の1又は複数の音声データがタイトルとして選択されると、当該選択された1又は複数の音声データの再生順序を規定する音声プレイリストを作成する。
この場合、主制御部20は、音声プレイリストに、再生対象として選択された1又は複数の音声データの少なくとも音声識別情報を含む属性情報を、その選択された順番で並べて登録している。
これにより主制御部20は、音声プレイリストにおいて、再生対象の1又は複数の音声データを属性情報で示し、当該1又は複数の音声データの再生順序を例えば、属性情報の並び順(音声データが選択された順番)として規定している。
主制御部20は、音声プレイリストを作成すると、その音声プレイリストを設定情報記憶部27に送出して記憶することにより、当該音声プレイリストに従い再生対象の音声データを再生するように設定する。
そして主制御部20は、音声プレイリストに従い(すなわち、音声プレイリスト内の音声識別情報に基づき)、音声記憶部28から最初に再生すべき音声データが格納された音声ファイルを読み出す。
そして主制御部20は、その音声ファイルから音声データを取り出すと共に、当該取り出した音声データを、再生制御部31を介して再生部32に送出する。
これにより再生部32は、その音声データに所定の再生処理を施し、得られた音声(すなわち、その音声データに基づく音声)を出力する。
また主制御部20は、再生部32において1つの音声データに対する再生処理が終了すると、音声プレイリストに、次に再生すべき音声データ(すなわち、次に再生すべき音声データの音声識別情報)を登録しているか否かを判別する。
その結果、主制御部20は、音声プレイリストに、次に再生すべき音声データを登録していると、当該音声プレイリストに従い、音声記憶部28から次に再生すべき音声データが格納された音声ファイルを読み出す。
そして主制御部20は、その音声ファイルから音声データを取り出すと共に、当該取り出した音声データを、再生制御部31を介して再生部32に送出する。
これにより再生部32は、次に再生すべき音声データに所定の再生処理を施して、得られた音声(すなわち、その次に再生すべき音声データに基づく音声)を、それまで出力していた音声に引き続いて出力する。
主制御部20は、この際も、再生部32において音声データに対する再生処理が終了すると、上述と同様に処理する。
これに対し主制御部20は、音声プレイリストに、次に再生すべき音声データを登録していないと、再生部32に新たな音声データを送出しないようにして、音声の出力を終了させる。
このようにして主制御部20は、再生部32から、再生対象として選択された1又は複数の音声データに基づく音声を、適宜切り換えるようにして出力させる。
これにより主制御部20は、再生部32を介して1つの音声だけを聴かせ、又は複数の音声を連続して聴かせることができる。
ところで、主制御部20は、例えば、電話帳記憶部33に、写真画像表示装置11を使用するユーザの親族や友人等(以下、これらユーザの親族や友人等を、まとめて知人とも呼ぶ)の電話帳のデータ(以下、これを電話帳データとも呼ぶ)を記憶している。
ここで、図5に示すように、電話帳データには、複数の知人の氏名、電話番号、メールアドレス、コメント、顔の画像の画像データ、当該顔の画像から抽出された画像の特徴量が知人毎に対応付けられて登録されている。
因みに、以下の説明では、知人の顔の画像データを、知人顔画像データとも呼び、当該知人顔画像データに基づく画像を、知人顔画像とも呼ぶ。また、以下の説明では、知人顔画像から抽出された画像の特徴量を、知人顔特徴量とも呼ぶ。
実際に主制御部20は、ユーザにより操作部23を介して電話帳に対する知人の登録が要求されると、当該電話帳への知人の登録処理を実行する。
この際、主制御部20は、例えば、ユーザに操作部23を介して知人の氏名、電話番号、メールアドレス、ユーザと知人との間柄(恋人や友人、母親等)を示すコメントを入力させる。
そして主制御部20は、その知人の氏名、電話番号、メールアドレス、コメントを電話帳記憶部33に送出して記憶するようにして、当該知人の氏名、電話番号、メールアドレス、コメントを互いに対応付けて電話帳データに登録する。
引き続き主制御部20は、例えば、ユーザにより操作部23を介して画像選択画面の表示が要求されると、画像記憶部22から複数の画像ファイル各々に格納されているサムネイル画像データと画像識別情報とを対応付けて読み出す。
さらに主制御部20は、これら複数のサムネイル画像データ及び画像識別情報に基づき、写真画像データを選択するための画像選択画面データを生成する。
そして主制御部20は、画像選択画面データを、表示制御部24を介して表示部25に送出することにより、当該表示部25に画像選択画面データに基づき画像選択画面(図示せず)として複数のサムネイル画像を一覧表示する。
この状態で主制御部20は、ユーザにより操作部23を介して画像選択画面上で、知人の顔が写り込んでいる写真画像がサムネイル画像として選択されると、そのサムネイル画像に対応する画像識別情報に基づき画像記憶部22から画像ファイルを読み出す。
すなわち、主制御部20は、選択されたサムネイル画像に対応する画像識別情報に基づき、画像記憶部22から、ユーザにより当該サムネイル画像として選択された写真画像の写真画像データが格納された画像ファイルを読み出す。
また主制御部20は、画像ファイルから写真画像データを取り出すと共に、当該取り出した写真画像データを画像解析部34に送出する。
ここで、画像記憶部22には、人物の顔の画像の大まかな輝度分布及び顔の大まかな構造のパターンを示す顔探索用データが予め記憶されている。
また画像記憶部22には、写真画像に写り込んでいる人物の顔の検出に用いられる画像の特徴量(以下、これらを顔検出用特徴量とも呼ぶ)を示す顔特徴データも予め記憶されている。
因みに、顔検出用特徴量は、顔や目、鼻、口、眉毛等の形状、及びこれらの位置関係等から構成されている。また顔検出用特徴量は、複数の人物の顔の画像から抽出された当該画像の特徴量を用いた学習により生成されている。
この際、画像解析部34は、主制御部20から写真画像データが与えられると、画像記憶部22から顔探索用データ及び顔特徴データを読み出す。
そして画像解析部34は、顔探索用データに基づき、写真画像データに基づく写真画像において、人物の顔が写り込んでいると想定される領域(以下、これを想定領域とも呼ぶ)を探索する。
その結果、画像解析部34は、写真画像において1又は複数の想定領域を検出すると、当該検出した1又は複数の想定領域からそれぞれ画像の特徴量として、例えば、複数の輪郭線の形状と、これら複数の輪郭線同士の位置関係と、色とを抽出する。因みに、以下の説明では、写真画像の想定領域から抽出した画像の特徴量を、想定領域特徴量とも呼ぶ。
また画像解析部34は、写真画像の想定領域毎に、顔特徴データが示す顔検出用特徴量と、当該想定領域から抽出した想定領域特徴量とに基づき所定の演算処理を実行する。
これにより画像解析部34は、写真画像の想定領域毎に、当該想定領域に写り込んでいる被写体が、人物の顔として、どの程度確からしいかを示す確度を算出する。
また画像解析部34は、想定領域毎に算出した確度を、予め選定された第1閾値と比較する。その結果、画像解析部34は、写真画像の想定領域について算出した確度が第1閾値以上であると、写真画像の当該想定領域に写り込んでいる被写体が、人物の顔であると推定する。
このようにして画像解析部34は、写真画像内の1又は複数の想定領域の中から、人物の顔が写り込んでいる想定領域(すなわち、第1閾値以上の確度を得た想定領域)を人物顔領域として検出する。
画像解析部34は、1又は複数の想定領域の中から1又は複数の人物顔領域を検出すると、その人物顔領域から抽出していた想定領域特徴量を、人物の顔の画像の特徴量を示す人物顔特徴量とする。また画像解析部34は、写真画像内での人物顔領域の位置を示す領域位置情報を生成する。
さらに画像解析部34は、写真画像内で検出した人物顔領域毎に、当該人物顔領域の人物顔特徴量と領域位置情報とを対応付けて人物顔領域情報を生成する。そして画像解析部34は、写真画像データと共に1又は複数の人物顔領域情報を主制御部20に送出する。
主制御部20は、画像解析部34から写真画像データと共に1又は複数の人物顔領域情報が与えられると、当該人物顔領域情報が示す領域位置情報に基づき写真画像データを加工して、検出された人物の顔を提示するための顔提示用画像データを生成する。
そして主制御部20は、その顔提示用画像データを、表示制御部24を介して表示部25に送出する。これにより主制御部20は、表示部25に顔提示用画像データに基づき、検出された1又は複数の人物の顔を枠線で囲んだ(すなわち、人物顔領域の縁に枠線を重ねた)顔提示用画像を表示する。
このようにして主制御部20は、ユーザに顔提示用画像を介して、元の写真画像に写り込んでいる1又は複数の人物の顔(すなわち、知人の顔を含む)を提示する。
この状態で主制御部20は、ユーザにより操作部23を介して顔提示用画像上で、枠線で囲まれた知人の顔が写り込んでいる人物顔領域が選択されると、顔提示用画像から、選択された人物顔領域を切り出すようにして知人顔画像の知人顔画像データを生成する。
また主制御部20は、1又は複数の人物顔領域情報が示す人物顔特徴量のうち、ユーザにより選択された人物顔領域の人物顔特徴量を、知人顔特徴量とする。
そして主制御部20は、その知人用の知人顔画像データ及び知人顔特徴量を電話帳記憶部33に送出して記憶するようにして、その知人顔画像データ及び知人顔特徴量を当該知人の氏名等の他の情報に対応付けて電話帳データに登録する。
このようにして主制御部20は、ユーザによる操作部23の操作に応じて、電話帳データに複数の知人の氏名や電話番号、メールアドレス、コメント、知人顔画像データ、知人顔特徴量を登録する。
また主制御部20は、電話帳記憶部33に、ユーザの氏名、電話番号、メールアドレス、顔の画像の画像データ、当該画像データに基づく顔の画像から抽出された画像の特徴量を自局データとして記憶している。
なお、以下の説明では、ユーザの顔の画像の画像データを、ユーザ顔画像データとも呼び、当該ユーザ顔画像データに基づく画像を、ユーザ顔画像とも呼ぶ。また、以下の説明では、ユーザ顔画像から抽出された画像の特徴量を、ユーザ顔特徴量とも呼ぶ。
因みに、ユーザの電話番号やメールアドレスは、当該ユーザの使用する写真画像表示装置11に割り当てられた電話番号やメールアドレスである。
みに主制御部20は、自局データに含まれるユーザ顔画像データやユーザ顔特徴量については、上述した知人顔画像データや知人顔特徴量を取得する場合と同様にして取得している。
主制御部20は、ユーザにより操作部23を介して知人の電話番号が直接入力され又は電話帳データを利用して選択され、引き続き発呼命令が入力されると、その電話番号と共に自局データの一部を用いて発呼データを生成する。
そして主制御部20は、その発呼データを、通信制御部29及びネットワークインタフェース30を順次介して、知人の通話機器(図示せず)に送信することにより、当該知人に通話機器を介してユーザからの発呼を通知する。
その結果、主制御部20は、知人が通話を許可して当該知人の通話機器との通信が確立すると、集音部35によりユーザの音声を集音して通話用音声データを生成する。
そして主制御部20は、その通話用音声データを、通信制御部29及びネットワークインタフェース30を順次介して知人の通話機器に送信する。
また主制御部20は、この際、知人の通話機器から送信された通話用音声データを、ネットワークインタフェース30及び通信制御部29を順次介して受信すると、その通話用音声データを、再生制御部31を介して再生部32に送出する。
そして再生部32は、主制御部20から与えられた通話用音声データに所定の再生処理を施し、得られた知人の音声を出力する。
このようにして主制御部20は、ユーザからの通話の要求に応じて知人の通話機器との通信が確立すると、当該ユーザと知人との互いの音声の通話用音声データを送受信して、ユーザと知人とを通話させることができる。
ところで、主制御部20は、知人の通話機器から送信された着呼データを、ネットワークインタフェース30及び通信制御部29を順次介して受信すると、その着呼データに基づき例えば、リンガ(図示せず)を鳴らす。
また主制御部20は、その着呼データに基づき、表示制御部24を介して表示部25に、通話を要求している知人の氏名や電話番号等を表示する。これにより主制御部20は、ユーザに知人からの着呼を通知する。
この状態で主制御部20は、ユーザにより操作部23を介して通話が許可され、知人の通話機器との通信が確立すると、集音部35によりユーザの音声を集音して通話用音声データを生成する。
そして主制御部20は、その通話用音声データを、通信制御部29及びネットワークインタフェース30を順次介して知人の通話機器に送信する。
また主制御部20は、この際、知人の通話機器から送信された通話用音声データを、ネットワークインタフェース30及び通信制御部29を順次介して受信すると、その通話用音声データを、再生制御部31を介して再生部32に送出する。
そして再生部32は、主制御部20から与えられた通話用音声データに所定の再生処理を施し、得られた知人の音声を出力する。
このようにして主制御部20は、知人からの通話の要求に応じて当該知人の通話機器との通信が確立した場合も、ユーザと知人との互いの音声の通話用音声データを送受信して、ユーザと知人とを通話させることができる。
主制御部20は、ユーザにより操作部23を介して電子メールの作成が要求されると、例えば、電話帳記憶部33から予め記憶しているメール作成画面データを読み出す。
また主制御部20は、そのメール作成画面データを、表示制御部24を介して表示部25に送出することにより、当該表示部25にメール作成画面データに基づく電子メール作成画面(図示せず)を表示する。
これにより主制御部20は、ユーザに操作部23を介して電子メール作成画面上でメール本文を入力させることができると共に、電子メールの送信相手となる知人のメールアドレスを直接入力させ又は電話帳データを利用して入力させることができる。
そして主制御部20は、電子メール作成画面上でメール本文と共にメールアドレスが入力された状態で、ユーザにより操作部23を介して電子メールの送信命令が入力されると、当該メール本文及びメールアドレスからなる電子メールデータを生成する。
また主制御部20は、その電子メールデータを、通信制御部29及びネットワークインタフェース30を順次介し、メールサーバ(図示せず)経由で、知人の通話機器に送信する。
このようにして主制御部20は、ユーザの作成した電子メールを知人宛に送り、当該知人に、その電子メールを開封させて閲覧させることができる。
ところで、主制御部20は、知人の通話機器からメールサーバ経由で送信された電子メールデータを、ネットワークインタフェース30及び通信制御部29を順次介して受信すると、その電子メールデータを例えば、電話帳記憶部33に一旦記憶する。
また主制御部20は、この際、ユーザに例えば、表示部25や再生部32等を介して電子メールの受信を通知する。
そして主制御部20は、ユーザにより操作部23を介して電子メールの開封が指示されると、電話帳記憶部33から電子メールデータを読み出すと共に、当該読み出した電子メールデータを、表示制御部24を介して表示部25に送出する。
これにより主制御部20は、表示部25に電子メールデータに基づき、知人から送られてきた電子メールのメール本文と共に、当該知人のメールアドレス等を表示してユーザに閲覧させることができる。
さらに主制御部20は、ユーザにより操作部23を介してコミュニティーサイトへのアクセスが要求されると、通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上のコミュニティーサイトにアクセスする。
因みに、係るコミュニティーサイトは、例えば、ネットワーク12上でSNS(Social Networking Service)として提供されるコミュニティーサイトである。
この状態で主制御部20は、ユーザにより操作部23を介して種々の情報が入力されアップロードが指示されると、当該入力された情報を、通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上のコミュニティーサイトへ送信する。
これにより主制御部20は、ネットワーク12上のコミュニティーサイトを利用して、ユーザのプロフィールや写真、日記等を公開し、また知人にメッセージを送ること等ができる。
また主制御部20は、ユーザにより操作部23を介して一般公開用の情報、いわゆるブログが生成され、アップロードが指示されると、通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上の公開用サイトにアクセスする。
これにより主制御部20は、ネットワーク12上の公開用サイトでブログとして、ユーザの日記や覚書、論評等を公開することができる。
次いで、上述したように主制御部20が、情報提供装置13から提供される種々の情報を利用して実現する画像音声再生機能について説明する。
主制御部20は、画像音声再生機能を実現するにあたり情報提供装置13を利用可能にするために、当該情報提供装置13にユーザの登録を要求する。
因みに、以下の説明では、情報提供装置13を利用可能にする(すなわち、情報提供装置13から情報の提供を受けることができるようにする)ための、当該情報提供装置13へのユーザのような利用者の登録を、利用者登録とも呼ぶ。
すなわち、主制御部20は、ユーザにより操作部23を介して情報提供装置13への利用者登録が要求されると、登録要求データを、通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上の情報提供装置13に送信する。
この際、情報提供装置13は、登録要求データの受信に応じて、利用者登録用の個人情報を入力させるための個人情報入力画面データを写真画像表示装置11に返信する。
よって主制御部20は、登録要求データの送信の結果、情報提供装置13から個人情報入力画面データが返信されると、当該個人情報入力画面データを、ネットワークインタフェース30及び通信制御部29を順次介して受信する。
そして主制御部20は、個人情報入力画面データを、表示制御部24を介して表示部25に送出することにより、当該表示部25に、その個人情報入力画面データに基づく個人情報入力画面(図示せず)を表示する。
個人情報入力画面には、利用者登録用の個人情報として種々の情報を入力させるための入力欄が設けられている。
ここで、利用者登録用の個人情報としては、利用者固有の識別情報(以下、これを利用者識別情報とも呼ぶ)及びパスワードがある。
また利用者登録用の個人情報としては、利用者の氏名、生年月日、住所、電話番号、メールアドレス等のような利用者自身や、当該利用者の個人情報を判別するのに利用可能な情報もある。
さらに利用者登録用の個人情報としては、利用者が所有する音声データの種類(ジャンル(ロックやジャズ、邦楽、洋楽等)や、アーティスト等)毎の所有数のような当該個人の嗜好を抽出するのに利用可能な情報もある。因みに、以下の説明では、利用者が所有する音声データの種類毎の所有数を、種類別所有数とも呼ぶ。
主制御部20は、表示部25に個人情報入力画面を表示した状態で、ユーザにより操作部23を介して当該個人情報入力画面上でユーザの個人情報が入力されると、その入力された個人情報を格納した利用者登録データを生成する。
そして主制御部20は、その利用者登録データを、通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上の情報提供装置13に送信する。
この際、情報提供装置13は、利用者登録データの受信に応じて、当該利用者登録データに含まれるユーザの個人情報を記憶するようにして、当該ユーザを利用者登録する。
これにより情報提供装置13は、ユーザに情報提供装置13の利用(すなわち、提供用の種々の情報の取得)を許可する。
ところで、情報提供装置13は、ユーザの利用者登録が完了すると、当該利用者登録が完了したことを通知するための登録完了通知データを写真画像表示装置11に返信する。
よって主制御部20は、情報提供装置13から利用者登録が完了して登録完了通知データが送信されると、当該登録完了通知データを、ネットワークインタフェース30及び通信制御部29を順次介して受信する。
そして主制御部20は、表示部25を介してユーザに利用者登録が完了したことを通知すると共に、その利用者登録でユーザにより決められた利用者識別情報及びパスワードを設定情報記憶部27に送出して記憶する。
主制御部20は、情報提供装置13に対するユーザの利用者登録が完了すると、その後は、当該情報提供装置13に対しユーザの個人情報を適宜更新させる。
すなわち、主制御部20は、例えば、ユーザにより操作部23を介して個人情報の更新が要求されると、利用者識別情報及びパスワードを格納した更新要求データを生成する。
そして主制御部20は、その更新要求データを、通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上の情報提供装置13に送信する。
この際、情報提供装置13は、更新要求データの受信に応じて、当該更新要求データ内の利用者識別情報及びパスワードによりユーザの個人情報を判別する。
また情報提供装置13は、その判別したユーザの種々の個人情報のうち少なくとも一部を変更可能情報として記述した個人情報変更画面データを生成し、当該生成した個人情報変更画面データを写真画像表示装置11に返信する。
よって主制御部20は、更新要求データの送信の結果、情報提供装置13から個人情報変更画面データが送信されると、当該個人情報変更画面データを、ネットワークインタフェース30及び通信制御部29を順次介して受信する。
そして主制御部20は、個人情報変更画面データを、表示制御部24を介して表示部25に送出することにより、当該表示部25に、その個人情報変更画面データに基づく個人情報変更画面(図示せず)を表示する。
個人情報変更画面には、変更可能情報として、住所、電話番号、メールアドレス、音声データの種類別所有数等が記述されている。
主制御部20は、ユーザにより操作部23を介して個人情報更新画面上で変更可能情報の少なくとも一部が変更されると、当該変更可能情報のうち未変更の情報と変更された情報とを利用者識別情報及びパスワードと共に格納した個人情報更新データを生成する。因みに、以下の説明では、変更可能情報のうち未変更の情報と変更された情報とをまとめて更新情報とも呼ぶ。
そして主制御部20は、その個人情報更新データを、通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上の情報提供装置13に送信する。
この際、情報提供装置13は、個人情報更新データの受信に応じて、当該個人情報更新データ内の利用者識別情報及びパスワードによりユーザの個人情報を判別する。
また情報提供装置13は、その判別したユーザの種々の個人情報のうち、変更可能情報を個人情報更新データ内の更新情報に置き換えるようにして、当該ユーザの個人情報を更新する。
また主制御部20は、例えば、上述のようにネットワーク12上のサイトにユーザのプロフィールや日記等の情報を公開用にアップロードすると、内部の時計により計時している現在日時に基づき、当該情報をアップロードしたときの日時を検出する。
因みに、以下の説明では、ネットワーク12上のサイトに公開用としてアップロードしたユーザのプロフィールや日記等の情報を、公開情報とも呼び、当該公開情報をアップロードしたときの日時を、公開日時とも呼ぶ。
さらに主制御部20は、その検出した公開日時及び、この際にアップロードした公開情報を追加の個人情報とする。因みに、以下の説明では、追加の個人情報を、追加情報とも呼ぶ。
さらにまた主制御部20は、追加情報を利用者識別情報及びパスワードと共に格納した個人情報更新データを生成する。
そして主制御部20は、その個人情報更新データを、通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上の情報提供装置13に送信する。
この際、情報提供装置13は、個人情報更新データの受信に応じて、当該個人情報更新データ内の利用者識別情報及びパスワードによりユーザの個人情報を判別する。
そして情報提供装置13は、その判別したユーザの種々の個人情報に、個人情報更新データ内の追加情報を追加するようにして、当該ユーザの個人情報を更新する。
さらに主制御部20は、例えば、上述のように、音声単独再生モードで音声データを再生すると、内部の時計により計時している現在日時に基づき、当該音声データの再生を開始した時点の日時を検出する。因みに、以下の説明では、音声データの再生を開始した時点の日時を、再生日時とも呼ぶ。
また主制御部20は、その検出した再生日時と、この際に再生した音声データに対応する音声識別情報やタイトル、アーティスト、ジャンル等の属性情報とで示す当該音声データの再生履歴を追加情報とする。
さらに主制御部20は、この際にも追加情報を利用者識別情報及びパスワードと共に格納した個人情報更新データを生成する。
そして主制御部20は、その個人情報更新データを、通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上の情報提供装置13に送信する。
この際、情報提供装置13は、個人情報更新データの受信に応じて、当該個人情報更新データ内の利用者識別情報及びパスワードによりユーザの個人情報を判別する。
そして情報提供装置13は、その判別したユーザの種々の個人情報に、個人情報更新データ内の追加情報を追加するようにして、当該ユーザの個人情報を更新する。
このようにして主制御部20は、情報提供装置13においてユーザが利用者登録された後も、当該ユーザの個人情報を適宜更新させることができる。
ところで、情報提供装置13は、ユーザ以外の他の人物(知人を含む)についても、上述と同様に情報提供装置13を利用可能にするために当該他の人物の個人情報を記憶するようにして利用者登録し、利用者登録の後には、その個人情報を適宜更新する。
よって主制御部20は、画像音声再生機能を実現する場合、情報提供装置13から利用者(ユーザや知人を含む)に関する情報等の提供を受け、その情報等を利用して音声プレイリストを作成している。
実際に主制御部20は、ユーザにより操作部23を介して画像音声再生機能が選択されると、画像音声再生モードに移行する。
この際、主制御部20は、上述した単独画像再生モード時と同様に、画像プレイリスト作成処理を実行する。これにより主制御部20は、表示部25に画像選択画面を表示して選択表示時間と共に再生対象の1又は複数の写真画像データを選択させるようにして画像プレイリスト26を作成する。
そして主制御部20は、このように画像プレイリスト26を作成すると、当該画像プレイリスト26を、選択表示時間を示す選択時間情報と共に設定情報記憶部27に送出して記憶する。
これにより主制御部20は、上述と同様に、その画像プレイリスト26に従い再生対象の写真画像データを再生するように設定する。
また主制御部20は、その画像プレイリスト26に従い再生対象の写真画像データを再生した場合、当該写真画像データに基づく写真画像を、選択表示時間の間、継続して表示生するようにも設定する。
そして主制御部20は、画像プレイリスト26に従い画像記憶部22から再生対象の(すなわち、このときユーザにより選択された)写真画像データが格納された画像ファイルを順次読み出すと共に、当該読み出した画像ファイルを画像解析部34に送出する。
画像解析部34は、主制御部20から画像ファイルが与えられると、画像解析処理を実行する。画像解析部34は、画像解析処理を実行すると、主制御部20から与えられた画像ファイルから写真画像データを取り出す。
また画像解析部34は、画像記憶部22から顔探索用データを読み出す。そして画像解析部34は、顔探索用データに基づき、写真画像データに基づく写真画像において想定領域を探索する。
その結果、画像解析部34は、写真画像において1又は複数の想定領域を検出すると、その想定領域毎に、当該想定領域から想定領域特徴量を抽出すると共に、写真画像内での当該想定領域の位置を示す領域位置情報を生成する。
また画像解析部34は、写真画像内で検出した想定領域毎に、当該想定領域の想定領域特徴量と領域位置情報とを対応付けて想定領域情報を生成する。
このようにして画像解析部34は、写真画像を解析すると、当該写真画像に対応する画像ファイルからヘッダデータを取り出す。
そして画像解析部34は、この際、写真画像内で1又は複数の想定領域を検出していると、1又は複数の想定領域情報をヘッダデータと共に人物特定部36に送出する。
また画像解析部34は、写真画像内で想定領域を検出していないと、ヘッダデータのみを人物特定部36に送出する。
このようにして画像解析部34は、画像解析処理を実行した場合には、写真画像を解析する毎に、ヘッダデータと共に1又は複数の想定領域情報、若しくはヘッダデータのみを人物特定部36に送出する。
この際、人物特定部36は、再生対象の写真画像データに基づく写真画像に写り込んでいる被写体を特定するための被写体特定処理を実行する。
人物特定部36は、被写体特定処理を実行すると、画像解析部34からヘッダデータと共に1又は複数の想定領域情報が与えられた場合、被写体としての人物を特定するための人物特定処理を実行する。
人物特定部36は、人物特定処理を実行すると、電話帳記憶部33から電話帳データ及び自局データを読み出す。また人物特定部36は、電話帳データから知人顔特徴量を全て取り出すと共に、自局データからユーザ顔特徴量を取り出す。
そして人物特定部36は、知人顔特徴量及びユーザ顔特徴量を順番に1つずつ用いて、当該知人顔特徴量又はユーザ顔特徴量と、想定領域情報が示す想定領域特徴量とに基づき所定の演算処理を実行する。
これにより人物特定部36は、想定領域毎に、当該想定領域に写り込んでいる被写体が、知人やユーザの顔として、どの程度確からしいかを示す複数の確度を算出する。また人物特定部36は、その想定領域毎に算出した複数の確度を、予め選定された第2閾値と順次比較する。
その結果、人物特定部36は、何れかの想定領域について算出した複数の確度のうち1つの確度のみが第2閾値以上であり、当該第2閾値以上の確度の算出に知人の知人顔特徴量を用いていると、その想定領域に写り込んでいる顔が当該知人の顔であると推定する。
また人物特定部36は、何れかの想定領域について算出した複数の確度のうち1つの確度のみが第2閾値以上であり、当該第2閾値以上の確度の算出にユーザのユーザ顔特徴量を用いていると、その想定領域に写り込んでいる顔がユーザの顔であると推定する。
さらに人物特定部36は、何れかの想定領域について算出した複数の確度のうち複数(2つ以上)の確度が第2閾値以上であると、当該第2閾値以上の複数の確度のうち最も値の大きい確度を選定する。
そして人物特定部36は、最も値の大きい確度の算出に用いた知人顔特徴量又はユーザ顔特徴量に応じて、想定領域に写り込んでいる顔が知人の顔又はユーザの顔であると推定する。
このようにして人物特定部36は、写真画像に写り込んでいる人物の顔をもとに、当該写真画像に写り込んでいる人物(すなわち、知人やユーザ)を特定する。
因みに、以下の説明では、写り込んでいる人物(すなわち、知人やユーザ)が特定された写真画像を、特に人物特定写真画像とも呼び、当該人物特定写真画像内で特定された人物(ユーザや知人)を、特定人物とも呼ぶ。
この際、人物特定部36は、人物特定写真画像において特定人物の顔が写り込んでいる想定領域を顔領域とし、1又は複数の想定領域情報が示す領域位置情報の中から当該顔領域の位置を示す領域位置情報を、顔領域位置情報として選択する。
そして人物特定部36は、ヘッダデータ、顔領域位置情報、電話帳データ及び自局データを用いて、図6(A)及び(B)に示すような、人物特定写真画像と、特定した1又は複数の特定人物とを示す特定人物リスト40A及び40Bを生成する。
この場合、特定人物リスト40A及び40Bには、人物特定写真画像の写真画像データに関する画像識別情報及び撮影日時情報が含まれている。
また特定人物リスト40A及び40Bには、人物特定写真画像内で特定された1又は複数の特定人物(知人やユーザ)自身や当該特定人物の個人情報を個別に判別可能な、特定人物毎の氏名や電話番号、メールアドレスがリスト化されて含まれている。
因みに、以下の説明では、特定人物自身や当該特定人物の個人情報を個別に判別可能な、特定人物の氏名、電話番号、メールアドレスを、まとめて人物判別用情報とも呼ぶ。
さらに特定人物リスト40A及び40Bには、特定人物毎の人物判別用情報に、その特定人物とユーザとの間柄を示すコメントと、人物特定写真画像において当該特定人物の顔が写り込んでいる顔領域の位置を示す顔領域位置情報とが対応付けられて含まれている。
因みに、以下の説明では、図6(A)及び(B)に示した特定人物の登録人数の異なる特定人物リスト40A及び40Bを特には区別する必要がない場合、これらをまとめて符号40を付した特定人物リスト40とも呼ぶ。
このようにして人物特定部36は、人物特定写真画像に写り込んでいる人物(すなわち、知人やユーザ)を特定して特定人物リスト40を生成すると、当該生成した特定人物リスト40を嗜好抽出部41に送出する。
ところで、人物特定部36は、想定領域毎に算出した複数の確度の何れもが第2閾値よりも小さいと、写真画像には知人の顔やユーザの顔が全く写り込んでいないと判断する。
この際、人物特定部36は、人物特定処理に引き続き、被写体としての、外国や国内の建築物や展示物、風景等のような人物以外の撮影対象を特定するための撮影対象特定処理を実行する。
ここで、画像記憶部22には、写真画像に写り込んでいる撮影対象を特定するために使用する対象特定使用データが予め記憶されている。
この場合、対象特定使用データには、例えば、複数の撮影対象の所在地(緯度及び経度で表される位置)を示す所在地情報が含まれている。
また対象特定使用データには、撮影対象毎の所在地の地名を示す地名情報が、当該撮影対象の所在地を示す所在地情報に対応付けられて含まれている。
さらに対象特定使用データには、撮影対象毎の名称(以下、これを撮影対象名とも呼ぶ)を示す撮影対象名情報が、当該撮影対象の所在地を示す所在地情報に対応付けられて含まれている。
人物特定部36は、撮影対象特定処理を実行すると、画像記憶部22から対象特定使用データを読み出す。また人物特定部36は、このとき画像解析部34から与えられていたヘッダデータから属性情報としてカメラ位置情報及び撮影方向情報を取り出す。
さらに人物特定部36は、そのカメラ位置情報及び撮影方向情報と対象特定使用データとに基づいて、写真画像に写り込んでいる1又は複数の撮影対象を特定する。
因みに、以下の説明では、写り込んでいる撮影対象が特定された写真画像を、対象特定写真画像とも呼び、当該対象特定写真画像内で特定された撮影対象を、特定撮影対象とも呼ぶ。
そして人物特定部36は、ヘッダデータ及び対象特定使用データを用いて、図7に示すような、対象特定写真画像と1又は複数の特定撮影対象とを示す特定対象リスト42を生成する。
この場合、特定対象リスト42には、対象特定写真画像の写真画像データに関する画像識別情報及び撮影日時情報が含まれている。
また特定対象リスト42には、1又は複数の特定撮影対象を判別可能な特定撮影対象毎の撮影対象名と、当該特定撮影対象の所在地の地名とが対応付けられて含まれている。
このようにして人物特定部36は、対象特定写真画像及び1又は複数の特定撮影対象を示す特定対象リスト42を生成すると、当該生成した特定対象リスト42を嗜好抽出部41に送出する。
また人物特定部36は、画像解析部34からヘッダデータのみが与えられた場合、人物特定処理は実行せずに、撮影対象特定処理のみを実行する。
この場合、人物特定部36は、上述と同様に処理して特定対象リスト42を生成し、当該生成した特定対象リスト42を嗜好抽出部41に送出する。
このようにして人物特定部36は、被写体特定処理を実行した場合、画像解析部34からヘッダデータ及び想定領域情報、又はヘッダデータのみが与えられる毎に、特定人物リスト40又は特定対象リスト42を生成して嗜好抽出部41に送出する。
この際、嗜好抽出部41は、人物特定写真画像内で特定された特定人物の嗜好を抽出する嗜好抽出処理を実行する。
嗜好抽出部41は、嗜好抽出処理を実行すると、人物特定部36から特定人物リスト40が与えられた場合、当該特定人物リスト40に登録されている特定人物の人数を1人又は2人以上(すなわち、複数)の何れであるのかを判別する。
その結果、嗜好抽出部41は、特定人物リスト40Aに特定人物が1人だけ登録されていると、特定人物リスト40Aから特定人物(すなわち、人物特定写真画像に写り込んでいる知人又はユーザ)の人物判別用情報を取り出す。
また嗜好抽出部41は、人物判別用情報を格納し、特定人物の種々の個人情報のうち、少なくとも利用者識別情報及びパスワードを除く提供用の他の個人情報(以下、これを特に提供用人物情報とも呼ぶ)を要求するための人物情報要求データを生成する。そして嗜好抽出部41は、その人物情報要求データを主制御部20に送出する。
主制御部20は、嗜好抽出部41から人物情報要求データが与えられると、当該人物情報要求データを、通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上の情報提供装置13に送信する。
情報提供装置13は、人物情報要求データを受信すると、当該人物情報要求データ内の人物判別用情報により特定人物の個人情報を判別し、当該判別した個人情報のうち提供用人物情報を格納した提供用人物情報データを生成する。そして情報提供装置13は、その提供用人物情報データを写真画像表示装置11に返信する。
この際、主制御部20は、情報提供装置13から送信された提供用人物情報データを、ネットワークインタフェース30及び通信制御部29を順次介して受信すると共に、当該受信した提供用人物情報データを嗜好抽出部41に送出する。
そして嗜好抽出部41は、提供用人物情報データから特定人物(特定人物リスト40Aに1人だけ登録されている特定人物)の提供用人物情報として、音声データの種類毎の種類別所有数を示す提供用人物情報を取り出す。
これにより嗜好抽出部41は、音声データの複数の種類(例えば、ジャンル)の中から最も種類別所有数が多い種類を、特定人物リスト40Aに登録されている特定人物の音声に対する嗜好として抽出する。
また図8に示すように、嗜好抽出部41は、特定人物リスト40Aに、特定人物の嗜好を示す嗜好情報を当該特定人物の人物判別用情報と対応付けて追加した嗜好追加人物リスト43Aを生成する。
そして嗜好抽出部41は、その嗜好追加人物リスト43Aを提供用人物情報データと共に検索部45に送出する。
一方、嗜好抽出部41は、特定人物リスト40Bに特定人物が2人以上登録されていると、当該特定人物リスト40Bから複数の特定人物(すなわち、人物特定写真画像に写り込んでいる知人やユーザ)各々の人物判別用情報を取り出す。
そして嗜好抽出部41は、複数の特定人物各々の人物判別用情報を格納した人物情報要求データを生成すると共に、その人物情報要求データを主制御部20に送出する。
主制御部20は、嗜好抽出部41から人物情報要求データが与えられると、当該人物情報要求データを、通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上の情報提供装置13に送信する。
この際、情報提供装置13は、人物情報要求データを受信すると、現時点までに利用者登録している利用者(ユーザや知人を含む)全体で、個人情報としての音声データの種類別所有数を用いて、当該音声データの種類毎に種類別所有数の平均値を算出する。
因みに、以下の説明では、利用者登録している利用者全体で、音声データの種類別所有数を用いて、当該音声データの種類毎に算出された種類別所有数の平均値を、それぞれ種類別全平均所有数とも呼ぶ。
また情報提供装置13は、人物情報要求データ内の複数の人物判別用情報により複数の特定人物各々の個人情報を判別する。
さらに情報提供装置13は、特定人物の個人情報のうち提供用人物情報を複数の特定人物分、格納すると共に、音声データの種類毎の種類別全平均所有数を示す種類別全平均所有数情報も格納した提供用人物情報データを生成する。そして情報提供装置13は、その提供用人物情報データを写真画像表示装置11に返信する。
よって主制御部20は、情報提供装置13から送信された提供用人物情報データを、ネットワークインタフェース30及び通信制御部29を順次介して受信し、当該受信した提供用人物情報データを嗜好抽出部41に送出する。
この際、嗜好抽出部41は、提供用人物情報データから特定人物(特定人物リスト40Bに複数登録されている特定人物)毎の提供用人物情報として、音声データの種類毎の種類別所有数を示す提供用人物情報を取り出す。
ただし、嗜好抽出部41は、特定人物リスト40Bに2人以上の特定人物が登録されている場合、写真画像表示装置11の現在の状況を示す情報として、設定情報記憶部27から画像プレイリスト26と共に記憶されている選択時間情報を読み出す。
すなわち、嗜好抽出部41は、写真画像表示装置11の現在の状況を示す情報として設定情報記憶部27から、画像プレイリスト26に従い写真画像を表示する際の表示時間を設定するために記憶されていた選択時間情報を読み出す。
そして嗜好抽出部41は、選択時間情報が示す選択表示時間を、予め例えば、複数(10以上の音声)の音声データを連続して再生し得るような基準で選定された所定時間である第4閾値と比較する。
その結果、嗜好抽出部41は、選択表示時間が第4閾値以上と比較的長いと、特定人物リスト40Bに登録されている特定人物毎に、音声データの種類(例えば、ジャンル)のうち最も種類別所有数が多い種類を当該特定人物の音声に対する嗜好として抽出する。
そして図9に示すように、嗜好抽出部41は、特定人物リスト40Bに、特定人物毎の嗜好を示す嗜好情報を当該特定人物の人物判別用情報と対応付けて追加した嗜好追加人物リスト43Bを生成する。
これにより嗜好抽出部41は、その嗜好追加人物リスト43Bを提供用人物情報データと共に検索部45に送出する。
これに対し嗜好抽出部41は、選択表示時間が第4閾値未満と比較的短いと、提供用人物情報データから種類別全平均所有数情報を取り出す。
また嗜好抽出部41は、特定人物リスト40Bに登録されている複数の特定人物を1つのグループと見なす。さらに嗜好抽出部41は、複数の特定人物の種類別所有数を音声データの種類毎に用いて、そのグループで当該音声データの種類毎に種類別所有数の平均値を算出する。
因みに、以下の説明では、特定人物リスト40Bに登録されている複数の特定人物のグループで音声データの種類毎に算出された種類別所有数の平均値を、それぞれ種類別グループ平均所有数とも呼ぶ。
そして嗜好抽出部41は、音声データの種類毎に、種類別グループ平均所有数と種類別全平均所有数とを比較して、音声データの複数の種類の中に、種類別グループ平均所有数が種類別全平均所有数以上である種類が存在するか否かを検出する。
その結果、嗜好抽出部41は、種類別グループ平均所有数が種類別全平均所有数以上の種類が存在すると、音声データの複数の種類の中から、種類別グループ平均所有数が種類別全平均所有数以上である1又は複数の種類を、複数の特定人物のグループとしての音声に対する嗜好として抽出する。
すなわち、嗜好抽出部41は、音声データの複数の種類の中から、種類別グループ平均所有数が種類別全平均所有数以上である1又は複数の種類を、特定人物リスト40Bに登録されている複数の特定人物に共通な嗜好として抽出する。
さらに図10に示すように、嗜好抽出部41は、特定人物リスト40Bに、複数の特定人物の共通な1又は複数の嗜好を示す嗜好情報を当該複数の特定人物の人物判別用情報と対応付けて追加した嗜好追加人物リスト43Cを生成する。そして嗜好抽出部41は、その嗜好追加人物リスト43Cを提供用人物情報データと共に検索部45に送出する。
ただし、嗜好抽出部41は、音声データの何れの種類についても、種類別グループ平均所有数が種類別全平均所有数未満であると、上述と同様に特定人物リスト40Bに登録されている特定人物毎に嗜好を抽出する。
そして嗜好抽出部41は、図9について上述した嗜好追加人物リスト43Bを生成し、当該生成した嗜好追加人物リスト43Bを提供用人物情報データと共に検索部45に送出する。
因みに、以下の説明では、図8乃至図10に示した登録人数や嗜好情報の人物判別用情報への対応付け方が異なる嗜好追加人物リスト43A乃至43Cを特には区別する必要がない場合、これらをまとめて符号43を付した嗜好追加人物リスト43とも呼ぶ。
ところで、嗜好抽出部41は、人物特定部36から特定対象リスト42が与えられた場合、その特定対象リスト42を、そのまま検索部45に送出する。
この際、検索部45は、音声データの検索に用いる検索条件リストを生成する検索条件リスト生成処理を実行する。
検索部45は、検索条件リスト生成処理を実行すると、情報提供装置13が把握している現在の状況を示す現在情報を要求するための現在情報要求データを生成する。そして検索部45は、その現在情報要求データを主制御部20に送出する。
主制御部20は、検索部45から現在情報要求データが与えられると、当該現在情報要求データを、通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上の情報提供装置13に送信する。
情報提供装置13は、現在情報要求データを受信すると、現在情報を格納した現在情報提供データを生成する。そして情報提供装置13は、その現在情報提供データを写真画像表示装置11に返信する。
ここで、現在情報としては、例えば、現在の日時を示す現在日時情報がある。また現在情報としては、例えば、ユーザが利用者登録により登録した住所と、その住所で写真画像表示装置11を使用しているものとして当該ユーザの住所付近の現在の天気とを対応付けて示す現在天気情報がある。
さらに現在情報としては、例えば、情報提供装置13が配信する配信対象の音声データについて現在の配信数の上位所定数のランキングを示すランキング情報もある。
因みに、ランキング情報は、例えば、音声データの順位に、当該音声データの音声識別情報やタイトル、アーティスト、ジャンル等の属性情報が対応付けられて生成されている。
さらに現在情報としては、例えば、情報提供装置13が配信する配信対象の音声データの中で現在、推薦(又は宣伝)されている音声データを、当該音声データの音声識別情報やタイトル、アーティスト、ジャンル等の属性情報で示す推薦情報もある。
この際、主制御部20は、情報提供装置13から送信された現在情報提供データを、ネットワークインタフェース30及び通信制御部29を順次介して受信すると共に、当該受信した現在情報提供データを検索部45に送出する。
これにより検索部45は、主制御部20を介して情報提供装置13から現在情報提供データを取得する。この状態で検索部45は、嗜好抽出部41から嗜好追加人物リスト43及び提供用人物情報データが与えられると、これらと現在情報提供データとを用いて、人物特定写真画像の表示中に再生する音声データの検索条件を示す検索条件リストを生成する。
ただし、設定情報記憶部27には、例えば、特定人物が特定された場合の検索条件リストの生成用として、予め複数種類の検索条件の項目のみが記述され、当該検索条件が具体的には何ら記述されていないリスト生成用テンプレートが記憶されている。
よって検索部45は、主制御部20から現在情報提供データが与えられた場合、設定情報記憶部27からリスト生成用テンプレートを読み出す。
そして検索部45は、嗜好追加人物リスト43、提供用人物情報データ及び現在情報提供データに基づき、リスト生成用テンプレートに条件項目に対応する検索条件を登録するようにして検索条件リストを生成している。
ここで、図11を用いて、検索部45に嗜好抽出部41から例えば、図8について上述した、特定人物が1人だけ登録された嗜好追加人物リスト43Aが与えられた場合の検索条件リスト46Aの生成について具体的に説明する。
検索部45は、まず嗜好追加人物リスト43Aから検索条件として特定人物の嗜好情報を取り出し、リスト生成用テンプレートに当該嗜好情報を「嗜好」という条件項目に対応付けて登録する。
また検索部45は、例えば、現在情報提供データに音声データのランキング情報が含まれているか否かを判別する。
その結果、検索部45は、現在情報提供データにランキング情報が含まれていると、リスト生成用テンプレートにランキング情報を検索条件として使用することを示すフラグを「ランキング」という条件項目に対応付けて登録する。
さらに検索部45は、例えば、現在情報提供データに推薦情報が含まれているか否かを判別する。その結果、検索部45は、現在情報提供データに推薦情報が含まれていると、リスト生成用テンプレートに推薦情報を検索条件として使用することを示すフラグを「推薦」という条件項目に対応付けて登録する。
因みに、以下の説明では、ランキング情報を検索条件として使用することを示すフラグを、ランキング使用フラグとも呼び、推薦情報を検索条件として使用することを示すフラグを、推薦使用フラグとも呼ぶ。
さらに検索部45は、例えば、現在情報提供データから現在日時情報を取り出すと共に、嗜好追加人物リスト43Aから撮影日時情報を取り出す。また検索部45は、現在日時情報及び撮影日時情報に基づき、撮影日時から現在の日時までの経過時間を算出する。
さらに検索部45は、その経過時間に基づき検索条件として撮影日時の前後で音声データの再生履歴を参照するための参照期間を決定する。
そして検索部45は、リスト生成用テンプレートに、その決定した参照期間を「参照期間」という条件項目に対応付けて登録する。
ところで、情報提供装置13は、上述のように利用者の個人情報に公開情報及び公開日時を示す追加情報を追加している場合、後述するように当該公開情報から、その公開情報の内容を表すような1又は複数のキーワードを抽出している。
因みに、以下の説明では、公開情報から抽出された、当該公開情報の内容を表すようなキーワードを、公開内容キーワードとも呼ぶ。
そして情報提供装置13は、公開情報から抽出した1又は複数の公開内容キーワードも利用者の個人情報への追加情報とし、その公開内容キーワードを公開情報及び公開日時に対応付けるようにして、当該利用者の個人情報に追加している。
よって検索部45は、提供用人物情報データに公開情報から抽出された1又は複数の公開内容キーワードを示す提供用人物情報が含まれているか否かを判別する。
その結果、検索部45は、提供用人物情報データに1又は複数の公開内容キーワードを示す提供用人物情報が含まれていると、提供用人物情報データから当該1又は複数の公開内容キーワードを示す提供用人物情報を検索条件として取り出す。
そして検察部45は、リスト生成用テンプレートに提供用人物情報が示す1又は複数の公開内容キーワードを「公開情報」という条件項目に対応付けて登録する。
また設定情報記憶部27には、例えば、年間の種々の季節に、当該季節に含まれる日付(月日)と共に、その季節を表現する複数のキーワードや当該季節のイメージを表す複数のキーワードを対応付けて生成されたキーワードリストが予め記憶されている。
因みに、以下の説明では、季節を表現する複数のキーワードや当該季節のイメージを表す複数のキーワードを、まとめて季節キーワードとも呼び、当該季節キーワードのキーワードリストを、季節キーワードリストとも呼ぶ。
さらに設定情報記憶部27には、例えば、年間の種々の期間に、当該期間に含まれる日付(月日)と共に、その期間(また期間内の特定の日付)に行なわれるイベントを表現する複数のキーワードを対応付けて生成されたキーワードリストも予め記憶されている。
ところで、係るキーワードリストには、年間の種々の期間に、その期間や当該期間内の特定の日付に行なわれるイベントのイメージを表す複数のキーワードも対応付けて含まれている。
因みに、以下の説明では、イベントを表現する複数のキーワードや当該イベントのイメージを表す複数のキーワードを、まとめてイベントキーワードとも呼び、当該イベントキーワードのキーワードリストを、イベントキーワードリストとも呼ぶ。
また、以下の説明では、イベントキーワードが示す、種々のイベントが行なわれる期間を、イベント期間とも呼ぶ。
さらに設定情報記憶部27には、例えば、1日の中の種々の時間帯(朝、昼、夕方、夜、深夜、明け方等)に、その時間帯を表現する複数のキーワードを対応付けて生成されたキーワードリストも予め記憶されている。
ところで、係るキーワードリストには、1日の中の種々の時間帯に、当該時間帯のイメージを表す複数のキーワードも対応付けて含まれている。
因みに、以下の説明では、時間帯を表現する複数のキーワードや当該時間帯のイメージを表す複数のキーワードを、まとめて時間帯キーワードとも呼び、当該時間帯キーワードのキーワードリストを、時間帯キーワードリストとも呼ぶ。
さらに設定情報記憶部27には、例えば、種々の天気(晴れや雨、曇り、雪等)に、その天気を表現する複数のキーワードや当該天気のイメージを表す複数のキーワードを対応付けて生成されたキーワードリストも予め記憶されている。
因みに、以下の説明では、天気を表現する複数のキーワードや当該天気のイメージを表す複数のキーワードを、まとめて天気キーワードとも呼び、当該天気キーワードのキーワードリストを、天気キーワードリストとも呼ぶ。
さらに設定情報記憶部27には、例えば、誕生日を表現する複数のキーワードや当該誕生日のイメージを表す複数のキーワードをリスト化して生成されたキーワードリストも予め記憶されている。
因みに、以下の説明では、誕生日を表現する複数のキーワードや当該誕生日のイメージを表す複数のキーワードを、まとめて誕生日キーワードとも呼び、当該誕生日キーワードのキーワードリストを、誕生日キーワードリストとも呼ぶ。
さらに設定情報記憶部27には、例えば、ユーザと特定人物との種々の間柄(ユーザ本人や恋人、サークルの仲間等)に、その間柄を表現する複数のキーワードや当該間柄のイメージを表す複数のキーワードを対応付けて生成されたキーワードリストも予め記憶されている。
因みに、以下の説明では、間柄を表現する複数のキーワードや当該間柄のイメージを表す複数のキーワードを、まとめて間柄キーワードとも呼び、当該間柄キーワードのキーワードリストを、間柄キーワードリストとも呼ぶ。
よって検索部45は、現在情報提供データから現在日時情報を取り出すと、設定情報記憶部27から季節キーワードリストを読み出す。
また検索部45は、季節キーワードリストに登録されている種々の季節と、現在日時情報が示す現在の日時とを比較するようにして、当該現在の季節(すなわち、現在の日時を含む季節)を検出する。
さらに検索部45は、季節キーワードから現在の季節に対応する複数の季節キーワードを検索条件として検出する。
そして検索部45は、リスト生成用テンプレートに現在の季節に対応する複数の季節キーワードを「現在の季節」という条件項目に対応付けて登録する。
また検索部45は、この際、設定情報記憶部27からイベントキーワードリストを読み出す。さらに検索部45は、イベントキーワードリストに登録されている種々のイベント期間と、現在の日時とを比較するようにして、当該現在のイベント期間(すなわち、現在の日時を含むイベント期間)を検出する。
さらにまた検索部45は、イベントキーワードから現在のイベント期間に対応する複数のイベントキーワードを検索条件として検出する。
そして検索部45は、リスト生成用テンプレートに現在のイベント期間に対応する複数のイベントキーワードを「現在のイベント期間」という条件項目に対応付けて登録する。
さらに検索部45は、設定情報記憶部27から時間帯キーワードリストを読み出す。さらに検索部45は、時間帯キーワードリストに登録されている複数の時間帯と、現在の日時とを比較するようにして、当該現在の時間帯(すなわち、現在の日時を含む時間帯)を検出する。
さらにまた検索部45は、時間帯キーワードリストから、現在の時間帯に対応する複数の時間帯キーワードを検索条件として取り出す。
そして検索部45は、リスト生成用テンプレートに現在の時間帯に対応する複数の時間帯キーワードを「現在の時間帯」という条件項目に対応付けて登録する。
さらに検索部45は、現在情報提供データから現在天気情報を取り出すと共に、設定情報記憶部27から天気キーワードリストを読み出す。
また検索部45は、現在天気情報が示す現在の天気に基づき、天気キーワードリストから、当該現在の天気に対応する複数の天気キーワードを検索条件として取り出す。
そして検索部45は、リスト生成用テンプレートに現在の天気に対応する複数の天気キーワードを「現在の天気」という条件項目に対応付けて登録する。
さらに検索部45は、提供用人物情報データから特定人物の生年月日を示す提供用人物情報を取り出す。また検索部45は、その提供用人物情報が示す生年月日を、現在の日時と比較するようにして、今日が特定人物の誕生日であるか否かを判別する。
その結果、検索部45は、今日が特定人物の誕生日であると、設定情報記憶部27から検索条件として誕生日キーワードリストが示す複数の誕生日キーワードを読み出す。
そして検索部45は、リスト生成用テンプレートに複数の誕生日キーワードを「誕生日」という条件項目に対応付けて登録する。
さらに検索部45は、嗜好追加人物リスト43Aに登録されているコメントに基づき、当該嗜好追加登録人物リスト43Aに登録されている特定人物がユーザ以外であるか否かを判別する。
その結果、検索部45は、特定人物がユーザ以外であると、提供用人物情報データから当該特定人物の住所を示す提供用人物情報を取り出す。
また検索部45は、その提供用人物情報が示す特定人物の住所を、現在情報提供データから取り出していた現在天気情報が示すユーザの住所と比較する。
その結果、検索部45は、特定人物の住所とユーザの住所とが(すなわち、2人の居所が)例えば、異なる都道府県であると、リスト生成用テンプレートに互いの住所に示される都道府県の名称を検索条件として「住所」という条件項目に対応付けて登録する。
さらに検索部45は、設定情報記憶部27から間柄キーワードリストを読み出す。また検索部45は、嗜好追加人物リスト43Aに登録されているコメントに基づき、間柄キーワードリストから、ユーザと特定人物との間柄に対応する複数の間柄キーワードを検索条件として取り出す。
そして検索部45は、リスト生成用テンプレートにユーザと特定人物との間柄に対応する複数の間柄キーワードを「間柄」という条件項目に対応付けて登録する。
このようにして検索部45は、リスト生成用テンプレートに「嗜好」、「参照期間」、「現在の季節」、「現在のイベント期間」、「現在の時間帯」、「現在の天気」、「間柄」という条件項目の検索条件については必ず登録する。
また検索部45は、リスト生成用テンプレートに「ランキング」、「推薦」、「公開情報」、「誕生日」、「住所」という条件項目の検索条件については適宜登録する。
そして検索部45は、このようにリスト生成用テンプレートに種々の検索条件を登録することで、当該種々の検索条件を登録したリスト生成用テンプレートとして検索条件リスト46Aを生成する。
これにより検索部45は、検索条件リスト46Aにより音声データの検索に使用する、少なくとも「嗜好」、「参照期間」、「現在の季節」、「現在のイベント期間」、「現在の時間帯」、「現在の天気」、「間柄」という条件項目以上の検索条件を設定する。
ところで、検索部45は、嗜好抽出部41から図9について上述した、複数の特定人物それぞれの嗜好が登録された嗜好追加人物リスト43Bが与えられると、上述と同様な構成の検索条件リスト46Aを当該特定人物の人数分生成する。
すなわち、検索部45は、特定人物毎に当該特定人物の嗜好に合った音声データを検索するための検索条件リスト46Aを生成する。
また検索部45は、嗜好抽出部41から複数の特定人物に共通な嗜好が登録された嗜好追加人物リスト43C(図10)が与えられると、基本的には上述と同様な構成の図12に示すような1つの検索条件リスト46Bを生成する。
すなわち、検索部45は、嗜好追加人物リスト43Cから複数の特定人物に共通な嗜好を示す1又は複数の嗜好情報を取り出して、リスト生成用テンプレートに当該1又は複数の嗜好情報を「嗜好」という条件項目に対応付けて登録する。
また検索部45は、この際、リスト生成用テンプレートにおいて「参照期間」、「現在の季節」、「現在のイベント期間」、「現在の時間帯」、「現在の天気」、「間柄」という条件項目についても上述と同様に処理して検索条件を登録する。
さらに検索部45は、リスト生成用テンプレートにおいて「ランキング」、「推薦」、「公開情報」、「誕生日」、「住所」という条件項目については、上述と同様に処理して検索条件を適宜登録する。
ただし、検索部45は、リスト生成用テンプレートにおいて「公開情報」、「住所」、「間柄」という条件項目については、上述と同様の処理を特定人物の人数分だけ実行して、当該人数分検出した検索条件を登録する。
また検索部45は、リスト生成用テンプレートにおいて「誕生日」という条件項目については、複数の特定人物それぞれの誕生日を現在の日時と比較するようにして、少なくとも1人の誕生日が今日であると、複数の誕生日キーワードを登録する。
このようにして検索部45は、複数の特定人物に共通な嗜好が抽出されている場合、これら複数の特定人物の共通な嗜好に合った音声データを検索するための1つの検索条件リスト46Bを生成する。
さらに検索部45は、嗜好抽出部41から特定対象リスト42が与えられると、特定対象リスト42と共に現在情報提供データを用いて、図13に示すような、対象特定写真画像の表示中に再生する音声データの検索条件を示す検索条件リスト46Cを生成する。
実際に設定情報記憶部27には、例えば、撮影対象が特定された場合の検索条件リストの生成用として、予め複数種類の検索条件の項目のみが記述され、当該検索条件が具体的には何ら記述されていないリスト生成用テンプレートが記憶されている。
よって検索部45は、この際、設定情報記憶部27からリスト生成用テンプレートを読み出す。また検索部45は、特定対象リスト42から検索条件として1又は複数の撮影対象名を取り出す。
そして検索部45は、リスト生成用テンプレートに、その1又は複数の撮影対象名を「撮影対象」という条件項目に対応付けて登録する。
さらに検索部45は、特定対象リスト42から検索条件として撮影対象の所在地の地名も取り出す。そして検索部45は、リスト生成用テンプレートに、その地名を「地名」という条件項目に対応付けて登録する。
さらに検索部45は、上述と同様に、現在情報提供データに音声データのランキング情報が含まれていると、リスト生成用テンプレートにランキング使用フラグを「ランキング」という条件項目に対応付けて登録する。
さらに検索部45は、上述と同様に、現在情報提供データに推薦情報が含まれていると、リスト生成用テンプレートに推薦使用フラグを「推薦」という条件項目に対応付けて登録する。
さらに検索部45は、上述と同様に検索条件として、撮影日時の前後で音声データの再生履歴を参照するための参照期間を決定する。
そして検索部45は、リスト生成用テンプレートに、その決定した参照期間を「参照期間」という条件項目に対応付けて登録する。
また検索部45は、上述と同様に現在の日時及び季節キーワードリストに基づき、現在の季節を検出する。さらに検索部45は、季節キーワードリストから、その現在の季節に対応する複数の季節キーワードを検索条件として取り出す。
そして検索部45は、リスト生成用テンプレートに現在の季節に対応する複数の季節キーワードを「現在の季節」という条件項目に対応付けて登録する。
また検索部45は、上述と同様に現在の日時及びイベントキーワードリストに基づき、現在のイベント期間を検出する。
さらに検索部45は、イベントキーワードリストから、その現在のイベント期間に対応する複数のイベントキーワードを検索条件として取り出す。
そして検索部45は、リスト生成用テンプレートに現在のイベント期間に対応する複数のイベントキーワードを「現在のイベント期間」という条件項目に対応付けて登録する。
また検索部45は、上述と同様に現在の日時及び時間帯キーワードリストに基づき、現在の時間帯を検出する。
さらに検索部45は、時間帯キーワードリストから、その現在の時間帯に対応する複数の時間帯キーワードを検索条件として取り出す。
そして検索部45は、リスト生成用テンプレートに現在の時間帯に対応する複数の時間帯キーワードを「現在の時間帯」という条件項目に対応付けて登録する。
さらに検索部45は、上述と同様に現在の天気を検出し、天気キーワードリストから当該現在の天気に対応する複数の天気キーワードを検索条件として取り出す。
そして検索部45は、リスト生成用テンプレートに現在の天気に対応する複数の天気キーワードを「現在の天気」という条件項目に対応付けて登録する。
このようにして検索部45は、リスト生成用テンプレートに「撮影対象」、「地名」、「参照期間」、「現在の季節」、「現在のイベント期間」、「現在の時間帯」、「現在の天気」という条件項目の検索条件については必ず登録する。
また検索部45は、リスト生成用テンプレートに「ランキング」、「推薦」という条件項目の検索条件については適宜登録する。
そして検索部45は、このようにリスト生成用テンプレートに種々の検索条件を登録することで、当該種々の検索条件を登録したリスト生成用テンプレートとして検索条件リスト46Cを生成する。
これにより検索部45は、検索条件リスト46Cにより音声データの検索に使用する、少なくとも「撮影対象」、「地名」、「参照期間」、「現在の季節」、「現在のイベント期間」、「現在の時間帯」、「現在の天気」という条件項目以上の検索条件を設定する。
因みに、以下の説明では、図11乃至図13に示した検索条件リスト46A乃至46Cを特には区別する必要がない場合、これらをまとめて符号46を付した検索条件リスト46とも呼ぶ。
検索部45は、このようにして音声データを検索するための検索条件リスト46を生成すると、引き続き検索処理を実行する。
検索部45は、検索処理を実行すると、情報提供装置13に複数の音声データの属性情報を要求するための属性情報要求データを生成する。そして検索部45は、その属性情報要求データを主制御部20に送出する。
主制御部20は、検索部45から属性情報要求データが与えられると、当該属性情報要求データを、通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上の情報提供装置13に送信する。
情報提供装置13は、属性情報要求データを受信すると、複数の音声データそれぞれの属性情報を格納した属性情報提供データを生成する。そして情報提供装置13は、その属性情報提供データを写真画像表示装置11に返信する。
ここで、音声データの属性情報としては、例えば、音声データの音声識別情報やタイトル、アーティスト、ジャンル、リリース年、再生時間がある。
また音声データの属性情報としては、例えば、後述するように情報提供装置13により音声データのタイトルや音声の詞(歌詞やセリフ、朗読文等)から抽出された、音声の内容を表すキーワード(以下、これを音声内容キーワードとも呼ぶ)もある。
さらに音声データの属性情報としては、例えば、後述するように情報提供装置13により音声データを解析して得られた音声のイメージを表すキーワード(以下、これを音声イメージキーワードとも呼ぶ)もある。
この際、主制御部20は、情報提供装置13から送信された属性情報提供データを、ネットワークインタフェース30及び通信制御部29を順次介して受信すると共に、当該受信した属性情報提供データを検索部45に送出する。
検索部45は、主制御部20から属性情報提供データが与えられると、当該属性情報提供データから全ての属性情報を取り出す。
そして検索部45は、検索条件リスト46に登録している特定の検索条件を、複数の属性情報と共に用いて、実際に音声データを検索する第1段階検索処理を実行する。
これにより検索部45は、複数の音声データの中から、特定の検索条件に適合する複数の音声データを、対応する属性情報として検索する。
引き続き検索部45は、検索条件リスト46に登録している、特定の検索条件を除く他の検索条件を、第1段階検索処理で検索した複数の属性情報と共に用いて第2段階検索処理を実行する。
これにより検索部45は、第1段階検索処理で検索した複数の音声データの中から、他の検索条件に適合する1又は複数の音声データを絞り込むようにして、他の検索条件に適合する1又は複数の音声データを、対応する属性情報として検索する。
因みに、以下の説明では、第1段階検索処理や第2段階検索処理によって検索した音声データを、検索音声データとも呼ぶ。
ここで、検索部45が検索条件リスト46を用いて順次実行する第1段階検索処理及び第2段階検索処理について具体的に説明する。
まず検索部45が、1又は複数の特定人物が特定された1つの人物特定写真画像に応じて、1つだけ生成した検索条件リスト46A及び46B(図11及び図12)を用いて、第1段階検索処理及び第2段階検索処理を順次実行する場合について説明する。
この場合、検索部45は、第1段階検索処理を実行すると、検索条件リスト46A及び45B内の嗜好情報を特定の検索条件とする。
よって検索部45は、複数の属性情報の中で、条件リスト46A及び46Bに登録している1又は複数の嗜好情報の少なくとも1つと一致するジャンルやアーティストを含む属性情報を探索する。
これにより検索部45は、複数の音声データの中から、1又は複数の特定人物の嗜好に合った複数の検索音声データを検索する。
引き続き検索部45は、第2段階検索処理を実行すると、検索条件リスト46A及び45B内のランキング使用フラグ、推薦使用フラグ、参照期間、公開内容キーワード、季節キーワード、イベントキーワードを他の検索条件とする。
また検索部45は、この際、検索条件リスト46A及び45B内の時間帯キーワード、天気キーワード、誕生日キーワード、都道府県の名称、間柄キーワードも他の検索条件とする。
よって検索部45は、検索条件リスト46A及び46Bにランキング使用フラグを登録しているか否かを判別する。
その結果、検索部45は、検索条件リスト46A及び46Bにランキング使用フラグを登録していると、複数の検索音声データの属性情報の中で、現在情報提供データ内のランキング情報が示す音声データの属性情報を探索する。
これにより検索部45は、複数の検索音声データの中から適宜、ランキング情報が示す1又は複数の検索音声データを絞り込むようにして検索する。
また検索部45は、検索条件リスト46A及び46Bに推薦使用フラグを登録しているか否かを判別する。その結果、検索部45は、検索条件リスト46A及び46Bに推薦使用フラグを登録していると、複数の検索音声データの属性情報の中で、現在情報提供データ内の推薦情報が示す音声データの属性情報を探索する。
これにより検索部45は、複数の検索音声データの中から適宜、推薦情報が示す1又は複数の検索音声データを絞り込むようにして検索する。
さらに検索部45は、検索条件リスト46A及び46Bに登録している参照期間に基づき、提供用人物情報データに1又は複数の特定人物に関する当該参照期間内の再生履歴が含まれているか否かを判別する。
その結果、検索部45は、提供用人物情報データに1又は複数の特定人物に関する参照期間内の1又は複数の再生履歴が含まれていると、複数の検索音声データの属性情報の中で、当該参照期間内の1又は複数の再生履歴が示す音声データの属性情報を探索する。
これにより検索部45は、複数の検索音声データの中から適宜、参照期間内の1又は複数の再生履歴が示す1又は複数の検索音声データを絞り込むようにして検索する。
さらに検索部45は、検索条件リスト46A及び46Bに1又は複数の公開内容キーワードを登録しているか否かを判別する。
その結果、検索部45は、検索条件リスト46A及び46Bに1又は複数の公開内容キーワードを登録していると、複数の検索音声データの属性情報の中で、公開内容キーワードと一致する音声内容キーワードや音声イメージキーワードを含む属性情報を探索する。
これにより検索部45は、複数の検索音声データの中から適宜、公開情報の内容に適合する1又は複数の検索音声データを絞り込むようにして検索する。
さらに検索部45は、検索条件リスト46A及び46Bに登録している複数の季節キーワードに基づき、複数の検索音声データの属性情報の中で、当該季節キーワードと一致する音声内容キーワードや音声イメージキーワードを含む属性情報を探索する。
これにより検索部45は、複数の検索音声データの中から適宜、現在の季節に適合する1又は複数の検索音声データを絞り込むようにして検索する。
さらに検索部45は、検索条件リスト46A及び46Bに登録している複数のイベントキーワードに基づき、複数の検索音声データの属性情報の中で、当該イベントキーワードと一致する音声内容キーワードや音声イメージキーワードを含む属性情報を探索する。
これにより検索部45は、複数の検索音声データの中から適宜、現在のイベント期間に適合する1又は複数の検索音声データを絞り込むようにして検索する。
さらに検索部45は、検索条件リスト46A及び46Bに登録している複数の時間帯キーワードに基づき、複数の属性情報の中で、当該時間帯キーワードと一致する音声内容キーワードや音声イメージキーワードを含む属性情報を探索する。
これにより検索部45は、複数の検索音声データの中から適宜、現在の時間帯に適合する1又は複数の検索音声データを絞り込むようにして検索する。
さらに検索部45は、検索条件リスト46A及び46Bに登録している複数の天気キーワードに基づき、複数の属性情報の中で、当該天気キーワードと一致する音声内容キーワードや音声イメージキーワードを含む属性情報を探索する。
これにより検索部45は、複数の検索音声データの中から適宜、現在の天気に適合する1又は複数の検索音声データを絞り込むようにして検索する。
さらに検索部45は、検索条件リスト46A及び46Bに複数の誕生日キーワードを登録しているか否かを判別する。
その結果、検索部45は、検索条件リスト46A及び46Bに複数の誕生日キーワードを登録していると、複数の属性情報の中で、当該誕生日キーワードと一致する音声内容キーワードや音声イメージキーワードを含む属性情報を探索する。
これにより検索部45は、複数の検索音声データの中から適宜、誕生日に適合する1又は複数の検索音声データを絞り込むようにして検索する。
さらに検索部45は、検索条件リスト46A及び46Bに複数の都道府県の名称を登録しているか否かを判別する。
その結果、検索部45は、検索条件リスト46A及び46Bに複数の都道府県の名称を登録していると、複数の属性情報の中で、当該都道府県の名称と一致する音声内容キーワードや音声イメージキーワードを含む属性情報を探索する。
これにより検索部45は、複数の検索音声データの中から適宜、ユーザ及び特定人物や、複数の特定人物が離れて暮らしていることに適合する1又は複数の検索音声データを絞り込むようにして検索する。
さらに検索部45は、検索条件リスト46A及び46Bに登録している複数の間柄キーワードに基づき、複数の検索音声データの属性情報の中で、当該間柄キーワードと一致する音声内容キーワードや音声イメージキーワードを含む属性情報を探索する。
これにより検索部45は、複数の検索音声データの中から適宜、間柄に適合する1又は複数の検索音声データを絞り込むようにして検索する。
このようにして検索部45は、第1段階検索処理を実行することにより、1又は複数の特定人物の嗜好に合った複数の検索音声データを検索する。
また検索部45は、引き続き第2段階検索処理を実行することにより、1又は複数の特定人物の嗜好に合った複数の検索音声データの中から、他の検索条件に適合する1又は複数の検索音声データを適宜絞り込むようにして検索する。
すなわち、検索部45は、第2段階検索処理を実行して他の検索条件に適合する1又は複数の検索音声データを検索し得ると、当該検索した1又は複数の検索音声データを最終的な検索結果にする。
因みに、検索部45は、複数の検索音声データを他の検索条件で絞り込む場合に2以上の他の検索条件が同一の検索音声データに適合すると、当該同一の検索音声データを、これに適合する2以上の他の検索条件を把握しつつ、重複を避けて検索する。
これに対し検索部45は、第2段階検索処理を実行しても、他の検索条件に適合する検索音声データを全く検索し得ないと、第1段階検索処理で検索していた複数の検索音声データを最終的な検索結果にする。
そして検索部45は、このようにして1又は複数の検索音声データを検索すると、当該1又は複数の検索音声データの属性情報と共に、嗜好追加人物リスト43及び検索条件リスト46A及び46Bを用いて、その検索音声データを示す検索音声リストを生成する。
ここで、図14を用いて例えば、検索部45が、図11について上述した検索条件リスト46Aに従い、第1段階検索処理で検索した複数の検索音声データを最終的な検索結果とした場合に生成する検索音声リスト47Aについて説明する。
この場合、検索部45は、例えば、複数の検索音声データを再生する際に表示する人物特定写真画像に関する情報として、嗜好追加人物リスト43Aから画像識別情報及び撮影日時情報を取り出す。
そして検索部45は、画像識別情報及び撮影日時情報を互いに対応付けるようにして検索音声リスト47Aに登録する。
また検索部45は、このとき検索した検索音声データ毎の種々の属性情報の中から、例えば、少なくとも音声識別情報、タイトル、アーティスト、ジャンル、リリース年、再生時間を、当該検索音声データを示す検索音声属性情報として取り出す。
そして検索部45は、1又は複数の検索音声データ各々の検索音声属性情報を、画像識別情報及び撮影日時情報に対応付けるようにして検索音声リスト47Aに登録する。
さらに検索部45は、検索音声データ毎の検索理由を示す情報(以下、これを検索理由情報とも呼ぶ)を、当該検索音声データの検索音声属性情報に対応付けるようにして検索音声リスト47Aに登録する。
ここで、検索部45は、検索音声データの検索理由として、例えば、検索用の条件項目としての「嗜好」、「公開情報」、「誕生日」、「住所」、「間柄」に対応する特定人物の嗜好、公開情報、誕生日、住所、ユーザとの間柄を、優先順位を付けて採用している。
ただし、検索部45は、この場合、特定人物の嗜好に基づいて検索した複数の検索音声データを最終的な検索結果としている。
よって検索部45は、この場合、検索条件リスト46から、検索音声データの検索に使用した特定人物の嗜好を表す嗜好情報を検索理由情報として取り出す。そして検索部45は、その嗜好情報である検索理由情報を検索音声リスト47Aに登録する。
さらに検索部45は、嗜好追加人物リスト43Aから特定人物の氏名、電話番号、メールアドレス及びコメントを、当該特定人物を示す特定人物情報として取り出す。
さらにまた検索部45は、嗜好追加人物リスト43Aから、人物特定写真画像内で特定された特定人物の顔が写り込んでいる顔領域の位置を示す顔領域位置情報を取り出す。
そして検索部45は、その特定人物情報及び顔領域位置情報を互いに対応付けると共に、検索音声属性情報及び検索理由情報にも対応付けるようにして検索音声リスト47Aに登録する。
このようにして検索部45は、検索条件としての嗜好情報を用いて検索した全ての検索音声データを検索音声属性情報として登録した検索音声リスト47Aを生成する。
次いで、図15を用いて例えば、検索部45が、図11について上述した検索条件リスト46Aに従い、第2段階検索処理で検索した1又は複数の検索音声データを最終的な検索結果とした場合に生成する検索音声リスト47Bについて説明する。
この場合、検索部45は、上述と同様に嗜好追加人物リスト43Aから画像識別情報及び撮影日時情報を取り出して検索音声リスト47Bに登録する。
また検索部45は、上述と同様に、このとき検索した検索音声データ毎の種々の属性情報から検索音声属性情報を取り出す。
そして検索部45は、1又は複数の検索音声データ各々の検索音声属性情報を、画像識別情報及び撮影日時情報に対応付けるようにして検索音声リスト47Bに登録する。
さらに検索部45は、検索音声データ毎に、当該検索音声データを検索し得た条件項目に応じて、当該条件項目に対応する検索理由を、その優先順位に従って1つ選定する。
そして検索部45は、検索音声データ毎に選定した1つの検索理由に応じて、その検索理由を示す嗜好や公開情報、誕生日、住所、ユーザとの間柄を検索理由情報とする。
実際に検索部45は、検索理由として嗜好を選定した場合、上述と同様に検索条件リスト46Aから特定人物の嗜好を示す嗜好情報を取り出して検索理由情報とする。
また検索部45は、検索理由として公開情報を選定した場合、提供用人物情報データから、検索音声データを検索し得た公開情報キーワードに対応する公開情報及び公開日時情報を示す特定人物の提供用人物情報を取り出して検索理由情報とする。
さらに検索部45は、検索理由として誕生日を選定した場合、提供用人物情報データから特定人物の誕生日(すなわち、生年月日)を示す提供用人物情報を取り出して検索理由情報とする。
さらに検索部45は、検索理由として住所を選定した場合、例えば、提供用人物情報データから、特定人物の住所を示す提供用人物情報を取り出すと共に、現在情報提供データからユーザの住所に対応する現在天気情報を取り出す。そして検索部45は、これら特定人物の住所とユーザの住所とを検索理由情報とする。
さらに検索部45は、検索理由としてユーザとの間柄を選定した場合、嗜好追加人物リスト43Aからコメント(ユーザとの間柄を示すコメント)を取り出して検索理由情報とする。
このようにして検索部45は、検索理由情報を得ると、その検索理由情報を検索音声データの検索音声属性情報に対応付けるようにして検索音声リスト47Bに登録する。
さらに検索部45は、上述と同様に嗜好追加人物リスト43Aから特定人物情報及び顔領域位置情報を取り出す。
そして検索部45は、その特定人物情報及び顔領域位置情報を互いに対応付けると共に、検索音声属性情報及び検索理由情報にも対応付けるようにして検索音声リスト47Bに登録する。
このようにして検索部45は、特定の検索条件としての嗜好情報と共に他の検索条件を用いて検索した全ての検索音声データを検索音声属性情報として登録した検索音声リスト47Bを生成する。
次いで、検索部45が、複数の特定人物が特定された1つの人物特定写真画像に応じて、複数(すなわち、複数の特定人物の人数分)生成した検索条件リスト46A(図11)を用いて第1段階検索処理及び第2段階検索処理を順次実行する場合について説明する。
この場合、検索部45は、順次1つの検索条件リスト46Aを用いて上述と同様に第1段階検索処理及び第2段階検索処理を順番に実行する。
これにより検索部45は、検索条件リスト46A毎に、それぞれ異なる1人の特定人物の嗜好に合った複数の検索音声データを検索し、又は当該嗜好に合った複数の検索音声データの中から絞り込むようにして1又は複数の検索音声データを検索する。
そして検索部45は、検索条件リスト46A毎の検索結果をもとに、当該検索条件リスト46A毎に、図14や図15について上述した検索音声リスト47A及び47Bと同様構成の検索音声リストを生成する。
すなわち、検索部45は、それぞれ異なる1人の特定人物(すなわち、音声データの検索に使用した嗜好を有する1人の特定人物)の特定人物情報及び顔領域位置情報を登録した検索音声リスト47A及び47Bを、特定人物の人数分生成する。
次いで、検索部45が、1つの対象特定写真画像に応じて、1つだけ生成した検索条件リスト46C(図13)を用いて、第1段階検索処理及び第2段階検索処理を順次実行する場合について説明する。
この場合、検索部45は、第1段階検索処理を実行すると、検索条件リスト46C内の1又は複数の撮影対象名及び地名をそれぞれ特定の検索条件とする。
よって検索部45は、複数の属性情報の中で、条件リスト46Cに登録している1又は複数の撮影対象名及び地名の少なくとも1つと一致するジャンルやアーティストを含む属性情報を探索する。
これにより検索部45は、複数の音声データの中から、1又は複数の特定撮影対象や当該特定撮影対象の所在地の地名に適合した複数の検索音声データを検索する。
引き続き検索部45は、第2段階検索処理を実行すると、検索条件リスト46C内のランキング使用フラグ、推薦使用フラグ、参照期間、季節キーワード、イベントキーワード、時間帯キーワード、天気キーワードを他の検索条件とする。
よって検索部45は、上述と同様に検索条件リスト46Cにランキング使用フラグを登録しているか否かを判別する。
その結果、検索部45は、検索条件リスト46Cにランキング使用フラグを登録していると、複数の検索音声データの中から適宜、当該ランキング情報が示す1又は複数の検索音声データを絞り込むようにして検索する。
また検索部45は、上述と同様に検索条件リスト46Cに推薦使用フラグを登録しているか否かを判別する。その結果、検索部45は、検索条件リスト46Cに推薦使用フラグを登録していると、複数の検索音声データの中から適宜、当該推薦情報が示す1又は複数の検索音声データを絞り込むようにして検索する。
さらに検索部45は、上述と同様に検索条件リスト46Cに登録している参照期間に基づき、提供用人物情報データに特定人物に関する当該参照期間内の再生履歴が含まれているか否かを判別する。
その結果、検索部45は、提供用人物情報データに特定人物に関する参照期間内の1又は複数の再生履歴が含まれていると、複数の検索音声データの中から適宜、当該再生履歴が示す1又は複数の検索音声データを絞り込むようにして検索する。
さらに検索部45は、上述と同様に複数の季節キーワードに基づき、複数の検索音声データの中から適宜、現在の季節に適合する1又は複数の検索音声データを絞り込むようにして検索する。
さらに検索部45は、上述と同様に複数のイベントキーワードに基づき、複数の検索音声データの中から適宜、現在のイベント期間に適合する1又は複数の検索音声データを絞り込むようにして検索する。
さらに検索部45は、上述と同様に複数の時間帯キーワードに基づき、複数の検索音声データの中から適宜、現在の時間帯に適合する1又は複数の検索音声データを絞り込むようにして検索する。
さらに検索部45は、上述と同様に複数の天気キーワードに基づき、複数の検索音声データの中から適宜、現在の天気に適合する1又は複数の検索音声データを絞り込むようにして検索する。
このようにして検索部45は、第1段階検索処理を実行することにより、1又は複数の特定撮影対象や、当該特定撮影対象の所在地にちなんだ複数の検索音声データを検索する。
因みに、検索部45は、この際、2以上の特定の検索条件(1又は複数の撮影対象名や地名)が同一の検索音声データに適合すると、当該同一の検索音声データを、これに適合する2以上の特定の検索条件を把握しつつ、重複を避けて検索する。
そして検索部45は、引き続き第2段階検索処理を実行することにより、特定撮影対象の所在地にちなんだ複数の検索音声データの中から、適宜他の検索条件に適合する1又は複数の検索音声データを絞り込むようにして検索する。
すなわち、検索部45は、この場合も第2段階検索処理を実行して他の検索条件に適合する1又は複数の検索音声データを検索し得ると、当該検索した1又は複数の検索音声データを最終的な検索結果にする。
因みに、検索部45は、複数の検索音声データを他の検索条件で絞り込む場合も、2以上の他の検索条件が同一の検索音声データに適合すると、当該同一の検索音声データを、これに適合する2以上の他の検索条件を把握しつつ、重複を避けて検索する。
これに対し検索部45は、第2段階検索処理を実行しても、他の検索条件に適合する検索音声データを全く検索し得ないと、第1段階検索処理で検索していた複数の検索音声データを最終的な検索結果にする。
そして検索部45は、このようにして1又は複数の検索音声データを検索すると、当該1又は複数の検索音声データの属性情報と共に、特定対象リスト42及び検索条件リスト46Cを用いて、図16に示すような検索音声リスト47Cを生成する。
この場合、検索部45は、例えば、1又は複数の検索音声データを再生する際に表示する対象特定写真画像に関する情報として特定対象リスト42から画像識別情報及び撮影日時情報を取り出す。
そして検索部45は、画像識別情報及び撮影日時情報を互いに対応付けるようにして検索音声リスト47Cに登録する。
また検索部45は、上述と同様に、このとき検索した検索音声データ毎の種々の属性情報の中から検索音声属性情報を取り出す。
そして検索部45は、1又は複数の検索音声データ各々の検索音声属性情報を、画像識別情報及び撮影日時情報に対応付けるようにして検索音声リスト47Cに登録する。
さらに検索部45は、検索音声データ毎の検索理由情報を、当該検索音声データの検索音声属性情報に対応付けるようにして検索音声リスト47Cに登録する。
この場合、検索部45は、検索音声データの検索理由として、例えば、検索用の条件項目としての「撮影対象」、「地名」に対応する特定撮影対象の撮影対象名、当該特定撮影対象の所在地の地名を、優先順位を付けて採用している。
よって検索部45は、検索音声データ毎に、当該検索音声データを検索し得た条件項目に応じて、当該条件項目に対応する検索理由を、その優先順位に従って1つ選定する。
そして検索部45は、検索音声データ毎に選定した1つの検索理由に応じて、実際に検索理由を示す撮影対象名や地名を検索理由情報とする。
実際に検索部45は、検索理由として撮影対象名を選定した場合、検索条件リスト46Cから、検索音声データを検索し得た特定撮影対象の撮影対象名を取り出して検索理由情報とする。
また検索部45は、検索理由として地名を選定した場合、検索条件リスト46Cから、検索音声データを検索し得た特定撮影対象の所在地の地名を取り出して検索理由情報とする。
このようにして検索部45は、検索理由情報を得ると、その検索理由情報を検索音声データの検索音声属性情報に対応付けるようにして検索音声リスト47Cに登録する。
さらに検索部45は、特定対象リスト42から特定撮影対象の撮影対象名及び所在地の地名を、当該特定撮影対象を示す特定対象情報として取り出す。
そして検索部45は、その特定対象情報を検索音声属性情報及び検索理由情報に対応付けるようにして検索音声リスト47Cに登録する。
このようにして検索部45は、検索条件としての撮影対象名及び地名や他の検索条件を用いて検索した全ての検索音声データを検索音声属性情報として登録した検索音声リスト47Cを生成する。
因みに、以下の説明では、図14乃至図16に示した検索音声リスト47A乃至47Cや、図示せずに説明した他の検索音声リストを特には区別する必要がない場合、これらをまとめて符号47を付した検索音声リスト47とも呼ぶ。
検索部45は、このようにして1又は複数の検索音声データを検索して1又は複数の検索音声リスト47を生成すると、当該生成した1又は複数の検索音声リスト47をプレイリスト作成部50に送出する。
この際、プレイリスト作成部50は、音声プレイリストを作成する音声プレイリスト作成処理を実行する。プレイリスト作成部50は、音声プレイリスト作成処理を実行すると、写真画像表示装置11の現在の状況を示す情報として、設定情報記憶部27から画像プレイリスト26と共に記憶されていた選択時間情報を読み出す。
そしてプレイリスト作成部50は、検索部45から1又は複数の検索音声リスト47が与えられると、当該1又は複数の検索音声リスト47と、選択時間情報が示す選択表示時間とに基づき音声プレイリストを作成する。
ここで、プレイリスト作成部50に、1人の特定人物の嗜好に合った1又は複数の検索音声データを登録した1つの検索音声リスト47A及び47Bが与えられたときの音声プレイリスト作成処理について具体的に説明する。
この場合、プレイリスト作成部50は、選択表示時間と検索音声属性情報に含まれる再生時間とに基づき、検索音声リスト47A及び47Bから人物特定写真画像の表示中に再生する検索音声データの検索音声属性情報を選定して取り出す。
実際にプレイリスト作成部50は、検索された(検索音声リスト47A及び47Bに登録された)全ての検索音声データの再生時間(検索音声属性情報に含まれる再生時間)の合計が選択表示時間以下であると、全ての検索音声データを再生対象として選定する。
またプレイリスト作成部50は、検索された全ての検索音声データの再生時間の合計が選択表示時間よりも長いと、再生時間の合計が選択表示時間以下となるような1又は複数の検索音声データを再生対象として任意に選定する。
このようにしてプレイリスト作成部50は、1又は複数の検索音声データの再生時間の合計時間が最大でも選択表示時間以下となるように、検索音声リスト47A及び47Bから再生対象の1又は複数の検索音声データを選定する。
よってプレイリスト作成部50は、検索音声リスト47A及び47Bから、その再生対象に選定した1又は複数の検索音声データの検索音声属性情報を取り出す。
ただし、プレイリスト作成部50は、検索された全ての検索音声データの再生時間の何れもが選択表示時間よりも長いと、例えば、再生時間が最も短い1つの検索音声データを再生対象として選定する。
よってプレイリスト作成部50は、検索音声リスト47A及び47Bから、その再生対象に選定した1つの検索音声データの検索音声属性情報を取り出す。
そしてプレイリスト作成部50は、再生対象として選定した1又は複数の検索音声データの検索音声属性情報を任意の順番で並べた、例えば、図17に示すような音声プレイリスト51Aを作成する。
ただし、プレイリスト作成部50は、この際、検索音声リスト47A及び47Bから、再生対象として選定した1又は複数の検索音声データの検索音声属性情報に対応付けられている検索理由情報も取り出す。
そしてプレイリスト作成部50は、その検索理由情報を、検索音声データに対応付けるようにして音声プレイリスト51Aに登録する。
またプレイリスト作成部50は、検索音声リスト47A及び47Bから特定人物に関する特定人物情報及び顔領域位置情報も取り出す。
そしてプレイリスト作成部50は、特定人物情報及び顔領域位置情報を検索音声属性情報及び検索理由情報に対応付けるようにして音声プレイリスト51Aに登録する。
さらにプレイリスト作成部50は、検索音声リスト47A及び47Bから人物特定写真画像に関する画像識別情報及び撮影日時情報も取り出す。そしてプレイリスト作成部50は、画像識別情報及び撮影日時情報も音声プレイリスト51Aに登録する。
このようにしてプレイリスト作成部50は、再生対象の1又は複数の検索音声データを検索音声属性情報で示し、当該1又は複数の検索音声データの再生順序を検索音声属性情報の並び順として規定した音声プレイリスト51Aを作成する。
次いで、プレイリスト作成部50に、複数の特定人物の共通な嗜好に合った1又は複数の検索音声データを登録した1つの検索音声リスト47が与えられたときの音声プレイリスト作成処理について具体的に説明する。
この場合もプレイリスト作成部50は、上述と同様に再生対象の1又は複数の検索音声データを再生対象として選定する。
よってプレイリスト作成部50は、検索音声リスト47から、再生対象に選定した1つの検索音声データの検索音声属性情報を対応する検索理由情報と共に取り出す。
そしてプレイリスト作成部50は、再生対象として選定した1又は複数の検索音声データの検索音声属性情報を対応する検索理由情報と共に任意の順番で並べた、例えば図18に示すような音声プレイリスト51Bを作成する。
ただし、プレイリスト作成部50は、この際、検索音声リスト47から複数の特定人物にそれぞれ関する特定人物情報及び顔領域位置情報を取り出す。
そしてプレイリスト作成部50は、複数の特定人物の特定人物情報及び顔領域位置情報を、検索音声属性情報及び検索理由情報に対応付けるようにして音声プレイリスト51Bに登録する。
因みに、プレイリスト作成部50は、この場合も検索音声リスト47から人物特定写真画像に関する画像識別情報及び撮影日時情報を取り出す。そしてプレイリスト作成部50は、画像識別情報及び撮影日時情報も音声プレイリスト51Bに登録する。
次いで、プレイリスト作成部50に、複数の特定人物の人数分の検索音声リスト47が与えられたときの音声プレイリスト作成処理について具体的に説明する。
ただし複数の特定人物の人数分の検索音声リスト47は、上述のように選択表示時間が例えば、複数の音声データを連続して再生し得るような基準で選定された所定時間以上である場合に、特定人物毎の嗜好が抽出されたことに応じて生成されたものである。
このためプレイリスト作成部50は、この際、選択表示時間と検索音声リスト47毎の検索音声属性情報に含まれる再生時間とに基づき、複数の検索音声リスト47からそれぞれ再生対象の1又は複数の検索音声データの検索音声属性情報を選定して取り出す。
実際にプレイリスト作成部50は、検索された全ての検索音声データ(複数の検索音声リスト47全体で見た検索音声データ)の再生時間の合計が選択表示時間以下であると、これら全ての検索音声データを再生対象として選定する。
またプレイリスト作成部50は、検索された全ての検索音声データの再生時間の合計が選択表示時間よりも長いと、再生時間の合計が選択表示時間以下となるように複数の検索音声リスト47からほぼ同数ずつの1又は複数の検索音声データを再生対象として任意に選定する。
このようにしてプレイリスト作成部50は、検索音声データの再生時間の合計時間が最大でも選択表示時間以下となるように、複数の検索音声リスト47からそれぞれ再生対象の1又は複数の検索音声データを選定する。
よってプレイリスト作成部50は、複数の検索音声リスト47からそれぞれ再生対象に選定した1又は複数の検索音声データの検索音声属性情報を、対応する検索理由情報と共に取り出す。
そしてプレイリスト作成部50は、再生対象の1又は複数の検索音声データの検索音声属性情報を対応する検索理由情報と共に任意の順番で並べた、例えば、図19に示すような音声プレイリスト51Cを作成する。
ただし、プレイリスト作成部50は、この際、複数の検索音声リスト47からそれぞれ特定人物に関する特定人物情報及び顔領域位置情報を取り出す。
そしてプレイリスト作成部50は、特定人物毎の特定人物情報及び顔領域位置情報を、当該特定人物の嗜好に基づいて検索されていた再生対象の検索音声データの検索音声属性情報及び検索理由情報に対応付けるようにして音声プレイリスト51Cに登録する。
すなわち、プレイリスト作成部50は、特定人物毎の特定人物情報及び顔領域位置情報を、当該特定人物の嗜好に合った再生対象の検索音声データの検索音声属性情報及び検索理由情報に対応付けるようにして音声プレイリスト51Cに登録する。
因みに、プレイリスト作成部50は、この場合も検索音声リスト47から人物特定写真画像に関する画像識別情報及び撮影日時情報を取り出す。そしてプレイリスト作成部50は、画像識別情報及び撮影日時情報も音声プレイリスト51Cに登録する。
次いで、プレイリスト作成部50に、1又は複数の特定撮影対象や、その所在地の地名にちなんだ1又は複数の検索音声データを登録した1つの検索音声リスト47Cが与えられたときの音声プレイリスト作成処理について具体的に説明する。
この場合もプレイリスト作成部50は、検索音声リスト47Cから上述と同様に再生対象の1又は複数の検索音声データを再生対象として選定する。
よってプレイリスト作成部50は、検索音声リスト47Cから、再生対象に選定した1又は複数の検索音声データの検索音声属性情報を対応する検索理由情報と共に取り出す。
そしてプレイリスト作成部50は、再生対象として選定した1又は複数の検索音声データの検索音声属性情報を対応する検索理由情報と共に任意の順番で並べた、例えば図20に示すような音声プレイリスト51Dを作成する。
ただし、プレイリスト作成部50は、検索音声リスト47Cから対象特定写真画像に関する画像識別情報及び撮影日時情報を取り出す。そしてプレイリスト作成部50は、画像識別情報及び撮影日時情報を音声プレイリスト51Dに登録する。
このようにしてプレイリスト作成部50は、再生対象の1又は複数の検索音声データを検索音声属性情報で示し、当該1又は複数の検索音声データの再生順序を検索音声属性情報の並び順として規定した音声プレイリスト51Dを作成する。
因みに、以下の説明では、図17乃至図20に示した音声プレイリスト51A乃至51Dを特には区別する必要がない場合、これらをまとめて符号51を付した音声プレイリスト51とも呼ぶ。
プレイリスト作成部50は、このようにして音声プレイリスト51を作成すると、当該作成した音声プレイリスト51を主制御部20に送出する。
主制御部20は、プレイリスト作成部50から音声プレイリスト51が与えられると、当該音声プレイリスト51を設定情報記憶部27に送出して画像プレイリスト26に対応付けて記憶する。
このようにして主制御部20は、プレイリスト作成部50から音声プレイリスト51が与えられる毎に、当該音声プレイリスト51を画像プレイリスト26に対応付けるようにして設定情報記憶部27に記憶する。
そして主制御部20は、例えば、設定情報記憶部27に、画像プレイリスト26に登録された全ての写真画像(人物特定写真画像や対象特定写真画像)に対応する音声プレイリスト51を記憶すると、写真画像データ及び検索音声データの再生を開始する。
すなわち、主制御部20は、この際、設定情報記憶部27から画像プレイリスト26及び対応する選択時間情報を読み出すと共に、当該画像プレイリスト26に登録された再生順序が1番目の写真画像データに対応する音声プレイリスト51を読み出す。
そして主制御部20は、画像プレイリスト26に従い、画像記憶部22から再生順序が1番目の写真画像データが格納された画像ファイルを読み出す。
また主制御部20は、その画像ファイルから写真画像データを取り出すと共に、当該取り出した写真画像データを、表示制御部24を介して表示部25に送出する。
これにより主制御部20は、表示部25に、写真画像データに基づく人物特定写真画像又は対象特定写真画像を表示する。
さらに主制御部20は、この際にも上述と同様に人物特定写真画像又は対象特定写真画像の表示の開始に応じて内部のタイマにより計時を開始する。
そして主制御部20は、その計時時間が選択表示時間に達するまでの間は、表示部25での1つの人物特定写真画像又は対象特定写真画像の表示を継続する。
さらに主制御部20は、音声プレイリスト51に登録された再生順序が1番目の検索音声データの検索音声属性情報に基づき、音声記憶部28に当該検索音声データを記憶しているか否かを判別する。
その結果、主制御部20は、再生順序が1番目の検索音声データを音声記憶部28に記憶していると、音声記憶部28から当該検索音声データが格納された音声ファイルを読み出す。
また主制御部20は、その音声ファイルから検索音声データを取り出すと共に、当該取り出した検索音声データを、再生制御部31を介して再生部32に送出する。これにより再生部32は、その検索音声データに所定の再生処理を施して、得られた音声を出力する。
ただし、主制御部20は、再生順序が1番目の検索音声データを音声記憶部28に記憶していないと、当該検索音声データの検索音声属性情報を格納した音声要求データを生成する。
そして主制御部20は、その音声要求データを通信制御部29及びネットワークインタフェース30を順次介してネットワーク12上の情報提供装置13に送信する。
この際、情報提供装置13は、音声要求データの受信に応じて、当該音声要求データ内の検索音声属性情報で識別される検索音声データをストリーミング形式で写真画像表示装置11に返信する。
よって主制御部20は、この際、情報提供装置13から送信された検索音声データを、ネットワークインタフェース30及び通信制御部29を順次介して受信しながら再生制御部31を介して再生部32に送出する。
これにより再生部32は、主制御部20から与えられる検索音声データを取り込みながら所定の再生処理を施して、得られた音声を出力する。
そして主制御部20は、再生部32において検索音声データに対する再生処理が終了すると、音声プレイリスト51に、次に再生すべき検索音声データ(すなわち、次に再生すべき検索音声データの検索音声属性情報)を登録しているか否かを判別する。
その結果、主制御部20は、音声プレイリスト51に、次に再生すべき検索音声データを登録していると、上述と同様に次に再生すべき検索音声データを音声記憶部28に記憶しているか否かを判別する。
そして主制御部20は、その判別結果に応じて音声記憶部28又は情報提供装置13から、次に再生すべき検索音声データを取得して再生制御部31を介して再生部32に送出する。
これにより再生部32は、次に再生すべき検索音声データに所定の再生処理を施して、得られた音声(すなわち、次に再生すべき検索音声データに基づく音声)を、それまで出力していた音声に引き続いて出力する。
これに対し主制御部20は、音声プレイリスト51に、次に再生すべき検索音声データを登録していないと、表示部25での人物特定写真画像又は対象特定写真画像の表示時間(すなわち、タイマの計時時間)が選択表示時間に達したか否かを判別する。
その結果、主制御部20は、表示部25での人物特定写真画像又は対象特定写真画像の表示時間(すなわち、タイマの計時時間)が選択表示時間に未だ達していないと、例えば、音声プレイリスト51に従い再生順序が1番目の検索音声データを上述と同様に再生する。
このようにして主制御部20は、表示部25に1つの人物特定写真画像又は対象特定写真画像を表示している間、対応する音声プレイリスト51に従い1又は複数の検索音声データを適宜繰り返するようにして連続して再生する。
そして主制御部20は、表示部25での人物特定写真画像又は対象特定写真画像の表示時間(すなわち、タイマの計時時間)が選択表示時間に達すると、このとき検索音声データの再生処理を終了させて、当該検索音声データに基づく音声の出力を終了させる。
また主制御部20は、画像プレイリスト26に、次に再生すべき写真画像データ(すなわち、次に再生すべき写真画像データの画像識別情報)を登録しているか否かを判別する。
その結果、主制御部20は、画像プレイリスト26に、次に再生すべき写真画像データを登録していると、設定情報記憶部27から、次に再生すべき写真画像データに対応する音声プレイリスト51を読み出す。
そして主制御部20は、上述と同様に画像プレイリスト26に従い、画像記憶部22から次に再生すべき写真画像データが格納された画像ファイルを読み出す。
また主制御部20は、その画像ファイルから写真画像データを取り出すと共に、当該取り出した写真画像データを、表示制御部24を介して表示部25に送出する。
これにより主制御部20は、表示部25に、それまで表示していた人物特定写真画像又は対象特定写真画像に換えて、新たに送出した写真画像データに基づく人物特定写真画像又は対象特定写真画像を表示する。
さらに主制御部20は、表示部25での人物特定写真画像又は対象特定写真画像の表示の間、当該人物特定写真画像又は対象特定写真画像に対応する新たな音声プレイリスト51に従い、上述と同様に1又は複数の検索音声データを再生処理して音声を出力させる。
これに対し主制御部20は、画像プレイリスト26に、次に再生すべき写真画像データを登録していないと、表示部25への写真画像データの送出を停止して、当該表示部25での人物特定写真画像又は対象特定写真画像の表示を終了する。
また主制御部20は、人物特定写真画像又は対象特定写真画像の表示の終了に合わせて検索音声データの再生処理も終了させて、当該検索音声データに基づく音声の出力を終了させる。
このようにして主制御部20は、画像プレイリスト26に従い表示部25に1又は複数の人物特定写真画像や対象特定写真画像を順次表示しながら、その表示中には音声プレイリスト51に従い1又は複数の検索音声データを再生して音声を出力させる。かくして主制御部20は、人物特定写真画像や対象特定写真画像と共に音声を視聴させることができる。
そして主制御部20は、表示部25への人物特定写真画像の表示中には、当該人物特定写真画像に写り込んでいる1又は複数の特定人物の嗜好に合った音声を聴かせることができる。
一方、主制御部20は、表示部25への対象特定写真画像の表示中には、当該対象特定写真画像に写り込んでいる特定撮影対象や、その所在地の地名にちなんだ音声を聴かせることができる。
ところで、主制御部20は、人物特定写真画像の表示中に、ユーザにより操作部23を介して、検索音声データの検索理由を提示するように要求されると、音声プレイリスト51から、このとき再生中の検索音声データに対応する検索理由情報を取り出す。
また主制御部20は、この際、音声プレイリスト51から、このとき再生中の検索音声データの検索に使用された嗜好を有する特定人物の顔領域位置情報も取り出す。
そして主制御部20は、検索理由情報及び顔領域位置情報に基づき、このとき表示中の人物特定写真画像の写真画像データを加工して、当該加工した写真画像データを、表示制御部24を介して表示部25に送出する。
これにより主制御部20は、表示部25に表示中の人物特定写真画像に、このとき再生中の検索音声データの検索理由と、当該検索音声データの検索に使用された嗜好を有する特定人物の顔を囲む枠線とを重畳して表示する。
すなわち、主制御部20は、表示中の人物特定写真画像で特定人物が1人だけ特定され、当該特定人物の嗜好に合った検索音声データを再生していると、例えば、図21に示すように当該人物特定写真画像60の表示状態を変更する。
この場合、表示中の人物特定写真画像60には、このとき再生中の検索音声データの検索理由として例えば、特定人物の誕生日を表現するテキスト61と、当該特定人物の顔を囲む枠線62とが重畳されて表示されている。
また主制御部20は、表示中の人物特定写真画像で特定人物が複数特定され、当該複数の特定人物の共通な嗜好に合った検索音声データを再生していると、例えば、図22に示すように当該人物特定写真画像63の表示状態を変更する。
この場合、表示中の人物特定写真画像63には、このとき再生中の検索音声データの検索理由として例えば、複数の特定人物の間柄を表現するテキスト64と、これら複数の特定人物の顔をまとめて囲む枠線65とが重畳されて表示されている。
さらに主制御部20は、表示中の人物特定写真画像で特定人物が複数特定されているものの、何れか1人の特定人物の嗜好に合った検索音声データを再生していると、例えば、図23に示すように当該人物特定写真画像66の表示状態を変更する。
この場合、表示中の人物特定写真画像66には、このとき再生中の検索音声データの検索理由として、例えば、当該検索音声データの検索に使用された嗜好を有する1人の特定人物の住所をユーザの住所と共に地図上で示す地図画像67が重畳されて表示されている。
また、係る人物特定写真画像66には、その1人の特定人物(すなわち、このとき再生中の検索音声データの検索に使用された嗜好を有する1人の特定人物)の顔を囲む枠線68も重畳されて表示されている。
このようにして主制御部20は、人物特定写真画像の表示中にユーザにより、現在再生中の検索音声データの検索理由の提示が要求されると、当該表示中の人物特定写真画像上で、その検索理由を提示することができる。
また主制御部20は、この際、現在表示中の人物特定写真画像上で、現在再生中の検索音声データが何れの特定人物の嗜好に合ったものであるのかも、当該特定人物の顔を囲む枠線により、合わせて提示することができる。
ところで、設定情報記憶部27には、検索音声データの検索理由毎に、当該検索理由と、その検索理由の提示をきっかけとして実行可能な1又は複数の処理を示す実行可能処理情報とを対応付けて示す実行可能処理リストが予め記憶されている。
因みに、検索理由の提示をきっかけとして実行可能な処理としては、特定人物に電話をかけるような処理や、当該特定人物宛にメールを作成して送信する処理がある。
また検索理由の提示をきっかけとして実行可能な処理としては、新たな公開情報を作成してコミュニティーサイトにアップロードする処理もある。
さらに検索理由の提示をきっかけとして実行可能な処理としては、表示中の人物特定写真画像や対象特定写真画像の撮影日時を含む年代の情報提供装置13による音声データの配信のランキングを示すランキング情報を取得して提示する処理もある。
さらに検索理由の提示をきっかけとして実行可能な処理としては、情報提供装置13により現在推薦されている音声データを示す推薦情報を取得して提示する処理もある。
さらに検索理由の提示をきっかけとして実行可能な処理としては、ユーザの住所付近と特定人物の住所付近の両方に関して天気や実施中のイベント等を示す情報を情報提供装置13から取得して提示する処理もある。
さらに検索理由の提示をきっかけとして実行可能な処理としては、情報提供装置13から特定撮影対象や、その所在地の地名に関する種々の情報を取得して提示する処理等もある。
よって主制御部20は、ユーザに検索理由を提示している状態で、当該ユーザにより操作部23を介して実行可能な処理の提示が要求されると、設定情報記憶部27から、提示中の検索理由に対応する実行可能処理情報を読み出す。
そして主制御部20は、その実行可能処理情報に基づき、このとき表示中の人物特定写真画像の写真画像データをさらに加工して、当該加工した写真画像データを、表示制御部24を介して表示部25に送出する。
これにより例えば図24に示すように、主制御部20は、現在表示中の人物特定写真画像66に、さらに、現在提示中の検索理由をきっかけとして実行可能な1又は複数の処理を示すアイコン69乃至72を重畳して表示する。
そして主制御部20は、ユーザにより操作部23を介して人物特定写真画像66上で何れかのアイコン69乃至72が選択されると、当該選択されたアイコン69乃至72が示す処理を実行する。
このようにして主制御部20は、現在表示中の人物特定写真画像上で検索理由を提示した場合、その検索理由の提示をきっかけとしてユーザに特定人物へ連絡させ、又は現在の自分の気持ちを公開情報として公開させる等の処理を実行することができる。
一方、主制御部20は、対象特定写真画像の表示中にも、ユーザにより操作部23を介して、現在再生中の検索音声データの検索理由の提示が要求されると、音声プレイリスト51から、このとき再生中の検索音声データに対応する検索理由情報を取り出す。
そして主制御部20は、検索理由情報に基づき、このとき表示中の対象特定写真画像の写真画像データを加工して、当該加工した写真画像データを、表示制御部24を介して表示部25に送出する。
これにより主制御部20は、表示部25に表示中の対象特定写真画像に、このとき再生中の検索音声データの検索理由(撮影対象名や地名を表現するテキスト等)を重畳して表示する。
このようにして主制御部20は、対象特定写真画像の表示中にユーザにより、現在再生中の検索音声データの検索理由の提示が要求されても、当該表示中の対象特定写真画像上で、その検索理由を提示することができる。
そして主制御部20は、ユーザに検索理由を提示している状態で、当該ユーザにより操作部23を介して実行可能な処理の提示が要求されると、設定情報記憶部27から、提示中の検索理由に対応する実行可能処理情報を読み出す。
また主制御部20は、その実行可能処理情報に基づき、このとき表示中の対象特定写真画像の写真画像データをさらに加工して、当該加工した写真画像データを、表示制御部24を介して表示部25に送出する。
これにより主制御部20は、現在表示中の対象特定写真画像に、さらに検索理由の提示をきっかけとして実行可能な1又は複数の処理を示すアイコンを重畳して表示する。
そして主制御部20は、ユーザにより操作部23を介して対象特定写真画像上で何れかのアイコンが選択されると、当該選択されたアイコンが示す処理を実行する。
このようにして主制御部20は、対象特定写真画像の表示中にも、検索理由の提示をきっかけとして特定撮影対象や当該特定撮影対象の所在地の地名に関する種々の情報を取得して提示する等の処理を実行することができる。
因みに、主制御部20は、例えば、操作部23が表示部25の表示画面上に設けられたタッチパネルの場合、人物特定写真画像や対象特定写真画像の表示中にユーザによりタッチパネルが場所に関わらずにタッチされると、検索理由を提示する。
また主制御部20は、係る構成の場合、人物特定写真画像上で検索理由を提示している状態では、例えば、ユーザにより、枠線で囲んだ特定人物の顔の部分がタッチされると、実行可能な処理を示すアイコンを表示する。
さらに主制御部20は、係る構成の場合、対象特定写真画像上で検索理由を提示している状態では、例えば、ユーザにより、タッチパネルが場所に関わらずにタッチされると、実行可能な処理を示すアイコンを表示する。
[2−3.情報提供装置の機能回路ブロックによるハードウェア構成]
次いで、図25を用いて、情報提供装置13の機能回路ブロックによるハードウェア構成について説明する。
図25に示すように、情報提供装置13は、各種処理を実行すると共に、係る処理に応じて当該情報提供装置13全体を制御する主制御部80を有している。
これにより主制御部80は、写真画像表示装置11から登録要求データが送信されると、当該登録要求データを、ネットワークインタフェース81及び通信制御部82を順次介して受信する。
この際、主制御部80は、登録要求データの受信に応じて、個人情報記憶部83から、これに予め記憶された個人情報入力画面データを読み出す。
そして主制御部80は、その個人情報入力画面データを、通信制御部82及びネットワークインタフェース81を順次介して写真画像表示装置11に送信する。
その結果、主制御部80は、写真画像表示装置11から利用者登録データが送信されると、当該利用者登録データを、ネットワークインタフェース81及び通信制御部82を順次介して受信する。
これにより主制御部80は、その利用者登録データに含まれるユーザの個人情報を個人情報記憶部83に送出して記憶して、写真画像表示装置11のユーザを利用者登録する。
そして主制御部80は、ユーザの利用者登録が完了すると、登録完了通知データを、通信制御部82及びネットワークインタフェース81を順次介して写真画像表示装置11に送信する。
このようにして主制御部80は、写真画像表示装置11のユーザに、情報提供装置13の(すなわち、情報提供装置13が提供可能な種々の情報の)利用を許可する。
また主制御部80は、ユーザの利用者登録が完了した後、写真画像表示装置11から更新要求データが送信されると、当該更新要求データを、ネットワークインタフェース81及び通信制御部82を順次介して受信する。
この際、主制御部80は、更新要求データ内の利用者識別情報及びパスワードにより、個人情報記憶部83からユーザの個人情報を判別して読み出す。
そして主制御部80は、ユーザの個人情報に基づき個人情報変更画面データを生成し、当該生成した個人情報変更画面データを、通信制御部82及びネットワークインタフェース81を順次介して写真画像表示装置11に送信する。
その結果、主制御部80は、写真画像表示装置11から個人情報更新データが送信されると、当該個人情報更新データを、ネットワークインタフェース81及び通信制御部82を順次介して受信する。
この際、主制御部80は、個人情報更新データ内の利用者識別情報及びパスワードにより、個人情報記憶部83内でユーザの個人情報を判別する。
そして主制御部80は、個人情報更新データ内の更新情報を個人情報記憶部83に送出して記憶するようにして、ユーザの種々の個人情報のうち変更可能情報を当該更新情報に置き換えて更新する。
さらに主制御部80は、ユーザの利用者登録が完了した後、個人情報変更画面データを送信することなく、写真画像表示装置11から個人情報更新データが送信されると、これを、ネットワークインタフェース81及び通信制御部82を順次介して受信する。
この際、主制御部80は、個人情報更新データ内の利用者識別情報及びパスワードにより、個人情報記憶部83内でユーザの個人情報を判別する。
そして主制御部80は、個人情報更新データ内の追加情報を個人情報記憶部83に送出して記憶するようにして、ユーザの個人情報に追加情報を追加して当該ユーザの個人情報を更新する。
ところで、情報提供装置13には、辞書記憶部84が設けられている。そして辞書記憶部84には、名詞や動詞、助詞、副詞等のような種々の品詞の複数の形態素に、当該形態素の読みや、品詞等を対応付けて生成された形態素辞書データが予め記憶されている。
因みに、形態素は、言語として意味を持つ最小単位であり、単独で単語を構成するものや、他の形態素との組み合わせにより単語を構成するもの、単独及び他の形態素との組み合わせの何れでも単語を構成しないものがある。
また辞書記憶部84には、名詞や動詞のような品詞の特定の単語を示す単語辞書データも予め記憶されている。
よって主制御部80は、個人情報記憶部83に利用者の公開情報を当該公開情報の公開日時と対応付けて個人情報として記憶した場合、辞書記憶部84から形態素辞書データ及び単語辞書データを読み出す。
そして主制御部80は、その形態素辞書データ及び単語辞書データを用いて公開情報の自然言語処理を実行する。
主制御部80は、自然言語処理を実行すると、形態素辞書データに基づき、公開情報(すなわち、文字列)を形態素解析する。
これにより主制御部80は、公開情報を複数の形態素に区切るようにして、これら複数の形態素それぞれの品詞を特定する。
また主制御部80は、公開情報に対する形態素解析の結果と単語辞書データとに基づき、当該公開情報を単語解析する。
これにより主制御部80は、公開情報の複数の形態素の中から、名詞や動詞のような品詞の特定の単語を構成する1又は複数の形態素を判別する。
さらに主制御部80は、公開情報に対する形態素解析及び単語解析の結果に基づき、当該公開情報を構文解析する。
これにより主制御部80は、公開情報において、当該公開情報に含まれる形態素の文法的な役割を特定すると共に、当該形態素と形態素との係り受け等を特定する。
さらにまた主制御部80は、これら公開情報に対する形態素解析、単語解析及び構文解析の結果に基づき公開情報から、その内容を表すような1又は複数の公開内容キーワードを抽出する。
そして主制御部80は、公開情報から抽出した1又は複数の公開内容キーワードを利用者の個人情報への追加情報とし、その公開内容キーワードを公開情報及び公開日時に対応付けるようにして、当該利用者の個人情報に追加する。
このようにして主制御部80は、写真画像表示装置11のユーザを利用者登録した後には、当該ユーザの個人情報を適宜更新することができる。
また主制御部80は、上述したように、写真画像表示装置11のユーザ以外の他の人物(ユーザの知人を含む)についても、同様に利用者登録し、その利用者登録の後には、当該他の人物の個人情報を適宜更新することができる。
ところで、主制御部80は、例えば、音声データの制作会社から配信用に、音声データが格納された音声ファイルが与えられる毎に、当該音声ファイルを音声記憶部85に記憶する。これにより主制御部80は、音声記憶部85に配信用の複数の音声データを音声ファイルとして蓄積している。
また主制御部80は、音声購入ページ画像のページ画像データも音声記憶部85に記憶している。よって主制御部80は、写真画像表示装置11から送信されたページ画像要求データを、ネットワークインタフェース81及び通信制御部82を順次介して受信すると、音声記憶部85からページ画像データを読み出す。
そして主制御部80は、そのページ画像データを、通信制御部82及びネットワークインタフェース81を順次介して写真画像表示装置11に送信する。
その結果、主制御部80は、写真画像表示装置11から送信された購入要求データを、ネットワークインタフェース81及び通信制御部82を順次介して受信すると、その購入要求データに基づき、ユーザにより購入の要求された音声データの課金処理を実行する。
そして主制御部80は、課金処理が完了すると、音声記憶部85から、ユーザにより購入の要求された音声データの音声ファイルを読み出して、通信制御部82及びネットワークインタフェース81を順次介して写真画像表示装置11に送信する。
このようにして主制御部80は、写真画像表示装置11のユーザに種々の音声データを配信するようにして販売することができる。
ところで、主制御部80は、写真画像表示装置11から送信された人物情報要求データを、ネットワークインタフェース81及び通信制御部82を順次介して受信すると、人物情報要求データに何人の特定人物の人物判別用情報が格納されているのかを判別する。
その結果、主制御部80は、人物情報要求データに1人の特定人物の人物判別用情報が格納されていると、その人物判別用情報により、個人情報記憶部83から当該1人の特定人物の個人情報を判別して、当該個人情報の一部である提供用人物情報を読み出す。
そして主制御部80は、1人の特定人物の提供用人物情報を格納した提供用人物情報データを生成し、当該生成した提供用人物情報データを、通信制御部82及びネットワークインタフェース81を順次介して写真画像表示装置11に送信する。
一方、主制御部80は、人物情報要求データに複数の特定人物の人物判別用情報が格納されていると、これら人物判別用情報により、個人情報記憶部83から複数の特定人物それぞれの個人情報を判別して、当該個人情報の一部である提供用人物情報を読み出す。
また主制御部80は、この際、個人情報記憶部83から現時点までに利用者登録している利用者(ユーザや知人を含む)全員の、音声データの種類毎の種類別所有数を示す個人情報を読み出す。
さらに主制御部80は、その利用者全員分の音声データの種類毎の種類別所有数を用いて、当該音声データの種類毎に種類別全平均所有数を算出する。
これにより主制御部80は、複数の特定人物それぞれの提供用人物情報を、音声データの種類毎の種類別全平均所有数を示す種類別全平均所有数情報と共に格納した提供用人物情報データを生成する。
そして主制御部80は、その提供用人物情報データを、通信制御部82及びネットワークインタフェース81を順次介して写真画像表示装置11に送信する。
このようにして主制御部80は、写真画像表示装置11から提供用人物情報が要求されると、これに応じて当該提供用人物情報を提供用人物情報データとして写真画像表示装置11に提供することができる。
また主制御部80は、現在情報記憶部86に、利用者の利用者識別情報に当該利用者の住所と、その住所付近の現在の天気とを対応付けた現在天気情報を記憶している。
そして主制御部80は、外部から例えば全国の天気を示す天気情報を定期的に取得し、当該取得した天気情報に基づき、現在情報記憶部86において、現在天気情報が示す現在の天気を適宜更新している。
さらに主制御部80は、配信対象の音声データの配信数を定期的に集計するようにして現在の配信数の上位所定数のランキングを示すランキング情報を生成する。
そして主制御部80は、そのランキング情報を現在情報記憶部86に記憶するようにして、配信対象の音声データの配信数を集計する毎に、当該現在情報記憶部86においてランキング情報を最新のものに更新している。
さらに主制御部80は、外部から提供される例えば、情報提供装置13の運営会社が推薦する音声データを示す推薦情報を取得して、当該取得した推薦情報を現在情報記憶部86に記憶している。
そして主制御部80は、推薦情報が提供される毎に、これを取得して現在情報記憶部86において、当該推薦情報を最新のものに更新している。
よって主制御部80は、写真画像表示装置11から送信された現在情報要求データを、ネットワークインタフェース81及び通信制御部82を順次介して受信すると、当該現在情報要求データから、これに格納されているユーザの利用者識別情報を取り出す。
また主制御部80は、その利用者識別情報に基づき、現在情報記憶部86から当該利用者識別情報で識別される現在天気情報を読み出す。
さらに主制御部80は、この際、現在情報記憶部86からランキング情報及び推薦情報も読み出す。さらにまた主制御部80は、現在情報として現在天気情報、ランキング情報及び推薦情報を格納した現在情報提供データを生成する。
そして主制御部80は、その現在情報提供データを、通信制御部82及びネットワークインタフェース81を順次介して写真画像表示装置11に送信する。
このようにして主制御部80は、写真画像表示装置11から現在情報が要求されると、これに応じて当該現在情報を現在情報提供データとして写真画像表示装置11に提供することができる。
ところで、主制御部80は、音声データの制作会社から配信用に音声ファイルが与えらたとき、当該制作会社から音声データ(すなわち、当該音声ファイルに格納された音声データ)基づく音声の詞(歌詞やセリフ、朗読文等)のテキストデータも与えられている。
このため主制御部80は、そのテキストデータを音声ファイルに対応付けるようにして音声記憶部85に記憶している。
そして主制御部80は、例えば、音声記憶部85に音声ファイル及びテキストデータを記憶したとき、当該音声記憶部85から音声ファイルと共にテキストデータを読み出す。また主制御部80は、その音声ファイルから音声データ及び属性情報を取り出す。
この際、主制御部80は、テキストデータを上述と同様に自然言語処理する。これにより主制御部80は、その自然言語処理の処理結果(すなわち、テキストデータに対する形態素解析、単語解析及び構文解析の結果)に基づきテキストデータから音声(詞)の内容を表すような1又は複数の音声内容キーワードを抽出する。
また主制御部80は、属性情報として含まれる、音声データのタイトルについても同様に自然言語処理し、その処理結果に基づき、当該タイトルから1又は複数の音声内容キーワードを抽出する。
これに加え主制御部80は、音声データを周波数解析して当該音声データを時間軸に沿って所定の単位処理部分(例えば、1秒分の音声に相当する部分である)に分ける。
また主制御部80は、音声データの個々の単位処理部分から1オクターブの12音階それぞれに相当する周波数帯域毎のエネルギーを抽出する。
主制御部80は、音声データ全体に亘って周波数帯域毎のエネルギーを抽出すると、その抽出結果に基づき、音声データから音声中の和音、テンポ等の種々の情報を検出する。
また主制御部80は、その検出結果に基づき、音声の特徴を複数種類の項目(以下、これを特徴項目とも呼ぶ)について数値化して表す特徴値を生成する。
ここで、例えば、音声データの特徴を表す特徴項目としては、当該音声データに基づく音声のイメージを表現する「元気」や「幸せ」、「悲しい」、「明るい」、「うれしい」、「さわやか」等がある。
主制御部80は、音声データに基づく音声の特徴を解析して特徴項目毎の特徴値を得ると、当該特徴項目毎に、特徴値を予め選定された下限閾値及び又は上限閾値と比較する。
そして主制御部80は、その比較結果と、特徴項目毎に予め選定された当該特徴項目の選択条件とに基づき、当該選択条件に合致した特徴項目を選択する。
因みに、特徴項目の選択条件としては、例えば、下限閾値以上の特徴値を得た場合に当該特徴項目を選択するものがある。
また特徴項目の選択条件としては、上限閾値未満の特徴値を得たときに当該特徴項目を選択するものもある。さらに特徴項目の選択条件としては、下限閾値以上でかつ上限閾値未満の特徴値を得たときに当該特徴項目を選択するものもある。
そして主制御部80は、このように選択した1又は複数の特徴項目が表す特徴(すなわち、音声のイメージを表現するテキストデータ)それぞれを、音声データに基づく音声のイメージを的確に表す音声イメージキーワードとする。
このようにして主制御部80は、音声データを解析し当該解析結果に基づき、音声データから音声のイメージを表す1又は複数の音声イメージキーワードを抽出する。
また主制御部80は、この際、音声データの属性情報に、これら1又は複数の音声内容キーワードや1又は複数の音声イメージキーワードを追加して、写真画像表示装置11への提供用の属性情報を生成する。そして主制御部80は、その提供用の属性情報を、音声記憶部85に送出して記憶する。
この状態で主制御部80は、写真画像表示装置11から送信された属性情報要求データを、ネットワークインタフェース81及び通信制御部82を順次介して受信すると、これに応じて音声記憶部85から提供用の複数の属性情報を読み出す。
また主制御部80は、提供用の複数の属性情報を格納した属性情報提供データを生成し、当該生成した属性情報提供データを、通信制御部82及びネットワークインタフェース81を順次介して写真画像表示装置11に送信する。
このようにして主制御部80は、写真画像表示装置11から複数の音声データの属性情報が要求されると、これに応じて複数の当該属性情報を属性情報提供データとして写真画像表示装置11に提供することができる。
さらに主制御部80は、写真画像表示装置11から送信された音声要求データを、ネットワークインタフェース81及び通信制御部82を順次介して受信すると、音声記憶部85から、音声要求データ内の検索音声属性情報で識別される検索音声データを読み出す。
そして主制御部80は、その検索音声データをストリーミング形式で、通信制御部82及びネットワークインタフェース81を順次介して写真画像表示装置11に送信する。
このようにして主制御部80は、写真画像表示装置11から人物特定写真画像や対象特定写真画像の表示中に検索音声データのストリーミング再生が要求されると、当該検索音声データをストリーミング形式で写真画像表示装置11に提供することができる。
[2−4.画像音声再生処理手順]
次いで、図26乃至図34に示すフローチャートを用いて、写真画像表示装置11の主制御部20が実行する画像音声再生処理手順RT1について説明する。
主制御部20は、ユーザの指示に応じて画像音声再生モードに移行すると、図26に示す画像音声再生処理手順RT1を開始する。
主制御部20は、画像音声再生処理手順RT1を開始すると、ステップSP1において、画像プレイリスト作成処理を実行して、次のステップSP2に移る。
ステップSP2において主制御部20は、画像解析処理を実行した後、次のステップSP3に移り、当該ステップSP3において被写体特定処理を実行して、次のステップSP4に移る。
ステップSP4において主制御部20は、嗜好抽出処理を実行した後、次のステップSP5に移り、当該ステップSP5において検索条件リスト生成処理を実行して、次のステップSP6に移る。
ステップSP6において主制御部20は、検索処理を実行した後、次のステップSP7に移り、当該ステップSP7において音声プレイリスト作成処理を実行して、次のステップSP8に移る。
そしてステップSP8において主制御部20は、画像音声再生処理を実行した後、次のステップSP9に移り、係る画像音声再生処理手順RT1を終了する。
実際に主制御部20は、ステップSP1において画像プレイリスト作成処理を実行した場合、図27に示す画像プレイリスト作成処理サブルーチンSRT1を開始する。
主制御部20は、画像プレイリスト作成処理サブルーチンSRT1を開始すると、ステップSP101において表示部25に画像選択画面を表示して、次のステップSP102に移る。
ステップSP102において主制御部20は、ユーザにより操作部23を介して画像選択画面上で再生対象の写真画像データが選択されることを待ち受け、当該再生対象の1又は複数の写真画像データが選択されると、次のステップSP103に移る。
ステップSP103において主制御部20は、ユーザにより選択された再生対象の1又は複数の写真画像データを登録した画像プレイリスト26を作成して、次のステップSP104に移る。
これによりステップSP104において主制御部20は、画像プレイリスト作成処理サブルーチンSRT1を終了して、図26について上述した、次のステップSP2に移る。
また主制御部20は、ステップSP2において画像解析処理を実行した場合、画像解析部34を制御して、図28に示す画像解析処理サブルーチンSRT2を開始させる。
画像解析部34は、主制御部20の制御のもと、画像解析処理サブルーチンSRT2を開始すると、ステップSP201において再生対象の写真画像データを解析して、次のステップSP202に移る。
ステップSP202において画像解析部34は、写真画像データの解析結果をもとに、当該写真画像データに基づく写真画像内で人物の顔が写り込んでいると想定される想定領域を検出したか否かを判別する。
このステップSP202において肯定結果が得られると、このことは写真画像に1又は複数の人物の顔が写り込んでいる可能性があることを表している。ステップSP202において画像解析部34は、係る肯定結果を得ると、次のステップSP203に移る。
ステップSP203において主制御部20は、写真画像内で検出した想定領域の想定領域特徴量と領域位置情報とを対応付けた想定領域情報を生成して、次のステップSP204に移る。
ところで、上述のステップSP202において否定結果が得られると、このことは写真画像に人物の顔が写り込んではいないことを表している。ステップSP202において画像解析部34は、係る否定結果を得ると、ステップSP204に移る。
そしてステップSP204において画像解析部34は、再生対象の写真画像データを全て解析したか否かを判別し、未だ解析していない写真画像データが存在すると、ステップSP201に戻る。
よって画像解析部34は、この後、ステップSP204において肯定結果を得るまでの間、ステップSP201乃至ステップSP204の処理を循環的に繰り返し実行する。
これにより画像解析部34は、この際、ユーザにより選択された複数の再生対象の写真画像データを順次解析して、写真画像内で想定領域を適宜検出する。
またステップSP204において肯定結果が得られると、このことは、再生対象の1又は複数の写真画像データを全て解析し終えたことを表している。
ステップSP204において画像解析部34は、係る肯定結果を得ると、次のステップSP205に移り、画像解析処理サブルーチンSRT2を終了する。これにより主制御部20は、図26について上述した、次のステップSP3に移る。
さらに主制御部20は、ステップSP3において被写体特定処理を実行した場合、人物特定部36を制御して、図29に示す被写体特定処理サブルーチンSRT3を開始させる。
人物特定部36は、被写体特定処理サブルーチンSRT3を開始すると、ステップSP301において画像解析部34により再生対象の1つの写真画像データについて想定領域情報が生成されたか否かを判別する。
このステップSP301において肯定結果が得られると、このことは、画像解析部34から、再生対象の写真画像データに基づく写真画像内で1又は複数の想定領域が検出され、1又は複数の想定領域情報が与えられたことを表している。ステップSP301において人物特定部36は、係る肯定結果を得ると、次のステップSP302に移る。
ステップSP302において人物特定部36は、1又は複数の想定領域情報、知人顔特徴量及びユーザ顔特徴量に基づき人物特定処理を実行する。
これにより人物特定部36は、写真画像の1又は複数の想定領域に写り込んでいると想定される人物の顔が、知人の顔やユーザの顔としてどの程度確からしいかを表す確度を算出して、次のステップSP303に移る。
ステップSP303において人物特定部36は、人物特定処理の処理結果(すなわち、確度)に基づき、写真画像内で1又は複数の人物を特定し得たか否かを判別する。
このステップSP303において肯定結果が得られると、このことは写真画像の1又は複数の想定領域に写り込んでいる顔をもとに、当該写真画像に写り込んでいる1又は複数の人物を知人やユーザであると特定し得たことを表している。ステップSP303において人物特定部36は、係る肯定結果を得ると、次のステップSP304に移る。
ステップSP304において人物特定部36は、写真画像内で特定した1又は複数の特定人物を登録した特定人物リスト40を生成して、次のステップSP305に移る。
ところで、上述のステップSP301において否定結果が得られると、このことは、画像解析部34から、写真画像内で想定領域が検出されなかったために想定領域情報が与えられてはいないことを表している。ステップSP301において人物特定部36は、係る否定結果を得ると、ステップSP306に移る。
また上述のステップSP303において否定結果が得られると、このことは写真画像の1又は複数の想定領域に写り込んでいると想定された顔が知人の顔やユーザの顔ではないと判別したことを表している。ステップSP303において人物特定部36は、係る否定結果を得たときも、ステップSP306に移る。
ステップSP306において人物特定部36は、再生対象の写真画像データの属性情報と対象特定使用データとに基づき撮影対象特定処理を実行して、当該写真画像データに基づく写真画像に写り込んでいる撮影対象を特定して、次のステップSP307に移る。
ステップSP307において人物特定部36は、写真画像内で特定した特定撮影対象を登録した特定対象リスト42を生成して、ステップSP305に移る。
ステップSP305において人物特定部36は、再生対象の写真画像データの全てについて写真画像に写り込んでいる被写体を特定したか(すなわち、特定人物リスト40又は特定対象リスト42を生成したか)否かを判別する。
その結果、人物特定部36は、未だ、写真画像に写り込んでいる被写体を特定していない(すなわち、特定人物リスト40又は特定対象リスト42を生成していない)写真画像データが存在すると、ステップSP301に戻る。
よって人物特定部36は、この後、ステップSP305において肯定結果を得るまでの間、ステップSP301乃至ステップSP307の処理を循環的に繰り返し実行する。
これにより人物特定部36は、この際、ユーザにより選択された再生対象の複数の写真画像データを順次用いて人物特定処理及び又は撮影対象特定処理を実行する。
その結果、人物特定部36は、再生対象の複数の写真画像データに基づく写真画像それぞれに写り込んでいる被写体を特定して、特定人物リスト40又は特定対象リスト42を適宜生成する。
またステップSP305において肯定結果が得られると、このことは、この際、再生対象の1又は複数の写真画像データの全てについて、写真画像に写り込んでいる被写体を特定し終えたことを表している。
すなわち、係る肯定結果は、再生対象の1又は複数の写真画像データの全てについて、特定人物リスト40又は特定対象リスト42を生成し終えたことを表している。
ステップSP305において人物特定部36は、係る肯定結果を得ると、次のステップSP308に移り、被写体特定処理サブルーチンSRT3を終了する。これにより主制御部20は、図26について上述した、次のステップSP4に移る。
さらに主制御部20は、ステップSP4において嗜好抽出処理を実行した場合、嗜好抽出部41を制御して、図30に示す嗜好抽出処理サブルーチンSRT4を開始させる。
嗜好抽出部41は、嗜好抽出処理サブルーチンSRT4を開始すると、ステップSP401において人物特定部36により再生対象の1つの写真画像データについて特定人物リスト40が生成されたか否かを判別する。
ステップSP401において肯定結果が得られると、このことは人物特定部36から、再生対象の写真画像データに基づく写真画像内で1又は複数の人物が特定され、特定人物リスト40が与えられたことを表している。ステップSP401において嗜好抽出部41は、係る肯定結果を得ると、次のステップSP402に移る。
ステップSP402において嗜好抽出部41は、人物情報要求データを、主制御部20を介して情報提供装置13に送信して、次のステップSP403に移る。
ステップSP403において嗜好抽出部41は、主制御部20により人物情報要求データが送信された結果、情報提供装置13から返信される提供用人物情報データが受信されることを待ち受ける。
そして嗜好抽出部41は、主制御部20により提供用人物情報データが受信され、当該主制御部20から提供用人物情報データを取得すると、次のステップSP404に移る。
ステップSP404において嗜好抽出部41は、提供用人物情報データに基づき、写真画像内で特定された1又は複数の特定人物の嗜好を抽出して、次のステップSP405に移る。
ステップSP405において嗜好抽出部41は、特定人物リスト40に1又は複数の特定人物の嗜好を示す嗜好情報を追加して嗜好追加人物リスト43を生成し、次のステップSP406に移る。
ところで、上述のステップSP401において否定結果が得られると、このことは人物特定部36から、再生対象の写真画像データに基づく写真画像内で撮影対象が特定されたことで、特定人物リスト40が与えられてはいないことを表している。ステップSP401において嗜好抽出部41は、係る否定結果を得ると、ステップSP406に移る。
ステップSP406において嗜好抽出部41は、1又は複数の人物特定写真画像内で特定された全ての特定人物の嗜好を抽出したか(すなわち、人物特定写真画像の全てについて嗜好追加人物リスト43を生成したか)否かを判別する。
その結果、嗜好抽出部41は、まだ嗜好を抽出していない特定人物が写り込んでいる人物特定写真画像が存在する(すなわち、まだ嗜好追加人物リスト43を生成していない人物特定写真画像が存在する)と、ステップSP401に戻る。
よって嗜好抽出部41は、この後、ステップSP406において肯定結果を得るまでの間、ステップSP401乃至ステップSP406の処理を循環的に繰り返し実行する。
これにより嗜好抽出部41は、複数の人物特定写真画像それぞれについて、特定人物の嗜好を抽出して嗜好追加人物リスト43を生成する。
またステップSP406において肯定結果が得られると、このことは1又は複数の人物特定写真画像の全てについて、特定人物の嗜好を抽出して嗜好追加人物リスト43を生成し終えたことを表している。
ステップSP406において嗜好抽出部41は、係る肯定結果を得ると、次のステップSP407に移り、嗜好抽出処理サブルーチンSRT4を終了する。これにより主制御部20は、図26について上述した、次のステップSP5に移る。
さらに主制御部20は、ステップSP5において検索条件リスト生成処理を実行した場合、検索部45を制御して、図31に示す検索条件リスト生成処理サブルーチンSRT5を開始させる。
検索部45は、検索条件リスト生成処理サブルーチンSRT5を開始すると、ステップSP501において現在情報要求データを、主制御部20を介して情報提供装置13に送信して、次のステップSP502に移る。
ステップSP502において検索部45は、主制御部20により現在情報要求データが送信された結果、情報提供装置13から返信される現在情報提供データが受信されることを待ち受ける。
そして検索部45は、主制御部20により現在情報提供データが受信され、当該主制御部20から現在情報提供データを取得すると、次のステップSP503に移る。
ステップSP503において検索部45は、嗜好抽出部41により再生対象の1つの写真画像データについて嗜好追加人物リスト43が生成されたか否かを判別する。
このステップSP503において肯定結果が得られると、このことは嗜好抽出部41から、1又は複数の特定人物の嗜好が抽出され、嗜好追加人物リスト43が与えられたことを表している。ステップSP503において検索部45は、係る肯定結果を得ると、次のステップSP504に移る。
ステップSP504において検索部45は、嗜好追加人物リスト43、提供用人物情報データ及び現在情報提供データに基づき、検索条件リスト46A又は46Bを生成して、次のステップSP505に移る。
ところで、上述のステップSP503において否定結果が得られると、このことは嗜好抽出部41から、特定対象リスト42が与えられたことを表している。ステップSP503において検索部45は、係る否定結果を得ると、ステップSP506に移る。
そしてステップSP506において検索部45は、特定対象リスト42及び現在情報提供データに基づき、検索条件リスト46Cを生成して、ステップSP505に移る。
ステップSP505において検索部45は、再生対象の写真画像データの全てについて検索条件リスト46を生成したか否かを判別する。
その結果、検索部45は、まだ検索条件リスト46を生成していない写真画像データが存在すると、ステップSP503に戻る。
よって検索部45は、この後、ステップSP505において肯定結果を得るまでの間、ステップSP50乃至ステップSP506の処理を循環的に繰り返し実行する。これにより検索部45は、再生対象の複数の写真画像データについて検索条件リスト46を生成する。
またステップSP505において肯定結果が得られると、このことは、再生対象の1又は複数の写真画像データの全てについて検索条件リスト46を生成し終えたことを表している。
ステップSP505において検索部45は、係る肯定結果を得ると、次のステップSP507に移り、検索条件リスト生成処理サブルーチンSRT5を終了する。これにより主制御部20は、図26について上述した、次のステップSP6に移る。
さらに主制御部20は、ステップSP6において検索処理を実行した場合、検索部45を制御して、図32に示す検索処理サブルーチンSRT6を開始させる。
検索部45は、検索処理サブルーチンSRT6を開始すると、ステップSP601において属性情報要求データを、主制御部20を介して情報提供装置13に送信して、次のステップSP602に移る。
ステップSP602において検索部45は、主制御部20により属性情報要求データが送信された結果、情報提供装置13から返信される属性情報提供データが受信されることを待ち受ける。
そして検索部45は、主制御部20により属性情報提供データが受信され、当該主制御部20から属性情報提供データを取得すると、次のステップSP603に移る。
ステップSP603において検索部45は、再生対象の1つの写真画像データについて生成した1又は複数の検索条件リスト46に従い、複数の音声データの属性情報を用いて第1段階検索処理を実行して、次のステップSP604に移る。
ステップSP604において検索部45は、再生対象の1つの写真画像データについて生成した1又は複数の検索条件リスト46に従い、第1段階検索処理の処理結果を用いて第2段階検索処理を実行して、次のステップSP605に移る。
ステップSP605において検索部45は、第1段階検索処理及び第2段階検索処理処理を順次実行して検索した1又は複数の検索音声データを示す検索音声リスト47を生成して、次のステップSP606に移る。
ステップSP606において検索部45は、再生対象の写真画像データ毎に生成した1又は複数の検索条件リスト46を全て用いて検索音声データを検索し終えたか否かを判別する。
その結果、検索部45は、再生対象の写真画像データ毎に生成した1又は複数の検索条件リスト46の中に、未だ検索に使用していない検索条件リスト46が存在すると、ステップSP603に戻る。
よって検索部45は、この後、ステップSP606において肯定結果を得るまでの間、ステップSP603乃至ステップSP606の処理を循環的に繰り返し実行する。
これにより検索部45は、再生対象の写真画像データ毎に生成した1又は複数の検索条件リスト46を全て用いて、当該再生対象の写真画像データ毎に検索音声リスト47を生成する。
またステップSP606において肯定結果が得られると、このことは、再生対象の1又は複数の写真画像データの全てについて検索音声リスト47を生成し終えたことを表している。
ステップSP606において検索部45は、係る肯定結果を得ると、次のステップSP607に移り、検索処理サブルーチンSRT6を終了する。これにより主制御部20は、図26について上述した、次のステップSP7に移る。
さらに主制御部20は、ステップSP7において音声プレイリスト作成処理を実行した場合、プレイリスト作成部50を制御して、図33に示す音声プレイリスト作成処理サブルーチンSRT7を開始させる。
プレイリスト作成部50は、音声プレイリスト作成処理サブルーチンSRT7を開始すると、ステップSP701において設定情報記憶部27から選択表示時間を示す選択時間情報を読み出して、次のステップSP702に移る。
ステップSP702においてプレイリスト作成部50は、選択表示時間と1又は複数の検索音声データの再生時間とに基づき、検索音声リスト47から再生対象の1又は複数の検索音声データを選定して、次のステップSP703に移る。
ステップSP703においてプレイリスト作成部50は、選定した再生対象の1又は複数の検索音声データを示す音声プレイリスト51を作成して、次のステップSP704に移る。
ステップSP704においてプレイリスト作成部50は、再生対象の写真画像データに基づく写真画像の表示中に使用される音声プレイリスト51を、当該写真画像データの全てについて作成したか否かを判別する。
その結果、プレイリスト作成部50は、再生対象の複数の写真画像データの中に、写真画像の表示中に使用される音声プレイリスト51を未だ作成していない写真画像データが存在すると、ステップSP702に戻る。
よってプレイリスト作成部50は、この後、ステップSP704において肯定結果を得るまでの間、ステップSP702乃至ステップSP704の処理を循環的に繰り返し実行する。これによりプレイリスト作成部50は、再生対象の写真画像データ毎の音声プレイリスト51を全て生成する。
またステップSP704において肯定結果が得られると、このことは、再生対象の1又は複数の写真画像データの全てについて、写真画像の表示中に使用される音声プレイリスト51を生成し終えたことを表している。
ステップSP704においてプレイリスト作成部50は、係る肯定結果を得ると、次のステップSP705に移り、音声プレイリスト作成処理サブルーチンSRT7を終了する。これにより主制御部20は、図26について上述した、次のステップSP8に移る。
さらに主制御部20は、ステップSP8において画像音声再生処理を実行した場合、図34に示す画像音声再生処理サブルーチンSRT8を開始する。
主制御部20は、画像音声再生処理サブルーチンSRT8を開始すると、ステップSP801において画像プレイリスト26に従い1つの写真画像データの再生を開始する。
これにより主制御部20は、表示部25に写真画像データに基づく人物特定写真画像又は対象特定写真画像を表示し始める。
また主制御部20は、再生を開始した写真画像データに対応する音声プレイリスト51に従い1つの検索音声データの再生も開始して、再生部32から当該検索音声データに基づく音声を出力し始めて、次のステップSP802に移る。
ステップSP802において主制御部20は、内部のタイマにより計時を開始して、次のステップSP803に移る。
ステップSP803において主制御部20は、タイマの計時時間が選択表示時間に達したか否かを判別する。このステップSP803において否定結果が得られると、このことは、タイマの計時時間が選択表示時間に達していないため、表示中の人物特定写真画像又は対象特定写真画像の当該表示を未だ継続することを表している。ステップSP803において主制御部20は、係る否定結果を得ると、ステップSP804に移る。
ステップSP804において主制御部20は、検索音声データの再生処理が終了したか否かを判別する。このステップSP804において否定結果が得られると、このことは、人物特定写真画像又は対象特定写真画像の表示を継続している状態で1つの検索音声データを未だ再生処理している途中であることを表している。このステップSP804において主制御部20は、係る否定結果を得ると、ステップSP803に戻る。
よって主制御部20は、この後、ステップSP804及びステップSP803の何れかで肯定結果を得るまでの間、ステップSP803及びステップSP804の処理を循環的に繰り返し実行する。
これにより主制御部20は、人物特定写真画像又は対象特定写真画像を、表示を継続して見せながら、1つの検索音声データを再生して当該検索音声データに基づく音声を聴かせることができる。
ところで、ステップSP804において肯定結果が得られると、このことは人物特定写真画像又は対象特定写真画像の表示中に1つの検索音声データの再生処理が終了したことを表している。このステップSP804において主制御部20は、係る肯定結果を得ると、次のステップSP805に移る。
ステップSP805において主制御部20は、音声プレイリスト51に従い次の検索音声データの再生を開始して、1つ前の検索音声データに基づく音声の出力の終了に引き続き、当該次の検索音声データに基づく音声を出力し始めて、ステップSP803に戻る。
よって主制御部20は、この後、ステップSP803において肯定結果を得るまでの間、ステップSP803乃至ステップSP805の処理を循環的に繰り返し実行する。
これにより主制御部20は、人物特定写真画像又は対象特定写真画像を、表示を継続して見せながら、音声プレイリスト51に従い検索音声データを順次再生して、1つの音声を繰り返し、又は複数の音声を連続して聴かせることができる。
ところで、上述のステップSP803において肯定結果が得られると、このことはタイマの計時時間が選択表示時間に達したことで、この時点まで表示していた人物特定写真画像又は対象特定写真画像の表示を終了させることを表している。ステップSP803において主制御部20は、係る肯定結果を得ると、次のステップSP806に移る。
ステップSP806において主制御部20は、この時点までに表示していた人物特定写真画像又は対象特定写真画像に対応する音声プレイリスト51に従った検索音声データの再生を停止して、次のステップSP807に移る。
ステップSP807において主制御部20は、画像プレイリスト26に登録している写真画像データの中に未だ再生していない写真画像データが存在するか否かを判別する。
その結果、主制御部20は、画像プレイリスト26に登録している写真画像データの中に未だ再生していない写真画像データが存在して肯定結果を得ると、ステップSP801に戻る。
よって主制御部20は、この後、ステップSP807において定結果を得るまでの間、ステップSP801乃至ステップSP807の処理を循環的に繰り返し実行する。
これにより主制御部20は、複数の人物特定写真画像及び対象特定写真画像を順次切り換えて表示しながら、当該人物特定写真画像及び対象特定写真画像の表示中には、対応する音声プレイリスト51に従い検索音声データを再生して音声を聴かせることができる。
そしてステップSP807において否定結果が得られると、このことは画像プレイリスト26に登録している1又は複数の写真画像データに基づく人物特定写真画像及び対象特定写真画像を全て選択表示時間ずつ表示し終えたことを表している。
ステップSP807において主制御部20は、係る否定結果を得ると、次のステップSP808に移り画像音声再生処理サブルーチンSRT8を終了する。
これにより主制御部20は、図26について上述した、次のステップSP9に移り、上述のように画像音声再生処理手順RT1を全て終了する。
[2−5.検索理由提示処理手順]
次いで、図35及び図36に示すフローチャートを用いて、写真画像表示装置11の主制御部20が、図34について上述した画像音声再生処理サブルーチンSRT8と並行して実行する検索理由提示処理手順RT2について説明する。
主制御部20は、上述した画像音声再生処理サブルーチンSRT8を開始すると、これに応じて図35及び図36に示す検索理由提示処理手順RT2を開始する。
主制御部20は、検索理由提示処理手順RT2を開始すると、ステップSP21において、出力中の音声の検索音声データに対する検索理由を提示するか否かを判別する。
このステップSP21において否定結果が得られると、このことは例えば、ユーザが現在表示中の人物特定写真画像又は対象特定写真画像を見ながら、出力中の音声を聴いている途中であり、検索理由の提示を要求してはいないことを表している。このステップSP21において主制御部20は、係る否定結果を得ると、ステップSP22に移る。
ステップSP22において主制御部20は、画像音声再生処理が終了したか否かを判別する。このステップSP22において否定結果が得られると、このことは、未だ画像プレイリスト26に従って写真画像データを再生し人物特定写真画像又は対象特定写真画像を表示している途中であることを表している。ステップSP22において主制御部20は、係る否定結果を得ると、ステップSP21に戻る。
よって主制御部20は、この後、ステップSP21及びステップSP22の何れかで肯定結果を得るまでの間、当該ステップSP21及びステップSP22の処理を循環的に繰り返し実行する。
これにより主制御部20は、画像プレイリスト26に従って写真画像データを再生し人物特定写真画像又は対象特定写真画像を表示している間、ユーザにより出力中の音声に対する検索理由の提示が要求されることを待ち受ける。
そしてステップSP21において肯定結果が得られると、このことは例えば、ユーザが現在表示中の人物特定写真画像又は対象特定写真画像を見ながら、出力中の音声を聴いている途中で、その音声の検索理由が気になり提示を要求したことを表している。ステップSP21において主制御部20は、係る肯定結果を得ると、次のステップSP23に移る。
ステップSP23において主制御部20は、現在表示中の人物特定写真画像又は対象特定写真画像上で、このとき出力している音声の検索音声データに対する検索理由を提示して、次のステップSP24に移る。
ステップSP24において主制御部20は、検索理由の提示に引き続き、当該検索理由の提示をきっかけとして実行可能な処理を提示するか否かを判別する。
このステップSP24において肯定結果が得られると、このことは検索音声データの検索理由を確認したユーザにより、その検索理由をきっかけとして実行可能な処理がどのような処理であるのかを提示するように要求されたことを表している。ステップSP24において主制御部20は、係る肯定結果を得ると、次のステップSP25に移る。
ステップSP25において主制御部20は、現在表示中の人物特定写真画像又は対象特定写真画像上で1又は複数のアイコンにより、このとき提示していた検索理由をきっかけとして実行可能な1又は複数の処理を提示して、次のステップSP26に移る。
ステップSP26において主制御部20は、ユーザに提示した実行可能な1又は複数の処理の何れかを実行するか否かを判別する。
このステップSP26において肯定結果が得られると、このことは実行可能な1又は複数の処理を確認したユーザにより、何れかの処理を実行するように指示されたことを表している。ステップSP26において主制御部20は、係る肯定結果を得ると、次のステップSP27に移る。
ステップSP27において主制御部20は、実行可能な1又は複数の処理のうちユーザにより指示された処理を実行して、ステップSP22に移る。
ところで、上述のステップSP24において否定結果が得られると、このことはユーザに人物特定写真画像又は対象特定写真画像上で検索理由を提示したものの、その検索理由をきっかけとして実行可能な処理を提示するようには要求されていないことを表している。ステップSP24において主制御部20は、係る否定結果を得ると、ステップSP28に移る。
ステップSP28において主制御部20は、人物特定写真画像又は対象特定写真画像上で提示していた検索理由の当該提示を終了させるか否かを判別する。
このステップSP28において否定結果が得られると、このことはユーザにより、人物特定写真画像又は対象特定写真画像上での検索理由の提示を特には停止するように指示されていないことを表している。
また、係る否定結果は、この際に提示している検索理由で検索された1つの検索音声データが未だ再生処理中であることも表している。ステップSP28において主制御部20は、このような否定結果を得ると、ステップSP24に戻る。
よって主制御部20は、この後、ステップSP24及びステップSP28の何れかで肯定結果を得るまでの間、当該ステップSP24及びステップSP28の処理を循環的に繰り返し実行する。
これにより主制御部20は、表示部25に人物特定写真画像又は対象特定写真画像を表示しながら、1つの検索音声データを再生処理して音声を出力している間、人物特定写真画像又は対象特定写真画像上で当該検索音声データに対する検索理由の提示を継続する。
ところで、ステップSP28において肯定結果が得られると、このことはユーザにより、検索理由の提示を終了するように指示されたことを表している。
また、係る肯定結果は、この際に提示している検索理由で検索された1つの検索音声データの再生処理と共に当該検索音声データに基づく音声の出力が終了したことも表している。ステップSP28において主制御部20は、このような定結果を得ると、ステップSP29に移る。
ステップSP29において主制御部20は、ユーザの指示に応じて検索理由の提示を終了し、又は当該検索理由で検索された1つの検索音声データの再生処理の終了に応じて、その検索理由の提示を終了して、ステップSP22に移る。
また上述のステップSP26において否定結果が得られると、このことはユーザに人物特定写真画像又は対象特定写真画像上で、実行可能な1又は複数の処理を提示したものの、何れかの処理が実行用には指示されていないことを表している。ステップSP26において主制御部20は、係る否定結果を得ると、ステップSP30に移る。
ステップSP30において主制御部20は、人物特定写真画像又は対象特定写真画像上で提示してい実行可能な1又は複数の処理の当該提示を終了させるか否かを判別する。
このステップSP30において否定結果が得られると、このことはユーザにより、人物特定写真画像又は対象特定写真画像上での1又は複数の処理の提示を特には停止するように指示されていないことを表している。
また、係る否定結果は、実行可能な1又は複数の処理と共に提示している検索理由で検索された1つの検索音声データが未だ再生処理中であることも表している。ステップSP30において主制御部20は、このような否定結果を得ると、ステップSP26に戻る。
よって主制御部20は、この後、ステップSP26及びステップSP30の何れかで肯定結果を得るまでの間、ステップSP26及びステップSP30の処理を循環的に繰り返し実行する。
これにより主制御部20は、表示部25に人物特定写真画像又は対象特定写真画像を表示しながら、1つの検索音声データを再生して音声を出力している間、人物特定写真画像又は対象特定写真画像上で当該検索音声データの検索理由の提示と共に、当該検索理由の提示をきっかけとして実行可能な1又は複数の処理の提示を継続する。
ところで、ステップSP30において肯定結果が得られると、このことはユーザにより、実行可能な1又は複数の処理の提示を終了するように指示されたことを表している。
また、係る肯定結果は、実行可能な1又は複数の処理と共に提示している検索理由で検索された1つの検索音声データの再生処理と共に当該検索音声データに基づく音声の出力が終了したことも表している。ステップSP30において主制御部20は、このような肯定結果を得ると、次のステップSP31に移る。
ステップSP31において主制御部20は、ユーザの指示に応じて、実行可能な1又は複数の処理の提示を終了し、又は1つの検索音声データの再生処理の終了に応じて、当該実行可能な1又は複数の処理の提示を終了して、ステップSP22に移る。
そしてステップSP22において肯定結果が得られると、このことは、画像プレイリスト26に従った全ての写真画像データの再生と共に人物特定写真画像又は対象特定写真画像の表示が全て終了したことを表している。
ステップSP22において主制御部20は、係る肯定結果を得ると、ステップSP32に移り、検索理由提示処理手順RT2を終了する。
[2−6.第1の実施の形態の動作及び効果]
以上の構成において、写真画像表示装置11は、ユーザにより操作部23を介して画像音声再生機能が選択されると、画像音声再生モードに移行して、当該ユーザに操作部23を介して再生対象の写真画像データを選択させる。
この際、写真画像表示装置11は、再生対象の写真画像データに基づく写真画像に写り込んでいる人物を特定する。
また写真画像表示装置11は、その人物特定写真画像内で特定した特定人物に関する提供用人物情報に基づき、当該特定人物の嗜好を抽出する。
さらに写真画像表示装置11は、複数の音声データの中から特定人物の嗜好に合った1又は複数の音声データを検索する。
そして写真画像表示装置11は、再生対象の写真画像データに基づく人物特定写真画像の表示中の、当該検索した1又は複数の検索音声データの再生順序を規定する音声プレイリスト51を作成する。
従って写真画像表示装置11は、写真画像データを再生して人物特定写真画像を表示しながら、音声プレイリスト51に従って検索音声データを再生して、当該人物特定写真画像に写り込んでいる特定人物の嗜好に合った音声を聴かせることができる。
以上の構成によれば、写真画像表示装置11は、再生対象の写真画像データに基づく写真画像に写り込んでいる人物を特定して、当該特定した特定人物の嗜好を抽出し、当該抽出した嗜好に合った1又は複数の音声データを検索して、写真画像データに基づく人物特定写真画像の表示中の、当該検索した1又は複数の検索音声データの再生順序を規定する音声プレイリスト51を作成するようにした。これにより写真画像表示装置11は、写真画像データを再生して人物特定写真画像を表示しながら、音声プレイリスト51に従い検索音声データを再生して、当該人物特定写真画像に写り込んでいる特定人物の嗜好に合った音声を聴かせることができる。よって写真画像表示装置11は、写真画像と音声との新たな楽しみ方を提供することができる。
また写真画像表示装置11は、再生対象の写真画像データに基づく写真画像に写り込んでいる複数の人物を特定した場合、当該特定した複数の特定人物に共通な嗜好を抽出するようにした。
そして写真画像表示装置11は、複数の特定人物に共通な嗜好に合った1又は複数の音声データを検索して、当該検索した1又は複数の検索音声データを示す音声プレイリスト51を作成するようにした。
従って写真画像表示装置11は、写真画像に写り込んでいる、同一種類の音声で繋がりのある複数の人物を特定した場合、当該写真画像の表示中に複数の特定人物の共通な嗜好に合う音声として、これら複数の特定人物の繋がりの元である同一種類の音声を聴かせることができる。
すなわち、写真画像表示装置11は、写真画像内で、同一種類の音声に興味をもつもの同士が参加するグループ(吹奏楽団やロックバンド、落語サークル等)の複数の人物を特定した場合、当該写真画像の表示中に、複数の特定人物の嗜好に合いつつ、そのグループに特化した音声を聴かせることができる。
さらに写真画像表示装置11は、写真画像に写り込んでいる複数の人物を特定しても、選択表示時間が比較的長いときには、複数の特定人物それぞれの嗜好を抽出し、当該特定人物毎に嗜好に合った音声データを検索するようにした。
従って、写真画像表示装置11は、複数の特定人物が写り込んでいる人物特定写真画像の表示中には、特定人物毎の嗜好に合った音声を聴かせることができる。
これにより写真画像表示装置11は、複数の特定人物が写り込んでいる人物特定写真画像の表示中には、当該複数の特定人物をグループとして捉えたときには見えづらいものの、当該特定人物を個人として捉えたときには見えてくる嗜好に合った音声を聴かせることができる。
さらに写真画像表示装置11は、人物特定写真画像を表示しながら音声を出力しているときに、当該音声の検索理由の提示が要求されると、これに応じて検索理由を提示するようにした。
従って写真画像表示装置11は、現在聴いている音声が、現在表示中の人物特定写真画像とどのように関わるのかを容易に確認させることができる。
また写真画像表示装置11は、その際、音声の検索理由と共に、その検索のもとになった特定人物も提示するようにした。
従って写真画像表示装置11は、人物特定写真画像の表示中に聴いている音声が、どの特定人物の嗜好に合った音声であるのかも容易に確認させることができる。
<3.第2の実施の形態>
[3−1.コンテンツ再生システムの構成]
図37において、100は全体として、第2の実施の形態によるコンテンツ再生システムを示す。係るコンテンツ再生システム100は、上述したプレイリスト作成装置1の具体例であるデジタルフォトフレームと呼ばれる写真画像表示装置101を有している。
そしてコンテンツ再生システム100は、写真画像表示装置101がインターネットやLAN(Local Area Network)等のネットワーク102を介してサーバ構成の情報提供装置103と通信し得るようになされている。
[3−2.写真画像表示装置のハードウェア回路ブロックによるハードウェア構成]
次いで、図38を用いて写真画像表示装置101のハードウェア回路ブロックによるハードウェア回路構成について説明する。
写真画像表示装置101は、筐体表面やリモートコントローラに設けられた各種操作キーでなる操作入力部110がユーザによって操作されると、操作入力部110でこれを認識し、操作に応じた操作入力信号を入力処理部111に送出する。
入力処理部111は、操作入力部110から供給される操作入力信号に対して所定の処理を施すことにより、当該操作入力信号を操作コマンドに変換して中央処理ユニット(CPU:Central Processing Unit)113に送出する。
また写真画像表示装置101は、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイのようなディスプレイ114の表示面にタッチパネル115が設けられている。
そしてタッチパネル115は、その表面がタッチ操作されると、これに応じてタッチ操作によるタッチ位置を検出して中央処理ユニット113に通知する。
中央処理ユニット113は、ROM(Read Only Memory)116又はハードディスクドライブ117に予め記憶された基本プログラムやアプリケーションプログラム等の各種プログラムをRAM(Random Access Memory)118に読み出す。
そして中央処理ユニット113は、RAM118上で展開した各種プログラムに従って全体を制御すると共に、所定の演算処理や、入力処理部111から与えられる操作コマンド、及びタッチパネル115の表面のタッチ位置に応じた各種処理を実行する。
これにより中央処理ユニット113は、外部機器インタフェース120に接続されたパーソナルコンピュータやデジタルカメラ等の外部機器から画像ファイルが転送されると、当該画像ファイルを、外部機器インタフェース120を介して取り込む。そして中央処理ユニット113は、その画像ファイルをハードディスクドライブ117に送出して記憶する。
また中央処理ユニット113は、外部機器インタフェース120に接続された外部機器から音声ファイルが転送されると、当該音声ファイルを、外部機器インタフェース120を介して取り込む。そして中央処理ユニット113は、その音声ファイルをハードディスクドライブ117に送出して記憶する。
さらに中央処理ユニット113は、通信処理部121及びネットワークインタフェース122を順次介してネットワーク102に接続し、当該ネットワーク102上の情報提供装置103にアクセスすることができる。
よって中央処理ユニット113は、ユーザにより操作入力部110やタッチパネル115を介して音声購入ページ画像の取得が要求されると、ページ画像要求データを、通信処理部121及びネットワークインタフェース122を順次介して情報提供装置103に送出する。
その結果、中央処理ユニット113は、情報提供装置103からページ画像データが返信されると、当該ページ画像データをネットワークインタフェース122及び通信処理部121を順次介して受信する。
そして中央処理ユニット113は、そのページ画像データを、表示処理部124を介してディスプレイ114に送出することにより、当該ディスプレイ114にページ画像データに基づく音声購入ページ画像を表示する。
この状態で中央処理ユニット113は、例えば、ユーザによりタッチパネル115を介して音声購入ページ画像上で購入を希望する音声データが選択されると、当該選択された音声データの購入を要求するための購入要求データを生成する。
そして中央処理ユニット113は、その購入要求データを、通信処理部121及びネットワークインタフェース122を順次介して情報提供装置103に送信する。
その結果、中央処理ユニット113は、情報提供装置103から、購入を要求した音声データが音声ファイルとして送信されると、当該音声ファイルを、ネットワークインタフェース122及び通信処理部121を順次介して受信する。そして中央処理ユニット113は、その音声ファイルをハードディスクドライブ117に送出して記憶する。
このようにして中央処理ユニット113は、ハードディスクドライブ117に複数の画像ファイルや複数の音声ファイルを蓄積することができる。
中央処理ユニット113は、ユーザにより操作入力部110やタッチパネル115を介して再生対象の写真画像データが選択されると、ハードディスクドライブ117から、その選択された写真画像データが格納された画像ファイルを読み出す。
この際、中央処理ユニット113は、画像ファイルから写真画像データを取り出すと共に、当該写真画像データを、表示処理部124を介してディスプレイ114に送出する。これにより中央処理ユニット113は、ディスプレイ114に写真画像データに基づく写真画像を表示する。
また中央処理ユニット113は、この際、ユーザにより複数の写真画像データが再生対象として選択されると、これら複数の写真画像データを登録した画像プレイリストを作成する。
そして中央処理ユニット113は、その画像プレイリストに従って複数の写真画像データを順次再生してディスプレイ114に写真画像をスライドショーのように表示することもできる。
このようにして中央処理ユニット113は、ユーザに、ディスプレイ114を介して1又は複数の写真画像を見せることができる。
一方、中央処理ユニット113は、ユーザにより操作入力部110やタッチパネル115を介して再生対象の音声データが選択されると、ハードディスクドライブ117から、その選択された音声データが格納された音声ファイルを読み出す。
この際、中央処理ユニット113は、音声ファイルから音声データを取り出すと共に、当該音声データを、データ処理回路125で再生処理してスピーカ126から音声として出力する。
また中央処理ユニット113は、この際、ユーザにより複数の音声データが再生対象として選択されると、これら複数の音声データを登録した音声プレイリストを作成する。
そして中央処理ユニット113は、その音声プレイリストに従って複数の音声データをデータ処理回路125で順次再生処理してスピーカ126から複数の音声として連続的に出力することもできる。
このようにして中央処理ユニット113は、ユーザに、スピーカ126を介して1又は複数の音声を聴かせることができる。
さらに中央処理ユニット113は、ハードディスクドライブ117に電話帳データを記憶している。また中央処理ユニット113は、ハードディスクドライブ117に、写真画像表示装置11に割り当てられた電話番号やメールアドレス等を有する自局データも記憶している。
そして中央処理ユニット113は、ユーザに操作入力部110やタッチパネル115を介して例えば、電話帳データを利用して電話番号が選択され、引き続き発呼命令が入力されると、その電話番号を自局データと共に用いて発呼データを生成する。
そして中央処理ユニット113は、発呼データを、通信処理部121及びネットワークインタフェース122を順次介して、知人の通話機器(図示せず)に送信することにより、当該知人に通話機器を介してユーザからの発呼を通知する。
その結果、中央処理ユニット113は、知人が通話を許可して当該知人の通話機器との通信が確立すると、マイクロホン127を介してユーザの音声を集音し、得られる音声信号をデータ処理回路125で処理して通話用音声データを生成する。
そして中央処理ユニット113は、その通話用音声データを、通信処理部121及びネットワークインタフェース122を順次介して知人の通話機器に送信する。
また中央処理ユニット113は、この際、知人の通話機器から送信された通話用音声データを、ネットワークインタフェース122及び通信処理部121を順次介して受信する。
そして中央処理ユニット113は、その通話用音声データをデータ処理回路125で処理してスピーカ126から知人の音声として出力する。
このようにして中央処理ユニット113は、ユーザからの通話の要求に応じて知人の通話機器との通信が確立すると、当該ユーザと知人との互いの音声の通話用音声データを送受信して、ユーザと知人とを通話させることができる。
これに対し中央処理ユニット113は、知人の通話機器から送信された着呼データをネットワークインタフェース122及び通信処理部121を順次介して受信すると、その着呼データに基づき例えば、スピーカ126から着信音を出力する。
また中央処理ユニット113は、その着呼データに基づき、表示処理部124を介してディスプレイ114に、通話を要求している知人の氏名や電話番号等を表示する。これにより中央処理ユニット113は、ユーザに知人からの着呼を通知する。
その結果、中央処理ユニット113は、ユーザにより操作入力部110やタッチパネル115を介して通話が許可され、知人の通話機器との通信が確立すると、上述と同様にマイクロホン127及びデータ処理回路125を介してユーザの音声の通話用音声データを生成する。
そして中央処理ユニット113は、その通話用音声データを、通信処理部121及びネットワークインタフェース122を順次介して知人の通話機器に送信する。
また中央処理ユニット113は、この際、知人の通話機器から送信された通話用音声データを、ネットワークインタフェース122及び通信処理部121を順次介して受信する。
そして中央処理ユニット113は、その通話用音声データを上述と同様にデータ処理回路125及びスピーカ126を順次介して知人の音声として出力する。
このようにして中央処理ユニット113は、知人からの通話の要求に応じて当該知人の通話機器との通信が確立した場合も、ユーザと知人との互いの音声の通話用音声データを送受信して、ユーザと知人とを通話させることができる。
また中央処理ユニット113は、ユーザにより操作入力部110やタッチパネル115を介して電子メールの作成が要求されると、ハードディスクドライブ117からメール作成画面データを読み出す。
そして中央処理ユニット113は、メール作成画面データを、表示処理部124を介してディスプレイ114に送出して、当該ディスプレイ114に電子メール作成画面(図示せず)を表示する。
これにより中央処理ユニット113は、ユーザに操作入力部110やタッチパネル115を介して電子メール作成画面上でメール本文を入力させ、電子メールの送信相手となる知人のメールアドレスを例えば、電話帳データを利用して入力させることができる。
また中央処理ユニット113は、ユーザにより操作入力部110やタッチパネル115を介して電子メールの送信命令が入力されると、電子メール作成画面上で入力されたメール本文及びメールアドレスからなる電子メールデータを生成する。
そして中央処理ユニット113は、その電子メールデータを通信処理部121及びネットワークインタフェース122を順次介し、メールサーバ(図示せず)経由で知人の通話機器に送信する。
このようにして中央処理ユニット113は、ユーザの作成した電子メールを知人宛に送り、当該知人に、その電子メールを開封させて閲覧させることができる。
一方、中央処理ユニット113は、知人の通話機器からメールサーバ経由で送信された電子メールデータをネットワークインタフェース122及び通信処理部121を順次介して受信すると、これをハードディスクドライブ117に一旦記憶する。
そして中央処理ユニット113は、ユーザに例えば、ディスプレイ114やスピーカ126等を介して電子メールの受信を通知する。
その結果、中央処理ユニット113は、ユーザにより操作入力部110やタッチパネル115を介して電子メールの開封が指示されると、ハードディスクドライブ117から電子メールデータを読み出す。
また中央処理ユニット113は、電子メールデータを、表示処理部124を介してディスプレイ114に送出して、知人から送られてきた電子メールのメール本文や知人のメールアドレス等を表示してユーザに閲覧させることができる。
さらに中央処理ユニット113は、通信処理部121及びネットワークインタフェース122を順次介してネットワーク102に接続し、当該ネットワーク102上のコミュニティーサイトや公開用サイトにアクセスすることができる。
よって中央処理ユニット113は、ユーザにより操作入力部110やタッチパネル115を介して種々の情報のアップロードが指示されると、その情報を通信処理部121及びネットワークインタフェース122を順次介してコミュニティーサイトへ送信する。
これにより中央処理ユニット113は、ネットワーク102上のコミュニティーサイトを利用して、ユーザのプロフィールや写真、日記等を公開し、また知人にメッセージを送ること等ができる。
また中央処理ユニット113は、ユーザにより操作入力部110やタッチパネル115を介して一般公開用の情報のアップロードが指示されると、通信処理部121及びネットワークインタフェース122を順次介して公開用サイトにアクセスする。
これにより中央処理ユニット113は、ネットワーク102上の公開用サイトでユーザの日記や覚書、論評等を公開することができる。
ところで、中央処理ユニット113は、ユーザにより操作入力部110やタッチパネル115を介して情報提供装置103への利用者登録が要求されると、登録要求データを、通信処理部121及びネットワークインタフェース122を順次介して情報提供装置103に送信する。
その結果、中央処理ユニット113は、情報提供装置103から送信された個人情報入力画面データを、ネットワークインタフェース122及び通信処理部121を順次介して受信すると、これを、表示処理部124を介してディスプレイ114に送出する。
これにより中央処理ユニット113は、ディスプレイ114に個人情報入力画面(図示せず)を表示し、この状態でユーザに操作入力部110やタッチパネル115を介して個人情報入力画面上で利用者登録用の個人情報を入力させることができる。
そして中央処理ユニット113は、個人情報入力画面上で入力されたユーザの個人情報を利用者登録データとして、通信処理部121及びネットワークインタフェース122を順次介して情報提供装置103に送信する。
これにより中央処理ユニット113は、情報提供装置103に対しユーザの個人情報を記憶させて利用者登録する。
また中央処理ユニット113は、情報提供装置103にユーザを利用者登録すると、その後は、利用者登録時の個人情報を、適宜内容を一部変更し、また新たな個人情報を適宜追加するようにして更新することができる。
そして中央処理ユニット113は、ユーザを利用者登録すると、1又は複数の写真画像データを再生して写真画像を表示しながら、1又は複数の音声データを再生して音声を出力するような場合、情報提供装置103から種々の情報の提供を受けることができる。
これにより中央処理ユニット113は、この際、情報提供装置103から提供される種々の情報を用いて、写真画像の表示中に再生する1又は複数の音声データを検索すると共に、当該検索した1又は複数の音声データを示す音声プレイリストを作成する。
よって中央処理ユニット113は、1又は複数の写真画像データを再生して写真画像を表示している間は、音声プレイリストに従って音声データを再生して音声を聴かせることができる。
ところで、写真画像表示装置101は、上述したように基本的には中央処理ユニット113がROM116又はハードディスクドライブ117に記憶された各種プログラムに従って各種処理を実行すると共に、各ハードウェアを制御している。
このため、写真画像表示装置101では、図3について上述した機能回路ブロックによるハードウェア構成の写真画像表示装置11の機能に応じて、ROM116又はハードディスクドライブ117に記憶させる各種プログラムを適宜選定する。
すなわち、写真画像表示装置101では、各種プログラムを、上述した画像音声再生処理手順RT1や検索理由提示処理手順RT2を実行させるためのプレイリスト作成プログラムのように適宜選定する。
これにより写真画像表示装置101では、中央処理ユニット113を、上述した主制御部20、画像解析部34、人物特定部36、嗜好抽出部41、検索部45、プレイリスト作成部50と同様に機能させることができる。
また写真画像表示装置101では、操作入力部110、入力処理部111及びタッチパネル115を、上述した操作部23と同様に機能させることができる。
さらに写真画像表示装置101では、ハードディスクドライブ117を、上述した画像記憶部22、設定情報記憶部27、音声記憶部28、電話帳記憶部33と同様に機能させることができる。
さらに写真画像表示装置101では、通信処理部121及びネットワークインタフェース122を、上述した通信制御部29及びネットワークインタフェース30と同様に機能させることができる。
さらに写真画像表示装置101では、表示処理部124を、上述した表示制御部24と同様に機能させ、かつディスプレイ114を、上述した表示部25と同様に機能させることができる。
さらに写真画像表示装置101では、データ処理回路125及びスピーカ126を、上述した再生制御部31及び再生部32と同様に機能させることができる。
さらに写真画像表示装置101では、データ処理回路125及びマイクロホン127を、上述した集音部35と同様に機能させ、かつ外部機器インタフェース120を、上述した外部機器インタフェース21と同様に機能させることができる。
従って写真画像表示装置101は、写真画像表示装置11の機能に応じて、ROM116又はハードディスクドライブ117に記憶させる各種プログラムを適宜選定することで、写真画像表示装置11と同様に画像音声再生処理手順RT1を実行することができる。
また写真画像表示装置101は、写真画像表示装置11の機能に応じて、ROM116又はハードディスクドライブ117に記憶させる各種プログラムを適宜選定することで、写真画像表示装置11と同様に検索理由提示処理手順RT2を実行することもできる。
ところで、写真画像表示装置101では、ROM116又はハードディスクドライブ117にプレイリスト作成プログラムを予め記憶していても良い。
また写真画像表示装置101では、プレイリスト作成プログラムが記憶されたコンピュータ読取可能な記憶媒体を利用して当該プレイリスト作成プログラムをインストールするようにしても良い。
さらに写真画像表示装置101では、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体を利用して外部からプレイリスト作成プログラムをインストールするようにしても良い。
因みに、プレイリスト作成プログラムを写真画像表示装置101にインストールして実行可能な状態にするためのコンピュータ読取可能な記憶媒体としては、例えばフレキシブルディスクのようなパッケージメディアで実現しても良い。
またプレイリスト作成プログラムを写真画像表示装置101にインストールして実行可能な状態にするためのコンピュータ読取可能な記憶媒体としては、CD−ROM(Compact Disc-Read Only Memory)のようなパッケージメディアで実現しても良い。
さらにプレイリスト作成プログラムを写真画像表示装置101にインストールして実行可能な状態にするためのコンピュータ読取可能な記憶媒体としては、DVD(Digital Versatile Disc)等のパッケージメディアで実現しても良い。
さらに、係るコンピュータ読取可能な記憶媒体としては、パッケージメディアのみならず、各種プログラムが一時的もしくは永続的に記憶される半導体メモリや磁気ディスク等で実現しても良い。
また、これらコンピュータ読取可能な記憶媒体にプレイリスト作成プログラムを記憶する手段としては、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体を利用しても良い。
さらにコンピュータ読取可能な記憶媒体には、ルータやモデム等の各種通信インタフェースを介してプレイリスト作成プログラムを記憶するようにしても良い。
[3−3.情報提供装置のハードウェア回路ブロックによるハードウェア構成]
次いで、図39を用いて情報提供装置103のハードウェア回路ブロックによるハードウェア回路構成について説明する。
情報提供装置103において中央処理ユニット130は、ROM131又はハードディスクドライブ132に予め記憶されている基本プログラムやアプリケーションプログラム等の各種プログラムをRAM133に読み出す。
そして中央処理ユニット130は、RAM133上で展開した各種プログラムに従って全体を制御すると共に各種処理を実行する。
これにより中央処理ユニット130は、写真画像表示装置101から登録要求データが送信されると、当該登録要求データを、ネットワークインタフェース134及び通信処理部135を順次介して受信する。
この際、中央処理ユニット130は、ハードディスクドライブ132から個人情報入力画面データを読み出して、当該個人情報入力画面データを、通信処理部135及びネットワークインタフェース134を順次介して写真画像表示装置101に送信する。
その結果、中央処理ユニット130は、写真画像表示装置101から送信された利用者登録データを、ネットワークインタフェース134及び通信処理部135を順次介して受信すると、これに含まれる個人情報をハードディスクドライブ132に送出して記憶する。これにより中央処理ユニット130は、写真画像表示装置101のユーザを利用者登録する。
そして中央処理ユニット130は、写真画像表示装置101のユーザを利用者登録すると、その後は、利用者登録時の個人情報を、適宜内容を一部変更し、また新たな個人情報を適宜追加するようにして更新することができる。
また中央処理ユニット130は、写真画像表示装置101のユーザ以外にも、複数の人物を同様に利用者登録することができると共に、その利用者登録時に記憶した個人情報を適宜更新することができる。
さらに中央処理ユニット130は、ハードディスクドライブ132に配信用の複数の音声データをそれぞれ音声ファイルとして記憶している。
そして中央処理ユニット130は、写真画像表示装置101から送信されたページ画像要求データを、ネットワークインタフェース134及び通信処理部135を順次介して受信すると、ハードディスクドライブ132から音声購入ページ画像のページ画像データを読み出す。
そして中央処理ユニット130は、そのページ画像データを、通信処理部135及びネットワークインタフェース134を順次介して写真画像表示装置101に送信する。
その結果、中央処理ユニット130は、写真画像表示装置101から送信された購入要求データを、ネットワークインタフェース134及び通信処理部135を順次介して受信すると、ハードディスクドライブ132から、購入が希望された音声データの音声ファイルを読み出す。
そして中央処理ユニット130は、音声ファイルを、通信処理部135及びネットワークインタフェース134を順次介して写真画像表示装置101に送信する。このようにして中央処理ユニット130は、音声データを配信することができる。
また中央処理ユニット130は、音声データを解析し、その解析結果に基づいて抽出した音声イメージキーワードや、音声データに基づく音声のタイトル及び詞を自然言語処理し、その処理結果に基づいて抽出した音声内容キーワード等の種々の情報をハードディスクドライブ132に記憶している。
そして中央処理ユニット130は、写真画像表示装置101が写真画像データを再生して写真画像を表示しながら、1又は複数の音声データを再生して音声を出力するような場合、当該写真画像表示装置101に、これら種々の情報を提供することができる。
ところで、情報提供装置103は、上述したように基本的には中央処理ユニット130がROM131又はハードディスクドライブ132に記憶された各種プログラムに従って各種処理を実行すると共に、各ハードウェアを制御している。
このため情報提供装置103では、図25について上述した機能回路ブロックによるハードウェア構成の情報提供装置13の機能に応じて、ROM131又はハードディスクドライブ132に記憶させる各種プログラムを適宜選定する。
これにより情報提供装置103では、中央処理ユニット130を、上述した主制御部80と同様に機能させることができる。
また情報提供装置103では、ハードディスクドライブ132を、上述した個人情報記憶部83、辞書記憶部84、音声記憶部85、現在情報記憶部86と同様に機能させることができる。
さらに情報提供装置103では、通信処理部135及びネットワークインタフェース134を、上述した通信制御部82及びネットワークインタフェース81と同様に機能させることができる。
従って情報提供装置103は、情報提供装置13の機能に応じて、ROM131又はハードディスクドライブ132に記憶させる各種プログラムを適宜選定することにより、当該情報提供装置13と同様の処理を実行することができる。
よって情報提供装置103は、上述した第1の実施の形態による情報提供装置13と同様の効果を得ることができる。
ところで、情報提供装置103では、ROM131又はハードディスクドライブ132にプログラムを予め記憶していても良い。
また情報提供装置103では、プログラムが記憶されたコンピュータ読取可能な記憶媒体を利用して当該プログラムをインストールするようにしても良い。
さらに情報提供装置103では、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体を利用して外部からプログラムをインストールするようにしても良い。
因みに、プログラムを情報提供装置103にインストールして実行可能な状態にするためのコンピュータ読取可能な記憶媒体としては、例えばフレキシブルディスクやCD−ROM、DVD等のようなパッケージメディアで実現しても良い。
またコンピュータ読取可能な記憶媒体としては、パッケージメディアのみならず、各種プログラムが一時的もしくは永続的に記憶される半導体メモリや磁気ディスク等で実現しても良い。
さらにコンピュータ読取可能な記憶媒体にプログラムを記憶する手段としては、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体を利用しても良い。
さらにコンピュータ読取可能な記憶媒体には、ルータやモデム等の各種通信インタフェースを介してプログラムを記憶するようにしても良い。
<4.変形例>
[4−1 変形例1]
なお上述した第1及び第2の実施の形態においては、写真画像表示装置11及び101において画像音声再生モード時に再生対象の写真画像データを解析して想定領域を検出し、その検出結果をもとに人物を特定するようにした場合について述べた。
しかしながら本発明は、これに限らず、写真画像表示装置11及び101において画像ファイルを画像記憶部22及びハードディスクドライブ117に記憶したときに、写真画像データを解析して想定領域を検出し、その検出結果をもとに人物を特定しておくようにしても良い。
係る構成によれば、本発明は、画像音声再生モード時に、写真画像に写り込んでいる人物を特定する必要がない分、当該画像音声再生モード時の処理負荷を低減させることができる。
また本発明は、このような写真画像データの解析を、写真画像表示装置11及び101の依頼に応じて情報提供装置13及び103が実行するようにしても良い。
また本発明は、上述した第1及び第2の実施の形態において、写真画像に写り込んでいる人物としてユーザや当該ユーザの知人のみを特定するようにした。
しかしながら、本発明は、これに限らず、情報提供装置13を、利用者登録した種々の人物の顔特徴量と共に利用して、写真画像に写り込んでいる例えば、役者やミュージシャン、作家等の著名人のようなユーザの知人ではない人物を特定するようにしても良い。
係る構成によれば、本発明は、写真画像表示装置11及び101において、ユーザや知人が写り込んでいる写真画像を表示するときだけではなく、例えば、ネットワーク12及び102を介して一般に公開されている写真画像データを取得して写真画像を表示するときにも、その写真画像に写り込んでいる人物の嗜好に合った音声を聴かせることができる。
[4−2 変形例2]
また上述した第1及び第2の実施の形態においては、写真画像表示装置11及び101において、特定人物が所有する音声データの種類を当該特定人物の嗜好として抽出するようにした場合について述べた。
しかしながら、本発明は、これに限らず、例えば、人物毎に、当該人物が所有している音声データを解析して、音声のイメージを的確に表す特徴(すなわち、1又は複数の特徴項目が表す特徴)を検出しておく。
そして本発明は、人物毎に、当該人物が所有している音声データに基づく音声のイメージ(イメージを的確に表す特徴)を集計して、その集計結果を嗜好として抽出するようにしても良い。
また本発明は、人物毎に、当該人物が所有している音声データを解析して、音声の曲調を検出しておく。そして本発明は、人物毎に、当該人物が所有している音声データに基づく音声の曲調を集計して、その集計結果を嗜好として抽出するようにしても良い。
係る構成によれば、本発明は、特定人物の嗜好に合った音声データを、音声の種類にとらわれずに、様々な種類の音声データの中から広く検索することができる。
さらに本発明は、写真画像に写り込んでいる人物を1人だけ特定した場合、当該特定した1人の特定人物の音声データの種類別所有数のうち最も多い種類を嗜好として抽出するようにした。
しかしながら、本発明は、写真画像に写り込んでいる人物を1人だけ特定した場合、上述したグループのときと同様に、当該特定した1人の特定人物の音声データの種類別所有数を種類別全平均所有数と比較して、その比較結果をもとに嗜好を抽出するようにしても良い。
また本発明は、写真画像に写り込んでいる人物を1人だけ特定した場合、当該特定人物が所有している音声データに基づく音声のイメージや曲調の集計結果を、利用者登録した全ての人物各々が所有している音声データに基づく音声のイメージや曲調の集計結果の平均値と比較する。そして本発明は、その比較結果をもとに、1人の特定人物の嗜好を抽出するようにしても良い。
さらに本発明は、写真画像に写り込んでいる人物を複数特定した場合も、当該複数の特定人物各々が所有している音声データに基づく音声のイメージや曲調の集計結果の平均値を、利用者登録した全ての人物各々が所有している音声データに基づく音声のイメージや曲調の集計結果の平均値と比較する。そして本発明は、その比較結果をもとに、複数の特定人物の共通な嗜好を抽出するようにしても良い。
[4−3 変形例3]
また上述した第1及び第2の実施の形態においては、写真画像表示装置11及び101において、写真画像に写り込んでいる複数の人物を特定したとき、選択表示時間が比較的短いと、複数の特定人物に共通な嗜好を抽出するようにした。
そして上述した第1及び第2の実施の形態においては、写真画像表示装置11及び101において、写真画像に写り込んでいる複数の人物を特定したとき、選択表示時間が比較的長いと、複数の特定人物それぞれの嗜好を抽出するようにした場合について述べた。
しかしながら本発明は、これに限らず、写真画像表示装置11及び101において、写真画像に写り込んでいる複数の人物を特定したとき、選択表示時間が比較的短いと、複数の特定人物それぞれの嗜好を抽出するようにしても良い。
また本発明は、写真画像表示装置11及び101において、写真画像に写り込んでいる複数の人物を特定したとき、選択表示時間が比較的長いと、複数の特定人物に共通な嗜好を抽出するようにしても良い。
さらに本発明は、写真画像表示装置11及び101において、写真画像に写り込んでいる複数の人物を特定したとき、選択表示時間の長さに関わらずに、複数の特定人物に共通な嗜好のみを抽出するようにしても良い。
これに対し本発明は、写真画像表示装置11及び101において、写真画像に写り込んでいる複数の人物を特定したとき、選択表示時間の長さに関わらずに、複数の特定人物それぞれの嗜好を抽出するようにしても良い。
さらに本発明は、写真画像表示装置11及び101において、写真画像に写り込んでいる複数の人物を特定したとき、特定人物の人数と選択表示時間の長さとに応じて、複数の特定人物に共通な嗜好と、当該複数の特定人物それぞれの嗜好との何れか一方を選択的に抽出するようにしても良い。
すなわち、本発明は、係る構成の場合、写真画像表示装置11及び101において、写真画像に写り込んでいる複数の人物を特定したとき、選択表示時間が比較的短いものの、特定人物の人数が比較的少ないと、複数の特定人物それぞれの嗜好を抽出する。
より具体的には、本発明は、選択表示時間が比較的短くても、当該選択表示時間が、特定人物全員分の検索音声データを少なくとも1つずつ再生し得るような長さであると、複数の特定人物それぞれの嗜好を抽出する。
また本発明は、係る構成の場合、写真画像表示装置11及び101において、写真画像に写り込んでいる複数の人物を特定したとき、選択表示時間が比較的長いものの、特定人物の人数が比較的多いと、複数の特定人物に共通な嗜好を抽出する。
より具体的には、本発明は、選択表示時間が比較的長くても、当該選択表示時間が、特定人物全員分の検索音声データを少なくとも1つずつ再生し得る長さに満たないと、複数の特定人物に共通な嗜好を抽出する。
このように本発明は、写真画像に写り込んでいる複数の人物を特定した場合、当該複数の特定人物の嗜好の抽出の仕方については、種々の手法を適用することができる。
[4−4 変形例4]
さらに上述した第1及び第2の実施の形態においては、写真画像表示装置11及び101において、検索音声リスト47及び選択表示時間に基づき再生対象の1又は複数の検索音声データを選定して音声プレイリスト51を作成するようにした場合について述べた。
しかしながら本発明は、これに限らず、写真画像表示装置11及び101において、画像プレイリスト26及び音声プレイリスト51を作成する毎に、これらを作成履歴として記憶しておく。
そして本発明は、写真画像表示装置11及び101が画像音声再生モードにおいて音声プレイリスト51を作成する場合、作成履歴に基づき、過去に同一の写真画像データについて音声プレイリスト51を作成していたか否かを判別する。
そして本発明は、過去にも今回と同一の写真画像データについて音声プレイリスト51を作成している場合には、過去の音声プレイリスト51に登録した検索音声データとは重複しないように、今回の検索音声データを選定して音声プレイリスト51を作成するようにしても良い。
係る構成によれば、本発明は、画像音声再生モード時、過去に再生対象として選択された写真画像データが、再生対象として再び選択されても、その写真画像データを再生して写真画像を表示する際、過去とは異なる検索音声データを再生することができる。
これにより本発明は、画像音声再生処理を実行した場合、いつも同じ検索音声データを再生することを大幅に回避することができ、画像と音声との新たな楽しみ方を十分に享受させることができる。
[4−5 変形例5]
さらに上述した第1及び第2の実施の形態においては、本発明のプレイリスト作成装置を、図1乃至図39について上述したプレイリスト作成装置1、写真画像表示装置11及び101に適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、パーソナルコンピュータや携帯電話機、PDA(Personal Digital Assistance)、ゲーム機器等のように、この他種々の構成のプレイリスト作成装置に適用することができる。
また本発明は、ネットワーク上のサーバ装置や情報提供装置13及び103をプレイリスト作成装置に適用することもできる。すなわち、本発明は、写真画像表示装置11及び101が上述した画像音声再生処理手順RT1を実行するようにした。
しかしながら、本発明は、写真画像表示装置11及び101が画像音声再生モード時、写真画像データの解析から音声プレイリストの作成まで(すなわち、上述の画像音声再生処理手順RT1のステップSP1からステップSP7までの処理)をサーバ装置や情報提供装置13及び103に依頼して実行する。
そして本発明は、写真画像表示装置11及び101が画像音声再生モード時、情報提供装置13及び103から、その作成した音声プレイリストを取得するようにしても良い。
[4−6 変形例6]
さらに上述した第1及び第2の実施の形態においては、画像データに基づく画像に写り込んでいる人物を特定する人物特定部として、図1乃至図39について上述した写真画像データに基づく写真画像に写り込んでいる人物を特定する人物特定部2、36及び中央処理ユニット113を適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、動画像データに基づく動画像や、3次元立体画像データに基づく3次元立体画像に写り込んでいる人物を特定する人物特定部や、画像データに基づく画像に写り込んでいる人物を特定するハードウェア構成の人物特定回路等のように、この他種々の構成の人物特定部を広く適用することができる。
[4−7 変形例7]
さらに上述した第1及び第2の実施の形態においては、人物特定部により特定された人物の嗜好を抽出する嗜好抽出部として、図1乃至図39について上述した嗜好抽出部3、41及び中央処理ユニット113を適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、人物特定部により特定された人物の嗜好を抽出するハードウェア構成の嗜好抽出回路等のように、この他種々の構成の嗜好抽出部を広く適用することができる。
[4−8 変形例8]
さらに上述した第1及び第2の実施の形態においては、嗜好抽出部により抽出された嗜好に基づき、当該嗜好に合った音声の音声データを検索する検索部として、図1乃至図39について上述した検索部4、45及び中央処理ユニット113を適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、嗜好抽出部により抽出された嗜好に基づき、当該嗜好に合った音声の音声データを検索するハードウェア構成の検索回路等のように、この他種々の構成の検索部を広く適用することができる。
[4−9 変形例9]
さらに上述した第1及び第2の実施の形態においては、画像データに基づく画像の表示中の、検索部により検索された音声データの再生順序を規定するプレイリストを作成するプレイリスト作成部として、図1乃至図39について上述したプレイリスト作成部5、50及び中央処理ユニット113を適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、画像データに基づく画像の表示中の、検索部により検索された音声データの再生順序を規定するプレイリストを作成するハードウェア構成のプレイリスト作成回路等のように、この他種々の構成のプレイリスト作成部を広く適用することができる。
[4−10 変形例10]
さらに上述した第1及び第2の実施の形態においては、画像データに基づく画像の表示時間を選択するために用いられる操作部として、図1乃至図39について上述した操作部23、操作入力部110、入力処理部111及びタッチパネル115を適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、マウスやジョイスティック等のポインティングデバイス、操作ダイヤル等のように、この他種々の構成の操作部を広く適用することができる。
[4−11 変形例11]
さらに上述した第1及び第2の実施の形態においては、プレイリストに従った音声データの再生中に、当該音声データの検索理由を提示する提示部として、図1乃至図39について上述した主制御部20及び表示部25、中央処理ユニット113及びディスプレイ114を適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、検索理由を音声で提示する提示部や、プレイリストに従った音声データの再生中に、当該音声データの検索理由を提示するハードウェア構成の提示回路等のように、この他種々の構成の提示部を広く適用することができる。
本発明は、デジタルフォトフレームやパーソナルコンピュータ、携帯電話機等のプレリスト作成装置に利用することができる。
1……プレイリスト作成装置、2、36……人物特定部、3、41……嗜好抽出部、4、45……検索部、5、50……プレイリスト作成部、10、100……コンテンツ再生システム、11、101……写真画像表示装置、13、103……情報提供装置、20、80……主制御部、23……操作部、25……表示部、31……再生制御部、32……再生部、51……音声プレイリスト、60、63、66……人物特定写真画像、110……操作入力部、111……入力処理部、113、130……中央処理ユニット、114……ディスプレイ、115……タッチパネル、RT1……画像音声再生処理手順、RT2……検索理由提示処理手順、SRT1……画像プレイリスト作成処理サブルーチン、SRT2……画像解析処理サブルーチン、SRT3……被写体特定処理サブルーチン、SRT4……嗜好抽出処理サブルーチン、SRT5……検索条件リスト生成処理サブルーチン、SRT6……検索処理サブルーチン、SRT7……音声プレイリスト作成処理サブルーチン、SRT8……画像音声再生処理サブルーチン。

Claims (7)

  1. 画像データに基づく画像に写り込んでいる人物を特定する人物特定部と、
    上記人物特定部により特定された上記人物の嗜好を抽出する嗜好抽出部と、
    上記嗜好抽出部により抽出された上記嗜好に基づき、当該嗜好に合った音声の音声データを検索する検索部と、
    上記画像データに基づく上記画像の表示中の、上記検索部により検索された上記音声データの再生順序を規定するプレイリストを作成するプレイリスト作成部と、
    上記画像データに基づく上記画像の表示時間を選択するために用いられる操作部と
    を具え、
    上記嗜好抽出部は、
    上記人物特定部により、上記画像データに基づく上記画像に写り込んでいる複数の人物が特定された場合、上記操作部を介して選択された上記表示時間に応じて、上記複数の人物に共通な上記嗜好と、当該複数の人物それぞれの上記嗜好との何れか一方を抽出する
    プレイリスト作成装置。
  2. 上記検索部は、
    上記嗜好抽出部により抽出された上記嗜好と、現在の状況を示す現在情報とに基づき、上記嗜好及び上記現在情報に合った上記音声の上記音声データを検索する
    請求項1に記載のプレイリスト作成装置。
  3. 上記プレイリストに従った上記音声データの再生中に、当該音声データの検索に使用された上記嗜好を有する上記人物を提示する人物提示部
    を具える請求項1又は請求項2に記載のプレイリスト作成装置。
  4. 上記プレイリストに従った上記音声データの再生中に、当該音声データの検索理由を提示する理由提示部
    を具える請求項1乃至請求項3の何れかに記載のプレイリスト作成装置。
  5. 上記理由提示部による上記検索理由の提示をきっかけとして実行可能な1又は複数の処理を通知する通知部
    を具える請求項4に記載のプレイリスト作成装置。
  6. 人物特定部が、画像データに基づく画像に写り込んでいる人物を特定する人物特定ステップと、
    嗜好抽出部が、上記人物特定ステップで上記人物特定部により特定された上記人物の嗜好を抽出する嗜好抽出ステップと、
    検索部が、上記嗜好抽出ステップで上記嗜好抽出部により抽出された上記嗜好に基づき、当該嗜好に合った音声の音声データを検索する検索ステップと、
    プレイリスト作成部が、上記画像データに基づく上記画像の表示中の、上記検索ステップで上記検索部により検索された上記音声データの再生順序を規定するプレイリストを作成するプレイリスト作成ステップと
    を具え、
    上記嗜好抽出ステップは、
    上記嗜好抽出部が、上記人物特定ステップで上記人物特定部により上記画像データに基づく上記画像に写り込んでいる複数の人物特定された場合、上記画像データに基づく上記画像の表示用に選択された表示時間に応じて、上記複数の人物に共通な上記嗜好と、当該複数の人物それぞれの上記嗜好との何れか一方を抽出する
    プレイリスト作成方法。
  7. コンピュータ
    画像データに基づく画像に写り込んでいる人物を特定する人物特定
    上記人物特定部により特定した上記人物の嗜好を抽出する嗜好抽出
    上記嗜好抽出部により抽出した上記嗜好に基づき、当該嗜好に合った音声の音声データを検索する検索
    上記画像データに基づく上記画像の表示中の、上記検索部により検索した上記音声データの再生順序を規定するプレイリストを作成するプレイリスト作成
    として機能せ、
    上記嗜好抽出部としては、
    上記人物特定部により上記画像データに基づく上記画像に写り込んでいる複数の人物を特定した場合、上記画像データに基づく上記画像の表示用に選択された表示時間に応じて、上記複数の人物に共通な上記嗜好と、当該複数の人物それぞれの上記嗜好との何れか一方を抽出する
    ように機能させるためのプレイリスト作成プログラム。
JP2011073282A 2011-03-29 2011-03-29 プレイリスト作成装置、プレイリスト作成方法及びプレイリスト作成プログラム Expired - Fee Related JP5779938B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011073282A JP5779938B2 (ja) 2011-03-29 2011-03-29 プレイリスト作成装置、プレイリスト作成方法及びプレイリスト作成プログラム
US13/419,840 US8799283B2 (en) 2011-03-29 2012-03-14 Apparatus and method for playlist creation based on liking of person specified in an image
CN2012100783233A CN102737091A (zh) 2011-03-29 2012-03-22 播放列表建立设备、方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011073282A JP5779938B2 (ja) 2011-03-29 2011-03-29 プレイリスト作成装置、プレイリスト作成方法及びプレイリスト作成プログラム

Publications (2)

Publication Number Publication Date
JP2012209724A JP2012209724A (ja) 2012-10-25
JP5779938B2 true JP5779938B2 (ja) 2015-09-16

Family

ID=46928635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011073282A Expired - Fee Related JP5779938B2 (ja) 2011-03-29 2011-03-29 プレイリスト作成装置、プレイリスト作成方法及びプレイリスト作成プログラム

Country Status (3)

Country Link
US (1) US8799283B2 (ja)
JP (1) JP5779938B2 (ja)
CN (1) CN102737091A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014203870A1 (ja) * 2013-06-17 2014-12-24 ヤマハ株式会社 演奏システム、演奏方法及び演奏プログラム
GB2518665A (en) * 2013-09-27 2015-04-01 Nokia Corp Media content management
EP2879047A3 (en) * 2013-11-28 2015-12-16 LG Electronics Inc. Mobile terminal and controlling method thereof
US10261964B2 (en) 2016-01-04 2019-04-16 Gracenote, Inc. Generating and distributing playlists with music and stories having related moods
JP6859221B2 (ja) * 2017-07-13 2021-04-14 フォルシアクラリオン・エレクトロニクス株式会社 車載装置、嗜好特定方法
US11657082B2 (en) * 2018-10-08 2023-05-23 Google Llc Systems and methods for displaying media files

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219446A (ja) * 1998-02-03 1999-08-10 Matsushita Electric Ind Co Ltd 映像音響再生システム
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
JP4221308B2 (ja) * 2004-01-15 2009-02-12 パナソニック株式会社 静止画再生装置、静止画再生方法及びプログラム
GB2410359A (en) * 2004-01-23 2005-07-27 Sony Uk Ltd Display
JP4350635B2 (ja) * 2004-11-09 2009-10-21 オリンパス株式会社 画像記録再生システム及び電子アルバム作成システム
CN100533477C (zh) * 2005-02-03 2009-08-26 日本先锋公司 图像编辑装置、图像编辑方法
US20070008321A1 (en) * 2005-07-11 2007-01-11 Eastman Kodak Company Identifying collection images with special events
US20070098303A1 (en) * 2005-10-31 2007-05-03 Eastman Kodak Company Determining a particular person from a collection
JP4755499B2 (ja) 2006-01-25 2011-08-24 オリンパスイメージング株式会社 コンテンツ再生装置
US7711145B2 (en) * 2006-01-27 2010-05-04 Eastman Kodak Company Finding images with multiple people or objects
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
FR2916866A1 (fr) * 2007-05-29 2008-12-05 Thomson Licensing Sas Procede de creation et reproduction d'une image panoramique sonore, et appareil de reproduction d'une telle image
US8218033B2 (en) * 2007-09-10 2012-07-10 Sanyo Electric Co., Ltd. Sound corrector, sound recording device, sound reproducing device, and sound correcting method
US8094891B2 (en) * 2007-11-01 2012-01-10 Sony Ericsson Mobile Communications Ab Generating music playlist based on facial expression
JP2009117973A (ja) 2007-11-02 2009-05-28 Fujifilm Corp 再生装置および再生方法
JP4548495B2 (ja) * 2008-02-22 2010-09-22 ソニー株式会社 情報処理置および方法、並びにプログラム
JP2009266005A (ja) * 2008-04-25 2009-11-12 Clarion Co Ltd 画像検索方法、画像検索プログラム、楽曲再生装置、および楽曲検索用物品
JP2010021819A (ja) * 2008-07-11 2010-01-28 Casio Comput Co Ltd 画像表示装置、画像表示方法、及び、プログラム
US8416988B2 (en) * 2008-12-24 2013-04-09 David Matsumoto Systems and methods for analyzing facial expressions, identifying intent and transforming images through review of facial expressions
JP4900739B2 (ja) * 2009-09-04 2012-03-21 カシオ計算機株式会社 電子写真立て、その制御方法及びプログラム
JP2011065277A (ja) * 2009-09-15 2011-03-31 Toshiba Corp 電子機器、画像表示方法およびコンテンツ再生プログラム
US8634701B2 (en) * 2009-12-04 2014-01-21 Lg Electronics Inc. Digital data reproducing apparatus and corresponding method for reproducing content based on user characteristics
US8611678B2 (en) * 2010-03-25 2013-12-17 Apple Inc. Grouping digital media items based on shared features

Also Published As

Publication number Publication date
US8799283B2 (en) 2014-08-05
US20120254168A1 (en) 2012-10-04
CN102737091A (zh) 2012-10-17
JP2012209724A (ja) 2012-10-25

Similar Documents

Publication Publication Date Title
JP5520585B2 (ja) 情報処理装置
CN107111642B (zh) 用于创建收听日志和音乐库的系统和方法
KR101770857B1 (ko) 부가 설명된 정보의 생성 및 전파
CN108235765A (zh) 一种故事相册的显示方法及装置
WO2006106596A1 (ja) コンテンツ再生装置およびコンテンツ再生方法
JP5779938B2 (ja) プレイリスト作成装置、プレイリスト作成方法及びプレイリスト作成プログラム
US20080028294A1 (en) Method and system for managing and maintaining multimedia content
US20140165010A1 (en) Digital audio communication system with improved interface
CN104199876B (zh) 关联乐曲与图片的方法和装置
JP5066963B2 (ja) データベース構築装置
JP2009175739A5 (ja)
CN105335414B (zh) 音乐推荐方法、装置及终端
US11093544B2 (en) Analyzing captured sound and seeking a match for temporal and geographic presentation and navigation of linked cultural, artistic, and historic content
CN106462595A (zh) 内容管理方法及用于其的云服务器
JP2006024060A (ja) 情報取得利用管理装置および情報取得利用管理方法
JP5779492B2 (ja) 入力補助装置、入力補助システムおよび入力補助方法
US10909999B2 (en) Music selections for personal media compositions
JP5064917B2 (ja) 電子アルバムシステム及び電子アルバム作成方法
US20130204414A1 (en) Digital audio communication system
KR20120111855A (ko) 사용자 정보에 따른 스토리 생성 장치 및 방법
WO2020158536A1 (ja) 情報処理システム、情報処理方法および情報処理装置
JP4133211B2 (ja) 情報提供装置、情報提供システム、それらの方法、それらの方法を実現するプログラム、および記録媒体
EP4099184A1 (en) Automatic media asset suggestions for presentations of selected user media items
KR102165339B1 (ko) 전자장치에서 콘텐츠 재생 방법 및 장치
CN117171119A (zh) 用于填充共享数字资产库的智能共享选项

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150629

R151 Written notification of patent or utility model registration

Ref document number: 5779938

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees