JP2011217209A - 電子機器、コンテンツ推薦方法及びプログラム - Google Patents
電子機器、コンテンツ推薦方法及びプログラム Download PDFInfo
- Publication number
- JP2011217209A JP2011217209A JP2010084667A JP2010084667A JP2011217209A JP 2011217209 A JP2011217209 A JP 2011217209A JP 2010084667 A JP2010084667 A JP 2010084667A JP 2010084667 A JP2010084667 A JP 2010084667A JP 2011217209 A JP2011217209 A JP 2011217209A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- meta information
- information
- image content
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】ユーザにより撮影された複数の動画像コンテンツから、ユーザが真に視聴を望む可能性が高い動画像を極力推薦すること。
【解決手段】PVRのレコメンド計算部32は、ユーザにより撮影された動画像から複数の下位メタ情報を抽出し、当該複数の下位メタ情報を解析して上位メタ情報を導出し、再生中の動画像の上位メタ情報と、それ以外の動画像の上位メタ情報とを基に、当該再生中の動画像以外の動画像のそれぞれについてスコアを算出し、当該スコアを基に、推薦動画像一覧を作成して当該一覧を、再生中の動画像の再生が終了した時点で出力する。
【選択図】図7
【解決手段】PVRのレコメンド計算部32は、ユーザにより撮影された動画像から複数の下位メタ情報を抽出し、当該複数の下位メタ情報を解析して上位メタ情報を導出し、再生中の動画像の上位メタ情報と、それ以外の動画像の上位メタ情報とを基に、当該再生中の動画像以外の動画像のそれぞれについてスコアを算出し、当該スコアを基に、推薦動画像一覧を作成して当該一覧を、再生中の動画像の再生が終了した時点で出力する。
【選択図】図7
Description
本発明は、ユーザが撮影した動画像コンテンツの中から、ユーザが視聴を望むと思われる動画像コンテンツを推薦して再生させることが可能な電子機器、当該電子機器におけるコンテンツ推薦方法及びプログラムに関する。
従来から、ある動画像コンテンツ(以下、単に動画像または動画と称する)の視聴者が次に関心をもちそうな動画像をレコメンドする技術は、例えば下記非特許文献1などで利用されている。
レコメンドの技術では、動画に関連付けしたタイトル・タグ・説明を示す「タグ情報」、「視聴者の評価」、「視聴者の行動履歴」といった情報が利用されている。「タグ情報」とは、動画の作者が動画に関係すると思った情報であり、作者に入力してもらう必要がある。このタグ情報は、情報の自由度は高いが、作者の主観で決まるため、同じような動画でも必ずしも他の人と一致するとは限らない。「視聴者の評価」とは、視聴者の動画に対する評価情報である。例えば、よい、普通、悪いなどがある。この情報は視聴者に入力してもらう必要がある。「視聴者の行動履歴」とは、最後まで再生した、途中で別な動画に移動した、どの動画から遷移してきたといった情報であり、この情報は視聴者に入力してもらう必要はない。
レコメンドの技術には、主に「ルールベース」、「コンテンツベース」、「協調フィルタリング」といった方式が存在する。
「ルールベース」とは、"AならばBを推薦する"というようにあらかじめ推薦ルールを決めておく技術である。この技術には「タグ情報」が利用されている。そのため、扱う情報が多くなるとルール設定のメンテナンスや入力の手間がかかる。また、タグ情報がない場合は、うまく動作しない。
「コンテンツベース」とは、動画と動画の類似度を計測し、似ている動画を推薦する技術である。この技術では「タグ情報」が利用される。そのため、タグ情報に変化がなければ、同じようなコンテンツが推薦される可能性が高くなる。また、タグ情報がない場合は、うまく動作しない。
「協調フィルタリング」とは、動画の中身に関係なく「視聴者の評価」、「視聴者の行動履歴」といった情報からユーザ間の嗜好の類似度を計算し、類似度高いユーザを参考に、まだ見ていない動画の推薦を行う技術である。また、ユーザの嗜好の類似度を計算するユーザベースの方法とは別に、「視聴者の評価」、「視聴者の行動履歴」から動画の類似度を計算するコンテンツベースの方法も存在する。どちらの方法にせよ、動画の中身に関係ない部分から推薦であるため意外性のあるコンテンツが推薦される可能性がある。しかし、これはユーザの履歴が十分に蓄積されないと十分な結果は期待できない。
"YouTube", インターネット<URL:http://www.youtube.com>
Understanding Video Events: A Survey of Methods for Automatic Interpretation of Semantic Occurrences in Video, Gal Lavee, Ehud Rivlin, and Michael Rudzsky, IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS-PART C: APPLICATIONS AND REVIEWS, VOL. 39, NO. 5, September 2009
Event Mining in Multimedia Streams: Research on identifying and analyzing events and activities in media collectionshad led to new technologies and systems, Lexing Xie, Hari Sundaram, and Murray Campbell, Proceedings of the IEEE | Vol. 96, No. 4, April 2008
上記の技術は一般的に、不特定多数のユーザが、多くの動画を視聴する場合に利用されている。そのため、ユーザにより撮影された動画像(パーソナルコンテンツ)のレコメンドに上記各技術を適用する場合、以下の問題があげられる。
「ルールベース」では、利用者が「タグ情報」を利用しているため、扱う情報が多くなるとルール設定が複雑となる。また、「タグ情報」が主観的な情報のためにルールがうまく動作しない可能性もある。
「コンテンツベース」でも、「ルールベース」と同じく「タグ情報」を利用しているが、こちらは同じ人が「タグ情報」を付加している場合には問題にはならない。しかし、複数人で「タグ情報」を付加している場合は、主観に差があるため、類似度がうまく計測できない。
「協調フィルタリング」では、不特定多数での視聴がないために、比較するユーザの履歴が十分に蓄積されない。そのために、十分な結果は期待できない。また、これを補うために、インターネットを利用して、履歴を集めるという方法も考えられるが、パーソナルコンテンツの場合、他のユーザが同じコンテンツを見ることはないため、この方法に活用できない。
以上のような事情に鑑み、本発明の目的は、ユーザにより撮影された複数の動画像コンテンツから、ユーザが真に視聴を望む可能性が高い動画像を極力推薦することが可能な電子機器、コンテンツ推薦方法及びプログラムを提供することにある。
上記目的を達成するため、本発明の一形態に係る電子機器は、記憶部と、再生部と、制御部と、出力部とを有する。上記記憶部は、ユーザにより撮影された複数の動画像コンテンツを記憶する。上記再生部は、上記記憶された複数の動画像コンテンツを再生する。上記制御部は、上記各動画像データを解析して複数の下位メタ情報を抽出し、当該抽出された複数の下位メタ情報を解析して上位メタ情報を導出する。また制御部は、上記複数の動画像コンテンツのうち、再生中の第1の動画像コンテンツの上記上位メタ情報と、当該第1の動画像コンテンツ以外の複数の第2の動画像コンテンツの上記上位メタ情報とを基に、上記各第2の動画像コンテンツに対するスコアをそれぞれ算出する。上記出力部は、上記第1の動画像コンテンツの再生終了後に、上記算出されたスコアに応じて、少なくとも1つの上記第2の動画像コンテンツを推薦するための推薦情報を出力する。
これにより電子機器は、ユーザにより撮影された動画像コンテンツから複数の下位メタ情報を抽出し、さらにそれらから上位メタ情報を導出して、当該上位メタ情報の類似度とを基に推薦コンテンツを決定することができる。したがって電子機器は、ユーザにより撮影された複数の動画像コンテンツから、タグ情報等のメタ情報を別途ユーザに付加してもらわなくとも、ユーザが真に視聴を望む動画像コンテンツを推薦することができる。
上記記憶部は、上記スコアを算出するための、上記上位メタ情報毎に異なる複数のルール情報を記憶してもよい。この場合上記制御部は、上記記憶された複数のルール情報から、上記第1の動画像コンテンツの上位メタ情報に対応する上記ルール情報を抽出し、当該抽出された上記ルール情報との合致度として上記スコアを算出してもよい。
これにより電子機器は、上記上位メタ情報毎にルール情報を生成することで、従来のルールベースのレコメンド方式を用いながら、従来のような主観的なタグ情報を用いる場合に比べて、ルールの増加や複雑性を抑えることができる。
上記制御部は、上記第1の動画像コンテンツの上位メタ情報に対応する上記ルール情報が抽出されなかった場合に、当該第1の動画像コンテンツの上記上位メタ情報を複数の上記下位メタ情報に展開し、当該展開された各下位メタ情報の全てに合致するルール情報を抽出してもよい。
これにより電子機器は、木構造を利用して上位メタ情報を下位メタ情報へ展開して、下位メタ情報を基にルール情報を検索することで、上位メタ情報に合致するルール情報が存在しなかった場合でも、ユーザが視聴を望む動画像コンテンツを推薦することができる。
上記記憶部は、上記再生された動画像コンテンツの再生回数を示す情報と、当該再生された動画像コンテンツの直後に再生された動画像コンテンツに関する情報とを含む再生履歴情報を、当該再生された動画像コンテンツの上位メタ情報と対応付けて記憶してもよい。この場合上記制御部は、上記第1の動画像コンテンツの上位メタ情報と、上記記憶された再生履歴情報とを基に、上記各第2の動画像コンテンツが、上記第1の動画像コンテンツの直後に再生される確率として上記スコアを算出してもよい。
これにより電子機器は、上記メタ情報毎に視聴履歴情報を記憶することで、動画像のタイトル等の単位で視聴履歴情報を記憶する場合に比べて視聴履歴情報が分散するのを防ぎ、従来の協調フィルタリングに類似した方式を用いながら、不特定多数の視聴履歴情報を記憶することなく、高い精度でレコメンドを行うことができる。
上記記憶部は、上記再生された動画像コンテンツの再生回数を示す情報を含む再生履歴情報を、当該再生された動画像コンテンツの上位メタ情報と対応付けて記憶してもよい。この場合上記制御部は、上記第1の動画像コンテンツ及び上記第2の動画像コンテンツ各上位メタ情報をそれぞれ複数の上記下位メタ情報に展開してもよい。さらに制御部は、上記第1の動画像コンテンツの各下位メタ情報のいずれかに合致する下位メタ情報を有する上記第2の動画像コンテンツの、上記下位メタ情報毎の再生回数を合計することで上記スコアを算出してもよい。
これにより電子機器は、上位メタ情報毎の視聴履歴情報が十分に蓄積されていない場合でも、上位メタ情報から展開された下位メタ情報毎に再生回数をカウントすることで、実質的に再生履歴情報を増やすことができ、それによりレコメンドを実行することができる。
上記上位メタ情報は、複数の構成要素から構成されてもよい。この場合上記制御部は、上記上位メタ情報を上記構成要素毎に複数の部分上位メタ情報に分解し、当該分解された各部分上位メタ情報の複数の組み合わせ毎に上記スコアを算出してもよい。この場合上記出力部は、上記組み合わせ毎に推薦情報を出力してもよい。
これにより電子機器は、上位メタ情報が導出された後も、部分上位メタ情報の組み合わせ毎のスコア算出を可能とすることで、ユーザの要望に応じて柔軟にレコメンドを行うことができる。
本発明の他の形態に係るコンテンツ推薦方法は、ユーザにより撮影された複数の動画像コンテンツを記憶することを含む。上記記憶された複数の動画像コンテンツが再生される。上記各動画像データが解析され、複数の下位メタ情報が抽出される。さらに上記抽出された複数の下位メタ情報が解析され、上位メタ情報が導出される。上記複数の動画像コンテンツのうち、再生中の第1の動画像コンテンツの上記上位メタ情報と、当該第1の動画像コンテンツ以外の複数の第2の動画像コンテンツの上記上位メタ情報とを基に、上記各第2の動画像コンテンツに対するスコアがそれぞれ算出される。上記第1の動画像コンテンツの再生終了後に、上記算出されたスコアに応じて、少なくとも1つの上記第2の動画像コンテンツを推薦するための推薦情報が出力される。
本発明のまた別の形態に係るプログラムは、電子機器に、記憶ステップと、再生ステップと、抽出ステップと、導出ステップと、算出ステップと、出力ステップとを実行させる。上記記憶ステップでは、ユーザにより撮影された複数の動画像コンテンツが記憶される。上記再生ステップでは、上記記憶された複数の動画像コンテンツが再生される。上記抽出ステップでは、上記各動画像データが解析され複数の下位メタ情報が抽出される。上記導出ステップでは、上記抽出された複数の下位メタ情報が解析され上位メタ情報が導出される。上記算出ステップでは、上記複数の動画像コンテンツのうち、再生中の第1の動画像コンテンツの上記上位メタ情報と、当該第1の動画像コンテンツ以外の複数の第2の動画像コンテンツの上記上位メタ情報とを基に、上記各第2の動画像コンテンツに対するスコアがそれぞれ算出される。上記出力ステップでは、上記第1の動画像コンテンツの再生終了後に、上記算出されたスコアに応じて、少なくとも1つの上記第2の動画像コンテンツを推薦するための推薦情報が出力される。
以上説明したように、本発明によれば、ユーザにより撮影された複数の動画像コンテンツから、ユーザが真に視聴を望む可能性が高い動画像を極力推薦することができる。
以下、図面を参照しながら、本発明の実施形態を説明する。
[PVRのハードウェア構成]
図1は、本発明の一実施形態に係るPVR(Personal Video Recorder)のハードウェア構成を示す図である。
図1は、本発明の一実施形態に係るPVR(Personal Video Recorder)のハードウェア構成を示す図である。
同図に示すように、このPVR100は、デジタルチューナ1、復調部2、デマルチプレクサ3、デコーダ4、記録再生部5、HDD(Hard Disk Drive)8、光ディスクドライブ9、通信部11を有する。またPVR100は、CPU(Central Processing Unit)12、フラッシュメモリ13、RAM(Random Access Memory)14を有する。さらにPVR100は、操作入力部15、グラフィック制御部16、映像D/A(Digital/Analog)コンバータ17、音声D/A(Digital/Analog)コンバータ18及び外部インタフェース19を有する。
デジタルチューナ1は、CPU12の制御に従って、アンテナAを介してデジタル放送の特定のチャンネルを選局して、番組のデータを含む放送信号を受信する。この放送信号は、例えばMPEG−2 TSフォーマットで符号化されたMPEGストリーム(TS:トランスポートストリーム)であるが、このフォーマットに限られるものではない。復調部2は、変調された当該放送信号を復調する。
デマルチプレクサ3は、多重化された上記放送信号を、映像信号、音声信号、字幕信号、SI(Service Information)信号等の各信号に分離し、デコーダ4へ供給する。
デコーダ4は、デマルチプレクサ3で分離された映像信号、音声信号、字幕信号、SI信号をそれぞれデコードする。デコードされた各信号は記録再生部5へ供給される。
記録再生部5は、記録部6及び再生部7を有する。記録部6は、デコーダ4によりデコードされ入力された映像信号及び音声信号を一時的に蓄積して、タイミングやデータ量を制御しながらHDD8や光ディスクドライブ9に出力して記録させる。また記録部6は、HDD8に記録されたコンテンツを読み出して光ディスクドライブ9に出力し、光ディスク10に記録させることも可能である。再生部7は、HDD8や光ディスク10に記録された映像コンテンツの映像信号及び音声信号を読み出し、タイミングやデータ量を制御しながらデコーダ4へ出力して再生させる。
HDD8は、デジタルチューナ1を介して受信した番組や、通信部11によりネットワーク50を介して受信される種々のコンテンツ、ユーザにより撮影された動画像や静止画像等のコンテンツデータを内蔵のハードディスクに記憶する。これらの記憶されたコンテンツが再生される際には、HDD8は、これらのデータを上記ハードディスクから読み出し、記録再生部5へ出力する。
またHDD8は、各種プログラムやその他のデータ等を記憶する場合もある。これらのプログラムやデータは、それらの実行時及び参照時に、CPU12の指令によりHDD8から読み出され、RAM14へ展開される。
光ディスクドライブ9は、上記HDD8と同様に、当該装着された光ディスク10に上記番組コンテンツ等の各種データを記録し、また記録されたデータを読み出すことが可能である。また上記各種プログラムは、これら光ディスク10等の可般性の記録媒体に記録され、光ディスクドライブ9によりPVR100にインストールされてもよい。光ディスクは例えばBD(Blu-ray Disc)、DVD(Digital Versatile Disc)、CD(Compact Disc)等である。
通信部11は、上記ネットワーク50に接続してTCP/IP(Transmission Control Protocol / Internet Protocol)等のプロトコルによりネットワーク50上の他の装置とデータのやり取りを行うためのネットワークインタフェースである。通信部11により受信されたデータが多重化されている場合、デマルチプレクサ3に供給される。
外部インタフェース19は、例えばUSBインタフェース、HDMI(High-Definition Multimedia Interface)、メモリカードインタフェース等からなり、例えばデジタルビデオカメラ、デジタルスチルカメラ等の撮影装置や、メモリカード等と接続し、それらから、ユーザにより撮影された動画や静止画等のデータを読み出す。
CPU12は、必要に応じてRAM14等にアクセスし、映像データの受信処理、コンテンツの再生処理、後述するメタ情報抽出処理、コンテンツレコメンド処理等、PVR100の各ブロックの処理を統括的に制御する。
フラッシュメモリ13は、例えばNAND型のものであり、CPU12に実行させるOS、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。またフラッシュメモリ13は、後述する動画像コンテンツのレコメンドのためのレコメンドアプリケーション等のソフトウェア及びその動作に必要な各種データベースを有する。
RAM14は、CPU12の作業用領域等として用いられ、上記コンテンツの再生処理やメタ情報抽出処理、コンテンツレコメンド処理等等の最中に、OSやプログラム、処理データ等を一時的に保持するメモリである。
操作入力部15は、例えば複数のキーを有するリモートコントローラR(以下、リモコンRと称する)から、ユーザの操作による各種設定値や指令を入力してCPU12へ出力する。もちろん、操作入力部15は、リモコンRによらずに、PVR100に接続されたキーボードやマウス、PVR100に実装されたスイッチ等で構成されていても構わない。
グラフィック制御部16は、デコーダ4から出力された映像信号やCPU12から出力されるその他の映像データにOSD(On Screen Display)処理等のグラフィック処理を施し、例えばテレビジョン装置(以下、TVと称する)等のディスプレイDに表示させるための映像信号を生成する。
映像D/Aコンバータ17は、上記グラフィック制御部16から入力されたデジタル映像信号をアナログ映像信号に変換して、映像出力端子等を介してTV等のディスプレイDへ出力する。
音声D/Aコンバータ18は、上記デコーダ4から入力されたデジタル音声信号をアナログ音声信号に変換して、音声出力端子等を介して、TV等のスピーカSへ出力する。
[PVRのソフトウェア構成]
図2は、上記PVR100がコンテンツレコメンドのために有するソフトウェアの機能ブロックを示した図である。
図2は、上記PVR100がコンテンツレコメンドのために有するソフトウェアの機能ブロックを示した図である。
同図に示すように、PVR100は、読み出し部21、動画デコーダ22、オーディオデコーダ23、静止画デコーダ24、動画解析部25、オーディオ解析部26、静止画解析部27、上位意味情報解析部28、メタDB(データベース)29、視聴履歴DB30、コンテンツ管理DB31及びレコメンド計算部32を有する。
読み出し部21は、上記記録媒体35から、動画コンテンツや静止画データを読み出す。静止画データは、上記日付や時間帯等に応じたグループ毎に読み出される。読み出されたデータが動画コンテンツの場合、読み出し部21は、当該動画コンテンツを動画データとオーディオデータとに分割する。そして読み出し部21は、動画データを動画デコーダ22へ、オーディオデータをオーディオデコーダ23へ、また静止画データを静止画デコーダ24へ出力する。
動画デコーダ22は、上記動画データをデコードし、動画解析部25へ出力する。オーディオデコーダ23は、上記オーディオデータをデコードし、オーディオ解析部26へ出力する。静止画デコーダ24は、上記静止画データをデコードし、静止画解析部27へ出力する。
動画解析部25は、動画データから、客観的な特徴情報を抽出し、当該特徴情報を基に、下位のメタ情報(意味情報)を抽出する。またオーディオ解析部26及び静止画解析部27も同様に、それぞれオーディオデータ及び静止画データから客観的な特徴情報を抽出し、当該特徴情報を基に、下位のメタ情報を抽出する。この下位のメタ情報の抽出には、上記人物特徴情報やイベント特徴情報が用いられる。またこの下位のメタ情報の抽出には、上記非特許文献1に記載の技術も利用される。
動画解析部25は、特徴情報の抽出において、例えば色/テクスチャ特徴抽出、勾配算出、エッジ抽出といった画素ベースの処理や、人物/顔の検出/認識、物体の認識、人物/顔/物体の動き検出/速度検出といったオブジェクトベースの処理を実行する。人物検出において、動画解析部25は、例えば人型を示す特徴フィルターを用いて、動画像から人物を示す領域を検出する。顔検出においては、動画解析部25は、例えば、目・鼻・眉毛・頬等の位置関係の特徴を示す特徴フィルターや、肌色情報等を用いて、動画像から顔を示す領域を検出する。
さらに、動画解析部25は、人物や顔の有無を認識するのみならず、上記人物特徴情報を用いて、ユーザと所定の関係を有する特定の人物を認識する。当該人物特徴情報としては、例えば、エッジ強度画像特徴、周波数強度画像特徴、高次自己相関特徴、カラー変換画像特徴等が用いられる。例えば、エッジ強度画像を用いる場合、動画解析部25は、認識対象の人物(例えば、親、子供、配偶者、友人等のユーザの関係者)の特徴データとして、濃淡画像及びエッジ強度画像を記憶しておき、顔が検出された人物の顔画像から、同様に濃淡画像及びエッジ強度画像を抽出して、両濃淡画像及び両エッジ強度画像をパターンマッチングすることで、特定人物の顔を認識する。
また物体認識において、動画解析部25は、上記イベント特徴情報として記憶された認識モデルを用いて、識別対象とする物体が含まれるか否かを識別する。当該認識モデルは、例えば予め学習用画像からSVM(Support Vector Machines)等の機械学習により構築される。
さらに動画解析部25は、動画像中の人や物体以外の背景を認識することもできる。例えば動画解析部25は、予め学習用画像からSVM等の機械学習により構築されたモデルを用いて、各動画中の背景を、例えば街、屋内、野外、海岸、水中、夜景、夕焼け、雪景色、混雑といった各シーンに分類する。
オーディオ解析部26は、特徴情報の抽出において、オーディオデータから、例えば人の声、人以外の環境音、それらのパワー/高低等の特徴を検出する。人の声か環境音かの識別には、例えば所定パワー以上の音声の継続時間等が用いられる。
静止画解析部27は、特徴情報の抽出において、上記動画解析部25が実行可能な解析処理のうち、色/テクスチャ特徴抽出、勾配算出、エッジ抽出、人物/顔/物体の検出、背景の認識といった静的な処理を実行する。
また、各解析部25〜27は、各データにテキスト等のタグ(ラベル)情報が含まれている場合には、当該タグ情報も特徴情報として抽出する。タグ情報としては、例えば、イベント内容を示す情報や、撮影日時及び撮影場所等の情報が挙げられる。
各解析部25〜27は、それぞれが抽出した上記特徴情報を基に、より具体的に意味付けされた下位のメタ情報(意味情報)を抽出する。
動画解析部25は、例えば抽出した人物特徴や顔特徴から、個人、性別、年齢、表情、姿勢、服装、人数、整列等を下位のメタ情報として識別する。また動画解析部25は、動き特徴から、活発/不活発な動き、速い/遅い動き、人が佇んでいる/座っている/歩いている/走っている等のActivityを認識したり、人の手のジェスチャ等を認識したりする。
オーディオ解析部26は、例えば抽出したオーディオ特徴から、拍手、歓声、スピーカーの音、声色に応じた感情、笑い声、叫び声、話声の内容、反響による空間の広がり具合等を下位のメタ情報として抽出する。
静止画解析部27は、上記動画解析部25で認識可能なメタ情報のうち、動き特徴に関係のないメタ情報を認識する。
上記下位のメタ情報の抽出には、例えばベイズネット、有限状態機械、条件付確率場(CRF)、隠れマルコフモデル(HMM)等の状態空間表現による手法や、ペトリネットのような離散事象システム、制約充足モデル、論理アプローチといった意味モデルによる手法や、SVM、最近隣法、ニューラルネット等の伝統的なパターン認識/分類法等、さまざまな手法が用いられる。
上位意味情報解析部28は、上記各解析部25〜27により抽出された下位のメタ情報を基に、上位のメタ情報を解析し、動画の1ショットまたは静止画の1グループ全体を説明可能な最上位のメタ情報、すなわちイベントを導出する。このイベントの導出処理には、上記非特許文献2に記載の技術も利用される。
具体的には、上位意味情報解析部28は、各下位メタ情報から、5W1H(Who, What, When, Where, Why, How)に相当する複数の情報の抽象度を徐々に上げていき、最終的に、動画の1ショットや複数の静止画を、1つのイベント(上位メタ情報)としてカテゴライズする。
例えば、動画や静止画から、「多数の子供」「多数の親子」「体操着」等の人物に関するメタ情報、「活発な動き」「走っている姿」等の人物の動きに関するメタ情報、「学校の校舎」等の一般物体に関するメタ情報が抽出され、音声から、「スピーカを通した人の声」「拍手」「歓声」等のメタ情報が抽出され、その他のメタ情報として、「小学校」という位置情報、「秋」という季節(日時)情報等の情報が得られた場合、上位意味情報解析部28は、これらを統合して考えられるイベント『小学校の運動会』を導き出す。
また、5W1Hの要素のうち、例えば"Who"の要素に関しては、上位意味情報解析部28は、特定個人を示す言葉によりイベントを表現することも可能である。すなわち、上位意味情報解析部28は、"Who"を示す情報として、撮影者(ユーザ)やその家族等に関する下位メタ情報が抽出された場合、その情報は下位メタ情報のまま用いることで、『xx君の小学校の運動会』というイベントまで判断できる。
メタDB29は、上位意味情報解析部28により導出された上位メタ情報及びその導出に用いられた下位メタ情報を記憶する。
視聴履歴DB30は、PVR100が再生部7により動画像コンテンツを再生した履歴、すなわちユーザが動画像を視聴した履歴を示す視聴履歴情報を記憶する。視聴履歴情報とは、例えば、動画像の視聴回数や、動画像を最後まで視聴した、ある動画像の視聴途中で別の動画像を視聴した、ある動画像の次にどの動画像を視聴した、といった情報である。また視聴履歴DB30は、ユーザが視聴した動画像に対する評価情報を記憶していてもよい。
コンテンツ管理DB31は、PVR100で再生可能な上記動画像の一覧を保存する。
レコメンド計算部32は、上記3つのDBを利用して、推薦動画像コンテンツの一覧を作成しディスプレイDへ出力する。当該レコメンド計算部32への入力は、再生中の動画像のIDであり、出力は推薦動画像コンテンツ一覧である。動画像IDとは、上記3つのDBから、再生中の動画像に関する情報をロードする場合に利用されるIDであり、各動画像に一意のものが付加される。
本実施形態において、レコメンド計算部32は、2つの手法により動画像のレコメンドを行うことができる。1つ目の手法は、ルールベース方式及びコンテンツベース方式の組み合わせによる方式を利用したものであり、2つ目の方式は協調フィルタリング方式を利用したものである。以下、この2つの手法毎に、上記レコメンド計算部32の構成及びPVR100の動作の詳細を説明する。
[ルールベース方式とコンテンツベース方式の組み合わせ方式を利用した推薦手法]
図3は、ルールベース方式とコンテンツベース方式の組み合わせ方式を利用した推薦を行う場合のレコメンド計算部32の詳細を示した図である。
図3は、ルールベース方式とコンテンツベース方式の組み合わせ方式を利用した推薦を行う場合のレコメンド計算部32の詳細を示した図である。
同図に示すように、本手法におけるレコメンド計算部32は、ルール選択部41、スコア計算部42、動画像一覧作成部43及びルールDB44を有する。
ルールDB44は、上記上位メタ情報(イベント)毎に、最適な動画像を推薦するための基準として、ルール情報を記憶する。すなわち、ルールDB44は、レコメンドアプリケーションが認識可能なイベント毎に、イベント抽出に使用するメタ情報(下位メタ情報や客観的特徴情報)の重要度を保持している。ここで重要度とは、動画像を推薦する際に基準となる優先順位である。
例えば、上述した「xx君の小学校の運動会」というイベントが導出された場合、優先項目としては、以下の順の項目が挙げられる。
(1)「xx君が写っていること」(顔にピントが合っており、顔がブレていないこと)
(2)「xx君がアクティブな姿勢をとっていること」(運動中を優先)
(3)「xx君が笑顔であること」
(1)「xx君が写っていること」(顔にピントが合っており、顔がブレていないこと)
(2)「xx君がアクティブな姿勢をとっていること」(運動中を優先)
(3)「xx君が笑顔であること」
一方、導出されたイベントが単に「小学校の運動会」というだけであれば、優先項目としては、以下の順の項目が挙げられる。
(1)「なるべく多くの小学生の顔が映っていること」
(2)「アクティブな姿勢をとっていること」
(3)「笑顔が多いこと」
しかし、この場合でも、上記「xx君の小学校の運動会」というイベントに関するルールと同様に、特定の人物が写っていることがルール情報に含まれ、その結果「xx君」が含まれる動画像が推薦動画像コンテンツ一覧に含まれても問題ない。
(1)「なるべく多くの小学生の顔が映っていること」
(2)「アクティブな姿勢をとっていること」
(3)「笑顔が多いこと」
しかし、この場合でも、上記「xx君の小学校の運動会」というイベントに関するルールと同様に、特定の人物が写っていることがルール情報に含まれ、その結果「xx君」が含まれる動画像が推薦動画像コンテンツ一覧に含まれても問題ない。
そして、ルールDB44は、ルール情報として含まれる上記優先項目について、それぞれの重要度に応じたスコアを記憶している。当該スコアは、例えば上記上位メタ情報が抽出された段階で、当該上位メタ情報に応じて、その導出元となった各下位メタ情報について生成される。
ルール選択部41は、上記メタDB29から、現在再生中の動画像のイベント(上位メタ情報)を読み出し、上記ルールDB44から、当該上位メタ情報に応じたルール情報を読み出す。
スコア計算部42は、上記再生中の動画像以外の全ての動画像について、その上位/下位メタ情報を基に、上記ルール情報に含まれるスコア情報に従って、スコアを算出する。例えば、上述の運動会の例では、必須条件として、「xx君が写っている動画像」であることが挙げられる。スコア計算部42は、その動画像の中で、「xx君が写っていてぶれ、ぼけの無いフレーム」であれば+100、「アクティブな姿勢」であれば+50、「笑顔」であれば+50といったように、各メタ情報について予め設定されたスコアを加算し、各動画像のスコアをそれぞれ算出する。
動画像一覧作成部43は、上記算出されたスコアを基に、推薦動画像コンテンツ一覧を作成し、出力する。
(動作)
次に、本手法におけるPVR100のレコメンド動作について説明する。以下の説明では、レコメンドアプリケーションのレコメンド計算部32を動作主体として説明するが、当該動作は、CPU12及びその他のハードウェアやその他のソフトウェアとも協働して実行される。
次に、本手法におけるPVR100のレコメンド動作について説明する。以下の説明では、レコメンドアプリケーションのレコメンド計算部32を動作主体として説明するが、当該動作は、CPU12及びその他のハードウェアやその他のソフトウェアとも協働して実行される。
ここでまず、上記ルールの選択について詳細に説明する。上記ルールは、再生中の動画像の上位メタ情報に応じて選択されるが、対応するルールが必ずしも準備できているとは限らない。
そこで、レコメンド計算部32は、5W1Hで表わされている上位メタ情報からさらに各メタ情報を下位メタへと木構造で展開し、より下位のメタを利用することでルールの選択を行う。図4〜図6は、この木構造を利用したルール選択の流れを示した図である。
図4に示すように、例えば、入力の上位メタ情報が「2009/10/10 xxxくんが小学校で運動会に参加」だった場合、レコメンド計算部32は、この上位メタ情報を、「2009/10/10」、「xxxくん」、「小学校」、「運動会に参加」といった5W1H要素毎の部分的な上位メタ情報(以下、部分上位メタ情報)に分解する。そしてレコメンド計算部32は、その部分上位メタ情報をすべて含むルールを検索(以下、AND検索)し、一致するルールがあれば、そのルールに従って前述のスコア計算を行う。
しかし、一致するルールが存在しなかった場合、推薦が行われないという事になる。そこで、レコメンド計算部32は、図4に示すように、上記分解した部分上位メタ情報毎にルールの検索を行う。その検索結果が最小である部分上位メタ情報をさらに下位メタ情報へと展開し、再度、ルールのAND検索を行う。この例の場合、「2009/10/10」が0件なので、「2009/10/10」を「2009年」、「10月」、「10日」へと展開し、各下位メタ情報でルールを検索する。
ここで、一致するルールが存在しない場合(検索結果が0件)、図5に示すように、レコメンド計算部32は、その下位メタ情報をさらに下位メタ情報へ展開する。その時に下位概念のメタ情報が存在しない場合は、図6に示すように、そのメタ情報は削除される。そしてレコメンド計算部32は、すべての下位メタ情報の検索結果が0件でなくなった時に、それらのメタでルールのAND検索を行い、これをルールが見つかるまで繰り返す。
ここでのポイントは、ルールの選択に「上位メタ情報」を利用することで、視聴者や作者の主観的なタグ情報を利用したものより、ルールの増加と複雑性を抑えられるという部分である。また、ルールの決定にも木構造に展開したメタを利用することで、新しい動画像など、さまざまな動画像へ適応可能となる。そして、スコア計算にも客観的な「下位メタ情報」を利用することでルールが安定して動作する。
図7は、上述したスコア計算部42によるレコメンド処理の流れを示したフローチャートである。
同図に示すように、まずスコア計算部42は、再生中の動画像の上位メタ情報をロードする(ステップ51)。続いてスコア計算部42は、当該上位メタ情報の部分上位メタ情報によりルールをAND検索する(ステップ52)。
続いてスコア計算部42は、検索結果が1件以上合ったか否かを判断し(ステップ53)、1件もなかった場合には、上述したように、各部分上位メタ情報によりそれぞれルールを検索する(ステップ54)。
続いてスコア計算部42は、最も検索結果が少ない部分上位メタ情報を下位メタ情報に分解し(ステップ55)、当該分解した下位メタ情報によりルールを検索する(ステップ56)。部分上位メタ情報を下位メタ情報に分解できない場合には当該部分上位メタ情報を削除する。
スコア計算部42は、以上の処理を、1件以上の検索結果が検索されるまで繰り返す(ステップ57)。
1件以上の検索結果が検索された場合、スコア計算部42は、スコア計算に必要なメタ情報を決定する(ステップ58)。そしてスコア計算部42は、再生中の動画像以外の全ての動画像について、スコア計算のループ処理を実行する(ステップ59〜64)。
すなわち、スコア計算部42は、各動画像について、メタ情報毎のスコアをロードし、スコアを加算する。またスコア計算部42は、上記算出されたスコアに、上記視聴履歴DB30内の視聴履歴情報を用いて重み付けを行う。例えば、評価が高い動画像や未視聴の動画像のスコアを増加したり、逆に評価が低い動画像についてはスコアを減じたりする。
そしてスコア計算部42は、動画像一覧作成部43により、スコア順に応じてソートするなどして、動画像一覧を作成し、当該一覧をディスプレイDへ出力する。当該一覧は、例えば各動画像のサムネイルが縦方向、横方向またはマトリクス状に並べられたものであり、例えば左上方向へ行くほどスコアが高い動画像が示される。当該一覧の表示は、例えば再生中の動画像の再生終了時に行われる。
[協調フィルタリング方式を利用した推薦手法]
図8は、協調フィルタリング方式を利用した推薦を行う場合のレコメンド計算部32の詳細を示した図である。
図8は、協調フィルタリング方式を利用した推薦を行う場合のレコメンド計算部32の詳細を示した図である。
同図に示すように、本手法によるレコメンド計算部32は、スコア計算部42及び動画像一覧作成部43を有する。
スコア計算部42は、上記視聴履歴情報を基に、再生中の動画像以外の動画像のスコアを算出する。このスコアの計算方法としては様々なものが考えられる。従来では、例えば、視聴履歴から「動画A」の動画視聴の後に「動画B」を見た回数が多ければ、「動画A」の後には「動画B」を見る確率が高いので「動画B」のスコアをあげると言った方法が一般的である。しかし、この方法では、動画像毎の履歴となり、一般に同じ動画を何度も見る人は少ないため視聴履歴が十分に蓄積されない。
そこでスコア計算部42は、視聴履歴情報を上位メタ情報毎に管理する。例えば、「運動会」の後には「学芸会」を何回見たか、といった情報である。上位メタ情報を利用することで、動画像のタイトル単位で管理する場合に比べて視聴履歴が蓄積されやすく、より高い精度のレコメンドが可能となる。
動画像一覧作成部43の機能は、上記上記図3で示したものと同様である。
また本手法でも、上記ルールベースとコンテンツベースの組み合わせによる手法と同様に、木構造に展開したメタ情報を利用することで、より柔軟で精度の高い推薦が可能となる。
図9は、本手法による推薦処理における上位メタ情報の木構造への展開の様子を示した図である。
同図に示すように、例えば、入力の上位メタ情報が「2009/10/10 xxxくんが小学校で運動会に参加」だった場合、すべての部分メタ情報を木構造に展開する。
ここで、現在ユーザが見ている動画像のメタ情報を行、推薦候補の他の動画像のメタ情報を列とするテーブル例を図10に示す。値は視聴回数を示す。例えば、ユーザが「2009年」のメタ情報を含む動画像を見た後に「A」のメタを含む動画像を見た回数は4回であるということが示されている。
視聴回数が増えた場合のテーブル例を図11に示す。このテーブルはユーザの視聴履歴から作成可能であるので、必ずしも作成・保存しておく必要はない。同図の例の場合、上記図9で示したようにメタ情報が展開されている。
スコア計算部42は、これらのメタ情報毎に重みを設定する。同図の例では、はじめの重みを1.0(w=1.0)とし、下位メタ情報に展開すると半分にし、かつ、展開した数で割ることで、展開したメタ情報の重みが均一になるように重みを設定するようにしている。
スコア計算部42は、この重みから他の動画像とのスコアを計算する。スコアを計算する動画像の展開後のメタが「A」、「C」、「F」、「J」だった場合、スコア計算部42は、各メタとの視聴回数に重みをかけてスコアを計算する。スコア計算部42は、このようなスコアを全動画像に対して行う。このスコアが推薦度となる。
図12は、本手法によるレコメンド処理の流れを示したフローチャートである。
同図に示すように、スコア計算部42は、再生中の動画像の上位メタ情報をロードし(ステップ81)、上位メタ情報から上記木構造を作成する(ステップ82)。
そしてスコア計算部42は、再生中の動画像以外の動画像について、スコア計算のループ処理を実行する(ステップ83〜88)。すなわちスコア計算部42は、スコア計算対象の動画像の上位メタ情報をロードし、当該上位メタ情報から木構造を作成し、上述したように、メタ情報の関連性と、対象動画像のメタ情報とから、スコアを計算し、加算する。
そしてスコア計算部42は、上記算出されたスコアを基に、推薦動画像コンテンツ一覧を作成し、出力する(ステップ89)。
このように、スコア計算部42は、木構造に展開されたメタ情報を利用することで、はじめの上位メタ情報では、視聴回数の履歴が蓄積されていない場合でも、展開した下位メタによってレコメンドが可能となる。
さらに、「学芸会」が「小学1年生の学芸会」や「小学2年生の学芸会」のように複数存在する場合は、前述の「ルールベース」のレコメンドを利用してさらにスコアを計算する方法も考えられる。
また、これら客観的なメタを利用することでインターネットを利用して視聴履歴を集める方法も可能になる。図13は、この視聴履歴収集処理の概要を示した図である。同図に示すように、各ユーザの視聴履歴が、上位メタ情報毎に蓄積されているため、視聴履歴視聴履歴が十分に集まり、より精度が高いレコメンドが可能となる。
[変形例]
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
上述した図7のフローチャートでは、利用するルールを1つに決定し、そのルールに応じて、推薦される動画像群を決定していた。また、上述した図12のフローチャートでは、展開したすべてのメタ情報を利用し、推薦される動画像群を決定していた。しかし、PVR100は、これらの「ルール」や「利用するメタの組み合わせ」を複数用意し、ユーザに表示させ、選択させてもよい。
これにより、視聴者の意思を尊重した推薦が可能となる。例えば、入力された上位メタ情報が、「2009/10/10 xxxくんが小学校で運動会に参加」である場合、部分上位メタ情報としての「xxxくん」、「小学校」だけを利用した推薦結果も提示することで、視聴者が柔軟に動画像を選択可能となる。
図14は、この場合に表示される推薦動画像コンテンツ一覧の表示例を示した図である。同図に示すように、縦軸が利用したルール(メタ情報の組み合わせ)を示し、横軸がそのルール(メタ情報の組み合わせ)によって推薦される動画像の一覧を示す。
縦軸では、上端が最もお薦めとなる「ルール(メタの組み合わせ)」が位置するように、「ルール(メタの組み合わせ)」のお薦め度で各ルール(メタ情報の組み合わせ)が並べられる。横軸では、左端が最もお薦めとなる動画像となるように、そのルール(メタの組み合わせ)におけるお薦め度で各動画像が並べられる。この方法により、左上が最もお薦めとなる動画像となり、視聴者がアクセスしやすくなる。
ここで、縦軸の「ルール(メタの組み合わせ)」のお薦め度について、上記図9も用いて説明する。
上記図9に示したような、入力された上位メタ情報の展開例を想定する。「ルール(メタの組み合わせ)」のお薦め度には、上述した重みづけが利用される。図9の木構造では、枝になればなるほど、下位メタ情報となり、多くの動画像に利用されるメタ情報となる。よって、幹の方が対象の動画像の特徴を表すメタ情報となる。メタ情報毎の重みを足した重みの合計が「ルール(メタの組み合わせ)」のお薦め度となる。
図15は、各メタ情報の組み合わせの例を示す図である。同図の例では、下位概念に展開したメタ情報は、展開先のメタ情報と置き換えられる。これによりメタ情報の重なりがないようにメタ情報の組み合わせが決定され、それによりでルールが検索される。しかし、ルールが見つからなかった場合には、そのメタ情報は利用されず、当然ながらその推薦結果も表示されない。
図16は、以上の処理をルールベース方式で行う場合を示したフローチャートである。同図に示すように、スコア計算部42は、再生中の動画像の上位メタ情報をロードすると(ステップ121)、メタ情報を分解し、全ての組み合わせを作成する(ステップ122)。
そしてスコア計算部42は、メタ情報の組み合わせをソートした上で(ステップ123)、各メタ情報の組み合わせ毎に、ルールを検索するループ処理を実行する(ステップ124〜127)。
当該ループ処理内における処理は、上記図7で示したのと同様である(ステップ129〜135)。
そしてスコア計算部42は、上記各ルール毎に算出されたスコアを基に推薦動画像コンテンツ一覧を作成し(ステップ136)、それをルール毎にまとめて出力する(ステップ128)。
以上の処理を「協調フィルタリング」について実行する場合、上記図15で示したような重なりを排除したメタ情報の組み合わせも可能だが、図17に示すように、展開後のメタをすべて含んだ組み合わせも可能である。これは、スコアが計算される際に、展開の深さに応じて重みづけが行われるからである。
図18は、協調フィルタリングの場合の複数のメタ情報の組み合わせによるレコメンド処理の流れを示したフローチャートである。同図において、ステップ141〜ステップ145については上記図16のステップ121〜ステップ125と同様であり、ステップ149〜ステップ155については上記12で示したフローチャートと同様である。最後にスコア計算部42は、メタ情報の組み合わせ毎に算出されたスコアを基に推薦動画像コンテンツ一覧を作成し(ステップ156)、それを組み合わせ毎にまとめて出力する(ステップ48)。
上述の実施形態においては、各フレームから抽出されたメタ情報から上位メタ情報が導出された。しかし、比較的長時間の動画像には、複数のシーンが含まれており、それにより上位メタ情報の抽出が困難となる場合が考えられる。そこでPVR100は、カットやフェード等の客観的特徴によりシーンチェンジを検出し、シーン毎に分割してから、各シーンのイベント(上位メタ情報)を導出してもよい。
上述の実施形態において、下位のメタ情報及び上位のメタ情報はいずれもPVR100により抽出されたが、これらの少なくとも一部は、他の機器で抽出され、画像がPVR100に入力されるときに、当該画像と共に入力されてもよい。例えば下位メタ情報は、動画像撮影時にデジタルビデオカメラで抽出され、動画像データとともにPVR100に入力され、PVR100ではそれらの下位メタ情報から上位メタ情報を抽出してもよい。また、例えば顔検出や夜景検出等、デジタルビデオカメラで抽出可能であって比較的少ない演算量で抽出可能な下位のメタ情報はデジタルビデオカメラで抽出され、例えば動き検出や一般物体認識等、その抽出に要する演算量が比較的多くなるようなメタ情報はPVR100で抽出されてもよい。さらに、PVR100に代わり、ネットワーク上のサーバによりメタ情報が抽出され、それらが上記通信部11を介してPVR100に入力されてもよい。
さらに、上述の実施形態及び変形例においてPVR100により実行されるとして説明された処理は、例えばテレビジョン装置、PC(Personal Computer)、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、スマートフォン、記録再生装置、ゲーム機器、PDA(Personal Digital Assistants)、電子ブック端末、電子辞書、携帯型AV機器等、その他のあらゆる電子機器でも同様に実行可能である。
7…再生部
8…HDD
11…通信部
12…CPU
13…フラッシュメモリ
19…外部インタフェース
22…動画デコーダ
23…オーディオデコーダ
24…静止画デコーダ
25…動画解析部
26…オーディオ解析部
27…静止画解析部
28…上位意味情報解析部
29…メタDB
30…視聴履歴DB
31…コンテンツ管理DB
32…レコメンド計算部
35…記録媒体
41…ルール選択部
42…スコア計算部
43…動画像一覧作成部
44…ルールDB
50…ネットワーク
100…PVR
8…HDD
11…通信部
12…CPU
13…フラッシュメモリ
19…外部インタフェース
22…動画デコーダ
23…オーディオデコーダ
24…静止画デコーダ
25…動画解析部
26…オーディオ解析部
27…静止画解析部
28…上位意味情報解析部
29…メタDB
30…視聴履歴DB
31…コンテンツ管理DB
32…レコメンド計算部
35…記録媒体
41…ルール選択部
42…スコア計算部
43…動画像一覧作成部
44…ルールDB
50…ネットワーク
100…PVR
Claims (8)
- ユーザにより撮影された複数の動画像コンテンツを記憶する記憶部と、
前記記憶された複数の動画像コンテンツを再生する再生部と、
前記各動画像データを解析して複数の下位メタ情報を抽出し、当該抽出された複数の下位メタ情報を解析して上位メタ情報を導出し、前記複数の動画像コンテンツのうち、再生中の第1の動画像コンテンツの前記上位メタ情報と、当該第1の動画像コンテンツ以外の複数の第2の動画像コンテンツの前記上位メタ情報とを基に、前記各第2の動画像コンテンツに対するスコアをそれぞれ算出する制御部と、
前記第1の動画像コンテンツの再生終了後に、前記算出されたスコアに応じて、少なくとも1つの前記第2の動画像コンテンツを推薦するための推薦情報を出力する出力部と
を具備する電子機器。 - 請求項1に記載の電子機器であって、
前記記憶部は、前記スコアを算出するための、前記上位メタ情報毎に異なる複数のルール情報を記憶し、
前記制御部は、前記記憶された複数のルール情報から、前記第1の動画像コンテンツの上位メタ情報に対応する前記ルール情報を抽出し、当該抽出された前記ルール情報との合致度として前記スコアを算出する
電子機器。 - 請求項2に記載の電子機器であって、
前記制御部は、前記第1の動画像コンテンツの上位メタ情報に対応する前記ルール情報が抽出されなかった場合に、当該第1の動画像コンテンツの前記上位メタ情報を複数の前記下位メタ情報に展開し、当該展開された各下位メタ情報の全てに合致するルール情報を抽出する
電子機器。 - 請求項1に記載の電子機器であって、
前記記憶部は、前記再生された動画像コンテンツの再生回数を示す情報と、当該再生された動画像コンテンツの直後に再生された動画像コンテンツに関する情報とを含む再生履歴情報を、当該再生された動画像コンテンツの上位メタ情報と対応付けて記憶し、
前記制御部は、前記第1の動画像コンテンツの上位メタ情報と、前記記憶された再生履歴情報とを基に、前記各第2の動画像コンテンツが、前記第1の動画像コンテンツの直後に再生される確率として前記スコアを算出する
電子機器。 - 請求項1に記載の電子機器であって、
前記記憶部は、前記再生された動画像コンテンツの再生回数を示す情報を含む再生履歴情報を、当該再生された動画像コンテンツの上位メタ情報と対応付けて記憶し、
前記制御部は、前記第1の動画像コンテンツ及び前記第2の動画像コンテンツ各上位メタ情報をそれぞれ複数の前記下位メタ情報に展開し、前記第1の動画像コンテンツの各下位メタ情報のいずれかに合致する下位メタ情報を有する前記第2の動画像コンテンツの、前記下位メタ情報毎の再生回数を合計することで前記スコアを算出する
電子機器。 - 請求項1に記載の電子機器であって、
前記上位メタ情報は、複数の構成要素から構成され、
前記制御部は、前記上位メタ情報を前記構成要素毎に複数の部分上位メタ情報に分解し、当該分解された各部分上位メタ情報の複数の組み合わせ毎に前記スコアを算出し、
前記出力部は、前記組み合わせ毎に推薦情報を出力する
電子機器。 - ユーザにより撮影された複数の動画像コンテンツを記憶し、
前記記憶された複数の動画像コンテンツを再生し、
前記各動画像データを解析して複数の下位メタ情報を抽出し、
前記抽出された複数の下位メタ情報を解析して上位メタ情報を導出し、
前記複数の動画像コンテンツのうち、再生中の第1の動画像コンテンツの前記上位メタ情報と、当該第1の動画像コンテンツ以外の複数の第2の動画像コンテンツの前記上位メタ情報とを基に、前記各第2の動画像コンテンツに対するスコアをそれぞれ算出し、
前記第1の動画像コンテンツの再生終了後に、前記算出されたスコアに応じて、少なくとも1つの前記第2の動画像コンテンツを推薦するための推薦情報を出力する
コンテンツ推薦方法。 - 電子機器に、
ユーザにより撮影された複数の動画像コンテンツを記憶するステップと、
前記記憶された複数の動画像コンテンツを再生するステップと、
前記各動画像データを解析して複数の下位メタ情報を抽出するステップと、
前記抽出された複数の下位メタ情報を解析して上位メタ情報を導出するステップと、
前記複数の動画像コンテンツのうち、再生中の第1の動画像コンテンツの前記上位メタ情報と、当該第1の動画像コンテンツ以外の複数の第2の動画像コンテンツの前記上位メタ情報とを基に、前記各第2の動画像コンテンツに対するスコアをそれぞれ算出するステップと、
前記第1の動画像コンテンツの再生終了後に、前記算出されたスコアに応じて、少なくとも1つの前記第2の動画像コンテンツを推薦するための推薦情報を出力するステップと
を実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010084667A JP2011217209A (ja) | 2010-03-31 | 2010-03-31 | 電子機器、コンテンツ推薦方法及びプログラム |
US13/038,808 US8750681B2 (en) | 2010-03-31 | 2011-03-02 | Electronic apparatus, content recommendation method, and program therefor |
CN201110077535.5A CN102207954B (zh) | 2010-03-31 | 2011-03-24 | 电子设备、内容推荐方法及其程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010084667A JP2011217209A (ja) | 2010-03-31 | 2010-03-31 | 電子機器、コンテンツ推薦方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011217209A true JP2011217209A (ja) | 2011-10-27 |
Family
ID=44696790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010084667A Pending JP2011217209A (ja) | 2010-03-31 | 2010-03-31 | 電子機器、コンテンツ推薦方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8750681B2 (ja) |
JP (1) | JP2011217209A (ja) |
CN (1) | CN102207954B (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105933414A (zh) * | 2016-04-21 | 2016-09-07 | 深圳前海大数点科技有限公司 | 一种用户终端与服务端实时应景内容匹配算法 |
JP2017033293A (ja) * | 2015-07-31 | 2017-02-09 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
US10049701B2 (en) | 2016-03-07 | 2018-08-14 | Fuji Xerox Co., Ltd. | Video editing apparatus, video editing method, and non-transitory computer readable medium |
KR20190143792A (ko) * | 2019-03-19 | 2019-12-31 | (주)인더스트리미디어 | 학습 콘텐츠 추천 장치 및 방법 |
CN114095763A (zh) * | 2021-11-25 | 2022-02-25 | 上海幻电信息科技有限公司 | 视频列表推送方法及播放质量评估方法 |
WO2024075150A1 (ja) * | 2022-10-03 | 2024-04-11 | 株式会社ライフラボ | 情報処理装置、情報処理方法、プログラム及び記録媒体 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011215964A (ja) * | 2010-03-31 | 2011-10-27 | Sony Corp | サーバ装置、クライアント装置、コンテンツ推薦方法及びプログラム |
US8718327B2 (en) * | 2011-04-11 | 2014-05-06 | Intel Corporation | Gesture recognition using depth images |
JP5938987B2 (ja) * | 2012-03-28 | 2016-06-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US20140328570A1 (en) * | 2013-01-09 | 2014-11-06 | Sri International | Identifying, describing, and sharing salient events in images and videos |
ITTO20120867A1 (it) * | 2012-10-05 | 2014-04-06 | Rai Radiotelevisione Italiana | Metodo e sistema per la raccomandazione di contenuti multimediali su una piattaforma multimediale |
CN103064873B (zh) * | 2012-10-26 | 2017-03-08 | 北京奇虎科技有限公司 | 一种网页质量数据获取方法和系统 |
CN103020161B (zh) * | 2012-11-26 | 2015-12-09 | 北京奇虎科技有限公司 | 在线视频推荐方法和推荐系统及处理系统 |
CN103049479B (zh) * | 2012-11-26 | 2016-01-13 | 北京奇虎科技有限公司 | 一种在线视频标签生成方法和系统 |
US20140267611A1 (en) * | 2013-03-14 | 2014-09-18 | Microsoft Corporation | Runtime engine for analyzing user motion in 3d images |
TWI514861B (zh) * | 2013-04-19 | 2015-12-21 | Chih Yao Lin | 影音播放媒體之廣告方法 |
US10394882B2 (en) * | 2014-02-19 | 2019-08-27 | International Business Machines Corporation | Multi-image input and sequenced output based image search |
US9934453B2 (en) * | 2014-06-19 | 2018-04-03 | Bae Systems Information And Electronic Systems Integration Inc. | Multi-source multi-modal activity recognition in aerial video surveillance |
CN104506895B (zh) * | 2014-12-22 | 2017-12-01 | 合一网络技术(北京)有限公司 | 视频归类方法 |
US9621955B2 (en) | 2014-12-31 | 2017-04-11 | Google Inc. | Identifying media channels that have a high likelihood of multiple consumptions by one or more users |
CN104917896A (zh) * | 2015-06-12 | 2015-09-16 | 努比亚技术有限公司 | 一种推送数据的方法和终端设备 |
CN106598993B (zh) * | 2015-10-16 | 2019-02-12 | 珠海豹趣科技有限公司 | 一种信息推送方法及装置 |
CN105592140A (zh) * | 2015-10-30 | 2016-05-18 | 深圳市美贝壳科技有限公司 | 一种根据用户浏览行为推送照片、视频的方法及系统 |
JP6731178B2 (ja) * | 2016-03-07 | 2020-07-29 | 富士ゼロックス株式会社 | 動画検索装置およびプログラム |
US10270839B2 (en) * | 2016-03-29 | 2019-04-23 | Snap Inc. | Content collection navigation and autoforwarding |
CN106383895B (zh) * | 2016-09-27 | 2019-08-27 | 北京金山安全软件有限公司 | 信息推荐方法、装置以及终端设备 |
CN107515943A (zh) * | 2017-09-01 | 2017-12-26 | 安徽教育网络出版有限公司 | 基于协同过滤的用户偏好模型构建方法 |
GB2574581B (en) | 2018-05-25 | 2021-02-03 | Thinkanalytics Ltd | Content recommendation system |
GB2606877B (en) * | 2018-05-25 | 2023-04-05 | Thinkanalytics Ltd | Content Recommendation System |
GB2613077B (en) * | 2018-05-25 | 2023-08-16 | Thinkanalytics Ltd | Content recommendation system |
CN110580487A (zh) * | 2018-06-08 | 2019-12-17 | Oppo广东移动通信有限公司 | 神经网络的训练方法、构建方法、图像处理方法和装置 |
CN109982124A (zh) * | 2019-03-26 | 2019-07-05 | 深圳创维-Rgb电子有限公司 | 用户场景智能分析方法、装置和存储介质 |
US20240163515A1 (en) * | 2021-03-30 | 2024-05-16 | Boe Technology Group Co., Ltd. | Method and device for recommending real-time audios and/or videos, and computer storage medium |
CN114745593B (zh) * | 2022-04-08 | 2023-12-29 | 广州星轩传媒有限公司 | 一种基于视频大数据的视频播放推荐系统及方法 |
US12114030B1 (en) | 2023-04-04 | 2024-10-08 | Thinkanalytics Ltd. | Managing feature distribution |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000253337A (ja) * | 1999-02-24 | 2000-09-14 | Sony Corp | 画面の制御方法および画面の制御装置および映像再生方法および映像再生装置および映像情報の記録方法および映像情報の記録装置およびコンピュータが読み取り可能な記録媒体 |
US20030208755A1 (en) * | 2002-05-01 | 2003-11-06 | Koninklijke Philips Electronics N.V. | Conversational content recommender |
EP1563681B1 (en) * | 2002-11-08 | 2010-04-21 | Koninklijke Philips Electronics N.V. | Apparatus and method to provide a recommendation of content |
JP2005339732A (ja) * | 2004-05-28 | 2005-12-08 | Sony Corp | データ再生装置、情報配信サーバ及びコンテンツ再生システム |
JP2007281676A (ja) * | 2006-04-04 | 2007-10-25 | Toshiba Corp | 映像蓄積表示装置 |
-
2010
- 2010-03-31 JP JP2010084667A patent/JP2011217209A/ja active Pending
-
2011
- 2011-03-02 US US13/038,808 patent/US8750681B2/en not_active Expired - Fee Related
- 2011-03-24 CN CN201110077535.5A patent/CN102207954B/zh not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017033293A (ja) * | 2015-07-31 | 2017-02-09 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
US10049701B2 (en) | 2016-03-07 | 2018-08-14 | Fuji Xerox Co., Ltd. | Video editing apparatus, video editing method, and non-transitory computer readable medium |
CN105933414A (zh) * | 2016-04-21 | 2016-09-07 | 深圳前海大数点科技有限公司 | 一种用户终端与服务端实时应景内容匹配算法 |
KR20190143792A (ko) * | 2019-03-19 | 2019-12-31 | (주)인더스트리미디어 | 학습 콘텐츠 추천 장치 및 방법 |
KR102063183B1 (ko) * | 2019-03-19 | 2020-01-07 | (주)인더스트리미디어 | 학습 콘텐츠 추천 장치 및 방법 |
CN114095763A (zh) * | 2021-11-25 | 2022-02-25 | 上海幻电信息科技有限公司 | 视频列表推送方法及播放质量评估方法 |
CN114095763B (zh) * | 2021-11-25 | 2024-03-12 | 上海幻电信息科技有限公司 | 视频列表推送方法及播放质量评估方法 |
WO2024075150A1 (ja) * | 2022-10-03 | 2024-04-11 | 株式会社ライフラボ | 情報処理装置、情報処理方法、プログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
CN102207954A (zh) | 2011-10-05 |
US20110243529A1 (en) | 2011-10-06 |
US8750681B2 (en) | 2014-06-10 |
CN102207954B (zh) | 2016-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8750681B2 (en) | Electronic apparatus, content recommendation method, and program therefor | |
KR102290419B1 (ko) | 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치 | |
CN102209184B (zh) | 电子装置、再现控制系统、再现控制方法 | |
Truong et al. | Video abstraction: A systematic review and classification | |
US9253511B2 (en) | Systems and methods for performing multi-modal video datastream segmentation | |
US10410679B2 (en) | Producing video bits for space time video summary | |
JP5691289B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP5533861B2 (ja) | 表示制御装置、表示制御方法、及び、プログラム | |
US8948515B2 (en) | Method and system for classifying one or more images | |
US9100701B2 (en) | Enhanced video systems and methods | |
WO2012020667A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US20160014482A1 (en) | Systems and Methods for Generating Video Summary Sequences From One or More Video Segments | |
JP4920395B2 (ja) | 動画要約自動作成装置、方法、及びコンピュータ・プログラム | |
CN111279709B (zh) | 提供视频推荐 | |
US20140223309A1 (en) | Method and system for browsing, searching and sharing of personal video by a non-parametric approach | |
JP2011215963A (ja) | 電子機器、画像処理方法及びプログラム | |
CN103200463A (zh) | 一种视频摘要生成方法和装置 | |
JP2011223287A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
KR101608396B1 (ko) | 이질적 컨텐트 소스들의 링크 | |
CN102844812A (zh) | 媒体内对象的社交上下文 | |
CN109408672B (zh) | 一种文章生成方法、装置、服务器及存储介质 | |
US20100209072A1 (en) | Method for creating a new summary of an audiovisual document that already includes a summary and reports and a receiver that can implement said method | |
JP2014006680A (ja) | ビデオ記録装置、情報処理システム、情報処理方法および記録媒体 | |
Bost | A storytelling machine?: automatic video summarization: the case of TV series | |
WO2014103374A1 (ja) | 情報管理装置、サーバ及び制御方法 |