JP2021048506A - 映像シーン情報管理装置 - Google Patents

Abstract

【課題】映像ファイル内の各シーンを、そのシーン識別子が画面内の適所に表示された形式で選択的に再生できる映像シーン管理装置を提供する。【解決手段】シーン情報取得部１０１は、映像ファイルのシーンごとに、シーン識別子、シーン区間および当該シーンを再生する際のシーン識別子の表示位置に関連する位置情報を含むデータセットをシーン情報として取得する。シーン情報登録部１０２は、各シーン情報のデータセットを映像ファイルごとにシーン情報管理サーバ３へ登録する。シーン情報検索部１０４は、シーン情報をそのシーン識別子に対するキーワード検索により選択する。映像ファイル再生部１０３は、映像ファイルの各シーンを再生する。シーン情報再生部１０５は、再生されるシーンにそのシーン識別子を表示する。【選択図】図１

Description

本発明は、映像ファイルからシーンを抽出してシーン情報を生成、管理し、このシーン情報に基づいてシーンを選択的に再生する映像シーン情報管理装置に係り、特に、映像ファイル内の各シーンを、そのシーン識別子が画面内の適所に表示された形式で再生する映像シーン情報管理装置に関する。

特許文献１には、ユーザが番組や番組に含まれるシーンを字幕情報から抽出し、ディスプレイに表示させる技術が開示されている。

特開2015-52897号公報

従来技術では、視聴ユーザは字幕を対象とするキーワード検索により当該字幕の表示シーンを所望のシーンとして抽出することができるが、字幕を含まない映像ファイルからはシーンを抽出することができない。

また、映像ファイルからオブジェクトを自動検出して識別し、当該識別結果をテキストとして登録しておくことで、当該テキストを対象としたキーワード検索により所望のオブジェクトが映るシーンを自動的に抽出することができる。

しかしながら、オブジェクトの検出／識別プロセスがブラックボックス化されていると、視聴ユーザはオブジェクト検出／識別の過程を把握できない。したがって、オブジェクトの識別結果に基づいて抽出されたシーンが再生されても当該シーンが何を根拠に選択されたシーンであるか等、その意味や内容を認識することができない場合がある。

さらに、ホームビデオでペット等を撮影した映像ファイルをネットワーク上に公開して多数のネットユーザの視聴に供する場合、汎用のオブジェクト検出／識別ではペットが犬であること、あるいは猫であることは識別できても名前等の固有情報は識別できない。したがって、ネットユーザに名前等を検索キーワードとするシーン検索を提供できない。

さらに、映像ファイルが360°映像であると、死角の存在によりシーンとして抽出する再生位置を網羅的に探索することが困難であった。

本発明の目的は、上記の技術課題を解決し、映像ファイル内の各シーンを、そのシーン識別子が画面内の適所に表示された形式で再生できる映像シーン管理装置を提供することにある。

上記の目的を達成するために、本発明は、映像ファイルのシーンを管理する映像シーン管理装置において、以下の構成を具備した点に特徴がある。

(1) 映像ファイルのシーンごとに、シーン識別子、シーン区間および当該シーンに表示するシーン識別子の位置情報を含むデータセットをシーン情報として取得するシーン情報取得手段と、各シーン情報のデータセットを映像ファイルごとに登録するシーン情報登録手段とを具備した。

(2) シーン情報をそのシーン識別子に対するキーワード検索により選択する手段と、選択したシーン情報に基づいて当該映像ファイルの各シーンを再生する手段と、再生する各シーンに前記選択したシーン情報に基づいてシーン識別子を表示する手段とを具備した。

(3) シーン情報取得手段は、映像ファイルからオブジェクトを検出する手段と、オブジェクトを識別する手段とを具備し、前記シーン情報登録手段は、オブジェクトの識別結果をシーン識別子、オブジェクトの検出区間をシーン区間、オブジェクトの位置をシーン識別子の位置情報とするシーン情報を登録するようにした。

(4) ユーザの入力操作を受け付ける入力操作手段をさらに具備し、シーン情報取得手段は、入力操作手段から入力されたシーン区間を取得する手段と、入力操作手段から入力されたシーン識別子を取得する手段と、入力操作手段から入力されたシーン識別子の表示位置を位置情報として取得する手段とを具備した。

(5) 映像ファイルが360°映像であると、シーン識別子の位置情報を、当該360°映像を二次元に展開した座標上での座標値とした。

本発明によれば、以下のような効果が達成される。

(1) 映像ファイルのシーンごとに、シーン識別子、シーン区間およびシーン識別子の位置情報を含むデータセットがシーン情報として取得、登録されるので、当該シーン情報を参照すれば、映像ファイルのシーン識別子に対応したシーンを、当該シーン識別子が適所に表示された形式で再生できるようになる。

(2) 映像ファイルのシーン情報を検索し、このシーン情報に基づいて当該映像ファイルの各シーンを再生するので、映像ファイルのシーン識別子に対応したシーンを当該シーン識別子と共に再生できるようになる。したがって、各シーンのシーン識別子を参照すれば、各シーンの内容や各シーンの各画面内に写る情報の意味、名称などを視覚的に認識できるようになる。

(3) シーン情報取得手段は、映像ファイルからオブジェクトを検出、識別し、オブジェクトの識別結果をシーン識別子、オブジェクトの検出区間をシーン区間、オブジェクトの位置をシーン識別子の位置情報とするシーン情報を登録するので、映像ファイルからシーンを客観的に抽出して再生できるのみならず、シーン識別子をシーン内の適所に表示できるようになる。

(4) ユーザの入力操作を受け付ける入力操作手段を設け、入力操作手段から入力されたシーン区間、シーン識別子およびシーン識別子の表示位置に関する位置情報をシーン情報として登録するので、映像ファイルから手動でシーンを抽出し、シーン識別子およびその表示位置を任意に登録できる。したがって、多数のユーザに対してシーン情報の登録が許可されていれば、各ユーザの主観により、様々な観点からシーン情報を登録、表示できるようになる。

(5) 映像ファイルが360°映像であると、シーン識別子の位置情報を、当該360°映像を二次元に展開した際の座標値で表現するので、映像ファイルが360°映像であっても、特徴的なシーンにシーン情報を登録しておけば、各シーン識別子の座標が選択的に画面に表示された状態でシーンを再生できるようになる。

本発明を適用した映像シーン情報管理システムの機能ブロック図である。 シーン情報管理サーバにおけるシーン情報の登録形式を示した図である。 シーン情報管理装置の第１実施形態の機能ブロック図である。 シーン情報の取得および登録方法を模式的に示した図である。 映像ファイルの所望シーンの再生方法を示したフローチャートである。 シーン検索画面の一例を示した図である。 キーワードが入力された場合のシーン再生の例を示した図である。 キーワード「愛犬△△」が入力された場合のシーン再生を示した図である。 キーワード「愛猫〇〇」が入力された場合のシーン再生を示した図である。 シーン情報管理装置の第２実施形態の機能ブロック図である。 シーン情報を手動登録する際の登録画面の一例を示した図である。 シーン情報の入力および登録方法を模式的に示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明を適用した映像シーン情報管理システムの構成を示した機能ブロック図であり、映像シーン情報管理装置１、映像ファイルサーバ２およびシーン情報管理サーバ３を主要な構成としている。

映像ファイルサーバ２には多数の映像ファイルが格納されている。各映像ファイルは映像信号と音声信号とを含み、さらに字幕情報を含む場合もある。映像シーン情報管理装置１は、映像ファイルの特徴的なシーンごとにシーン情報を設定してシーン情報管理サーバ３へ登録する一方、映像ファイルの再生時には、対応するシーン情報をシーン情報管理サーバ３から読み出して当該シーンを選択的に再生する。

映像シーン情報管理装置１において、シーン情報取得部１０１は、映像ファイルの各シーンに固有のシーン識別子としてのテキストtext、当該シーンの開始時間tsおよび終了時間teならびに前記テキストtextをシーン再生時に画面表示する位置を特定する位置情報等を含むデータセットをシーン情報として取得する。シーン情報登録部１０２は、前記シーン情報のデータセットを映像ファイルの識別子と対応付けてシーン情報管理サーバ３へテーブル形式で登録する。

図２は、前記シーン情報管理サーバ３における各シーン情報の登録形式を示した図であり、本実施形態では、シーン識別子としてのテキストtext、当該シーンの開始時間tsおよび終了時間teならびにテキストtextをシーン再生時に重畳表示する際の位置情報p1，p2が登録され、さらに当該シーン情報が客観的（auto）に取得されたものか主観的（user1，user2…）に取得されたものかを示す種別が登録されている。シーン情報管理サーバ３は、このようなデータセットの一ないし複数を映像ファイルごとにテーブル形式で管理する。

図１へ戻り、映像ファイル再生部１０３は、ユーザが入力操作部１０７から指定した映像ファイルを表示パネル１０６上で再生する。シーン情報検索部１０４は、ユーザが入力操作部１０７から指定した検索キーワードに対応するシーン情報をシーン情報管理サーバ３から検索して取得する。シーン情報再生部１０５は、映像ファイルの前記シーン情報で特定されるシーンの再生に合わせて、当該シーンと対応付けられたテキストtextを位置情報p1，p2で特定される座標位置に表示する。

このように、本実施形態によればシーン情報に基づく映像ファイルのシーン再生時に、当該シーンと対応付けられたテキストtextが当該シーンと関連する位置に表示されるので、シーン再生が容易になると共に、当該シーンの要部、解釈、趣旨等を視聴者に簡単に認識させることができるようになる。

図３は、前記シーン情報管理装置１の第１実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態では、シーン情報取得部１０１が、オブジェクト検出部１０１ａ、オブジェクト識別部１０１ｂおよびオブジェクト識別モデル１０１ｃを含み、映像ファイルからシーン情報を自動的に、すなわち客観的に取得する点に特徴がある。

オブジェクト検出部１０１ａは、映像ファイルから、人、物、動物等のオブジェクトを検出する。なお、映像ファイルが360°映像であると、当該映像が２次元に展開され、当該２次元映像上でオブジェクト検出が実行される。

オブジェクト識別部１０１ｂは、予めオブジェクト識別用の画像特徴量を学習したオブジェクト識別モデル１０１ｃに前記検出したオブジェクトを適用することで当該オブジェクトを識別し、識別結果をテキスト形式で出力する。

前記シーン情報登録部１０２は、オブジェクトの識別結果（テキスト）、オブジェクトの出現期間（開始時間tsおよび終了時間te）、オブジェクトの画面上での位置情報p1，p2およびこれらの情報の種別（auto）からなるデータセットをシーン情報としてシーン情報管理サーバ３へ登録する。

図４は、本実施形態におけるシーン情報の取得および登録方法を模式的に示した図であり、再生時間t1において、同図(a)に示したようにオブジェクト検出部１０１ａが犬をオブジェクトとして検知すると、オブジェクトに外接する矩形枠k1が設定され、その右上座標および左下座標が、それぞれ当該オブジェクトの位置情報p1_1，p2_1として取得される。前記オブジェクト識別部１０１ｂは、オブジェクト識別モデル１０１ｃを用いて当該オブジェクトを「犬」と識別し、オブジェクト追跡が開始される。また、オブジェクト識別モデル１０１ｃにより具体的なモデル、例えば「愛犬△△」が存在すれば、「愛犬△△」と識別し、オブジェクト追跡が開始される。

再生時刻t2において、同図(b)に示したようにオブジェクト検出部１０１ａが新たに猫をオブジェクトとして検知すると、オブジェクトに外接する矩形枠k2が設定され、その位置情報p1_2，p2_2が取得される。前記オブジェクト識別部１０１ｂは、当該オブジェクトを「猫」と識別し、オブジェクト追跡が開始される。また、オブジェクト識別モデル１０１ｃにより具体的なモデル、例えば「愛猫△△」が存在すれば、「愛猫〇〇」と識別してオブジェクト追跡が開始される。

時刻t3において、同図(c)に示したように犬がフレームアウトするとシーン情報の登録が実行される。ここでは、テキストtextが「愛犬△△」、開始時間tsが「t1」、終了時間teが「t3」、第１座標が「p1_1」、第２座標が「p2_1」、種別がオブジェクト識別に基づく客観的な自動登録である旨の「auto」からなるデータセットが、当該映像ファイルに関するシーン情報の一つとしてシーン情報管理サーバ３へ登録される。

さらに、時刻t4において、同図(d)に示したように猫がフレームアウトするとシーン情報の登録が実行される。ここでは、テキストtextが「愛猫〇〇」、開始時間tsが「t2」、終了時間teが「t4」、第１座標が「p1_2」、第２座標が「p2_2」、種別が「auto」のデータセットが当該映像ファイルに関するもう一つのシーン情報としてシーン情報管理サーバ３へ追加登録される。

図５は、上記のようにしてシーン情報管理サーバ３に登録されたシーン情報を用いて映像ファイルの所望シーンを再生する方法を示したフローチャートであり、主に、前記シーン情報検索部１０４およびシーン情報再生部１０５の動作を示している。

ステップＳ１では、表示パネル１０６にシーン検索画面が表示される。図６は、シーン検索画面の一例を示した図であり、映像再生枠１１と共に、検索キーワードを入力する検索ボックス１２、前のシーンへ戻る「戻る」ボタン１３、および次のシーンへ進む「次へ」ボタン１４が用意されている。さらに、前記映像再生枠１１の右側には、検索結果の総数「４」および現在再生中の検索結果の序数「１」が分数表示されており、その下方にメッセージ表示スペース１５が確保されている。

ステップＳ２において、ユーザによる検索ボックス１２へのキーワード入力が確認されるとステップＳ３へ進み、シーン情報管理サーバ３のシーン情報テーブルが参照される。ユーザは、キーワードとして前記「愛犬△△」や「愛猫〇〇」を入力することができる。

ステップＳ４では、テキストtextが前記キーワードと一致するデータセットが登録されているか否かが判断される。登録されていなければステップＳ１２へ進み、キーワードに一致するシーンが未登録である旨のメッセージを前記メッセージ表示スペース１５に表示して当該処理を終了する。

これに対して、テキストtextが前記キーワードと一致するデータセットが登録されていればステップＳ５へ進み、そのようなデータセットが複数存在するか否かが判断される。一つしか存在しなければステップＳ１３へ進み、当該データセットの開始時間tsで特定される位置から終了時間teで特定される位置までのシーン再生が開始される。このとき、当該シーンの前記第１および第２座標p1，p2に対応した位置に前記テキストtextが重畳表示される。

図７は、キーワードとして「愛犬△△」が入力された場合のシーン再生の例を示した図である。本実施形態では、「愛犬△△」がテキストtextとして登録されたデータセットが存在するので、その開始時間ts_1、終了時間te_1、第１および第２座標p1，p2が取得される。そして、「愛犬△△」が登場する開始時刻ts_1からシーン再生が開始され、前記第１および第２座標p1，p2で定義される位置またはその近傍に前記テキスト「愛犬△△」が表示される。

図８は、キーワードとして「愛猫〇〇」が入力された場合のシーン再生の例を示した図である。本実施形態では、「愛猫〇〇」がテキストtextとして登録されたデータセットが存在するので、その開始時間、終了時間、第１および第２座標が取得される。そして、「愛猫〇〇」が登場する開始時刻ts_1からシーン再生が開始され、前記第１および第２座標p1，p2で定義される位置またはその近傍に前記テキスト「愛猫〇〇」が表示される。

なお、前記キーワードとして「愛犬△△」および「愛猫〇〇」の論理積を入力すると、図９に示したように、「愛犬△△」および「愛猫〇〇」のいずれもが登場する時刻から当該キーワードを含むシーン再生が開始される。また、論理和を入力すると、「愛犬△△」および「愛猫〇〇タマ」のいずれかが登場する全てのシーンが再生される。

図５へ戻り、前記ステップＳ５において、キーワードと一致するテキストを含むデータセットが複数存在すればステップＳ６へ進み、開始時間tsが最も早いデータセットに基づいて、当該開始時間tsから終了時間teまでのシーンが前記テキストと共に再生される。ステップＳ７では、「次へ」ボタンに対する操作の有無が判断され、そのような操作が検知されるとステップＳ８へ進む。ステップＳ８では、開始時間tsが次のデータセットに基づいて、当該開始時間から終了時間まで、前記テキストの重畳表示を含むシーンが再生される。

ステップＳ９では、「戻る」ボタンに対する操作の有無が判断され、そのような操作が検知されるとステップＳ１０へ進む。ステップＳ１０では、開始時間が一つ前のデータセットに基づいて、当該開始時間から終了時間まで、前記テキストの重畳表示を含むシーンが再生される。ステップＳ１１ではシーン再生を停止する操作の有無が判断され、そのような操作が検知されるまでは、ステップＳ７へ戻って上記の各処理が繰り返される。

本実施形態によれば、映像ファイルからシーンを客観的に抽出して再生できるのみならず、シーン内の適所にシーン識別子を表示できるので、各シーンの内容や各シーンの各画面内に写る情報の意味、名称などを視覚的に認識できるようになる。

図１０は、前記シーン情報管理装置１の第２実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態では、シーン情報取得部１０１が、テキスト取得部１０１ｄ、シーン区間取得部１０１ｅおよび表示位置取得部１０１ｆを含み、映像ファイルのシーン情報を手動操作で、すなわち主観的に取得するようにした点に特徴がある。

前記テキスト取得部１０１ｄは、映像ファイルの各シーンにおいてユーザが入力操作部１０７から入力したテキストtextを取得する。シーン区間取得部１０１ｅは、前記テキストに対応したシーン区間としてユーザが入力操作部１０７から入力する開始時間tsおよび終了時間teを取得する。表示位置取得部１０１ｆは、前記テキストの表示位置としてユーザが入力操作部１０７から入力する位置情報p1，p2を取得する。前記シーン情報登録部１０２は、入力されたテキストtext、開始時間ts、終了時間teおよび位置情報p1，p2のデータセットをシーン情報としてシーン情報管理サーバ３へ登録する。

図１１は、第２実施形態においてシーン情報を手動登録する際の登録画面の一例を示した図であり、前記表示パネル１０６に表示されてユーザにより操作される。

映像再生枠２１は映像ファイルやその一部シーンを再生する。時刻t1において、図１２(a)に示したように愛犬△△が出現し、当該再生位置を愛犬△△のシーンとして登録するのであれば、ユーザはテキストボックス２２にテキスト「愛犬△△」を入力し、開始時間ボックスに時刻t1を入力する。

ユーザはさらに、第１座標ボックス２５に「愛犬△△」の位置情報として、例えばその右上座標p1を入力し、第２座標ボックス２６に左下座標p2を入力し、種別ボックス２７にユーザ名を入力する。

その後、同図(b)に示したように、「愛犬△△」が時刻t2においてフレームアウトすると終了時間ボックス２４に時刻t2を入力する。最後に、入力ボタン２８をチェックして上記のデータセットをシーン情報としてサーバへ登録する。

本実施形態によれば、映像ファイルから手動でシーンを抽出し、シーン識別子およびその表示位置を任意に登録できるので、多数のユーザに対してシーン情報の登録が許可されていれば、各ユーザの主観により、様々な観点からシーン情報を登録、表示できるようになる。

なお、上記の第１実施形態では映像ファイルの画像を対象にオブジェクト検出および識別を実行してシーン識別子としてのテキストを取得するものとして説明したが、本発明はこれのみに限定されるものではなく、映像ファイルの音声信号を対象とする音声認識により特徴的なテキストを取得し、あるいは字幕情報から特徴的なテキストを取得しても良い。

１...映像シーン情報管理装置，２...映像ファイルサーバ，３...シーン情報管理サーバ，１０１...シーン情報取得部，１０１ａ...オブジェクト検出部，１０１ｂ...オブジェクト識別部，１０１ｃ...オブジェクト識別モデル，１０１ｄ...テキスト取得部，１０１ｅ...シーン区間取得部，１０１ｆ...表示位置取得部，１０２...シーン情報登録部，１０３...映像ファイル再生部，１０４...シーン情報検索部，１０５...シーン情報再生部，１０６...表示パネル，１０７...ユーザが入力操作部

Claims (9)

1. 映像ファイルのシーンを管理する映像シーン管理装置において、
   映像ファイルのシーンごとに、シーン識別子、シーン区間および当該シーンに表示するシーン識別子の位置情報を含むデータセットをシーン情報として取得するシーン情報取得手段と、
   各シーン情報のデータセットを映像ファイルごとに登録するシーン情報登録手段とを具備したことを特徴とする映像シーン情報管理装置。
2. シーン情報をそのシーン識別子に対するキーワード検索により選択する手段と、
   選択したシーン情報に基づいて映像ファイルの各シーンを再生する手段と、
   再生する各シーンに前記選択したシーン情報に基づいてシーン識別子を表示する手段とを具備したことを特徴とする請求項１に記載の映像シーン情報管理装置。
3. 前記シーン情報取得手段は、
   映像ファイルからオブジェクトを検出する手段と、
   検出したオブジェクトを識別する手段とを具備し、
   前記シーン情報登録手段は、オブジェクトの識別結果をシーン識別子、オブジェクトの検出区間をシーン区間、およびオブジェクトの位置をシーン識別子の位置情報とするシーン情報を登録することを特徴とする請求項１または２に記載の映像シーン情報管理装置。
4. 前記映像ファイルが映像信号および音声信号を含み、
   前記オブジェクトを検出する手段は映像信号および音声信号の少なくとも一方からオブジェクトを抽出することを特徴とする請求項３に記載の映像シーン情報管理装置。
5. 前記映像ファイルが映像信号、音声信号および字幕情報を含み、
   前記オブジェクトを検出する手段は、映像信号、音声信号および字幕情報の少なくとも一つからオブジェクトを抽出することを特徴とする請求項３に記載の映像シーン情報管理装置。
6. シーン情報が客観的に生成されたものであることを示す種別情報をデータセットに含むことを特徴とする請求項３ないし５のいずれかに記載の映像シーン情報管理装置。
7. ユーザの入力操作を受け付ける入力操作手段をさらに具備し、
   前記シーン情報取得手段は、
   入力操作手段から入力されたシーン区間を取得する手段と、
   入力操作手段から入力されたシーン識別子を取得する手段と、
   入力操作手段から入力されたシーン識別子の位置情報を取得する手段とを具備したことを特徴とする請求項１または２に記載の映像シーン情報管理装置。
8. シーン情報がユーザにより主観的に生成されたものであることを示す種別情報をデータセットに含むことを特徴とする請求項７に記載の映像シーン情報管理装置。
9. 前記映像ファイルが360°映像であり、前記シーン識別子の位置情報が、当該360°映像を二次元に展開した座標上での座標値であることを特徴とする請求項１ないし８のいずれかに記載の映像シーン情報管理装置。

Images