JP2019033430A - 動画再生装置およびその制御方法、並びにプログラム - Google Patents

Abstract

【課題】 動画中の被写体同士の関係性を維持しながら、それぞれの被写体を拡大して再生することができる動画を再生する動画再生装置およびその制御方法、並びにプログラムを提供する。【解決手段】動画再生装置１０００は、追尾処理により検出された複数の被写体の位置情報を取得し、その位置情報に基づき、複数の被写体のそれぞれの間の距離を算出する。その後、動画における、算出された距離が閾値より小さい期間に基づき、複数の被写体のそれぞれが所属するグループを決定し、その決定されたグループの数に応じて動画の対象フレームの画面の分割数を決定する。次に、この分割数に応じた複数の分割画面からなるレイアウト構造を選択し、選択されたレイアウト構造のいずれの分割画面にグループのそれぞれをレイアウトするか決定し、決定されたレイアウトに対象フレームを変更して再生する。【選択図】 図１０

Description

本発明は、動画を再生する動画再生装置およびその制御方法、並びにプログラムに関する。

近年、４Ｋの解像度で動画を撮影できるカメラが急速に増加している。また、近い将来８Ｋの動画も一般的に撮影できるようになると予想される。このように、４Ｋや８Ｋなどの高解像度動画を撮影できるようになると、その一部分を拡大しても、閲覧に十分な解像度が得られる。そのため、再生する際に動画を拡大して再生する機能へのユーザーニーズが今後より高まることが想定される。

また、動画に複数の被写体が写っている場合に、各被写体に対して切り出し操作を実行して複数の分割画面の合成映像をモニタ表示し、必要に応じてその複数の分割画面の１つで表示中の被写体を拡大再生する技術が存在する（例えば、特許文献１参照）。

特開平１１−３３１８２７号公報

しかし、特許文献１のように、被写体毎に分割された状態で拡大再生してしまうと、被写体それぞれの表情はわかるものの、被写体同士の関係性がわかりにくくなってしまう。例えば、子供２人が遊んでいる様子が映っている動画の場合にそれぞれの子供が分割されて再生されたり、結婚式の動画の場合に新郎新婦２人が分割されて再生されると、２人の関係性や動画のストーリーがわかりにくくなってしまう。

このような課題を鑑みて本発明は、動画中の被写体同士の関係性を維持しながら、それぞれの被写体を拡大して再生することができる動画再生装置およびその制御方法、並びにプログラムを提供することを目的とする。

本発明の請求項１に係る動画再生装置は、動画として撮影された複数の被写体を検出して追尾する追尾手段と、前記動画の拡大率を変更する変更手段とを備える動画再生装置において、前記追尾手段により検出された前記複数の被写体の位置情報を取得する第１の取得手段と、前記位置情報に基づき、前記複数の被写体のそれぞれの間の距離を算出する算出手段と、前記動画における、前記算出された距離が閾値より小さい期間に基づき、前記複数の被写体のそれぞれが所属するグループを決定する第１の決定手段と、前記決定されたグループの数に応じて前記動画の対象フレームの画面の分割数を決定する第２の決定手段と、前記分割数に応じた複数の分割画面からなるレイアウト構造を選択する選択手段と、前記選択されたレイアウト構造のいずれの分割画面に前記グループのそれぞれをレイアウトするか決定する第３の決定手段と、前記決定されたレイアウトに前記対象フレームを変更して再生する再生手段とを備えることを特徴とする。

本発明の請求項８に係る動画再生装置は、動画を所定領域で再生する再生手段と、動画として撮影された複数の被写体を検出して追尾する追尾手段と、前記動画の拡大率を変更する変更手段とを備える動画再生装置において、前記拡大率に応じて、前記動画の対象フレームをその中心位置を基点に拡大する拡大手段と、前記拡大手段により前記対象フレームを拡大していったときに、前記複数の被写体の少なくとも１つが前記所定領域から外れた場合、前記所定領域に存在する全ての被写体が所属するグループを含む複数のグループを決定する第１の決定手段と、前記決定されたグループの数に応じて前記対象フレームの画面の分割数を決定する第２の決定手段と、前記分割数に応じた複数の分割画面からなるレイアウト構造を選択する選択手段と、前記選択されたレイアウト構造のいずれの分割画面に前記グループのそれぞれをレイアウトするか決定する第３の決定手段と、前記決定されたレイアウトに前記対象フレームを変更して再生する再生手段とを備えることを特徴とする。

本発明によれば、動画中の被写体同士の関係性を維持しながら、それぞれの被写体を拡大して再生することができる。

実施例１に係る動画再生装置のハードウェア構成を示すブロック図である。 図１の動画再生装置上で実行される動画再生アプリケーションの構成を示すユーザーインターフェースを説明するための図である。 実施例１に係る動画の追尾、動画のレイアウト、再生に至るまでの動画再生時における全体の処理の手順を示すフローチャートである。 実施例１に係る、等倍で複数の被写体が含まれる動画を再生中のユーザーインターフェースを示す図である。 図４のユーザーインターフェースで再生中の動画の対象フレームに対する追尾情報のデータ構造を示す図である。 実施例１に係る図３のステップＳ３０４の分割情報決定処理の手順を示すフローチャートである。 実施例１に係るグループ情報のデータ構造を示す図である。 図３のステップＳ３０５のレイアウト決定処理の手順を示すフローチャートである。 図８のステップＳ８０１で決定される分割数に応じたレイアウト構造を示す図である。 図４の再生中の動画に対してユーザーによる拡大指示があった時のユーザーインターフェースを示す図である。 図１０の各分割画面に各グループの被写体をレイアウトするときの、各領域の拡大領域幅を決定する方法を説明する図である。 実施例２に係る図３のステップＳ３０４の分割情報決定処理の手順を示すフローチャートである。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、以下の各実施例で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

（実施例１）
図１は、本実施例に係る動画再生装置のハードウェア構成を示すブロック図である。ここで、動画再生装置とは、以下説明するハードウェア構成を有し、後述する図２のユーザーインターフェースにおいて動画再生できる装置であればよく、ＰＣやモバイルデバイス等が例示される。

動画再生装置１０００は、ＣＰＵ１００１と、一次記憶装置１００２と、二次記憶装置１００３と、表示部１００４と、操作部１００５と、ネットワーク装置１００６と、音声出力部１００７から構成されている。

ＣＰＵ１００１は、入力された信号や後述の動画再生アプリケーションを含むプログラム（以下、単にプログラムという）に従って、各種の演算や、動画再生装置１０００を構成する各部分の制御を行う。一次記憶装置１００２は、一時的なデータを記憶し、ＣＰＵ１００１の作業用に使われる。二次記憶装置１００３は、動画再生装置１０００を制御するためのプログラムや各種の設定情報などを記憶する。

表示部１００４は、画像の表示、対話的な操作のための文字表示などを行う。なお、表示部１００４にはＬＣＤなどのディスプレイ装置が用いられる。また表示部１００４は動画再生装置１０００が備える必要はなく、動画再生装置１０００は表示部１００４の表示を制御する表示制御機能を有していればよい。

操作部１００５は、ユーザーの操作を受け付けるためのものである。操作部１００５としては、キーボードやマウスやタッチパネルなどを用いることが可能である。

ネットワーク装置１００６は、外部装置と接続し制御コマンドやデータの送受信を行う。接続を確立し、データ通信するためのプロトコルとしては、例えば、ＰＴＰ（Ｐｉｃｔｕｒｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）やＭＴＰ（Ｍｅｄｉａ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）が用いられる。なお、ネットワーク装置１００６は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルなどの有線接続により通信を行ってもよい。また、無線ＬＡＮなどの無線接続により通信を行ってもよい。また、外部装置と直接接続してもよいし、サーバを経由したり、インターネットなどのネットワークを介して外部装置と接続してもよい。

音声出力部１００７は、音声の出力を行い、スピーカー等が用いられる。

図２は、図１の動画再生装置１０００上で実行される動画再生アプリケーションのユーザーインターフェースを説明するための図である。

図２（ａ）は、動画を等倍で表示するユーザーインターフェース２００１を示し、図２（ｂ）は、動画を拡大表示するユーザーインターフェース２１０１を示す。

図２（ａ）において、２００２は動画が再生される領域（ビュー：所定領域）である。２００３は動画の再生ボタンで、再生ボタン２００３を押下すると動画の再生が始まる。この押下時に再生ボタン２００３は、図２（ｂ）に示す２１０３の一時停止ボタンへ変化する。２００４は動画の拡大率を変更するスライダーバーである。２００５は現在の拡大率の値「１．０」を示す倍率表示部であり、この倍率表示部２００５により動画が拡大されることなく、等倍の１．０倍で表示されていることがわかる。

図２（ｂ）において、２１０２は動画が再生される領域（ビュー）で、動画が拡大されて再生される。一時停止ボタン２１０３は、押下されたときに再生中の動画を一時停止させるためのボタンであり、この押下時に一時停止ボタン２１０３は再生ボタン２００３へと変化する。２１０４は動画の拡大率を変更するスライダーバーである。２１０５は現在の拡大率の値「１．５」を示す倍率表示部であり、この倍率表示部２１０５により、動画が１．５倍に拡大されて表示されていることがわかる。

図３は、本実施例に係る動画の追尾、動画のレイアウト、再生に至るまでの動画再生時における全体の処理の手順を示すフローチャートである。本処理は、ＣＰＵ１００１が、二次記憶装置１００３に記憶される動画再生アプリケーションに従って実行される。

本実施例では、動画の全フレームに対して、この処理を行うものとするが、例えば追尾処理等を１フレーム間引いて処理して、途中フレームは前後フレームの追尾情報から補間してもよい。

まず、ステップＳ３０１では動画の現在再生中のフレームの１つを対象フレームとして選択し、この対象フレーム中の被写体の追尾処理を行い、その追尾結果を示す追尾情報を記録する。また、被写体が複数いる場合は、それぞれの被写体に対して追尾処理を行う。ここでは、追尾処理自体は一般的な方法とし、顔であれば顔検出処理を行い、顔以外であればテンプレートマッチング処理により追尾を行うものとする。対象フレームより時間的に未来のフレームに関する追尾情報も利用するので、追尾処理は非同期処理として、未来のフレーム中の被写体に対しても追尾処理を実施し、未来のフレームに関する追尾情報も記録しておく。

この追尾情報について、図４、図５を用いて説明する。

図４は、本実施例に係る、等倍で複数の被写体が含まれる動画を再生中のユーザーインターフェース４００１を示す図である。

図４において、４００２は動画が再生されるビュー領域であり、対象フレームには６人の被写体Ａ〜Ｆがビュー領域４００２に含まれる。

図５は、図４のユーザーインターフェース４００１で再生中の動画の対象フレームに対する追尾情報のデータ構造を示す図である。

５００１の追尾情報は、対象フレームに含まれる各被写体Ａ〜Ｆについて、その被写体ＩＤの値を示す列５００２、その中心座標の値（位置情報）を示す列５００３、その被写体距離の値を示す列５００４から構成される。

列５００２に示す被写体ＩＤの値として、ステップＳ３０１の追尾処理で検出された各被写体Ａ〜Ｆに対して夫々異なる値が振られる。異なるフレーム間で同じ被写体ＩＤの値が振られている場合は、その被写体を同一被写体と判断する。同一被写体であるかどうか判断はステップＳ３０１の追尾処理において行われ、顔の類似度情報やテンプレートマッチングにおける類似度情報を利用する。

列５００３に示す中心座標の値は、各被写体Ａ〜Ｆの対象フレーム中の位置を示す座標値である。具体的には、顔検出枠やテンプレート枠の中心となる座標が中心座標として算出される。

列５００４に示す被写体距離の値は、動画の撮影を行ったカメラ（不図示）から各被写体Ａ〜Ｆまでの距離を表す。すなわち、この被写体距離の値が小さいほどカメラから近いことを意味する。この被写体距離は、動画の撮像を行ったカメラが多眼カメラなどであれば取得可能である。

動画中の被写体の数は時間と共に増減するため、本実施例では動画の全フレームに対して以下のように追尾情報を取得する。具体的には、新たに被写体がフレームインした場合、被写体の数が増えたと検知し、列５００２における被写体ＩＤを新規作成する。一方、フレームアウトしたり、追尾処理に失敗した被写体がある場合は、被写体の数が減少したと検知し、図５の追尾情報５００１において、その被写体の中心座標や被写体距離の値を列５００３，５００４において空欄とする。

次にステップＳ３０２でユーザーが拡大率を変更したか否かを判別する。ユーザーは図２のスライダーバー２００４等で拡大率を変更できる。ステップＳ３０２で拡大率を変更していなければ、ステップＳ３０３に進み、後述する図１０のようにグループ毎にフレームの領域を分割することなく動画を再生する。一方、ステップＳ３０２で拡大率が変更されていれば、ステップＳ３０４において図６で後述する分割情報決定処理を実行する。

ステップＳ３０５では、ステップＳ３０４で決定された分割情報に基づいて図８で後述するレイアウト決定処理を実行する。

ステップＳ３０６では、ステップＳ３０５で決定されたレイアウトに、対象フレームのレイアウトを変更した後、ステップＳ３０３で再生する。その後、ステップＳ３０７で対象フレームが最後のフレームか否かを判定し、最後のフレームであればそのまま本処理を終了し、最後のフレームなければステップＳ３０８に進み、次のフレームを対象フレームとして、ステップＳ３０１に戻る。

図６は、本実施例に係る図３のステップＳ３０４の分割情報決定処理の手順を示すフローチャートである。

まず、ステップＳ６０１では追尾情報５００１から対象フレームに含まれる各被写体の位置座標を取得する。また、対象フレームに含まれる被写体の１つを対象被写体として選択する。

次に、ステップＳ６０２では、対象被写体とその他全ての被写体との間の距離を算出する。例えば図５において対象被写体が被写体ＩＤ１であれば、被写体ＩＤ１，２、被写体ＩＤ１，３、被写体ＩＤ１，４、被写体ＩＤ１，５、被写体ＩＤ１，６というように算出する。ここで、距離は２次元上での距離を扱うものとし、列５００３に示す各中心座標の値に基づき算出される距離とするが、これに限定されない。例えば、列５００４に示す各被写体距離の値も含めた３次元上での距離としてもよいし、列５００４に示す被写体距離の値にのみに基づき算出される距離としてもよい。

ステップＳ６０３ではステップＳ６０２で算出した被写体同士の距離が閾値より小さいか確認し、閾値より小さければステップＳ６０４へ進む。以下、算出された距離が小さいことが確認された複数の被写体を対象被写体群という。

ステップＳ６０４で、対象被写体群が前のフレームにおいて属すると判定されたグループと同じグループに所属するか否かを判定する。この判定の結果、同じグループに所属する場合は（ステップＳ６０４でＹＥＳ）、ステップＳ６０６に進み、対象被写体群を同じグループに設定する。例えば、現フレームであるＮフレーム目で、対象被写体群に対しそれぞれ被写体ＩＤ１，２が振られていた場合に、Ｎ−１フレームで被写体ＩＤ１，２が振られた被写体群が同グループに属すると判定されていたら、対象被写体群を同じグループに設定する。尚、ステップＳ６０３で対象被写体群として３つ以上の被写体が確認された場合も、同様にステップＳ６０４の判定が行われる。例えば、Ｎフレーム目で、対象被写体群に対しそれぞれ被写体ＩＤ１，２，３が振られていた場合に、Ｎ−１フレームで被写体ＩＤ１，２，３が同グループに所属すると判定されていたら、対象被写体群を同じグループに設定する。

一方、ステップＳ６０４において、同じグループに所属しない場合は（ステップＳ６０４でＮＯ）、ステップＳ６０５に進む。ステップＳ６０５では、時間的に未来の数フレームの追尾情報から対象被写体とその他の対象被写体群との間の距離を算出し、算出された被写体同士の距離が閾値より小さい期間が所定時間以上であるか否かを判定する。この判定の結果、被写体同士の距離が閾値より小さい期間が所定時間以上である場合は（ステップＳ６０５でＹＥＳ）、ステップＳ６０６に進む。ステップＳ６０６では、対象被写体及び対象被写体との距離が閾値より小さい被写体に対し、新しくグループを生成して、その生成された同じグループに設定する。例えば、２秒間を上記所定時間に設定した場合、動画における２秒間分の追尾情報、例えば、６０ｆｐｓの動画であればＮ＋１からＮ＋１２０のフレームまでの追尾情報を確認し、これら全てのフレームで被写体同士の距離が閾値より小さいか確認する。これは被写体同士が近づいたり、離れたり繰り返すシーンで、フレームが分割された後にすぐに分割が解除されてしまったときに、動画として見にくくなってしまうのを避けるためである。一方、被写体同士の距離が閾値より小さい期間が所定時間以上とならなかった場合は（ステップＳ６０５でＮＯ）、ステップＳ６０７に進む。

ステップＳ６０７では、被写体全てが対象被写体となって他の被写体と比較されたか否かを判定する。この判定の結果、被写体全てが対象被写体となって比較されている場合は（ステップＳ６０７でＹＥＳ）、本処理をそのまま終了し、そうでなければ（ステップＳ６０７でＮＯ）、ステップＳ６０８に進む。ステップＳ６０８では、次の被写体ＩＤが振られた被写体を対象被写体とし、ステップＳ６０２に戻る。具体的には、まず初めに、被写体ＩＤ１が振られた被写体を対象被写体として、ステップＳ６０２で被写体ＩＤ２〜６が振られた被写体との間の距離を算出し、ステップＳ６０３〜Ｓ６０７の処理を行なう。次に、ステップＳ６０８で被写体ＩＤ２が振られた被写体を対象被写体とし、ステップＳ６０２で被写体ＩＤ３〜６が振られた被写体との間の距離を算出し、ステップＳ６０３〜Ｓ６０７の処理を行なう。

図７は、本実施例に係るグループ情報のデータ構造を示す図である。

グループ情報７００１は、ステップＳ６０６で生成されるグループのそれぞれについて、グループＩＤの値を示す列７００２と、グループの中心座標（拡大中心位置）を表す列７００３と、グループに所属する被写体のＩＤを示す列７００４から構成される。

列７００２には、グループの数だけグループＩＤを保持する。また、列７００３では、例えばグループＩＤ１００１の中心座標として算出された、被写体ＩＤ１，２，３の中心座標の平均値が保持される。

図８は、図３のステップＳ３０５のレイアウト決定処理の手順を示すフローチャートである。

ステップＳ８０１でグループの数から分割数を決定する。本実施例では、図９に示すように、分割数に応じた複数の分割画面（レイアウト枠）からなるレイアウト構造が予めテンプレートとして保持されている。例えば、グループ数が２であればテンプレート９００１に示すように２つの分割画面を有するレイアウト構造がステップＳ８０１において選択される。同様にグループ数が３〜４であればテンプレート９００２、グループ数５〜６であればテンプレート９００３、グループ数７〜９であればテンプレート９００４のように分割画面を有するレイアウト構造がステップＳ８０１において選択される。本実施例では、予め保持されたテンプレートを利用したが、被写体の大きさに応じて、分割された領域のサイズに重みを持たせてもよい。

次に、ステップＳ８０２では、グループ情報７００１に情報が記載されるグループの１つを対象グループに選択し、その対象グループの中心座標をグループ情報７００１から取得する。本実施例では、グループＩＤの値が最も小さいグループＩＤ１００１のグループを対象グループとする。

ステップＳ８０３では、対象グループのレイアウトを決定する。決定されたレイアウトの位置ができるだけ被写体の元の位置に近くなるように、列７００３に示される対象グループの中心座標に基づき、図９の９００５〜９００８に示す順番で配置する。グループ情報７００１の場合だと、グループ数が３つなので、テンプレート９００２のレイアウト構造がステップＳ８０１において選択される。また、グループ情報７００１において中心座標が最も左上にあるグループは、グループＩＤ１００１のグループなので、テンプレート９００２における配置位置が左上のレイアウト枠にこのグループの被写体を配置する。次にグループ情報７００１において中心座標が最も右上にあるグループは、グループＩＤ１００２のグループなので、テンプレート９００２における配置位置が右上のレイアウト枠にこのグループの被写体を配置する。同様にして、グループＩＤ１００３のグループの被写体をテンプレート９００２における配置位置が左下のレイアウト枠に配置する。この時、グループ数が３に対して、レイアウト枠の数が４であるので、空いている右下のレイアウト枠にレイアウトを変更する前の対象フレームを縮小して配置してもよい。そうすることにより、動画の全体像も把握することができる。

図１０は、図４の再生中の動画に対してユーザーによる拡大指示があった時のユーザーインターフェース１０００１を示す図である。

ユーザーインターフェース１０００１において、図７のグループＩＤ１００１〜１００３の被写体はそれぞれ、１０００２〜１０００４の分割画面にレイアウトされ、対象フレームを再生している。

図１１は、図１０の各分割画面１０００２〜１０００４に各グループの被写体をレイアウトするときの、各領域の拡大領域幅を決定する方法を説明する図である。

１１００４は元の動画のフレーム、すなわち、ユーザーより拡大指示をうけた対象フレームを表しており、１１００５は元動画幅、１１００６は元動画高さを示す。１１００７は、図７のグループＩＤ１００１のグループに含まれる被写体がレイアウトされる分割画面の大きさを示す矩形領域を示しており、１１００８は拡大時領域幅、１１００９は拡大時領域高さを表している。拡大時領域幅、拡大時領域高さはステップＳ８０１で選択されたテンプレートに応じて決定される。例えば、図１０の場合、元動画幅１１００５の値をｘとすると、拡大時領域幅はｘ／２と算出され、元動画高さ１１００６の値をｙとすると、拡大時領域高さはｙ／２と算出される。これによって、中心座標と拡大領域幅、拡大領域高さから、図７のグループＩＤ１００１のグループに含まれる被写体がレイアウトされる矩形領域の座標情報｛ｌｅｆｔ１，ｒｉｇｈｔ１，ｂｏｔｔｏｍ１，ｔｏｐ１｝を算出することが可能となる。各グループはその中心座標を中心にユーザー指示のあった倍率に対象フレームを拡大し、その中心が各矩形領域の中心に位置するように配置されるが、その際、拡大された対象フレームのうち各矩形領域からはみ出した領域はトリミング（切り出し）される。

尚、列７００３に示される中心座標は動画が再生されるビュー領域４００２の端の方に位置し、｛ｌｅｆｔ１，ｒｉｇｈｔ１，ｂｏｔｔｏｍ１，ｔｏｐ１｝の値が、元動画幅もしくは元動画高さより大きな値になったり、０より小さい場合がある。このような場合は、その範囲を超えない最大、最少の値に置き換える。例えばｌｅｆｔ１が負になった場合は０とし、ｒｉｇｈｔ１は拡大領域幅の値とする。

１１００１は、図７の各グループに含まれる被写体がレイアウトされる領域の座標情報であり、各グループのグループＩＤを示す列１１００２、各グループに含まれる被写体がレイアウトされる矩形領域の座標情報を示す列１１００３により構成される。

図８に戻り、ステップＳ８０４において、全てのグループが対象グループとなってレイアウトが決定された否かを判別する。この判定の結果、全てのグループが対象グループとなってレイアウトの決定済みである場合は（ステップＳ８０４でＹＥＳ）、ステップＳ８０６に進み、そうでなければ（ステップＳ８０４でＮＯ）、ステップＳ８０５に進む。ステップＳ８０５では、次のグループＩＤが振られたグループを対象グループとし、ステップＳ８０３に戻る。

ステップＳ８０４では、決定されたすべてのグループのレイアウトに関するレイアウト情報を生成し、本処理を終了する。

（実施例２）
実施例１では、図３のステップＳ３０２において拡大率が変更されると、図６に示す処理により対象フレームに含まれる複数の被写体を、複数のグループに分割する。これに対して、本実施例では、以下で説明するように、ユーザが拡大率を変更した場合、その拡大率にまで対象フレームを中心位置を基点に拡大していく。この際、ユーザーインターフェースの動画が再生されるビュー領域４００２から対象フレームに存在する被写体の少なくとも一つが外れてしまった場合に、対象フレームに含まれる複数の被写体を複数のグループに分割する。

図１２は、本実施例に係る図３のステップＳ３０４の分割情報決定処理の手順を示すフローチャートである。

まず、ステップＳ１２０１で、追尾情報５００１から被写体の位置座標を取得する。

次に、ステップＳ１２０２で対象フレームを中心位置を基点として、ステップＳ３０２で取得した拡大率で拡大し、ユーザーインターフェースの動画が再生されるビュー領域４００２から切れてしまう被写体があるか否かを判別する。この判別の結果、切れてしまう被写体がある場合はステップＳ１２０３に進み、全グループ数を、外れた被写体の数＋１とし、図３のステップＳ３０５に進む。一方、切れてしまう被写体がない場合は図３のステップＳ３０２に戻る。

ここで本実施例では、被写体がビュー領域４００２から切れてしまう否かの判定は、図５の列５００３に示す各被写体の中心座標がビュー領域４００２の外側に出てしまうか否かで決定する。但し。かかる方法に限定されるわけなく、例えば、被写体に対する顔検出枠やテンプレートマッチングの枠がビュー領域４００２の外側に出てしまうか否かで判定してもよい。

尚、ステップＳ１２０３におけるグループ数の決定方法は、拡大したときにビュー領域４００２に存在する被写体が所属するグループを含む複数のグループを決定する方法であれば、かかる実施例に限定されるわけでない。例えば、外れた被写体のうち位置が互いに近い被写体がある場合、すなわち、外れた被写体のうち被写体同士の距離が閾値以下である被写体がある場合は、それらの被写体を同じグループに設定するようにしてもよい。また、この場合、その後のフレームにおいて、被写体同士の距離が閾値より大きくなった場合、上記決定されたグループを分割し、それぞれ別のグループに所属するようにしてもよい。

（その他の実施形態）
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、以下のようなものがある。フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。すなわち、ホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザーに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザーに配布する。そして、所定の条件をクリアしたユーザーに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他にも、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後にも前述した実施形態の機能が実現される。すなわち、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現される。

１０００ 動画再生装置
１００１ ＣＰＵ
１００２ 一次記憶装置
１００３ 二次記憶装置
１００４ 表示部
１００５ 操作部
２００１，２１０１，４００１，１０００１ ユーザーインターフェース
２００４，２１０４ スライダーバー
１０００２〜１０００４ 分割画面

Claims (12)

1. 動画として撮影された複数の被写体を検出して追尾する追尾手段と、前記動画の拡大率を変更する変更手段とを備える動画再生装置において、
   前記追尾手段により検出された前記複数の被写体の位置情報を取得する第１の取得手段と、
   前記位置情報に基づき、前記複数の被写体のそれぞれの間の距離を算出する算出手段と、
   前記動画における、前記算出された距離が閾値より小さい期間に基づき、前記複数の被写体のそれぞれが所属するグループを決定する第１の決定手段と、
   前記決定されたグループの数に応じて前記動画の対象フレームの画面の分割数を決定する第２の決定手段と、
   前記分割数に応じた複数の分割画面からなるレイアウト構造を選択する選択手段と、
   前記選択されたレイアウト構造のいずれの分割画面に前記グループのそれぞれをレイアウトするか決定する第３の決定手段と、
   前記決定されたレイアウトに前記対象フレームを変更して再生する再生手段とを備えることを特徴とする動画再生装置。
2. 前記対象フレームにおける、前記グループのそれぞれの拡大中心位置を決定する第４の決定手段を更に備え、
   前記第３の決定手段は、前記グループのそれぞれの拡大中心位置及び前記複数の分割画面の前記レイアウト構造における配置位置に応じて、前記レイアウトを決定することを特徴とする請求項１記載の動画再生装置。
3. 前記グループのそれぞれを、前記拡大中心位置を中心に前記拡大率に前記対象フレームを拡大し、前記拡大中心位置が前記決定された前記複数の分割画面の１つの中心に位置するように配置すると前記複数の分割画面の１つからはみ出す前記拡大された対象フレームの領域をトリミングするトリミング手段を更に備え、
   前記再生手段は、前記グループのそれぞれを前記トリミングされた領域を前記決定された複数の分割画面の１つに配置して再生することを特徴とする請求項２記載の動画再生装置。
4. 前記追尾手段は、前記複数の被写体のうち、前記対象フレームに含まれる被写体の数を検知することを特徴とする請求項１乃至３のいずれか１項に記載の動画再生装置。
5. 前記追尾手段は、顔の類似度情報を基づき前記動画の異なるフレーム間で同一被写体か否かを判断する判断手段を更に備え、
   前記第１の取得手段は、前記複数の被写体の位置情報として、前記複数の被写体に対する顔検出枠の中心となる座標を取得することを特徴とする請求項１乃至４のいずれか１項に記載の動画再生装置。
6. 前記追尾手段は、テンプレートマッチングにおける類似度情報を基づき前記動画の異なるフレーム間で同一被写体か否かを判断する判断手段を更に備え、
   前記第１の取得手段は、前記複数の被写体の位置情報として、前記複数の被写体に対するテンプレート枠の中心となる座標を取得することを特徴とする請求項１乃至４のいずれか１項に記載の動画再生装置。
7. 前記追尾手段は、前記複数の被写体のそれぞれの、前記動画を撮像したカメラからの距離を取得する第２の取得手段を更に備え、
   前記第１の取得手段は、前記複数の被写体の位置情報として、さらに前記第２の取得手段により取得された距離を取得することを特徴とする請求項５又は６記載の動画再生装置。
8. 動画を所定領域で再生する再生手段と、動画として撮影された複数の被写体を検出して追尾する追尾手段と、前記動画の拡大率を変更する変更手段とを備える動画再生装置において、
   前記拡大率に応じて、前記動画の対象フレームをその中心位置を基点に拡大する拡大手段と、
   前記拡大手段により前記対象フレームを拡大していったときに、前記複数の被写体の少なくとも１つが前記所定領域から外れた場合、前記所定領域に存在する全ての被写体が所属するグループを含む複数のグループを決定する第１の決定手段と、
   前記決定されたグループの数に応じて前記対象フレームの画面の分割数を決定する第２の決定手段と、
   前記分割数に応じた複数の分割画面からなるレイアウト構造を選択する選択手段と、
   前記選択されたレイアウト構造のいずれの分割画面に前記グループのそれぞれをレイアウトするか決定する第３の決定手段と、
   前記決定されたレイアウトに前記対象フレームを変更して再生する再生手段とを備えることを特徴とする動画再生装置。
9. 前記追尾手段により追尾した結果に基づき、前記所定領域から外れた少なくとも一つの被写体のそれぞれの間の距離を算出する算出手段を更に備え、
   前記第１の決定手段は、前記算出された距離に基づき、前記外れた少なくとも一つの被写体のそれぞれが所属するグループを決定することを特徴とする請求項８記載の動画再生装置。
10. 動画として撮影された複数の被写体を検出して追尾する追尾手段と、前記動画の拡大率を変更する変更手段とを備える動画再生装置の制御方法において、
    前記追尾手段により検出された前記複数の被写体の位置情報を取得する第１の取得ステップと、
    前記位置情報に基づき、前記複数の被写体のそれぞれの間の距離を算出する算出ステップと、
    前記動画における、前記算出された距離が閾値より小さい期間に基づき、前記複数の被写体のそれぞれが所属するグループを決定する第１の決定ステップと、
    前記決定されたグループの数に応じて前記動画の対象フレームの画面の分割数を決定する第２の決定ステップと、
    前記分割数に応じた複数の分割画面からなるレイアウト構造を選択する選択ステップと、
    前記選択されたレイアウト構造のいずれの分割画面に前記グループのそれぞれをレイアウトするか決定する第３の決定ステップと、
    前記決定されたレイアウトに前記対象フレームを変更して再生する再生ステップとを有することを特徴とする制御方法。
11. 動画を所定領域で再生する再生手段と、動画として撮影された複数の被写体を検出して追尾する追尾手段と、前記動画の拡大率を変更する変更手段とを備える動画再生装置の制御方法において、
    前記拡大率に応じて、前記動画の対象フレームをその中心位置を基点に拡大する拡大ステップと、
    前記拡大ステップにおいて前記対象フレームを拡大していったときに、前記複数の被写体の少なくとも１つが前記所定領域から外れた場合、前記所定領域に存在する全ての被写体が所属するグループを含む複数のグループを決定する第１の決定ステップと、
    前記決定されたグループの数に応じて前記対象フレームの画面の分割数を決定する第２の決定ステップと、
    前記分割数に応じた複数の分割画面からなるレイアウト構造を選択する選択ステップと、
    前記選択されたレイアウト構造のいずれの分割画面に前記グループのそれぞれをレイアウトするか決定する第３の決定ステップと、
    前記決定されたレイアウトに前記対象フレームを変更して再生する再生ステップとを有することを特徴とする制御方法。
12. 請求項１０又は１１記載の制御方法を実行することを特徴とするプログラム。

Images