JP5147737B2 - 撮像装置 - Google Patents

Description

本発明は、撮影された映像中に含まれる特定の被写体と同一の被写体が含まれる撮影済み映像を検索して表示する撮像装置に関する。

デジタルスチルカメラやビデオカメラなどの撮像装置は、高画質、大容量化とともに、多機能化が進められている。多機能化の１つとして、撮影した映像に含まれる特定の被写体の情報を外部から入手して、撮像装置の画面に表示する機能がある。

これに関し例えば特許文献１には、カメラ装置の撮影位置や撮影方向、撮影範囲の変更に追従して、映像中に含まれる所定の被写体に関する情報を自動的に抽出することを目的とし、被写体位置情報、撮影位置情報および視点情報に基づいて、撮影した映像に含まれる所定の被写体を検索する被写体検索手段と、検索された所定の被写体に関する情報を検索する被写体情報検索手段とを有する被写体情報処理装置が開示されている。

特開２００２−１５２７１３号公報

近年の撮像装置は、内部記録メディアの大容量化に伴い、ユーザは多量の撮影データを録画保存することが可能となっている。一方、ユーザが撮影を行う時に、過去に同じ被写体を撮影しているかどうかを確認したり、過去に撮影したときの構図を調べたりすることができると便利である。しかしながら、膨大な撮影データから該当する映像を即座に検索することは容易ではない。

上記特許文献１では、撮影位置や撮影方向などの情報をもとに映像中から特定の被写体を検出し、その被写体情報に関連する画像をサーバから検索して表示部で表示している。しかし、事前にサーバ側に登録している情報を表示することを前提としているため、被写体情報から検索可能な画像が限定されており、また、新たにユーザが撮影した映像を自動で検索対象に追加することも簡単ではない。

本発明の目的は、撮影している映像中の特定の被写体と同一の被写体を含む撮影済み映像を容易に検索して表示する撮像装置を提供することである。

本発明の撮像装置は、被写体を撮像して映像データを出力する撮像部と、撮像部から出力される映像データを記録媒体に記録し記録媒体から映像データを再生する映像記録部と、撮像部から出力される映像データに対して画像認識を行って特定の被写体を検出する被写体検出部と、被写体検出部の検出した特定の被写体に関する被写体情報をもとに映像記録部に記録されている同一の被写体の写っている映像データを検索する映像検索部と、映像検索部の検索した映像データとその映像データに関連する情報を、撮像部から出力される映像データに重畳して映像表示部へ出力する映像出力部とを備える。

さらに、映像記録部に記録されている映像データから特定の被写体を抽出し対応する被写体テンプレートを生成するテンプレート生成部と、生成した被写体テンプレートを格納するテンプレート格納部とを備え、前記被写体検出部は、テンプレート格納部に格納されている被写体テンプレートを用いて画像認識を行い、特定の被写体を検出する。

本発明によれば、ユーザが特定の被写体を撮影する際に、同一の被写体が写っている過去の映像を画面に表示することができる。ユーザはそれを確認することで、より効果的な撮影が可能となる。

以下、本発明の実施の形態を図面を用いて説明する。

図１は、本発明に係る撮像装置の第１の実施例を示す構成図である。本実施例の撮像装置１０は、撮像部１、映像記録部２、被写体検出部３、映像検索部４、映像出力部５、映像表示部６、テンプレート生成部７、テンプレート格納部８を備える。

撮像部１は、光電変換により被写体の撮像を行い、映像データを出力する。撮像部１には、ズームレンズ及びフォーカスレンズを含むレンズ群、シャッタ、ＣＣＤまたはＣＭＯＳなどの撮像素子、ＡＧＣ、ＡＤ変換器、カメラ信号処理ＤＳＰ、動画像処理ＬＳＩ、タイミングジェネレータ等を含む。映像記録部２は、撮像部１から出力される映像データを動画または静止画として記録媒体に記録し、また記録媒体から映像データを再生して映像出力部５に出力する。記録媒体としては、ＨＤＤ、ＳＤカード、ＤＶＤ、ＢＤ、メモリースティック等を用いる。

被写体検出部３は、撮像部１の出力する映像データに対して、テンプレート格納部８に格納されている被写体テンプレート（テンプレート画像）を用いて画像認識を行い、特定の被写体を検出する。テンプレート生成部７は、映像記録部２に記録されている映像データから特定の被写体を抽出し対応する被写体テンプレートを生成し、テンプレート格納部８は生成された被写体テンプレートを格納する。被写体検出部３は特定の被写体を検出すると、検出した被写体の映像中の位置、検出した被写体の属性、被写体検出の信頼度などを被写体情報として出力する。

映像検索部４は、被写体検出部３の出力した被写体情報をもとに、映像記録部２に記録されている過去の映像データから同一の被写体の写っている映像データを検索し、該当する映像（またはそのサムネイル）や該映像に関連する情報（撮影日時、被写体情報等の映像に関する文字情報）を映像出力部５へ出力する。映像出力部５は、映像検索部４から出力される検索映像や関連情報を、撮像部１の出力する映像データに重畳し、映像表示部６へ出力する。映像表示部６は、映像出力部５から出力される検索映像や関連情報の重畳された映像を表示する。映像表示部６は、撮像装置に内蔵する液晶ディスプレイ、あるいは外部に接続したＴＶモニタである。

なお、被写体検出部３で行う被写体の検出処理や、映像検索部４で行う被写体の検索処理は、撮像装置内のマイコンやカメラ信号処理ＤＳＰ、専用のＬＳＩなどによって行われる。

ここで、被写体検出部３の行う被写体の検出処理について説明する。被写体検出では、予めテンプレート格納部８に格納されている被写体テンプレートをもとに、画像処理により映像中から対応する被写体を検索する。ここでいう被写体テンプレートは、テンプレート画像だけでなく認識結果の特徴ベクトルのようなものでも良い。被写体テンプレートはテンプレート生成部７により作成し、テンプレート格納部８に格納しておく。被写体テンプレートが、特定の人物や近所の建築物のように、一般には著名ではないがユーザ個人にとって関心のある被写体を対象とする場合は、過去に撮影して映像記録部２に記録されている映像データから目的の被写体を抽出して被写体テンプレートを自動ないし手動で生成する。また、「富士山」や「東京タワー」といった著名な自然物・建築物などの被写体を対象とする場合は、既存のテンプレート情報をネットワーク経由で入手して、テンプレート格納部８に登録しておけば良い。これにより、任意の被写体を対象にして同一の被写体が写っている映像を検索することが可能となる。これにより、ユーザの使い勝手が向上する。

図２は、映像表示部６での表示映像の一例を示す図である。（ａ）は撮像部１で撮影中の映像、（ｂ）は検索映像を重畳して表示される映像の例である。
（ａ）は、撮像部１の出力する撮影映像２００である。被写体検出部３は、テンプレートを用いた画像認識により撮影映像２００から特定の被写体２０１を検出する。ここでは特定の被写体２０１として、検出枠２０２に囲まれた「観覧車」を検出している。

（ｂ）は、撮影映像２００に、特定の被写体２０１（観覧車）と同一の被写体２１１（観覧車）を含む過去の映像２１０を重畳して表示したものである。映像検索部４は、被写体２０１の情報をもとに、過去の映像データから同一の被写体２１１の写っている映像２１０を検索し、また関連情報を出力する。その結果、映像表示部６では、検索した映像２１０のサムネイルと撮影日時の文字情報２１２を、撮影映像２００に重畳して表示する。なお、文字情報２０３は現在の日時を示す。

このように映像検索部４は、被写体検出部３の出力する被写体情報をもとに、同一の被写体の写っている過去の映像を映像記録部２から検索する。また映像出力部５は、検索された映像をもとに、過去の映像のサムネイルや撮影日時などの関連する情報を撮影映像に重畳して映像表示部６に出力する。これにより、ユーザは特徴のある被写体（ここでは観覧車）を撮影する際に、過去に撮影した同一被写体の映像を同一画面で見ることができる。その結果、ユーザは過去の映像を撮影の補助に利用して撮影することができる。例えば、前回と同じ構図で撮影することで、前回との映像の変化から映像内の子供の成長を知ることができる。あるいは、前回と構図が重複するのを避けるために異なる構図で撮影することもできる。

次に、本実施例の撮像装置における表示映像生成およびテンプレート生成の処理について説明する。
図３は、表示映像生成の処理フローを示す図である。表示映像生成処理は、被写体検出部３、映像検索部４および映像出力部５を中心に実行する。

ＳＴ３０１では、被写体検出部３において、撮像部１の撮影した映像に対し被写体テンプレートをもとにマッチング処理を行い、被写体を検出する。ここで、複数種類の被写体テンプレートを用いて複数の被写体の検出処理を行うこと、またそれを同時に行うこともできる。
ＳＴ３０２では、被写体検出部３により検出した被写体の数を判定する。被写体の数が複数存在する場合にはＳＴ３０３へ、１つ存在または存在しない場合にはＳＴ３０４へ進む。

ＳＴ０３０３では、被写体検出部３により検出した複数の被写体の中から優先度の高い被写体を選択し、映像検索に用いる被写体とする。被写体の選択では次の方法がある。（１）検出した被写体に囲み枠等をつけて強調した映像をタッチパネル式の画面に表示し、ユーザがそれを見て希望の被写体を手動で選択する。（２）被写体テンプレートの中に優先度の指標となる評価値を格納しておき、最も評価値の高い被写体を自動で選択する。（３）被写体テンプレートに格納された前記評価値に対し、過去に当該被写体を検出した回数や、検出時の当該被写体の位置などの情報をもとに評価値に重み付けを行う。これより、ユーザ嗜好に即した選択を行うことができる。

ＳＴ３０４では、映像検索部４において、被写体検出部３の検出した被写体の被写体情報をもとに、同一の被写体が写っている映像を、映像記録部２に記録された過去の映像から検索する。検索方法は映像のマッチング処理でも良いが、過去の映像の検索情報を用いることでより高速に検索を行うことができる。すなわち、予め過去の映像に対して被写体の検出処理を行い、各々の映像データに含まれている被写体の種類、撮影時刻、フレーム位置などの検索情報を作成しておく。そして、被写体情報と検索情報を照合することで容易に同一被写体が写っている映像を検索することができる。
また映像検索時では、被写体情報をもとに完全に一致する被写体を探すのではなく、「人物」や「建物」といったように同一種類の被写体を探すこともできる。これにより、過去に撮影した類似の構図の被写体を検索することができる。また、被写体情報だけでなく、撮影した時間帯などを組み合わせて絞り込み検索を行うこともできる。

ＳＴ３０５では、映像検索部４において、ＳＴ３０４の検索結果をもとに出力映像に重畳する情報を決定して出力する。重畳する情報としては、検索された映像を縮小したものや映像の静止画サムネイル、関連情報として撮影日時や被写体情報等の文字情報などが可能である。
なお、映像検索部４の検索結果が複数存在する場合には、検索結果を一定時間ごとに順次切り替えて表示するように出力すればよい。または、撮影時の時期や時間帯、被写体の映像中の位置すなわち構図などの情報をもとに、検索結果の中から現在撮影している映像に最も相関の高そうな映像を選択して表示するようにしてもよい。
ＳＴ３０６では、映像出力部５において、映像検索部４の決定した重畳する情報を、撮像部１の出力する撮影映像に重畳して映像表示部６に出力する。映像表示部６ではこれを表示する。

図４は、テンプレート生成の処理フローを示す図である。テンプレート生成処理はテンプレート生成部７を中心に実行する。テンプレート生成は、ユーザの操作を介して行う手動方式と装置が自動で行う自動方式の両方が可能であり、分けて説明する。なお、図面（図４）は共通である。

（１）手動方式の場合
ＳＴ４０１では、映像記録部２に記録されている過去の映像データから、被写体テンプレート生成の対象となる被写体の写っているフレームを決定する。フレームの選択では、映像の再生／一時停止ボタンなどをユーザが操作する。
ＳＴ４０２では、ＳＴ４０１で選択したフレームから対象被写体の写っている位置を決定する。被写体位置の決定では、タッチパネルやカーソルキー等からユーザが入力することで、被写体を含む矩形枠の位置（左上座標と右下座標）を決定する。また、ＳＴ４０１で選択したフレームの画像全体が特徴のある構図を含む場合は、画像全体を対象被写体として選択しても良い。

ＳＴ４０３では、ＳＴ４０２で決定した被写体位置をもとに被写体テンプレートを生成する。被写体テンプレートがテンプレート画像である場合は、ＳＴ４０２で決定した被写体を含む矩形枠内の画像を切り出し、テンプレート格納部８に保存する。このとき、切り出した画像を縮小したものをテンプレート画像とすれば、保存時のメモリ量や被写体検出で用いるときの処理負荷が低減する。
被写体テンプレートが認識結果の特徴ベクトルである場合は、エッジ量やエッジ方向、輝度分布などの特徴量の演算処理を行い、演算結果の集合を特徴ベクトルとしてテンンプレート格納部８に保存する。このとき、被写体の位置や大きさ、撮影フレーム位置など、対象被写体を決定する過程で得られた情報を被写体テンプレートの一部として保存しても良い。これらの情報は映像検索部４で行う映像検索時の補助情報として用いることができる。
また、被写体検出部３で被写体を検出する際に、複数の被写体が存在した場合にどちらの被写体を優先して映像検索に用いるかの優先度の評価値を被写体テンプレートの一部として保存しても良い。この評価値はユーザからのカーソルキー等の操作をもとに決定し、テンンプレート格納部８に保存する。

ＳＴ４０４では、被写体テンプレートを使用する際に識別するための管理名を決定し、被写体テンプレートとともにテンンプレート格納部８に保存する。管理名は、連番や撮影日時などからなる固有名を自動的に決定する。あるいは、映像表示部６上に仮想キーボードを表示し、タッチパネルやカーソルキー等からユーザが任意名を入力して決定することもできる。

以上の処理は、記録した映像が動画の場合のテンプレート生成処理について説明したが、記録した映像が静止画の場合には、ＳＴ４０１（フレームの決定）を省略しＳＴ４０２から処理を行えばよい。

（２）自動方式の場合
ＳＴ４０１’では、映像記録部２に記録されている過去の映像データから、被写体テンプレート生成の対象となる被写体の写っているフレームを予想して検出する。ここで、対象被写体の写っているフレームを予想するには、例えば、一定期間内でフレーム間の動きベクトルを計測し、全体の動き量の総和が少ないフレームが続いた場合は、ユーザが特徴のある被写体を撮影したものとみなしてそのフレームを選択する。また、動き量が多い場合でも、ある特徴点が長時間連続するフレームの画角内に存在している場合は、ユーザがその特徴点を含む特徴のある被写体を撮影したものとみなしてそのフレームを選択する。
ＳＴ４０２’では、ＳＴ４０１’で選択したフレームから対象被写体の写っている位置を決定する。被写体位置の決定では、輝度情報や色情報、前後のフレームとのフレーム間差分情報などをもとに画像中を複数の被写体領域に分割し、それぞれの被写体について被写体を含む矩形枠の位置（左上座標と右下座標）を決定する。また、ＳＴ４０１’で選択したフレームの画像全体が特徴のある構図を含む場合は、画像全体を対象被写体として選択しても良い。

ＳＴ４０３’では、ＳＴ４０２’で決定した被写体位置をもとに、手動の場合（ＳＴ４０３）と同様に被写体テンプレートを生成する。ただし、自動で被写体テンプレートを生成した場合は、膨大な数の被写体テンプレートが生成されたり、誤検出により有意でない被写体テンプレートが生成されたりする可能性がある。そこで、生成した被写体テンプレートをユーザに提示し、採用するか否かをユーザが選択できるようにしても良い。
ＳＴ４０４’では、被写体テンプレートを使用する際に識別するための管理名を決定し、被写体テンプレートとともに保存する。管理名は、連番や撮影日時などからなる固有名を自動的に決定する。

本実施例によれば、撮影時に特定の被写体を検出し、過去に撮影した同一の被写体の写っている映像を検索し、その映像または映像に関連する情報を撮影映像に重畳して表示する。その際、被写体テンプレートを用いることで、多くの種類の関連映像を容易に検索することができる。ユーザは重畳された映像を見て、より効果的な撮影を行うことが可能となる。

図５は、本発明に係る撮像装置の第２の実施例を示す構成図である。本実施例の撮像装置１０は、前記実施例１（図１）の構成を基本とし、さらに外部映像入力部９を追加したものである。外部映像入力部９には、他のカメラやカメラ機能付き携帯電話などの外部機器からの映像データを入力し、入力した映像データをテンプレート生成部７と映像記録部２へ送る。映像記録部２では、外部機器からの映像データを記録する。

前記実施例１（図１）においては、テンプレート生成部７が被写体テンプレートを生成するときや、映像検索部４が同一被写体の写っている映像を検索するときは、映像記録部２に記録されている当該撮像装置１０が過去に撮影した映像データを対象としていた。これに対し本実施例の撮像装置においては、外部映像入力部９を介して、他のカメラやカメラ機能付き携帯電話などで撮影した映像データを対象に加え、被写体テンプレートを生成し、同一被写体の写っている映像を検索することができる。すなわち本実施例の撮像装置では、当該装置で撮影した映像だけでなく、他の撮像装置で撮影した映像も活用して重畳表示することができるので、重畳する映像の種類や数が豊富となりより使い勝手に優れたものになる。

図６は、本発明に係る撮像装置の第３の実施例を示す構成図である。本実施例の撮像装置１０は前記実施例１（図１）の構成を基本とし、さらに外部の映像記録装置２０と接続して映像データの送受信を行うことが可能としたものである。外部の映像記録装置２０は映像サーバ（ＰＣやレコーダ）であり、大容量の映像データを映像記録部２２に格納し、映像管理部２１は格納している映像データを管理する。撮像装置１０内の検索情報管理部１１は、映像記録装置２０が格納している映像データを検索して、必要なデータを撮像装置１０内の映像記録部２にコピーする。なお、検索情報管理部１１は、実施例１で説明したテンプレート生成とテンプレート格納機能を備える。

本実施例の撮像装置１０は、撮影する前に検索情報管理部１１により、撮影する被写体に関係すると予想される映像データ（またはサムネイル）を映像記録装置２０の映像記録部２２から検索する。そして、該当する映像データを撮像装置１０内の映像記録部２にコピーする。撮影中は映像検索部４により、映像記録部２にコピーした映像データから対象とする被写体の写っている映像を検索して映像表示部６に重畳して表示する。

映像記録装置２０からの検索では、撮像装置１０または映像記録装置２０内のソフトを用いて、キーワードや日時等をユーザが選択することで行う。キーワードは予めソフト内に用意しておけば良いし、過去の撮影結果をもとにユーザが作成しても良い。例えば、「運動会」というキーワードを用いて、運動会関連のサムネイルを自動でコピーすることができる。また、日時を指定することで所望のテーマの映像を自動でコピーを行うこともできる。

本実施例によれば、過去に撮影した映像データは大容量の映像記録装置２０に保存しておき、撮像装置１０は、撮影時に参照する必要最小限の映像データだけコピーして利用すれば良い。よって、撮像装置１０の映像記録部２は小容量の記録媒体でよく、携帯用に好適な小型で安価な撮像装置を提供できる。

本発明は、上記した各実施例の構成に限定されず、様々な変形例が可能である。本発明の撮像装置は、民生用だけでなく、監視用や車載用のデジタルビデオカメラおよびスチルカメラに適用できる。

本発明に係る撮像装置の第１の実施例を示す構成図である（実施例１）。 映像表示部６での表示映像の一例を示す図である。 表示映像生成の処理フローを示す図である。 テンプレート生成の処理フローを示す図である。 本発明に係る撮像装置の第２の実施例を示す構成図である（実施例２）。 本発明に係る撮像装置の第３の実施例を示す構成図である（実施例３）。

１…撮像部
２…映像記録部
３…被写体検出部
４…映像検索部
５…映像出力部
６…映像表示部
７…テンプレート生成部
８…テンプレート格納部
９…外部映像入力部
１０…撮像装置
１１…検索情報管理部
２０…映像記録装置
２１…映像管理部
２２…映像記録部。

Claims (4)

1. 被写体を撮像して映像データを出力する撮像部と、
   該撮像部から出力される映像データを記録媒体に記録し、該記録媒体から映像データを再生する映像記録部と、
   上記撮像部から出力される映像データに対して画像認識を行って特定の被写体を検出する被写体検出部と、
   該被写体検出部の検出した特定の被写体に関する被写体情報をもとに、上記映像記録部に記録されている同一の被写体の写っている映像データを検索する映像検索部と、
   該映像検索部の検索した映像データと該映像データに関連する情報を、上記撮像部から出力される映像データに重畳して映像表示部へ出力する映像出力部と、
   外部の映像記録装置と接続して、該映像記録装置が格納している映像データを所望の条件で検索し、検索結果を上記映像記録部にコピーする検索情報管理部を備え、
   上記映像検索部は、上記映像記録部に記録されている映像データと上記検索情報管理部によってコピーされた映像データとを検索対象とすることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記映像記録部に記録されている映像データから特定の被写体を抽出し対応する被写体テンプレートを生成するテンプレート生成部と、
   上記生成した被写体テンプレートを格納するテンプレート格納部とを備え、
   前記被写体検出部は、上記テンプレート格納部に格納されている被写体テンプレートを用いて画像認識を行い、前記特定の被写体を検出することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   外部機器からの映像データを入力する映像入力部を備え、
   前記テンプレート生成部は、上記映像入力部から入力した映像データから特定の被写体を抽出し対応する被写体テンプレートを生成し、
   前記映像検索部は、上記映像入力部から入力した映像データから同一の被写体の写っている映像データを検索することを特徴とする撮像装置。
4. 請求項２に記載の撮像装置において、
   前記被写体テンプレートとして、前記特定の被写体のテンプレート画像、または前記特定の被写体のエッジ量、エッジ方向、輝度分布を示す特徴量を用いることを特徴とする撮像装置。

Images