JP2008252685A - 画像符号化装置およびそれを用いた撮像装置 - Google Patents

Abstract

【課題】ブラケット連写で生成された画像は記憶容量を圧迫する。
【解決手段】符号化部４０は、撮像条件が変化されながら連続撮像されたピクチャをピクチャ間予測符号化する。符号化の際、符号化対象ピクチャが予測符号化すべき参照ピクチャが固定されている。たとえば、符号化対象ピクチャから、そのピクチャの参照ピクチャまでの距離を固定する。また、連続撮像されたピクチャを複数のグループに分類し、それぞれのグループごとに参照ピクチャの位置を固定する。
【選択図】図３

Description

本発明は、連続撮像された画像を符合化する画像符号化装置およびそれを用いた撮像装置に関する。

デジタルスチルカメラやデジタルビデオカメラが広く普及してきており、今まで以上に、一般ユーザが写真を手軽に撮影できるようになってきている。カメラの取り扱いに不慣れなユーザは、一回のシャッターでベストショットを撮影することが難しい。

そこで、ユーザの単純な操作により、撮像条件を変化させながら自動的に連続撮像し、後に、連続撮像によって生成された複数の画像の中からユーザがお気に入りの画像を選択することができるブラケット連写機能を搭載したカメラが実用化されている。

特許文献１は、動画ファイルから不要なフレームを削除する編集技術について開示する。
特開２００５−５９１６号公報

しかしながら、ブラケット連写で撮像された画像を記憶するための容量が必要となる。とくに、高速に連写するほど画像の枚数が多くなり、記憶容量を圧迫してしまう。また、一枚の画像ごとにファイルを生成するとファイルの数が多くなり、ファイルの管理が煩雑になる。

本発明はこうした状況に鑑みなされたものであり、その目的は、ブラケット連写で生成された画像を効率よく管理することができる画像符号化装置およびそれを用いた撮像装置を提供することにある。

本発明のある態様の画像符号化装置は、撮像条件が変化しながら連続撮像されたピクチャをピクチャ間予測符号化するとき、それぞれの符号化対象ピクチャが予測符号化すべき参照ピクチャが固定されている。「ピクチャ」は、フレーム、フィールド、ＶＯＰ（Video Object Plane）などを含む符号化の単位である。「撮像条件が変化しながら連続撮像されたピクチャをピクチャ間予測符号化するとき」には、複数の撮像条件が繰り返し切り換えられながらピクチャをピクチャ間予測符号化するとき、が含まれてもよい。「対応する撮像条件」は同じ撮像条件であってもよいし、隣接する撮像条件であってもよい。

この態様によると、参照ピクチャが固定されていることにより、連続撮像された画像の管理が容易となり、記録や編集を効率化することができる。たとえば、撮像条件を選択することにより、ユーザの好みに合った画像の抽出や、好みに合わない画像の消去を容易に行うことができる。

それぞれの符号化対象ピクチャから、それぞれの参照ピクチャまでの距離が固定されていてもよい。これによると、参照ピクチャまでの距離が固定されているため、画像の検索や再構築などが容易となる。「距離」はピクチャ数であってもよい。

本発明のある態様の画像符号化装置は、撮像条件が変化しながら連続撮像されたピクチャをピクチャ間予測符号化するとき、それぞれの符号化対象ピクチャが予測符号化すべき参照ピクチャが固定されており、連続撮像されたピクチャを複数のグループに分類し、それぞれのグループごとに参照ピクチャの位置が固定されている。

この態様によると、特定のピクチャの復号に必要な参照ピクチャがあらかじめ特定されるため、復号処理が容易になる。

連続撮像されたピクチャは、複数の撮像条件が繰り返し切り換えられながら撮像されたピクチャであり、それらピクチャを複数の撮像条件の単位サイクルごとに、複数のグループに分類してもよい。これによると、サイクル単位を基準に符号化するため、連続撮像された画像の管理が容易となり、記録や編集を効率化することができる。

それぞれのグルーブは、自己以外のグループに参照ピクチャを持つ第１ピクチャと、グループ内に参照ピクチャを持つ第２ピクチャを含んでもよい。それぞれのグルーブの第１ピクチャは、自己以外のグループの第１ピクチャを参照ピクチャとしてもよい。それぞれの第１ピクチャから、それぞれの参照ピクチャまでの距離が固定されていてもよい。

本発明の別の態様は、撮像装置である。この装置は、撮像条件を変化させながら連続撮像する撮像部と、撮像部で連続撮像されたピクチャを符号化する画像符号化装置と、を備える。

この態様によると、連続撮像された画像の管理が容易な撮像装置を実現することができる。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ブラケット連写で生成された画像を効率よく管理することができる。

まず、本発明の実施の形態を説明する前に、本発明の実施に適した連続撮像手法の一例について説明する。
図１は、連続撮像手法の一例を説明するための図である。この連続撮像手法は、撮像条件を変化させながら連続撮像するブラケット連写を拡張したものであり、設定された複数の撮像条件の内、最後の撮像条件まで到達すると最初の撮像条件に戻って連続撮像を継続するものである（以下、本明細書中では拡張ブラケット連写という）。たとえば、露出、フォーカスおよびホワイトバランスなどの設定値を変化させながら連続撮像することにより、同一シーンで明るさ、色、焦点などの異なる複数の画像を撮像することができる。

図１では、三種類の撮像条件が設定された場合を示している。たとえば、三種類の撮像条件として、明るさが普通、明るい、暗いが設定される。図１では、三種類の撮像条件にそれぞれ対応した三枚の画像が撮像されることを一サイクルとして、複数サイクル繰り返される。この手法によると、カメラの扱いに不慣れなユーザでも、明るさ、色、焦点などの異なる複数の画像から好みの画像を選択することにより、ベストショット写真を得ることができる。また、パラメータの設定ミスにより意図した写真が撮影できなかったという事態を回避することができる。

図２は、本発明の実施の形態に係る撮像装置１００の構成図である。実施の形態に係る撮像装置１００は、制御部１０、撮像部２０、撮像条件設定部３０、符号化部４０、操作部５０、表示部６０および記録部７０を備える。これらの構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

撮像部２０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子、レンズ、光学系、ズーム機構および絞り機構などを備え、撮像素子で撮像した画像を電気信号に変換し、制御部１０に出力する。撮像部２０は、制御部１０の指示に応じて、撮像素子とレンズとの間の焦点距離や、絞りや、シャッタースピードなどを制御しながら、連続撮像する。

撮像条件設定部３０は、一つのパラメータの変化させた複数の撮像条件、または複数のパラメータを組み合わせたプロファイルを変化させた複数の撮像条件を制御部１０に設定する。たとえば、パラメータとして、焦点距離、ピント位置、絞り、シャッタースピード、フラッシュのオン／オフ、画像信号を量子化する際のビット数、色調、ホワイトバランス、コントラスト、彩度およびシャープネスなどの操作対象の内、少なくとも一つを操作対象にすることができる。

撮像条件は、ユーザが操作対象の値を設定することにより、生成されてもよいし、デフォルトで設定されていてもよい。また、デフォルトでプロファイルされている複数の撮像条件からユーザが選択していくことにより、設定されてもよい。

符号化部４０は、撮像部２０により撮像された画像を所定の方式で圧縮符号化する。主に静止画を撮像するデジタルスチルカメラであれば、ＪＰＥＧ（Joint Photographic Experts Group）形式で圧縮符号化してもよい。デジタルビデオカメラであれば、ＭＰＥＧ（Moving Picture Experts Group）形式で圧縮符号化してもよい。本実施の形態では、フレーム間符号化技術を利用するため、ＭＰＥＧ形式で圧縮符号化するハードウェアエンジンを搭載していれば、そのエンジンを利用することができる。符号化部４０の詳細については後述する。

操作部５０は、シャッターボタンなどの各種ボタンを含む。表示部６０は、撮像された画像、撮像条件の設定画面、各種のパラメータ値やメッセージなどを表示する。記録部７０は、メモリーカードスロット、光ディスク、またはＨＤＤを備え、撮像された画像などを記録媒体に記録する。

制御部１０は、撮像装置１００全体を制御する。本実施の形態では、主に、撮像条件設定部３０により設定された撮像条件にしたがい上述したパラメータを変化させるため、撮像部２０、符号化部４０などに制御信号を出力する。たとえば、撮像部２０に、レンズの位置、絞り、シャッタースピードなどを指定したり、符号化部４０に、撮像された画像を補正および加工するためのパラメータを指定する。

図３は、実施の形態に係る符号化部４０の構成図である。本実施の形態に係る符号化部４０は、連続撮像された複数の画像をフレーム間符号化技術を利用して、圧縮符号化する。国際標準化機関であるＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）によって標準化されたＭＰＥＧシリーズの規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）、電気通信に関する国際標準機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）によって標準化されたＨ．２６ｘシリーズの規格（Ｈ．２６１、Ｈ．２６２およびＨ．２６３）、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるＨ．２６４／ＡＶＣ（両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264）に準拠した動画像の符号化エンジンを搭載している場合、それを転用することができる。

ＭＰＥＧシリーズの規格では、フレーム内符号化を行う画像フレームをＩ（Intra）フレーム、過去のフレームを参照画像として順方向のフレーム間予測符号化を行う画像フレームをＰ（Predictive）フレーム、過去と未来のフレームを参照画像として双方向のフレーム間予測符号化を行う画像フレームをＢフレームという。

本実施の形態では、参照画像が固定されるため、ＭＰＥＧシリーズの規格でいうＢフレームに相当する概念はなく、Ｉフレームと、Ｐフレームを用いる。ただし、本明細書で使用するＩフレーム、Ｐフレームという用語は、ＭＰＥＧシリーズの規格で圧縮符号化されたフレームに限る趣旨ではなく、フレーム内符号化されたフレームをＩフレーム、フレーム間予測符号化されたフレームをＰフレームと便宜上、定義したにすぎない。なお、Ｐフレームという用語は、過去のフレームのみを参照画像とする趣旨ではなく、過去および未来を問わず、固定されたフレームを参照画像としてフレーム間予測符号化されたフレームという趣旨で用いる。

なお、本願明細書では、フレームとピクチャを同じ意味で用いており、Ｉフレーム、Ｐフレームは、それぞれＩピクチャ、Ｐピクチャとも呼ばれている。また、本願明細書では、符号化の単位としてフレームを例に挙げて説明するが、符号化の単位はフィールドであってもよい。また、符号化の単位はＭＰＥＧ−４におけるＶＯＰであってもよい。

ブロック生成部８０は、入力された画像フレームＩＦをマクロブロックに分割する。画像フレームの左上から右下方向の順にマクロブロックが形成される。ブロック生成部８０は生成したマクロブロックを差分器８２、動き補償部９４に供給する。

差分器８２は、ブロック生成部８０から供給される画像フレームがＩフレームであれば、そのままＤＣＴ部８４に出力するが、Ｐフレームであれば、動き補償部９４から供給される予測画像との差分を計算してＤＣＴ部８４に供給する。

動き補償部９４は、フレームバッファ９６に格納されている主に過去の画像フレームを参照画像として利用し、ブロック生成部８０から入力されたＰフレームの各マクロブロックについて、誤差の最も小さい予測領域を参照画像から探索し、マクロブロックから予測領域へのずれを示す動きベクトルを求める。また、動き補償部９４は、動きベクトルを用いてマクロブロック毎に動き補償を行い、予測画像を生成する。動き補償部９４は、生成した動きベクトルを可変長符号化部９８に供給し、予測画像を差分器８２と加算器９２に供給する。

差分器８２は、ブロック生成部８０から出力される現在の画像、すなわち符号化対象の画像と、動き補償部９４から出力される予測画像との差分を求め、ＤＣＴ部８４に出力する。ＤＣＴ部８４は、差分器８２から与えられた差分画像を離散コサイン変換（ＤＣＴ）し、ＤＣＴ係数を量子化部８６に与える。

量子化部８６は、ＤＣＴ係数を量子化し、可変長符号化部９８に与える。可変長符号化部９８は、動き補償部９４から与えられた動きベクトルとともに差分画像の量子化されたＤＣＴ係数を可変長符号化し、符号化ストリームＣＳを生成する。可変長符号化部９８は、符号化ストリームＣＳを生成する際、符号化されたフレームを時間順序に並べ替える処理を行う。ヘッダ生成部９９は、符号化ストリームＣＳにヘッダ情報を付与する。付与するヘッダ情報の詳細は後述する。

量子化部８６は、画像フレームの量子化されたＤＣＴ係数を逆量子化部８８に供給する。逆量子化部８８は、与えられた量子化データを逆量子化し、逆ＤＣＴ部９０に与え、逆ＤＣＴ部９０は、与えられた逆量子化データを逆離散コサイン変換する。これにより、符号化された画像フレームが復元される。復元された画像フレームは加算器９２に入力される。

加算器９２は、逆ＤＣＴ部９０から供給される画像フレームがＩフレームであれば、そのままフレームバッファ９６に格納する。加算器９２は、逆ＤＣＴ部９０から供給される画像フレームがＰフレームであれば、それは差分画像であるため、逆ＤＣＴ部９０から供給された差分画像と動き補償部９４から供給される予測画像とを加算することにより、元の画像フレームを再構成し、フレームバッファ９６に格納する。

Ｐフレームの符号化処理の場合は、上述のように動き補償部９４が動作するが、Ｉフレームの符号化処理の場合は、動き補償部９４は動作せず、ここでは図示しないが、Ｉフレームはフレーム内予測が行われた後、ＤＣＴ部８４に供給される。

このような構成にて、ＩフレームとＰフレームの比率は、あらかじめ固定されている。たとえば、一枚のＩフレームに対して十四枚のＰフレームが生成されてもよい。また、符号化対象のＰフレームが参照画像とすべきＰフレームもあらかじめ固定されている。したがって、逆ＤＣＴ部９０は、参照画像とならないＰフレームの場合、加算器９２に与えなくてもよい。

図２に示した制御部１０は、撮像条件を変化させるため、ＤＣＴ部８４に高周波成分の取り扱いを指示したり、量子化部８６に量子化ステップを指示したりする。ＤＣＴ部８４や量子化部８６などは、制御部１０の指示に応じて、各種のパラメータを変化させる。

制御部１０は、通常のＭＰＥＧ圧縮技術における符号化方式（以下、このパラグラフでは符号化方式Ａという）と、以下に説明する符号化方式（以下、このパラグラフでは符号化方式Ｂという）を使い分けることができる。たとえば、上述したブラケット連写で撮像されたフレームを符号化するとき、符号化方式Ｂで符号化するよう符号化部４０を制御し、ブラケット連写で撮像された以外のフレームを符号化するとき、符号化方式Ａで符号化するよう符号化部４０を制御する。すなわち、符号化方式Ｂは、ブラケット連写モードで撮像されたフレームに対してのみ使用されてもよい。フレーム間予測技術を用いた符号化方式の間でも、符号化方式Ａと符号化方式Ｂは異なる観点から設計されたものであるため、符号化すべき対象フレームの参照フレームは、符号化方式Ａと符号化方式Ｂとでは基本的に異なることになる。当然のことながら、両者の観点が重なる箇所や偶然の一致により、両者の参照フレームが一致する場合もあり得る。

以下、本実施の形態に係るフレーム間予測技術を用いた符号化方式について説明する。まず、符号化方式の実施例１について説明する。実施例１は、時間方向に連続するフレームを所定の枚数ごとにグループ化し、符号化すべき対象フレームが参照フレームとすべきフレームの位置を固定する。たとえば、それぞれのグループにおいて、先頭フレームなど一枚の特定フレームは、他のグループの特定フレームを参照フレームとする。特定フレーム以外のフレームは、グループ内の特定フレームを参照フレームとする。

図４は、本発明の実施の形態に係る実施例１の一般概念を説明するための図である。図４では、各フレームグループＦＧ１〜ＦＧＭ（Ｍは自然数）は、Ｎ（Ｎは自然数）枚のフレームの集合で構成される。一つのフレームグループは、上記拡張ブラケット連写の一サイクルに撮像されたフレームの集合であってもよい。各フレームグループＦＧ１〜ＦＧＭにおいて、各フレーム（１、・・・、Ｎ−Ｘ（ＸはＮ−１未満の自然数）、・・・、Ｎ）が参照すべきフレームは、各フレームグループＦＧ１〜ＦＧＭ内の位置によってあらかじめ固定化されている。図４では、各フレームグループ内の先頭フレーム１は、一つ前のフレームグループの先頭フレーム１を参照フレームとする。各フレームグループＦＧ１〜ＦＧＭ内の先頭フレーム１以外のフレーム２〜Ｎは、自己が属しているフレームグループの先頭フレーム１を参照フレームとする。

図５は、本発明の実施の形態に係る実施例１の具体例（Ｎ＝３）を説明するための図である。図５は、十五枚のフレームを一枚のＩフレームと、十四枚のＰフレームで生成した例を示す。これらのフレームを三枚のフレームごとにグループ化する。よって、五つのフレームグループＦＧ１〜ＦＧ５が形成される。先頭のフレームグループＧ１の先頭フレームは、Ｉフレームであるため、参照フレームがない。他のフレームグループＦＧ２〜ＦＧ５の先頭フレームＰ３、Ｐ６、Ｐ９、Ｐ１２は、一つ前のフレームグループＦＧ１〜ＦＧ４の先頭フレームを参照フレームとする。その他のフレームは、属しているフレームグループの先頭フレームを参照フレームとする。

図６は、本発明の実施の形態に係る実施例１の具体例（Ｎ＝５）を説明するための図である。図６も、十五枚のフレームを一枚のＩフレームと、十四枚のＰフレームで生成した例を示す。これらのフレームを五枚のフレームごとにグループ化する。よって、三つのフレームグループＦＧ１〜ＦＧ３が形成される。先頭のフレームグループＧ１の先頭フレームは、Ｉフレームであるため、参照フレームがない。他のフレームグループＦＧ２、ＦＧ３の先頭フレームＰ５、Ｐ１０は、一つ前のフレームグループＦＧ１、ＦＧ２の先頭フレームを参照フレームとする。その他のフレームは、属しているフレームグループの先頭フレームを参照フレームとする。

次に、符号化方式の実施例２について説明する。実施例２は、対象フレームと参照フレームとの距離をあらかじめ固定する。

図７は、本発明の実施の形態に係る実施例２の一般概念を説明するための図である。図７では、対象フレームと参照フレームとの距離（以下、参照距離という）Ｌ（Ｌは自然数）があらかじめ固定されている。参照距離をＬ未満（１、・・・、Ｙ（ＹはＬ−２未満の自然数）、・・・、Ｌ−１）しかとれない対象フレームは、先頭フレーム１を参照フレームとする。フレームＬ以降のフレームは、Ｌ枚分、過去のフレームを参照フレームとする。参照距離Ｌが等しいフレーム同士で参照グループＲＧ１〜ＲＧＬ−１を形成する。各参照グループは、同じ撮像条件で撮像されたフレーム群であってもよい。たとえば、上述した拡張ブラケット連写で撮像される場合の撮像条件の数と、参照グループの数とを対応させてもよい。

図８は、本発明の実施の形態に係る実施例２の具体例（Ｌ＝３）を説明するための図である。図８も、十五枚のフレームを一枚のＩフレームと、十四枚のＰフレームで生成した例を示す。各フレームＰ３〜Ｐ１４は三枚前のフレームを参照フレームとする。ＰフレームＰ１およびＰフレームＰ２は、先頭のＩフレームを参照フレームとする。三つの参照グループＧＲ１〜ＧＲ３が形成される。

図９は、本発明の実施の形態に係る実施例１の具体例（Ｌ＝５）を説明するための図である。図９も、十五枚のフレームを一枚のＩフレームと、十四枚のＰフレームで生成した例を示す。各フレームＰ５〜Ｐ１４は三枚前のフレームを参照フレームとする。ＰフレームＰ１〜ＰフレームＰ４は、先頭のＩフレームを参照フレームとする。五つの参照グループＧＲ１〜ＧＲ５が形成される。

次に、符号化方式の実施例３について説明する。実施例３は、実施例１と実施例２を組み合わせたものである。すなわち、グループ内のフレームを参照フレームとする対象フレームについては、参照フレームの位置を固定し、かつグループを跨いたフレームを参照フレームとする対象フレームについては、参照距離を固定する。実施例３では、参照距離Ｌは各フレームグループの特定フレームのみのパラメータとなる。その他のフレームは参照距離ではなく、参照位置がパラメータとなる。

図１０は、本発明の実施の形態に係る実施例３の一般概念を説明するための図である。実施例１と同様に、Ｍ個のフレームグループ（ＦＧ１、・・・、ＦＧＹ、・・・、ＦＧＭ）は、それぞれＮ枚のフレームの集合で構成される。各フレームグループＦＧ１〜ＦＧＭにおいて、各フレーム（１、・・・、Ｎ−Ｘ、・・・、Ｎ）が参照すべきフレームは、各フレームグループＦＧ１〜ＦＧＭ内の位置によってあらかじめ固定化されている。各フレームグループ内の先頭フレームは、Ｌ枚分、過去のフレームを参照フレームとする。各フレームグループ内の先頭フレーム以外のフレームは、自己が属しているフレームグループの先頭フレームを参照フレームとする。

図１０では、各フレームグループ内の先頭フレームは、過去のフレームグループ内の先頭フレームを参照フレームとするため、参照距離Ｌは、フレームグループ内のフレーム数Ｎの倍数となる。先頭のフレームグループＧ１の先頭フレーム１までの参照距離がＬ未満の場合、その先頭フレーム１を参照フレームとする。

図１１は、本発明の実施の形態に係る実施例３の具体例（Ｎ＝３、Ｌ＝６）を説明するための図である。図１１は、十五枚のフレームを一枚のＩフレームと、十四枚のＰフレームで生成した例を示す。これらのフレームを三枚のフレームごとにグループ化する。よって、五つのフレームグループＦＧ１〜ＦＧ５が形成される。各フレームグループＦＧ１〜ＦＧ５の先頭フレーム以外のフレームは、先頭フレームを参照フレームとする。各フレームグループＦＧ３〜ＦＧ５の先頭フレームは六枚分、時間的に前のフレームを参照フレームとする。フレームグループＦＧ２の先頭フレームは、先頭のフレームグループＦＧ１の先頭フレーム、すなわちＩフレームを参照フレームとする。

図３に示したヘッダ生成部９９は、各フレームグループに含まれるフレーム数Ｎおよび参照距離Ｌの少なくとも一方を、符号化ストリームＣＳ、ＧＯＰおよびフレームのいずれかにヘッダとして記述する。なお、ヘッダ生成部９９は、量子化ステップなど復号に必要な情報もヘッダに記述する。

設計者は、フレーム数Ｎ、参照距離Ｌ、およびＩフレームとＰフレームとの比率を、撮像装置１００の仕様に適合するように設定することができる。また、以下に示す知見をもとに最適な値を設定することもできる。Ｉフレームを少なくしＰフレームを多くすると、圧縮効率がよくなる確率が高い（知見１）。参照距離Ｌが短いと予測誤差が小さくなり、圧縮効率がよくなる確率が高い（知見２）。フレーム数Ｎを多くすると、復号対象のＰフレームが、アンカーフレームのＩフレームに到達するまでに参照する必要があるフレームの数が少なくなる（知見３）。その復号に必要なフレームの数が少なくなると、復号時間が短くなる（知見４）。参照距離Ｌが長くなると復号時間が長くなる（知見５）。設計者は、これらの知見を参酌して、圧縮効率と復号時間のバランスを任意に設計することができる。また、後述する検索性や編集容易性の程度も、任意に設計することができる。

以上説明したように本実施の形態に係る符号化方式によれば、連続撮像された画像を効率よく管理することができる。とくに、検索性や編集容易性を向上させることができる。すなわち、対象フレームを復号するために必要な参照フレームをあらかじめ固定することにより、Ｉフレームに到達するまでに復号しなければならないフレーム数を削減することができる。よって、対象フレームを復号および再生するまでの時間を短縮することができる。これに対し、一般的なフレーム間符号化方式は、参照フレームがランダムに設定されるため、本実施の形態に係る符号化方式より復号および再生までの時間が長くなりやすい。

また、符号化ストリーム内から所定のフレームを抽出して、再構築することが容易に可能である。たとえば、実施例２において撮像条件の数と参照グループ数とを対応させ、参照グループごとに同一撮像条件で画像を撮像するように設定すれば、同一撮像条件のフレームを参照フレームに設定することができる。この状態で特定の撮像条件を選択すれば、その撮像条件で撮像されたフレーム群を抽出して、容易に再構築することができる。その際、一度復号した後に得られた画像を再び符号化する処理を経なくてもよいため、他の撮像条件で撮像されたフレーム群を即座に消去することができる。よって、処理量を非常に小さくすることができる。また、同一撮像条件のフレーム同士でフレーム間符号化するため、予測誤差が小さくなりやすく、圧縮符号化効率も高くなりやすい。

次に、本実施の形態に係る表示方法について説明する。本実施の形態に係る表示方法は、ブラケット連写により撮像されたファイルに含まれる画像を表示するものである。なお、上述した拡張ブラケット連写にも適用可能である。

図１２は、ブラケット連写により生成されたフレーム群を示す図である。図１２では、四つの撮像条件Ａ〜Ｄが設定されたブラケット連写により生成されたフレーム群Ｆ１〜Ｆ３が三つ存在することを示している。各フレーム群は、実施例１から３で示したフレーム間符号化方式または一般的なフレーム間符号化方式により生成された一つのファイルとして存在してもよいし、すべてのフレームが単独の静止画ファイルとして存在してもよい。また、各フレーム群は、異なるシーンを撮像したものであってもよいし、上述した拡張ブラケット連写で撮像されたワンサイクルのフレーム群であってもよい。これらのフレーム群は記録部７０に記録されているものでもよいし、符号化部４０内のフレームバッファ９６などに一時記憶されているものであってもよい。

以上を前提に、本表示方法に係る実施例４について説明する。実施例４は、同一撮像条件で撮像された複数のフレームを画面上に一覧表示する。

図１３は、本発明の実施の形態に係る実施例４の表示例を説明するための図である。図１３は、図２に示した表示部６０に設けられたファインダなどに表示される画面を示す。図１３（ａ）は撮像条件の選択画面６２を示す。ユーザは、操作部５０を操作することにより、選択画面６２内に表示された撮像条件Ａ〜Ｄの中から表示させたい撮像条件Ａを選択する。図１３（ｂ）はサムネイル画像の表示画面６４を示す。制御部１０は、ユーザにより選択された撮像条件Ａのフレームを、上記三つのフレーム群Ｆ１〜Ｆ３の中からそれぞれ抽出する。制御部１０は、表示部６０に各フレーム群Ｆ１〜Ｆ３から抽出した三枚のフレームＦ１Ａ、Ｆ２Ａ、Ｆ３Ａを同一画面上にサムネイル表示する。

なお、撮像装置１００とＴＶをケーブルで接続して、または記録媒体を介してＴＶ画面上にフレームＦ１Ａ、Ｆ２Ａ、Ｆ３Ａを表示させてもよい。ＴＶ画面が大きい場合、縮小させずに表示させることができる。

ユーザは、選択画面６２に戻り、異なる撮像条件を選択することができる。制御部１０は、同様に、ユーザにより選択された撮像条件のフレームを、上記三つのフレーム群Ｆ１〜Ｆ３の中からそれぞれ抽出し、画面上に一覧表示させる。

また、ユーザに撮像条件を選択してもらうのではなく、制御部１０は、最初の撮像条件Ａのフレームをそれぞれ抽出して表示し、次に撮像条件Ｂのフレームをそれぞれ抽出して表示するといったように、最初の撮像条件Ａから最後の撮像条件Ｄまで、スライドショーのように所定の時間ずつ同一撮像条件のフレームを一覧表示していってもよい。

次に、本表示方法に係る実施例５について説明する。実施例５は、一つのフレーム群に含まれる複数のフレームを一覧表示し、選択されたフレームの撮像条件を登録し、以降、他のフレーム群の表示において、選択された撮像条件のフレームを優先的に表示する。

図１４は、本発明の実施の形態に係る実施例５の表示例を説明するための図である。図１４（ａ）は、一つのフレーム群Ｆ１に含まれるフレームＦ１Ａ〜Ｆ１Ｄの一覧表示画面６６を示す。ユーザは、操作部５０を操作することにより、一覧表示画面６６内に表示された、それぞれ撮像条件が異なる四枚のフレームＦ１Ａ〜Ｆ１Ｄの中から一つを選択する。制御部１０は、ユーザにより選択されたフレームＦ１Ｂの撮像条件Ｂを登録する。

図１４（ｂ）は、第２フレーム群Ｆ２から抽出されたフレームＦ２Ｂの表示画面６８を示す。図１４（ｃ）は、第３フレーム群Ｆ３から抽出されたフレームＦ３Ｂの表示画面６９を示す。制御部１０は、優先的に表示すべき撮像条件が登録されている場合、各フレーム群の中から、その撮像条件のフレームを抽出して表示する。なお、図１４（ｂ）、（ｃ）では、登録された撮像条件のフレームのみを表示しているが、そのフレームを大きく表示し、他の撮像条件、たとえば類似する撮像条件のフレームを小さく表示してもよい。

以上説明したように本実施の形態に係る表示方法によれば、ユーザの画像検索効率を向上させることができる。とくに、実施例４によれば同一撮像条件のフレームを複数表示することにより、その撮像条件の傾向をユーザに把握および実感させることができる。実施例５によれば、様々な撮像条件を画像としてユーザに実感させた後、ユーザに撮像条件を選択してもらうことができる。よって、ユーザが真にお気に入りの撮像条件を容易に登録することができる。これに対し、パラメータを数値やゲージで表示して撮像条件を指定してもらう手法では、ユーザは撮像条件の画像を実感することが難しい。ユーザのお気に入りの撮像条件が登録されると、以後、ユーザの好みに合った画像を優先的に表示させることができる。また、その登録以後、ブラケット連写ではなく、登録された撮像条件でのみ撮像する処理も可能となる。この場合、演算量および符号量の増大を伴わずに、ユーザの好みに合った画像を撮像することが可能である。

以上、本発明をいくつかの実施形態をもとに説明した。これらの実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例４および実施例５に係る表示方法を利用した撮像条件を選択するプロセスは、上記拡張ブラケット連写により撮像された複数のフレームから記録部７０に記録すべきフレームと消去すべきフレームを選択する処理に利用することができる。たとえば、図１２で説明した第１フレーム群Ｆ１、第２フレーム群Ｆ２および第３フレーム群Ｆ３を、図８に示した第１参照グループＲＧ１、第２参照グループＲＧ２および第３参照グループＲＧ３にそれぞれ対応させる。制御部１０は、ユーザに選択されたフレーム群に対応した参照グループのフレームを記録部７０に記録し、選択されなかったフレーム群に対応した参照グループのフレームを破棄する。これによれば、拡張ブラケット連写により撮像された複数のフレームのうち、ユーザの好みに合った撮像条件のフレームを記録し、他のフレームを破棄することにより、記録容量を抑制しながらユーザの好みに合った画像を記録することができる。

連続撮像手法の一例を説明するための図である。 本発明の実施の形態に係る撮像装置の構成図である。 本発明の実施の形態に係る符号化部の構成図である。 本発明の実施の形態に係る実施例１の一般概念を説明するための図である。 本発明の実施の形態に係る実施例１の具体例（Ｎ＝３）を説明するための図である。 本発明の実施の形態に係る実施例１の具体例（Ｎ＝５）を説明するための図である。 本発明の実施の形態に係る実施例２の一般概念を説明するための図である。 本発明の実施の形態に係る実施例２の具体例（Ｌ＝３）を説明するための図である。 本発明の実施の形態に係る実施例１の具体例（Ｌ＝５）を説明するための図である。 本発明の実施の形態に係る実施例３の一般概念を説明するための図である。 本発明の実施の形態に係る実施例３の具体例（Ｎ＝３、Ｌ＝６）を説明するための図である。 ブラケット連写により生成されたフレーム群を示す図である。 図１３（ａ）は撮像条件の選択画面を示す。図１３（ｂ）はサムネイル画像の表示画面を示す。 図１４（ａ）は、一つのフレーム群に含まれるフレームの一覧表示画面を示す。図１４（ｂ）は、第２フレーム群から抽出されたフレームの表示画面を示す。図１４（ｃ）は、第３フレーム群から抽出されたフレームの表示画面を示す。

符号の説明

１０ 制御部、 ２０ 撮像部、 ３０ 撮像条件設定部、 ４０ 符号化部、 ５０ 操作部、 ６０ 表示部、 ７０ 記録部、 ８０ ブロック生成部、 ８２ 差分器、 ８４ ＤＣＴ部、 ８６ 量子化部、 ８８ 逆量子化部、 ９０ 逆ＤＣＴ部、 ９２ 加算器、 ９４ 動き補償部、 ９６ フレームバッファ、 ９８ 可変長符号化部、 ９９ ヘッダ生成部、 １００ 撮像装置。

Claims (7)

1. 撮像条件が変化しながら連続撮像されたピクチャをピクチャ間予測符号化するとき、
   それぞれの符号化対象ピクチャが予測符号化すべき参照ピクチャが固定されており、
   それぞれの符号化対象ピクチャと、それぞれの参照ピクチャは、対応する撮像条件で撮像されたピクチャであることを特徴とする画像符号化装置。
2. それぞれの符号化対象ピクチャから、それぞれの参照ピクチャまでの距離が固定されていることを特徴とする請求項１に記載の画像符号化装置。
3. 撮像条件が変化しながら連続撮像されたピクチャをピクチャ間予測符号化するとき、
   それぞれの符号化対象ピクチャが予測符号化すべき参照ピクチャが固定されており、
   前記連続撮像されたピクチャを複数のグループに分類し、それぞれのグループごとに前記参照ピクチャの位置が固定されていることを特徴とする画像符号化装置。
4. 前記連続撮像されたピクチャは、複数の撮像条件が繰り返し切り換えられながら撮像されたピクチャであり、
   それらピクチャを前記複数の撮像条件の単位サイクルごとに、前記複数のグループに分類することを特徴とする請求項３に記載の画像符号化装置。
5. それぞれのグルーブは、自己以外のグループに参照ピクチャを持つ第１ピクチャと、グループ内に参照ピクチャを持つ第２ピクチャを含み、
   それぞれのグルーブの第１ピクチャは、自己以外のグループの第１ピクチャを参照ピクチャとすることを特徴とする請求項３または４に記載の画像符号化装置。
6. それぞれの第１ピクチャから、それぞれの参照ピクチャまでの距離が固定されていることを特徴とする請求項５に記載の画像符号化装置。
7. 撮像条件を変化させながら連続撮像する撮像部と、
   前記撮像部で連続撮像されたピクチャを符号化する請求項１から６のいずれかに記載の画像符号化装置と、
   を備えることを特徴とする撮像装置。

Images