JP2016134685A - 撮像装置及び撮像装置の表示方法 - Google Patents

Abstract

【課題】使用者の意図通りに画像に台形補正処理を行うことが可能な撮像装置及び撮像装置の表示方法を提供する。
【解決手段】本発明の撮像装置は、所定のフレーム周期毎に１次画像データを取得する撮像素子と、前記フレーム周期に同期して撮像レンズの焦点距離である第１の焦点距離を取得する焦点距離検出部と、第１角度及び第２角度からなる２つの値を含む補正角度を入力する構成を有する入力装置と、前記フレーム周期に同期して、前記第１の焦点距離の値及び前記補正角度の値を用い、前記１次画像データを、前記受光面に対してピッチ方向に前記第１角度をなし、前記受光面に対してヨー方向に前記第２角度をなす平面上に投影する変形処理を施した２次画像データを生成する画像処理部と、前記フレーム周期に同期して、前記２次画像データに基づく画像を表示する画像表示装置と、を備える。
【選択図】図１

Description

本発明は、撮像素子及び画像表示装置を備える撮像装置及び撮像装置の表示方法に関する。

デジタルカメラ等の撮像装置を用いて例えば被写体である建築物を見上げる姿勢で撮像する場合、画像中において建築物は上すぼまりに台形状に歪む。例えば、特開２００７−４３５４５号公報には、被写体を撮影するときの撮像装置の姿勢を加速度センサによって検出し、被写体の台形状の歪みを自動的に補正する台形補正処理を行う技術が開示されている。

特開２００７−４３５４５号公報

特開２００７−４３５４５号公報に開示の技術のように、加速度センサによって撮像装置の姿勢を検出する場合、撮像装置の上下方向（ピッチ方向）の傾きしか検出できないため、使用者が望む台形補正処理が行われない場合がある。

本発明は、上述した点に鑑みてなされたものであって、使用者の意図通りに画像に台形補正処理を行うことが可能な撮像装置及び撮像装置の表示方法を提供することを目的とする。

本発明の一態様の撮像装置は、撮像レンズの光軸に受光面が直交するように配置され、所定のフレーム周期毎に１次画像データを取得する撮像素子と、前記フレーム周期に同期して前記撮像レンズの焦点距離である第１の焦点距離を取得する焦点距離検出部と、前記受光面に対してピッチ方向になす角度である第１角度、及び前記受光面に対してヨー方向になす角度である第２角度からなる２つの値を含む補正角度を入力する構成を有する入力装置と、前記フレーム周期に同期して、前記第１の焦点距離の値及び前記補正角度の値を用い、前記１次画像データを、前記受光面に対してピッチ方向に前記第１角度をなし、前記受光面に対してヨー方向に前記第２角度をなす平面上に投影する変形処理を施した２次画像データを生成する画像処理部と、前記フレーム周期に同期して、前記２次画像データに基づく画像を表示する画像表示装置と、を備える。

また、本発明の一態様の撮像装置の表示方法は、撮像レンズの光軸に受光面が直交するように配置され、所定のフレーム周期毎に１次画像データを取得する撮像素子と、前記フレーム周期に同期して前記撮像レンズの焦点距離を取得する焦点距離検出部と、前記光軸に対してピッチ方向になす角度である第１角度、及び前記光軸に対してヨー方向になす角度である第２角度からなる２つの値を含む補正角度を入力する入力装置と、画像表示装置とを備える撮像装置の表示方法であって、前記フレーム周期に同期して、前記焦点距離の値及び前記補正角度の値を用い、前記１次画像データを、前記光軸に対してピッチ方向に前記第１角度をなし、前記光軸に対してヨー方向に前記第２角度をなす平面上に投影する変形処理を施した２次画像データを生成するステップと、前記フレーム周期に同期して、前記２次画像データに基づく画像を前記画像表示装置に表示するステップと、を含む。

本発明によれば、使用者の意図通りに画像に台形補正処理を行うことが可能な撮像装置及び撮像装置の表示方法を実現できる。

撮像装置の構成を説明するブロック図である。 撮像装置の背面側の斜視図である。 撮像装置の撮像動作のフローチャートである。 台形補正処理のフローチャートである。 台形補正処理について説明するための図である。 台形補正処理について説明するための図である。 台形補正処理について説明するための図である。 台形補正処理について説明するための図である。 台形補正処理について説明するための図である。 第２の実施形態に係る撮像装置の構成を説明するブロック図である。 第２の実施形態に係る台形補正処理のフローチャートである。 第２の実施形態に係る台形補正処理について説明するための図である。 第２の実施形態に係る台形補正処理について説明するための図である。 第２の実施形態に係る台形補正処理について説明するための図である。

以下に、本発明の好ましい形態について図面を参照して説明する。なお、以下の説明に用いる各図においては、各構成要素を図面上で認識可能な程度の大きさとするため、構成要素毎に縮尺を異ならせてあるものであり、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。

図１及び図２に示すように、撮像装置１は、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子３、画像表示装置６、入力装置７及び制御部１０を備える。本実施形態では一例として、撮像装置１は、撮像素子３及び制御部１０を収容する本体部２と、当該本体部２に固定される撮像レンズ４とを具備し、撮像レンズ４によって結像された光学像を電子データとして記憶する、いわゆるデジタルカメラの形態を有する。なお、撮像装置１は、撮像レンズ４を本体部２から取り外し可能な、いわゆるレンズ交換式のデジタルカメラであってもよいし、撮像レンズ４を本体部２から取り外すことのできないレンズ一体式のデジタルカメラであってもよい。

以下では、撮像装置１の姿勢方向の定義として、撮像レンズ４の光軸方向をＺ軸と定義する。また、撮像装置１を正立状態とした場合に、光軸と直交しかつ水平となる方向をＸ軸とし、光軸と直交しかつ垂直となる方向をＹ軸とする。また、撮像装置１の姿勢変化の方向を表すために、撮像装置１のＸ軸周りの回転方向をピッチ方向と称し、Ｙ軸周りの回転方向をヨー方向と称し、Ｚ軸周りの回転方向をロール方向と称する。

撮像素子３は、矩形の受光面を有する。撮像素子３の受光面は、撮像レンズ４の光軸に直交するように配設されている。撮像レンズ４は、オートフォーカス動作が可能であり、合焦距離を変化させるために一部又は全部のレンズを移動させるＡＦ機構部４ａを備える。また、本実施形態では一例として、撮像レンズ４は、焦点距離を変更可能な、いわゆるズームレンズである。撮像レンズ４のズーム動作は、使用者から入力される力によって行われる手動ズームの形態であってもよいし、撮像レンズ４内に組み込まれた電動モータが発生する力によって行われる電動ズームの形態であってもよい。

本実施形態の撮像レンズ４は、撮像レンズ４の現在の焦点距離の情報を制御部１０に出力する焦点距離検出部４ｂを備える。焦点距離検出部４ｂの構成は、ロータリーエンコーダを用いて焦点距離を検出する形態や、ズーム動作用のステッピングモータを動作させるパルス数をカウントする形態等、公知の技術である。なお、例えば撮像装置１がレンズ一体式である場合には、焦点距離検出部４ｂは、制御部１０に含まれる形態であってもよい。

撮像装置１は、レンズシャッタ機構又はフォーカルプレーンシャッタ機構を備えていてもよい。また、撮像装置１は、撮像レンズ４に、絞り機構を備えていてもよい。

画像表示装置６は、例えば液晶表示装置又は有機ＥＬ表示装置等からなり、画像を表示する。画像表示装置６は、撮像装置１のグラフィカル・ユーザー・インターフェース（ＧＵＩ）の表示、撮像動作中にファインダーとして機能するライブビューの表示、及び記録された画像データの表示等を行う。

本実施形態では一例として、画像表示装置６は、本体部２に配設されている。なお、画像表示装置６は、本体部２と分離されており、かつ本体部２と有線通信又は無線通信により接続される他の電子機器に配設される形態であってもよい。

入力装置７は、例えばレバースイッチ、ダイヤルスイッチ、ボタンスイッチ、タッチセンサ等の、使用者が撮像装置１の動作指示を入力するための一つ又は複数の操作部材からなる。

本実施形態では一例として、入力装置７は、電源操作スイッチ７ａ、レリーズスイッチ７ｂ、４方向スイッチ７ｃ、ダイヤルスイッチ７ｄ、タッチパネル７ｅ及び２方向スイッチ７ｆを備える。タッチパネル７ｅは、画像表示装置１５の表示面上に配設されている。なお、図示する本実施形態では、一例として入力装置７を構成する全ての部材が撮像装置１に設けられている。しかし、入力装置７の構成は本実施形態に限られるものではなく、例えば入力装置７の一部又は全部は、本体部２と分離されており、かつ本体部２と有線通信又は無線通信により接続される他の電子機器に配設される形態であってもよい。

レリーズスイッチ７ｂは、異なる押し込み量又は異なる押し込み力によって動作する第１レリーズスイッチ及び第２レリーズスイッチを備えた、いわゆる２段の押しボタンスイッチである。本実施形態では、レリーズスイッチ７ｂに加える押し込み力を増大させていった場合、先に第１レリーズスイッチがＯＮ状態となり、次に第２レリーズスイッチがＯＮ状態となる。第１レリーズスイッチのみがＯＮ状態である状態は、いわゆる半押しの状態であり、第２レリーズスイッチがＯＮ状態である状態は、いわゆる全押しの状態である。

制御部１０は、ＣＰＵ（演算装置）１１、ＲＡＭ（記憶装置）１２、フラッシュメモリ（補助記憶装置）１３、画像処理部１６、入出力装置及び電力制御装置等を具備して構成されており、撮像装置１の後述する動作を、所定のプログラムに基づいて制御する構成を有している。本実施形態では、撮像装置１の制御プログラムは、不揮発性の記憶媒体であるフラッシュメモリ１３等に記憶されている。

制御部１０は、撮像素子駆動部８に電気的に接続されている。撮像素子駆動部８は、制御部１０の制御にしたがって撮像素子３を駆動する。また、撮像素子駆動部８は、撮像素子３から出力された２次元の画像信号をデジタル信号である１次画像データに変換する。ここで、１次画像データ中の座標について、撮像装置１を正立状態に保持した場合において視野中の鉛直方向に沿う軸をｙ軸とし、視野中の水平方向に沿う軸をｘ軸とする。なお、本実施形態では一例として、撮像素子３と撮像素子駆動部８とを別体として示しているが、撮像素子駆動部８は撮像素子３内に一体に含まれる形態であってもよい。

ＲＡＭ１２には、制御プログラム１２ａ、画像データバッファ１２ｂ及びログ情報バッファ１２ｃの複数の記憶エリアを有する。制御プログラム１２ａは、撮像装置１の電源投入時に、フラッシュメモリ１３から読み出した制御プログラムを記憶する記憶エリアである。

画像データバッファ１２ｂは、撮像素子駆動部８から出力された１次画像データや、後述する画像処理部１６によって生成された２次画像データを記憶する記憶エリアである。以下では、画像データバッファ１２ｂに記憶されているデータについて、１次画像データ及び２次画像データの区別が不要である場合には、単に画像データと称する。

なお、画像データバッファ１２ｂは、画像処理部１６が扱う画像データ専用のビデオメモリに設けられる記憶エリアであってもよい。また、ログ情報バッファ１２ｃは、後述する台形歪補正処理の実行に用いる変数を記憶する記憶エリアである。

ＡＦ制御部１４は、撮像素子３の受光面での撮像レンズ４の焦点状態を検出し、撮像装置１によるオートフォーカス動作を制御する。より詳しくは、ＡＦ制御部１４は、１次画像データ中の所定の領域であるＡＦ領域内のコントラストを検出しつつ、ＡＦ機構部４ａを制御して合焦距離を変化させて撮像レンズ４を合焦状態とする。すなわち、本実施形態の撮像装置１は、一般にコントラスト検出方式と称されるオートフォーカス動作が可能である。なお、撮像装置１のオートフォーカス動作の形態は、前述したコントラスト検出方式に限られるものではない。例えば、撮像装置１は、撮像面に被写体像の位相差を検出する測距センサが配置された撮像素子３を備え、測距センサによって検出されたデフォーカス量に基づいて撮像レンズ４を駆動し合焦状態とする、一般に位相差検出方式と称されるオートフォーカス動作が可能であってもよい。

本実施形態では、ＡＦ領域は、矩形状である１次画像データ中の一部の領域である。１次画像データ中におけるＡＦ領域の座標及び大きさは、固定されていてもよいし、使用者による入力装置７の操作に応じて変更可能であってもよい。また、１次画像データ中におけるＡＦ領域の座標及び大きさは、これらを制御部１０が所定のプログラムに基づいて自動的に変更する形態であってもよい。

本実施形態では一例として、１次画像データ中のＡＦ領域の座標は変更することが可能であり、このＡＦ領域の座標の決定は、使用者がタッチパネル７ｅや４方向スイッチ７ｃ等の入力装置７を操作することによって行われる。

ＡＥ制御部１５は、撮像素子３から取得される１次画像データに対する、露出量の制御を行う。ＡＥ制御部１５は、１次画像データから得られる被写体輝度に基づいて、露出値を算出する。

画像処理部１６は、画像データバッファ１２ｂに記憶されている画像データに所定の画像処理を施す。以下では、画像処理部１６によって画像処理を施された後の画像データを、２次画像データと称する。本実施形態の画像処理部１６は、画像データに対して後述する台形補正を施すための、台形歪補正係数算出部１６ａ及び補正処理部１６ｂを含む。

台形補正係数算出部１６ａは、焦点距離検出部４ｂから得られる撮像レンズ４の焦点距離の値と、入力装置７を介して入力された後述する補正角度の値、を用いて、台形補正の演算処理の実行に必要な補正係数を算出する。補正処理部１６ｂは、台形補正係数算出部１６ａによって算出された補正係数に基づいて、１次画像データに対して座標変換を伴う画像補間処理を行う。前記画像補間処理は、バイキュービック補間やバイリニア補間等の画像補間処理を実施するものである。

なお、本実施形態では一例として、前述のＡＦ制御部１４、ＡＥ制御部１５及び画像処理部１６の機能構成は、制御部１０に含まれている。なお、ＡＦ制御部１４、ＡＥ制御部１５及び画像処理部１６の機能構成は、例えばそれぞれの機能を実行する専用のプロセッサ回路等の専用のハードウェアを用いる形態であってもよい。

また、本実施形態の撮像装置１は、商用電源、ＡＣアダプタ又は電池等の電源２０に接続される電源接続部２１及び、フラッシュメモリカード等の記憶媒体２２に接続される記憶媒体接続部２３を備える。本実施形態では一例として、電源２０は電池であって、本体部２内に着脱可能に収容される。また、本実施形態では一例として、記憶媒体２２はフラッシュメモリカードであって、本体部２内に着脱可能に収容される。なお、電源２０となる電池及び記憶媒体２２は、本体部２内に固定される形態であってもよい。また、記憶媒体２２は、本体部２と分離されており、かつ本体部２と有線通信又は無線通信により接続される他の電子機器に配設される形態であってもよい。

次に、画像処理部１６において実行される台形補正処理について、図４に示すフローチャートを参照して説明する。台形補正処理とは、概略的には、被写体に正対していない位置において撮像された１次画像データに対して台形歪みを補正する幾何学的な変形処理を施すことによって、被写体に正対する仮想的な視点から撮像したような２次画像データを生成する処理である。

以下では台形歪みを補正する幾何学的な変形処理について、説明を簡単なものとするために、被写体に正対する位置に対して、撮像装置１の姿勢がピッチ方向（上下方向にあおり傾斜角が生じる方向）に所定の角度をなす位置に配置された場合について説明する。

例えば、図５及び図６に示すように、建築物４０の矩形である前面４０ａを、地面に近い実視点Ｐから見上げるように撮像装置１によって撮像する場合、図７に示すように、１次画像データ５０上では、前面４０ａは上すぼまりに台形に歪んだ形状となる。このとき、実視点Ｐからの撮像では、撮像装置１は、撮像レンズ４の光軸を水平からピッチ方向に第１角度αｙだけ上方に向けた姿勢となる。１次画像データ５０上において前面４０ａが歪むのは、撮像装置１から前面４０ａへの距離が下から上に向かうほど遠くなることによって、上下方向で撮影倍率が変化するためである。

一方、撮像装置１を建築物４０の前面４０ａに正対する仮想視点Ｐ’に配置して撮像する場合には、図８に示すように、１次画像データ５０上において前面４０ａは矩形状となる。

台形補正処理では、実視点Ｐから撮像した１次画像データ５０中の被写体像が、図９に示すように仮想的な視点である仮想視点Ｐ’から撮影した被写体像に近似した形状となるように１次画像データ５０を変形して、これを２次画像データ５０’とする。言い換えれば、撮像素子３の受光面に平行な平面Ａ上の１次画像データ５０を、平面Ａに対してピッチ方向に第１角度αｙだけ傾いた平面Ｂに投影したものが、台形補正処理が施された２次画像データ５０’である。

具体的には、台形補正処理では、まずステップＳ３１において、焦点距離検出部４ｂから、撮像レンズ４の焦点距離ｆの値を取得し、ＲＡＭ１２のログ情報バッファ１２ｃに記憶する。

次に、ステップＳ３２において、補正角度を取得し、ＲＡＭ１２のログ情報バッファ１２ｃに記憶する。ここで、補正角度とは、前述のように、撮像素子３の受光面に対してピッチ方向になす角度である第１角度αｙと、撮像素子３の受光面に対してヨー方向になす角度である第２角度αｘとの２つの角度の値を含む。

補正角度の値は、使用者が入力装置７を操作することによって定められる。例えば、使用者が４方向スイッチ７ｃを上下方向に操作することによって第１角度αｙの値が増減し、使用者が４方向スイッチ７ｃを左右方向に操作することによって第２角度αｘの値が増減する。また例えば、使用者がタッチパネル７ｅ上をなぞるドラッグ操作の方向に応じて、第１角度αｙ及び第２角度αｘの値が増減する形態であってもよい。補正角度の値は、連続的に変化する形態であってもよいし、ステップ状に変化する形態であってもよい。

次に、ステップＳ３３において、ログ情報バッファ１２ｃに記憶されている焦点距離ｆの値及び補正角度の値を用いて、１次画像データ５０に台形補正処理を施し、２次画像データ５０’を生成する。

下記数式（１）は、平面Ａの１次画像データ５０の座標（ｘ，ｙ）と、平面Ａに対してピッチ方向に角度αだけ傾いた平面Ｂの２次画像データ５０’の座標（ｘ’、ｙ’）との関係を表す式である。

［数１］
ｙ＝｛Ｈ・ｋ１・ｙ’｝／｛Ｈ−ｋ２・ｙ’｝
ｘ＝｛Ｈ・ｘ’｝／｛Ｈ−ｋ２・ｙ’｝
ここで、ｋ１及びｋ２は変換係数であり、
ｋ１＝ｃｏｓα−ｓｉｎα・ｔａｎβ
ｋ２＝Ｈ−２ｓｉｎα・ｔａｎβ
である。

Ｈは、使用者によって入力装置７を介して入力された補正角度に対応した撮像素子３の有効画素領域の所定の辺の画素数である。例えば、図７に示すように、撮像素子３の有効画素領域の長辺を水平にして撮影し、視野の上下方向の台形歪みの補正を行う場合には、Ｈは撮像素子３の有効画素領域の短辺方向の画素数である。具体的には、Ｈに対応する画素数は、撮像素子３の有効画素領域の短辺方向となる長さに対して、撮像素子３にある１画素あたりの長さ（画素ピッチ）を割り算した結果となる。

また、図示しないが、撮像素子３の有効画素領域の長辺を水平にして撮影し、視野の左右方向の台形歪みの補正を行う場合には、Ｈは撮像素子３の有効画素領域の長辺方向の画素数である。この場合、Ｈに対応する画素数は、撮像素子３の有効画素領域の長辺方向となる長さに対して、撮像素子３にある１画素あたりの長さ（画素ピッチ）を割り算した結果となる。

また、角度βは、下記数式（２）によって算出される。

［数２］
β＝ａｒｃｔａｎ｛Ｌ／（２・ｆ）｝
Ｌは、使用者によって入力装置７を介して入力された補正角度に対応した撮像素子３の有効画素領域の所定の辺の長さである（単位はｍｍで示す）。例えば、図７に示すように、撮像素子３の有効画素領域の長辺を水平にして撮影し、視野の上下方向の台形歪みの補正を行う場合には、Ｌは撮像素子３の有効画素領域の短辺方向の長さである（単位はｍｍで示す）。また、図示しないが、撮像素子３の有効画素領域の長辺を水平にして撮影し、視野の左右方向の台形歪みの補正を行う場合には、Ｌは撮像素子３の有効画素領域の長辺方向の長さである（単位はｍｍで示す）。ｆは撮像レンズ４の焦点距離である（単位はｍｍで示す）。すなわち、角度βは、撮像装置１の台形歪みを行う方向の画角の半分の値である。

なお、焦点距離ｆの値は、使用者によって入力装置７を介して入力される値であってもよい。例えば、撮像装置１がレンズ交換式であり、焦点距離情報を取得できない撮像レンズ４が装着されている場合には、焦点距離ｆの値を使用者が入力することによって、使用者が所望する台形補正を実施することができる。また、焦点距離ｆの値を使用者が入力可能とすることによって、使用者の意図に応じた遠近感を生じさせる台形補正を行うことができる。なお、焦点距離ｆの値を使用者が入力可能である場合には、撮像レンズ４から取得される値と、使用者によって入力される値のどちらを用いて台形補正を実行するかを選択する手段が設けられてもよい。

ステップＳ３３では、上記数式（１）及び（２）を用いることによって、１次画像データ５０に、短辺方向の台形補正処理を実施し、２次画像データ５０’を生成する。台形補正後となる２次画像データの座標（ｘ’，ｙ’）は、上記数式（１）が示す１次画像データ５０の座標（ｘ，ｙ）との関係式を逆算することによって算出される。より具体的には、ステップＳ３３では、上記数式（１）及び（２）を用い、台形補正後となる２次画像データの座標（ｘ’，ｙ’）に対する１次画像データ５０の座標（ｘ，ｙ）の関係式を定義する。次にこの定義した数式（１）に基づく関係式を逆算して、入力される１次画像データ５０の座標（ｘ，ｙ）から２次画像データ５０’の座標（ｘ’，ｙ’）を求めることによって、図７に一例として示すような１次画像データ５０に、ピッチ方向の補正角度入力に応じて、一次画像データ５０の短辺方向（図７の例ではｙ方向）の台形補正処理を実施し、図９に示す様な２次画像データ５０’を生成する。

以上の例示では、台形補正処理は視野中の鉛直方向（ピッチ方向）について行われる作用を説明した。なお、台形補正処理は視野中の水平方向（ヨー方向）についても同様に行われる。この場合の台形補正処理は、例えば建築物４０の前面４０ａと撮像レンズ４の光軸との水平方向になす角度が直角でない実視点Ｐから撮影された１次画像データを、建築物４０の表面４０ａに正対する仮想視点Ｐ’から撮影された画像に近似させる台形補正を実行するものである。このような撮影条件では、建築物４０の矩形状の前面４０ａは、１次画像データ中において左右方向に非対称となる。この場合の台形補正処理は、１次画像データ５０又はピッチ方向の台形補正処理が施された２次画像データ５０’を、平面Ａに対してヨー方向に第２角度αｘだけ傾いた平面Ｂに投影する変形処理を施したものを２次画像データ５０’とする。具体的には、平面Ａに対してヨー方向に第２角度αｘだけ傾いた平面Ｂの２次画像データ５０’の座標（ｘ’、ｙ’）は、前記数式（１）に対して、１次画像に係る座標の変数（ｘ、ｙ）を（ｙ、ｘ）に置き換えて、さらに２次画像に係る座標の変数（ｘ’、ｙ’）を（ｙ’、ｘ’）に置き換えた関係式となる。また、前記数式（２）に対して、βの値に係る、Ｌ［ｍｍ］は、撮像素子３の有効画素領域の長辺方向の長さになる。

以上のように、本実施形態の画像処理部１６は、１次画像データ５０を、撮像素子３の受光面と平行な平面Ａに対してピッチ方向に第１角度αｙをなし、受光面に対してヨー方向に第２角度αｘをなす平面Ｂ上に投影する変形処理を施した２次画像データを生成する。

なお、以上に述べた台形補正処理の生成に必要な画像処理の詳細については、公知の技術であるため詳細な説明は省略するものとする。

次に、以上に説明した構成を有する撮像装置１の動作について説明する。図３に示すフローチャートは、撮像装置１の電源がオン状態であり、かつ撮像動作モードである場合の動作を示している。撮像動作モードでは、初期状態として、所定のフレーム周期毎に撮像素子３から１次画像データを取得し、画像処理部１６にて画像処理された後の２次画像データを画像表示装置６に逐次表示出力させるライブビュー表示動作をしている。また、撮像動作モードでは、撮像装置１は、レリーズスイッチ７ｂへの操作入力に応じて、撮像装置１が被写体像を電子データとして記憶媒体２２に記憶する動作を実行する。なお、撮像装置１は、記憶媒体２２に記憶されている画像の電子データを、画像表示装置６に再生表示する再生モードを実行可能であってもよい。

撮像動作モードは、例えば使用者によって電源操作スイッチ７ａが操作されて撮像装置１を休止状態とする入力が行われた場合、他の動作モードに切り替える操作が入力された場合、又は制御部１０が休止状態に移行する判断をした場合、に終了する。この撮像動作モードを終了する判定処理は、図３のフローチャートでは省略している。

撮像動作モードでは、撮像素子３及び撮像素子駆動部８に電力が供給されている。また、ライブビュー表示動作を行うために、撮像素子３からの１次画像データ５０の取得は、所定のフレーム周期毎に行われる。撮像動作モードでは、まず、ステップＳ１１において、撮像素子駆動部８から出力された１次画像データ５０を、ＲＡＭ１２の画像データバッファ１２ｂに記憶する。

次にステップＳ１２において、台形補正モードが使用者によって選択されているか否かを判定する。台形補正モードとは、撮像装置１が、１次画像データ５０に対して、画像処理部１６を用いて前述した台形補正処理を施す動作モードである。台形補正モードの選択の有無は、例えば画像表示装置６に表示されるＧＵＩにおいて、使用者が４方向スイッチ７ｃ又はタッチパネル７ｅを操作することによって切り替えられる。

ステップＳ１２において、台形補正モードが使用者によって選択されていると判定した場合には、ステップＳ１３において図４に示す台形補正処理を実行した後にステップＳ１４に移行する。ステップＳ１３が実行されることによって、１次画像データ５０に対して台形補正処理を施したものである２次画像データ５０’が、画像データバッファ１２ｂに記憶される。

一方、ステップＳ１２において、台形補正モードが使用者によって選択されていないと判定した場合には、ステップＳ１３をスキップしてステップＳ１４に移行する。

ステップＳ１４では、ＲＡＭ１２の画像データバッファ１２ｂに記憶されている画像データを、画像表示装置６に表示する。ここで、ステップＳ１３がスキップされている場合には、ステップＳ１４では、台形補正処理が施されていない１次画像データ５０が画像表示装置６に表示される。一方、ステップＳ１３が実行されている場合には、台形補正処理が施された２次画像データ５０’が画像表示装置６に表示される。

台形補正処理が施された２次画像データ５０’中では、図９に示すように、撮像装置１の視野は矩形では無くなる。ステップＳ１４では、２次画像データ５０’の全体を画像表示装置６に表示してもよいし、２次画像データ５０’を図９に２点鎖線で示すように矩形の領域にトリミングした一部の領域を画像表示装置６に表示してもよい。

次に、ステップＳ１５では、レリーズスイッチ７ｂの第１レリーズスイッチがＯＮ状態であるか否かを判定する。すなわち、レリーズスイッチ７ｂが半押し状態であるか否かを判定する。

ステップＳ１５において、レリーズスイッチ７ｂの第１レリーズスイッチがＯＦＦ状態であると判定した場合には、ステップＳ１１に戻る。すなわち、レリーズスイッチ７ｂが操作されるまでは、ステップＳ１１からステップＳ１４までの動作は、所定のフレーム周期に同期して繰り返し実行される。ステップＳ１１からステップＳ１４までの動作は、所定のフレーム周期に同期して繰り返すことによって、画像表示装置６に表示される１次画像データ５０又は２次画像データ５０’が、常に更新されるライブビュー動作が行われる。

一方、ステップＳ１５において、レリーズスイッチ７ｂの第１レリーズスイッチがＯＮ状態であると判定した場合には、ステップＳ１６へ移行する。ステップＳ１６では、ＡＦ領域の座標を取得する。前述のように１次画像データ５０中のＡＦ領域の座標は、使用者によって指定される値である。

そしてステップＳ１７において、ステップＳ１６で取得した座標のＡＦ領域内のコントラスト値を用いて、ＡＦ制御部１４によりオートフォーカス動作を実行する。なお、前述のように、撮像装置１が位相差検出方式のオートフォーカス動作が可能である場合には、オートフォーカス動作は、測距センサによって検出されたデフォーカス量を用いて行われる。また、ステップＳ１８において、画像表示装置６に表示されているライブビュー表示に、ＡＦ領域の位置及び大きさを示す枠状のＡＦ領域アイコンを重畳して表示する。

次のステップＳ１９では、レリーズスイッチ７ｂの第１レリーズスイッチがＯＦＦ状態であるか否かを判定する。ステップＳ１９において、レリーズスイッチ７ｂの第１レリーズスイッチがＯＦＦ状態であると判定した場合には、使用者がフレーミング操作を止めたと判断して、再度ステップＳ１１に戻る。

一方、ステップＳ１９において、レリーズスイッチ７ｂの第１レリーズスイッチがＯＮ状態であると判定した場合には、ステップＳ２０に移行する。ステップＳ２０では、レリーズスイッチ７ｂの第２レリーズスイッチがＯＮ状態であるか否かを判定する。

ステップＳ２０において、レリーズスイッチ７ｂの第２レリーズスイッチがＯＦＦ状態であると判定した場合には、ステップＳ１１に戻る。

一方、ステップＳ２０において、レリーズスイッチ７ｂの第２レリーズスイッチがＯＮ状態であると判定した場合には、ステップＳ２１に移行して撮像動作を実行する。撮像動作では、ＡＥ制御部１５によって算出した露出値を用いた撮像が行われるように、撮像素子３を駆動し、得られた画像データを撮像用画像データとして画像データバッファ１２ｂに記憶する。

次にステップＳ２２において、台形補正モードが使用者によって選択されているか否かを判定する。ステップＳ２２において、台形補正モードが使用者によって選択されていると判定した場合には、ステップＳ２３に移行して撮像用画像データに対して前述した台形補正処理を実行する。そしてステップＳ２４において、台形補正処理が施された撮像用画像データを、所定の形式の電子ファイルとして記憶媒体２２に記憶する。

一方、ステップＳ２２において、台形補正モードが使用者によって選択されていないと判定した場合には、ステップＳ２３をスキップしてステップＳ２４に移行し、撮像用画像データを、所定の形式の電子ファイルとして記憶媒体２２に記憶する。

以上に説明したように、本実施形態の撮像装置１は、所定のフレーム周期毎に１次画像データを取得する撮像素子３と、フレーム周期に同期して撮像レンズ４の焦点距離を取得する焦点距離検出部４ｂと、撮像素子３の受光面に対してピッチ方向になす角度である第１角度αｙ及び受光面に対してヨー方向になす角度である第２角度αｘからなる２つの値を含む補正角度を入力する入力装置７と、フレーム周期に同期して、焦点距離の値及び補正角度の値を用いて、１次画像データを、受光面に対してピッチ方向に第１角度αｙをなし、受光面に対してヨー方向に第２角度αｘをなす平面上に投影する変形処理を施した２次画像データを生成する画像処理部１６と、フレーム周期に同期して２次画像データに基づく画像を表示する画像表示装置６と、を備える。

このような構成を有する本実施形態の撮像装置１によれば、撮像装置１のピッチ方向及びヨー方向の２つの方向について、被写体の台形歪みを補正する台形補正処理を実行可能であり、使用者は、この台形補正処理の度合い（補正角度）を入力装置７を操作することによって自由に変更することができる。また、本実施形態では、台形補正処理が施された結果である２次画像データ５０’がライブビューとして画像表示装置６に表示され、かつ補正角度を変更した結果が即時にライブビューの表示に反映される。このため、本実施形態の撮像装置１を用いれば、使用者は、被写体構図を確認しながら、意図通りに画像に台形補正処理を行うことが可能である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。以下では第１の実施形態との相違点のみを説明するものとし、第１の実施形態と同様の構成要素については同一の符号を付し、その説明を適宜に省略するものとする。

本実施形態の撮像装置１は、図１０に示すように、画像処理部１６に回転補正部１６ｃを備え、ステップＳ２３の台形補正処理において、１次画像データをロール方向に回転する回転補正処理を実行可能である。

回転補正部１６ｃは、１次画像データに対して、入力部７を介して入力されたロール方向の補正角度（第３角度αθ）に応じて、水平軸（Ｘ軸）と垂直軸（Ｙ軸）を回転座標変換する回転補正処理を実行する。

第３角度αθの値は、本実施形態では一例として、使用者が２方向スイッチ７ｆを操作することによって入力される。例えば、２方向スイッチ７ｆが一方の側に操作された場合に第３角度αθの値が増加し、２方向スイッチ７ｆが一方の側に操作された場合に第３角度αθの値が減少する。

例えば、撮像装置１がロール方向に角度θだけ傾斜して配置される場合には、図１２に示すように、１次画像データ１５０中において被写体の水平方向及び垂直方向と、１次画像データ１５０の座標軸であるｘ軸及びｙ軸とが一致しない。この場合の１次画像データ１５０にピッチ方向及びヨー方向の台形補正処理を実施しても、使用者が所望する台形補正が施された２次画像データが得られない場合がある。

そこで、本実施形態の撮像装置１は、台形補正処理を実施する前の１次画像データ１５０に対して回転補正処理を実行し、被写体の水平方向及び垂直方向と画像データ中のｘ軸及びｙ軸とを一致させる。

図１１は、本実施形態の撮像装置１における台形補正処理のフローチャートである。台形補正処理では、まず、ステップＳ１３１では、第１の実施形態のステップＳ３１と同様の動作を行う。すなわち、撮像レンズ４の撮像レンズ４の焦点距離ｆの値を取得し、ＲＡＭ１２のログ情報バッファ１２ｃに記憶する。

次に、ステップＳ１３２において、ロール方向の補正角度である第３角度αθの値を取得し、ＲＡＭ１２のログ情報バッファ１２ｃに記憶する。第３角度αθの値は、前述のように、使用者によって入力部７を介して入力される。

次に、ステップＳ１３３において、回転補正部１６ｃによって、第３角度αθの値に応じて、１次画像データに対して水平軸（Ｘ軸）と垂直軸（Ｙ軸）を回転座標変換する回転補正処理を行う。ステップＳ１３３の実行によって、回転補正処理された２次画像データを取得する。

回転座標変換の演算処理手段は、下記数式（３）に基づいた１次変換処理を用いた回転座標変換処理を用いる。下記数式（３）は、１次画像データ１５０の座標（ｘ，ｙ）と、１次画像データ１５０に対してロール方向に角度θだけ回転した２次画像データ１５０’の座標（ｘ’，ｙ’）との関係を表す式である。

［数３］
ｘ’＝ｘ・ｃｏｓθ−ｙ・ｓｉｎθ
ｙ’＝ｘ・ｓｉｎθ＋ｙ・ｃｏｓθ
回転補正処理によって得られた２次画像データ１５０’中では、図１３のように、被写体である建築物４０の傾きが補正される。

次に、ステップＳ１３４において、第１の実施形態のステップＳ３２と同様の動作を行う。すなわち、ピッチ方向及びヨー方向の補正角度である、第１角度αｙ及び第２角度αｘの値を取得し、ＲＡＭ１２のログ情報バッファ１２ｃに記憶する。

そして、ステップＳ１３５では、第１の実施形態のステップＳ３３と同様の動作を行う。すなわち、ログ情報バッファ１２ｃに記憶されている焦点距離ｆの値と第１角度αｙ及び第２角度αｘの値を用いて、ステップＳ１３３の実行によって得られた２次画像データ１５０’に台形補正処理を施した２次画像データ１５０”を生成する。２次画像データ１５０”中では、図１４のように、被写体である建築物４０の台形歪みが補正される。

なお、本実施形態では、１次画像データに対する回転補正処理を、画像処理部１６で行う手段を示した。しかしながら回転補正処理の手段は、本実施形態に限られるものではなく、例えば撮像装置１内に、撮像素子３をロール方向に回動させる回動機構を設置し、撮像素子３を第３角度αθの値に応じて回動することによっても、回転補正処理を行うことができる。

本実施形態に係る撮像装置によれば、台形補正処理を行う前に、回転補正処理を行って、被写体像の水平または垂直方向を、台形補正に係るヨー方向、ピッチ方向に対応した状態にすることができる。この作用によって、撮影構図として、被写体の水平方向と撮像装置の水平方向とを一致させられない場合であっても、撮影者の所望通りの台形補正を施した撮影画像を取得することが可能になる。

なお、本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う撮像装置及び撮像装置の表示方法もまた本発明の技術的範囲に含まれるものである。

また、本発明に係る撮像装置は、上述の実施形態で説明したような、デジタルカメラの形態に限らず、例えば撮像機能を備えた電子機器の形態であってもよい。撮像機能を備えた電子機器としては、例えば携帯通信端末、ゲーム機、デジタルメディアプレーヤー、腕時計、ボイスレコーダー、双眼鏡等が考えられる。

１ 撮像装置、
２ 本体部、
３ 撮像素子、
４ 撮像レンズ、
４ａ ＡＦ機構部、
４ｂ 焦点距離検出部、
６ 画像表示装置、
７ 入力装置、
７ａ 電源操作スイッチ、
７ｂ レリーズスイッチ、
７ｃ ４方向スイッチ、
７ｄ ダイヤルスイッチ、
７ｅ タッチパネル、
７ｆ ２方向スイッチ、
８ 撮像素子駆動部、
１０ 制御部、
１１ ＣＰＵ、
１２ ＲＡＭ、
１２ａ 制御プログラム、
１２ｂ 画像データバッファ、
１２ｃ ログ情報バッファ、
１３ フラッシュメモリ、
１４ ＡＦ制御部、
１５ ＡＥ制御部、
１６ 画像処理部、
１６ａ 台形補正係数算出部、
１６ｂ 補正処理部、
１６ｃ 回転補正部、
２０ 電源、
２１ 電源接続部、
２２ 記憶媒体、
２３ 記憶媒体接続部。

Claims (4)

1. 撮像レンズの光軸に受光面が直交するように配置され、所定のフレーム周期毎に１次画像データを取得する撮像素子と、
   前記フレーム周期に同期して前記撮像レンズの焦点距離である第１の焦点距離を取得する焦点距離検出部と、
   前記受光面に対してピッチ方向になす角度である第１角度、及び前記受光面に対してヨー方向になす角度である第２角度からなる２つの値を含む補正角度を入力する構成を有する入力装置と、
   前記フレーム周期に同期して、前記第１の焦点距離の値及び前記補正角度の値を用い、前記１次画像データを、前記受光面に対してピッチ方向に前記第１角度をなし、前記受光面に対してヨー方向に前記第２角度をなす平面上に投影する変形処理を施した２次画像データを生成する画像処理部と、
   前記フレーム周期に同期して、前記２次画像データに基づく画像を表示する画像表示装置と、
   を備えることを特徴とする撮像装置。
2. 前記入力装置は、前記撮像レンズの光軸周りの角度である第３角度の値を補正するための回転補正角度を入力する構成を更に有しており、
   前記画像処理部は、前記フレーム周期に同期して、前記第１の焦点距離の値及び前記補正角度の値を用いて、前記１次画像データを、ロール方向へ回転する回転変形処理を施した２次画像データを生成する回転補正処理手段を更に有する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記入力装置は、任意の値である第２の焦点距離を入力する構成と、
   前記焦点距離検出部が取得した前記第１の焦点距離と、前記第２の焦点距離のどちらか１つを選択する構成と、を更に有しており、
   前記画像処理部は、前記入力装置によって選択された前記第１の焦点距離又は前記第２の焦点距離の値と、前記補正角度の値とを用い、前記１次画像データを、前記受光面に対してピッチ方向に前記第１角度をなし、前記受光面に対してヨー方向に前記第２角度をなす平面上に投影する変形処理を施した２次画像データを生成する
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 撮像レンズの光軸に受光面が直交するように配置され、所定のフレーム周期毎に１次画像データを取得する撮像素子と、
   前記フレーム周期に同期して前記撮像レンズの焦点距離を取得する焦点距離検出部と、
   前記光軸に対してピッチ方向になす角度である第１角度、及び前記光軸に対してヨー方向になす角度である第２角度からなる２つの値を含む補正角度を入力する入力装置と、
   画像表示装置と
   を備える撮像装置の表示方法であって、
   前記フレーム周期に同期して、前記焦点距離の値及び前記補正角度の値を用い、前記１次画像データを、前記光軸に対してピッチ方向に前記第１角度をなし、前記光軸に対してヨー方向に前記第２角度をなす平面上に投影する変形処理を施した２次画像データを生成するステップと、
   前記フレーム周期に同期して、前記２次画像データに基づく画像を前記画像表示装置に表示するステップと、
   を含むことを特徴とする撮像装置の表示方法。

Images