Nothing Special   »   [go: up one dir, main page]

JP5493942B2 - 撮像装置と撮像方法 - Google Patents

撮像装置と撮像方法 Download PDF

Info

Publication number
JP5493942B2
JP5493942B2 JP2010024042A JP2010024042A JP5493942B2 JP 5493942 B2 JP5493942 B2 JP 5493942B2 JP 2010024042 A JP2010024042 A JP 2010024042A JP 2010024042 A JP2010024042 A JP 2010024042A JP 5493942 B2 JP5493942 B2 JP 5493942B2
Authority
JP
Japan
Prior art keywords
imaging
image
unit
control unit
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010024042A
Other languages
English (en)
Other versions
JP2011147094A (ja
Inventor
淳司 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010024042A priority Critical patent/JP5493942B2/ja
Priority to US12/928,287 priority patent/US8723918B2/en
Priority to CN201010578548.6A priority patent/CN102098438B/zh
Publication of JP2011147094A publication Critical patent/JP2011147094A/ja
Priority to US14/190,598 priority patent/US8917313B2/en
Application granted granted Critical
Publication of JP5493942B2 publication Critical patent/JP5493942B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0088Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

この発明は、撮像装置と撮像方法に関する。詳しくは、パノラマ画像を生成するための複数枚の撮像画像を良好な画質で容易に得ることができるようにする。
従来、例えば撮像装置を用いてパノラマ画像を得るためには、特許文献1のように、撮像領域を少しずつ移動させて撮像を行い、撮像開始点から連続的にフレーム(あるいはフィールド)画像を記録する。そして、記録された撮像画像に対して、位置的に隣接する撮像画像の重複部分を抽出し、この重複部分に対して所定の演算を行うことによって、それぞれの撮像画像がシームレスに合成されてパノラマ画像が生成される。
例えば、ユーザは、撮像方向を水平方向に移動させながら撮像を行い、複数枚の撮像画像を記録する。この撮像画像に対して重複部分に適当な処理を加えながら撮像画像をシームレスに繋ぐことで、横長のパノラマ画像を得ることができる。
また、撮像方向を移動しながら撮像を行うとき、この移動方向と逆方向に光軸可変素子を変化させて、光軸がリニアに移動している間にシャッターを開放して、シャッターが閉じている間に速やかに光軸を元に戻す動作を繰り返して複数枚の撮像画像を記録する。このようにすれば、撮像装置を素早く動かしても解像度が悪くならず、シャッタースピードを速くしなくても、良好なパノラマ画像を生成できる。
特開平11−88754号公報
ところで、撮像装置では、手振れに応じて光軸を変化させて、手振れによる画像のぼけを防止する手振れ補正機能が設けられている。しかし、手振れ補正機能は、手振れによる画像のぼけを防止する機能であり、パノラマ画像に用いられる撮像画像を生成するための機能ではない。
また、露光期間中は撮像装置の動きに応じてレンズ部と撮像素子の少なくとも一方を光軸に対して変位させて振れ補正を行う場合、撮像画像は、変位が大きくなると歪みや色収差,解像度等についての劣化した画像となってしまう。ここで、例えば撮像装置のスイープや平行移動等を行っても撮像装置の動きに応じた振れを生じないように振れ補正を行う場合、撮像装置は、撮像装置の動きに対する振れ補正の補正可能範囲が最大となるようにレンズ部と撮像素子の少なくとも一方を変位させる。このように、振れ補正の補正可能範囲が最大となるようにレンズ部と撮像素子の少なくとも一方を光軸に対して変位させておくことで、撮像装置は、露光期間が長くなっても撮像装置の動きに対応した振れ補正を行うことができるようになる。しかし、変位の大きい位置から振れ補正を開始した場合、撮像装置は、露光期間が短いとき、変位が少ない状態である期間の割合が少なくなる。また、変位が最小となる前に露光期間を終了してしまう場合がある。したがって、撮像装置で得られる撮像画像は、歪みや色収差,解像度等についての劣化した画像となってしまう。
そこで、この発明では、パノラマ画像を生成するための複数枚の撮像画像を良好な画質で容易に得られる撮像装置と撮像方法を提供することを目的とする。
この発明の第1の側面は、光軸に対してレンズ部と撮像素子の少なくとも一方を変位させる駆動部と、当該撮像装置の動きに応じて、前記レンズ部と前記撮像素子の少なくとも一方を前記駆動部によって変位させる制御部とを有し、前記撮像素子で生成される撮像画像は前記光軸に対する変位が大きいと劣化した画像となり、前記制御部は、複数枚の前記撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および/または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させて、露光期間中における前記変位が小さくなるように、前記露光期間の長さに応じて前記露光開始時の変位量を設定する撮像装置にある。
この発明において、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら複数枚の撮像画像の生成を行うとき、レンズ部または撮像素子の少なくとも一方が、光軸を中心とした位置から光軸に対して垂直な面内で撮像方向の移動する方向に応じた方向に変位されて、振れ補正範囲が広くされる。また、レンズ部または撮像素子の少なくとも一方が、光軸を中心とした位置から変位されて露光が開始される。また、露光期間中は、変位されているレンズ部および/または撮像素子が撮像装置の動きに応じて移動されて、撮像素子の撮像面上に結像される光学像の撮像装置の動きに応じた振れが補正される。さらに、撮像素子の露光期間例えばシャッタースピードやフレームレートに応じて露光開始時の位置の変位量を設定する。例えば露光期間が短いとき、すなわち振れ補正を行う期間が短いときは変位量を少なくして、露光期間中における変位を小さくする。
この発明の第2の側面は、光軸に対してレンズ部と撮像素子の少なくとも一方の変位が大きいと前記撮像素子で生成される撮像画像が劣化した画像となる撮像装置を用いる撮像方法であって、駆動部によって、前記光軸に対してレンズ部と撮像素子の少なくとも一方を変位させるステップと、制御部によって、当該撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を前記駆動部で変位させるステップと、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、前記制御部によって、各撮像画像の露光開始時における前記レンズ部および/または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させて、露光期間中における前記変位が小さくなるように、前記露光期間の長さに応じて前記露光開始時の変位量を設定するステップを備える撮像方法にある。
この発明によれば、駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方が変位される。また、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および/または撮像素子の位置が、制御部によって、撮像方向の移動する方向に応じた方向に駆動部で変位される。また、変位されているレンズ部および/または撮像素子を、当該撮像装置の動きに応じて駆動部によって変位させる制御が制御部で行われて、撮像方向の移動に伴って生じる振れの補正が行われる。さらに、露光期間中における変位が小さくなるように、露光期間の長さに応じて露光開始時の変位量が設定される。したがって、パノラマ画像の生成に適した振れ補正を行うことが可能となり、パノラマ画像を生成するための複数枚の撮像画像を、歪みや色収差、解像度等について劣化の少ない良好な画質で容易に得ることができる。
第1の実施の形態の構成を示す図である。 撮像装置の動きと撮像素子の撮像面上に結像される光学像の位置の関係を説明するための図である。 撮像装置の外観を例示した図である。 第1の実施の形態の動作を示すフローチャートである。 メニュー表示が行われた状態を示す図である。 パノラマ撮像処理を示すフローチャートである。 スイープ方向が右方向であるときの補正レンズの補正動作開始位置を示す図である。 シャッタースピードとオフセット量の関係を例示した図である。 パノラマ撮像処理の他の例を示すフローチャートである。 手振れ補正撮像処理を示すフローチャートである。 撮像装置のスイープ動作を説明するための図である。 パノラマ撮像処理を説明するための図である。 右方向のスイープ動作を行ったときに生成される撮像画像を説明するための図である。 シャッタースピードに応じてオフセット量を切り換えた場合の動作(シャッタースピードが遅い場合)を説明するための図である。 シャッタースピードに応じてオフセット量を切り換えた場合の動作(シャッタースピードが速い場合)を説明するための図である。 シャッタースピードにかかわらずオフセット量を最大としている場合の動作を説明するための図である。 第2の実施の形態の構成を示す図である。 雲台の構成を示した図である。 第2の実施の形態の動作を示すフローチャートである。
以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
1−1.撮像装置の構成
1−2.撮像装置の外観
1−3.撮像装置の動作
1−4.パノラマ撮像画像の生成動作例
2.第2の実施の形態
2−1.撮像装置の構成
2−2.撮像装置の動作
<1.第1の実施の形態の構成>
[1−1.撮像装置の構成]
図1は、本発明の撮像装置の構成を示すブロック図である。撮像装置10は、撮像光学系ブロック11、ドライバ12、撮像光学系センサ部13、撮像素子21、タイミング信号発生(TG)部22、アナログフロントエンド(AFE)部23、信号処理部24、検波部25を備えている。さらに撮像装置10は、画像出力部31、表示部32、記録再生部33、操作部41、動き検出部42、制御部50を備えている。
撮像光学系ブロック11は、レンズ部11aと撮像素子21の撮像面上に形成される光学像の光量調節する絞り機構11bを備えている。レンズ部11aは、例えば変倍を行うズームレンズ111、フォーカシングを行うフォーカスレンズ112、後述する撮像素子21の撮像面上に形成される光学像の位置を撮像面上で移動させる補正レンズ部113で構成されている。
補正レンズ部113は、例えば光軸が撮像光学系の光軸と一致するように設けられた補正レンズと、この補正レンズを撮像光学系の光軸に対して直交する方向に移動させるアクチュエータ等で構成されている。このような構成の補正レンズ部113は、アクチュエータによって、補正レンズを撮像光学系の光軸に対して垂直な面内で、光軸を中心とした位置から変位させる。
また、補正レンズ部113は、可変頂角プリズムユニットを用いるようにしてもよい。可変頂角プリズムユニットは、ベローズ等の折り曲げ自在な筒の端面に透光性を有する入射端板と出射端板を設け、筒内に所望の屈折率を持った透光性の液体を封入したものである。可変頂角プリズムユニットを用いる場合、入射端板または出射端板の一方を固定して、他方をアクチュエータで駆動して光学楔を形成する。このような構成の補正レンズ部は、例えば入射端板に対する出射端板の傾斜角度を変位させて、撮像面上に形成される光学像の位置を撮像面上で移動させる。
さらに、レンズ部11aは、撮像面上に光学像を結像させる構成であって、光軸に対して垂直な面内で変位することにより撮像面上に結像される光学像の位置を撮像面上で移動できる構成であれば他の構成であってもよい。したがって、レンズ部11aは、ズームレンズ111とフォーカスレンズ112および補正レンズ部113によって構成される場合に限られるものではない。
ドライバ12は、後述する制御部50からのレンズ制御信号に基づきズームレンズ111やフォーカスレンズ112および補正レンズ部113のアクチュエータを駆動する。また、ドライバ12は、制御部50からの絞り制御信号に基づき絞り機構11bを駆動する。
撮像光学系センサ部13は、ズームレンズ111やフォーカスレンズ112のレンズ位置、補正レンズ部113の変位状態(補正レンズ部113の変位位置や補正角と同等)、および絞り機構11bの設定位置を検出して位置信号を制御部50に供給する。
撮像素子21は、例えばCCD(Charge Coupled Devices)、CMOS(Complementary Metal Oxide Semiconductor)型イメージ部などの撮像素子が用いられている。撮像素子21は、撮像光学系ブロック11によって撮像面上に形成された光学像を電気信号に変換してAFE部23に出力する。
TG部22は、撮像素子21で撮像画像を示す電気信号の出力を行うために必要とする各種の駆動パルス、並びに撮像素子21の電荷蓄積時間を制御する電子シャッターパルス等を生成する。
AFE部23は、撮像素子21から出力された電気信号(画像信号)に対して、ノイズ除去処理例えばCDS(Correlated Double Sampling)処理や、撮像信号を所望の信号レベルとするAGC(Automatic Gain Control)処理を行う。さらに、AFE部23は、ノイズ除去処理や利得制御が行われたアナログの撮像信号をディジタル信号に変換して信号処理部24に出力する。
信号処理部24は、カメラ信号前処理やカメラ信号処理、解像度変換処理、圧縮伸張処理等を行う。カメラ信号前処理では、AFE部23から供給された画像信号に対して、撮像素子21における欠陥画素の信号を補正する欠陥補正処理、レンズの周辺光量落ちを補正するシェーディング補正処理などを行う。カメラ信号処理では、ホワイトバランス調整や輝度補正等の処理を行う。また、ディジタルカメラ等では、撮像素子の前面にカラー・フィルタ・アレイ(Color Filter Array)を設けることにより、1つの撮像素子で赤色,緑色,青色の各信号を得るように構成されている場合がある。このような場合、カメラ信号処理ではデモザイク(demosaic)処理を行い、周囲の画素の信号を用いた補間等によって、各画素において欠落している色の信号を生成する。解像度変換処理では、カメラ信号処理がなされた画像信号、あるいは伸張復号化された画像信号を所定の解像度に変換する。圧縮伸張処理では、カメラ信号処理後の画像信号や解像度変換処理が行われた画像信号を圧縮符号化して、例えばJPEG(Joint Photographic Experts Group)方式の符号化信号を生成する。また、圧縮伸張処理では、JPEG方式の符号化信号を伸張復号化する。なお、圧縮伸張処理は、JPEG方式とは異なる方式で静止画の画像信号の圧縮符号化を行うようにしてもよい。また、圧縮伸張処理では、動画圧縮方式で動画の画像信号の圧縮符号化を行うようにしてもよい。
さらに、撮像装置10でパノラマ画像の生成を行う場合、信号処理部24は撮像画像を用いて動きベクトルの算出を行い、この算出した動きベクトルを利用して同じ被写体の画像が重なるように複数の撮像画像の合成を行って、パノラマ画像を生成する。また、撮像画像の合成は、動き検出部からの動き検出信号を用いてもよい。この場合、動きベクトルが正しく得られなくとも、動き検出信号を利用して同じ被写体の画像が重なるように複数の撮像画像を合成することが可能となる。なお、パノラマ画像の生成に用いる撮像画像は、例えば図示していないメモリまたは後述する記録再生部33で記録媒体に書き込むものとする。また、パノラマ画像の生成は、撮像時または再生時のいずれで行ってもよい。また、撮像装置10とは異なる外部機器、例えばコンピュータ等でパノラマ画像の生成を行うものとしてもよい。パノラマ画像の生成を再生時や外部機器で行う場合、再生時や外部機器でパノラマ画像の生成を可能とする識別情報(例えば一連の撮像画像であることを示す情報や撮像順序を示す情報等)を、パノラマ画像の生成に用いる撮像画像に対して設ける。このように識別情報を設けることで、正しい順序で撮像画像を合成してパノラマ画像を生成できる。
検波部25は、信号処理部24に供給された撮像信号等を用いて、被写体の明るさレベルやフォーカス状態の検出を行い、明るさレベルやフォーカス状態を示す検波信号を生成して制御部50に供給する。
画像出力部31は、信号処理部24で処理された画像信号を、撮像装置10と接続される外部機器に対応したフォーマットの画像信号に変換して出力する。
表示部32は、撮像装置10によって撮像されている画像や、記録再生部33で再生された撮像画像の表示を行う。また、表示部32は、撮像装置10の設定等を行うためのメニュー表示等も行う。
記録再生部33では、例えば、フラッシュメモリ、光ディスク、磁気テープなどの記録媒体が用いられている。記録再生部33は、信号処理部24から出力された撮像画像の画像信号や符号化信号を記録媒体に記録する。また、記録再生部33は、記録媒体に記録されている画像信号を読み出して画像出力部31や表示部32に供給する処理や、記録媒体に記録されている符号化信号を読み出して信号処理部24に供給する処理を行う。なお、記録再生部33は、記録媒体が着脱可能とされている構成に限られない。例えば、記録再生部33としてハード・ディスク装置等を内蔵させるようにしてもよい。
操作部41は、操作ボタンや表示部32の画面上に設けられたタッチパネル等で構成されている。操作部41は、ユーザ操作に応じた操作信号を生成して制御部50に供給する。
動き検出部42は、撮像方向の変化を生じさせる動きを検出する。例えばジャイロセンサを用いて動き検出部42を構成して、撮像装置10に加えられた動きを検出する。動き検出部42は、ヨーイング方向における振れに応じて例えば角速度を検出するヨーイング角速度検出部と、ピッチング方向における振れに応じて例えば角速度を検出するピッチング角速度検出部で構成されている。また、動き検出部42には、検出信号の信号処理を行う処理回路が設けられている。処理回路では例えば検出信号から不要な信号成分、例えばノイズ成分や角速度値の信号成分よりも高い周波数成分および共振周波数成分等を除去する。さらに、処理回路では温度変化や時間変化に伴って生じるドリフトの補正、検出信号をディジタル信号に変換して制御部50に供給する処理等を行う。動き検出部42から検出信号がアナログ信号として出力される場合、制御部50は動き検出信号をディジタル信号に変換して用いる構成としてもよい。
なお、動き検出部42は、角速度検出センサを用いて構成する場合に限られない。例えば、加速度検出センサ等を用いて動きの検出を行うようにしてもよい。加速度検出センサを用いる場合、加速度検出センサの出力を積分して速度を算出できる。さらに、その速度を積分して動きを算出することができる。
制御部50は、CPU(Central Processing Unit)やメモリ等で構成されている。メモリには、CPUが実行するプログラムや各種データが記憶されている。このメモリとしては、例えばEEPROM(Electronically Erasable and Programmable ROM)、フラッシュメモリなどの不揮発性メモリが用いられる。制御部50のCPUはメモリに記憶されているプログラムを実行して、メモリに記憶されている各種データや操作部41から供給された操作信号に基づき、撮像装置10の動作がユーザ操作に応じた動作となるように各部を制御する。例えば、制御部50は、シャッター操作をユーザが行ったとき、TG部22等の動作を制御して、所望のシャッタースピードで撮像した静止画の符号化信号等を記録再生部33の記録媒体に記録させる。また、動画記録開始操作が行われたときは、動画の符号化信号等を記録再生部33の記録媒体に記録させる。
また、制御部50は、モード選択操作をユーザが行ったとき、ユーザによって選択されたモードで撮像動作等を行う。例えば、パノラマ撮像モード、手振れ補正撮像モードのいずれかをユーザが選択したとき、ユーザによって選択されたモードで撮像動作等を行う。なお、パノラマ撮像モードとは、撮像装置のスイープや平行移動等を行いながら、1つの撮像画像よりも撮像範囲の広いパノラマ画像を生成する際に合成される複数の撮像画像を生成する撮像モードである。パノラマ撮像モードでは、複数の撮像画像を合成してパノラマ画像を生成する処理を行うものとしてもよく、生成した複数の撮像画像を記録媒体等に記録して、外部機器で撮像画像の合成を行うようにしてもよい。手振れ補正撮像モードとは、手振れ補正を行うことで手振れによる画像ぼけを生じていない撮像画像を生成する撮像モードである。
さらに、制御部50は、撮像光学系センサ部13から供給された位置信号や、検波部25から供給された検波信号に基づき、レンズ制御信号や絞り制御信号を生成してドライバ12に供給する。したがって、ドライバ12によって、所望の明るさでピントの合った撮像画像が得られるようにフォーカスレンズ112や絞り機構11bが駆動される。また、制御部50は、ズーム操作をユーザが行ったとき、レンズ制御信号を生成してドライバ12に供給することで、所望のズーム比の撮像画像が得られるようにズームレンズ111を駆動する。
このように構成された撮像装置10において、制御部50は、動き検出部42で検出された撮像装置10の動きに応じて、補正レンズ部113の補正レンズと撮像素子21の少なくとも一方を変位させる。制御部50は、このように補正レンズと撮像素子の少なくとも一方を変位させることで、撮像素子21の撮像面上に結像される光学像が、撮像装置の動きに応じて振れを生じることがないように振れの補正を行う。すなわち、制御部50は、撮像装置10の動きに応じて、補正レンズと撮像素子の少なくとも一方を変位させることで、撮像装置の動きによって生じる撮像画像の振れを補正する。
図2は、撮像装置の動きと撮像素子の撮像面上に結像される光学像の位置の関係を説明するための図である。例えば、図2の(A)では、被写体OBaの光学像OBbが撮像素子82の撮像面の中央位置となるように撮像装置80の位置が設定されている。次に、撮像装置80に動きが生じて、撮像装置80が図2の(B)に示す矢印FAの方向に移動すると、撮像面上に結像される光学像OBbの位置は、撮像面の中央位置から移動してしまう。ここで、図2の(C)に示すように、レンズ部81を撮像装置80の動き方向とは逆方向である矢印FB方向に移動させると、光学像OBbを撮像面の中央位置に結像させることができる。また、図2の(D)に示すように、撮像素子82を撮像装置80の動き方向と同じ方向である矢印FC方向に移動させると、光学像OBbを撮像面の中央位置に結像させることができる。すなわち、撮像装置80の動きに応じて、レンズ部81と撮像素子82の少なくとも一方を変位させることで、撮像装置80の動きによって生じる撮像画像の振れを補正できる。
なお、撮像装置80の動きに応じてレンズ部81や撮像素子82を変位させるときの変位方向は、撮像装置80の動きによって生じる光学像OBbの移動を補正する方向であればよく、図2の(C)や図2の(D)に示す方向に限られるものではない。
図1の制御部50は、例えばレンズ部を変位させる場合、動き検出部42からの検出信号に基づき、撮像画像の振れが生じないように補正レンズ部113の補正レンズを変位させるためのレンズ制御信号を生成してドライバ12に出力する。ドライバ12は、レンズ制御信号に基づき駆動信号を生成して補正レンズ部113に出力する。補正レンズ部113は、駆動信号に基づきアクチュエータで補正レンズを変位させる。このように、動き検出部42からの動き検出信号に基づいて補正レンズ部113を駆動することで、補正レンズ部113の補正レンズを光軸に対して変位させて振れ補正を行う。
また、撮像素子21を変位させて振れ補正を行う場合、図1の点線で示すように、撮像装置10には、撮像素子21を光軸に対して直交する方向に移動させるアクチュエータ21aを設ける。さらに、制御部50は、動き検出部42からの検出信号に基づき、撮像画像の振れが生じないように撮像素子21を変位させるための位置制御信号を生成してドライバ12に出力する。ドライバ12は、位置制御信号に基づき駆動信号を生成してアクチュエータ21aに出力する。アクチュエータ21aは、駆動信号に基づき撮像素子21を変位させる。このように、動き検出部42からの動き検出信号に基づいてアクチュエータ21aを駆動することで、撮像素子21を光軸に対して変位させて、撮像素子の撮像面上に結像される光学像の振れ補正を行う。
さらに、制御部50は、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら複数枚の撮像画像の各画像の生成を行う際に、変位させる補正レンズおよび/または撮像素子の補正動作開始位置を、撮像方向の移動する方向に応じた方向に光軸を中心とした位置から変位させる。したがって、撮像方向の移動に対する振れ補正の補正可能範囲は、補正動作開始位置が光軸を中心とした位置とされている場合に比べて広くなる。
制御部50は、補正動作開始位置から撮像装置の動きに応じて補正レンズおよび/または撮像素子を駆動するとき、撮像装置の動きに対して遅れを生じることなく移動させることができるときは、補正動作開始時の位置を露光開始時の位置として露光を開始する。また、制御部50は、駆動開始時に撮像装置の動きに対して補正レンズおよび/または撮像素子の移動が遅れを生じるとき、撮像装置の動きに対して補正レンズおよび/または撮像素子の移動が追従する状態となってから露光を開始する。なお、撮像装置の動きに対して補正レンズおよび/または撮像素子の移動が追従する状態となるまでに要する期間は短く、露光開始時の位置は、補正動作開始位置の近傍であって、光軸を中心とした位置から撮像方向の移動する方向に応じた方向に変位した位置となる。
制御部50は、露光期間中、撮像装置の動きに応じて補正レンズおよび/または撮像素子を移動させることで撮像装置の動きに応じた振れを補正する振れ補正動作を動作状態として、撮像装置の動きによるぶれが生じていない撮像画像を生成する。
また、レンズ部と撮像素子の少なくとも一方を光軸に対して変位させる場合、撮像画像は、変位が大きい状態であるとき、歪みや色収差,解像度等について劣化した画像となってしまう。したがって、制御部50は、露光期間中における変位が小さくなるように、露光期間の長さに応じて補正動作開始位置(露光開始位置)を設定する。すなわち、露光期間が短いときは、変位が小さい状態で撮像画像を生成できるように、光軸を中心とした位置からの変位量を少なくして補正動作開始位置(露光開始位置)を設定する。また、補正動作開始位置の変位量を少なくすると振れ補正の補正可能範囲が狭いため、露光期間が長いとき、撮像装置の動きに対応させてレンズ部と撮像素子を変位させることが出来なくなってしまうおそれがある。したがって、制御部50は、露光期間が長いとき、光軸を中心とした位置からの変位量を多くして補正動作開始位置を設定することで、振れ補正の補正可能範囲を広くする。
なお、以下の説明では、補正レンズを変位させることで、撮像装置の動きに対する振れ補正を行う場合について説明する。また、補正動作開始位置と露光開始位置は、等しい位置とする。
[1−2.撮像装置の外観]
図3は、撮像装置10の外観を例示している。撮像装置10の筐体の背面には、表示部32が設けられ、表示部32の近傍には操作部41が設けられている。操作部41は、複数の操作キー等で構成されている。例えばメニューキー411は、表示部32にメニューを表示するための操作キーである。方向キー412a〜412dは、メニュー項目の選択等を行うときに操作される操作キーである。方向キー412a〜412dの中心部分に設けられている決定キー413は、選択されている項目の決定操作等を行うときに操作される操作キーである。さらに、筐体の上面に設けられたシャッターキー415は、シャッター操作を行うための操作キーである。なお、図3に示した操作部41は一例であり、キーの位置や種類はこの例に限定されない。また、表示部32の画面上にタッチパネルを設けて、表示部32の所定の位置を触れることで各種動作の設定や実行指示等を行うこともできるようにしてもよい。
[1−3.撮像装置の動作]
図4は、第1の実施の形態の動作を示すフローチャートである。なお、図4は、撮像装置10が、複数枚の撮像画像からパノラマ画像を生成するために、撮像方向を移動しながら複数枚の撮像画像の生成を行う撮像モード(以下「パノラマ撮像モード」という)と、パノラマ撮像モードと異なる撮像モード(以下「手振れ補正撮像モード」という)を有している場合を示している。なお、パノラマ撮像モードと異なる撮像モードは、例えば、1枚の撮像画像を生成する撮像モード、夜間等で撮像を行ったとき人物と背景がそれぞれ所望の明るさの撮像画像を得られるように、露光量の異なる複数枚の撮像画像を領域毎にいずれかの画像の比率を高めて重ね合わせる撮像モード(いわゆる夜景モード)等である。
ステップST1で制御部50は、撮像モードがパノラマ撮像モードであるか否か判別する。制御部50は、操作部41のメニューキー411が操作されたことを判別したとき、表示部32にメニュー表示GAを行う。図5は、表示部32でメニュー表示が行われている状態を例示している。その後、制御部50は、上方向を示す方向キー412aまたは下方向を示す方向キー412cの操作に応じてモードの切り換えを行い、選択されている撮像モードを識別可能に表示する。例えば、制御部50は、カーソル表示GBを設けて、カーソル表示GBの位置を、方向キー412a,412cの操作に応じて上下に移動させて、選択されている撮像モードを識別可能とする。さらに、制御部50は、決定キー413が操作されたときに選択されている撮像モードを、撮像装置10の撮像モードに設定する。ここで、制御部50は、撮像モードとしてパノラマ撮像モードMPが選択されているときステップST2に進み、手振れ補正撮像モードMBが選択されたときステップST3に進む。
ステップST2で制御部50は、パノラマ撮像処理を行いステップST4に進む。
ステップST1からステップST3に進むと制御部50は、手振れ補正撮像処理を行いステップS4に進む。
ステップST4で制御部50は、ステップST2で生成したパノラマ撮像画像またはステップST3で生成した手振れ補正撮像画像を記録再生部33で記録媒体に記録させる。
次に、パノラマ撮像処理について説明する。図6は、パノラマ撮像処理を示すフローチャートである。ステップST11で制御部50は、撮像装置の動き方向を設定する。制御部50は、いずれの方向に撮像装置のスイープあるいは平行移動等を行ってパノラマ画像の生成を行うか選択するための方向選択メニューを表示部32に表示する。制御部50は、ユーザがいずれの方向を選択したか、操作部41からの操作信号に基づき判別して、判別した方向を撮像装置の動き方向に設定してステップST12に進む。
ステップST12で制御部50は、シャッタースピードを判別する。制御部50は、ユーザ操作によって設定されたシャッタースピード、あるいは予め設定されているシャッタースピードを判別してステップST13に進む。
ステップST13で制御部50は、補正動作開始位置を設定する。制御部50は、撮像方向の移動する方向に応じた方向に補正レンズ部113の補正レンズ113aを変位させて補正動作開始位置とする。すなわち、制御部50は、補正レンズ113aを変位させて補正動作開始位置とすることで、撮像装置の動きに応じて補正レンズ113aを移動させるときの移動開始位置から最大移動可能位置までの範囲である振れ補正可能範囲を広くする。例えば、撮像方向を右方向に移動させるとき、補正レンズ部113の補正レンズ113aを左方向に移動させることで振れ補正が行われる場合、図7のように、補正レンズ部113の補正レンズ113aを中心位置からアクチュエータ113bで右方向に変位させる。なお、図7において、点線ARで示す位置は、補正レンズ113aの補正制御端の位置を示している。また、一点鎖線で示す丸印は、補正レンズ113aが光軸を中心とした中央位置とされている状態を示している。ここで、補正レンズ113aが中央位置であるときは、歪みや色収差、解像度等についての劣化が最も少ない撮像画像となる。
制御部50は、歪みや色収差、解像度等についての劣化の少ない撮像画像を得ることができるようにするため、露光期間すなわちシャッタースピードに応じて変位量を設定する。なお、撮像素子で電子シャッター動作を行う場合には非露光期間が生じる。シャッタースピードが速い(露光期間が短い)とシャッタースピードが遅い(露光期間が長い)場合に比べて、露光期間中の撮像装置の動きが小さい。すなわち、露光期間中における補正レンズ113aの移動量が少ない。このため、補正レンズ113aを補正制御端の位置に変位させておくと、シャッタースピードが速い場合、補正レンズ113aが中央位置となる前に露光期間が終了して、撮像画像は歪みや色収差,解像度等についての劣化した画像となってしまう場合がある。そこで、制御部50は、シャッタースピードが遅いとき、図7の(A)に示すように中心位置(光軸を中心とした位置)からの変位量を多くして、中心位置から離れた位置を補正動作開始位置とする。また、制御部50は、シャッタースピードが速いとき、図7の(B)に示すように変位量を少なくして、中心位置に近い位置を補正動作開始位置とする。
図8は、シャッタースピードと変位量の関係を例示している。シャッタースピードが遅い場合、例えばシャッタースピードが「SSma」である場合、露光期間が長いことから、変位量を中心位置から補正制御端まで距離である「dma」に設定する。また、シャッタースピードが速い場合、例えばシャッタースピードが「SSmb」である場合、露光期間が短いことから、変位量を「dma」よりも少ない「dmb」に設定する。なお、変位量は「dmb」は、露光期間を短くしたときの種々の撮影条件における振れ補正動作状況等を考慮して予め撮像装置10に記憶させておく。
シャッタースピードが、「SSma」から「SSmb」の範囲であるときは、式(1)に基づいて、シャッタースピード「SSx(SSma>SSx>SSmb)」に応じた変位量「dy」を算出する。例えばシャッタースピードが「SSa」のとき変位量は「da」、シャッタースピードが「SSb」のとき変位量は「db」となる。
Figure 0005493942

このように、制御部50は、シャッタースピードに応じて変位量を算出して、補正レンズ113aを、撮像装置の動きに対して振れ補正の補正可能範囲が広くなる方向に変位量だけ移動させて図6のステップST14に進む。なお、変位量を予め算出してメモリ等に記憶しておき、制御部50は、シャッタースピードに応じて変位量をメモリ等から読み出す構成であってもよい。
ステップST14で制御部50は、シャッター操作を開始してステップST15に進む。シャッター操作の開始は、シャッターキー415の操作や動き検出信号に基づいて行う。例えば、制御部50は、シャッターキー415が押された状態となったことを検出したとき、シャッター操作の開始とする。
また、動き検出信号を利用すれば、自動的にシャッター操作を開始できる。例えば、制御部50は、ステップST11で判別した方向に撮像装置10のスイープや平行移動等が行われたことを動き検出信号に基づいて検出したとき、シャッター操作を開始する。このようにすれば、ユーザはシャッターキー415を操作しなくとも、撮像装置10によって指示された方向に撮像装置10の向きを移動させるだけで、シャッター操作を開始できる。シャッターキー415が押された状態となったことを検出したときシャッター操作を開始する場合、シャッターキー415の操作によって撮像装置のぶれが生じると、このぶれの影響がパノラマ画像に現れてしまうおそれがある。しかし、動き検出信号を利用してシャッター操作を開始すれば、シャッターキー415の操作が必要ないので、シャッター操作によるぶれの影響がないパノラマ画像を容易に得ることができる。
なお、シャッター操作を行う際には、表示部32の画面上に撮像装置の動き方向を示す方向指示を行うものとすれば、設定した方向に正しく撮像装置のスイープや平行移動等を行わせることができるようになる。
ステップST15で制御部50は、撮像画像生成処理を行う。制御部50は、補正動作開始位置とされている補正レンズ113aを動き検出信号に応じて駆動して、撮像装置の動きによって生じる光学像の振れを補正する。制御部50は、補正動作開始時に、撮像装置の動きに対して遅れを生じることなく補正レンズ113aを移動できるとき、補正動作開始位置を露光開始時の位置として露光を開始する。また、制御部50は、補正動作開始時に撮像装置の動きに対して補正レンズ113aの移動が遅れを生じるとき、撮像装置の動きに対して補正レンズ113aの移動が追従する状態となる位置を露光開始時の位置として露光を開始する。なお、露光開始時の位置は、補正動作開始位置の近傍であり、光軸を中心とした位置から撮像方向の移動する方向に応じた方向に変位した位置である。さらに、制御部50は、露光期間中、振れ補正動作を動作状態とすることで、撮像装置10のスイープや平行移動等を行っても、撮像装置10の動きによるぼけが生じていない撮像画像を生成させてステップST16に進む。また、制御部50は、撮像画像生成処理において、補正動作開始位置を撮像方向の移動する方向に応じた方向に変位させて、振れ補正が可能な範囲を広くする。したがって、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置が光軸を中心とした位置とされている場合に比べて、撮像装置10の動きに応じた振れ補正が可能な期間を長くすることができる。すなわち、撮像装置10の動きに応じた振れ補正が可能な期間を長くできることから、被写体が暗いために露光期間を長くする場合であっても、撮像装置10の動きによるぶれが生じていない撮像画像を生成できる。
さらに、制御部50は、シャッタースピードに応じて変位量を設定して補正動作開始位置を決定している。すなわち、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置は、シャッタースピードに応じた変位量で光軸を中心とした位置から変位されているので、歪みや色収差、解像度等についての劣化の少ない画像の生成が行われる。例えば、シャッタースピードが速いとき、露光期間中の補正レンズ113aの位置は、中心位置に近い位置となる。したがって、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成できるようになる。
ステップST16で制御部50は、シャッター操作が終了されたか否か判別する。制御部50は、シャッター操作が終了されていないと判別したとき補正レンズ113aを補正動作開始位置に戻してステップST15に戻る。制御部50は、ステップST16からステップST15に戻ると、撮像画像の露光期間と次の撮像画像の露光期間との間に、補正レンズ113aを補正動作開始位置に戻す。その後、制御部50は、再度動き検出信号に応じて補正レンズ113aを駆動して、撮像装置10のスイープや平行移動等が行われてもぼけの生じていない画像の生成を行う。
また、制御部50は、シャッター操作が終了されたと判別したときステップST17に進む。制御部50は、例えば撮像装置の動き量(スイープ量や移動量)が予め設定されている所定量に達したときシャッター操作の終了とする。動き量は例えば動きベクトルを用いて算出できる。また、制御部50は、動き検出信号から撮像装置の動き量を判別して、動き量が所定量に達したときシャッター操作の終了としてもよい。また、シャッターキー415が押された状態となったことを検出してシャッター操作を開始した場合、シャッターキー415が押されていない状態となったことを検出したときシャッター操作の終了とすることもできる。さらに、制御部50は、報知した移動方向に撮像装置10の向きが移動したことを動き検出信号に基づいて検出してシャッター操作を開始した場合、報知した移動方向に撮像装置10の向きが移動しなくなったときシャッター操作の終了とすることもできる。
ステップST17で制御部50は、撮像画像合成処理を行う。制御部50は、信号処理部24を制御して、ステップST15とステップST16の処理によって生成された複数枚の撮像画像を用いて動きベクトルを算出する。また、制御部50は、算出した動きベクトルに基づいて、同じ被写体の画像が重なるように複数の撮像画像の合成を行って、1つの撮像画像よりも撮像範囲の広いパノラマ画像を、複数枚の撮像画像から生成してパノラマ撮像画像生成処理を終了する。
次に、パノラマ撮像処理の他の例について説明する。他の例では、複数の撮像画像を合成してパノラマ画像を生成するか、あるいは複数の撮像画像を記録媒体等に記録して、外部機器でパノラマ画像の生成を行うか選択可能とする場合を示している。図9は、パノラマ撮像処理の他の例を示すフローチャートである。ステップST21で制御部50は、撮像装置の動き方向を設定する。制御部50は、いずれの方向に撮像装置のスイープや平行移動等を行ってパノラマ撮像画像の生成を行うか選択するための方向選択メニューを表示部32に表示する。制御部50は、ユーザがいずれの方向を選択したか、操作部41からの操作信号に基づき判別して、判別した方向を撮像装置の動き方向に設定してステップST22に進む。
ステップST22で制御部50は、シャッタースピードを判別する。制御部50は、ユーザ操作によって設定されたシャッタースピード、あるいは予め設定されているシャッタースピードを判別してステップST23に進む。
ステップST23で制御部50は、補正動作開始位置の設定を行う。制御部50は、撮像方向の移動する方向に応じた方向に補正レンズ部113の補正レンズ113aを変位させて補正動作開始位置とする。すなわち、制御部50は、補正レンズ113aを変位させて補正動作開始位置とすることで、撮像装置の動きに応じて補正レンズ113aを移動させるときの移動開始位置から最大移動可能位置までの範囲である振れ補正可能範囲を広くする。また、制御部50は、歪みや色収差、解像度等についての劣化の少ない撮像画像を得ることができるようにするため、露光期間すなわちシャッタースピードに応じて変位量を設定する。このように、制御部50は、補正レンズ113aを、スイープ方向に対して振れ補正の補正範囲が広くなる方向にシャッタースピードに応じた変位量だけ移動させてステップST24に進む。
ステップST24で制御部50は、合成モードであるか否か判別する。制御部50は、パノラマ撮像処理において複数の撮像画像を合成してパノラマ画像を生成する処理を行わない非合成モードが選択されているとき、ステップST25に進む。また、制御部50は、複数の撮像画像を合成してパノラマ画像を生成する合成モードが選択されているとき、ステップST28に進む。
ステップST24で制御部50は、シャッター操作を開始してステップST25に進む。制御部50は、例えばシャッターキー415が押された状態となったことを検出したとき、シャッター操作の開始とする。
なお、シャッター操作を行う際には、表示部32の画面上に撮像装置の動き方向を示す方向指示を行うものとすれば、撮像装置の動き方向を設定した方向とすることができる。
ステップST25で制御部50は、撮像画像生成処理を行う。制御部50は、補正動作開始位置とされている補正レンズ113aを動き検出信号に応じて駆動して、スイープ動作によって生じる振れに対する補正(動き補正)を行う。すなわち、制御部50は、撮像装置10の動きによるぼけが生じていない撮像画像を生成させてステップST26に進む。ここで、補正動作開始位置は、撮像装置の動き方向に応じた方向に変位されて、補正可能な範囲が広くされている。したがって、撮像装置10のスイープや平行移動等を行ったとき、補正動作開始位置を変位していない場合に比べて補正可能期間が長くなるので、露光時間を長くすることができる。また、補正動作開始位置は、シャッタースピードに応じて変位されているので、歪みや色収差、解像度等についての劣化の少ない画像の生成が行われる。例えば、シャッタースピードが速いとき、露光期間中の補正レンズ113aの位置は、中心位置に近い位置となる。したがって、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成できるようになる。
ステップST26で制御部50は、シャッター操作が終了されたか否か判別する。制御部50は、シャッター操作が終了されていないと判別したときステップST25に戻る。制御部50は、ステップST26からステップST25に戻ると、撮像画像の露光期間と次の撮像画像の露光期間との間に、補正レンズ113aを補正動作開始位置に戻す。その後、制御部50は、再度動き検出信号に応じて補正レンズ113aを駆動して、撮像装置10のスイープや平行移動等が行われてもぼけの生じていない画像の生成を行う。また、制御部50は、シャッター操作が終了されたと判別したときステップST27に進む。
ステップST27では、合成モードが選択されているか否か判別する。制御部50は、合成モードが選択されているときステップST28に進み、合成モードが選択されていないときは、パノラマ撮像処理を終了する。
ステップST28で制御部50は、撮像画像合成処理を行う。制御部50は、信号処理部24を制御して、ステップST25とステップST26の処理によって生成された複数枚の撮像画像を用いて動きベクトルを算出する。また、制御部50は、算出した動きベクトルに基づいて、同じ被写体の画像が重なるように複数の撮像画像の合成を行って、1つの撮像画像よりも撮像範囲の広いパノラマ画像を、複数枚の撮像画像から生成してパノラマ撮像処理を終了する。
このようにすれば、複数の撮像画像の合成を撮像装置とは異なる機器、例えばコンピュータ装置等で行う場合、非合成モードを選択すれば、合成前の撮像画像を記録再生部33で記録媒体に記録させることができる。なお、合成前の撮像画像は、有線や無線の通信経路を介してコンピュータ装置に送信するようにしてもよい。
次に、手振れ補正撮像処理について説明する。図10は、手振れ補正撮像画像生成処理を示すフローチャートである。ステップST31で制御部50は、補正動作開始位置の設定を行う。手振れ補正撮像画像の生成では、撮像装置の動きに対する振れ補正の補正可能範囲が広くなるように補正動作開始位置を変位させる必要がない。すなわち、制御部50は、補正レンズ113aを、歪みや色収差、解像度等についての劣化の最も少ない画像の生成が行われる中央位置を補正動作開始位置とする。
ステップST32で制御部50は、シャッター操作を開始してステップST33に進む。制御部50は、例えばシャッターキー415が押された状態となったことを検出したとき、シャッター操作の開始とする。
ステップST33で制御部50は、撮像画像生成処理を行う。制御部50は、補正動作開始位置とされている補正レンズ113aを動き検出信号に応じて駆動して、撮像時の手振れに対する補正(手振れ補正)を行う。また、制御部50は、手振れによるぼけを生じていない撮像画像を生成させてステップST34に進む。
ステップST34で制御部50は、シャッター操作が終了されたか否か判別する。制御部50は、シャッター操作が終了されていないと判別したときステップST33に戻る。制御部50は、ステップST34からステップST33に戻ると、再度、動き検出信号に応じて補正レンズ113aを駆動して、手振れによるぼけが生じていない画像の生成を行う。
また、制御部50は、シャッター操作が終了されたと判別したとき手振れ補正撮像処理を終了する。制御部50は、例えば、シャッターキー415が押されていない状態となったことを検出したときシャッター操作の終了とする。制御部50は、撮像画像生成処理をシャッター操作の終了まで繰り返し行い、複数枚の画像を生成して手振れ補正撮像処理を終了する。
このように、制御部50は、パノラマ撮像モードであるとき、各撮像画像を生成するときの補正動作開始位置を、光軸に対してレンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させる。また、制御部50は、補正動作開始位置を変位させることで、撮像方向の移動に対する振れ補正の補正範囲を広く設定する。また、制御部50は、変位されているレンズ部および/または撮像素子を、撮像装置の動きに応じて移動させる。さらに、補正動作開始位置の変位に伴い露光開始時の位置が変位する。したがって、ぼけの生じていない撮像画像を生成できる露光期間を、変位していない場合に比べて長くできる。このため、撮像方向に対する振れ補正の性能が改善されて、パノラマ画像の生成に適した振れ補正が行われることになり、例えば露光時間を長くしてもぼけの生じていない撮像画像の生成や、スイープ速度が速くてもぼけの生じていない撮像画像の生成が可能となる。また、パノラマ画像を生成する際に、被写体の明るさやスイープ速度等の制約が軽減されて、パノラマ画像を生成するための複数枚の撮像画像を容易に得ることができる。
また、制御部50は、パノラマ撮像モードであるとき、シャッタースピードに応じて変位量を設定して補正動作開始位置を決定する。このため、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置は、シャッタースピードに応じた変位量で光軸を中心とした位置から変位された位置となる。このようにシャッタースピードに応じて露光開始時の位置を変位させるとき、シャッタースピードが速い場合には、光軸を中心とした位置からの変位量をシャッタースピードが遅い場合に比べて少なくする。したがって、シャッタースピードが速い場合、すなわち露光期間が短いときは、露光期間中の補正レンズ113aの位置が光軸に近い位置となるので、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成できるようになる。
[1−4.パノラマ撮像画像の生成動作例(右方向にスイープ動作させる場合)]
次に、パノラマ撮像画像の生成動作、例えば右方向にスイープ動作させてパノラマ撮像画像を生成する場合の具体的動作について説明する。
撮像装置10の撮像モードをパノラマ撮像モードとして、右方向にスイープ動作させる場合、ユーザは、図11に示すように、撮像装置10の向き(撮像方向)を矢印Aで示すように右方向にスイープさせる。
撮像モードがパノラマ撮像モードに設定されて右方向にスイープ動作させる場合、制御部50は、例えば表示部32にスイープ方向を示す表示を設ける。また、制御部50は、補正レンズ113aの位置を中央位置からスイープ動作に対する補正可能範囲が広くなる方向に、シャッタースピードに応じた変位量だけ移動して補正動作開始位置として、この補正動作開始位置から振れ補正を開始させる。
その後、制御部50は、シャッター操作を開始してパノラマ撮像処理を行う。図12は、パノラマ撮像処理を説明するための図である。図12の(A)は、補正レンズ113aの動きを示している。制御部50は、補正動作開始位置とされている補正レンズ113aを動き検出信号に応じて駆動する。したがって、補正レンズ113aは、右方向のスイープによる画像の振れを防止するため補正動作開始位置から左方向に移動する。
また、制御部50は、上述のように補正動作開始時または補正動作開始後に露光を開始して撮像画像の生成を行う。さらに、制御部50は、露光期間中、振れ補正動作を動作状態として、動き検出信号に応じて補正レンズ113aを駆動して、撮像装置の動きに応じて補正レンズ113aを移動させることで撮像素子21の撮像面上に結像される光学像の振れを補正する。したがって、撮像装置10では、図12の(B)に示すように、右方向のスイープを行ってもぼけの生じていない撮像画像PG1を生成できる。また、補正レンズ113aの補正動作開始位置は、中央位置から右方向に変位されているので、補正動作開始位置を変位していない場合に比べて、撮像方向の移動に対する振れ補正の補正範囲が広くなる。したがって、補正動作開始位置を変位した場合と変位していない場合とでスイープ速度が等しいとき、補正動作開始位置の変位に伴い露光開始時の位置を変位することで、ぼけの生じていない撮像画像を生成できる露光期間を変位していない場合に比べて長くできる。また、露光開始時の位置を変位した場合と露光開始時の位置を変位していない場合で露光時間が等しいとき、露光開始時の位置を変位することで、ぼけの生じていない撮像画像の生成が可能なスイープ速度を、変位していない場合に比べて速くできる。
制御部50は、1枚の撮像画像を生成したとき、シャッター操作が終了されていない場合、撮像画像PG1の露光期間と次の撮像画像の露光期間との間に、補正レンズ113aを補正動作開始位置に戻す。その後、制御部50は、再度補正動作開始位置から補正レンズ113aを動き検出信号に応じて駆動する。なお、図12の(A)では、補正動作開始位置に補正レンズ113aを戻す処理が行われる期間を期間RPとして示している。このように、補正レンズ113aを補正動作開始位置に戻してから、再度、動き検出信号に応じて駆動することで、撮像装置10をスイープさせてもぼけの生じていない撮像画像PG2を生成できる。
このような処理を繰り返して行い、制御部50は、例えば撮像画像PG5を生成したときにシャッター操作の終了と判別した場合、撮像処理を終了する。したがって、順次生成された撮像画像PG1〜PG5は、図13に示すように、撮像方向が順次右方向に切り換えられた画像となる。
このように、パノラマ撮像モードで撮像方向を右に移動させる場合、制御部50は、補正レンズ113aを右方向に変位させるので、撮像方向の移動に対する振れ補正の補正範囲が広くなる。また、制御部50は、この状態から動き検出センサで検出された動きに応じてレンズ部と撮像素子の少なくとも一方を変位させる。このため、例えば被写体が暗いことから露光時間を長くしてもぼけの生じていない撮像画像を生成できる。また、右方向のスイープ速度が速くてもぼけの生じていない撮像画像を生成できる。さらに、被写体の明るさやスイープ速度等の制約が軽減されて、パノラマ画像の生成を容易に行うことができる。
信号処理部24は、順次に生成した撮像画像PG1〜PG5から動きベクトルを算出して、または動き検出信号に基づき動きベクトルを検出する。また、信号処理部24は、この動きベクトルに基づいて、被写体の画像が重なり合うように撮像画像PG1〜PG5の位置あわせを行い、撮像画像PG1〜PG5を合成して、1枚の撮像画像よりも撮像範囲の広い、図12の(C)に示すパノラマ画像を生成する。
図14〜図15は、シャッタースピードに応じた変位量だけ補正動作開始位置を変位させた場合の動作、図16はシャッタースピードにかかわらず変位量を最大としている場合を示している。
図14の(A),図15の(A),図16の(A)は、動き検出部42からの動き検出信号を示している。図14の(B),図15の(B),図16の(B)は、手振れ補正要求フラグを示しており、フラグがハイレベル「H」の期間、振れ補正を行うように動き検出信号に応じて補正レンズ113aの位置が制御される。図14の(C),図15の(C),図16の(C)は、撮像素子21としてCMOS(Complementary Metal Oxide Semiconductor)型イメージ部を用いたときの電荷読み出し動作を示している。図14の(D),図15の(D),図16の(D)は、補正レンズ113aの補正方向に対する位置を示している。なお、図14の(D),図15の(D),図16の(D)において、破線は補正レンズ113aの移動可能範囲を示している。
シャッタースピードが遅い(露光期間が長い)場合、制御部50は、補正動作開始位置の変位量をシャッタースピードが速い(露光期間が短い)場合に比べて多くする。例えば、図14の(D)に示すように、例えば移動可能範囲の限界位置とする。このように変位量を多くすると、図14の(C)に示すように露光期間が長くても、図14の(D)に示すように、スイープ動作に対応して補正レンズ113aを移動させることができる。
シャッタースピードが速い(露光期間が短い)場合、図15の(D)に示すように、シャッタースピードが遅い場合に比べて補正動作開始位置の変位量を少なくする。このように、変位量を少なくすると、露光期間中の補正レンズ113aの位置は、図16の(D)に示すように変位量が多い場合に比べて中央位置に近くなる。したがって、図16に示すように、シャッタースピードにかかわらず、露光開始時の位置が変位量の多い位置である場合に比べて、歪みや色収差,解像度等についての劣化が少ない撮像画像を得ることができる。
また、歪みや色収差,解像度等についての劣化が少ない撮像画像を得ることができるので、パノラマ画像の生成を行う場合、例えば撮像画像からの動きベクトルの算出を精度よくかつ容易に行うことが可能となる。また、撮像画像の合成後のパノラマ画像も歪みや色収差,解像度等についての劣化が少ない画像とすることができる。
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態では、撮像装置の動きが明らかである場合を示している。撮像装置を用いて撮像画像の生成を行う場合、手持ち状態で撮像を行う場合だけでなく、雲台を用いた撮像も行われている。また、雲台によって撮像装置の撮像方向を自動的に移動させることも行われている。このように、雲台によって撮像装置の撮像方向を自動的に移動させる場合、撮像方向をどちらの方向にどのような速度で移動(あるいは回転)させて撮像を行うかを示す移動制御情報を撮像装置が有していれば、動き検出センサからの動き検出信号を用いることなく撮像装置の動きを判別できる。したがって、撮像装置は、移動制御情報に基づきレンズ制御信号や位置制御信号を生成することで、第1の実施の形態と同様に、撮像装置の動きによる振れを補正して、パノラマ画像の生成に用いる複数枚の撮像画像を生成できる。
[2−1.撮像装置の構成]
図17は、第2の実施の形態の構成を示す図であり、雲台を利用して撮像方向の移動を行う場合を示している。なお、図17において、図1と対応する部分については同一符号を付している。
撮像装置10aは、撮像光学系ブロック11、ドライバ12、撮像光学系センサ部13、撮像素子21、タイミング信号発生(TG)部22、アナログフロントエンド(AFE)部23、信号処理部24、検波部25を備えている。さらに撮像装置10は、画像出力部31、表示部32、記録再生部33、操作部41、雲台対応通信部43、制御部50aを備えている。
撮像光学系ブロック11は、上述のようにレンズ部11a、絞り機構11bを備えている。レンズ部11aは、ズームレンズ111、フォーカスレンズ112、補正レンズ部113で構成されている。
ドライバ12は、後述する制御部50aからのレンズ制御信号に基づきズームレンズ111やフォーカスレンズ112および補正レンズ部113のアクチュエータを駆動する。また、ドライバ12は、制御部50aからの絞り制御信号に基づき絞り機構11bを駆動する。
撮像光学系センサ部13は、ズームレンズ111やフォーカスレンズ112のレンズ位置、補正レンズ部113の変位状態(補正レンズ部113の変位位置や補正角と同等)、および絞り機構11bの設定位置を検出して位置信号を制御部50aに供給する。
撮像素子21は、撮像光学系ブロック11によって撮像面上に形成された光学像を電気信号に変換してAFE部23に出力する。
TG部22は、撮像素子21で撮像画像を示す電気信号の出力を行うために必要とする各種の駆動パルス、並びに撮像素子21の電荷蓄積時間を制御する電子シャッターパルス等を生成する。
AFE部23は、撮像素子21から出力された電気信号(画像信号)に対して、ノイズ除去処理や利得制御、ノイズ除去処理や利得制御が行われたアナログの撮像信号をディジタル信号に変換する処理等を行う。
信号処理部24は、カメラ信号前処理やカメラ信号処理、解像度変換処理、圧縮伸張処理等を行う。さらに、撮像装置10aでパノラマ画像の生成を行う場合、信号処理部24は撮像画像を用いて動きベクトルの算出を行い、この算出した動きベクトルを利用して同じ被写体の画像が重なるように複数の撮像画像の合成を行って、パノラマ画像を生成する。また、撮像画像の合成は、撮像方向の移動速度や方向を示す情報を用いてもよい。この場合、動きベクトルが正しく得られなくとも、同じ被写体の画像が重なるように複数の撮像画像を合成することが可能となる。
検波部25は、信号処理部24に供給された撮像信号を用いて、被写体の明るさレベルやフォーカス状態の検出を行い、明るさレベルやフォーカス状態を示す検波信号を生成して制御部50aに供給する。
画像出力部31は、信号処理部24で処理された画像信号を、撮像装置10と接続される外部機器に対応したフォーマットの画像信号に変換して出力する。
表示部32は、撮像装置10によって撮像されている画像や、記録再生部33で再生された撮像画の表示を行う。また、表示部32は、撮像装置10の設定等を行うためのメニュー表示等も行う。
記録再生部33は、信号処理部24から出力された撮像画の画像信号や符号化信号を記録媒体に記録する。また、記録再生部33は、記録媒体に記録されている画像信号を読み出して画像出力部31や表示部32に供給する処理や、記録媒体に記録されている符号化信号を読み出して信号処理部24に供給する処理を行う。
操作部41は、ユーザ操作に応じた操作信号を生成して制御部50aに供給する。
雲台対応通信部43は、例えば撮像装置10aが雲台60に対して取り付けられた状態において、雲台60の通信部との間で有線若しくは無線による通信信号の送受信を可能とするための構成を有している。雲台対応通信部43は、撮像装置10aとの間で所定の通信方式にしたがった通信を実行する。
制御部50aは、CPU(Central Processing Unit)やメモリ等で構成されている。メモリには、CPUが実行するプログラムや各種データが記憶されている。このメモリとしては、例えばEEPROM(Electronically Erasable and Programmable ROM)、フラッシュメモリなどの不揮発性メモリが用いられる。制御部50aのCPUはメモリに記憶されているプログラムを実行して、メモリに記憶されている各種データや操作部41から供給された操作信号に基づき、撮像装置10aの動作がユーザ操作に応じた動作となるように各部を制御する。例えば、制御部50aは、シャッター操作をユーザが行ったとき、TG部22等の動作を制御して、所望のシャッター速度で撮像した静止画の符号化信号等を記録再生部33の記録媒体に記録させる。また、動画記録開始操作が行われたときは、動画の符号化信号等を記録再生部33の記録媒体に記録させる。
また、制御部50aは、モード選択操作をユーザが行ったとき、ユーザによって選択されたモードで撮像動作等を行う。また、制御部50aは、撮像光学系センサ部13から供給された位置信号や、検波部25から供給された検波信号に基づき、レンズ制御信号や絞り制御信号を生成してドライバ12に供給する。したがって、ドライバ12によって、所望の明るさでピントの合った撮像画像が得られるようにフォーカスレンズ112や絞り機構11bが駆動される。また、制御部50aは、ズーム操作をユーザが行ったとき、レンズ制御信号を生成してドライバ12に供給することで、所望のズーム比の撮像画像が得られるようにズームレンズ111を駆動する。
さらに、制御部50aは、雲台60によって撮像方向を移動しながら複数枚の撮像画像の生成を行う際に、変位させる補正レンズおよび/または撮像素子における各撮像画像の補正動作開始位置を、撮像方向の移動する方向に応じた方向に変位させる。また、制御部50aは、撮像装置10aの動きに応じて、補正レンズと撮像素子の少なくとも一方を変位させることで、撮像素子の撮像面上に結像される光学像の撮像装置の動きに応じた振れの補正を行う。さらに、制御部50aは、変位させる補正レンズおよび/または撮像素子における各撮像画像の補正動作開始位置を、撮像方向の移動する方向に応じた方向に変位させて、撮像方向の移動に対する振れ補正の補正範囲を広くする。
なお、以下の説明では、補正レンズを変位させることで、撮像装置の動きに対する振れ補正を行う場合について説明する。
[2−2.雲台の構成]
図18は、雲台の構成を例示したブロック図である。雲台60は、パン・チルト機構を備えるものであり、これに対応する部位として、パンモータ64、パン機構部65、チルトモータ67、チルト機構部68を備える。
通信部61は、雲台対応通信部43と対応して構成されており、雲台60に取り付けられた撮像装置10aの雲台対応通信部43との間で所定の通信方式にしたがって有線若しくは無線による通信を実行する。
雲台制御部62は、CPUやメモリ等を用いて構成されている。雲台制御部62のCPUはメモリに記憶されているプログラムを実行して、パン動作やチルト動作を雲台60で行わせる。雲台制御部62は、パン動作を行うとき、パン動作制御信号をパン駆動部63に出力する。また、雲台制御部62は、チルト動作を行うとき、チルト動作制御信号をチルト駆動部66に出力する。
パン駆動部63は、パン動作制御信号に基づきモータ駆動信号を生成してパンモータ64に出力する。また、チルト駆動部66は、チルト動作制御信号に基づきモータ駆動信号を生成してチルトモータ67に出力する。
パンモータ64は、雲台60に取り付けられた撮像装置10aに対して、パン(水平)方向の動きを与えるためのパン機構部65に設けられている。パンモータ64は、モータ駆動信号に基づき正方向または逆方向にスイープすることで、パン機構部65によって撮像装置10aに対してパン方向の動きを与える。
チルトモータ67は、雲台60に取り付けられた撮像装置10aに対して、チルト(垂直)方向の動きを与えるためのチルト機構部68に設けられている。チルトモータ67は、モータ駆動信号に基づき正方向または逆方向にスイープすることで、チルト機構部68によって撮像装置10aに対してチルト方向の動きを与える。
[2−3.撮像装置の動作]
図19は、第2の実施の形態の動作を示すフローチャートである。ステップST41で制御部50aは、移動制御情報を取得する。制御部50aは、撮像方向をどちらの方向にどのような速度で移動(あるいは回転)させて撮像を行うかを示す移動制御情報を取得してステップST42に進む。この移動制御情報は、撮像装置10aに予め記憶されていてもよく、ユーザ操作に応じて生成するようにしてもよい。また、雲台60との通信によって、雲台60から移動制御情報を取得する構成であってもよい。さらに、撮像方向の移動速度は、撮像装置10aまたは雲台60で自動的に決定するようにしてもよい。例えば、撮像装置10aの検波部25では被写体の明るさレベルを検出していることから、検出された明るさレベルに応じて撮像方向の移動速度を設定する。ここで、撮像素子の露光期間を可変して所望の明るさの撮像画像を生成する場合、撮像画像が暗くなると露光期間が長くなる。したがって、被写体が暗いときには、露光時間が長くなっても、撮像装置10aの動きに対する振れ補正が行われた撮像画像を生成できるように、撮像方向の移動速度を低下させる。また、図18に示すように、雲台60に明るさ検出センサ69を設けて、明るさ検出センサ69で検出された被写体の明るさに応じて、雲台60あるいは撮像装置10aで撮像方向の移動速度を設定する構成としてもよい。このように、撮像装置10aや雲台60は、検出された明るさに応じて撮像装置の動き速度を制御する。
ステップST42で制御部50aは、シャッタースピードを判別する。制御部50aは、ユーザ操作によって設定されたシャッタースピード、あるいは予め設定されているシャッタースピードを判別してステップST43に進む。また、被写体の明るさに応じて露光期間が可変される場合、被写体の明るさに応じて設定された露光期間からシャッタースピードを判別する。
ステップST43で制御部50aは、補正動作開始位置を設定する。制御部50aは、ステップST13と同様にして、補正動作開始位置を設定する。すなわち、制御部50aは、移動制御情報に基づいて判別した撮像装置10aの動き方向に応じた方向に、補正レンズ部113の補正レンズを変位させて補正動作開始位置とすることで、振れ補正の補正可能範囲を広くする。また、制御部50aは、歪みや色収差、解像度等についての劣化の少ない撮像画像を得ることができるようにするため、露光期間すなわちシャッタースピードに応じて変位量を設定してステップST44に進む。
ステップST44で制御部50aは、シャッター操作を開始してステップST45に進む。シャッター操作の開始は、例えば雲台60によって撮像方向の移動が開始されたとき、シャッター操作の開始とする。
ステップST45で制御部50aは、撮像画像生成処理を行う。制御部50aは、ステップST15と同様に、補正動作開始位置とされている補正レンズ113aを撮像方向の移動速度に応じて駆動して、撮像装置の動きによって生じる光学像の振れを補正する。また、制御部50aは、シャッタースピードに応じて変位量を設定して補正動作開始位置を決定する。さらに、制御部50aは、露光期間中、振れ補正動作を動作状態とすることで、撮像装置10aの動きによるぼけがなく、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成させてステップST46に進む。
ステップST46で制御部50aは、シャッター操作が終了されたか否か判別する。制御部50aは、雲台60によって行われている撮像方向の移動が終了するとき、または撮像方向の移動が所定量となったとき、シャッター操作の終了と判別してステップST47に進む。また、シャッター操作が終了されていないと判別したとき補正レンズ113aを補正動作開始位置に戻してステップST45に戻る。制御部50aは、ステップST46からステップST45に戻ると、撮像画像の露光期間と次の撮像画像の露光期間との間に、補正レンズ113aを補正動作開始位置に戻す。その後、制御部50aは、再度撮像方向の移動速度に応じて補正レンズ113aを駆動して、撮像装置10aの動きによるぼけがなく、歪みや色収差、解像度等についての劣化の少ない撮像画像の生成を行う。
ステップST47で制御部50aは、撮像画像合成処理を行う。制御部50aは、信号処理部24を制御して、ステップST5とステップST6の処理によって生成された複数枚の撮像画像を用いて動きベクトルを算出する。また、制御部50aは、算出した動きベクトルに基づいて、同じ被写体の画像が重なるように複数の撮像画像の合成を行って、1つの撮像画像よりも撮像範囲の広いパノラマ画像を、複数枚の撮像画像から生成してパノラマ撮像画像生成処理を終了する。
ステップST47で制御部50aは、ステップST45で生成した撮像画像を記録再生部33で記録媒体に記録させる。
このように、制御部50aは、パノラマ撮像モードであるとき、各撮像画像の補正動作開始位置を、光軸に対してレンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させて、撮像方向の移動に対する振れ補正の補正範囲を広くする。さらに、制御部50aは、変位されているレンズ部および/または撮像素子を、撮像装置の動きに応じて移動させる。このため、撮像装置10aを雲台60に取り付けて、雲台60によって撮像方向を移動させる場合でも、撮像方向に対する振れ補正の性能が改善されて、パノラマ画像の生成に適した振れ補正が行われて、露光時間やスイープ速度にかかわらずぼけの生じていない撮像画像の生成が可能となる。したがって、パノラマ画像を生成する際に、被写体の明るさやスイープ速度等の制約が軽減されて、パノラマ画像の生成を容易に行うことができる。
さらに、制御部50aは、パノラマ撮像モードであるとき、シャッタースピードに応じて変位量を設定して補正動作開始位置を決定する。このとき、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置は、シャッタースピードに応じた変位量で光軸を中心とした位置から変位となる。このため、撮像装置10aを雲台60に取り付けて、雲台60によって撮像方向を移動させる場合でも、シャッタースピードが速いとき、露光期間中の補正レンズ113aの位置を光軸に近い位置とすることができる。したがって、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成できるようになる。
なお、撮像画像合成処理を撮像装置で行う場合、撮像画像合成処理を行うステップを設けて、撮像画像合成処理で生成されたパノラマ画像を記録媒体に記録するようにしてもよい。
また、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。露光期間は、シャッタースピード以外にも、例えばパノラマ画像の生成で合成される複数枚の撮像画像生成時のフレームレートに応じて変化する。フレームレートが可変であって1フレーム期間の蓄積電荷を読み出して画像信号を生成する場合、フレームレートが高いと露光時間は短く、フレームレートが低いと露光時間が長くなる。したがって、合成される複数枚の撮像画像生成時のフレームレートに応じてオフセット量の設定を行うものとしてもよい。また、撮像装置の動きを検出できる構成であれば、上述のように角速度検出部や加速度検出部を用いた構成に限られない。例えば、撮像画像から撮像装置の振れを検出するようにしてもよい。
さらに、レンズ交換が可能な撮像装置である場合、補正レンズをレンズ側に設けた構成としてもよく、補正レンズを撮像装置の本体側に設けた構成としてもよい。また、例えば補正レンズや補正レンズを駆動する駆動部をレンズ側に設けて、他の構成要素を撮像装置の本体側に設けた構成としてもよい。また、上述のように、撮像装置の本体側に設けた撮像素子を撮像装置の動きに応じて移動させてもよい。
この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
この発明の撮像装置および撮像方法は、駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方が変位される。また、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および/または撮像素子の位置が、変位させるレンズ部および/または撮像素子における各撮像画像の露光開始時の位置が、制御部によって、撮像方向の移動する方向に応じた方向に駆動部で変位される。また、変位されているレンズ部および/または撮像素子を、当該撮像装置の動きに応じて駆動部によって変位させる制御が制御部で行われて、撮像方向の移動に伴って生じる振れの補正が行われる。さらに、露光期間中における変位が小さくなるように、露光期間の長さに応じて露光開始時の変位量が設定される。したがって、パノラマ画像の生成に適した振れ補正を行うことが可能となり、パノラマ画像を生成するための複数枚の撮像画像を、歪みや色収差、解像度等についての劣化の少ない良好な画質で容易に得ることができるようになり、パノラマ画像の生成等を行うディジタルカメラ等に適している。
10,10a・・・撮像装置、11・・・撮像光学系ブロック、11a・・・レンズ部、11b・・・絞り機構、12・・・ドライバ、13・・・撮像光学系センサ部、21・・・撮像素子、21a,113b・・・アクチュエータ、22・・・TG部、23・・・AFE部、24・・・信号処理部、25・・・検波部、31・・・画像出力部、32・・・表示部、33・・・記録再生部、41・・・操作部、42・・・動き検出部、43・・・雲台対応通信部、50,50a・・・制御部、60・・・雲台、61・・・通信部、62・・・雲台制御部、63・・・パン駆動部、64・・・パンモータ、65・・・パン機構部、66・・・チルト駆動部、67・・・チルトモータ、68・・・チルト機構部、111・・・ズームレンズ、112・・・フォーカスレンズ、113・・・補正レンズ部、113a・・・補正レンズ、411・・・メニューキー、412a〜412d・・・方向キー、413・・・決定キー、415・・・シャッターキー

Claims (10)

  1. 光軸に対してレンズ部と撮像素子の少なくとも一方を変位させる駆動部と、
    当該撮像装置の動きに応じて、前記レンズ部と前記撮像素子の少なくとも一方を前記駆動部によって変位させる制御部とを有し、
    前記撮像素子で生成される撮像画像は前記光軸に対する変位が大きいと劣化した画像となり、
    前記制御部は、複数枚の前記撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および/または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させて、露光期間中における前記変位が小さくなるように、前記露光期間の長さに応じて前記露光開始時の変位量を設定する撮像装置。
  2. 前記制御部は、各撮像画像の露光開始時における前記レンズ部および/または撮像素子の位置を、前記光軸を中心とした位置から変位させる請求項1記載の撮像装置。
  3. 前記駆動部は、光軸に対してレンズ部と撮像素子の少なくとも一方を光軸に対して垂直な面内で変位させる請求項1記載の撮像装置。
  4. 前記制御部は、前記撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を変位させることで、前記撮像素子の撮像面上に結像される光学像の前記撮像装置の動きに応じた振れの補正を行う請求項1記載の撮像装置。
  5. 前記制御部は、各撮像画像の露光期間中は、前記撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を変位させることで前記撮像素子の撮像面上に結像される光学像の前記撮像装置の動きに応じた振れを補正する振れ補正動作を動作状態とする請求項1記載の撮像装置。
  6. 前記制御部は、撮像画像の露光期間と次の撮像画像の露光期間との間に、前記レンズ部および/または撮像素子の位置を前記露光開始時の位置に戻す請求項5記載の撮像装置。
  7. 当該撮像装置の撮像方向を移動させる雲台を有し、
    前記雲台によって撮像装置の撮像方向を移動させるための移動制御情報に基づき前記撮像装置の動きを判別して、前記レンズ部と撮像素子の少なくとも一方を変位させる請求項1記載の撮像装置。
  8. 前記露光期間は、シャッタースピードである請求項1記載の撮像装置。
  9. 前記制御部は、フレームレートに基づいて前記露光期間を設定する請求項1記載の撮像装置。
  10. 光軸に対してレンズ部と撮像素子の少なくとも一方の変位が大きいと前記撮像素子で生成される撮像画像が劣化した画像となる撮像装置を用いる撮像方法であって、
    駆動部によって、前記光軸に対してレンズ部と撮像素子の少なくとも一方を変位させるステップと、
    制御部によって、当該撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を前記駆動部で変位させるステップと、
    複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、前記制御部によって、各撮像画像の露光開始時における前記レンズ部および/または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させて、露光期間中における前記変位が小さくなるように、前記露光期間の長さに応じて前記露光開始時の変位量を設定するステップを備える撮像方法。
JP2010024042A 2009-12-15 2010-02-05 撮像装置と撮像方法 Active JP5493942B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010024042A JP5493942B2 (ja) 2009-12-15 2010-02-05 撮像装置と撮像方法
US12/928,287 US8723918B2 (en) 2009-12-15 2010-12-08 Image capturing apparatus and image capturing method
CN201010578548.6A CN102098438B (zh) 2009-12-15 2010-12-08 图像捕获装置和图像捕获方法
US14/190,598 US8917313B2 (en) 2009-12-15 2014-02-26 Image capturing apparatus and image capturing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009283764 2009-12-15
JP2009283764 2009-12-15
JP2010024042A JP5493942B2 (ja) 2009-12-15 2010-02-05 撮像装置と撮像方法

Publications (2)

Publication Number Publication Date
JP2011147094A JP2011147094A (ja) 2011-07-28
JP5493942B2 true JP5493942B2 (ja) 2014-05-14

Family

ID=44131286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010024042A Active JP5493942B2 (ja) 2009-12-15 2010-02-05 撮像装置と撮像方法

Country Status (3)

Country Link
US (2) US8723918B2 (ja)
JP (1) JP5493942B2 (ja)
CN (1) CN102098438B (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630307B1 (ko) * 2010-05-12 2016-06-14 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP5742179B2 (ja) * 2010-11-05 2015-07-01 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
US9413923B2 (en) * 2011-01-24 2016-08-09 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus
JP5848507B2 (ja) * 2011-03-08 2016-01-27 キヤノン株式会社 追尾機能付き撮影装置及び方法
KR101777354B1 (ko) 2011-06-20 2017-09-11 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체
JP5724057B2 (ja) * 2011-08-30 2015-05-27 パナソニックIpマネジメント株式会社 撮像装置
JP2013055381A (ja) * 2011-08-31 2013-03-21 Ricoh Co Ltd 撮像装置及び撮像方法並びに携帯情報端末装置
JP5869812B2 (ja) * 2011-09-13 2016-02-24 キヤノン株式会社 像ぶれ補正装置及びそれを備えた撮像装置、像ぶれ補正装置の制御方法
CN103428410B (zh) * 2012-05-17 2016-08-31 华晶科技股份有限公司 影像撷取装置及其影像合成方法
US9686471B2 (en) * 2013-11-01 2017-06-20 Light Labs Inc. Methods and apparatus relating to image stabilization
HUE052744T2 (hu) * 2014-02-18 2021-05-28 Huawei Tech Co Ltd Eljárás felvétel készítésére és többkamerás rendszer
US10110826B2 (en) * 2014-02-25 2018-10-23 Sony Corporation Imaging with adjustment of angle of view
US9641759B2 (en) * 2014-07-10 2017-05-02 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP6205068B2 (ja) * 2014-09-05 2017-09-27 富士フイルム株式会社 撮像装置の操作装置、操作方法、及びプログラム
JP6128109B2 (ja) * 2014-12-12 2017-05-17 カシオ計算機株式会社 撮影装置、撮影方向の制御方法及びプログラム
US10773329B2 (en) 2015-01-20 2020-09-15 Illinois Tool Works Inc. Multiple input welding vision system
US20160214200A1 (en) * 2015-01-23 2016-07-28 Illinois Tool Works Inc. User Configuration of Image Capture and Display in a Welding Vision System
US20160232672A1 (en) * 2015-02-06 2016-08-11 Qualcomm Incorporated Detecting motion regions in a scene using ambient-flash-ambient images
CN104902190A (zh) * 2015-06-24 2015-09-09 联想(北京)有限公司 控制方法、摄像装置及电子设备
EP3330739A4 (en) * 2015-07-31 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Range imaging device and solid-state imaging device
JP2017046301A (ja) * 2015-08-28 2017-03-02 オリンパス株式会社 撮像装置
US10015409B2 (en) * 2015-09-17 2018-07-03 Mediatek Inc. Electronic device, processor and method for setting a sensor
CA3009346A1 (en) * 2016-01-07 2017-07-13 Magic Leap, Inc. Dynamic fresnel projector
CN106027885B (zh) * 2016-05-18 2020-01-10 Oppo广东移动通信有限公司 电子装置方法及装置、第一电子装置及第二电子装置
CN106303272B (zh) * 2016-07-29 2018-03-16 广东欧珀移动通信有限公司 控制方法及控制装置
WO2018076529A1 (zh) * 2016-10-25 2018-05-03 华为技术有限公司 场景深度计算方法、装置及终端
CN106713753A (zh) * 2016-12-28 2017-05-24 深圳天珑无线科技有限公司 一种全景图片的处理方法和终端
CN107181914A (zh) * 2017-05-31 2017-09-19 广东欧珀移动通信有限公司 防抖行程调节方法和装置、移动设备和计算机存储介质
JP7098332B2 (ja) 2018-01-15 2022-07-11 キヤノン株式会社 撮像装置およびその制御方法
CN108449546B (zh) * 2018-04-04 2020-03-31 维沃移动通信有限公司 一种拍照方法及移动终端
JP7051570B2 (ja) 2018-05-09 2022-04-11 キヤノン株式会社 撮像制御装置、撮像制御装置の制御方法およびプログラム
JP7086774B2 (ja) * 2018-07-25 2022-06-20 キヤノン株式会社 撮像装置、撮像方法およびプログラム
CN109194877B (zh) * 2018-10-31 2021-03-02 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN109688329B (zh) * 2018-12-24 2020-12-11 天津天地伟业信息系统集成有限公司 一种针对高精度全景视频的防抖方法
CN110446033B (zh) * 2019-08-29 2024-01-23 圆周率科技(常州)有限公司 一种测试全景相机多镜头帧同步系统
CN112087626B (zh) * 2020-08-21 2024-07-26 西安万像电子科技有限公司 图像处理方法、装置及存储介质
CN114143470A (zh) * 2020-09-04 2022-03-04 华为技术有限公司 一种调整摄像机曝光时间的方法、装置以及程序产品

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US671154A (en) * 1899-08-11 1901-04-02 Peter N Angsten Panoramic camera.
US1967468A (en) * 1932-12-28 1934-07-24 Leon F Douglass Apparatus for producing panoramic photographic pictures or the like
US2258903A (en) * 1939-08-07 1941-10-14 George A Mitchell Variable focus system for optical instruments
US3218114A (en) * 1961-05-19 1965-11-16 Polaroid Corp Cinematographic method and apparatus
US3712199A (en) * 1970-09-23 1973-01-23 Video West Inc Three-dimensional color photographic process, apparatus and product
DE69030165T2 (de) * 1989-12-28 1997-10-16 Olympus Optical Co Kamera mit Driftdetektor
US5030984A (en) * 1990-07-19 1991-07-09 Eastman Kodak Company Method and associated apparatus for minimizing the effects of motion in the recording of an image
US5278608A (en) * 1992-05-19 1994-01-11 Eastman Kodak Company Electronically printed depth photography system with improved viewing range
JP3168443B2 (ja) * 1993-01-27 2001-05-21 京セラ株式会社 パノラマ電子スチルカメラ
JP3035434B2 (ja) * 1993-10-13 2000-04-24 キヤノン株式会社 複眼撮像装置
US6192196B1 (en) * 1994-10-11 2001-02-20 Keller James Mcneel Panoramic camera
JPH08116490A (ja) * 1994-10-14 1996-05-07 Olympus Optical Co Ltd 画像処理装置
KR100422887B1 (ko) * 1995-03-16 2005-02-02 가부시키가이샤 니콘 노광장치및방법
JPH118797A (ja) * 1997-06-18 1999-01-12 Olympus Optical Co Ltd 電子的撮像装置
JP3928222B2 (ja) * 1997-09-09 2007-06-13 ソニー株式会社 画像信号撮像および記録装置および方法
JP4282113B2 (ja) * 1998-07-24 2009-06-17 オリンパス株式会社 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体
JP2000184265A (ja) * 1998-12-16 2000-06-30 Sony Corp 画像信号撮像装置および方法
US7525567B2 (en) * 2000-02-16 2009-04-28 Immersive Media Company Recording a stereoscopic image of a wide field of view
JP2001285702A (ja) 2000-03-30 2001-10-12 Toshiba Corp ビデオカメラシステム
US6608301B2 (en) * 2001-07-31 2003-08-19 Umax Data Systems, Inc. Single step multi-section exposure scanning method
US6747686B1 (en) * 2001-10-05 2004-06-08 Recon/Optical, Inc. High aspect stereoscopic mode camera and method
US6810207B2 (en) * 2002-05-13 2004-10-26 Olympus Corporation Camera
US7612803B2 (en) * 2003-06-10 2009-11-03 Zoran Corporation Digital camera with reduced image buffer memory and minimal processing for recycling through a service center
CN101431683B (zh) * 2003-06-23 2010-12-22 索尼株式会社 处理图像的方法和设备
WO2005093654A2 (en) * 2004-03-25 2005-10-06 Fatih Ozluturk Method and apparatus to correct digital image blur due to motion of subject or imaging device
JP4356621B2 (ja) 2004-04-16 2009-11-04 ソニー株式会社 撮像装置及び撮像方法
US20050237631A1 (en) 2004-04-16 2005-10-27 Hiroyuki Shioya Image pickup apparatus and image pickup method
JP2005311789A (ja) * 2004-04-22 2005-11-04 Fuji Photo Film Co Ltd デジタルカメラ
JP4293053B2 (ja) * 2004-05-19 2009-07-08 ソニー株式会社 撮像装置及び方法
US7742076B2 (en) * 2004-05-25 2010-06-22 Hoya Corporation Image-capturing apparatus and camera-shake compensation mechanism
ITTV20040064U1 (it) * 2004-12-06 2005-03-06 Comparf Di Canonico Antonella Pallet trasporto merci e immagazzinamento
US7474848B2 (en) * 2005-05-05 2009-01-06 Hewlett-Packard Development Company, L.P. Method for achieving correct exposure of a panoramic photograph
JP4305434B2 (ja) * 2005-09-14 2009-07-29 カシオ計算機株式会社 電子カメラ及びプログラム
JP2007214620A (ja) 2006-02-07 2007-08-23 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JPWO2007097287A1 (ja) * 2006-02-20 2009-07-16 パナソニック株式会社 撮像装置及びレンズ鏡筒
JP2007298748A (ja) * 2006-04-28 2007-11-15 Eastman Kodak Co カメラ
US20090231708A1 (en) * 2006-07-21 2009-09-17 Satoru Shibata Zoom lens system, imaging apparatus, and method for zooming the zoom lens system
US7783191B2 (en) * 2006-08-10 2010-08-24 Hoya Corporation Digital camera
JP2008271529A (ja) 2007-03-26 2008-11-06 Sanyo Electric Co Ltd 撮像装置
US20080247745A1 (en) * 2007-04-04 2008-10-09 Nilsson Rene Camera assembly with zoom imaging and method
JP4678603B2 (ja) * 2007-04-20 2011-04-27 富士フイルム株式会社 撮像装置及び撮像方法
KR101312895B1 (ko) * 2007-08-27 2013-09-30 재단법인서울대학교산학협력재단 파노라마 사진 촬영 방법
JP2009069255A (ja) * 2007-09-11 2009-04-02 Sony Corp 撮像装置および合焦制御方法
CN101420525A (zh) * 2007-10-26 2009-04-29 鸿富锦精密工业(深圳)有限公司 拍照装置及方法
US8330824B2 (en) * 2007-11-09 2012-12-11 Panasonic Corporation Camera, camera system, and camera body
JP4621726B2 (ja) * 2007-12-26 2011-01-26 株式会社東芝 手ぶれ補正装置、手ぶれ補正プログラム、撮像装置、撮像プログラム
JP5002506B2 (ja) * 2008-03-26 2012-08-15 株式会社エルモ社 カメラシステム
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
US8350892B2 (en) * 2008-05-20 2013-01-08 Sony Corporation Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
JP4692620B2 (ja) * 2008-12-11 2011-06-01 ソニー株式会社 振れ補正装置と振れ補正方法および撮像装置
JP2010187354A (ja) * 2009-01-16 2010-08-26 Ricoh Co Ltd 撮像装置

Also Published As

Publication number Publication date
US20140176670A1 (en) 2014-06-26
US8917313B2 (en) 2014-12-23
JP2011147094A (ja) 2011-07-28
CN102098438A (zh) 2011-06-15
US8723918B2 (en) 2014-05-13
CN102098438B (zh) 2015-03-25
US20110141228A1 (en) 2011-06-16

Similar Documents

Publication Publication Date Title
JP5493942B2 (ja) 撮像装置と撮像方法
WO2010098228A2 (ja) 撮像装置と撮像方法
JP5233631B2 (ja) 振れ補正装置と振れ補正方法および撮像装置
JP4985808B2 (ja) 撮像装置、及びプログラム
JP5893713B1 (ja) 撮像装置、撮像方法、処理プログラム
JP5665013B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN102263894B (zh) 拍摄装置
JP4569389B2 (ja) 撮像装置、画像処理方法及びプログラム
JP4654887B2 (ja) 撮像装置
JP5125294B2 (ja) プログラム、画像処理装置、撮像装置および画像処理方法
JP4533252B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4986189B2 (ja) 撮像装置、及びプログラム
JP5402242B2 (ja) 画像再生装置、撮像装置、画像再生方法、画像再生プログラム
JP2009044329A (ja) プログラム、画像処理方法および画像処理装置
JP5402166B2 (ja) 画像合成装置及びプログラム
JP5217709B2 (ja) 画像処理装置および撮像装置
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP5477063B2 (ja) 撮像装置と撮像方法および交換レンズ
JP2010220002A (ja) 撮像装置と撮像方法
JP2017085466A (ja) 撮像装置、及びその制御方法
JP4751715B2 (ja) 撮像装置
JP2007201774A (ja) 移動方向検出装置、および撮像装置
JP2020072448A (ja) 撮像装置、撮像方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140217

R151 Written notification of patent or utility model registration

Ref document number: 5493942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250