JP2019041170A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】単一の撮像素子を用いて動画と静止画を同時に撮影する際に、高品位な動画を取得可能な撮像装置を提供すること。【解決手段】第１の画像と、１撮影周期中に信号電荷の蓄積を複数回行い生成される第２の画像を取得する撮像素子１８４と、撮像素子１８４における、信号電荷の蓄積を制御するシステム制御部１７８と、を備え、システム制御部１７８は記第１の画像を生成するための信号電荷の蓄積時間に応じて、第２の画像を生成するための信号電荷の蓄積回数を決定する。【選択図】図６

Description

本発明は、撮像装置およびその制御方法に関する。

動画と静止画の撮影を一台のカメラで同時に行うと、再生の際に、撮影シーンを動画として視聴するとともに、その動画の中の決定的なシーンを静止画としても楽しむことが出来る。一般的に、再生された動画に一種のコマ送り的なパラパラ感があると、動画の品位が大きく失われてしまう。パラパラ感が出ないようにするためには、一連の撮影において１フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒とか１／６０秒といった比較的長い露光時間が適切となる。
一方、静止画においては一瞬を写し止めた鮮鋭さが求められるので、ストップモーション効果を得るためには、例えば、１／１０００秒程度の短い露光時間を設定する必要がある。

従来から、動画と静止画の２つの映像を同時に撮影する撮像装置として、動画用の撮像素子と静止画用の撮像素子を２つ搭載した撮像装置や、１つの撮像素子に動画用と静止画用の異なる光電変換部を設けた撮像装置が提案されている。
特許文献１は、光電変換部により変換された電荷を蓄積部に複数回転送し、複数回転送された電荷をまとめて蓄積することで、露光時間、露光量などの条件を高速かつ自在に変化させる技術を開示している。そこで、特許文献１の技術を応用して、各画素に電荷を蓄積するための動画用と静止画用の２つの信号保持部を設けた撮像装置が考えられる。具体的には、１フレーム期間において、短い蓄積期間を１フレーム期間に均等に分散させ、動画用の信号保持部で複数回蓄積することで動画を取得する。そして、動画用の短い蓄積期間の間の時間を利用して、静止画用の信号保持部で蓄積を行うことで静止画を取得する。

特開２０１０−１５７８９３号公報

しかしながら、特許文献１の技術では、静止画の露光時間が長くなると、１フレーム期間に短い蓄積時間を均等に分散させて所定回数の動画用の蓄積を行うことができなくなり、露出範囲が狭くなってしまう。

本発明は、単一の撮像素子を用いて動画と静止画を同時に撮影する際に、高品位な動画を取得可能な撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、第１の画像と、１撮影周期中に信号電荷の蓄積を複数回行い生成される第２の画像を取得する撮像手段と、前記撮像手段における、信号電荷の蓄積を制御する制御手段と、を備える。前記制御手段は、前記第１の画像を生成するための信号電荷の蓄積時間に応じて、前記第２の画像を生成するための信号電荷の蓄積回数を決定する。

本発明によれば、単一の撮像素子を用いて動画と静止画を同時に撮影する際に、高品位な動画を取得可能な撮像装置を提供することができる。

撮像装置の外観図である。 撮像装置の概略構成を示すブロック図である。 撮像素子の一部の回路図である。 静止画と動画の撮影条件の設定画面を示す図である。 デュアル映像モードにおけるプログラムＡＥ線図である。 撮像素子の駆動シーケンスを示すタイミングチャートである。 撮像素子の駆動シーケンスを示すタイミングチャートである。 撮像素子の駆動シーケンスを示すタイミングチャートである。 ライブビュー表示中の表示部を表す図である。 表示部に静止画と動画の両方を並べて表示した図である。 静止画がと動画の活用例を説明するための図である。

（第１実施形態）
図１は、撮像装置１０の外観図である。図１（Ａ）は撮像装置１０の正面図、図１（Ｂ）は撮像装置１０の背面図である。撮像装置１０は、例えば、静止画及び動画の撮影が可能なデジタルモーションカメラである。本実施形態では、撮像装置本体とレンズが一体となった撮像装置の例を説明するがこれに限られるものではなく、例えば、レンズ交換式のデジタル一眼カメラであってもよい。撮像装置１０は、撮像装置本体１５１、撮像光学系１５２、可動式の表示部１５３、スイッチＳＴ１５４およびプロペラ１６２を備える。また、撮像装置１０は、スイッチＭＶ１５５、選択レバー１５６、メニューボタン１５７、アップスイッチ１５８、ダウンスイッチ１５９、ダイアル１６０および再生ボタン１６１を備える。

撮像装置本体１５１は、内部に撮像素子やシャッター装置を収納した撮像装置１０の本体部である。撮像光学系１５２は、内部にレンズや絞りを有した撮像光学系である。表示部１５３は、撮影情報や映像を表示するための可動式の表示部である。表示部１５３は、ダイナミックレンジの広い映像の輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。プロペラ１６２は、空中からの撮影を行うために撮像装置１０を空中に浮上させるためのプロペラである。

スイッチＭＶ１５５は、動画撮影を開始および停止するためのボタンである。選択レバー１５６は、撮影モードを選択するための撮影モードの選択レバーである。メニューボタン１５７は、撮像装置１０の機能設定を行う機能設定モードへ移行するためのメニューボタンである。アップスイッチ１５８およびダウンスイッチ１５９は、各種の設定値を変更するためのアップダウンスイッチである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１０内の記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。

図２は、撮像装置１０の概略構成を示すブロック図である。撮像装置１０は、撮像光学系１５２、絞り１８１、絞り制御部１８２、光学フィルタ１８３、撮像素子１８４、デジタル信号処理部１８７、タイミング発生部１８９およびシステム制御部１７８を備える。また、撮像装置１０は、表示Ｉ／Ｆ１９１、表示部１５３、記録Ｉ／Ｆ１９２、記録媒体１９３、無線Ｉ／Ｆ１９８、プリントＩ／Ｆ１９４および外部Ｉ／Ｆ１９６を備える。また、撮像装置１０は、映像メモリ１９０、スイッチ入力部１７９、飛行制御装置２００を備える。

撮像光学系１５２は、被写体の光学像を撮像素子１８４に結像させる。光軸１８０は、撮像光学系１５２の光軸である。絞り１８１は、撮像光学系１５２を通る光の量を調節するための絞りであり、絞り制御部１８２により制御される。光学フィルタ１８３は、撮像素子１８４に入射する光の波長および撮像素子１８４に伝達する空間周波数を制限する。撮像素子１８４は、撮像光学系１５２を介して結像された被写体の光学像を電気的な映像信号に変換する。撮像素子１８４は、Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎの規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。

デジタル信号処理部１８７は、撮像素子１８４より出力されたデジタル映像データに各種の補正を行った後に、映像データを圧縮する。タイミング発生部１８９は、撮像素子１８４およびデジタル信号処理部１８７に各種タイミング信号を出力し、各種タイミングを制御する。システム制御部１７８は、各種演算を行い、撮像装置１０全体を制御するＣＰＵである。すなわち、タイミング発生部１８９およびシステム制御部１７８は、撮像素子１８４における信号電荷の転送や蓄積、読み出しのタイミングを制御する制御手段の機能を有する。

表示Ｉ／Ｆ１９１は、表示部１５３に撮影された映像を表示するためのインターフェースである。表示部１５３は、液晶ディスプレイ等の表示部である。記録Ｉ／Ｆ１９２は、記録媒体１９３に記録または読み出しを行うためのインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するためのメモリ等の着脱可能な記録媒体である。無線Ｉ／Ｆ１９８は、外部のネットワーク１９９と通信するためのインターフェースである。ネットワーク１９９は、インターネットなどのコンピュータネットワークである。プリントＩ／Ｆ１９４は、撮影された映像を外部のプリンタ１９５に出力し印刷するためのインターフェースである。プリンタ１９５は、小型インクジェットプリンタ等のプリンタである。外部Ｉ／Ｆ１９６は、外部装置１９７等と通信するためのインターフェースである。外部装置１９７は、コンピュータやテレビなどの画像を表示可能な装置である。

映像メモリ１９０は、映像データを一時的に記憶する。スイッチ入力部１７９は、スイッチＳＴ１５４やスイッチＭＶ１５５や各種モードの切り替えを行う複数のスイッチを含む。また、スイッチ入力部１７９は、光量制限量であるＮＤの段数設定を指示する光量指示部としての機能も有する。飛行制御装置２００は、空中からの撮影を行うための飛行制御装置である。

図３は、撮像素子１８４の画素の構成を示す回路図である。撮像素子１８４は、２次元配列された多数の画素要素（画素部）を有している。図３では、撮像素子１８４の多数の画素要素のうち、１行１列目（１，１）の画素要素５０と、最終行であるｍ行１列目（ｍ、１）の画素要素５１を示している。画素要素５０と画素要素５１の構成は同じであるため、各画素の各構成要素には同じ符号を付している。

撮像素子１８４の１つの画素要素では、１つのフォトダイオード５００に対して２つの信号保持部５０７Ａおよび信号保持部５０７Ｂを有している。１つのフォトダイオード５００に対して第１の信号保持部５０７Ａと第２の信号保持部５０７Ｂとを有しているため、第１の画像である静止画と第２の画像である動画をほぼ同時に撮影することが可能となっている。本実施形態においては、信号保持部５０７Ａが静止画用の電荷を蓄積し、信号保持部５０７Ｂが動画用の電荷を蓄積する。そのため、Ｓ／Ｎの低下を伴わずに蓄積期間の異なる二つの画像を読み出すことが可能となっている。信号保持部を有する撮像素子１８４の基本構造は、本出願人により特開２０１３−１７２２１０号公報にて開示されているので、説明は省略する。なお、本実施形態では信号保持部が２つある例を説明するが、これに限られるものではなく、信号保持部は複数あってもよい。

画素要素５０は、光電変換部であるフォトダイオード５００、第１の信号保持部５０７Ａおよび第２の信号保持部５０７Ｂを有する。また、画素要素５０は、第１の転送トランジスタ５０１Ａ、第２の転送トランジスタ５０２Ａ、第３の転送トランジスタ５０１Ｂ、第４の転送トランジスタ５０２Ｂおよび第５の転送トランジスタ５０３を有する。また、画素要素５０は、リセットトランジスタ５０４、増幅トランジスタ５０５、選択トランジスタ５０６およびフローティングディフュージョン領域５０８を有している。さらに、画素要素５０には、電源線５２０、電源線５２１および信号出力線５２３が含まれる。

第１の転送トランジスタ５０１Ａは、転送パルスφＴＸ１Ａによって制御される。第２の転送トランジスタ５０２Ａは、転送パルスφＴＸ２Ａによって制御される。第３の転送トランジスタ５０１Ｂは、転送パルスφＴＸ１Ｂによって制御される。第４の転送トランジスタ５０２Ｂは、転送パルスφＴＸ２Ｂによって制御される。第５の転送トランジスタ５０３は、転送パルスφＴＸ３によって制御される。リセットトランジスタ５０４は、リセットパルスφＲＥＳによって制御される。選択トランジスタ５０６は、選択パルスφＳＥＬによって制御される。ここで、各制御パルスは、不図示の垂直走査回路から送出される。

第５の転送トランジスタ５０３を制御する転送パルスφＴＸ３により、フォトダイオード５００をリセット状態として、蓄積開始のタイミングを決定する。また、第１の転送トランジスタ５０１Ａを制御する転送パルスφＴＸ１Ａにより、フォトダイオード５００に蓄積された電荷が第１の信号保持部５０７Ａへ転送されるタイミングを決定する。第３の転送トランジスタ５０１Ｂを制御する転送パルスφＴＸ１Ｂにより、フォトダイオード５００に蓄積された電荷が第２の信号保持部５０７Ｂへ転送されるタイミングを決定する。ここで各制御パルスは、不図示の垂直走査回路から送出される。

図４は、撮像装置本体１５１における静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）の撮影条件の設定画面を説明するための図である。選択レバー１５６を時計方向に回転することで、静止画および動画を同時に撮影するデュアル映像モードが選択される。表示部１５３は、被写体の輝度に応じたＢｖ値３２１、Ｆ値３２２が表示される。また、表示部１５３には、静止画（ｐｉｃｔｕｒｅ Ａ）のＩＳＯ感度３２３、シャッタースピード３２５、ピクチャーモード３２７、動画（ｐｉｃｔｕｒｅ Ｂ）のＩＳＯ感度３２４、シャッタースピード３２６、ピクチャーモード３２８が表示される。ピクチャーモードは、アップスイッチ１５８、ダウンスイッチ１５９およびダイアル１６０を用いて複数の選択肢の中から撮影の目的に合ったピクチャーモードを選択することが出来る。

図５は、デュアル映像モードにおけるプログラムＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）線図の一例を示す図である。横軸がＴｖ値とＴｖ値に対応するシャッタースピード、縦軸がＡｖ値とＡｖ値に対応する絞り値、斜め方向がＢｖ値となっている。実線で示されるプログラム線図３５８は、静止画のプログラム線図である。一方、点線で示されるプログラム線図３５９は、動画のプログラム線図である。左上の背景が白色の矩形３５６は、静止画のＢｖ値とＩＳＯ感度の関係を表すゲイン表記領域である。一方、背景が黒色の矩形３５７は、動画のＢｖ値とＩＳＯ感度の関係を表すゲイン表記領域である。ＩＳＯ感度の横に括弧付きで表記された数字は、Ｓｖ値を示す。

本実施形態において、静止画のシャッタースピードは１／５００〜１／４０００の範囲で設定され、動画のフレームレートに相当するシャッタースピードは１／６０に設定されている。また、第１の画像信号である静止画と第２の画像信号である動画とを、単一の撮影レンズを通して同時に撮影するため、プログラムＡＥ線図は同じ被写体輝度に対して同じ絞り値になるように設定されている。

ここで、本実施形態では静止画のシャッタースピードの下限を１／５００としているが、これは静止画と動画が排他的な蓄積制御を行うためである。詳細な理由については後述する。なお、撮像素子１８４の上記のような露出制御は、図４で説明した静止画と動画の２つの映像を同時に撮影することが出来るデュアル映像モードでのプログラム線図となる。その他の撮影モードにおいてはこの限りではない。

図５のプログラム線図において動画は、ＩＳＯ感度を変えることで蓄積制御を実現している。例えば、静止画でＢｖ値１２の被写体を例に説明する。静止画でＢｖ値１２のときは、静止画のＩＳＯ感度はＩＳＯ１００に設定される。Ｂｖ値１２の場合の静止画のＢｖ線は、静止画のプログラム線図３５８上の点３５３で交差する。点３５３からシャッタースピード１／１０００、Ｆ値１１．０と定まる。一方、動画では、シャッタースピードを１／６０としたいため、Ｆ値１１．０のときはプログラム線図上で点３５２となる。点３５３と点３５２はＴｖ値が４段異なるため、動画のＩＳＯ感度を４段落としてＩＳＯ６とすることにより、適露光の蓄積制御を実現することができる。

図５に示したプログラム線図に応じた露光動作を行うことにより、表記した全輝度範囲において静止画は１／５００以上のシャッタースピードを保ち、動画は全輝度範囲で１／６０のシャッタースピードを保つことができる。そのため、静止画ではストップモーション効果を得つつ、動画ではコマ送り的なパラパラ感の無い高品位な動画を得ることが可能となる。

ところが、ＩＳＯ感度の制御範囲は有限であり、例えば、ＩＳＯ感度の下限がＩＳＯ１００の場合がある。同じ絞り値で同時に静止画と動画を撮影する際に、高輝度の被写体に対して静止画が適正露出になるように露出制御を行い、ＩＳＯ感度を制御しても、動画は飽和してしまう。そこで、動画のシャッタースピード１／６０の期間において、ほぼ均等間隔に分散された短い蓄積を転送回数Ｎｐ（Ｎｐ＞１）回、第２の信号保持部５０７Ｂに転送して加算することにより動画を生成し、実質的に静止画と同じ蓄積量となるように制御する。ここで、転送回数Ｎｐは、光電変換部であるフォトダイオード５００で生成した信号電荷を第２の信号保持部５０７Ｂに転送する回数、すなわち第２の信号保持部５０７Ｂにおける信号電荷の蓄積回数を表す。

例えば、静止画でシャッタースピード１／１０００、絞りＦ１１．０における蓄積を考えると、動画において、同じ光学系を通過した光を蓄積するため、絞り値は静止画と同様にＦ値１１．０となる。このときＮｐ＝８とすると、シャッタースピード１／６０の周期中に８回に均等に分散された蓄積を転送して加算する制御を行うことによって動画を生成する。そうすると、動画を生成するための１回の蓄積時間は１／８０００に設定される。そして、１／８０００の蓄積を８回転送して加算することにより、蓄積量の合計が静止画の１／１０００の蓄積量と同等なる。したがって、静止画も動画も同じ蓄積量とすることができ、適露光の静止画像と動画像を得ることができる。

撮像素子１８４の蓄積制御は、デュアル映像モードにおいては、排他的蓄積制御であり、動画と静止画を同時に蓄積しているわけではない。つまり、１周期中に１／８０００の蓄積を８回転送して加算することにより動画を得るとすると、この８回の離散的な動画用蓄積の間に静止画用の蓄積を設けることとなる。したがって、静止画のシャッタースピードをある程度以上長く設定すると、８回の離散的な動画用蓄積を行うことができなくなる。そこで、本実施形態では、静止画の蓄積時間に合わせて動画の蓄積加算のための転送回数Ｎｐを変更して、静止画と動画の同時取得を実現する。以下、図６〜８を用いて詳細を説明する。

図６〜図８は、撮像素子１８４の駆動シーケンスを示すタイミングチャートである。本実施形態の撮像素子１８４には垂直方向に多数行の画素列があり、図６〜図８では第１行のタイミングを示している。そして、図６〜図８に示される制御が水平同期信号により垂直方向に走査されることで、撮像素子１８４の全画素の蓄積動作が行われる。図６〜図８において、垂直同期信号φＶの立ち上がり時刻ｔ１およびｔ１４は、撮影周期が始まる垂直同期信号で、ｔ１からｔ１４までの時間が１撮影周期に対応している。

図６において、第１の画像信号である静止画でのシャッタースピード（蓄積時間）は、１／１０００で、Ｂｖ値は１２である。そして、第２の画像信号である動画の転送回数Ｎｐを８とする。つまり動画の１撮影周期中（１／６０）にシャッタースピード（蓄積時間）１／８０００での露光による電荷を８回転送して加算することにより第２の画像信号を得る場合に対応している。

まず、時刻ｔ１において、タイミング発生部１８９にて垂直同期信号φＶがハイレベルになり、同時に水平同期信号φＨがハイレベルになる。垂直同期信号φＶおよび水平同期信号φＨがハイレベルになる時刻ｔ１に同期して、第１行のリセットパルスφＲＥＳ（１）がローレベルとなる。リセットパルスφＲＥＳ（１）がローレベルとなると、第１行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がハイレベルとなると、第１行の選択トランジスタ５０６がオンとなって、第１行の画像信号の読み出しが可能となる。

時刻ｔ２において、第１行の転送パルスφＴＸ２Ｂ（１）がハイレベルとなると、第１行の第４の転送トランジスタ５０２Ｂがオンとなる。第４の転送トランジスタ５０２Ｂがオンとなると、直前の撮影周期中に信号保持部５０７Ｂの加算蓄積された動画の信号電荷がフローティングディフュージョン領域５０８に転送される。さらに、フローティングディフュージョン領域５０８の電位の変化に応じた出力が、増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。そして、信号出力線５２３に読み出された出力は、不図示の読み出し回路に供給され、第１行の第２の画像信号（動画）として外部に出力される。なお、ここで出力される第２の画像信号（動画）は、前フレームの１撮影周期中に蓄積された画像信号である。

時刻ｔ３において、第１行の転送パルスφＴＸ２Ａ（１）および転送パルスφＴＸ２Ｂ（１）がハイレベルとなると、第１行の第２の転送トランジスタ５０２Ａおよび第４の転送トランジスタ５０２Ｂがオンとなる。このとき、既に全行のリセットパルスφＲＥＳ（１）がハイレベルになり、リセットトランジスタ５０４がオン状態になっている。そのため、第１行のフローティングディフュージョン領域５０８、第１の信号保持部５０７Ａおよび第２の信号保持部５０７Ｂがリセットされる。なお、時刻ｔ３には、第１行の選択パルスφＳＥＬ（１）はローレベルになっている。

次に、時刻ｔ４から第２の画像信号である動画の蓄積が実行される。時刻ｔ４において、第１行の転送パルスφＴＸ３（１）がローレベルとなると、第５の転送トランジスタ５０３がオフとなる。第５の転送トランジスタ５０３がオフとなると、第１行のフォトダイオード５００のリセットが解除されて、フォトダイオード５００での動画用としての信号電荷の蓄積が開始される。

時刻ｔ５において、第１行の転送パルスφＴＸ１Ｂ（１）がハイレベルとなると、第３の転送トランジスタ５０１Ｂがオンとなる。第３の転送トランジスタ５０１Ｂがオンとなると、フォトダイオード５００に蓄積された信号電荷が、第１行の動画の電荷を保持する第２の信号保持部５０７Ｂに転送される。

時刻ｔ６において、第１行の転送パルスφＴＸ１Ｂ（１）がローレベルとなると、第３の転送トランジスタ５０１Ｂがオフとなる。第３の転送トランジスタ５０１Ｂがオフとなると、フォトダイオード５００に蓄積された信号電荷の第２の信号保持部５０７Ｂへの転送が終了する。

ここで、時刻ｔ４から時刻ｔ６が、左上がり斜線部領域で示される第２の蓄積時間６０２−１に対応している。第２の蓄積時間６０２−１は、動画の１回の蓄積時間（１／８０００）である。第２の蓄積時間６０２−１と同様の蓄積動作を、１撮影周期中に離散的に８回（第２の蓄積時間６０２−１〜６０２−８）行う。そして、８回の蓄積を逐次転送して加算することで静止画と同等の蓄積時間（１／８０００×８＝１／１０００）を得る。

次に、時刻ｔ７から第１の画像信号である静止画の蓄積が実行される。時刻ｔ７において、第１行の転送パルスφＴＸ３（１）がローレベルとなると、第１行の第５の転送トランジスタ５０３がオフとなる。第５の転送トランジスタ５０３がオフとなると、フォトダイオード５００のリセットが解除されて静止画の信号電荷の蓄積が開始される。

時刻ｔ８において、第１行の転送パルスφＴＸ１Ａ（１）がハイレベルとなると、第１行の第１の転送トランジスタ５０１Ａがオンとなる。第１の転送トランジスタ５０１Ａがオンとなると、フォトダイオード５００に蓄積された信号電荷は、静止画の電荷を保持する第１の信号保持部５０７Ａに転送される。

時刻ｔ９において、第１行の転送パルスφＴＸ１Ａ（１）がローレベルとなると、第１の転送トランジスタ５０１Ａがオフとなる。転送トランジスタ５０１Ａがオフとなると、フォトダイオード５００に蓄積された信号電荷の第１の信号保持部５０７Ａへの転送が終了する。

ここで、時刻ｔ７から時刻ｔ９が、右上がりの斜線部領域で示される第１の蓄積時間６０１に対応している。第１の蓄積時間６０１は、静止画の蓄積時間（１／１０００）である。なお、本実施形態では１撮影周期中の静止画の蓄積回数は１回としているが、複数回でもよく、静止画を生成するための信号電荷の蓄積は１撮影周期中に１回以上を行えばよい。静止画の信号電荷の蓄積は、動画の信号電荷の蓄積の合間に行われる。図６においては、第１の蓄積時間６０１は、第２の蓄積時間６０２−４および６０２−５の合間に行われている。

時刻ｔ１０において、第１行のリセットパルスφＲＥＳ（１）がローレベルとなると、第１行のリセットトランジスタ５０４がオフとなる。リセットトランジスタ５０４がオフとなると、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がハイレベルとなると、第１行の選択トランジスタ５０６がオンとなる。選択トランジスタ５０６がオンとなると、第１行の画像信号の読み出しが可能となる。

時刻ｔ１１において、第１行の転送パルスφＴＸ２Ａ（１）がハイレベルとなると、第１行の第２の転送トランジスタ５０２Ａがオンとなる。第２の転送トランジスタ５０２Ａがオンとなると、第１行の信号保持部５０７Ａに蓄積された静止画の信号電荷がフローティングディフュージョン領域５０８に転送される。さらに、フローティングディフュージョン領域５０８の電位の変化に応じた出力が、第１行の増幅トランジスタ５０５および選択トランジスタ５０６を介して信号出力線５２３に読み出される。そして、信号出力線５２３に読み出された出力は、不図示の読み出し回路に供給されて、第１行の画像信号（静止画）として外部に出力される。

時刻ｔ１２から、第５回目の動画の蓄積が開始される。次に、時刻ｔ１４において、タイミング発生部１８９にて、垂直同期信号φＶがハイレベルになり、同時に水平同期信号φＨがハイレベルになり、次の撮影周期が開始される。そして、時刻ｔ１からｔ１４の間に第２の蓄積時間６０２−１〜６０２−８として加算された画像信号が、時刻ｔ１４以降に第２の画像信号（動画）として外部に出力される。

なお、第２行目のタイミングチャートは、時刻ｔ１直後の水平同期信号φＨに同期して実行される。すなわち、時刻ｔ１から時刻ｔ１４の間に全行のタイミングチャートが開始される。例えば、時刻ｔ１３のときの水平同期信号φＨによって開始されるタイミングチャートを第ｍ行とする。第ｍ行の各スイッチ信号は、φＳＥＬ（ｍ）、φＲＥＳ（ｍ）、φＴＸ３（ｍ）、φＴＸ１Ａ（ｍ）、φＴＸ１Ｂ（ｍ）、φＴＸ２Ａ（ｍ）、φＴＸ２Ｂ（ｍ）と表すことが可能である。

本実施形態において、第１の画像信号（静止画）は１撮影周期中の中央近傍で読み出し、第２の画像信号（動画）は１撮影周期中の初段で読み出すようにしている。すなわち、第１の画像信号（静止画）と第２の画像信号（動画）の読み出しは、各撮影周期中でほぼ均等な間隔を隔てて設けられている。これは、水平同期信号φＨにより多数行読み出しが実行された場合において、第１の画像信号（静止画）と第２の画像信号（動画）の読み出しの重複を回避するためである。また、第１の画像信号（静止画）の読出しは、１撮影周期中の中央近傍かつ前半で行われるのが望ましい。これは、ローリングシャッタによる読出しの重なりを回避するためである。

以上のようなタイミングチャートにより、動画は第２の蓄積時間を１／８０００として転送回数Ｎｐ＝８回の加算により、第１の蓄積時間が１／１０００である静止画と等価な露光量を得ることができる。このとき、静止画については１／１０００のシャッタースピード（蓄積時間）を実現しているためストップモーション効果の高い高品位な画像を得ることができる。また、動画については、１／６０の周期中に略等間隔で設定された短い蓄積時間を加算することによって１つの画像信号を得るように構成しているため、コマ送り的なパラパラ感のない高品位な動画を得ることができる。

図７において、第１の画像信号である静止画でのシャッタースピード（蓄積時間）は、１／５００であり、Ｂｖ値は０〜１１のいずれかである。そして、第２の画像信号である動画の転送回数Ｎｐを４とする。つまり動画の１撮影周期中（１／６０）にシャッタースピード（蓄積時間）１／２０００で露光による電荷を４回転送して加算することにより第２の画像信号を得る場合に対応している。

図７における基本的なタイミングチャートは、図６と同じである。第１の画像信号である静止画のシャッタースピード（蓄積時間）は、１／５００に設定されており、右上がり斜線部で示される第１の蓄積時間６１１として図示される。一方、第２の画像信号である動画のシャッタースピード（蓄積時間）は、転送回数Ｎｐ＝４回の加算を想定しているため１／２０００に設定され、左上がり斜線部で示される第２の蓄積時間６１２−１〜６１２−４として図示される。

ここで、図７では、第２の画像信号の転送回数はＮｐ＝４回となっている。これは、第１の蓄積時間６１１が１／５００であり、１／６０の１撮影周期に対してある程度の幅を有するため、転送回数Ｎｐを削減し、第２の蓄積時間６１２−１〜６１２−４のそれぞれの間隔を広げるためである。しかしながら、転送回数Ｎｐが少ないと高速で動く被写体については、コマ送り的なパラパラ感が出てしまう。そこで、本実施形態においては、デュアル映像モードで撮影する場合には、第１の蓄積時間である静止画のシャッタースピード１／５００を低速側の下限とし、それに合わせた転送回数ＮｐもＮｐ＝４が下限値とする。そのため、図５の静止画のプログラム線図３５８も、シャッタースピード１／５００が低速側の下限となっている。

図８において、第１の画像信号である静止画でのシャッタースピード（蓄積時間）は、１／２０００であり、Ｂｖ値は１４である。そして、第２の画像信号である動画の転送回数Ｎｐを１６とする。つまり、動画の１撮影周期中（１／６０）にシャッタースピード（蓄積時間）１／３２０００での露光による電荷を１６回転送して加算することにより第２の画像信号を得る場合に対応している。

図８における基本的なタイミングチャートは、図６と同じである。第１の画像信号である静止画のシャッタースピード（蓄積時間）は、１／２０００に設定されており、右上がり斜線部で示される第１の蓄積時間６２１として図示される。一方、第２の画像信号である動画のシャッタースピード（蓄積時間）は、転送回数Ｎｐ＝１６回の加算を想定しているため１／３２０００に設定され、左上がり斜線部の第２の蓄積時間６２２−１〜６２２−１６として図示される。

ここで、図８では、第２の画像信号の転送回数はＮｐ＝１６回となっている。これは、第１の蓄積時間６２１が１／２０００であり、１／６０の１撮影周期に対して非常に短い時間であるため、転送回数Ｎｐを増やしても第１の蓄積時間６２１を設定することが可能であるためである。しかしながら、転送回数Ｎｐが多いと第２の画像信号の蓄積動作、転送処理が増えるため処理負荷が上がってしまう。そこで、本実施形態においては、デュアル映像モードで撮影する場合には、転送回数ＮｐはＮｐ＝１６を上限値とする。なお、図５の静止画のプログラム線図３５８では、第１の画像信号である静止画のシャッタースピードとしては１／４０００が高速側の上限となっている。静止画のシャッタースピードが高速側にいっても、第１の蓄積時間６２１の幅は小さくなるだけなので、第２の蓄積時間６２２−１〜６２２−１６との排他的な位置関係は崩れない。そのため、本実施形態では、静止画のシャッタースピードの上限はシャッターの限界速度に基づいて決められている。なお、本実施形態では転送回数Ｎｐの上限を１６回としているが、処理速度が向上すれば３２回、６４回と増やしていってもよい。その方が高速被写体に対してもよりコマ送り的なパラパラ感ない第２の画像を得ることができる。

図６〜図８を用いて説明したように、本実施形態では、静止画のシャッタースピード（蓄積時間）に基づいて、１撮影周期中の動画用の信号電荷の第２の信号保持部５０７Ｂへの転送回数（加算回数）を決定する。静止画のシャッタースピードが１／５００の場合の動画の転送回数は下限値の４回、静止画のシャッタースピードが１／１０００の場合の動画の転送回数は８回、静止画のシャッタースピードが１／２０００の場合の動画の転送回数は上限値の１６回である。このように、転送回数は、下限値と上限値の範囲内で、静止画のシャッタースピードが遅いほど少なく、静止画のシャッタースピードが速いほど多くなる。このように、静止画の蓄積時間に応じて動画の転送回数を設定することで、被写体の輝度などの幅広い露出条件において、静止画と動画を高品位な映像で取得することが可能となる。

図９は、撮像装置に電源を投入した後のライブビュー表示中の表示部１５３の様子を表す図である。撮像光学系１５２を通して捉えられた人物１６３のスポーツシーンが表示部１５３上に表示されている。さらに、選択レバー１５６が時計方向に回動した位置にあるので、デュアル映像モードでの静止画（ｐｉｃｔｕｒｅ Ａ）のシャッタースピード４９１、動画（ｐｉｃｔｕｒｅ Ｂ）のシャッタースピード４９２およびＦ値４９３が表示されている。

図１０は、表示部１５３に静止画と動画の両方を並べて表示した図である。再生ボタン１６１が操作されたときに、表示部１５３に静止画４９６と動画４９７の両方を並べて表示すれば、静止画４９６と動画４９７を比較することで、ストップモーション効果のレベルを確認することが出来る。なお、静止画と動画の両方を並べて表示する処理は、撮像装置１０で行ってもよいし、ネットワークを介して外部のシステム或いは装置に映像データを供給し、実行するように構成しても良い。

図１１は、タブレット端末、パーソナルコンピュータ、テレビモニタなどでの、静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）の活用例を示す図である。静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）のデータファイルは、ネットワーク上のストレージ等に格納される。図１１において、フレーム群５８１は、ＭＰ４ファイルに格納された静止画（ｐｉｃｔｕｒｅ Ａ）のフレーム群である。フレーム群５７１は、フレーム群５８１を格納しているＭＰ４ファイルとは別のＭＰ４ファイルに格納された動画（ｐｉｃｔｕｒｅ Ｂ）のフレーム群である。静止画もしくは動画を格納するＭＰ４ファイルには、撮影時に同じＣＬＩＰ−ＵＭＩＤが設定され、関連付けがなされている。

タブレットなどで動画の再生をスタートすると、動画（ｐｉｃｔｕｒｅ Ｂ）のフレーム群５７１の先頭フレーム５７２から決められたフレームレートで、順次フレームが再生される。動画（ｐｉｃｔｕｒｅ Ｂ）は、フレームレートに対してシャッタースピードが過度に速くなると、パラパラ感のある映像となってしまう。本実施形態では、シャッタースピードが過度に速くならないよう、シャッタースピードを１／６０秒に設定しているため、再生された映像はコマ送りのようなパラパラ感の無い滑らかな動きの高品位な映像となる。

再生がフレーム５７３まで進んだ時点で、使用者が一時停止の操作を行うと、自動的に動画（ｐｉｃｔｕｒｅ Ｂ）に対応する静止画（ｐｉｃｔｕｒｅ Ａ）のデータファイルから、同一タイムコードのフレーム５８２が検索され、表示される。静止画（ｐｉｃｔｕｒｅ Ａ）は、ストップモーション効果が得られやすい、例えば１／１０００秒の高速シャッタースピードで撮影されており、スポーツシーンの一瞬を写し止めた迫力のある画像である。

一時停止の操作をして印刷の指示を行う場合、静止画（ｐｉｃｔｕｒｅ Ａ）のフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。したがって、印刷物もストップモーション効果がある迫力のあるものとなる。使用者が一時停止を解除すると、自動的に動画（ｐｉｃｔｕｒｅ Ｂ）のフレーム群５７１に戻って、フレーム５７４から再生が再開する。

本実施形態においては、静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）の２つの映像が、異なる蓄積期間（シャッタースピード）の設定で撮影されている。異なる蓄積時間で撮影されながらも、静止画（ｐｉｃｔｕｒｅ Ａ）についてゲインアップするのではなく、撮像素子において同程度の信号電荷を得ているので、どちらもＳＮの良好なノイズ感の無い映像となっている。

以上説明したように、本実施形態によれば、単一の撮像素子１８４を用いて動画および静止画の二つの映像を排他的な蓄積制御でほぼ同時に撮影する場合において、静止画の露光時間に応じて、高品位な動画および静止画を得ることが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１７８ システム制御部
１８９ タイミング発生部
１８４ 撮像素子
５００ 光電変換部
５０７Ａ 第１の信号保持部
５０７Ｂ 第２の信号保持部

Claims (11)

1. 第１の画像と、１撮影周期中に信号電荷の蓄積を複数回行い生成される第２の画像を取得する撮像手段と、
   前記撮像手段における、信号電荷の蓄積を制御する制御手段と、を備え、
   前記制御手段は、前記第１の画像を生成するための信号電荷の蓄積時間に応じて、前記第２の画像を生成するための信号電荷の蓄積回数を決定することを特徴とする撮像装置。
2. 前記制御手段は、前記第１の画像を生成するための信号電荷の蓄積時間が短い場合には前記蓄積回数を増やし、前記第１の画像を生成するための信号電荷の蓄積時間が長い場合には前記蓄積回数を減らすことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段は、複数の画素部を２次元に配列した撮像素子を有し、
   前記画素部は、光電変換部と、前記第１の画像を生成するための信号電荷の蓄積を行う第１の信号保持部と、前記第２の画像を生成するための信号電荷の蓄積を行う第２の信号保持部とを有することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記第１の信号保持部は、１撮影周期中に、前記光電変換部で発生した信号電荷を少なくとも１回蓄積し、
   前記第２の信号保持部は、１撮影周期中に、前記光電変換部で発生した信号電荷を複数回蓄積することを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、前記第１の画像を生成するための信号電荷の蓄積時間に上限および下限を設定し、前記蓄積回数に上限および下限を設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記第２の画像を生成するための複数回の信号電荷の蓄積を等間隔で行い、前記第１の画像を生成するための信号電荷の蓄積を、前記第２の画像を生成するための信号電荷の蓄積の合間に行うことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、前記第１の画像を生成するための信号電荷の蓄積および蓄積された信号電荷の読み出しを、１撮影周期中の中央近傍で行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記制御手段は、前記第２の画像を生成するために蓄積された信号電荷の読み出しを、１撮影周期の蓄積が終了した後、次の撮影周期における蓄積が開始される前に行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記制御手段は、１撮影周期中における前記第２の画像を生成するための複数回の信号電荷の蓄積時間の合計が、前記第１の画像を生成するための信号電荷の蓄積時間と等しくなるように、前記第２の画像を生成するための信号電荷の蓄積時間と蓄積回数を制御することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記第１の画像は静止画であり、前記第２の画像は動画であることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 撮像装置の制御方法であって、
    第１の画像と、１撮影周期中に信号電荷の蓄積を複数回行い生成される第２の画像を取得する撮像工程と、
    前記撮像工程における、信号電荷の蓄積を制御する制御工程と、を備え、
    前記制御工程では、前記第１の画像を生成するための信号電荷の蓄積時間に応じて、前記第２の画像を生成するための信号電荷の蓄積回数を決定することを特徴とする制御方法。

Images