JP6808350B2 - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関する。

デジタルカメラ等の撮像装置では、システム制御部による制御に基づき、撮像部から出力される画像信号を画像処理部に転送し、画像処理部で画像処理が施された画像データが記録媒体に記録される。そして、データサイズの大きい画像信号を連続的に生成し高速で処理する際には、撮像部から画像処理部へのデータ転送能力が処理速度の制約となることがある。

上記データ転送能力が処理速度の制約になることを回避するため、特許文献１では、撮像部にフレームメモリを備える撮像装置が提案されている。特許文献１では、撮像部から高速に出力される画像信号を一時的にフレームメモリに格納し、画像信号が出力されるタイミングとは非同期にフレームメモリに格納された画像信号を画像処理部へ転送できる。

特開２０１５−１３６０９３号公報

ところで、デジタルカメラには、ユーザが動画記録中に静止画撮影を行うことが可能な、いわゆる動画記録中の静止画撮影機能が搭載されたものがある。上記特許文献１に記載された撮像装置にこのような機能を搭載した場合、動画記録中のユーザからの静止画撮影指示に基づき、静止画記録用の画像信号をフレームメモリに一時的に格納しておき、動画記録終了後に画像処理部に転送して静止画の記録処理を行う必要がある。そのため、フレームメモリの容量が不足すると、動画記録を終了するまで静止画撮影を行うことができなくなる。

本発明は、上記課題に鑑みてなされ、その目的は、撮像部に設けられたメモリ容量の不足により動画記録中の静止画撮影ができなくなることを回避する撮像装置を実現することである。

上述の課題を解決し、目的を達成するために、本発明の撮像装置は、光電変換素子が二次元状に配列された画素と、前記画素から出力される画像信号を格納する信号格納部と、前記画像信号の種類を示す識別情報を前記画像信号に付加する識別情報付加手段とを備える撮像素子と、前記撮像素子から転送される画像信号に付加された識別情報を判別する識別情報判別手段を備え、前記識別情報判別手段により判別された識別情報に基づいて前記撮像素子から転送される画像信号の種類に応じた画像処理を行う画像処理手段と、前記画像信号の種類が第１の画像信号であった場合は、前記画素から出力される画像信号を前記信号格納部に格納せずに前記画像処理手段へ転送し、前記画像信号の種類が第２の画像信号であった場合は、前記画素から出力される画像信号を前記信号格納部に格納し、前記信号格納部に格納されている画像信号を前記画像処理手段へ転送するように前記撮像素子を制御する制御手段と、を有する。

また、本発明の撮像装置は、光電変換素子が二次元状に配列された画素と、前記画素から出力される画像信号を格納する信号格納部と、前記画像信号の種類を示す識別情報を前記画像信号に付加する識別情報付加手段とを備える撮像素子と、前記撮像素子から転送される画像信号に付加された識別情報を判別する識別情報判別手段を備え、前記識別情報判別手段により判別された識別情報に基づいて前記撮像素子から読み出される画像信号の種類に応じた画像処理を行う画像処理手段と、前記信号格納部に格納されている画像信号の一部を第１の画像信号として所定の周期で前記画像処理手段へ転送し、前記第１の画像信号が前記画像処理手段へ転送される合間に前記信号格納部に格納されている画像信号を第２の画像信号として前記画像処理手段へ転送するように前記撮像素子を制御する制御手段と、を有する。

本発明によれば、その目的は、撮像部に設けられたメモリ容量の不足により動画記録中の静止画撮影が不可となることを回避し、動画記録終了後の静止画処理の待ち時間を短縮または無くすことができる。

本実施形態の撮像装置の外観図。 本実施形態の撮像装置の構成を示すブロック図。 本実施形態の撮像素子の概略構成図。 本実施形態の画素とカラムＡＤＣの構成図。 本実施形態の撮像素子の積層構造を示す図。 実施形態１の動画記録中の静止画撮影における撮像部の動作を示すフローチャート。 実施形態１の動画記録中の静止画撮影におけるシステム制御部の動作を示すフローチャート。 本実施形態による画像信号の種類に応じて画像処理を切り替える制御を説明する図。 動画記録中の静止画撮影における撮像部から画像処理部への画像信号の転送処理を示すタイミングチャート。 動画記録動作の切り替えが行われたときの撮像部から画像処理部への画像信号の転送処理を示すタイミングチャート。 実施形態２の動画記録中の静止画撮影における撮像部の動作を示すフローチャート。

以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

＜装置構成＞
図１及び図２を参照して、本実施形態のデジタルカメラの機能及び外観について説明する。

本実施形態のデジタルカメラ１００の外観を示す図１において、表示部１０１は画像や各種情報を表示する液晶表示パネル（ＬＣＤ）等からなる。シャッターボタン１０２は撮影指示を行うための操作部である。モード切替ボタン１０３は各種モードを切り替えるための操作部である。コネクタ１０７は接続ケーブル１０８とデジタルカメラ１００とを接続するインターフェースである。操作部１０４はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材からなる操作部である。コントローラホイール１０６は操作部１０４に含まれる回転可能な電子ダイヤルである。電源スイッチ１０５は電源のオン、オフを切り替える押しボタン式の操作部である。

記録媒体１０９はメモリカードやハードディスク等の記録媒体である。記録媒体スロット１１０は記録媒体１０９を格納するためのスロットである。記録媒体スロット１１０に格納された記録媒体１０９は、デジタルカメラ１００との通信が可能となり、画像ファイルの書き込みや読み出しが可能となる。蓋１１１は記録媒体スロット１１０の蓋である。図１では、蓋１１１を開けてスロット１１０から記録媒体１０９を取り出してその一部を露出させた状態を示している。

本実施形態のデジタルカメラ１００の内部構成を示す図２において、撮影レンズ２０３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター２０４は絞り機能を備える。撮像部２０５は被写体の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等で構成される撮像素子３００を含む。また、撮像部２０５は、後述するように第１の半導体集積回路チップ（撮像層）３００Ａが、第２の半導体集積回路チップ（回路層）３００Ｂ上に積層されて配置された積層構造を有し、第１の半導体集積回路チップ３００Ａから読み出された画像信号が第２の半導体集積回路チップ３００Ｂで処理されて画像処理部２０７に出力される。

バリア２０２は、デジタルカメラ１００の、撮影レンズ２０３を含む撮像系を覆うことにより、撮影レンズ２０３、シャッター２０４、撮像部２０５を含む撮像系の汚れや破損を防止する。

変数保持部２０６は、画像処理部２０７での各種の処理や演算に用いるパラメータや状態変数を保持する変数格納用のメモリである。変数保持部２０６には、複数種類の画像処理用のパラメータや状態変数を保持するための複数のメモリ領域が設けられ、画像処理部２０７との接続を選択的に切り替えることができる。

画像処理部２０７は、撮像部２０５からのデータ、又は、メモリ制御部２０９からのデータに対し、変数保持部２０６に保持されているパラメータや状態変数を用いて所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２０７では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部２０１が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２０７ではさらに、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

撮像部２０５からの出力データは、画像処理部２０７及びメモリ制御部２０９を介して、或いは、メモリ制御部２０９を介してメモリ２１０に直接書き込まれる。メモリ２１０は、撮像部２０５からの画像データや、表示部１０１に表示するための画像データを格納する。メモリ２１０は、所定枚数の静止画や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。

また、メモリ２１０は画像表示用のメモリ（ビデオメモリ）を兼ねている。ＤＡ変換部２０８は、メモリ２１０に格納されている画像表示用のデータをアナログ信号に変換して表示部１０１に供給する。こうして、メモリ２１０に書き込まれた表示用の画像データはＤＡ変換部２０８を介して表示部１０１により表示される。表示部１０１は、ＬＣＤ等の表示器上に、ＤＡ変換部２０８からのアナログ信号に応じた表示を行う。撮像部２０５から出力され、メモリ２１０に蓄積されたデジタル信号をＤＡ変換部２０８においてアナログ変換し、表示部１０１に逐次転送して表示することで、電子ビューファインダ（ＥＶＦ）として機能し、ライブビューによるスルー画像の表示を行える。

不揮発性メモリ２１３は、電気的に消去・記憶可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２１３には、システム制御部２０１の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部２０１は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ２１３に記憶されたプログラムを実行することで、後述する本実施形態の各処理を実現する。２１２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ２１２には、システム制御部２０１の動作用の定数、変数、不揮発性メモリ２１３から読み込んだプログラム等を展開する。また、システム制御部２０１はメモリ２１０、ＤＡ変換部２０８、表示部１０１等を制御することにより表示制御も行う。

システムタイマー２１１は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替ボタン１０３、第１シャッタースイッチ１０２ａ、第２シャッタースイッチ１０２ｂ、操作部１０４はシステム制御部２０１に各種の動作指示を入力するための操作手段であり、ユーザが動画記録の開始指示を入力する録画ボタン１０４ａを含む。

モード切替ボタン１０３は、システム制御部２０１の動作モードを静止画撮影モード、動画記録モード、再生モードなどのいずれかに切り替える。静止画撮影モードに含まれるモードとして、オートモード、オートシーン判別モード、マニュアルモード、シーン別撮影モード、プログラムＡＥモード、カスタムモードなどがある。モード切替ボタン１０３で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替ボタン１０３で静止画撮影モードに一旦切り替えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画記録モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ１０２ａは、デジタルカメラ１００に設けられたシャッターボタン１０２の操作途中、いわゆる半押し（撮影準備指示）でオンとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。

第２シャッタースイッチ１０２ｂは、シャッターボタン１０２の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２０１は、第２シャッタースイッチ信号ＳＷ２により、撮像部２０５からの信号読み出しから記録媒体１０９に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部１０４の各操作部材は、表示部１０１に表示される種々の機能アイコンを選択操作することなどにより、シーンごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタンなどがある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

なお、操作部１０４の１つとして、表示部１０１に対する接触を検知可能なタッチパネルを有する。タッチパネルと表示部１０１とは一体的に構成することができる。例えば、タッチパネルを光の透過率が表示部１０１の表示を妨げないように構成し、表示部１０１の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部１０１上の表示座標とを対応付ける。これにより、あたかもユーザが表示部１０１上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。

コントローラホイール１０６は、操作部１０４に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール１０６を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部２０１はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール１０６が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール１０６は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール１０６自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール１０６自体は回転せず、コントローラホイール１０６上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

電源制御部２１４は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２１４は、その検出結果及びシステム制御部２０１の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１０９を含む各部へ供給する。

電源部２１５は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる。記録媒体Ｉ／Ｆ２１６は、メモリカードやハードディスク等の記録媒体１０９とのインターフェースである。記録媒体１０９は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部２１７は、無線アンテナや有線ケーブルによって外部機器と通信可能に接続し、映像や音声の送受信を行う。通信部２１７は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットにも接続可能である。通信部２１７は撮像部２０５で撮像された画像データ（スルー画像を含む）や、記録媒体１０９に記録されている画像ファイルを外部機器に送信でき、また、外部機器から画像データやその他の各種情報を受信できる。

姿勢検知部２１８は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部２１８で検知された姿勢に応じて、撮像部２０５で撮像された画像がデジタルカメラ１００を横に構えて撮影されたものか、縦に構えて撮影されたものかを判別可能である。システム制御部２０１は、姿勢検知部２１８で検知された姿勢に関する情報を撮像部２０５で撮像された画像データに付加したり、画像データを回転して記憶することが可能である。姿勢検知部としては、加速度センサやジャイロセンサ等を用いることができる。

発光部２１９は、ＬＥＤ（発光ダイオード）などを備える。発光部２１９は、所定の発光／非発光のパターンによって被写体にデジタルカメラ１００の動作状態（例えば、セルフタイマーのカウントダウン中や撮影の開始／終了など）を通知したり、被写体を照明するために閃光するストロボ機能を備える。

なお、ハードウェアの構成は図２に示すものに限定されず、例えば１つのハードウェアが表示制御、通信制御、撮影制御、画像処理制御等を行い、デジタルカメラ１００の各手段として機能してもよい。また、複数のハードウェアが協働して１つの手段として機能してもよい。

＜撮像素子構成＞
図３を参照して、本実施形態の撮像素子３００の構成および機能の概略について説明する。

図３において、撮像素子３００は、第１の半導体集積回路チップ（撮像層）３００Ａと、第２の半導体集積回路チップ（回路層）３００Ｂを有する。そして、第１の半導体集積回路チップ３００Ａから出力された画像信号が第２の半導体集積回路チップ３００Ｂで処理されて撮像素子３００の外部に設けられた画像処理部２０７に転送されるように、システム制御部２０１により第２の半導体集積回路チップ３００Ｂのタイミング制御回路３１４および信号転送部３１８が制御される。

撮像素子３００は、第１の半導体集積回路チップ３００Ａが第２の半導体集積回路チップ３００Ｂ上に積層されて配置された積層構造を有する。第１の半導体集積回路チップ３００Ａは、各々がフォトダイオードなどの光電変換素子を有する複数の画素３０１が二次元状に配列された画素領域を備える。複数の画素３０１が配列された第１の半導体集積回路チップ３００Ａは、光入射側に配置されている（つまり、被写体光学像の受光側に位置している）。また、第１の半導体集積回路チップ３００Ａにおいて、各々の画素３０１は、垂直方向（列方向）の各列の画素に垂直出力線（列出力線）３０２が接続され、水平方向（行方向）の各行の画素に転送信号線３０３、リセット信号線３０４および行選択信号線３０５が接続されている。なお、垂直出力線３０２は読み出し行単位に応じて接続される画素が異なっている。

第２の半導体集積回路チップ３００Ｂは、ＡＤ変換回路（以下、カラムＡＤＣ）３１１、行走査回路３１２、列走査回路３１３、タイミング制御回路３１４、水平信号線３１５ａ、３１５ｂ、出力スイッチ３１６を含む画素駆動部を備える。さらに、第２の半導体集積回路チップ３００Ｂは、フレームメモリ（信号格納部）３１７と、信号転送部３１８と、Ｐ／Ｓ変換部３１９とを備える。

第２の半導体集積回路チップ３００Ｂの画素駆動部において、カラムＡＤＣ３１１は垂直出力線３０２に接続されており、複数の画素３０１の各々から垂直出力線３０２に出力された画像信号をデジタル信号に変換する。行走査回路３１２は、転送信号線３０３とリセット信号線３０４と行選択信号線３０５に接続されている。列走査回路３１３は水平信号線３１５ａ、３１５ｂに接続され、カラムＡＤＣ３１１に列走査信号を出力する。タイミング制御回路３１４は、カラムＡＤＣ３１１および列走査回路３１３に接続され、タイミング信号を出力する。水平信号線３１５ａ、３１５ｂは、出力スイッチ３１６に接続され、カラムＡＤＣ３１１からデジタル画像信号が出力される。

出力スイッチ３１６はチャンネルごとの水平信号線３１５ａ、水平信号線３１５ｂからカラムＡＤＣ３１１から出力されるデジタル画像信号を信号転送部３１８へ選択的に順次供給する。フレームメモリ３１７は、信号転送部３１８に供給される少なくとも１フレーム分のデジタル画像信号を一時的に記憶する。信号転送部３１８は、出力スイッチ３１６から供給されるデジタル画像信号をフレームメモリ３１７に格納するか、フレームメモリ３１７に格納しないでパラレル・シリアル（Ｐ／Ｓ）変換部３１９を介して画像処理部２０７に転送する。信号転送部３１８の詳細は後述する。Ｐ／Ｓ変換部３１９は、信号転送部３１８から出力されるデジタル画像信号のパラレル・シリアル変換を行い、撮像素子３００の外部にある画像処理部２０７に出力する。

このように第１の半導体集積回路チップ３００Ａに複数の画素３０１が配列された画素領域を形成し、第２の半導体集積回路チップ３００Ｂに画素駆動回路やメモリ回路や演算回路等を形成することで、撮像素子３００の撮像層と回路層とで製造プロセスを分けることができる。よって、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。

＜画素およびカラムＡＤＣの回路構成＞
次に、図４を参照して、図３に示す撮像素子３００の画素３０１とカラムＡＤＣ３１１の回路構成について説明する。

画素３０１の各々は、フォトダイオード４０１、転送トランジスタ４０２、リセットトランジスタ４０３、増幅トランジスタ４０４および選択トランジスタ４０５の４つのトランジスタ回路を有する。これらのトランジスタ４０２〜４０５には、例えば、ＮチャネルのＭＯＳトランジスタが用いられる。

フォトダイオード４０１は、受光した光をその光量に応じた電荷量の光電荷（電子）に光電変換する。フォトダイオード４０１のカソードは、転送トランジスタ４０２を介して増幅トランジスタ４０４のゲートと電気的に接続されている。この増幅トランジスタ４０４のゲートと電気的に接続されたノード４０６をＦＤ（フローティングディフュージョン）部と呼ぶ。

転送トランジスタ４０２は、フォトダイオード４０１のカソードとＦＤ部４０６との間に接続されている。そして、転送トランジスタ４０２のゲートに不図示の転送線を介して転送パルスφＴＲＧが印加されることによってオンとなり、フォトダイオード４０１で光電変換された光電荷をＦＤ部４０６に転送する。

リセットトランジスタ４０３は、ドレインが画素電源Ｖｄｄに、ソースがＦＤ部４０６にそれぞれ接続されている。そして、リセットトランジスタ４０３のゲートに不図示のリセット線を介してリセットパルスφＲＳＴが印加されることによってオンとなる。また、リセットトランジスタ４０３は、フォトダイオード４０１からＦＤ部４０６への信号電荷の転送に先立って、ＦＤ部４０６の電荷を画素電源Ｖｄｄに転送することによってＦＤ部４０６をリセットする。

増幅トランジスタ４０４は、ゲートがＦＤ部４０６に、ドレインが画素電源Ｖｄｄにそれぞれ接続されている。そして、増幅トランジスタ４０４は、リセットトランジスタ４０３によってリセットした後のＦＤ部４０６の電位をリセットレベルとして出力し、さらに転送トランジスタ４０２によって信号電荷を転送した後のＦＤ部４０６の電位を信号レベルとして出力する。

選択トランジスタ４０５は、例えば、ドレインが増幅トランジスタ４０４のソースに、ソースが垂直出力線３０２にそれぞれ接続されている。そして、選択トランジスタ４０５のゲートに不図示の選択線を介して選択パルスφＳＥＬが印加されることによってオンとなり、フォトダイオード４０１を選択状態にして増幅トランジスタ４０４から出力される信号を垂直出力線３０２に中継する。

なお、選択トランジスタ４０５については、画素電源Ｖｄｄと増幅トランジスタ４０４のドレインとの間に接続した回路構成にすることも可能である。また、図４のように、１つの画素３０１が４つのトランジスタで構成されるものに限られず、例えば、増幅トランジスタ４０４と選択トランジスタ４０５を兼用した３つのトランジスタで構成しても良い。

画素３０１から垂直出力線３０２を介して出力される画素信号は、カラムＡＤＣ３１１に転送される。カラムＡＤＣ３１１は、比較器４１１、アップダウンカウンタ（Ｕ／Ｄ ＣＮＴ）４１２、メモリ４１３、ＤＡコンバータ（ＤＡＣ）４１４を有する。

比較器４１１は、一対の入力端子の一方に上記垂直出力線３０２が接続され、他方にＤＡＣ４１４が接続される。ＤＡＣ４１４は、タイミング制御回路３１４からの制御信号に応じてレベルが時間の経過とともに増加または減少するように変化するランプ信号を出力する。

そして、比較器４１１は、ＤＡＣ４１４から入力されるランプ信号のレベルと、垂直出力線３０２から入力される画素信号のレベルとを比較する。例えば、比較器４１１は、画素信号のレベルがランプ信号のレベルより低い場合にはハイレベルの比較信号を出力し、画素信号のレベルがランプ信号のレベル以上になった場合にはローレベルの比較信号を出力する。

タイミング制御回路３１４は、システム制御部２０１からの制御に従い、ＤＡＣ４１４へ基準信号を出力する。

アップダウンカウンタ４１２は、比較器４１１の出力端子に接続され、例えば、比較信号がハイレベルからローレベルになるまでの期間をカウントする。このカウント処理により、各画素３０１の出力信号は完全なデジタル信号値へ変換される。なお、アップダウンカウンタ４１２では、リセットレベルをカウントダウンしたカウント値から、画素信号のレベルをカウントアップして比較信号がハイレベルからローレベルになるまでの期間をカウントする。

なお、比較器４１１とアップダウンカウンタ４１２との間にＡＮＤ回路を設け、このＡＮＤ回路にパルス信号を入力し、このパルス信号の個数をアップダウンカウンタ４１２によりカウントさせてもよい。

このように、カラムＡＤＣ３１１で、リセットレベルと画素信号レベルの差分を算出することで、リセットレベルを除く画素信号のみを抽出することができる。

メモリ４１３は、アップダウンカウンタ４１２に接続され、アップダウンカウンタ４１２による画素信号のカウントの際に、比較信号がハイレベルからローレベルになるまでの期間のカウント値を記憶する。なお、カラムＡＤＣ３１１は、画素３０１のリセット解除時の画素信号に基づいてリセットレベルに対応したカウント値をカウントし、また、所定の露光時間後の画素信号に基づいてカウント値をカウントし、これらの差分値をメモリ４１３に記憶させてもよい。

メモリ４１３に記憶されたカウント値は、画素信号に対応するデジタル値として列走査回路３１３からの信号に同期して水平信号線３１５ａ、水平信号線３１５ｂに伝送される。

図５は、本実施形態の撮像素子３００の第１の半導体集積回路チップ３００Ａ（撮像層）と第２の半導体集積回路チップ３００Ｂ（回路層）の積層構造を例示している。

第１の半導体集積回路チップ（撮像層）３００Ａと第２の半導体集積回路チップ（回路層）３００Ｂは、それぞれのマイクロパッド５０１と５０２が、マイクロバンプ５０３を介して電気的に接続されるように、第２の半導体集積回路チップ３００Ｂ上に第１の半導体集積回路チップ３００Ａを重ね合せた状態で固定されている。

＜動画記録中の静止画撮影処理＞
次に、図６を参照して、本実施形態のデジタルカメラ１００による動画記録中の静止画撮影処理における撮像部２０５の動作について説明する。

本実施形態では、撮像部２０５は、動画記録動作中において、撮像素子３００の出力スイッチ３１６から出力されるデジタル画像信号を動画記録用の画像信号としてフレームメモリ３１７に格納しないで画像処理部２０７にフレームごとに周期的に転送する。また、撮像部２０５は、動画記録中に静止画撮影指示を受けた場合は、撮像素子３００の出力スイッチ３１６から出力されるデジタル画像信号を静止画記録用画像信号としてフレームメモリ３１７に格納する。そして、撮像部２０５は、フレームメモリ３１７に格納した静止画記録用画像信号を、動画記録用画像信号が一定周期で転送される合間（ＶＢＬＫ期間）に画像処理部２０７に転送する。

なお、図６の処理は、システム制御部２０１が不揮発性メモリ２１３に格納されたプログラムをシステムメモリ２１２に展開して実行し、撮像部２０５を制御することにより実現される。

Ｓ６０１では、撮像部２０５は、システム制御部２０１から動画記録の開始信号を受けると動画記録動作を開始する。システム制御部２０１は、操作部１０４に含まれる録画ボタン１０４ａによりユーザから動画記録の開始指示を受けると、撮像部２０５に動画記録の開始信号を出力する。

Ｓ６０２では、撮像部２０５は、Ｓ６０１での動画記録動作の開始後、システム制御部２０１から静止画撮影の開始信号を受けた場合は、処理をＳ６０３に進め、受けていない場合は、処理をＳ６０６に進める。システム制御部２０１は、操作部１０４に含まれるシャッターボタン１０２により動画記録中の静止画撮影開始指示を受けた場合は、撮像部２０５に静止画撮影の開始信号を出力する。

Ｓ６０３では、撮像部２０５は、システム制御部２０１からの動画記録信号を受けて、撮像素子３００により受光した光を光電変換する蓄積動作を行う。なお、この蓄積動作は、動画記録用画像信号の間引き読み出しなどに応じて電子シャッター制御を行った動画記録専用の信号蓄積動作でもよく、また、静止画と全く同じ蓄積動作でもよい。また、光電変換素子が二次元状に配列された撮像素子３００において、１つのマイクロレンズに対して複数の画素を配置した構造である場合には、これら視差の異なる画像信号を用いる像面位相差ＡＦに適した蓄積動作を行ってもよい。

Ｓ６０４では、撮像部２０５は、システム制御部２０１からの動画記録信号を受けて、Ｓ６０３で蓄積した信号電荷をＡＤＣ３１１によりデジタル信号に変換し、出力スイッチ３１６を介して信号転送部３１８に出力する。このＡＤ変換についても、階調を変えるなど動画記録用と静止画記録用で異なるＡＤ変換を行ってもよく、静止画と全く同じＡＤ変換でもよい。また、光電変換素子が二次元状に配列された撮像素子３００において、１つのマイクロレンズに対して複数の画素を配置した構造である場合には、これら視差の異なる画像信号を用いる像面位相差ＡＦに適したＡＤ変換動作を行ってもよい。

Ｓ６０５では、撮像部２０５は、システム制御部２０１からの動画記録信号を受けて、信号転送部３１８により動画記録用画像信号をフレームメモリ３１７に格納しないで画像処理部２０７へ一定周期で転送する。このデータ転送は、記録中の動画のフレームレートに応じて１フレームずつ一定周期で行われる。但し、デジタルカメラ１００が提供する動画記録中の静止画撮影機能の仕様によっては、動画記録中の静止画撮影の開始指示がユーザにより行われた場合に一時的にこの周期が守られないことがある。また、動画記録機能の仕様によってはフレームレートが変化することがある。撮像部２０５から画像処理部２０７へのデータ転送は、例えばＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）などの伝送技術を用いる。この場合、ＬＶＤＳの同期コード部のようなデータ列先頭部に、画像処理部２０７で画像信号の種類を識別可能にするための識別信号を付加する。本実施形態では、例えば、識別信号１を動画記録用画像信号に付加して転送している。

Ｓ６０６では、撮像部２０５は、Ｓ６０２でシステム制御部２０１から動画記録中の静止画撮影の開始信号を受けたので、Ｓ６０３と同様に撮像素子３００により受光した光を光電変換する蓄積動作を行う。Ｓ６０７では、撮像部２０５は、Ｓ６０４と同様にＳ６０６で蓄積した信号電荷をＡＤＣ３１１によりデジタル信号に変換し、出力スイッチ３１６を介して信号転送部３１８に出力する。Ｓ６０８では、撮像部２０５は、信号転送部３１８に出力された静止記録用画像信号を信号転送部３１８によりフレームメモリ３１７に格納する。

Ｓ６０９、Ｓ６１０では、撮像部２０５は、システム制御部２０１からの制御信号を受けて、フレームメモリ３１７に格納した静止画記録用画像信号を分割して、動画記録用画像信号が転送される合間（ＶＢＬＫ期間）に画像処理部２０７に転送する。具体的には、撮像部２０５は、フレームメモリ３１７に画像信号が格納されている場合はＳ６１０に進み、格納されていない場合はＳ６０２に戻り、Ｓ６０２からＳ６０５までの動画記録動作を繰り返し行う。なお、Ｓ６０４でのＡＤ変換を行うときに既に次のフレームのＳ６０３またはＳ６０６での蓄積動作が可能であり、実際には次のフレームのＳ６０３またはＳ６０６での蓄積動作を行いながら現在のフレームのＳ６０４以降の処理を行う。Ｓ６０７以降の処理も同様であり、次のフレームのＳ６０３での蓄積動作を行いながらＳ６０７以降の処理を行う。Ｓ６１０では、撮像部２０５は、Ｓ６０５における動画記録用画像信号の画像処理部２０７へのデータ転送を妨げない条件において、フレームメモリ３１７に格納されている画像信号の一部を信号転送部３１８により画像処理部２０７へ転送する。Ｓ６０５でのデータ転送を妨げない条件とは、動画の１フレーム分の画像信号を画像処理部２０７へ転送し終えてから次のフレームのデータ転送開始までの垂直ブランキング期間（ＶＢＬＫ期間）であって、ＶＢＬＫ期間中にデータ転送可能なデータ量である。この条件を満たすよう、フレームメモリ３１７に格納されている画像信号の一部を画像処理部２０７へとデータ転送するが、その場合にはＳ６０５と同様に、画像処理部２０７で画像信号の種類を識別可能にするための識別信号を付加する。本実施形態では、識別信号２を静止画記録用画像信号に付加して転送している。Ｓ６１０の処理が終了した後は、Ｓ６０２の処理に戻り、動画記録動作を継続する。

Ｓ６１１では、撮像部２０５は、システム制御部２０１から動画記録の終了信号を受けると、処理をＳ６１２に進める。システム制御部２０１は、操作部１０４に含まれる録画ボタン１０４ａによりユーザから動画記録の終了指示を受けると、撮像部２０５に動画記録の終了信号を出力する。また、Ｓ６１１で、撮像部２０５は、システム制御部２０１から動画記録の終了信号を受けていない場合はＳ６０２に戻り、動画記録動作を継続する。

Ｓ６１２では、撮像部２０５は、フレームメモリ３１７に画像信号が格納されている場合はＳ６１３に進み、格納されていない場合はＳ６１４に進んで動画記録動作を終了する。

Ｓ６１３では、撮像部２０５は、フレームメモリ３１７に格納されている画像信号のうち、画像処理部２０７へ転送していないものを画像処理部２０７へデータ転送する。Ｓ６１３では、Ｓ６１０と同様に画像処理部２０７で画像信号の種類を識別可能にするための識別信号を付加する。なお、Ｓ６１３でのデータ転送開始後に、処理をＳ６０１に戻って再度動画記録動作を開始することが可能である。再開する動画記録動作では、データサイズ、データ間引き、画素加算、フレームレート等を変更してもよい。Ｓ６１３でデータ転送を行いながら再開した動画記録動作についてＳ６０３での蓄積動作を行うことが可能であり、新しいフレームレートでのＳ６０５でのデータ転送を妨げない条件において、Ｓ６１３のデータ転送を継続する。

＜動画記録中の静止画撮影処理＞
次に、図７を参照して、本実施形態のデジタルカメラ１００による動画記録中の静止画撮影動作のうち、システム制御部２０１の動作について説明する。

なお、図７の処理は、不揮発性メモリ２１３に格納されたプログラムをシステムメモリ２１２に展開してシステム制御部２０１が実行することにより実現される。

Ｓ７０１では、システム制御部２０１は、操作部１０４に含まれる録画ボタン１０４ａによりユーザから動画記録の開始指示を受けると、撮像部２０５に動画記録の開始信号を出力し動画記録動作を開始する。なお、本実施形態では動画記録動作を一例とするが、撮影映像をリアルタイムに表示部１０１へ表示させるライブビューであっても同様であり、Ｓ７１２での記録媒体１０９への記録処理が表示部１０１への出力処理に変わるだけである。但し、途中の画像処理は同じとは限らない。

Ｓ７０２で、システム制御部２０１は、動画記録用と静止画記録用画像信号のデータサイズをそれぞれ画像処理部２０７に設定する。

Ｓ７０３では、システム制御部２０１は、識別信号の種類を画像処理部２０７の識別信号判別回路２０７ａに設定する。本実施形態では、動画記録用画像信号は識別信号１、静止画記録用画像信号は識別信号２が割り当てられている。

Ｓ７０４では、システム制御部２０１は、画像処理部２０７が撮像部２０５から転送された画像信号を入力する。

Ｓ７０５では、システム制御部２０１は、画像処理部２０７の識別信号判別回路２０７ａが転送された画像信号に付与されている識別信号を判定する。システム制御部２０１は、識別信号１（動画記録用画像信号）であると判定した場合は処理をＳ７０６に進め、識別信号２（静止画記録用画像信号）であると判定した場合は処理をＳ７０８に進める。

Ｓ７０６では、システム制御部２０１は、変数保持部２０６の動画用領域が画像処理部２０７により読み出し／書き込みできるように画像処理部２０７と変数保持部２０６を接続する。

Ｓ７０７では、システム制御部２０１は、システムメモリ２１２に記憶している値を更新し、動画記録用画像信号の位置に関する情報を管理する。動画記録用画像信号の位置に関する情報とは、具体的には現在画像処理部２０７に入力された画像信号が動画記録用画像信号の１フレームにおける何ライン目の画像信号であるかを示す情報である。この位置情報を管理することにより、１フレームの途中で画像処理部２０７での処理が別の種類の画像信号の処理に切り替わったとしても、元の動画記録用画像信号のデータが再び入力されたときにはその１フレームの動画記録用画像信号のそれまでの画像処理過程を踏まえた処理を再開することを可能にしている。

Ｓ７０８では、システム制御部２０１は、変数保持部２０６の静止画用領域が画像処理部２０７により読み出し／書き込みできるように画像処理部２０７と変数保持部２０６を接続する。

Ｓ７０９では、システム制御部２０１は、システムメモリ２１２に記憶している値を更新し、静止画記録用画像信号の位置に関する情報を管理する。静止画記録用画像信号の位置に関する情報とは、具体的には現在画像処理部２０７に入力された画像信号が静止画画像信号の１フレームにおける何ライン目の画像信号であるかを示す情報である。Ｓ７０７と同様に、静止画記録用画像信号を間欠的に処理する際にそれまでの画像処理過程を踏まえた処理を再開することを可能にするための情報である。

Ｓ７１０では、システム制御部２０１は、動画記録用または静止画記録用のパラメータや変数及び動画記録用または静止画記録用画像信号の位置に関する情報を用いて、画像処理部２０７で撮像部２０５から転送された画像信号の画像処理（補正、現像、圧縮等）を行う。

Ｓ７１１では、システム制御部２０１は、メモリ制御部２０９を制御して、画像処理部２０７から出力される画像データをメモリ２１０へ書き込む。このときの書き込み先アドレスに関する情報も、変数保持部２０６と画像信号の位置に関する情報に基づいて決定される。

Ｓ７１２では、システム制御部２０１は、メモリ制御部２０９によりメモリ２１０に書き込まれた画像データを記録媒体１０９に記録する。なお、少なくとも１フレーム分の画像データが揃わなければ記録媒体１０９へ記録する画像ファイルの生成が完了しないため、Ｓ７１１でのメモリ２１０への画像データの書き込みと、Ｓ７１２での記録媒体１０９への記録は連続的に行われるとは限らない。例えば、静止画データは動画データの複数フレームにわたって分割されて撮像部２０５から転送され、画像処理部２０７で処理されて１フレーム分の画像データが生成されるので、メモリ２１０に１フレーム分の静止画データが書き込まれた後にＳ７１２での記録媒体１０９への記録が行われる。一方で、動画データはフレームごとに記録媒体１０９への記録が行われ、Ｓ７０４からＳ７１２までの処理を繰り返し動画記録動作が継続される。

Ｓ７１３では、システム制御部２０１は、操作部１０４に含まれる録画ボタン１０４ａによりユーザから動画記録の終了指示を受けると、処理をＳ７１４に進める。また、Ｓ７１３で、システム制御部２０１は、動画記録の終了指示を受けていない場合はＳ７０４に戻り、動画記録動作を継続する。

Ｓ７１４では、システム制御部２０１は、撮像部２０５からの静止画記録用画像信号の転送が完了したか否かを判定し、データ転送が完了するまでＳ７０４からＳ７１２までの処理を継続し、データ転送が完了するとＳ７１５に進める。なお、静止画記録用画像信号の転送が完了する前に再びＳ７０１での動画記録動作を開始することが可能である。この場合、システム制御部２０１は、変数保持部２０６の動画用領域のパラメータ群、データ群を新しい動画用のものに更新する。

Ｓ７１５では、システム制御部２０１は、撮像部２０５に動画記録の終了信号を出力し、動画記録動作を終了する。

図８は、画像処理部２０７が、転送される画像信号の種類に応じて画像処理を切り替えるための構成を説明する図である。本実施形態では、変数保持部２０６の中に領域８０１と領域８０２があり、それぞれに画像処理部２０７で用いるパラメータ、保持データ、メモリ２１０への書き込みアドレス情報などを保持できる。これらの領域の数は３つ以上でもよい。また、各領域８０１、８０２に保持されているデータへのアクセス端子８０３、８０４が切替回路８０５により切り替え可能となっている。切替回路８０５は画像処理部２０７の各画像処理回路ブロック２０７ｂ、、、２０７ｎやメモリ２１０及び記録媒体１０９への書き込みドライバと接続されている。また、切替回路８０５は画像処理部２０７の入力端子近傍に設けられた識別信号判別回路２０７ａからの信号を受けて、変数保持部２０６の領域８０１と領域８０２との接続を切り替える。このような構成によって、画像処理部２０７に転送される画像信号の先頭付近に付与されている識別信号に応じて画像処理部２０７の処理動作を切り替えることが可能である。また、システム制御部２０１は、現在処理中の画像信号の位置に関する情報を管理している。システム制御部２０１は、画像信号の位置に関する情報を画像処理部２０７の処理に反映させることで、例えば、歪補正回路２０７ｃにおいて歪補正を付与する程度などを適切に制御することが可能である。また、画像信号の位置に関する情報に基づいてメモリ２１０への書き込みアドレス情報を決定する方法を用いることで、１フレームの画像信号が上または下から順番ではない順序で転送される場合にも、メモリ２１０上に１フレームの画像データが正しい順序で配列されるように書き込むことができる。

図９は、動画記録中の静止画撮影によりフレームメモリ３１７に格納された静止画記録用画像信号を、動画記録用画像信号の転送の合間（ＶＢＬＫ期間）に転送し、画像処理されメモリ２１０に書き込まれる動作を示している。図９の例では、撮像素子３００のフレームメモリ３１７に既に静止画記録用画像信号が書き込まれている状態から開始しており、図の右側に移動するほど時間が進む。一定周期での動画記録用画像信号の転送の隙間を埋めるようにフレームメモリ３１７に格納されている静止画記録用画像信号が分割されてデータ転送される。画像処理部２０７は撮像部２０５から転送された画像信号の種類に応じた画像処理を行っており、画像処理済みの静止画記録用画像信号が静止画データとしてメモリ２１０に書き込まれる。撮像部２０５のフレームメモリ３１７に格納されているすべての静止画記録用画像信号の転送が終了した後は、通常の動画記録動作が継続される。

図１０は、図９に示す静止画記録用画像信号の転送中に動画記録動作の切り替えが行われたときの動作を示している。動画記録が一旦停止され、フレームレートの異なる新しい動画記録動作へ切り替えられるときに、動画記録用画像信号の転送が一時的に停止され、その間に静止画記録用画像信号の転送が行われる。このように動画記録動作の切り替えと並行して静止画記録用画像信号の転送を行う。

以上のように、本実施形態によれば、動画記録中の静止画撮影動作において動画記録用画像信号の転送の合間に撮像部２０５のフレームメモリ３１７に格納された静止画記録用画像信号の転送および画像処理が行える。このため、動画記録中の静止画撮影時に撮像部２０５のフレームメモリ３１７の容量不足により静止画撮影ができなくなる事態を回避することができる。また、動画記録終了後の静止画処理の待ち時間を短縮または無くすことができる。

［実施形態２］
次に、図１１を参照して、実施形態２について説明する。

本実施形態では、動画記録中の静止画撮影指示を受けた場合に、撮像部２０５のフレームメモリ３１７に格納された最新の静止画記録用画像信号に静止画データとしてのマークを付加する。そして、フレームメモリ３１７に格納された画像信号から、信号転送部３１８において動画記録用に間引きした一部の画像信号を画像処理部２０７へ転送する。このデータ転送の際に、マークが付加された静止画記録用画像信号の一部を、動画記録用画像信号の転送を妨げない条件において画像処理部２０７へデータ転送する。また、そのデータ転送の際に、画像処理部２０７で画像信号の種類を識別可能にするための識別信号を付加する。

なお、本実施形態のデジタルカメラ１００や撮像素子３００の構成は実施形態１で説明した図１から図４と同様であるため説明は省略する。また、動画記録中の静止画撮影におけるシステム制御部の動作についても実施形態１で説明した図７と同様である。

図１１は、実施形態２のデジタルカメラ１００による動画記録中の静止画撮影動作における撮像部２０５の動作を示している。

Ｓ１１０１では、図６のＳ６０１と同様に、撮像部２０５は、システム制御部２０１から動画記録の開始信号を受けると動画記録動作を開始する。

Ｓ１１０２〜Ｓ１１０４では、撮像部２０５は、図６のＳ６０６〜Ｓ６０８と同様の処理を行う。具体的には、撮像部２０５は、システム制御部２０１からの動画記録信号を受けて、撮像素子３００により受光した光を光電変換する蓄積動作を行い（Ｓ１１０２）、Ｓ１１０２で蓄積した信号電荷をＡＤＣ３１１によりデジタル信号に変換し（Ｓ１１０３）、出力スイッチ３１６を介して信号転送部３１８に出力する。Ｓ１１０４では、撮像部２０５は、信号転送部３１８に出力された静止記録用画像信号を信号転送部３１８によりフレームメモリ３１７に格納する。

Ｓ１１０５では、撮像部２０５は、Ｓ６０２と同様に、システム制御部２０１から静止画撮影の開始信号を受けた場合は、処理をＳ１１０６に進め、受けていない場合は、処理をＳ１１０７に進める。

Ｓ１１０６では、撮像部２０５は、システム制御部２０１からの制御信号を受けて、撮像部２０５は、フレームメモリ３１７に格納された最新の画像信号に静止画データとしてのマークを付加し、処理をＳ１１０７に進める。

Ｓ１１０７では、撮像部２０５は、システム制御部２０１からの制御信号を受けて、フレームメモリ３１７に格納されている静止画記録用画像信号から、信号転送部３１８により動画記録用に間引きした一部の画像信号を画像処理部２０７へ転送する。Ｓ１１０７でのデータ転送は、記録中の動画のフレームレートに応じて１フレームずつ一定周期で行われる。動画記録動作の仕様によってはフレームレートが変化することがある。また、Ｓ１１０２からＳ１１０４までの処理を行う周期とＳ１１０７のデータ転送の周期は一致しないことがある。例えばＳ１１０２からＳ１１０４の処理を１２０ｆｐｓで行い、Ｓ１１０７のデータ転送を３０ｆｐｓで行うことがある。この場合において、Ｓ１１０６で静止画記録用画像信号に静止画データとしてのマークを付加したのと同様に、撮像部２０５は、フレームメモリ３１７に格納されている画像信号の全てまたは一部に高速動画データとしてのマークを付加することができる。あるいは、撮像部２０５は、システム制御部２０１からの静止画記録の開始指示があってから一定期間の間にフレームメモリ３１７に格納された画像信号に高速動画データとしてのマークを付加することもできる。撮像部２０５から画像処理部２０７へのデータ転送は、ＬＶＤＳ（ＬｏｗＶｏｌｔａｇｅＤｉｆｆｅｒｅｎｔｉａｌＳｉｇｎａｌｉｎｇ）などの伝送技術を用いる。このとき、ＬＶＤＳの同期コード部のようなデータ列先頭部に、画像処理部２０７で画像信号の種類を識別可能にするための識別信号を付加する。例えば、識別信号１を動画記録用画像信号に付加して転送している。

Ｓ１１０８では、撮像部２０５は、システム制御部２０１からの制御信号を受けて、フレームメモリ３１７に静止画データとしてのマークが付加された画像信号が存在する場合は処理をＳ１１０９に進め、存在しないと判定した場合は処理をＳ１１１０に進める。

Ｓ１１０９では、撮像部２０５は、Ｓ１１０７において動画記録用画像信号の転送を妨げない条件で、フレームメモリ３１７に格納されているマークが付加された画像信号の一部を画像処理部２０７へ転送する。Ｓ１１０７でのデータ転送を妨げない条件とは、図６のＳ６１０と同様に、動画の１フレーム分の画像信号を画像処理部２０７へ転送し終えてから次のフレームのデータ転送開始までのＶＢＬＫ期間であって、ＶＢＬＫ期間中にデータ転送可能なデータ量である。この条件を満たすよう、フレームメモリ３１７に格納されているマークされた画像信号の一部を画像処理部２０７へ転送するが、その場合にはＳ１１０８と同様に、画像処理部２０７で画像信号の種類を識別可能にするための識別信号を付加する。本実施形態では、識別信号２を静止画記録用画像信号に付加して転送している。フレームメモリ３１７に高速動画データとしてマークされた画像信号が存在するときには、静止画データとしてのマークが付加された画像信号と同様に高速動画データとしてのマークが付加された画像信号の一部を画像処理部２０７へ転送する。この場合は、識別信号３を高速動画記録用画像信号に付加して転送する。Ｓ１１０９の処理が終了した後は、Ｓ１１０２の処理に戻り、動画記録動作を継続する。

Ｓ１１１０では、Ｓ６１１と同様に、撮像部２０５は、システム制御部２０１から動画記録の終了信号を受けると、処理をＳ１１１１に進め、受けていない場合はＳ１１０２に戻り、動画記録動作を継続する。

Ｓ１１１１では、Ｓ１１０８と同様に、撮像部２０５は、フレームメモリ３１７に静止画データとしてのマークが付加された画像信号が存在する場合は処理をＳ１１１２に進め、存在しない場合はＳ１１１３に進んで動画記録動作を終了する。

Ｓ１１１２では、撮像部２０５は、Ｓ１１０９での動画記録用画像信号の転送を妨げない条件において、フレームメモリ３１７に格納されているマークが付加された画像信号の一部を信号転送部３１８により画像処理部２０７へ転送する。Ｓ１１１２では、Ｓ１１０９と同様に、画像処理部２０７で画像信号の種類を識別可能にするための識別信号を付加する。なお、Ｓ１１１２でのデータ転送開始後に、処理をＳ１１０１に戻して再度動画記録動作を開始することが可能である。再開する動画記録動作では、データサイズ、データ間引き、画素加算、フレームレート等を変更してもよい。Ｓ１１１２でデータ転送を行いながら再開した動画記録動作についてＳ１１０２での蓄積動作を行うことが可能であり、新しいフレームレートでのＳ１１０７でのデータ転送を妨げない条件において、Ｓ１１１２のデータ転送を継続する。

以上のように、本実施形態によれば、動画記録中の静止画撮影動作においてフレームメモリ３１７に格納された動画記録用画像信号の転送の合間に静止画記録用画像信号の転送および画像処理が行える。このため、動画記録中の静止画撮影時に撮像部２０５のフレームメモリ３１７の容量不足により静止画撮影ができなくなる事態を回避することができる。また、動画記録終了後の静止画処理の待ち時間を短縮または無くすことができる。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、２０１…システム制御部、２０５…撮像部、２０７…画像処理部、３００…撮像素子、３１７…フレームメモリ、３１８…信号転送部

Claims (18)

1. 光電変換素子が二次元状に配列された画素と、前記画素から出力される画像信号を格納する信号格納部と、前記画像信号の種類を示す識別情報を前記画像信号に付加する識別情報付加手段とを備える撮像素子と、
   前記撮像素子から転送される画像信号に付加された識別情報を判別する識別情報判別手段を備え、前記識別情報判別手段により判別された識別情報に基づいて前記撮像素子から転送される画像信号の種類に応じた画像処理を行う画像処理手段と、
   前記画像信号の種類が第１の画像信号であった場合は、前記画素から出力される画像信号を前記信号格納部に格納せずに前記画像処理手段へ転送し、前記画像信号の種類が第２の画像信号であった場合は、前記画素から出力される画像信号を前記信号格納部に格納し、前記信号格納部に格納されている画像信号を前記画像処理手段へ転送するように前記撮像素子を制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記制御手段は、前記画像信号の種類が第１の画像信号であった場合は、前記撮像素子から読み出された画像信号を所定の周期で前記画像処理手段へ転送し、前記画像信号の種類が第２の画像信号であった場合は、前記画素から出力される画像信号を前記信号格納部に格納し、前記第１の画像信号が前記画像処理手段へ転送される合間に前記信号格納部に格納されている画像信号の一部を前記画像処理手段へ転送するように前記撮像素子を制御することを特徴とする請求項１に記載の撮像装置。
3. 光電変換素子が二次元状に配列された画素と、前記画素から出力される画像信号を格納する信号格納部と、前記画像信号の種類を示す識別情報を前記画像信号に付加する識別情報付加手段とを備える撮像素子と、
   前記撮像素子から転送される画像信号に付加された識別情報を判別する識別情報判別手段を備え、前記識別情報判別手段により判別された識別情報に基づいて前記撮像素子から読み出される画像信号の種類に応じた画像処理を行う画像処理手段と、
   前記信号格納部に格納されている画像信号の一部を第１の画像信号として所定の周期で前記画像処理手段へ転送し、前記第１の画像信号が前記画像処理手段へ転送される合間に前記信号格納部に格納されている画像信号を第２の画像信号として前記画像処理手段へ転送するように前記撮像素子を制御する制御手段と、
   を有することを特徴とする撮像装置。
4. 前記制御手段は、前記第１の画像信号の記録動作中に前記第２の画像信号の記録動作の開始指示を受けた場合に、当該第２の画像信号の記録動作の開始指示を受けたときに前記信号格納部に格納された画像信号に前記第２の画像信号としてのマークを付加し、前記第１の画像信号の記録動作において前記信号格納部に格納されている画像信号の一部が前記第１の画像信号として前記画像処理手段へ転送される合間に前記信号格納部に格納されているマークが付加された第２の画像信号の一部を前記画像処理手段へ転送するように前記撮像素子を制御することを特徴とする請求項３に記載の撮像装置。
5. 前記第１の画像信号は、動画記録用に間引きされた画像信号であり、
   前記第２の画像信号は、静止画記録用の画像信号であり、
   前記所定の周期は、動画のフレームレートであることを特徴とする請求項２ないし４のいずれか１項に記載の撮像装置。
6. 前記画像処理手段が、種類の異なる画像信号の画像処理を行うために用いる情報を格納する変数格納手段と、前記識別情報判別手段により判別された識別情報に基づいて前記画像信号の種類に適した情報を前記変数格納手段から読み出す読み出し手段と、をさらに有することを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
7. 前記変数格納手段は、種類の異なる画像信号ごとに画像処理を行うための情報が記録される複数の領域を有し、
   前記読み出し手段が、画像信号の種類に応じた情報を前記複数の領域のいずれかからを読み出すことを特徴とする請求項６に記載の撮像装置。
8. 前記画像処理手段により画像処理済みの画像信号を記憶する記憶手段をさらに有し、
   前記制御手段は、前記記憶手段に記憶されている画像信号の位置に関する情報を管理することを特徴とする請求項７に記載の撮像装置。
9. 前記画像処理手段により前記第１の画像信号に画像処理を行って生成された第１の画像データを記録する記録手段をさらに有し、
   前記制御手段は、前記第１の画像データの記録処理が終了した後、前記信号格納部に格納されている全ての画像信号の転送が完了するまで前記画像処理手段への転送を継続するように前記撮像素子を制御することを特徴とする請求項１に記載の撮像装置。
10. 前記制御手段は、前記第１の画像信号の前記画像処理手段への転送が停止された場合には、前記信号格納部に格納されている前記第２の画像信号の転送に切り替えるように前記撮像素子を制御することを特徴とする請求項９に記載の撮像装置。
11. 前記制御手段は、前記第１の画像信号の記録動作の終了指示を受けた場合、前記信号格納部に格納されているマークが付加された前記第２の画像信号の転送が完了するまで前記記録動作を継続するように前記撮像素子を制御することを特徴とする請求項４に記載の撮像装置。
12. 前記第１の画像信号は、動画記録用に間引きされた画像信号であり、
    前記第２の画像信号は、静止画記録用の画像信号であり、
    前記画像信号は、動画のフレームレートに対応する周期で前記画像処理手段へ転送されることを特徴とする請求項１、６ないし１１のいずれか１項に記載の撮像装置。
13. 前記撮像素子は、前記画素が設けられた第１の半導体集積回路チップが、前記信号格納部が設けられた第２の半導体集積回路チップに積層されて構成されていることを特徴とする請求項１ないし１２のいずれか１項に記載の撮像装置。
14. 前記第２の半導体集積回路チップにはさらに、前記画素を駆動する画素駆動部と前記画素から出力される画像信号をデジタル信号に変換するＡＤ変換回路が設けられていることを特徴とする請求項１３に記載の撮像装置。
15. 光電変換素子が二次元状に配列された画素と、前記画素から出力される画像信号を格納する信号格納部と、前記画像信号の種類を示す識別情報を前記画像信号に付加する識別情報付加手段とを備える撮像素子と、前記撮像素子から転送される画像信号に付加された識別情報を判別する識別情報判別手段を備え、前記識別情報判別手段により判別された識別情報に基づいて前記撮像素子から転送される画像信号の種類に応じた画像処理を行う画像処理手段と、を有する撮像装置の制御方法であって、
    前記画像信号の種類が第１の画像信号であった場合は、前記画素から出力される画像信号を前記信号格納部に格納せずに前記画像処理手段へ転送し、
    前記画像信号の種類が第２の画像信号であった場合は、前記画素から出力される画像信号を前記信号格納部に格納し、前記信号格納部に格納されている画像信号を前記画像処理手段へ転送するように前記撮像素子を制御するステップを有することを特徴とする撮像装置の制御方法。
16. 光電変換素子が二次元状に配列された画素と、前記画素から出力される画像信号を格納する信号格納部と、前記画像信号の種類を示す識別情報を前記画像信号に付加する識別情報付加手段とを備える撮像素子と、前記撮像素子から転送される画像信号に付加された識別情報を判別する識別情報判別手段を備え、前記識別情報判別手段により判別された識別情報に基づいて前記撮像素子から読み出される画像信号の種類に応じた画像処理を行う画像処理手段と、を有する撮像装置の制御方法であって、
    前記信号格納部に格納されている画像信号の一部を第１の画像信号として所定の周期で前記画像処理手段へ転送し、
    前記第１の画像信号が前記画像処理手段へ転送される合間に前記信号格納部に格納されている画像信号を第２の画像信号として前記画像処理手段へ転送するように前記撮像素子を制御するステップを有することを特徴とする撮像装置の制御方法。
17. コンピュータを、請求項１乃至１４のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
18. コンピュータを、請求項１乃至１４のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images