JP2013211724A - 撮像装置 - Google Patents

Abstract

【課題】 タスクの設計が比較的容易となるマルチプロセッサの撮像装置を提供する。
【解決手段】 それぞれプロセッサを内蔵する第１画像処理回路および第２画像処理回路は、非対称型マルチプロセッサに対応したリアルタイムＯＳがそれぞれ実装されるとともに、リアルタイムＯＳ上で実行されるタスクにより画像のデータに画像処理を施す。また、第１画像処理回路および第２画像処理回路はそれぞれアドレス空間を有し、各々のアドレス空間にはいずれも第１画像処理回路および第２画像処理回路の資源がマップされている。
【選択図】 図１

Description

本発明は、撮像装置に関する。

近年、デジタルカメラ等の撮像装置では、イメージセンサの高画素化に伴い、画像処理回路の処理能力が不足する傾向にある。そのため、複数の画像処理回路を用いて並列処理により高速な画像処理を実現する撮像装置も提案されている（例えば特許文献１参照）。

また、撮像装置を含む電子機器では、各部の制御に必要となるプログラムを効率的に実行するためにリアルタイムオペレーティングシステム（以下、ＲＴＯＳと表記する）が用いられており、そのＲＴＯＳの管理の下で複数のプログラム（タスク）を並列に実行するというマルチタスク処理が行われている。上述した複数の画像処理回路には、それぞれマイクロプロセッサ（以下、ＣＰＵと表記する）が内蔵されているため、マルチプロセッサの撮像装置ということになり、上述したマルチタスク処理をマルチプロセッサの場合に拡張する必要がある。

特開２００８−２１９３１９号公報

一般に、マルチプロセッサの撮像装置でＲＴＯＳによる並列処理を行う場合、１プロセッサの撮像装置と比べて、プロセッサ間で通信やデータの受け渡しが生じる点や、プロセッサ間で資源へのアクセスが競合しないようにするなどの点で相違がある。そのため、従来のマルチプロセッサの撮像装置では、各タスクの設計が非常に煩雑であった。

一の態様の撮像装置は、被写体の像を撮像した画像のデータを出力する撮像部と、それぞれプロセッサを内蔵する第１画像処理回路および第２画像処理回路と、第１画像処理回路および第２画像処理回路を接続するバスと、を備える。第１画像処理回路および第２画像処理回路は、非対称型マルチプロセッサに対応したリアルタイムＯＳがそれぞれ実装されるとともに、リアルタイムＯＳ上で実行されるタスクにより画像のデータに画像処理を施す。また、第１画像処理回路および第２画像処理回路はそれぞれアドレス空間を有し、各々のアドレス空間にはいずれも第１画像処理回路および第２画像処理回路の資源がマップされている。

上記の一の態様において、静止画像の連写撮影のときに、第１画像処理回路および第２画像処理回路は、それぞれ異なるフレームに対して画像処理のタスクを独立に実行してもよい。そして、第２画像処理回路で実行される画像処理のタスクは、第１画像処理回路で実行される画像処理のタスクを流用したものでもよい。

上記の一の態様において、動画像の撮影のときに、第１画像処理回路は、画像を表示装置に表示出力するタスクと、動画像のデータを圧縮して得た動画像ファイルを不揮発性の記録媒体に記録するタスクとを実行してもよい。また、第２画像処理回路は、動画像を圧縮するタスクを実行してもよい。

各々の画像処理回路は、非対称型マルチプロセッサに対応したリアルタイムＯＳによりそれぞれタスクを実行する。また、各々の画像処理回路は、別の画像処理回路の資源に直接アクセス可能である。よって、各々の画像処理回路が実行するタスクは１プロセッサのものを流用でき、タスクの設計は比較的容易となる。

一の実施形態での撮像装置の構成例を示す図 第１画像処理回路および第２画像処理回路の構成例を示すブロック図 メモリマップの一例を模式的に示す図 本実施形態における画像処理回路のソフトウェア構成例を示す図 静止画撮影モードの単写撮影を行うときのタスクの一例を示す図 静止画撮影モードで連写撮影を行うときのフレームの分配例を示す図 スレーブ側のＪＰＥＧ画像ファイルを記録媒体に記録する場合の概要図 スレーブ側のフリーズ画像を表示部に表示させる場合の概略図 静止画撮影モードの連写撮影を行うときのタスクの一例を示す図 動画撮影モードにおける電子カメラの動作例１の概略図 動画撮影モードの動作例１でのタスクの一例を示す図 動画撮影モードの動作例２でのタスクの一例を示す図

＜撮像装置の構成例の説明＞
図１は、一の実施形態での撮像装置の構成例を示す図である。本実施形態では撮像装置の一例として、静止画撮影モードおよび動画撮影モードを選択可能な電子カメラの例を説明する。

電子カメラは、撮影光学系１１と、撮像部１２と、データ分配器１３と、第１画像処理回路１４および第２画像処理回路１５と、シリアルバス１６と、第１メモリ１７および第２メモリ１８と、第１フラッシュメモリ１９および第２フラッシュメモリ２０と、表示部２１と、外部Ｉ／Ｆコネクタ２２と、メディアコネクタ２３と、レリーズ釦２４および操作釦２５と、音声信号処理部２７とを有している。なお、撮像部１２と音声信号処理部２７は、データ分配器１３に接続されている。

撮影光学系１１は、例えばズームレンズやフォーカスレンズを含む複数のレンズで構成されている。簡単のため、図１では撮影光学系１１を１枚のレンズで図示する。

撮像部１２は、撮像素子３１と、アナログフロントエンド（ＡＦＥ）部３２と、不図示のタイミングジェネレータ（ＴＧ）部とを有している。撮像素子３１は、撮影光学系１１を通過した光束による被写体の像を撮像するデバイスである。この撮像素子３１の画像信号出力はＡＦＥ部３２に接続されている。本実施形態の撮像素子３１は、順次走査方式（またはインターレース方式）で画像信号を読み出す固体撮像素子（例えばＣＣＤ）であってもよく、ＸＹアドレス方式で画像信号を読み出す固体撮像素子（例えばＣＭＯＳ）であってもよい。

また、撮像素子３１の受光面には、複数の受光素子がマトリクス状に配列されている。そして、撮像素子３１の各受光素子にはカラーフィルタが配置されている。例えば、本実施形態では赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のＢａｙｅｒ配列にしたがって各受光素子に配置される。そのため、撮像素子３１の受光素子は、カラーフィルタでの色分解によって各色に対応する画像信号を出力する。これにより、撮像素子３１は、撮影時にカラーの画像を取得できる。

ここで、撮像素子３１の基本動作は、各画素に電荷を蓄積する電荷蓄積動作と、蓄積した電荷を画素から移動させる電荷読み出し動作の２つに大別される。また、各画素に蓄積される電荷には、意図せぬ受光や暗電流により生成された不要電荷（ノイズ）と、被写体像の光束から生成された信号電荷との２種類がある。信号電荷に不要電荷を混入させないためには、撮像素子３１による撮像時において、不要電荷を排出した後に被写体像の光束を受光する状態で撮像素子３１を電荷蓄積動作に移行させればよい。これにより、各画素に信号電荷のみを蓄積していくことができる。このため、撮像素子３１の撮像は、「不要電荷の排出→信号電荷の蓄積（露光動作とも称する）→信号電荷の読み出し（画像信号の出力）」というシーケンスで行われる。このうち、信号電荷の蓄積期間がいわゆる露光時間（シャッター秒時）となる。また、上述した撮像素子３１の撮像は、不図示のＴＧ部からの制御によって行われる。

また、撮像部１２全体としての撮像動作には、撮像素子３１が露光動作と信号電荷の読み出し動作の２つを単発で行う第１モード（one-shotモードとも称する）と、撮像素子３１が上述した２つの動作を所定の時間周期（フレーム周期）で自動的に繰り返し行う第２モード（連続モードとも称する）とがある。この第１モードと第２モードの切り替えは、一般に不図示のＳＩＯ（シリアルＩ／Ｏ）を介してＴＧ部のレジスタを書き換えることにより行われる。

上述の第１モードは、電子カメラで静止画の撮影を行う場合に利用される。第１モードの場合、露光動作と信号電荷の読み出し動作が一般に外部からＴＧ部をそれぞれ操作することによって行われるため、それらの操作を行うタイミングによって露光時間を含む撮像動作のタイミングが決定される。このことは、静止画の撮影がユーザの操作によって非同期に起こることに対応している。なお、ＴＧ部に対する操作としては、上述したシリアル通信の他、後述するＧＰＩＯ部４９を利用した外部信号による操作も含まれる。また、第１モードで出力される画像信号は、一般に撮像素子３１のフル解像度のものである。電子カメラによる静止画の撮影では、この画像信号から生成した画像を記録している。

一方、上述の第２モードでは、予めＴＧ部のレジスタに設定されたパラメータによって撮像素子３１の撮像が行われる。第２モードでは、露光時間を含めた露光のタイミングや画像信号の出力タイミングもその設定に応じて固定され、また露光時間は上述したフレーム周期以下に限定されるという制約がある。その代わりに、第２モードでは、一定の周期で連続かつ自動的に画像信号が出力されるため、電子カメラの動画撮影や静止画撮影前のライブビュー（ＬｉｖｅＶｉｅｗ）に適している。第２モードの場合、出力される画像信号の解像度とフレーム周期の組み合わせが一般に複数あって、かかる組み合わせの変更はＴＧ部のレジスタを書き換えることで行われる。

第２モードでの画像信号の解像度は、利用目的に応じて選択される。例えば、ＶＧＡ（６４０×４８０画素）サイズのＬＣＤパネルでライブビューを行う場合、ＶＧＡサイズよりも若干大きい解像度の画像信号が撮像部１２から出力されるように設定する。この場合、必要以上に大きな画像信号を撮像部１２から出力させないことで、電子カメラのライブビュー時の消費電力を抑制できる。一方、フルＨＤ（１９２０×１０８０画素）サイズの動画を撮影する場合、フルＨＤサイズより若干大きい解像度の画像信号が撮像部１２から出力されるように設定する。

また、第２モードでのフレーム周期も、利用目的に応じて選択される。例えば、６０ｆｐｓの動画を撮影する場合、６０ｆｐｓで撮像部１２から画像信号が出力されるように設定する。３０ｆｐｓの動画を撮影する場合、３０ｆｐｓで撮像部１２から画像信号が出力されるように設定する。例えば、ＡＦによるピント合わせを高速に行おうとする場合、３０ｆｐｓよりも６０ｆｐｓで画像信号を出力する方が有利である。

電子カメラの静止画撮影モードでは、電子カメラの動作が「ライブビュー→静止画撮影→ライブビュー」と変化する。これに対応して、撮像部１２の撮像動作を「第２モード→第１モード→第２モード」のように切り替える必要がある。単写撮影の場合、撮像部１２の撮像動作は、第１モードの撮像動作が１フレーム分だけ行われた後に、第２モードの撮像動作に戻る。連写撮影の場合、撮像部１２の撮像動作は、第１モードの撮像動作が連写のフレーム数だけ続けて行われた後に、第２モードの撮像動作に戻る。

一方、電子カメラの動画撮影モードでは、上述したような撮像部１２の撮像動作の切り替えはなく、撮像部１２はその動画の仕様に合った解像度とフレーム周期の組み合わせで第２モードの撮像動作を継続する。

図１に戻って、ＡＦＥ部３２は、撮像素子３１から出力される画像信号にアナログ信号処理を施す回路である。このＡＦＥ部３２は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。ＡＦＥ部３２による信号処理後のデジタル画像データは、データ分配器１３を介して第１画像処理回路１４または第２画像処理回路１５に送られる。なお、ＡＦＥ部３２から出力される画像データは、色補間前のＢａｙｅｒ配列構造のＲＧＢ画像データ（以下、Ｂａｙｅｒデータと称する）である。また、撮像素子３１がＣＭＯＳであるときには、撮像素子３１にＡＦＥ部３２やＴＧ部（不図示）が内蔵されていてもよい。

データ分配器１３は、１入力２出力のセレクタであって、その２つの出力は第１画像処理回路１４と第２画像処理回路１５にそれぞれ接続されている。データ分配器１３は、ＡＦＥ部３２から出力される画像データを第１画像処理回路１４と第２画像処理回路１５に出力する。また、データ分配器１３は、音声信号処理部２７から出力される音声データを第１画像処理回路１４と第２画像処理回路１５に出力する。

第１画像処理回路１４および第２画像処理回路１５は、画像データに所定の画像処理を施すための画像処理用プロセッサであり、それぞれ１つのＬＳＩで構成されることが多い。図２に示すように、本実施形態の第１画像処理回路１４と第２画像処理回路１５は同じ回路構成であって、データ分配器１３に対して並列に接続されている。

また、第１画像処理回路１４と第２画像処理回路１５は、外部のシリアルバス１６によって相互に接続されている。第１画像処理回路１４には、第１メモリ１７、第１フラッシュメモリ１９、表示部２１、外部Ｉ／Ｆコネクタ２２、メディアコネクタ２３、レリーズ釦２４および操作釦２５がそれぞれ接続されている。第２画像処理回路１５には、第２メモリ１８、第２フラッシュメモリ２０がそれぞれ接続されている。なお、本実施形態のシリアルバス１６は、第１画像処理回路１４から第２画像処理回路１５へデータを送信するバスと、第２画像処理回路１５から第１画像処理回路１４へデータを送信するバスとの２つからなる双方向性のバスである。

第１画像処理回路１４はマスタの画像処理回路として動作し、撮影モードにおいて常時動作状態にある。一方、第２画像処理回路１５はスレーブの画像処理回路として動作する。電子カメラの画像処理の負荷が比較的低いとき（例えば、静止画撮影モードで単写撮影を行う場合や、再生モードの場合）には、第２画像処理回路１５は電源オフの状態または低消費電力の状態となって動作を停止している。そして、電子カメラの画像処理の負荷が比較的高いとき（例えば、静止画撮影モードで連写を行う場合や動画撮影モードの場合）には、第２画像処理回路１５が動作状態となって、第１画像処理回路１４と第２画像処理回路１５によって並列に撮影の処理が行われる。なお、第２画像処理回路１５のオン／オフの制御は、第１画像処理回路１４によって行われる。

第１メモリ１７および第２メモリ１８は、大容量の揮発性メモリであって、通常はＤＲＡＭが使用される。これらのメモリは画像データ（一般に複数フレーム）を一時的に記憶する他、プログラム中で使用される変数を記憶したり、プログラムを実行する際のスタックとして使用される。第１フラッシュメモリ１９および第２フラッシュメモリ２０は、不揮発性のメモリであって、後述するリアルタイムオペレーティングシステム（ＲＴＯＳ）のカーネル、デバイスドライバ、ミドルウェア、アプリケーションなどのプログラム類、更には、ユーザによるカメラの設定情報等を記憶するために使用される。

表示部２１は、液晶パネルや有機ＥＬパネル等の表示装置であって、例えば電子カメラの筐体背面に配置される。外部Ｉ／Ｆコネクタ２２は、所定の通信規格のインターフェース（例えばＵＳＢ）を備えた外部機器（パーソナルコンピュータなど）を接続するために使用される。また、メディアコネクタ２３は、不揮発性の記録媒体３４を接続するために使用される。なお、メディアコネクタ２３に接続される記録媒体３４は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。

レリーズ釦２４は、静止画撮影モードと動画撮影モードで使用される釦であり、自動焦点調節（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓｉｎｇ：ＡＦ）などの撮影準備動作の開始を指示するための半押し信号と、撮影の開始を指示するための全押し信号の２つを発生する。また、操作釦２５は、ユーザによって操作される様々な釦をまとめて表したもので、例えば、撮影モードの切り替えを行うための釦などが含まれる。

音声信号処理部２７は、電子カメラの外部音声を集音するマイクと、マイクで収集した音声信号を増幅するアンプと、音声信号のレベルを一定に保つオートレベル制御部と、Ａ／Ｄ変換器と、デジタル化された音声データを出力するシリアルデータ出力部とを有している。

続いて、図２を参照しつつ、第１画像処理回路１４と第２画像処理回路１５の構成例を詳述する。なお、以下の説明では、第１画像処理回路１４の符号ｎの要素を指すときは「ｎ＿１」と表記し、第２画像処理回路１５の符号ｎの要素を指すときは「ｎ＿２」と表記する。

まず、第１画像処理回路１４の構成を説明する。第１画像処理回路１４は、画像処理部４１＿１と、静止画圧縮部４２＿１と、動画圧縮部４３＿１と、ＤＭＡＣ(Direct Memory Access Controller)４４＿１と、ＣＰＵ４５＿１と、割込コントローラ４６＿１と、内蔵メモリ４７＿１と、表示コントローラ４８＿１と、ＧＰＩＯ(General Purpose Input/Output)部４９＿１と、メモリコントローラ５０＿１と、フラッシュメモリコントローラ５１＿１と、外部Ｉ／Ｆコントローラ５２＿１と、メディアコントローラ５３＿１と、音声Ｉ／Ｆ５４＿１と、内部バス５５＿１と、バスブリッジ５６＿１とを有している。第１画像処理回路１４の各部は、内部バス５５＿１に接続されている。なお、内部バス５５＿１は、通常パラレルバスであり、例えば公知のオンチップバス（ＡＭＢＡ ＡＸＩやＯＣＰ(Open Core Protocol)等）でよい。

画像処理部４１＿１は、独立した回路であるプリプロセス部とポストプロセス部（いずれも不図示）を内部に有しており、入力される画像データに画像処理（プリプロセス、ポストプロセス）を施す。ここで、プリプロセスとは、画像の補正を主体とする処理であって、入力される画像データに対して、欠陥画素補正、シェーディング補正、ＯＢクランプ処理などの信号処理を施す。また、画像処理部４１＿１は、プリプロセスを実行する傍ら、その補正された画像データを用いて、オートホワイトバランス（ＡＷＢ）評価値、ＡＦ評価値、自動露出（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ：ＡＥ）評価値をそれぞれ生成する。

また、ポストプロセスでは、プリプロセス後の画像データに対して、カラー処理を主体とする現像処理（例えば、色補間処理、階調変換処理、ホワイトバランス調整処理、ノイズ除去処理、輪郭強調処理、色変換処理等）を施す。上述した画像処理部４１＿１での画像処理によって、ＲＧＢのＢａｙｅｒデータが、所望の色再現がなされたＹＣｂＣｒ形式の画像データ（以下、ＹＣｂＣｒデータと称する）に変換される。画像データに対して圧縮処理を施したり、また画像データを表示部２１に表示したりする場合は、このＹＣｂＣｒデータが用いられる。

ここで、静止画の撮影時において、画像処理部４１＿１は、撮影された静止画のデータから、主画像、フリーズ画およびサムネイルをそれぞれ生成する。これらはいずれもＹＣｂＣｒデータの画像である。主画像は主たるデータとして記録される画像（通常は高解像度）のことである。フリーズ画は、撮影結果の確認のために撮影直後に表示部２１に表示される画像である。サムネイルは、画像の検索性を高めるために主画像とともに画像ファイルに記録される縮小画像である。なお、スルー画およびフリーズ画は、例えば６４０×４８０画素のサイズであり、サムネイルは、例えば１６０×１２０画素のサイズである。画像処理部４１＿１は、内部にある不図示の解像度変換回路を利用してこれらの小解像度画像を生成する。

静止画圧縮部４２＿１は、静止画撮影モードにおいて、撮影された静止画のＹＣｂＣｒデータに対して例えばＪＰＥＧ形式の圧縮処理を施す。

動画圧縮部４３＿１は、動画撮影モードにおいて、記録用の動画像のＹＣｂＣｒデータに対して、フレーム間予測を用いた圧縮処理を施す。例えば、動画圧縮部４３＿１は、Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ（Ｐａｒｔ１０））の動画圧縮規格を用いて動画像の圧縮処理を行う（なお、Ｈ．２６４での動画像の符号化については後述する）。

ＤＭＡＣ４４＿１は、ハードウェア的にデータ転送を行う回路であり、ＣＰＵ４５＿１のプログラムによってデータを転送する場合と比べて高速なデータ転送を実現する。ＤＭＡＣ４４＿１は、単位転送データ量ごとに、ソースアドレスおよびデスティネーションアドレスをシフトさせながらデータの転送を行う。なお、ＤＭＡＣ４４＿１は、上述した画像処理部４１＿１や静止画圧縮部４２＿１や動画圧縮部４３＿１、あるいは後述するいくつかの回路ブロックに内蔵されていてもよい。

ＣＰＵ４５＿１は、電子カメラの機能を実現するためのアプリケーションプログラムを実行し、また実行したアプリケーションプログラムに基づいて電子カメラ内各部の動作を制御する。例えば、ＣＰＵ４５＿１は、ＡＦ評価値を用いて公知のコントラスト検出方式によるＡＦや、ＡＥ評価値を用いたＡＥを行う。また、ＣＰＵ４５＿１は、表示部２１への画像の表示処理や、記録媒体３４への画像ファイルの記録処理などを実行する。ＡＦやＡＥといったこれらの処理は、ＣＰＵ４５＿１が実行する上述のアプリケーションプログラムとして実装される。アプリケーションプログラムは、それぞれの処理に対応したタスクと呼ばれる処理単位に分割可能であり、タスクは、ＲＴＯＳ（カーネル）の管理の下で複数並列に実行させることが可能である。複数のタスクの実行順序はその優先順位に依存しており、ＲＴＯＳは実行可能状態にある複数のタスクの中で最も優先順位の高いタスクを実行させる。一例として、タスクＡの実行中にそれよりも優先順位の高いタスクＢが実行可能状態になった場合、実行中のタスクＡが中断されてタスクＢが実行される。その後、タスクＢの処理が終了するか待ち状態になると、ＲＴＯＳは一時中断していたタスクＡの処理を再開させる。

割込コントローラ４６＿１は、各部からの割り込み処理要求を受信して、その優先度に応じてＣＰＵ４５＿１に割り込み信号を伝達するという交通整理の役割を果たす。割込コントローラ４６＿１の働きによって、ＣＰＵ４５＿１は１つの割り込み入力端子で複数の割り込み要因に対応することができる。

内蔵メモリ４７＿１は、ＣＰＵ４５＿１がプログラムを実行するときにデータを格納するための高速メモリであって、例えばＳＲＡＭが使用される。内蔵メモリ４７＿１は主記憶である第１メモリ１７よりも高速にアクセスすることができる。なお、ＣＰＵ４５＿１は、アプリケーションプログラムの一部を内蔵メモリ４７＿１に常駐させ、それらの処理を高速に行ってもよい。

表示コントローラ４８＿１には、表示部２１が接続されている。表示コントローラ４８＿１は、上述したスルー画やフリーズ画のデータを取り込んで、それを表示部２１に表示する。

ＧＰＩＯ部４９＿１は、例えば、操作釦２５やレリーズ釦２４からの信号を入力するとともに、電子カメラ内の周辺デバイスへそれら入力信号に対する制御信号などを出力する。ここで、上記の周辺デバイスとは、例えば、撮影光学系１１内のレンズやメカシャッタ、絞りを駆動するためのモータドライバＩＣや、フラッシュ装置に含まれる充電ＩＣおよび発光制御用ＩＧＢＴや、電子カメラの状態を表示するためのＬＥＤなどである（なお、周辺デバイスの図示はいずれも省略する）。

メモリコントローラ５０＿１には、第１メモリ１７が接続されている。メモリコントローラ５０＿１は、第１メモリ１７に対してデータの読み出しや書き込みを行う。

フラッシュメモリコントローラ５１＿１には、第１フラッシュメモリ１９が接続されている。フラッシュメモリコントローラ５１＿１は、第１フラッシュメモリ１９に対してデータの読み出しや書き込みを行う。

外部Ｉ／Ｆコントローラ５２＿１には、外部Ｉ／Ｆコネクタ２２が接続されている。外部Ｉ／Ｆコントローラ５２＿１は、外部Ｉ／Ｆコネクタ２２に接続された外部機器（パーソナルコンピュータなど）とのデータ通信を、所定の通信規格のインターフェース（例えばＵＳＢ）を用いて行う。

メディアコントローラ５３＿１には、メディアコネクタ２３が接続されている。メディアコントローラ５３＿１は、メディアコネクタ２３に接続された記録媒体３４に対してデータの読み出しや書き込みを行う。

音声Ｉ／Ｆ５４＿１は、データ分配器１３から送られた音声データを受信する。なお、音声Ｉ／Ｆ５４＿１には、例えばＩ^２Ｓなどの標準インターフェースが用いられる。

バスブリッジ５６＿１は、内部バス５５＿１とシリアルバス１６と接続されている。バスブリッジ５６＿１は、内部バス−外部シリアルバス間のプロトコル変換を行う。これにより、第１画像処理回路１４の内部バス５５＿１からのアクセス（ＲＥＡＤ／ＷＲＩＴＥ）要求は、パケット（コマンド、アドレス、ＷＲＩＴＥデータ）としてシリアルバス１６に伝達される。逆に、シリアルバス１６から送られたパケット（レスポンス、ＲＥＡＤデータ）が第１画像処理回路１４の内部バス５５＿１に伝達される。したがって、第１画像処理回路１４のＣＰＵ４５＿１は、バスブリッジ５６＿１の働きによって、第１画像処理回路１４と第２画像処理回路１５の各資源に対して全く同一のプロトコルでアクセスすることができる。第１画像処理回路１４の資源に対するアクセスと第２画像処理回路１５の資源に対するアクセスとではアクセスに必要な時間が異なり、第２画像処理回路１５の資源に対するアクセスの方がより時間がかかる。また、第１画像処理回路１４のＤＭＡＣ４４＿１からのアクセスも上述した説明と同様である。なお、第２画像処理回路１５のＣＰＵ４５＿２とＤＭＡＣ４４＿２から上述した各資源に対するアクセスも同様であり、この場合には第１画像処理回路１４の資源に対するアクセスの方がより時間がかかることになる。

次に、第２画像処理回路１５の構成を説明する。第２画像処理回路１５については第１画像処理回路１４との相違点のみ説明し、重複する部分の説明はいずれも省略する。本実施形態の第２画像処理回路１５では、メモリコントローラ５０＿２に第２メモリ１８が接続され、フラッシュメモリコントローラ５１＿２に第２フラッシュメモリ２０が接続される。また、表示コントローラ４８＿２、ＧＩＰＯ部４９＿２、外部Ｉ／Ｆコントローラ５２＿２、メディアコントローラ５３＿２は、接続される外部デバイスが無いために、いずれも低消費電力のまま動作しないように設定されている。

ここで、第１画像処理回路１４のアドレス空間には、第１画像処理回路１４の資源と第２画像処理回路１５の資源とがそれぞれマップされている。同様に、第２画像処理回路１５のアドレス空間には、第１画像処理回路１４の資源と第２画像処理回路１５の資源とがそれぞれマップされている。これらの資源には、それぞれの画像処理回路の内部資源の他に、外部に接続された第１メモリ１７および第２メモリ１８の資源や、第１フラッシュメモリ１９および第２フラッシュメモリ２０の資源も含まれる。

図３は、第１画像処理回路１４と第２画像処理回路１５のメモリマップの一例を模式的に示している。第１画像処理回路１４の資源としては、第１メモリ１７、第１フラッシュメモリ１９、内蔵メモリ４７＿１、Ｐｅｒｉｐｈｅｒａｌ＿１などがある。また、第２画像処理回路１５の資源としては、第２メモリ１８、第２フラッシュメモリ２０、内蔵メモリ４７＿２、Ｐｅｒｉｐｈｅｒａｌ＿２などがある。なお、上述した「Ｐｅｒｉｐｈｅｒａｌ」とは、各画像処理回路において内蔵メモリ４７を除く内部資源を総称したものである。例えば、「Ｐｅｒｉｐｈｅｒａｌ」と記載されたアドレス領域には、画像処理部４１、静止画圧縮部４２等の各レジスタや、動画圧縮部４３に内蔵されているバッファメモリや、表示コントローラ４８、メディアコントローラ５３の各ＦＩＦＯ等がマップされている。なお、図３の例では、第１画像処理回路１４のアドレス空間の上位に第２画像処理回路１５の資源がマップされており、第２画像処理回路１５のアドレス空間の上位に第１画像処理回路１４の資源がマップされている。

第１画像処理回路１４と第２画像処理回路１５はそれぞれ、バスブリッジ５６とシリアルバス１６の機能を利用して、コマンド、アドレス、データ、レスポンス等のパケットを接続先の画像処理回路に伝達することができる。そして、各々の画像処理回路は、各々のメモリマップに従って、自己の資源のみならず接続先の画像処理回路の資源に直接アクセスすることができる。例えば、第１画像処理回路１４は、第１画像処理回路１４のメモリマップに従って、第２画像処理回路１５に接続された第２メモリ１８上の画像のデータに直接アクセスすることができる。逆に、第２画像処理回路１５は、第２画像処理回路１５のメモリマップに従って、第１画像処理回路１４に接続された第１メモリ１７上の画像のデータに直接アクセスすることができる。

すなわち、本実施形態では、転送元の画像処理回路に接続されたメモリ上に記憶されている画像データを、転送先の画像処理回路が直接読み出して処理するという動作を行うことができる。例えば、第１画像処理回路１４のＤＭＡＣ４４＿１は第２画像処理回路１５に接続された第２メモリ１８上に記憶されているフリーズ画のデータを直接読み出し、それを第１画像処理回路１４内の表示コントローラ４８＿１に転送して表示させることができるし、同じく第２メモリ１８上に記憶されているＪＰＥＧ画像ファイル（後述）のデータを直接読み出し、それを第１画像処理回路１４内のメディアコントローラ５３＿１に転送して記録媒体３４に記録させることができる。すなわち、それらのデータを転送先である第１画像処理回路１４に接続された第１メモリ１７に一旦移動（あるいはコピー）するという、従来の電子カメラで行われていた動作が不要になる。そのため、本実施形態では、第１画像処理回路１４と第２画像処理回路１５の間で画像データの転送が行われる場合でも、転送先の画像処理回路に接続されたメモリへの余計な書き込みが発生しないという利点がある。
したがって、転送先の画像処理回路に接続されたメモリの帯域が余分に消費されることがないし、画像データのメモリ間移動（あるいはコピー）にかかっていた時間も発生しないので処理時間（あるいはＬａｔｅｎｃｙ）が短縮される。

また、第１画像処理回路１４と第２画像処理回路１５が並列に処理を実行するため、互いに通信を行う場合、良く知られたシリアルポートを利用してデータを送受信することもできるが、上述したシリアルバスを利用して通信を行ってもよい。通信元から送信するデータは、通信先の画像処理回路のＣＰＵ４５が高速に読み出せるように、通信先の画像処理回路にある内蔵メモリ４７に書き込むとよい。また、データが送信されたことを通信先の画像処理回路に伝えるには、画像処理回路の外部端子に割り当てられているパラレルポートと割り込み信号を用いて割り込みを行うこともできるが、上述したシリアルバスを利用してもよい。この場合は、通信元の画像処理回路（ＣＰＵ４５）が、シリアルバスを通じて通信先の画像処理回路の内部にある割り込みコントローラ４６のレジスタに直接書き込みを行って、通信先のＣＰＵ４５に割り込みを発行する。

また、接続先の画像処理回路の資源を別の画像処理回路が不用意にアクセスしたことによって誤動作が起こらないよう、画像処理回路は、一部の資源については別の画像処理回路からアクセスができないようにするとよい。例えば、外部からアクセス可能なアドレスの範囲に制限を設け、アクセスが制限されている範囲のアドレスが別の画像処理回路からアクセスされたときは、アクセス元の画像処理回路にエラーのレスポンスを返すようにする。なお、上述したアドレス範囲の制限機能は、例えばバスブリッジ５６に実装される。

（画像処理回路のソフトウェア構成例）
続いて、図４を参照しつつ、本実施形態における画像処理回路のソフトウェア構成例について説明する。なお、図４に示すソフトウェアは、ＣＰＵ４５＿１，４５＿２によって実行される。

第１画像処理回路１４および第２画像処理回路１５のハードウェア層（ＣＰＵコアや周辺デバイス）の上には、ソフトウェア・プラットフォームが構築される。そして、このソフトウェア・プラットフォームの上に、カメラの機能を実現する様々なアプリケーションプログラムを含むアプリケーション層が置かれている。

図４に示すソフトウェア・プラットフォームは、ミドルウェア、ＲＴＯＳ、デバイスドライバなどからなっている。ミドルウェアは、ファイルシステム（ＦＡＴ）やネットワークのプロトコルスタック（ＴＣＰ／ＩＰ等）など共通に利用されるソフトウェアをまとめたものである。その他に、これらのミドルウェアは、電子カメラで必要とされる基本的な処理をＡＰＩ（Application Program Interface）として提供する関数を含んでいてもよい。カメラで必要とされる基本的な処理をＡＰＩとして用意することにより、アプリケーションプログラムの作成が容易になるとともに、ソフトウェアの再利用も促進される。

ＲＴＯＳのカーネルは、アプリケーションプログラムをタスクと称する処理単位で複数並列に実行させる。ＲＴＯＳのカーネルは、割り込みハンドラやタスクからのシステムコールによってタスクの状態を変更する。タスクの状態が変更されると、カーネル内のタスクスケジューラが働いて次に実行させるタスクが決定される（スケジューリング）。

タスクの実行順序は、タスクの優先順位によって決まり、ＲＴＯＳは常に最も優先順位の高いタスクを実行させる。一例として、タスクＡの実行中にそれよりも優先順位の高いタスクＢが実行可能状態になった場合、実行中のタスクＡが中断されてタスクＢが実行される。その後、タスクＢの処理が終了するか待ち状態になると、ＲＴＯＳはその時タスクＡよりも優先順位の高いタスクがなければ一時中断していたタスクＡの処理を再開する。複数のタスクが実行可能状態にある場合、それらの優先順位が変わらなければ、最も優先順位の高いタスクから順に実行されていくことになる。しかし、上述したように新たなタスクが実行可能状態になるなど、タスクの状態が変化した場合にはタスクスケジューリングが行われるので、上述したようにタスクの実行順序が変化する。

また、本実施形態で使用しているＲＴＯＳは、非対称型マルチプロセッサに対応したＡＭＰ−ＲＴＯＳである。ＡＭＰ−ＲＴＯＳでは、各々のＣＰＵで実行されるタスクが固定的に割り付けられる。すなわち、ＡＭＰ−ＲＴＯＳのシステムにおいては、各タスクがその時々で異なるＣＰＵによって実行されるということはない（各ＣＰＵへのタスクの割り付けの例は後述する）。

また、本実施形態の電子カメラにおいて、それぞれの画像処理回路のＣＰＵで実行されているタスク間の通信や、それらのタスク間での同期といったことも、ＡＭＰ−ＲＴＯＳの提供するシステムコールを用いることで容易に実現される。すなわち、それぞれ異なるＣＰＵで実行されているタスク間の通信や処理の同期といったことも、ＡＭＰ−ＲＴＯＳを利用すればそれが持っているシステムコールを呼び出すだけでそれらの必要事項が達成されるので、アプリケーションプログラム（アプリケーション層）の中には、それらの処理を記述する必要がない。したがって、画像処理回路が２つに増えてもアプリケーションプログラムをあまり変更することなく再利用することができるというメリットが生まれる。

図４に示すデバイスドライバは、ＣＰＵ４５周辺のハードウェアを動作させるためのソフトウェアである。例えば、デバイスドライバには、撮像部ドライバ、ＵＳＢドライバ、メモリカードドライバ、ディスプレイドライバ等がある。これらのデバイスドライバは、ＲＴＯＳが持つデバイスドライバ・インターフェース（Ｉ／Ｆ）に登録される。ＲＴＯＳ上で実行されるタスクは、このデバイスドライバＩ／Ｆを通して目的のデバイスドライバを呼び出し、それに対応するハードウェア（デバイス）を動作させる。ハードウェアの構成が変わっても該当するデバイスドライバを変更すれば、アプリケーションプログラムはそのまま動作させることができる。

上述したソフトウェア・プラットフォームにはハードウェア依存性があり、ＣＰＵ４５のアーキテクチャやＣＰＵ４５周辺のハードウェアが異なる場合はそれらの中のハードウェアに依存する部分を書き替えるという移植の作業が必要になる。ハードウェア依存部を書き替えることによって、上述したソフトウェア・プラットフォームが異なるハードウェアに移植され、従前のアプリケーションプログラムがそのまま動作させられるようになる（再利用することができる）。アプリケーションやミドルウェアなどのハードウェアに依存しないプログラムは、再利用することによって何回も検証されることになるのでソフトウェアとしての信頼性が上がり、先々も安全に使い続けることができる。

一例として、本実施形態の電子カメラは、４つの動作モード（記録モード、再生モード、通信モード、セットアップモード）を持ち、それぞれのモードにおける処理を行うタスクから構成される。なお、記録モードは、静止画撮影モード、動画撮影モードという２つの撮影モードを総称したものである。静止画撮影モードと、動画撮影モードのタスクの例はそれぞれ後述する。

また、記録モードのタスクは第１画像処理回路１４、第２画像処理回路１５の両方に実装される。また、再生モード、通信モード、セットアップモードのタスクは、マスタ側の第１画像処理回路１４にのみ実装される。

再生モードは、電子カメラで記録された画像や音声のデータを再生するための動作モードである。再生モードのタスクには、例えば、表示部２１に画像を表示する処理を行うタスクや、不図示のスピーカーに音声データを出力する処理を行うタスクがある。

通信モードは、電子カメラと外部機器（パーソナルコンピュータやプリンタなど）とのデータ通信を行うための動作モードである。通信モードのタスクには、例えば、ＰＴＰ（Picture Transfer Protocol）による画像データ転送を行うタスクや、プリンタが接続された時にダイレクトプリントの処理を行うタスクなどがある。

セットアップモードは、電子カメラのセットアップ（日時の設定、解像度や画質や色調などの画像処理に関する設定、ＡＦモードやＡＥモードの設定、言語の選択、表示部２１への表示の設定、操作音の設定、メニュー画面の設定等の各種設定）や、ユーティリティ（記録媒体３４の初期化等）を実行する動作モードである。セットアップモードのタスクには、例えば、セットアップのメニュー表示を行うタスクや、選択されたメニューの処理を実行するタスクや、メニューの項目を選択するための釦操作を検出するタスクなどがある。なお、最近では、独立したセットアップモードを持つカメラがなくなってきており（モードダイヤルを持たないカメラが増えたことも１つの要因）、そのようなカメラでは、セットアップモードの処理を、その項目に関連のある動作モードの中からメニューを呼び出して実行するようになっている。

＜撮像装置の動作の説明＞
以下、本実施形態の電子カメラの動作を、静止画撮影モードにおける単写撮影と連写撮影、それに動画撮影モードにおける動画撮影という３つの場合を例に挙げ、タスクの実行というソフトウェアの視点からそれぞれ具体的に説明する。

（静止画撮影モードにおける単写撮影の動作）
静止画撮影モードで単写撮影を行う場合、第１画像処理回路１４が動作状態となって単写撮影の処理を行う一方で、第２画像処理回路１５は電源オフの状態または低消費電力の状態となって停止している。そして、第１画像処理回路１４のＣＰＵ４５＿１が、単写撮影全般の動作を制御する。なお、以下に述べる処理は全てＣＰＵ４５＿１が実行するプログラムの制御の下に行われるものである。

図５は、静止画撮影モードの単写撮影を行うときのタスクの一例を示す。単写撮影時のタスクは、ライブビューの処理のタスク群と、静止画像撮影の処理のタスク群とに大別される。ライブビューの処理のタスク群は、例えば、撮像制御タスク、プリプロセスタスク、ポストプロセスタスク、ＡＦ・ＡＥ・ＡＷＢの各タスク、表示制御タスク（スルー画像表示）、ズーム駆動タスク、フラッシュ制御タスクを含む。また、静止画像撮影の処理のタスク群は、例えば、撮像制御タスク、プリプロセスタスク、ポストプロセスタスク、ＡＥ・ＡＷＢタスク、表示制御タスク（フリーズ画像表示）、フラッシュ制御タスク、ＪＰＥＧ圧縮タスク、画像記録タスクを含む。

単写撮影に限らず電子カメラの撮影モードはライブビューの動作から始まる。ライブビューでは撮像部１２にスルー画の撮像動作を行わせる。撮像部１２は所定の周期（フレーム周期）でスルー画の撮像を繰り返し行い、その画像データを撮像部１２の外部へ出力する。この処理は撮像制御タスクが行う。撮像部１２から周期的に出力されるスルー画のデータは、データ分配器１３を介して第１画像処理回路１４に順次入力される。

画像処理部４１＿１は、入力されたデータに画像処理（プリプロセスとポストプロセス）を施してスルー画のＹＣｂＣｒデータを生成する。この処理はプリプロセスタスクと、ポストプロセスタスクが行う。生成されたスルー画のＹＣｂＣｒデータは第１メモリ１７上に設けられたＹＣｂＣｒデータ記憶領域に一時的に記憶される。

そして、ＤＭＡＣ４４＿１は、ＹＣｂＣｒデータ記憶領域から表示コントローラ４８＿１にスルー画のＹＣｂＣｒデータを転送する。これにより、スルー画のＹＣｂＣｒデータが表示コントローラ４８＿１から表示部２１に送られて、画面に表示される。これによって、表示部２１の画面上で被写体の生映像を見ることができる（ライブビュー表示）。この処理は、表示制御タスクが行う。ユーザは、表示部２１に表示されたスルー画を観察することによって、撮影の構図を決めたり、シャッターチャンス（レリーズ釦２４の全押し操作による撮影指示のタイミング）の判断を行ったりする。

また、ライブビューの動作中は画像処理部４１＿１が、プリプロセスの施されたスルー画のデータから、ＡＦ評価値、ＡＥ評価値、ＡＷＢ評価値をそれぞれ生成する。ＣＰＵ４５＿１は、生成したＡＥ評価値を用いて測光を行い、測光結果に基づいてスルー画の露出制御を行う。これによってスルー画の明るさが適正レベルに調整される。この処理は、ＡＥタスクが行う。またＣＰＵ４５＿１は上述したＡＷＢ評価値を用いてＡＷＢアルゴリズムを実行し、その結果に基づいてスルー画のホワイトバランス調整を行う。これによってスルー画の色も適正な状態に調整される。この処理はＡＷＢタスクが行う。また、ＣＰＵ４５＿１は、レリーズ釦２４の半押し操作が行われると、上述したＡＦ評価値を用いて公知のコントラスト検出方式によるＡＦを行い、撮影光学系１１のピントを目的の被写体に合わせる。この処理はＡＦタスクとズーム駆動タスクが行う。なお、レリーズ釦２４の半押し操作が行われた時は、ＡＥタスクにより、静止画撮影時の露出制御パラメータ（ＩＳＯ感度値、絞り値、シャッター秒時など）も併せて決定される。

そして、ＣＰＵ４５＿１は、レリーズ釦２４の全押し操作が行われると、撮像部１２をスルー画の撮像動作から静止画の撮像動作に切り換えて、被写体の静止画を撮影させる。このとき、ＣＰＵ４５＿１は、半押し操作に応じて決定した静止画撮影用の露出制御パラメータにしたがって露光を行わせる。露光が終了すると、ＣＰＵ４５＿１は撮像部１２を静止画の読み出し動作に移行させて、撮影された静止画の画像データを出力させる。この処理は撮像制御タスクが行う。撮像部１２から出力された静止画のデータはデータ分配器１３を介して第１画像処理回路１４に入力される。

第１画像処理回路１４に入力された静止画のデータ（Ｂａｙｅｒデータ）は、画像処理部４１＿１でまずプリプロセスだけが施され、次いで画像処理部４１＿１から出力されて第１メモリ１７上に設けられたＢａｙｅｒデータ記憶領域に一時的に記憶される。この処理はプリプロセスタスクが行う。

続いて、ＤＭＡＣ４４＿１により、上述したＢａｙｅｒデータ記憶領域からプリプロセスの施されたＢａｙｅｒデータが読み出されて画像処理部４１＿１に入り、画像処理部４１＿１でポストプロセスが施されて撮影された静止画の主画像（ＹＣｂＣｒデータ）が生成される。その際、画像処理部４１＿１は、内部の解像度変換回路（不図示）を利用して、上述したフリーズ画のＹＣｂＣｒデータとサムネイルのＹＣｂＣｒデータを併せて生成する。主画像、フリーズ画、サムネイルの各ＹＣｂＣｒデータは、第１メモリ１７上に設けられたＹＣｂＣｒデータ記憶領域（主画像用記憶領域、フリーズ画用記憶領域、サムネイル用記憶領域の３記憶領域を備える）に一時的に記憶される。この処理はポストプロセスタスクが行う。

続いて、ＤＭＡＣ４４＿１により、上述したＹＣｂＣｒデータ記憶領域からフリーズ画のＹＣｂＣｒデータが読み出されて表示コントローラ４８＿１に入り、次いで表示部２１に送られて画面に表示される。これにより、ユーザは、撮影直後に撮影画像の状態を確認することができる。この処理は表示制御タスクが行う。

続いて、静止画圧縮部４２＿１を利用して、上述した主画像とフリーズ画とサムネイルの各ＹＣｂＣｒデータに順次ＪＰＥＧ圧縮処理を施す。ＤＭＡＣ４４＿１により、上述したＹＣｂＣｒデータ記憶領域から３つのＹＣｂＣｒデータが１つずつ読み出されて静止画圧縮部４２＿１に入り、静止画圧縮部４２＿１で個別にＪＰＥＧ圧縮が施されて、それぞれのＪＰＥＧ圧縮後の画像データ（以下、ＪＰＥＧデータと称する）が、第１メモリ１７上に設けられたＪＰＥＧデータ記憶領域に一時的に記憶される。ＣＰＵ４５＿１は、所定のファイルフォーマットに従って主画像とフリーズ画とサムネイルの各ＪＰＥＧデータを種々のメタデータと共にＪＰＥＧデータ記憶領域上で１つに結合し、１つのＪＰＥＧ画像ファイル（そのファイルのメモリイメージ）を生成する。ファイルフォーマットとしてはＥｘｉｆフォーマットや、マルチピクチャフォーマット（ＭＰＦ）などが利用される。この処理はＪＰＥＧ圧縮タスクが行う。なお、フリーズ画のＪＰＥＧデータは画像の再生時において高速表示のために利用されており、一方、サムネイルのＪＰＥＧデータはＪＰＥＧ画像ファイルの検索において利用されている。

最後に、ＣＰＵ４５＿１は、ＪＰＥＧデータ記憶領域に記憶されているＪＰＥＧ画像ファイル（メモリイメージ）を記録媒体３４に記録する。ＤＭＡＣ４４＿１により、上述したＪＰＥＧデータ記憶領域からＪＰＥＧ画像ファイル（メモリイメージ）のデータが読み出されてメディアコントローラ５３＿１に入り、次いで記録媒体３４に送られて記録媒体３４内部の記録領域に記録される。この処理は画像記録タスクが行う。

ＪＰＥＧ画像ファイルの記録媒体３４への記録動作が終了すると単写撮影（１フレームの静止画の撮影）の処理は全て終了し、ＣＰＵ４５＿１は電子カメラを再びライブビューの動作に戻して、次の単写撮影に備える。以上が静止画撮影モードにおける単写撮影の基本的な動作である。

なお、単写撮影においてフラッシュの発光を行う場合、ライブビューの動作のときに静止画の撮影に先だって不図示の閃光装置による予備発光および測光が行われる。この予備発光は赤目軽減のために行うものであってもよい。そして、静止画の撮影のときには予備発光の測光結果に応じて、不図示の閃光装置による本発光が行われる。これらの処理はフラッシュ制御タスクが行う。

（静止画撮影モードにおける連写撮影の動作）
次に、静止画撮影モードにおいて連射撮影を行う場合について説明する。連写撮影の場合、第１画像処理回路１４（マスタ側）と第２画像処理回路１５（スレーブ側）との２つで並列に撮影の処理が行われる。第１画像処理回路１４は、単写撮影の場合と同様にライブビューの動作を開始する一方、第２画像処理回路１５は静止画撮影に必要となる各種の設定を済ませた上で、連写撮影が開始されるまで待機する。このとき、第２画像処理回路１５は、必要となる回路ブロック以外の回路ブロックにはクロックの供給を停止して低消費電力の状態で待機することが好ましい。なお、第１画像処理回路１４と第２画像処理回路１５は、外部のシリアルバス１６を通じて互いにデータの送受信が可能な状態にしておくことが必要となる。

連写撮影での第１画像処理回路１４によるライブビューの動作は、レリーズ釦２４の半押し操作が行われた時の処理も含めて単写撮影の場合とほぼ同様であるので、重複する部分の説明は省略する。半押し操作に続いてレリーズ釦２４の全押し操作が行われると、静止画の連写撮影が開始されるが、これ以降の処理は単写撮影の場合と相違する。

レリーズ釦２４の全押し操作が続いている間（連写撮影中）は静止画の撮影が繰り返し行われる。この連写撮影中には、半押し操作時に決定された静止画撮影用の露出パラメータを用いて、フォーカスの状態を固定したままで静止画の撮影が続けられる。また、連写撮影中にはスルー画の表示は行われず、ライブビューの動作には移行しない。

連写撮影の場合、レリーズ釦２４の全押し操作が行われると、ＣＰＵ４５＿１は、第２画像処理回路１５を低消費電力の状態から動作状態（使用する回路ブロックの全てにクロックが供給されている状態）に移行させる。また、ＣＰＵ４５＿１は、撮像部１２をスルー画の撮像動作から静止画の撮像動作に切り替えて、被写体の静止画を撮影させる。ＣＰＵ４５＿１は上述した露出制御パラメータに従って露光を行わせる。露光が終了すると、ＣＰＵ４５＿１は撮像部１２を静止画の読み出し動作に移行させて、撮影された静止画の画像データを出力させる。なお、ＣＰＵ４５＿１は、後述するようにメモリ上に設けられたＢａｙｅｒデータ記憶領域に空きがないときには画像データを出力できないため、空いているＢａｙｅｒデータ記憶領域を予め１つ獲得してから撮像部１２に露光を開始させる。

連写撮影の場合、最初に撮影されたフレームを含めた奇数フレーム（１，３，５，７，…）の静止画データは第１画像処理回路１４で処理され、偶数フレーム（２，４，６，８，…）の静止画データは第２画像処理回路１５で処理される。そのため、データ分配器１３は、奇数フレームの静止画データを第１画像処理回路１４に出力し、偶数フレームの静止画データを第２画像処理回路１５に出力する（図６参照）。

上述した偶数フレームと奇数フレームの静止画は同じ撮像部１２で撮影されたものであり、撮像部１２の撮像動作はマスタ側（第１画像処理回路１４）のＣＰＵ４５＿１で制御されている。そのため、ＣＰＵ４５＿１は、連写によって撮影された各静止画の撮影順序を全て把握することができる。そこで、ＣＰＵ４５＿１は、連写撮影中は各静止画に対して撮影順序を示すフレーム番号（通し番号）を付与する。そして、このフレーム番号によって静止画データの撮影順序が管理される。

ここで、連写撮影で行われる基本的な処理は、単写撮影の場合と同様に、撮像部１２による「静止画の撮像動作」、画像処理部４１による「プリプロセス」、画像処理部４１による「ポストプロセス」、静止画圧縮部４２による「ＪＰＥＧ圧縮処理」、メディアコントローラ５３による「ＪＰＥＧ画像ファイルの記録」という５つの処理である。これらの５つの処理は単写撮影の場合と基本的に同様であるため重複する部分の説明は省略する。ただし、第２画像処理回路１５での「ＪＰＥＧ画像ファイルの記録」については、単写撮影の場合と異なる部分があるため後述する。

上述した単写撮影の場合、上述する５つの処理をシーケンシャルに実行してから、次のフレームの撮影が行われる。一方、連写撮影の場合には、上述する５つの処理が並列に実行され、或るフレームの静止画データに対して或る処理が実行されている間に、そのフレームとは異なる複数フレームの静止画のデータにそれぞれ別々の処理が実行される点で相違する。つまり、連写撮影の場合、１フレームの撮影における５つの処理が未だ終わらないうちに次のフレームの撮影を開始することができる。なお、連写撮影時に並列処理されている個々のフレームに注目すると、上述の５つの処理はシーケンシャルに実行される。

上述するような並列処理が可能となる理由は、それぞれの処理で使用される画像処理回路（１４、１５）の内部資源（ハードウェア）が異なるからである。例えば、画像処理部４１の内部にある不図示のプリプロセス部とホストプロセス部は独立した回路であるため、連続する２つのフレームの静止画データに対して、プリプロセスとポストプロセスとを並列に施すことができる。同様に、静止画圧縮部４２とメディアコントローラ５３もそれぞれ独立した回路であるため、これらの４つの回路を利用すると連続する４つのフレームの静止画データを並列に処理できる。なお、上述する５つの処理のうち、「静止画の撮像動作」に含まれる画像データの出力と「プリプロセス」とは、撮像部１２とプリプロセス部とを連続的に動作させて、同一のフレームについて常に一体的に実行される。そのため、連写撮影での並列処理を考えるときには、上述した「静止画の撮像動作」と「プリプロセス」の処理はまとめて１つの処理として扱われる。

上述した並列処理での具体的な動作は以下のようになる。なお、以下の並列処理の説明では、同じ画像処理回路で処理される連続した４つのフレームを、第１フレーム〜第４フレームと称している。

まず、連写撮影の第１フレームに対して「静止画の撮像動作」と「プリプロセス」の処理が単独で実行される。続いて、第１フレームは「ポストプロセス」の処理に移行し、それと並行して第２フレームに対して「静止画の撮像動作」と「プリプロセス」の処理が実行される。続いて、第１フレームは「ＪＰＥＧ圧縮処理」の処理に移行し、第２フレームは「ポストプロセス」の処理に移行し、それと並行して第３フレームに対して「静止画の撮像動作」と「プリプロセス」の処理が実行される。続いて、第１フレームは「ＪＰＥＧ画像ファイルの記録」の処理に移行し、第２フレームは「ＪＰＥＧ圧縮処理」の処理に移行し、第３フレームは上述した「ポストプロセス」の処理に移行し、それと並行して第４フレームに対して「静止画の撮像動作」と「プリプロセス」の処理が実行される。これ以降は第１フレームから順に撮影の処理が終了し、新たなフレームに対して撮影の処理が開始されてゆく。

上述した連写撮影の動作が定常状態に達すると、撮影の間隔（フレーム間隔）は、連写撮影での並列処理のうち最も時間のかかる処理によって決定され、その処理時間に等しくなる。すなわち、上述する処理時間ごとに１フレームの静止画の撮影が完了することとなる（パイプライン処理）。

また、上述した並列処理を行うときには、単写撮影のときに説明した各データ記憶領域（Ｂａｙｅｒデータ記憶領域、ＹＣｂＣｒデータ記憶領域、ＪＰＥＧデータ記憶領域）をそれぞれメモリ上に複数確保する必要がある。以下の説明では、第１フレームと第２フレームの場合を具体的に説明するが、これ以降のフレームについても事情は同様である。

例えば、撮像部１２から出力された第１フレームの静止画のデータ（Ｂａｙｅｒデータ）は、画像処理部４１でまずプリプロセスだけが施され、次いで画像処理部４１から出力されてメモリ上のＢａｙｅｒデータ記憶領域に一時的に記憶される。そして、プリプロセス後の第１フレームのＢａｙｅｒデータには、画像処理部４１でポストプロセスが施されて、第１フレームの主画像（ＹＣｂＣｒデータ）が生成される。その際、画像処理部４１は、内部の解像度変換回路（不図示）を利用して、上述したフリーズ画のＹＣｂＣｒデータとサムネイルのＹＣｂＣｒデータを併せて生成する。そして、第１フレームのＹＣｂＣｒデータは、メモリ上のＹＣｂＣｒデータ記憶領域に一時的に記憶される。一方、第１フレームに対するポストプロセスの実行中に、第２フレームのＢａｙｅｒデータが撮像部１２から出力され、画像処理部４１でプリプロセスだけが施されてＢａｙｅｒデータ記憶領域に一時的に記憶されることとなる。このとき、Ｂａｙｅｒデータ記憶領域が１つのみであると、第１フレームのＢａｙｅｒデータが第２フレームのＢａｙｅｒデータで上書きされてしまうため正常な処理が行えなくなってしまう。そのため、上述したデータの上書きを避けるために、少なくともＢａｙｅｒデータ記憶領域が２つ必要であることが分かる。

また、例えば、上述した第１フレームのＹＣｂＣｒデータには、静止画圧縮部４２でＪＰＥＧ圧縮処理が施されて、第１フレームのＪＰＥＧデータが生成される。そして、第１フレームのＪＰＥＧデータは、メモリ上のＪＰＥＧデータ記憶領域に一時的に記憶される。一方、第１フレームに対するＪＰＥＧ圧縮処理の実行中に、第２フレームのＢａｙｅｒデータに画像処理部４１でポストプロセスが施されて、第２フレームのＹＣｂＣｒデータが生成される。そして、第２フレームのＹＣｂＣｒデータは、メモリ上のＹＣｂＣｒデータ記憶領域に一時的に記憶される。このとき、ＹＣｂＣｒデータ記憶領域が１つのみであると、第１フレームのＹＣｂＣｒデータが第２フレームのＹＣｂＣｒデータで上書きされてしまうため正常な処理が行えなくなってしまう。そのため、上述したデータの上書きを避けるためには、少なくともＹＣｂＣｒデータ記憶領域が２つ必要であることが分かる。

また、例えば、上述した第１フレームのＪＰＥＧデータは、ＣＰＵ４５により種々のメタデータが付加されるとともにＪＰＥＧデータ記憶領域上で１つに結合されて、１つのＪＰＥＧ画像ファイルのメモリイメージが生成される。そして、第１フレームのＪＰＥＧ画像ファイルのメモリイメージが読み出されてメディアコントローラ５３＿１に入り、次いで記録媒体３４に送られて記録媒体３４内部の記録領域に記録される。一方、第１フレームのＪＰＥＧ画像ファイルの記録が行われている間に、第２フレームのＹＣｂＣｒデータに静止画圧縮部４２でＪＰＥＧ圧縮処理が施されて、第２フレームのＪＰＥＧデータが生成される。そして、第２フレームのＪＰＥＧデータは、メモリ上のＪＰＥＧデータ記憶領域に一時的に記憶される。このとき、ＪＰＥＧデータ記憶領域が１つのみであると、第１フレームのＪＰＥＧデータが第２フレームのＪＰＥＧデータで上書きされてしまうため正常な処理が行えなくなってしまう。そのため、上述したデータの上書きを避けるためには、少なくともＪＰＥＧデータ記憶領域が２つ必要であることが分かる。

上述する理由から、画像処理回路のメモリ（１７、１８）には、Ｂａｙｅｒデータ記憶領域、ＹＣｂＣｒデータ記憶領域、ＪＰＥＧデータ記憶領域がそれぞれ２以上ずつ確保されている（図６参照）。Ｂａｙｅｒデータ記憶領域は、プリプロセスとポストプロセスとによって共有されている。ＹＣｂＣｒデータ記憶領域は、ポストプロセスとＪＰＥＧ圧縮処理とによって共有されている。ＪＰＥＧデータ記憶領域は、ＪＰＥＧ圧縮処理とＪＰＥＧ画像ファイルの記録処理とによって共有されている。各データ記憶領域でデータの上書きを避けるため、前者の処理では共有する２つのデータ記憶領域の一方にデータが書き込まれ、後者の処理では共有する２つのデータ記憶領域の他方からデータが読み出される。

また、上述した並列処理を行うときには、「静止画の撮像動作」、「プリプロセス」、「ポストプロセス」、「ＪＰＥＧ圧縮処理」、「ＪＰＥＧ画像ファイルの記録」に対応するタスク（撮像制御タスク、プリプロセスタスク、ポストプロセスタスク、ＪＰＥＧ圧縮タスク、画像記録タスク）がＲＴＯＳの管理の下で複数並列に実行される。各タスクは、タスク間で通信を行うことによりタスク間の同期をとるとともに、各データ記憶領域でのデータの書き込み・読み出しの排他制御を行う。

例えば、レリーズ釦の全押し操作が行われると、撮像制御タスクはプリプロセスタスクにメッセージを送信し、フレーム番号の情報を伝えるとともにプリプロセスの処理の準備を要求する。上述のメッセージを受信すると、プリプロセスタスクは空いているＢａｙｅｒデータ記憶領域を獲得（セマフォの獲得）し、Ｂａｙｅｒデータ記憶領域の獲得後に撮像処理タスクに準備完了のレスポンスを返信する。上述のレスポンスを受信すると、撮像処理タスクは、撮像部１２に静止画の撮像動作を開始させる。露光が終了して撮像部１２から静止画のデータが出力されると、そのデータは所定の画像処理回路（１４、１５）に入力され、プリプロセス部でプリプロセスが施される。プリプロセス後のＢａｙｅｒデータの書き込みを行うＤＭＡＣ４４は、プリプロセス部（内部のＦＩＦＯ）をソースアドレスとし、予め獲得したＢａｙｅｒデータ記憶領域の先頭アドレスをデスティネーションアドレスとして、ＤＭＡ転送によりＢａｙｅｒデータ記憶領域にＢａｙｅｒデータを書き込む。１フレーム分のＢａｙｅｒデータの書き込みが終了すると、プリプロセスタスクはそのＢａｙｅｒデータ記憶領域を返却する（セマフォの返却）。

続いて、プリプロセスタスクはポストプロセスタスクにメッセージを送信し、上述のＢａｙｅｒデータにポストプロセスを施す旨を依頼する。このとき、プリプロセスタスクは、ポストプロセスタスクへのメッセージに、フレーム番号の情報と、上述のＢａｙｅｒデータ記憶領域の先頭アドレスとを含める。上述のメッセージを受信したポストプロセスタスクは、受信したアドレス値のＢａｙｅｒデータ記憶領域と、空いているＹＣｂＣｒデータ記憶領域とを獲得する（セマフォの獲得）。ＹＣｂＣｒデータ記憶領域の獲得後に、ポストプロセスタスクはポストプロセス部にポストプロセスを開始させる。Ｂａｙｅｒデータ記憶領域からＢａｙｅｒデータを読み出すＤＭＡＣ４４は、予め獲得したＢａｙｅｒデータ記憶領域の先頭アドレスをソースアドレスとし、ポストプロセス部（内部のＦＩＦＯ）をデスティネーションアドレスとして、ＤＭＡ転送によりＢａｙｅｒデータをポストプロセス部に入力する。これにより、Ｂａｙｅｒデータはポストプロセス部に入力されてポストプロセスが施される。また、ポストプロセス後のＹＣｂＣｒデータの書き込みを行うＤＭＡＣ４４は、ポストプロセス部（内部のＦＩＦＯ）をソースアドレスとし、予め獲得したＹＣｂＣｒデータ記憶領域の先頭アドレスをデスティネーションアドレスとして、ＤＭＡ転送によりＹＣｂＣｒデータ記憶領域にＹＣｂＣｒデータ（主画像、フリーズ画、サムネイル）を書き込む。なお、１フレーム分のＢａｙｅｒデータの読み出しが終了すると、ポストプロセスタスクはそのＢａｙｅｒデータ記憶領域を返却する（セマフォの返却）。また、１フレーム分のＹＣｂＣｒデータの書き込みが終了すると、ポストプロセスタスクはそのＹＣｂＣｒデータ記憶領域を返却する（セマフォの返却）。

続いて、ポストプロセスタスクはＪＰＥＧ圧縮タスクにメッセージを送信し、上述のＹＣｂＣｒデータにＪＰＥＧ圧縮処理を施す旨を依頼する。このとき、ポストプロセスタスクは、ＪＰＥＧ圧縮タスクへのメッセージに、フレーム番号の情報と、上述のＹＣｂＣｒデータ記憶領域の先頭アドレスとを含める。上述のメッセージを受信したＪＰＥＧ圧縮タスクは、受信したアドレス値のＹＣｂＣｒデータ記憶領域と、空いているＪＰＥＧデータ記憶領域とを獲得する（セマフォの獲得）。ＪＰＥＧデータ記憶領域の獲得後に、ＪＰＥＧ圧縮タスクは静止画圧縮部４２にＪＰＥＧ圧縮処理を開始させる。ＹＣｂＣｒデータ記憶領域からＹＣｂＣｒデータを読み出すＤＭＡＣ４４は、予め獲得したＹＣｂＣｒデータ記憶領域の先頭アドレスをソースアドレスとし、静止画圧縮部４２（内部のＦＩＦＯ）をデスティネーションアドレスとして、ＤＭＡ転送によりＹＣｂＣｒデータを静止画圧縮部４２に入力する。これにより、ＹＣｂＣｒデータは静止画圧縮部４２に入力されてＪＰＥＧ圧縮処理が施される。また、ＪＰＥＧ圧縮処理後のＪＰＥＧデータの書き込みを行うＤＭＡＣ４４は、静止画圧縮部４２（内部のＦＩＦＯ）をソースアドレスとし、予め獲得したＪＰＥＧデータ記憶領域の先頭アドレスをデスティネーションアドレスとして、ＤＭＡ転送によりＪＰＥＧデータ記憶領域にＪＰＥＧデータを書き込む。また、ＪＰＥＧ圧縮タスクは、これと並行して撮影情報などのメタデータを収集し、ＪＰＥＧデータ記憶領域内の別のアドレスにメタデータを書き込む。そして、ＪＰＥＧ圧縮タスクは、静止画圧縮部４２から出力されたＪＰＥＧデータとメタデータとを１つに結合して、ＪＰＥＧデータ記憶領域の先頭から始める１つのＪＰＥＧ画像ファイル（メモリイメージ）を作成する。なお、１フレーム分のＹＣｂＣｒデータの読み出しが終了すると、ＪＰＥＧ圧縮タスクはそのＹＣｂＣｒデータ記憶領域を返却する（セマフォの返却）。また、上述するＪＰＥＧ画像ファイルを作成すると、ＪＰＥＧ圧縮タスクはそのＪＰＥＧデータ記憶領域を返却する（セマフォの返却）。

続いて、ＪＰＥＧ圧縮タスクは画像記録タスクにメッセージを送信し、上述のＪＰＥＧ画像ファイルを記録媒体３４に記録するように依頼する。このとき、ＪＰＥＧ圧縮タスクは、画像記録タスクへのメッセージに、フレーム番号の情報と、上述のＪＰＥＧデータ記憶領域の先頭アドレスと、ＪＰＥＧ画像ファイルのサイズを含める。ＪＰＥＧ圧縮は可変長圧縮であるため、圧縮処理ごとにＪＰＥＧデータのサイズ（符号量）も変わるため、ＪＰＥＧ画像ファイルのサイズも変化する。そのため、上述の場合にはメッセージにＪＰＥＧ画像ファイルのサイズを含めている。上述のメッセージを受信した画像記録タスクは、受信したアドレス値のＪＰＥＧデータ記憶領域を獲得する（セマフォの獲得）。そして、画像記録タスクは、メディアコントローラ５３＿１を動作状態（Ａｃｔｉｖｅ）にする。また、画像記録タスクは、メディアコントローラ５３＿１を介して記録媒体３４にＷＲＩＴＥコマンドと書き込みアドレスとを発行して、ＪＰＥＧ画像ファイルの記録動作を開始する。ＪＰＥＧデータ記憶領域からＪＰＥＧ画像ファイルを読み出すＤＭＡＣ４４は、予め獲得したＪＰＥＧデータ記憶領域の先頭アドレスをソースアドレスとし、メディアコントローラ５３＿１（内部のＦＩＦＯ）をデスティネーションアドレスとして、ＤＭＡ転送によりＪＰＥＧ画像ファイルのデータをメディアコントローラ５３＿１に入力する。メディアコントローラ５３＿１は、入力されたＪＰＥＧ画像ファイルのデータを記録媒体３４に送信し、上述する書き込みアドレスで指定された記録領域に記録する。なお、ＪＰＥＧ画像ファイルの記録が終了すると、画像記録タスクはそのＪＰＥＧデータ記憶領域を返却する（セマフォの返却）。

以上のように、ＲＴＯＳの機能（セマフォ）を利用することで、ＣＰＵ４５は各データ記憶領域でのデータの書き込み・読み出しの排他制御を確実に行うことができる。また、タスク間通信でフレーム番号の情報が伝達されるため、ＣＰＵ４５が実行するＲＴＯＳは、フレーム番号の情報を参照することで静止画データを撮影順に従って処理することができる。

また、本実施形態の電子カメラでは、奇数フレームの静止画データに対して第１画像処理回路１４で上述した並列処理が実行され、偶数フレームの静止画データに対して第２画像処理回路１５で上述した並列処理が実行される。２つの画像処理回路を用いると、同じ処理時間の間に２つのフレームを処理できるので、処理時間は相対的に１／２になることが分かる。すなわち、電子カメラ全体ではフレーム間隔が１／２になるため、１つの画像処理回路で処理する場合と比べて２倍高速な連写撮影を行うことができる。

図９は、静止画撮影モードの連写撮影を行うときのタスクの一例を示す図である。連写撮影の場合、マスタ側のＣＰＵ４５＿１がライブビューの処理におけるタスク群（撮像制御タスク、プリプロセスタスク、ポストプロセスタスク、ＡＦ・ＡＥ・ＡＷＢタスク、表示制御タスク、ズーム駆動タスク）と、静止画像撮影の処理におけるタスク群（撮像制御タスク、プリプロセスタスク、ポストプロセスタスク、ＡＷＢタスク、ＪＰＥＧ圧縮タスク、表示制御タスク、画像記録タスク）を実行する。また、スレーブ側のＣＰＵ４５＿２が静止画像撮影の処理におけるタスク群のうち、プリプロセスタスク、ポストプロセスタスク、ＡＷＢタスク、ＪＰＥＧ圧縮タスクを実行する。なお、ＣＰＵ４５＿１，４５＿２は同じ種類のタスクを実行するが、処理対象のフレームが相違するのでタスクが競合することはない。

また、本実施形態の電子カメラでは、一方の画像処理回路がシリアルバス１６を介して他方の画像処理回路の資源に直接アクセスできる。そして、マスタ側のタスクと、スレーブ側のタスクとは、ＡＭＰ−ＲＴＯＳが提供するシステムコールを用いて通信を行うことができる。すなわち、静止画像の連写において、２つの画像処理回路を用いて並列処理を行う場合に、それぞれの画像処理回路のタスク間での通信や同期、排他制御（資源の共用）などの基本的で重要な機能が、アプリケーションプログラムではなく、ＡＭＰ−ＲＴＯＳのシステムコールを利用して実現されるというメリットがある。

ところで、本実施形態では、第１画像処理回路１４にのみメディアコネクタ２３が接続されている。そのため、第１画像処理回路１４で生成されたＪＰＥＧ画像ファイルと、第２画像処理回路１５で生成されたＪＰＥＧ画像ファイルとは、マスタ側のＣＰＵ４５＿１が実行する画像記録タスクにより、記録媒体３４にフレーム番号順で交互に記録されることになる。

スレーブ側のＪＰＥＧ画像ファイルの記録処理は、基本的にはマスタ側の場合と同様であるが、ＪＰＥＧ画像ファイルのデータが第２メモリ１８のＪＰＥＧデータ記憶領域に記録される点と、そのデータがシリアルバス１６を介して第１画像処理回路１４のブロックに転送される点でマスタ側の場合と相違がある。しかし、第１画像処理回路１４のＣＰＵ４５＿１やＤＭＡＣ４４＿１は、バスブリッジ５６の働きによって、第２メモリ１８上のデータに対して第１メモリ１７上のデータと同様にアクセスすることができる。そのため、第２画像処理回路１５で生成されたＪＰＥＧ画像ファイルを第１画像処理回路１４のブロックに転送することは容易である。

例えば、電子カメラはスレーブ側のＪＰＥＧ画像ファイルを以下の手順で記録媒体３４に記録すればよい。図７は、スレーブ側のＪＰＥＧ画像ファイルを記録媒体３４に記録する場合の概要図である。図７において、ＪＰＥＧ画像ファイルのデータの流れは一点鎖線の矢印で示す。

まず、スレーブ側のＣＰＵ４５＿２は、ＪＰＥＧ画像ファイルのデータが生成されるたびに、マスタ側のＣＰＵ４５＿１に対して、対象となるＪＰＥＧ画像ファイルが記憶されているＪＰＥＧデータ記憶領域のアドレスと、そのＪＰＥＧ画像ファイルのフレーム番号を伝える。ＣＰＵ４５＿１の実行する画像記録タスクは、第２メモリ１８に記憶されているフレーム番号のＪＰＥＧ画像ファイルを記録媒体３４に記録するとき、上述の通信で取得したＪＰＥＧデータ記憶領域の先頭アドレスを用いて、対象のＪＰＥＧ画像ファイルを記録媒体３４へ転送すればよい。なお、ＪＰＥＧ画像ファイルの記録媒体３４への記録に関する具体的な処理については、既に上述した説明と同様であるので重複する説明は省略する。

また、連写撮影のときにフリーズ画を表示する場合を考える。本実施形態では第１画像処理回路１４にのみ表示部２１が接続されている。奇数フレームのフリーズ画を表示部２１に表示させる場合には、ＣＰＵ４５＿１が実行する画像表示タスクは、単写撮影の場合と同様の制御を行えばよい。偶数フレームのフリーズ画を表示部２１に表示させる場合、基本的にはマスタ側の場合と同様であるが、フリーズ画のＹＣｂＣｒデータが第２メモリ１８のＹＣｂＣｒデータ記憶領域に記録される点と、そのデータがシリアルバス１６を介して第１画像処理回路１４のブロックに転送される点でマスタ側の場合と相違がある。しかし、第１画像処理回路１４のＣＰＵ４５＿１やＤＭＡＣ４４＿１は、バスブリッジ５６の働きによって、第２メモリ１８上のデータに対して第１メモリ１７上のデータと同様にアクセスすることができる。そのため、第２画像処理回路１５で生成されたフリーズ画のデータを第１画像処理回路１４のブロックに転送することは容易である。

例えば、電子カメラは、以下の手順でフリーズ画の表示を行えばよい。図８は、スレーブ側のフリーズ画を表示部２１に表示させる場合の概略図である。図８において、フリーズ画のデータの流れは一点鎖線の矢印で示す。

表示制御タスクは、フリーズ画を表示するフレーム番号を求める。上記のフレーム番号が偶数であれば、表示すべきフリーズ画のデータは、第２メモリ１８のＹＣｂＣｒデータ記憶領域に記憶されている。

フリーズ画の表示を行う場合、マスタ側の撮像制御タスクは、フレーム番号とともにフリーズ画像の表示を示す表示フラグを、そのフレームの撮影時に予めスレーブ側のプリプロセスタスクに送信しておく。

スレーブ側のプリプロセスタスクは、プリプロセスが終了する毎に、Ｂａｙｅｒデータが記憶された第２メモリ１８のアドレスと、フレーム番号と、表示フラグとをポストプロセスタスクに伝える。そして、スレーブ側のポストプロセスタスクは、上記のＢａｙｅｒデータにポストプロセスを施して、主画像、フリーズ画像、サムネイル画像の各ＹＣｂＣｒデータを生成する。

上述の表示フラグがセットされていた場合、画像処理部４１＿２は、フリーズ画のＹＣｂＣｒデータが生成された時点で、表示すべきフリーズ画が記憶されている記憶領域の先頭アドレスと、そのフレーム番号とをマスタ側の表示制御タスクに伝える。

そして、マスタ側の表示制御タスクは、第２メモリ１８から表示コントローラ４８＿１にフリーズ画のデータをＤＭＡ転送する。このとき、表示制御タスクは、表示すべきフリーズ画の記憶領域の先頭アドレスをＤＭＡＣ４４＿１のソースアドレスとし、表示コントローラ４８＿１のＦＩＦＯのアドレスをＤＭＡＣ４４＿１のデスティネーションアドレスとする。また、表示制御タスクは、表示すべきフリーズ画のバイト数をＤＭＡＣ４４＿１の転送カウントとする。なお、ＤＭＡＣ４４＿１の動作は、上記のＪＰＥＧ画像ファイルの転送の場合とほぼ同様であるので重複説明を省略する。

その後、表示制御タスクが表示ドライバを呼び出すと、フリーズ画のデータが表示コントローラ４８＿１に転送されて、フリーズ画が表示部２１の画面に表示される。なお、フリーズ画を一定期間表示部２１に表示し続ける場合、ＤＭＡＣ４４＿１が上述したフリーズ画のデータ転送を繰り返すように設定すればよい。このため、ＤＭＡＣ４４＿１には前回と同じアドレスでＤＭＡ転送を行うリロード機能を持たせてもよい。

以上が静止画撮影モードで連写撮影を行う場合の動作である。

（動画撮影モードでの動作例１）
次に、動画撮影モードでの電子カメラの動作例を説明する。まず、Ｈ．２６４規格での動画像の符号化について簡単に説明する。

Ｈ．２６４による動画像の符号化では、１フレームの動画データをマクロブロックと称する多数のブロックに分割し、マクロブロック単位で符号化の処理が行われる。符号化のモードには、Ｉモード、Ｐモード、Ｂモードと称する３つのモードがある。

Ｉモードは、フレーム内予測符号化モードである。Ｉモードでは、符号化の対象となるカレントフレーム内の画素のみを利用して各マクロブロックを符号化するフレーム内予測が行われる。

一方、Ｐモード、Ｂモードは、フレーム間予測符号化モードである。一般的にＰモードは、時間的に過去の１フレームからカレントフレームを予測する。また、Ｂモードは、時間的に過去および未来のそれぞれ１フレームからカレントフレームを予測する。ここで、Ｐモード、Ｂモードのフレーム間予測でカレントフレームと対比されるフレームを参照フレームと称する。この参照フレームは、既に符号化されたフレームを再生（復号）したものが用いられる。なお、Ｈ．２６４の符号化器には、ローカル復号器が含まれている。符号化されたカレントフレームのマクロブロックはローカル復号器で直ちに復号化され、メモリ上の参照フレーム記憶領域に記憶される。

また、フレーム間予測では、被写体の動き検出による動き補償を行うことで予測誤差の値を小さくしている。すなわち、動き検出では、カレントフレームのマクロブロックの位置を基準として、マクロブロックよりも大きな探索領域を参照フレームから読み出す。そして、探索領域内で上述の予測誤差が最小となるブロックの位置とそのときの予測誤差（最小値）とを求める。上記の動き検出で求めたブロックの位置と基準位置との差（オフセット）を動きベクトルと称する。フレーム間予測では、予測誤差および動きベクトルを併せて符号化し、ヘッダ情報を含んだマクロブロックの圧縮データを生成する。フレーム間予測を行った場合、符号化の終了したカレントフレームのマクロブロックの圧縮データは直ちにローカル復号器で復号される、そして、復号された予測誤差および動きベクトルから新しい参照フレーム（カレントフレームを復号したもの）が生成される。

また、Ｈ．２６４規格では、スライス（Ｓｌｉｃｅ）と称するマクロブロックのグループで１フレームを分割し、スライス単位で符号化モードを変更できる。

また、Ｈ．２６４規格では、従来のＭＰＥＧ規格よりも多数の参照フレームを利用できる。Ｐマクロブロックの場合、１つの参照フレームグループの中から１フレームを選択してＰモードの符号化を行う。また、Ｂマクロブロックの場合、２つの参照フレームグループの中からそれぞれ１フレーム、若しくは一方の参照フレームグループの中から２フレームを選択してＢモードの符号化を行う。

ところで、上記のフレームの選択を行うときには、複数の参照フレームを評価した上で、カレントフレームのマクロブロック（カレントマクロブロック）により近い値を持つフレームを選択する可能性が高い。また、スライスが変わる場合には参照フレームも変わるので、上述した参照フレームの評価がその都度行われることになる。そのため、Ｈ．２６４規格では、参照フレームのアクセス回数が従来のＭＰＥＧの場合より多くなり、メモリの帯域が大幅に使用されうる。

以上の説明をふまえて、本実施形態での動画撮影モードでの電子カメラの動作を説明する。

図１０は、動画撮影モードにおける電子カメラの動作の概略図である。図１０において、カレントフレーム（記録用の動画像データを指す）、参照フレーム、動画像ファイルのデータの流れは、それぞれ一点鎖線の矢印で示す。

図１０に示す動作例では、スレーブ側の動画圧縮部４３＿２が動画像の符号化を行う。第１メモリ１７には、カレントフレームのＹＣｂＣｒデータと動画像ファイルとが記憶される。一方、第２メモリ１８には、参照フレームのＹＣｂＣｒデータが記憶される。また、動作例１では、スルー画および動画像のデータはデータ分配器１３を介して第１画像処理回路１４にのみ入力される。

また、図１１は、動画撮影モードの動作例１でのタスクの一例を示す図である。動画撮影の処理におけるタスク群は、例えば、撮像制御タスク、プリプロセスタスク、ポストプロセスタスク、ＡＦ・ＡＥ・ＡＷＢタスク、表示制御タスク、ズーム駆動タスク、Ｈ．２６４圧縮タスク、画像記録タスクがある。この動作例１の場合、マスタ側のＣＰＵ４５＿１は、撮像制御タスク、プリプロセスタスク、ポストプロセスタスク、ＡＥ・ＡＦ・ＡＷＢタスク、表示制御タスク、ズーム駆動タスク、画像記録タスクを実行する。また、スレーブ側のＣＰＵ４５＿２は、Ｈ．２６４圧縮タスクを実行する（図１１参照）。よって、ＣＰＵ４５＿１，４５＿２には、それぞれ異なるタスクが割り当てられており、処理が競合することはない。

以下、動画撮影モードにおける電子カメラの動作をより具体的に説明する。

動画撮影モードの起動指示を受け付けた段階では、第１画像処理回路１４は、単写撮影の場合と同様にライブビューの動作を開始する一方、第２画像処理回路１５は動画撮影に必要となる各種の設定を済ませた上で、動画撮影が開始されるまで待機する。このとき、第２画像処理回路１５は、必要となる回路ブロック以外の回路ブロックにはクロックの供給を停止して低消費電力の状態で待機することが好ましい。なお、第１画像処理回路１４と第２画像処理回路１５は、外部のシリアルバス１６を通じて互いにデータの送受信が可能な状態にしておくことが必要となる。

動画撮影での第１画像処理回路１４によるライブビューの動作は、静止画の単写撮影の場合とほぼ同様であるので、重複する部分の説明は省略する。

また、ライブビューの動作中は画像処理部４１＿１が、プリプロセスの施されたスルー画のデータから、ＡＦ評価値、ＡＥ評価値、ＡＷＢ評価値をそれぞれ生成する。ＣＰＵ４５＿１は、生成したＡＥ評価値を用いて測光を行い、測光結果に基づいてスルー画の露出制御を行う。この処理はＡＥタスクが行う。またＣＰＵ４５＿１は上述したＡＷＢ評価値を用いてＡＷＢアルゴリズムを実行し、その結果に基づいてスルー画のホワイトバランス調整を行う。この処理はＡＷＢタスクが行う。また、ＣＰＵ４５＿１は、所定のタイミングでＡＦ評価値を用いて公知のコントラスト検出方式によるＡＦを行い、撮影光学系１１のピントを目的の被写体に合わせる。この処理は、ＡＦタスクとズーム駆動タスクが行う（図１０ではライブビュー表示に関するデータの流れの図示は省略する）。

そして、ＣＰＵ４５＿１は、動画記録指示を受け付けると、動画像の記録を開始する。上述する動画記録指示が行われると、ＣＰＵ４５＿１は、第２画像処理回路１５を低消費電力の状態から動作状態（使用する回路ブロックの全てにクロックが供給されている状態）に移行させる。また、ＣＰＵ４５＿１は、撮像部１２に対して、動画の仕様に合った解像度とフレーム周期の組み合わせで動画像のデータを出力するように指示する。なお、動画撮影時には、ＣＰＵ４５＿１は、プリプロセスの施された動画像のデータに解像度変換を施すことでスルー画のＹＣｂＣｒデータを生成し、上述したライブビュー表示等を行えばよい。

ここで、動画撮影で行われる基本的な処理は、撮像部１２による「動画像の撮像動作」、画像処理部４１＿１による「プリプロセス」、画像処理部４１＿１による「ポストプロセス」、動画圧縮部４３＿２による「動画圧縮処理」、メディアコントローラ５３＿１による「動画像ファイルの記録」という５つの処理である。上述した並列処理を行うときには、「動画像の撮像動作」、「プリプロセス」、「ポストプロセス」、「動画圧縮処理」、「動画像ファイルの記録」に対応するタスク（撮像制御タスク、プリプロセスタスク、ポストプロセスタスク、Ｈ．２６４圧縮タスク、画像記録タスク）がＲＴＯＳの管理の下で複数並列に実行される。各タスクは、タスク間で通信を行うことによりタスク間の同期をとるとともに、各データ記憶領域でのデータの書き込み・読み出しの排他制御を行う。

なお、本実施形態の電子カメラでは、一方の画像処理回路がシリアルバス１６を介して他方の画像処理回路の資源に直接アクセスできる。そして、マスタ側のタスクと、スレーブ側のタスクとは、ＡＭＰ−ＲＴＯＳが提供するシステムコールを用いて通信を行うことができる。すなわち、動画像の撮影においても、２つの画像処理回路を用いて並列処理を行う場合に、それぞれの画像処理回路のタスク間での通信や同期、排他制御（資源の共用）などの基本的で重要な機能が、アプリケーションプログラムではなく、ＡＭＰ−ＲＴＯＳのシステムコールを利用して実現されるというメリットがある。

また、動画像の撮像動作からポストプロセスの動作は、撮像制御タスク、プリプロセスタスク、ポストプロセスタスクによって実行されるが、これらの動作は連写撮影の場合における静止画の撮像動作からポストプロセスの動作とほぼ同様であるので、重複する説明を省略する。

動画撮影時には、ＣＰＵ４５＿１の制御により、ポストプロセス後のカレントフレームのＹＣｂＣｒデータが、第１メモリ１７のＹＣｂＣｒデータ記憶領域に記録される。カレントフレームのＹＣｂＣｒデータが生成されると、ＣＰＵ４５＿１は動画圧縮部４３＿２に対して動画圧縮処理を開始する指示を行う。

上述の指示に応じて、ＣＰＵ４５＿２はＨ．２６４圧縮タスクを実行する。まず、動画圧縮部４３＿２はカレントマクロブロックのデータを要求する。ＤＭＡＣ４４＿２は、メモリコントローラ５０＿１を介して第１メモリ１７のカレントフレーム（ＹＣｂＣｒデータ）からマクロブロックを部分的に読み出し、動画圧縮部４３＿２に転送する。このとき、ＣＰＵ４５＿２は、ＤＭＡＣ４４＿２のソースアドレスとして第１メモリ１７のＹＣｂＣｒデータ記憶領域の先頭アドレス、デスティネーションアドレスとして動画圧縮部４３＿２（内部のＦＩＦＯ）のアドレス、データ転送数をそれぞれ設定し、データ転送を行えばよい。

一方、ＤＭＡＣ４４＿２は、別のチャネルを使って第２メモリ１８に記憶されている予測用のデータ（参照フレーム記憶領域の参照フレームのデータ）を動画圧縮部４３＿２に転送する。カレントマクロブロックがＩマクロブロックであれば、動画圧縮部４３＿２は、同一スライス内で先に符号化されたデータからフレーム内予測を行えばよい。

ここで、カレントフレームが動画像の最初のフレームである場合、過去のフレームが無いので、動画圧縮部４３＿２は上述したＩモードで符号化を行う。動画圧縮部４３＿２は、上述した符号化の過程でカレントマクロブロックの復号データを逐次生成する。ＣＰＵ４５＿２は、カレントマクロブロックの復号データ（ＹＣｂＣｒデータ）を、ＤＭＡＣ４４＿２によって第２メモリ１８に確保された参照フレーム記憶領域に直接書き込ませる。このとき、ＣＰＵ４５＿２は、ＤＭＡＣ４４＿２のソースアドレスとして動画圧縮部４３＿２（内部のＦＩＦＯ）のアドレス、デスティネーションアドレスとして第２メモリ１８の参照フレーム記憶領域の先頭アドレス、データ転送数をそれぞれ設定し、データ転送を行えばよい。上述した参照フレーム記憶領域に記録された復号データは新たな参照フレームとなる。

カレントフレームが２フレーム目以降である場合、動画圧縮部４３＿２は、第２メモリ１８の参照フレーム記憶領域に記憶されている参照フレームが使えるので、ＰスライスやＢスライスを含めることができる。上述するＰマクロブロックやＢマクロブロックの場合、動画圧縮部４３＿２は、第２メモリ１８に記憶された参照フレームから予測用のデータ（参照フレームの探索領域のＹＣｂＣｒデータ）を取得する。このとき、ＣＰＵ４５＿２は、ＤＭＡＣ４４＿２のソースアドレスとして、第２メモリ１８の参照フレーム記憶領域のアドレス、デスティネーションアドレスとして動画圧縮部４３＿２（内部のＦＩＦＯ）のアドレス、データ転送数をそれぞれ設定し、データ転送を行えばよい。なお、ＰマクロブロックやＢマクロブロックの圧縮では、動画圧縮部４３＿２は、複数の参照フレームから予測用のデータを読み出して、カレントマクロブロックとの予測誤差の大きさを評価してもよい。そして、動画圧縮部４３＿２は、上記の予測誤差がより小さい参照フレームを選択して、カレントマクロブロックの符号化に用いてもよい。

ところで、動画像の圧縮時において、ＤＭＡＣ４４のソースアドレスは参照フレームのデータを読み出すために頻繁に変更される。そのため、動画圧縮時のＤＭＡ転送を効率的に行う観点から、動画圧縮部４３にＤＭＡＣを内蔵してもよい。このとき、動画圧縮部４３にマイコンを内蔵させることで、ソースアドレスおよびデスティネーションアドレスを変更する機能と、符号化を行うフレームを決定する機能とを動画圧縮部４３に付与してもよい。かかる構成によれば、カレントフレームが生成される毎に、ＣＰＵ４５がカレントフレームのアドレスを動画圧縮部４３に通信するだけで、動画圧縮部４３が自律的に動画像の符号化を行うことが可能となる。

動画圧縮部４３＿２は、フレーム内予測符号化（Ｉモード）またはフレーム間予測符号化（Ｐモード、Ｂモード）によって生成した符号化データ（動画像ファイル）を、ヘッダを含んだ標準フォーマットのパケットに分割して出力する。上述のパケットは、ＤＭＡＣ４４＿２によって、第１メモリ１７の動画ファイル記憶領域に書き込まれる。このとき、ＣＰＵ４５＿２は、ＤＭＡＣ４４＿２のソースアドレスとして、動画圧縮部４３＿２（内部のＦＩＦＯ）のアドレス、デスティネーションアドレスとして第１メモリ１７の動画ファイル記憶領域のアドレス、データ転送数をそれぞれ設定し、データ転送を行えばよい。なお、ＣＰＵ４５＿２によって実行されるＨ．２６４圧縮タスクは、動画ファイル記憶領域に上述のパケットのデータが一定量蓄積されるごとに、別の動画ファイル記憶領域に記録先を切り替える。

その後、画像記録タスクにより、動画像ファイルのデータの書き込みを終えた動画ファイル記憶領域から、動画像ファイルのデータが読み出されて記録媒体３４へ書き込まれる。このとき、ＣＰＵ４５＿１はＤＭＡＣ４４＿１のソースアドレスとして動画ファイル記憶領域の先頭アドレス、デスティネーションアドレスとしてメディアコントローラ５３＿１（内部のＦＩＦＯ）のアドレス、データ転送数として動画像ファイルのパケットのバイト数をそれぞれ設定し、データ転送を開始させる。データ転送が開始されると、上述した動画ファイル記憶領域から動画像ファイルのデータが読み出されてメディアコントローラ５３＿１に入り、次いで記録媒体３４に送られて記録媒体３４内部の記録領域に記録される。

上述するように、パケットのデータが一定量蓄積されるごとに記録先の動画ファイル記憶領域を切り替えることで、或る動画ファイル記憶領域にパケットのデータを書き込みつつ、別の動画ファイル記憶領域からデータを読み出して記録媒体３４にデータを書き込むことができる。そのため、動画撮影の場合にも、連写撮影の場合と同様に上述した５つの処理を並列処理できることが分かる。以上で、動画撮影モードでの動作例１の説明を終了する。

なお、動画像ファイルの再生の場合、動き検出がないのでメモリの帯域が大幅に消費されることはない。そのため、動画像ファイルの再生の場合、第１画像処理回路１４のみを動作状態とする。そして、第１画像処理回路１４の動画圧縮部４３＿１が動画像ファイルの各フレームを復号すればよい。

以下、図１０に示す動画撮影モードの動作例１での作用効果を述べる。

上述した動作例１では、第１メモリ１７にカレントフレームを記憶し、第２メモリ１８に参照フレームを記憶する。また、第２画像処理回路１５側の動画圧縮部４３＿２が、第２メモリ１８に記憶された参照フレームを用いて符号化処理を行う。上述した動作例１では、第１メモリ１７の帯域は、カレントフレームのプリプロセス・ポストプロセスの処理と、スルー画の表示と、記録媒体３４への動画像ファイルの記録とに使用される。そして、第２メモリ１８の帯域は、比較的負荷の大きい参照フレームのデータの書き込み／読み込みで使用される。そのため、上述した動作例１では、第１メモリ１７と第２メモリ１８にアクセスが分散されるので、２つの画像処理回路により効率的な処理が可能となる。

また、上述した動作例１では、転送元の画像処理回路に接続されたメモリ上に記憶されている画像データを、転送先の画像処理回路が直接読み出して処理するという動作を行うことができる。そのため、転送先の画像処理回路に接続されたメモリにデータを一旦移動（あるいはコピー）するという動作は不要になる。また、転送先の画像処理回路に接続されたメモリの帯域が余分に消費されることがないし、画像データのメモリ間移動（あるいはコピー）にかかっていた時間も発生しないので処理時間（あるいはＬａｔｅｎｃｙ）が短縮される。

また、上述した動作例２では、スレーブ側の動画圧縮部４３＿２が符号化処理を行うため、画像処理回路間で演算負荷の差が小さくなる。そのため、２つの画像処理回路における消費電力の偏りを小さくすることができる。

（動画撮影モードでの動作例２）
また、動画撮影モードにおいて、電子カメラは動画像に音声データを付加して動画像ファイルを生成してもよい。以下、動画撮影モードにおいて、音声の記録を行うケースを動作例２として説明する。なお、以下の動画撮影での動作例２の説明では、上記の動作例１と共通する部分の重複する説明はいずれも省略する。

図１２は、動画撮影モードの動作例２でのタスクの一例を示す図である。

動作例２の動画像撮影モードでのタスク群は、動作例１のタスク群に加えて、音声制御タスク、音声圧縮タスク、画像・音声多重化タスクを含む。また、動作例２のタスク群は、画像記録タスクに代えて、ＡＶ記録タスクを含む。上記の音声制御タスクおよびＡＶ記録タスクは、マスタ側のＣＰＵ４５＿１により実行される。一方、音声圧縮タスクおよび画像・音声多重化タスクは、Ｈ．２６４圧縮タスクとともに、スレーブ側のＣＰＵ４５＿２によって実行される。

ここで、動作例２において、動画記録指示を受け付けるまでの動作は上述する動作例１の場合と同様である。動作例２で動画記録指示を受け付けると、ＣＰＵ４５＿１は、第２画像処理回路１５を低消費電力の状態から動作状態（使用する回路ブロックの全てにクロックが供給されている状態）に移行させる。また、ＣＰＵ４５＿１は、撮像部１２に対して、動画の仕様に合った解像度とフレーム周期の組み合わせで動画像のデータを出力するように指示する。また、ＣＰＵ４５＿１は、データ分配器１３の動作を切り替えて、第１画像処理回路１４および第２画像処理回路１５の両方に動画像の各フレームのＢａｙｅｒデータを入力させる。そして、第１画像処理回路１４は、上述の動作例１と同様の処理により、表示部２１でライブビュー表示を行う。また、ＣＰＵ４５＿１は、音声制御タスクにより、音声信号処理部２７による録音処理を開始させる。

スレーブ側の画像処理部４１＿２は、データ分配器１３から入力されたＢａｙｅｒデータにプリプロセス、ポストプロセスを順次施して、カレントフレームのＹＣｂＣｒデータを生成する。ＣＰＵ４５＿２は、カレントフレームのＹＣｂＣｒデータを第２メモリ１８のＹｃｂＣｒデータ記憶領域に記録する。カレントフレームのＹＣｂＣｒデータが生成されると、ＣＰＵ４５＿２は動画圧縮部４３＿２に対して動画圧縮処理を開始する指示を行う。なお、動画圧縮部４３＿２による動画圧縮処理の動作は、上述の動作例１とほぼ同様であるので、重複する部分の説明は省略する。

一方、録音処理によって音声信号処理部２７から出力される音声データは、データ分配器１３を介して、第２画像処理回路１５に入力される。上記の音声データは、非圧縮のデータ（リニアＰＣＭ）であってもよく、音声圧縮タスクの処理により不図示の音声圧縮部で圧縮されたデータであってもよい。ＣＰＵ４５＿１の実行する音声制御タスクは、入力された音声データを第２メモリ１８の音声データ記憶領域に一時的に記憶する。

そして、ＣＰＵ４５＿２は、画像・音声多重化タスクの処理によって、圧縮された画像データと、上述する音声データとを多重化する。これにより、１つの圧縮ＡＶデータ（ＡＶコードストリーム）が生成される。このとき、ＣＰＵ４５＿２は、上述する圧縮ＡＶデータを第１メモリ１７の動画ファイル記録領域に記憶する。上述の圧縮ＡＶデータは、ＤＭＡＣ４４＿２によって、第１メモリ１７の動画ファイル記憶領域に書き込まれる。このとき、ＣＰＵ４５＿２は、ＤＭＡＣ４４＿２のソースアドレスとして、動画圧縮部４３＿２（内部のＦＩＦＯ）のアドレス、デスティネーションアドレスとして第１メモリ１７の動画ファイル記憶領域のアドレス、データ転送数をそれぞれ設定し、データ転送を行えばよい。なお、ＣＰＵ４５＿２は、動画ファイル記憶領域に上述のパケットのデータが一定量蓄積されるごとに、別の動画ファイル記憶領域に記録先を切り替える。なお、動画像ファイルの記録処理は、ＣＰＵ４５＿１の制御によって動作例１の場合と同様に実行される。

この動作例２によれば、音声データが付与された動画像を記録媒体３４に記録することができる。

＜実施形態の補足事項＞
（１） 上記実施形態では、記録用の画像を撮像する撮像素子３１でＡＦおよびＡＥを行ういわゆるコンパクト型電子カメラの例を説明したが、本発明の撮像装置は一眼レフレックス型の電子カメラにも当然に適用できる。

（２） 上記実施形態において、静止画像撮影モード、動画像撮影モードでの各タスクはあくまで一例にすぎない。例えば、一部のタスクは、ＡＰＩ（関数コール）やデバイスドライバとして電子カメラに実装してもよい。

（３） 上記実施形態において、動画圧縮部４３は、Ｈ．２６４以外の動画圧縮規格（ＭＰＥＧ２など）で動画像の符号化を行ってもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…撮影光学系、１２…撮像部、１３…データ分配器、１４…第１画像処理回路、１５…第２画像処理回路、１６…シリアルバス、１７…第１メモリ、１８…第２メモリ、１９…第１フラッシュメモリ、２０…第２フラッシュメモリ、２１…表示部、２２…外部Ｉ／Ｆコネクタ、２３…メディアコネクタ、２４…レリーズ釦、２５…操作釦、２７…音声信号処理部、３１…撮像素子、３２…ＡＦＥ部、３４…記録媒体、４１…画像処理部、４２…静止画圧縮部、４３…動画圧縮部、４４…ＤＭＡＣ、４５…ＣＰＵ、４６…割込コントローラ、４７…内蔵メモリ、４８…表示コントローラ、４９…ＧＰＩＯ部、５０…メモリコントローラ、５１…フラッシュメモリコントローラ、５２…外部Ｉ／Ｆコントローラ、５３…メディアコントローラ、５４…音声Ｉ／Ｆ、５５…内部バス、５６…バスブリッジ

Claims (3)

1. 被写体の像を撮像した画像のデータを出力する撮像部と、
   それぞれプロセッサを内蔵し、非対称型マルチプロセッサに対応したリアルタイムＯＳがそれぞれ実装されるとともに、前記リアルタイムＯＳ上で実行されるタスクにより前記画像のデータに画像処理を施す第１画像処理回路および第２画像処理回路と、
   前記第１画像処理回路および前記第２画像処理回路を接続するバスと、を備え、
   前記第１画像処理回路および前記第２画像処理回路はそれぞれアドレス空間を有し、各々の前記アドレス空間にはいずれも前記第１画像処理回路および前記第２画像処理回路の資源がマップされている撮像装置。
2. 請求項１に記載の撮像装置において、
   静止画像の連写撮影のときに、
   前記第１画像処理回路および前記第２画像処理回路は、それぞれ異なるフレームに対して画像処理のタスクを独立に実行し、
   前記第２画像処理回路で実行される画像処理のタスクは、前記第１画像処理回路で実行される画像処理のタスクを流用したものである撮像装置。
3. 請求項１に記載の撮像装置において、
   動画像の撮影のときに、
   前記第１画像処理回路は、前記画像を表示装置に表示出力するタスクと、動画像のデータを圧縮して得た動画像ファイルを不揮発性の記録媒体に記録するタスクとを実行し、
   前記第２画像処理回路は、前記動画像を圧縮するタスクを実行する撮像装置。

Images