JP5157400B2 - 撮像装置 - Google Patents

Description

本発明は撮像素子および撮像装置に関する。

二次元状に展開した撮像画素配列の中に瞳分割型位相差検出方式の焦点検出画素を連続して配列し、撮像機能と焦点検出機能とを併せ持つ撮像素子が知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開平０１−２１６３０６号公報

しかしながら、焦点検出画素が配置された画素位置の画像データを当該焦点検出画素の近傍にある撮像画素の画像データに基づいて補間する場合に、上述した従来の撮像素子では焦点検出画素が連続して配列されているので、画素補間により求めた画像データにおいてわずかな補間誤差が連続して認識されてしまい、画像データの品質が劣化するという問題がある。

請求項１の発明による撮像装置は、撮影光学系の予定結像面において二次元に配列され、撮像信号を出力する撮像画素と、撮像兼焦点検出信号を出力する撮像兼焦点検出画素と、焦点検出信号を出力する焦点検出画素とを有し、前記撮像画素の配列中に、前記撮像兼焦点検出画素と前記焦点検出画素とが直線上に交互に配列され、前記撮像画素と前記撮像兼焦点検出画素との各々は、前記撮影光学系の射出瞳の光軸を中心とした領域を通過する光束を受光する光電変換部を有し、前記焦点検出画素は、前記撮影光学系の射出瞳の光軸に対して偏った領域を通過する光束を受光する光電変換部を有する撮像素子と、前記撮像兼焦点検出画素の撮像兼焦点検出信号列と前記焦点検出画素の焦点検出信号列とに、出力レベルが異なる一対の信号列に対してもズレ量検出精度を維持できる相関演算を施して、前記撮像兼焦点検出信号列と前記焦点検出信号列とのズレ量を算出し、前記ズレ量に基づき前記撮影光学系の焦点調節状態を検出する焦点検出手段と、前記撮像画素の撮像信号と前記撮像兼焦点検出画素の撮像兼焦点検出信号とに基づき画像データを生成する画像データ生成手段と、を備えることを特徴とする。
請求項２の発明による撮像装置は、２次元状に配列され、撮像信号を出力する撮像画素と、前記撮像画素の配列中に一方向に互いに交互に配列され、撮像兼焦点検出信号及び焦点検出信号をそれぞれ出力する撮像兼焦点検出画素及び焦点検出画素とを有し、前記撮像画素と前記撮像兼焦点検出画素の各々は、撮影光学系の光軸を中心とした領域を通過する光束を受光する光電変換部を有し、前記焦点検出画素は、前記撮影光学系の光軸に対して偏った領域を通過する光束を受光する光電変換部を有する撮像素子と、前記一方向に配列された撮像兼焦点検出画素の撮像兼焦点検出信号列と前記一方向に配列された焦点検出画素の焦点検出信号列との相関演算を行って前記撮像兼焦点検出信号列と前記焦点検出信号列とのズレ量を算出し、前記ズレ量に基づき前記撮影光学系の焦点調節状態を検出する焦点検出手段と、前記撮像画素の撮像信号と前記撮像兼焦点検出画素の撮像兼焦点検出信号とに基づき画像データを生成し、前記画像データを記録する記録手段と、を備え、前記撮像画素は、分光感度が異なる第１、第２、及び第３の撮像画素を有し、前記撮像兼焦点検出画素及び前記焦点検出画素は、前記第１の撮像画素と同一の分光感度を有することを特徴とする。

本発明によれば、撮像機能と焦点検出機能とを兼ね備えた撮像素子において、焦点検出精度を維持しつつ画像データの品質を確保することができる。

図１は一実施の形態の撮像素子とデジタルスチルカメラ（撮像装置）の構成を示す。一実施の形態のデジタルスチルカメラ２０１は、カメラボディ２０３と交換レンズ２０２から構成され、マウント部２０４により結合される。

交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。絞り２１１は、光量およびボケ量調整のために光軸中心の開口径が可変な開口を形成する。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の駆動制御、絞り２１１の開口径調整のための駆動制御、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信などを行う。

カメラボディ２０３は、撮像および焦点検出用の撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２は交換レンズ２０２の予定結像面に配置され、撮像画素が２次元状に配列されるとともに、焦点検出位置に対応した部分に焦点検出画素列が組み込まれている。メモリカード２１９は、撮像素子２１２により撮像された被写体像を記憶するための画像ストレージである。

ボディ駆動制御装置２１４は、マイクロコンピューターとメモリやＡ／Ｄコンバーターなどの周辺部品から構成され、撮像素子２１２の駆動制御、レンズ駆動制御装置２０６との通信（レンズ情報の受信やカメラ情報（デフォーカス量）の送信など）、画素補間などの画像処理、交換レンズ２０２の焦点検出と焦点調節、デジタルスチルカメラ全体のシーケンス制御などを行う。ボディ駆動制御装置２１４とレンズ駆動制御装置２０６は、マウント部２０４に設けられた電気接点部２１３を介して各種情報（レンズ情報、フォーカシングレンズ駆動のためのデフォーカス量など）の授受を行う。

液晶表示素子駆動回路２１５は、ボディ駆動制御装置２１４にしたがって液晶表示素子２１６を駆動し、液晶表示素子２１６に被写体像や撮影に関する情報を表示する。撮影者は、液晶表示素子２１６に表示された被写体像や撮影情報を接眼レンズ２１７を介して視認する。つまり、液晶表示素子駆動回路２１５と液晶表示素子２１６は、液晶ビューファインダー（電子ビューファインダーＥＶＦ）として機能する。

交換レンズ２０２を透過して撮像素子２１２の撮像面上に形成された被写体像は、撮像素子２１２により光電変換される。そして、撮像面の撮像画素の出力、焦点検出画素の出力は、撮像素子２１２の出力部２１２ａからボディ駆動制御装置２１４へ送られる。ボディ駆動制御装置２１４は、焦点検出画素の出力に基づいて焦点検出位置におけるデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は撮像画素の出力に基づいて生成した画像信号をメモリカード２１９に格納する。さらに、ボディ駆動制御装置２１４は画像信号を液晶表示素子駆動回路２１５へ送り、撮像した画像を液晶表示素子２１６に表示させる。さらにまた、ボディ駆動制御装置２１４はレンズ駆動制御装置２０６へ絞り制御情報を伝達し、絞り開口の大きさを調節させる。

レンズ駆動制御装置２０６はフォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を変更する。具体的には、レンズ駆動制御装置２０６はレンズ２０８、２１０の位置と絞り２１１の位置をモニターし、モニター情報に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからモニター情報に応じたレンズ情報を選択する。また、レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量にしたがってモーターなどの駆動源（不図示）によりフォーカシングレンズ２１０を合焦点へと駆動する。さらに、レンズ駆動制御装置２０６は、受信した絞り制御情報にしたがってモーターなどの駆動源（不図示）により絞り２１１を駆動する。

図２は撮影画面上の焦点検出位置を示す図である。画面１００上の中央と左右の３箇所に焦点検出エリア１０１〜１０３が配置される。焦点検出画素は長方形で示す焦点検出エリアの長手方向に直線状に配列される。撮影者は、構図に応じて複数の焦点検出エリアから１つの焦点検出エリアを手動で選択する。

図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子上のひとつの焦点検出エリア近傍を拡大した図である。撮像素子２１２は撮像画素３１０と焦点検出画素３１１から構成される。撮像画素３１０は、図４に示すようにマイクロレンズ１０、光電変換部１１、色フィルター（不図示）から構成される。色フィルターは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光特性は図６に示す特性となっている。撮像素子２１２は、これらの色フィルターを備えた撮像画素３１０がベイヤー配列されている。

焦点検出画素３１１は、図５(ａ)に示すようにマイクロレンズ１０と光電変換部１２から構成される。焦点検出画素３１１の光電変換部１２は、正方形をした撮像画素３１０の光電変換部１１を垂直２等分線で分割した左半分と同一である。なお、撮像画素３１０のマイクロレンズ１０と焦点検出画素３１１のマイクロレンズ１０は同一である。図３に示すように、焦点検出用の焦点検出画素３１１は、撮像画素３１０の緑画素と青画素が配置されるべき行の青画素の位置に配置されており、焦点検出画素３１１の間には緑色フィルターの撮像画素（焦点検出兼用）が配置される。

図８は撮像画素３１０の断面図である。撮像画素３１０において、撮像用（一部の撮像画素３１０は焦点検出用と兼用）の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。色フィルター２０はマイクロレンズ１０と光電変換部１１の中間に配置される。

図９は焦点検出画素３１１の断面図である。焦点検出画素３１１において、焦点検出用の光電変換部１２の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１２が前方に投影される。光電変換部１２は半導体回路基板２９上に形成される。色フィルター２２はマイクロレンズ１０と光電変換部１１の中間に配置される。色フィルター２２の分光特性は緑画素の色フィルターと同一である。

ここで、図１０を参照してマイクロレンズを用いた瞳分割方式による焦点検出について説明する。図１０において、８０は交換レンズの予定結像面に配置されたマイクロレンズの前方ｄの距離に設定された射出瞳である。距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まり、以下では測距瞳距離と呼ぶ。９１は交換レンズの光軸、４０，４１，４２，４３はマイクロレンズ、５０，５２は焦点検出画素の光電変換部、５１，５３は撮像画素の光電変換部である。

マイクロレンズ４０と光電変換部５０とからなる画素と、マイクロレンズ４２と光電変換部５２とからなる画素が焦点検出画素である。また、マイクロレンズ４１と光電変換部５１とからなる画素と、マイクロレンズ４３と光電変換部５３とからなる画素が焦点検出兼用の撮像画素である。７０，７１、７２，７３は焦点検出光束、９２はマイクロレンズ４０、４２により投影された光電変換部５０，５２の領域（以下、測距瞳と呼ぶ）、９０はマイクロレンズ４１、４３により投影された光電変換部５１，５３の領域（測距瞳）である。

図１０においては、光軸９１近傍にある焦点検出画素と撮像画素を模式的に例示しているが、画面周辺にある焦点検出画素と撮像画素においても、光電変換部はそれぞれ測距瞳９０、９２から各マイクロレンズに到来する光束を受光する。焦点検出画素と撮像画素（焦点検出兼用）の配列方向は、測距瞳９０の重心と測距瞳９２の重心を結ぶ直線の方向と一致させる。

マイクロレンズ４０〜４３は光学系の予定結像面近傍に配置されており、マイクロレンズ４０、４２によりその背後に配置された光電変換部５０、５１の形状がマイクロレンズ４０、４２から測距瞳距離ｄだけ離間した射出瞳８０上に投影され、その投影形状は測距瞳９２を形成する。マイクロレンズ４０、４２に隣接して配置されたマイクロレンズ４１，４３によって、それらの背後に配置された光電変換部５１，５３の形状が測距瞳距離ｄだけ離間した射出瞳８０上に投影され、その投影形状は測距瞳９０を形成する。

すなわち、測距瞳距離ｄにある射出瞳８０上で各焦点検出画素の光電変換部の投影形状（測距瞳９２）が一致するとともに、各撮像画素（焦点検出兼用）の光電変換部の投影形状（測距瞳９０）が一致するように、各画素のマイクロレンズと光電変換部の位置関係が決定されている。

光電変換部５０は測距瞳９２を通過し、マイクロレンズ４０に向う焦点検出光束７０によりマイクロレンズ４０上に形成される像の強度に対応した信号を出力する。光電変換部５１は測距瞳９０を通過し、マイクロレンズ４１に向う焦点検出光束７１によりマイクロレンズ４１上に形成される像の強度に対応した信号を出力する。また、光電変換部５２は測距瞳９２を通過し、マイクロレンズ４２に向う焦点検出光束７２によりマイクロレンズ４２上に形成される像の強度に対応した信号を出力する。さらに、光電変換部５３は測距瞳９０を通過し、マイクロレンズ４３に向う焦点検出光束７３によりマイクロレンズ４３上に形成される像の強度に対応した信号を出力する。

このように、焦点検出画素と撮像画素（焦点検出兼用）を交互に直線状に多数配置し、各画素の光電変換部の出力信号を測距瞳９０および測距瞳９２に対応した出力グループにまとめることによって、測距瞳９０と測距瞳９２を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。測距瞳９０の重心と測距瞳９２の重心は互いに偏位しているので、測距瞳９０を通る光束が形成する像と測距瞳９２を通る光束が形成する像は、光学系のデフォーカス量に応じて光軸と直交する予定焦点面内において像ズレを発生する。

焦点検出画素から得られる像信号と撮像画素（焦点検出兼用）から得られる像信号に対して、後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割方式で一対の像の像ズレ量が検出される。そして、この像ズレ量に所定の変換処理を施すことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。

図１１は、図１に示す一実施の形態のデジタルスチルカメラ（撮像装置）の動作を示すフローチャートである。ステップ１００において、カメラの電源がＯＮされると、ボディ駆動制御装置２１４はステップ１１０以下の処理を開始する。ステップ１１０で、撮像画素のデータを間引き読み出しし、電子ビューファインダーに表示させる。

ステップ１２０では、焦点検出画素と撮像画素が交互に配置された画素配列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアはエリア選択操作部材を用いて撮影者により選択されているものとする。ステップ１３０で、読み出された一対の像データに基づいて像ズレ検出演算処理（相関演算処理；詳細後述）を行って像ズレ量を演算し、さらに像ズレ量をデフォーカス量に変換する。

ステップ１４０において、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置へ駆動させた後、ステップ１１０へ戻って上記動作を繰り返す。

なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近の間でスキャン駆動させた後、ステップ１１０へ戻って上記動作を繰り返す。

ステップ１４０で合焦近傍であると判定された場合はステップ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判定する。シャッターレリーズがなされていないと判定された場合はステップ１１０へ戻って上記動作を繰り返す。

一方、シャッターレリーズがなされたと判定された場合はステップ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）に設定させる。絞り制御が終了した時点で撮像素子２１２に撮像動作を行わせ、撮像素子２１２の全画素から画像データを読み出す。

ステップ１９０で、焦点検出画素位置の画素データを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。この画素補間処理については詳細を後述する。続くステップ２００では、撮像画素のデータおよび補間されたデータからなる画像データをメモリーカード２１９に保存した後、ステップ１１０へ戻って上述した動作を繰り返す。

次に、ステップ１３０における像ズレ検出演算処理（相関演算処理）の詳細について説明する。焦点検出画素および撮像画素（焦点検出兼用）により検出される一対の像は、測距瞳９０と測距瞳９２の大きさが約２倍異なるため、出力レベルも約２倍異なっている。図１２(ａ)は出力レベルが揃った一対の像４００、４０１が像ズレを起こした状態を示す。一方、図１２(ｂ)は出力レベルが異なる一対の像４０２、４０３が像ズレを起こした状態を示す。この一実施の形態では、図１２(ｂ)に示す状態でも像ズレ検出精度を維持できるタイプの相関演算を施す必要がある。

焦点検出画素および撮像画素（焦点検出兼用）から読み出された一対の像データ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対し、出力レベルが異なる一対の像データ列に対しても像ズレ検出精度を維持できる相関演算式により相関量Ｃ(ｋ)を演算する。
Ｃ(ｋ)＝Σ｜Ａ1n・Ａ2n+1+k−Ａ2n+k・Ａ1n+1｜ ・・・（１）
(１)式において、Σ演算はｎについて累積され、ｎのとる範囲は像ずらし量ｋに応じてＡ1n、Ａ1n+1、Ａ2n+k、Ａ2n+1+kのデータが存在する範囲に限定される。像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。

（１）式の演算結果は、図１３(ａ)に示すように、一対のデータの相関が高いシフト量（図１３(ａ)ではｋ＝ｋj＝２）において相関量Ｃ(ｋ)が極小（小さいほど相関度が高い）になる。次に、（２）式〜（５）式による３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ(ｘ)を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ ・・・（２），
Ｃ(ｘ)＝ Ｃ(ｋj)−｜Ｄ｜ ・・・（３），
Ｄ＝｛Ｃ(ｋj-1)−Ｃ(ｋj+1)｝／２ ・・・（４），
ＳＬＯＰ＝ＭＡＸ｛Ｃ(ｋj+1)−Ｃ(ｋj)，Ｃ(ｋj-１)−Ｃ(ｋj)｝ ・・・（５）

（２）式で算出されたずらし量ｘの信頼性があるか否かは、次のようにして判定する。図１３(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定の閾値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。

あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。図１３(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋmin〜ｋmaxの間で相関量Ｃ(ｋ)の落ち込みがない場合は、極小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。

なお、相関演算式としては（１）式に限定されず、出力レベルが異なる一対の像データ列に対しても像ズレ検出精度を維持できる相関式を利用することができる。

算出されたずらし量ｘの信頼性があると判定された場合は、（６）式により像ズレ量ｓｈｆｔに換算する。
ｓｈｆｔ＝ＰＹ・ｘ ・・・（６）
（６）式において、ＰＹは検出ピッチ（焦点検出画素のピッチ）である。（６）式で算出された像ズレ量に所定の変換係数ｋを乗じてデフォーカス量ｄｅｆへ変換する。
ｄｅｆ＝ｋ・ｓｈｆｔ ・・・（７）

ステップ１８０における画素補間処理について詳細に説明する。図１４は、焦点検出画素の位置の画素データを焦点検出画素の周囲にある撮像画素の画素データに基づいて補間する場合の説明図である。変数ｈ、ｖは、図３に示す２次元画素配置において水平方向および垂直方向の画素の位置を示すための変数である。

図１４に示すように、ｈ列目、ｖ行目にある焦点検出画素位置の画素データＢ(ｈ,ｖ)を、隣接している撮像画素の出力データに応じて補間する場合を考える。ｈ列目、ｖ行目の画素位置は本来青の撮像画素があるべき画素位置であるから、周囲にある６つの青の撮像画素の出力データの平均により、この画素位置の出力データを（８）式により補間する。
Ｂ(ｈ,ｖ)＝｛Ｂ(ｈ−２,ｖ−２)＋Ｂ(ｈ,ｖ−２)＋Ｂ(ｈ＋２,ｖ−２)＋Ｂ(ｈ−２,ｖ＋２)＋Ｂ(ｈ,ｖ＋２)＋Ｂ(ｈ＋２,ｖ＋２)｝／６ ・・・（８）
上記（８）式をすべての焦点検出画素の位置に対して施すことによって、画素補間処理がなされる。

図３に示すような焦点検出画素の配列では、１つの画素に１つの光電変換部を配置しているので、撮像素子の回路構成が複雑化するのを防止することができる。また、焦点検出画素および撮像画素（焦点検出兼用）による像信号のサンプリングピッチを１画素置きのピッチにしているので、像ズレ検出精度を維持することができ、さらに画素補間処理は１画素置きに施されるので画像品質の劣化を防止することができる。

《発明の他の実施の形態》
図１５は変形例の撮像素子２１２Ａの詳細な構成を示す正面図であり、撮像素子上のひとつの焦点検出エリア付近を拡大して示す。この変形例の撮像素子２１２Ａでは、図３に示す撮像画素３１０（緑画素）と焦点検出画素３１１から構成される焦点検出画素配列の他に、撮像画素３１０（緑画素）と焦点検出画素３１２から構成される焦点検出画素配列を備えている。

焦点検出画素３１２は、基本的な構成は焦点検出画素３１１と同一であり、図５(ｂ)に示すようにマイクロレンズ１０、光電変換部１２からなり、色フィルターの分光特性は緑画素の色フィルターと同一である。焦点検出画素３１２の光電変換部１３は、正方形をした撮像画素３１０の光電変換部１１を垂直２等分線で分割した右半分と同一である。焦点検出画素３１２に対応する測距瞳は、図１０に示す射出瞳８０において光軸９１に対して測距瞳９２と対称な領域になる。

焦点検出用の焦点検出画素３１２は、撮像画素３１０（緑画素）と焦点検出画素３１１から構成される焦点検出画素配列の近傍にある撮像画素３１０の緑画素と青画素が配置されるべき行の青画素の位置に配置されている。

画面周辺における焦点検出エリアにおいては、交換レンズの絞り開口の射出瞳（絞り開口より後方にあるレンズによって形成される絞り開口の虚像）の位置が、図１０に示す測距瞳距離に対して前方または後方にある場合、光軸に対して周辺に位置する焦点検出光束が非対称にケラレて焦点検出精度に悪影響を与える。しかし、この変形例の撮像素子２１２Ａのような構成によれば、画面周辺における焦点検出エリアでこのようなケラレが生じた場合でも、交換レンズの絞り開口により焦点検出画素３１１の射出瞳または焦点検出画素３１２の射出瞳のどちらかはケラレの影響が他方より少なくなるので焦点検出精度を維持することができる。

図１６は他の変形例の撮像素子２１２Ｂの詳細な構成を示す正面図であり、撮像素子上のひとつの焦点検出エリア近傍を拡大して示す。図３に示す撮像画素３１０（緑画素）と焦点検出画素３１１から構成される焦点検出画素配列の他に、撮像画素３１０（赤画素）と焦点検出画素３１３から構成される焦点検出画素配列と、撮像画素３１０（青画素）と焦点検出画素３１４によるから構成される焦点検出画素配列とを備えている。焦点検出画素３１３は、基本的な構成は焦点検出画素３１１と同一であり、色フィルターの分光特性は赤画素の色フィルターと同一である。焦点検出画素３１４は、基本的な構成は焦点検出画素３１１と同一であり、色フィルターの分光特性は青画素の色フィルターと同一である。

焦点検出画素３１３は、撮像画素３１０（緑画素）と焦点検出画素３１１から構成される焦点検出画素配列の近傍にある撮像画素３１０の緑画素と赤画素が配置されるべき行の緑画素の位置に配置されている。焦点検出画素３１４は、撮像画素３１０（緑画素）と焦点検出画素３１１から構成される焦点検出画素配列の近傍にある撮像画素３１０の緑画素と青画素が配置されるべき行の緑画素の位置に配置されている。

図１７は、図１６に示す構成において、緑画素と青画素が配置されるべき行に配置された焦点検出画素３１４の位置（緑画素）の画素データを焦点検出画素の周囲にある撮像画素の画素データに基づいて補間する場合の説明図である。変数ｈ、ｖは、図３に示す２次元画素配置において水平方向および垂直方向の画素の位置を示すための変数である。

図１７に示すようにｈ列目、ｖ行目にある焦点検出画素位置の画素データＧ(ｈ−１, ｖ)を隣接している撮像画素の出力データに応じて補間する場合を考える。ｈ−１列目、ｖ行目の画素位置は本来緑の撮像画素があるべき画素位置であるから、周囲にある４つの緑の撮像画素の出力データの平均によってこの画素位置の出力データを（９）式により補間する。
Ｇ(ｈ−１,ｖ)＝｛Ｇ(ｈ−２,ｖ−１)＋Ｇ(ｈ,ｖ−１)＋Ｇ(ｈ−２,ｖ＋１)＋Ｇ(ｈ,ｖ＋１)｝／４ ・・・（９）

緑画素と赤画素が配置されるべき行に配置された焦点検出画素３１３の位置（緑画素）の画素データも同様に、焦点検出画素の周囲にある撮像画素の画素データに基づいて補間することができる。

図３に示す構成においては像ズレ検出を緑成分の像信号で行っていたが、図１６に示す構成によれば、像ズレ検出を緑成分の像信号の他に赤成分の像信号および青成分の像信号でも行うことができるので、被写体の色によらず焦点検出を行うことができる。

図１８は他の変形例の撮像素子２１２Ｃの詳細な構成を示す正面図であり、撮像素子上のひとつの焦点検出エリア近傍を拡大して示す。図３に示す撮像画素３１０（緑画素）と焦点検出画素３１１から構成される焦点検出画素配列（青画素と緑画素が配列される行）の他に、撮像画素３１０（緑画素）と焦点検出画素３１５から構成される焦点検出画素配列（赤画素と緑画素が配列される列）とを備えている。焦点検出画素３１５は、焦点検出画素３１１を９０度回転した構造であり、基本的な構成は焦点検出画素３１１と同一であり、色フィルターの分光特性は緑画素の色フィルターと同一である。

撮像画素３１０（緑画素）と焦点検出画素３１５から構成される焦点検出画素配列は、垂直方向で像ズレ検出を行う。撮像画素３１０（緑画素）と焦点検出画素３１１から構成される焦点検出画素配列（青画素と緑画素が配列される行）と、撮像画素３１０（緑画素）と焦点検出画素３１５から構成される焦点検出画素配列（赤画素と緑画素が配列される列）とを、緑画素の位置で交差させることによって、２つの配列の交差を実現することができる。

図１８に示す撮像素子２１２Ｃのような構成により、直交する２方向で像ズレ検出を行うことができ、被写体パターンの方向性によらず確実に焦点検出を行うことができる。

上述した一実施の形態では、焦点検出画素には隣接する撮像画素と同じ分光特性の色フィルターを備えた例を示したが、低輝度において光量をかせぐために、焦点検出画素に色フィルターを設置しないようにしてもよい。このような場合には、焦点検出画素は図７に示すような分光特性を備え、図６に示す緑画素、赤画素、青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素、青画素の感度の光波長領域を包括している。

このような構成においては、焦点検出画素と撮像画素の分光感度に異なる部分ができるため、被写体の色によっては焦点検出精度が若干低下するが、焦点検出画素信号の出力レベルが撮像画素信号の出力レベルに近づくため、低輝度性能が向上する。

（８）式の画素補間においては、青画素位置の画像データを周囲の青画素の画像データの平均として求めているが、これ以外の方法で青画素位置の画像データを補間するようにしてもかまわない。例えば図１４において、青画素位置の近傍の領域における青画素成分と緑画素成分の比率と等しくなるように、青画素位置の画素データを（１０）式のように補間することができる。
Ｂ(ｈ,ｖ)＝｛Ｇ(ｈ,ｖ−１)＋Ｇ(ｈ＋１,ｖ)＋Ｇ(ｈ,ｖ＋１)＋Ｇ(ｈ−１,ｖ)｝・｛Ｂ(ｈ,ｖ−２)／｛Ｇ(ｈ,ｖ−３)＋Ｇ(ｈ＋１,ｖ−２)＋Ｇ(ｈ,ｖ−１)＋Ｇ(ｈ−１,ｖ−２)｝＋Ｂ(ｈ,ｖ＋２)／｛Ｇ(ｈ,ｖ＋１)＋Ｇ(ｈ＋１,ｖ＋２)＋Ｇ(ｈ,ｖ＋３)＋Ｇ(ｈ−１,ｖ＋２)｝｝／２ ・・・（１０）

図３に示す撮像素子２１２では、撮像画素がベイヤー配列の色フィルターを備えた例を示したが、色フィルターの構成や配列はこれに限定されることはなく、補色フィルター（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列を採用してもよい。

図４、図５において、撮像画素と焦点検出画素の光電変換部の形状を矩形とした例を示したが、光電変換部の形状はこれに限定されず、円形や他の形状であってもよい。

図３に示す撮像素子２１２では撮像画素、焦点検出画素を稠密正方格子配列に配置した例を示したが、稠密六方格子配列に配置してもよい。

本発明はＣＣＤイメージセンサ、ＣＭＯＳイメージセンサのどちらに対しても適用することができる。

撮像装置は交換レンズとカメラボディから構成されるデジタルスチルカメラやフィルムスチルカメラに限定されず、レンズ一体型のデジタルスチルカメラやフィルムスチルカメラ、あるいはビデオカメラにも適用できる。さらには、携帯電話などに内蔵される小型カメラモジュールや、監視カメラやロボット用の視覚認識装置や車載カメラなどにも適用できる。また、カメラ以外の焦点検出装置や測距装置やステレオ測距装置にも適用できる。

一実施の形態の撮像素子とデジタルスチルカメラ（撮像装置）の構成を示す図 撮影画面上の焦点検出位置を示す図 撮像素子の詳細な構成を示す正面図 撮像用画素の構成を示す正面図 焦点検出用画素の構成を示す正面図 撮像用画素の分光特性を示す図 焦点検出用画素の分光特性を示す図 撮像用画素の構造を示す断面図 焦点検出用画素の構造を示す断面図 マイクロレンズを用いた瞳分割方式による焦点検出について説明するための図 一実施の形態のデジタルスチルカメラ（撮像装置）の動作を示すフローチャート 一対の像信号のズレを示す図 焦点検出結果の信頼性の判定方法を説明するための図 焦点検出画素の位置の画素データを焦点検出画素の周囲にある撮像画素の画素データに基づいて補間する場合の説明図 変形例の撮像素子の詳細な構成を示す正面図 他の変形例の撮像素子の詳細な構成を示す正面図 変形例の撮像素子に対する画像データの補間方法を説明するための図 他の変形例の撮像素子の詳細な構成を示す正面図

符号の説明

１０；マイクロレンズ、１１〜１３；光電変換部、２０１；撮像装置、２０２；交換レンズ、２１２、２１２Ａ〜２１２Ｃ；撮像素子、２１２ａ；出力部、２１４；ボディ駆動制御装置、３１０；撮像用画素、３１１，３１２；焦点検出用画素

Claims (7)

1. 撮影光学系の予定結像面において二次元に配列され、撮像信号を出力する撮像画素と、撮像兼焦点検出信号を出力する撮像兼焦点検出画素と、焦点検出信号を出力する焦点検出画素とを有し、前記撮像画素の配列中に、前記撮像兼焦点検出画素と前記焦点検出画素とが直線上に交互に配列され、前記撮像画素と前記撮像兼焦点検出画素との各々は、前記撮影光学系の射出瞳の光軸を中心とした領域を通過する光束を受光する光電変換部を有し、 前記焦点検出画素は、前記撮影光学系の射出瞳の光軸に対して偏った領域を通過する光束を受光する光電変換部を有する撮像素子と、
   前記撮像兼焦点検出画素の撮像兼焦点検出信号列と前記焦点検出画素の焦点検出信号列とに、出力レベルが異なる一対の信号列に対してもズレ量検出精度を維持できる相関演算を施して、前記撮像兼焦点検出信号列と前記焦点検出信号列とのズレ量を算出し、前記ズレ量に基づき前記撮影光学系の焦点調節状態を検出する焦点検出手段と、
   前記撮像画素の撮像信号と前記撮像兼焦点検出画素の撮像兼焦点検出信号とに基づき画像データを生成する画像データ生成手段と、を備えることを特徴とする撮像装置。
2. ２次元状に配列され、撮像信号を出力する撮像画素と、前記撮像画素の配列中に一方向に互いに交互に配列され、撮像兼焦点検出信号及び焦点検出信号をそれぞれ出力する撮像兼焦点検出画素及び焦点検出画素とを有し、前記撮像画素と前記撮像兼焦点検出画素の各々は、撮影光学系の光軸を中心とした領域を通過する光束を受光する光電変換部を有し、前記焦点検出画素は、前記撮影光学系の光軸に対して偏った領域を通過する光束を受光する光電変換部を有する撮像素子と、
   前記一方向に配列された撮像兼焦点検出画素の撮像兼焦点検出信号列と前記一方向に配列された焦点検出画素の焦点検出信号列との相関演算を行って前記撮像兼焦点検出信号列と前記焦点検出信号列とのズレ量を算出し、前記ズレ量に基づき前記撮影光学系の焦点調節状態を検出する焦点検出手段と、
   前記撮像画素の撮像信号と前記撮像兼焦点検出画素の撮像兼焦点検出信号とに基づき画像データを生成し、前記画像データを記録する記録手段と、を備え、
   前記撮像画素は、分光感度が異なる第１、第２、及び第３の撮像画素を有し、
   前記撮像兼焦点検出画素及び前記焦点検出画素は、前記第１の撮像画素と同一の分光感度を有することを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記撮像画素と前記撮像兼焦点検出画素と前記焦点検出画素との各々は、１個のマイクロレンズを有し、
   前記撮像画素のマイクロレンズ及び光電変換部と前記撮像兼焦点検出画素のマイクロレンズ及び光電変換部は、それぞれ同一の構造であることを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記撮像画素は、分光感度が異なる第１、第２、及び第３の撮像画素を有し、
   前記撮像兼焦点検出画素及び前記焦点検出画素は、前記第１の撮像画素と同一の分光感度を有することを特徴とする撮像装置。
5. 請求項１〜４のいずれか１項に記載の撮像装置において、
   前記撮像素子は、前記撮像兼焦点検出画素と前記焦点検出画素とが直線上に交互に配列された第１列と、前記第１列に直交するように前記撮像兼焦点検出画素と前記焦点検出画素とが直線上に交互に配列された第２列とを有し、
   前記第１列と前記第２列との交点には、前記撮像兼焦点検出画素が位置していることを特徴とする撮像装置。
6. 請求項２または請求項４に記載の撮像装置において、
   前記撮像画素のうちの前記第１の画素の配置密度が、前記第２及び第３の画素の配置密度よりも高く、
   前記撮像兼焦点検出画素は前記第１の画素と同一の構造であることを特徴とする撮像装置。
7. 請求項１〜６のいずれか１項に記載の撮像装置において、
   前記焦点検出画素の位置の画像信号を、前記焦点検出画素の周辺に位置する前記撮像画素の出力信号を用いて補間する補間手段を備えることを特徴とする撮像装置。

Images