Nothing Special   »   [go: up one dir, main page]

JP2010026177A - 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム - Google Patents

位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム Download PDF

Info

Publication number
JP2010026177A
JP2010026177A JP2008186401A JP2008186401A JP2010026177A JP 2010026177 A JP2010026177 A JP 2010026177A JP 2008186401 A JP2008186401 A JP 2008186401A JP 2008186401 A JP2008186401 A JP 2008186401A JP 2010026177 A JP2010026177 A JP 2010026177A
Authority
JP
Japan
Prior art keywords
phase difference
image
pixel
difference detection
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008186401A
Other languages
English (en)
Other versions
JP5317562B2 (ja
Inventor
Makoto Oikawa
真 追川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008186401A priority Critical patent/JP5317562B2/ja
Priority to US12/503,974 priority patent/US8149324B2/en
Priority to EP09165708.0A priority patent/EP2146500B1/en
Priority to CN200910159178XA priority patent/CN101630110B/zh
Publication of JP2010026177A publication Critical patent/JP2010026177A/ja
Application granted granted Critical
Publication of JP5317562B2 publication Critical patent/JP5317562B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】ゲイン差のある一対の像信号についても、位相差検出誤差が生じにくい位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラムを提供する。
【解決手段】一対の光学像から得られるAB像の比較結果としてA像とB像との比を求め、画素に得られるこの比を統計的にばらつき評価するために分散値を求める。この分散値によるばらつき評価を、A像とB像との位相をずらしながら各位相差毎に行い、このばらつきの評価結果に基づいて、位相差検出を行う。
【選択図】図23

Description

本発明は、カメラ、ビデオカメラ等の撮像装置に用いることができる位相差検出装置、これを備える撮像装置と、位相差検出方法、位相差検出プログラムに関するものである。
従来から撮像装置では、自動焦点(AF)動作させるために撮影レンズの焦点状態の検出が行われている。例えば、撮影レンズの焦点状態に応じて相対位置関係が変わる一対の像信号の位相差から、撮影レンズの焦点状態を検出する焦点検出方法が知られている。
一対の像信号から得られる所定の定義量(以下、相関量と称す)に基づいて、一対の像信号の位相差を検出する方法が特許文献1に開示されている。特許文献1では、第1と第2の出力信号のうち少なくとも1つの出力信号の一部の勾配を検出する。そして、その勾配に従って第1の結果信号を発生する要素と、第1の出力信号と第2の出力信号との大きさの差を検出する。検出した差に従って第2の結果信号を発生する要素を定義し、第1の結果信号に第2の結果信号を掛け合わせたもの相関量として定義し、その相関量に基づいて一対の像信号の位相差を検出している。
また、撮影レンズの異なる瞳領域を透過した光束により形成される一対の像信号の位相差から、撮影レンズの焦点状態を検出するTTL方式の位相差方式の焦点検出装置が特許文献2に開示されている。特許文献2では、一対の像信号の差の絶対和を相関量として定義し、その相関量に基づいて一対の像信号の位相差を検出している。
さらに、外測タイプの位相差方式焦点検出方法が特許文献3に開示されている。
特公昭62―39722号公報 特開昭63−264715号公報 特開2004−12601号公報
しかし、従来の位相差検出方式では、以下に掲げる問題があった。
撮影レンズの光軸中心から離れた位置では、撮影レンズの口径食等により一対の像信号に不均等な光量落ちが発生し、二つの像信号の間にゲイン差が生じてしまう。ゲイン差がある二つの像信号の位相差を検出しようとすると、両者の一致度が悪くなることで検出がし難くなるばかりでなく、像信号のパターンによっては検出誤差が生じてしまうという問題があった。
図35Aは、ゲイン差がある場合の二つの像信号の波形を示した図である。
この図35Aでは、視野の左半分が黒く、右半分が白く、その境界部では黒から白へ徐々に切り替わっていくようなグラデーションパターンを有する被写体を捕らえた場合を示している。また、図35Aでは、二つの像信号の位相差はない状態を示している。
ここで、この図35Aに示す二つの像信号が得られたときに、特許文献1及び特許文献2に開示されている相関量により位相差検出を行った場合を想定する。この場合、二つの像信号間に生じたゲイン差と、二つの像信号間の位相差とを区別できない。よって、横ずれした位置で二つの像は一致していると勘違いしてしまう。
図35Bは、ゲイン差がある場合従来の位相差検出を行ったときに二つの像信号が一致すると判断を誤ったときの波形を示した図である。
従来の技術では、図35Bにハッチングを付して示した領域が相関量に相当し、これが最小となる図35Bの状態で二つの像信号が一致すると判断してしまう。よって、従来の相関量により位相差検出を行った場合には、図35Bに示すように、レベル差の影響を受けて横ずれした位置で二つの像は一致していると勘違いしてしまう。そのため、二つの像信号の位相差検出結果にずれが生じてしまうという問題があった。
ここで、例えば、この不均等な光量落ちの量を把握しておき、補正するという方法も考えられる。しかし、撮影レンズの製造ばらつきよる口径食のずれ、撮影レンズのズーム・フォーカス駆動時のガタによる口径食のずれ、一対の光学像を形成するレンズ系の製造ばらつきによる開口率のずれ等は存在する。したがって、これら様々な要因によりゲイン補正に誤差が残ってしまい、結果として図35Aに示すようなゲイン差が生じてしまうおそれがあった。このような補正残りがある場合には、やはり二つの像信号の位相差検出結果にずれが生じてしまうという問題があった。
本発明の課題は、ゲイン差のある一対の像信号についても、位相差検出誤差が生じにくい位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラムを提供することである。
本発明の第1の側面としての位相差検出装置は、レンズ部と、受光した光を光電変換する画素が複数並べて配列され、前記レンズ部を介して受光した少なくとも一対の光学像を光電変換して少なくとも一対の像信号を生成する光電変換手段と、前記光電変換手段が生成する前記一対の像信号の分布位置を演算上で順次相対的に変位させながら各相対変位位置で前記画素毎に対応する部分で前記一対の像信号を形成する各信号同士を比較して、前記画素毎の比較結果を出力する比較手段と、前記比較手段が出力する前記画素毎の比較結果の統計的ばらつきを前記各相対変位位置で算出して数値化するばらつき算出手段と、前記各相対変位位置の変位に応じて前記ばらつき算出手段が数値化した前記統計的ばらつきに基づいて前記一対の像信号の位相差を算出する位相差算出手段とを備える。
本発明の第2の側面としての撮像装置は、本発明の第1の側面としての位相差検出装置と、前記位相差検出装置の位相差検出結果に基づいて焦点調節動作を行う撮影光学系と、前記撮影光学系により得られる被写体像を撮像する撮像素子とを備える。
本発明の第3の側面としての位相差検出方法は、レンズ部を介して受光した少なくとも一対の光学像を複数並べて配列された画素により光電変換して少なくとも一対の像信号を生成し、生成された前記一対の像信号の分布位置を演算上で順次相対的に変位させながら各相対変位位置で前記画素毎に対応する部分で前記一対の像信号を形成する各信号同士を比較して、前記画素毎の比較結果を出力し、前記比較結果の統計的ばらつきを前記各相対変位位置で算出して数値化し、前記各相対変位位置の変位に応じて前記ばらつき算出手段が数値化した前記統計的ばらつきに基づいて前記一対の像信号の位相差を算出する。
本発明の第4の側面としての位相差検出プログラムは、レンズ部と、受光した光を光電変換する画素が複数並べて配列され、前記レンズ部を介して受光した少なくとも一対の光学像を光電変換して少なくとも一対の像信号を生成する光電変換手段と、を備えた位相差検出装置のコンピュータを、前記光電変換手段が生成する前記一対の像信号の分布位置を演算上で順次相対的に変位させながら各相対変位位置で前記画素毎に対応する部分で前記一対の像信号を形成する各信号同士を比較して、前記画素毎の比較結果を出力する比較手段と、前記比較手段が出力する前記画素毎の比較結果の統計的ばらつきを前記各相対変位位置で算出して数値化するばらつき算出手段と、前記各相対変位位置の変位に応じて前記ばらつき算出手段が数値化した前記統計的ばらつきに基づいて前記一対の像信号の位相差を算出する位相差算出手段として機能させるためのプログラムである。
本発明によれば、ゲイン差のある一対の像信号についても、位相差検出誤差が生じにくい位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラムを提供できる。
以下、本発明を実施するための最良の形態について図面等を参照して説明する。
なお、図1を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張して示している。
また、以下の説明では、具体的な数値、形状、動作等を示して説明を行うが、これらは、適宜変更することができる。
さらに、以下の説明中で上下(又は縦)、左右(又は横)、前後等の方向を表す文言は、特に断りがない限り、カメラを正位置としたときを基準としている。上下とは、カメラが正位置における上下であり、左右とは、カメラを構える撮影者がカメラ背面から見たときに右手側を右とし、前後とは、被写体側を前としている。
ここで、正位置とは、撮影者が通常の状態でカメラを保持したとき、すなわち、撮影光学系の光軸が水平であり、かつ、撮影画面の長手方向が水平方向となる状態でカメラが保持されたときの位置を指すものとする。
(第1実施形態)
図1Aは、本発明による位相差検出装置を用いたカメラの第1実施形態の構成を示す図である。
第1実施形態のカメラは、撮像素子を有したカメラ本体と撮影光学系TLとが一体となった撮像装置としてのデジタルカメラである。
第1実施形態のカメラは、第1レンズ群101、絞り兼用シャッタ102、第2レンズ群103、第3レンズ群105、ローパスフィルタ106、撮像素子107、ズームアクチュエータ111、絞りシャッタアクチュエータ112、フォーカスアクチュエータ114、電子フラッシュ115、AF補助光手段116、CPU121、電子フラッシュ制御回路122、補助光駆動回路123、撮像素子駆動回路124、画像処理回路125、フォーカス駆動回路126、ズーム駆動回路129、表示器131、操作スイッチ群132、着脱可能なフラッシュメモリ133を備えている。
第1レンズ群101は、撮影光学系(結像光学系)の先端(被写体側)に配置されたレンズ群であり、光軸方向に進退可能に保持される。
絞り兼用シャッタ102は、その開口径を調節することで撮影時の光量調節を行なう他、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。
第2レンズ群103は、第1レンズ群101及び絞り兼用シャッタ102よりも撮像素子107側に配置されたレンズ群である。
絞り兼用シャッタ102及び第2レンズ群103は、一体となって光軸方向に進退し、第1レンズ群101の進退動作との連動により、変倍作用(ズーム機能)を生じる。
第3レンズ群105は、第2レンズ群103よりも撮像素子107側に配置されたレンズ群であり、光軸方向の進退により、焦点調節を行なうフォーカスレンズ群として機能する。
ローパスフィルタ106は、撮影画像の偽色やモアレを軽減する光学素子からなる光学的ローパスフィルタである。
撮像素子107は、CMOS(Complementary Metal Oxide
Semiconductor)イメージセンサとその周辺回路で構成された光電変換手段である。撮像素子107は、横方向m画素、縦方向n画素の画素(受光ピクセル)が複数並べて配列され、この画素上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、2次元単板カラーセンサが用いられる。本実施形態の撮像素子は、被写体像から撮像用の画像データの作成に用いる撮像用像信号を生成する撮像用画素と、この撮像用画素の間に一定の間隔を開けて分散配置された位相差検出用画素とを有している。これらの詳細については後述する。
ズームアクチュエータ111は、ステッピングモータ等で形成され、不図示のカム筒に回転させる駆動力を発生し、第1レンズ群111から第3レンズ群103を光軸方向に進退駆動し、変倍操作を行なう。
絞りシャッタアクチュエータ112は、電磁コイルとマグネットとを利用した電磁駆動アクチュエータ等で形成され、絞り兼用シャッタ102の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。
フォーカスアクチュエータ114は、ステッピングモータ等で形成され、第3レンズ群105を光軸方向に進退駆動して焦点調節を行なう。
電子フラッシュ115は、撮影時の被写体照明用の光源であり、キセノン管を用いた閃光照明装置でもよいし、連続発光するLED(Light Emitting Diode)を備えた照明装置を用いてもよい。
AF補助光手段116は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。
CPU121は、カメラ本体の種々の動作を統括的に制御するカメラ内CPUであり、不図示の演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有している。CPU121は、ROMに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、焦点検出、AF動作、撮影、画像処理と記録等の一連の動作を実行する。
また、CPU121には、位相差検出回路150が含まれている。
位相差検出回路150は、フォーカス駆動回路126が行う焦点調節動作(AF動作)等に用いる焦点検出を、後述する位相差検出によって行う。なお、本実施形態では、位相差検出回路150は、CPU121内に含まれ、CPU121が有する機能の一つとして実現されるが、CPU121とは別の回路として構成してもよい。
図1Bは、位相差検出回路150に関連する部分を抜き出して示したブロック図である。
位相差検出回路150は、比較手段151、ばらつき算出手段152、位相差算出手段153、補正手段154を有している。
比較手段151は、撮像素子107が生成する一対の像信号(後述)の分布位置を演算上で順次相対的に変位させる。そして、変位させた各相対変位位置で画素毎に対応する画素同士の部分で、一対の像信号を形成する各信号同士を比較し、その比較結果を出力する。本実施形態では、一対の像信号を形成する各信号同士の比を比較結果として出力するが、各信号同士の差を比較結果として出力してもよい。
ばらつき算出手段152は、比較手段151が出力する画素毎の比較結果の統計的ばらつきを各相対変位位置で算出して数値化する。本実施形態では、後述する分散値を統計的ばらつきとして求める。
位相差算出手段153は、各相対変位位置の変位に応じてばらつき算出手段152が数値化した統計的ばらつきである分散値に基づいて、一対の像信号の位相差を算出する。位相差算出手段153が算出した位相差は、CPU121へ送られ、フォーカス駆動回路126が行うAF動作等に利用される。
補正手段154は、各相対変位位置の変位に応じてばらつき算出手段152が数値化した統計的ばらつきである分散値に基づいて、一対の像信号の信号レベルを補正する。本実施形態では、補正手段154は、分散値が最小となる相対変位位置に基づいて、一対の像信号の信号レベルを補正する。
図1Aに戻って、電子フラッシュ制御回路122は、撮影動作に同期して照明手段115を点灯制御する。
補助光駆動回路123は、焦点検出動作に同期してAF補助光手段116を点灯制御する。
撮像素子駆動回路124は、撮像素子107の撮像動作を制御するとともに、取得した画像信号をA/D変換してCPU121に送信する。
画像処理回路125は、撮像素子107が取得した画像のγ変換、カラー補間、JPEG圧縮等の処理を行なう。
フォーカス駆動回路126は、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に進退駆動して焦点調節を行なう。
シャッタ駆動回路128は、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。
ズーム駆動回路129は、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。
表示器131は、LCD(Liquid Crystal Display)等により形成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。
操作スイッチ群132は、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成されている。
フラッシュメモリ133は、着脱可能な記憶媒体であり、撮影済み画像を記録する。
図2は、本発明の撮像素子の回路構成の概略を示す図である。
本実施形態の撮像素子107の基本的な構成は、特開平09−046596号公報等に開示された技術と同様である。
図2では、2次元の撮像素子107(CMOSイメージセンサ)の2列×4行画素の範囲を示したものであるが、実際の撮像素子107では、図2に示した画素を多数配置し、高解像度画像の取得が可能である。本実施形態においては、画素ピッチが2μm、有効画素数が横3000列×縦2000行=600万画素、撮像画面サイズが横6mm×縦4mmの撮像素子として説明を行なう。
撮像素子107は、MOSトランジスタゲートとゲート下の空乏層からなる光電変換素子の光電変換部(PD:フォトダイオード)1、フォトゲート2、転送スイッチMOSトランジスタ3、リセット用MOSトランジスタ4、ソースフォロワアンプMOSトランジスタ5、水平選択スイッチMOSトランジスタ6、ソースフォロワの負荷MOSトランジスタ7、暗出力転送MOSトランジスタ8、明出力転送MOSトランジスタ9、暗出力蓄積容量CTN10、明出力蓄積容量CTS11、水平転送MOSトランジスタ12、水平出力線リセットMOSトランジスタ13、差動出力アンプ14、水平走査回路15、垂直走査回路16を有している。
図3は、画素部(光電変換部1)の断面図である。
撮像素子107は、さらに、P型ウェル17、ゲート酸化膜18、一層目ポリSi19、二層目ポリSi20、nフローティングディフュージョン(FD)部21を有している。
FD部21は、別の転送MOSトランジスタを介して別の光電変換部と接続される。図3において、2つの転送MOSトランジスタ3のドレインとFD部21を共通化して微細化とFD部21の容量低減による感度向上を図っているが、Al配線でFD部21を接続しても良い。
図4は、撮像素子の駆動タイミングチャートである。
図4のタイミングチャートは、全画素独立出力の場合を示している。
図4を用いて本実施形態の撮像素子の動作を説明する。
まず、垂直走査回路16からのタイミング出力によって、制御パルスφLをハイとして垂直出力線をリセットする。また制御パルスφR,φPG00,φPGe0をハイとし、リセット用MOSトランジスタ4をオンとし、フォトゲート2の一層目ポリSi19をハイとしておく。時刻Tにおいて、制御パルスφSをハイとし、選択スイッチMOSトランジスタ6をオンさせ、第1,第2ラインの画素部を選択する。次に制御パルスφRをローとし、FD部21のリセットを止め、FD部21をフローティング状態とし、ソースフォロワアンプMOSトランジスタ5のゲート・ソース間をスルーとした後、時刻Tにおいて制御パルスφTをハイとし、FD部21の暗電圧をソースフォロワ動作で蓄積容量CTN10に出力させる。
次に、第1ラインの画素の光電変換出力を行なうため、第1ラインの制御パルスφTX00をハイとして転送スイッチMOSトランジスタ3を導通した後、時刻Tにおいて制御パルスφPG00をローとして下げる。この時フォトゲート2の下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをFD部21に完全転送させるような電圧関係が好ましい。従って完全転送が可能であれば制御パルスφTXはパルスではなくある固定電位でもかまわない。
時刻Tでフォトダイオードの光電変換部1からの電荷がFD部21に転送されることにより、FD部21の電位が光に応じて変化することになる。この時ソースフォロワアンプMOSトランジスタ5がフローティング状態であるので、FD部21の電位を時刻Tにおいて制御パルスφTをハイとして蓄積容量CTS11に出力する。この時点で第1ラインの画素の暗出力と光出力はそれぞれ蓄積容量CTN10とCTS11に蓄積されおり、時刻Tの制御パルスφHCを一時ハイとして水平出力線リセットMOSトランジスタ13を導通して水平出力線をリセットし、水平転送期間において水平走査回路15の走査タイミング信号により水平出力線に画素の暗出力と光出力を出力される。この時、蓄積容量CTN10とCTS11の差動増幅器14によって、差動出力VOUTを取れば、画素のランダムノイズ、固定パターンノイズを除去したS/Nの良い信号が得られる。また画素30−12、30−22の光電荷は画素30−11、30−21と同時に夫々の蓄積容量CTN10とCTS11に蓄積されるが、その読み出しは水平走査回路15からのタイミングパルスを1画素分遅らして水平出力線に読み出して差動増幅器14から出力される。
本実施形態では、差動出力VOUTをチップ内で行なう構成を示しているが、チップ内に含めず、外部で従来のCDS(Correlated Double Sampling:相関二重サンプリング)回路を用いても同様の効果が得られる。
蓄積容量CTS11に明出力を出力した後、制御パルスφRをハイとしてリセット用MOSトランジスタ4を導通しFD部21を電源VDDにリセットする。第1ラインの水平転送が終了した後、第2ラインの読み出しを行なう。第2ラインの読み出しは、制御パルスφTXe0,制御パルスφPGe0を同様に駆動させ、制御パルスφT、φTに夫々ハイパルスを供給して、蓄積容量CTN10とCTS11に夫々光電荷を蓄積し、暗出力及び明出力を取り出す。以上の駆動により、第1,第2ラインの読み出しが夫々独立に行なえる。この後、垂直走査回路を走査させ、同様に第2n+1,第2n+2(n=1,2,…)の読み出しを行なえば全画素独立出力が行なえる。即ち、n=1の場合は、まず制御パルスφSをハイとし、次にφRをローとし、続いて制御パルスφT、φTX01をハイとし、制御パルスφPG01をロー、制御パルスφTをハイ、制御パルスφHCを一時ハイとして画素30−31,30−32の画素信号を読み出す。続いて、制御パルスφTXe1,φPGe1及び上記と同様に制御パルスを印加して、画素30−41,30−42の画素信号を読み出す。
次に、図5から図7を用いて、撮像用画素と焦点検出用画素の構造を説明する。本実施形態においては、2行×2列の4画素のうち、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則に従って分散配置されている。
図5は、撮像用画素の配置と構造を示す図である。
図5(a)は、2行×2列の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にG画素が、他の2画素にRとBの画素が配置される。そして、この2行×2列の構造が繰り返し配置される。
図5(b)は、図5(a)のA−A断面を示している。
撮像素子107は、さらに、各画素の最前面に配置されたオンチップマイクロレンズML、R(Red)のカラーフィルタCF、G(Green)のカラーフィルタCFを有している。また、図5(b)では、図3で説明した撮像素子107の光電変換部を模式的にPD(フォトダイオード)として示している。さらに、図5(b)には、撮像素子107内の各種信号を伝達する信号線を形成するための配線層CLと、撮影光学系TLを模式的に示している。
ここで、撮像用画素のオンチップマイクロレンズMLと光電変換部PDは、撮影光学系MLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系TLの射出瞳EPと光電変換部PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換部の有効面積は大面積に設定されている。また、図5(b)では、R画素の入射光束について説明したが、G画素及びB(Blue)画素も同一の構造となっている。従って、撮像用のRGB各画素に対応した射出瞳EPは大径となり、被写体からの光束を効率よく取り込んで画像信号のS/Nを向上させている。
図6は、撮影光学系の水平方向(横方向)に瞳分割を行なうための焦点検出用画素の配置と構造を示す図である。
図6(a)は、焦点検出用画素を含む2行×2列の画素の平面図である。撮像信号を得る場合、G画素は輝度情報の主成分をなす。そして人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認められやすい。一方でR画素もしくはB画素は、色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、2行×2列の画素のうち、G画素は撮像用画素として残し、RとBの画素を焦点検出用画素としている。これを図6(a)においてSHA及びSHBで示す。
図6(b)は、図6(a)のB−B断面である。
マイクロレンズMLと、光電変換部PDは図5(b)に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像創生には用いないため、色分離用カラーフィルタの代わりに透明膜CF(White)が配置されている。また、撮像素子107で瞳分割を行なうため、配線層CLの開口部は、マイクロレンズMLの中心線に対して一方向に偏っている。具体的には、画素SHAの開口部OPHAは右側に偏っているため、撮影光学系TLの左側の射出瞳EPHAを通過した光束を受光する。同様に、画素SHBの開口部OPHBは左側に偏っているため、撮影光学系TLの右側の射出瞳EPHBを通過した光束を受光する。よって、画素SHAを水平方向で規則的に配列し、これらの画素群で取得した被写体像をA像とする。また、画素SHBも水平方向で規則的に配列し、これらの画素群で取得した被写体像をB像とすると、A像とB像の相対位置を検出することで、被写体像のピントずれ量(デフォーカス量)が検出できる。ここで、マイクロレンズMLは、撮影光学系TLの左側の射出瞳EPHAを透過した光束からなるA像と、撮影光学系TLの右側の射出瞳EPHBを透過した光束からなるB像の、一対の光学像を生成するレンズ部の機能を果たしている。
なお、上記画素SHA及びSHBでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そこで本実施形態では、後者についても焦点検出できるように、撮影光学系TLの垂直方向(縦方向)に瞳分割を行なう画素も備えている。
図7は、撮影光学系の垂直方向に瞳分割を行なうための焦点検出用画素の配置と構造を示す図である。
図7(a)は、焦点検出用画素を含む2行×2列の画素の平面図であり、図6(a)と同様に、G画素は撮像用画素として残し、RとBの画素を焦点検出用画素としている。これらを図7(a)において画素SVC及び画素SVDと示している。
図7(b)は、図7(a)のC−C断面である。
図6(b)の画素が横方向に瞳分離する構造であるのに対して、図7(b)の画素は、瞳分離方向が縦方向になっている他は、図6(b)の画素と画素の構造としては変わらない。すなわち、画素SVCの開口部OPVCは下側に偏っているため、撮影光学系TLの上側の射出瞳EPVCを通過した光束を受光する。同様に、画素SVDの開口部OPVDは上側に偏っているため、撮影光学系TLの下側の射出瞳EPVDを通過した光束を受光する。よって、画素SVCを垂直方向で規則的に配列し、これらの画素群で取得した被写体像をC像とする。また、画素SVDも垂直方向で規則的に配列し、これらの画素群で取得した被写体像をD像とすると、C像とD像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量(デフォーカス量)が検出できる。
図8は、第1実施形態における撮像素子の瞳分割状況を概念的に説明する図である。
図8には、撮影光学系TL、撮像素子107、被写体OBJ、被写体像IMGが示されている。
撮像用画素は、図5で説明したように、撮影光学系TLの射出瞳全域EPを通過した光束を受光する。一方、焦点検出用画素は、図6及び図7で説明したように、瞳分割機能を有している。具体的には、図6の画素SHAは、撮像面からレンズ後端を見て左側の瞳を通過した光束、すなわち図8の瞳EPHAを通過した光束を受光する。同様に画素SHB、SVC及びSVDは、それぞれ瞳EPHB、EPVC及びEPVDを通過した光束を受光する。そして、焦点検出用画素を、撮像素子107の全領域に渡って分布させることで、撮像領域全域で焦点検出を可能とさせている。
図9は、焦点検出時に取得した画像と焦点検出領域を説明する図である。
図9において、撮像面に形成された被写体像には、中央に人物、左側に近景の樹木、右側に遠景の山並みが写っている。そして本実施形態においては、焦点検出用画素は、横ずれ検出用の画素ペアSHA及びSHBと、縦ずれ検出用の画素ペアSVC及びSVDが、撮像領域全域に渡って均等な密度で配置されている。横ずれ検出用の画素ペアSHA及びSHBと、縦ずれ検出用の画素ペアSVC及びSVDの配置方法については、後述する。そして横ずれ検出の際には、横ずれ検出用の画素ペアSHA及びSHBから得られる一対の画像信号を、位相差演算のためのAF画素信号として使用する。また、縦ずれ検出の際には、縦ずれ検出用の画素ペアSVC及びSVDから得られる一対の画像信号を、位相差演算のためのAF画素信号として使用する。よって、撮像領域の任意位置において、横ずれ検出及び縦ずれ検出のための測距領域を設定可能である。
図9においては、画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域を中心に横ずれ検知のための焦点検出領域AFARh(x1,y1)と、縦ずれ検知のための焦点検出領域AFARv(x3,y3)が設定される。ここで添え字のhは水平方向を表わし、(x1,y1)及び(x3,y3)は焦点検出領域の左上隅の座標を表わす。そして、焦点検出領域AFARh(x1,y1)の各セクション内に含まれる横ずれ検出用の焦点検出画素SHAを30セクションに渡って連結した位相差検出用のA像信号がAFSIGh(A1)である。また、同様に各セクションの横ずれ検出用の焦点検出画素SHBを30セクションに渡って連結した位相差検出用のB像信号がAFSIGh(B1)である。そして、A像信号AFSIGh(A1)とB像信号AFSIGh(B1)の相対的な横ずれ量を後述する本発明の相関演算によって計算することで、被写体の焦点ずれ量(デフォーカス量)を求めることができる。
焦点検出領域AFARv(x3,y3)についても同様に焦点ずれ量を求める。そして、横ずれ及び縦ずれの焦点検出領域で検出した2つの焦点ずれ量を比較し、信頼性の高い値を採用すればよい。
一方、画面左側の樹木の幹部は、縦線成分が主体、すなわち横方向に輝度分布を有しているため、横ずれ検知に適した被写体と判断され、横ずれ検知のための焦点検出領域AFARh(x2,y2)が設定される。また、画面右側の山並み稜線部は、横線成分が主体、すなわち縦方向に輝度分布を有しているため、縦ずれ検知に適した被写体と判断され、縦ずれ検知のための焦点検出領域AFARv(x4,y4)が設定される。
以上のように実施形態においては、横ずれ及び縦ずれ検出のための焦点検出領域が画面の任意位置に設定可能なため、被写体の投影位置や輝度分布の方向性が様々であっても、常に正確な焦点検出が可能である。
ここで、図10及び図11を用いて、撮影光学系TLの口径食によって、射出瞳が制限されることを説明する
図10は、撮像素子及び撮影光学系付近を−X軸、+Y軸、−Z軸の3つの軸によって囲まれる象限から見た斜視図である。
図10には、撮像素子107と、撮影光学系TLの射出窓141及び142と、射出窓141及び142を撮影光学系TLの射出瞳上に投影した射出窓141C及び142Cとを示している。また、撮像素子107の受光面における+X方向に像高X140のポイント140を示している。
撮像素子107の受光面の光軸上に到達する光は、撮影光学系TLの射出窓によってけられることがないため、図8で示した射出瞳全域EPを透過したものである。一方、ポイント140から撮影光学系TLを眺めると、射出窓141は射出瞳上において−X方向にシフトした射出窓141Cが存在するかのように見え、射出窓142は射出瞳上において+X方向にシフトした射出窓142Cが存在するかのように見える。そのため、ポイント140に到達する光は、図8で示した射出瞳全域EPを射出窓141Cと射出窓142Cによって切り出したような領域(図10の斜線部)を透過したものとなる。
次に、図11を用いて、像高X140によって、射出瞳上に投影された射出窓141C、142Cが変わる様子を説明する。
図11は、撮像素子と射出窓及び瞳の関係を示す図である。
図11では、+Y方向から見た図と、−Z方向から見た図を二面図で表している。
141は撮像素子107から射出窓141までの距離、Z142は撮像素子107から射出窓142までの距離、Z143は撮像素子107から射出瞳までの距離を示す。また、D141は射出窓141の開口径、D142は射出窓142の開口径、EPHAは画素SHAの瞳、EPHBは画素SHBの瞳、EPHB2は瞳EPHBが撮影光学系TLの口径食によって制限された結果として形成された瞳である。
図11の作図より、射出瞳に投影された射出窓141Cの光軸からのシフト量Shift141Cと開口径D141Cと、射出瞳に投影された射出窓142Cの光軸からのシフト量Shift142Cと開口径D142Cは、下記式(1)〜式(4)で表わすことができる。
Figure 2010026177
式(1)〜式(4)に示すように、射出瞳に投影された射出窓141Cと142Cは、像高X140によって変化する。画素SHAの射出瞳EPHAと画素SHBの射出瞳EPHBは、光軸からShift141Cだけシフトした直径D141Cの開口と、光軸からShift142Cだけシフトした直径D142Cの開口とで制限される。その結果、射出瞳EPHBだけケラレが生じ、結果として瞳EPHB2を透過した光束しかポイント140の画素SHBには到達しない。これにより、画素SHAと画素SHBとで、光量差が発生し、画素SHA群から得られるA像と、画素SHB群から得られるB像に、ゲイン差が生じる。
図12A〜図12Cは、A像とB像のゲイン差が像高によって変わる例を示した図である。
図12A〜図12Cの横軸は、X方向の像高を示し、縦軸は、各像でのB像画素出力に対するA像画素出力の比を示す。つまり、X方向X1という像高からX2という像高の間で、AB像の比がどのように変化していくかを示したものである。式(1)及び式(3)で示したように、射出瞳上に投影された射出窓141Cのシフト量Shift141Cと、射出窓142Cのシフト量Shift142Cを表す数式中には、ポイント140の像高X140が入っているため、像高によってAB像のゲイン差は変わっていく。
射出窓141及び射出窓142が撮影光学系TLの射出瞳近傍に存在する場合には、Z141とZ142とZ143はほぼ等しくなり、式(1)及び式(3)の分子がゼロとなって、像高X140が変化してもAB像のゲイン差はほとんど変わらない。よって図12Aのように、ある一定値RATE1という比をとる。ここでAB像の比が1となっていないのは、製造誤差などで射出窓141もしくは142の中心が光軸からずれ、射出瞳EPHAと射出瞳EPHBのケラレ方が等しくなかった場合を想定している。
射出窓141と射出窓142が撮影光学系TLの射出窓から遠い位置に存在する場合には、式(1)及び式(3)に示すように、像高X140に応じてAB像のゲイン差が変化していく。撮影光学系TLの光学特性によって、図12BのようにRATE1からRATE2へ直線的に変化していくものもあれば、図12CのようにRATE1からRATE2へ曲線的に変化していくものも出てくる。
以上、図10〜図12Cを用いて説明したように、撮影光学系TLの口径食などの影響により、A像とB像との間には像高によって変化するゲイン差が生じる。
ここで、図13Aから図14Cを用いて、図12Aに示すようなゲイン差が生じたAB像で、従来の定義による相関量に基づいて位相差検出すると、位相差検出にずれが生じてしまうことを説明する。
まず、図13A〜図13Cを用いて、図12Aに示すようなゲイン差が生じたAB像に対して、特許文献1(特公昭62―39722)に開示されている相関量に基づいて位相差検出した場合について説明する。
ここで、被写体の模様は、左が黒く、右が白く、その境界部が徐々に切り替わっていくようなグラデーションパターンであり、合焦していてAB像の位相差がない状態を想定している。
図13Aは、図12Aに示すようなゲイン差が生じた画素SHA、画素SHBで、前述のような模様を有した被写体を受光した場合に得られるAB像を示す図である。図13Aでは、合焦して一致したAB像に対して、A像がB像に対してRATE1だけゲインアップされたような波形になっている。
図13Bは、図13AのようなAB像の相対位置関係を1ビットずつシフトさせながら、特許文献1(特公昭62―39722)に開示されている相関量を算出した結果を示す図である。
丸点が各シフト量での相関量をプロットしたもので、三角点は、その中で相関量が最小となるシフト量とその相関量をプロットしたものである。ここで使用した相関量の定義は以下の式(5)である。
Figure 2010026177
ここで、A(i)はi番目の画素SHAの信号、B(i)はi番面の画素SHBの信号である。本来ならシフト量0で相関量が最小となるべきところが、図13Bに示すように、シフト量−3で相関量が最小となってしまう。つまり−3ビット位相差検出を誤ってしまっている。
図13Cは、−3ビットシフトさせたときのAB像を示す図である。
特許文献1(特公昭62―39722)に開示されている式(5)で定義される相関量では、図13Cのように−3ビットだけシフトした位置でAB像の一致度が一番高いと判定してしまう。その結果、位相差検出結果が−3ビットずれてしまう。
次に、図14A〜図14Cを用いて、図12Aに示すようなゲイン差が生じたAB像に対して、特許文献2(特開昭63−264715)に開示されている相関量に基づいて位相差検出した場合について説明する。
ここで、被写体の模様は、図13A〜図13Cの場合と同様に、左が黒く、右が白く、その境界部が徐々に切り替わっていくようなグラデーションパターンであり、合焦していてAB像の位相差がない状態を想定している。
図14Aは、図12Aに示すようなゲイン差が生じた画素SHA、画素SHBで、前述のような模様を有した被写体を受光した場合に得られるAB像を示す図である。図14Aでは、図13Aと同様に、合焦して一致したAB像に対して、A像がB像に対してRATE1だけゲインアップされたような波形になっている。
図14Bは、図14AのようなAB像の相対位置関係を1ビットずつシフトさせながら、特許文献2(特開昭63−264715)に開示されている相関量を算出した結果を示す図である。
丸点が各シフト量での相関量をプロットしたもので、三角点は、その中で相関量が最小となるシフト量とその相関量をプロットしたものである。ここで使用した相関量の定義は以下の式(6)である。
Figure 2010026177
ここで、A(i)はi番目の画素SHAの信号、B(i)はi番面の画素SHBの信号である。本来ならシフト量0で相関量が最小となるべきところが、図14Bに示すように、シフト量−3でシフト量最小となってしまう。つまり−3ビット位相差検出を誤ってしまっている。
図14Cは、−3ビットシフトさせたときのAB像を示す図である。
特許文献2(特開昭63−264715)に開示されている式(6)で定義される相関量では、図14Cのように−3ビットだけシフトした位置でAB像の一致度が一番高いと判定してしまう。その結果、位相差検出結果が−3ビットずれてしまう。
そこで、本発明では、図13A及び図14Aのようなゲイン差が生じたAB像に対しても、位相差検出結果に誤差が発生しにくい相関量を提案する。図15Aと図15Bを用いて、本発明で提案する相関量の定義を説明する。
図15Aは、図12Aに示したようなゲイン差が生じた画素SHA、画素SHBで、左が黒く、右が白く、その境界部が徐々に切り替わっていくようなグラデーションパターンの被写体を受光した場合に得られるAB像を示す図である。位相差検出演算では、AB像の位相差を1ビットずつシフトさせながら相関量の算出を行なうため、図15Aでは、A像を左にPDビットだけシフトした状態を示している。焦点検出領域は、I個の画素から構成されており、i番目の画素SHBの信号をB(i)とし、A像を左にPDビットだけシフトした状態でB(i)と向かい合うことになる(i+PD)番目の画素SHAの信号をA(i+PD)とする。A像を左にPDビットだけシフトさせたAB像について、各画素位置における画素SHAの信号と画素SHBの信号の比較結果を比較手段151(図1B参照)により算出していく。ここで比較結果とは、画素SHAの信号と画素SHBの信号の出力比A(i+PD)/B(i)とする。
図15Bは、A(i+PD)/B(i)をプロットしていった図である。
図15Bで横軸が画素番号、縦軸が出力比A(i+PD)/B(i)を示す。この出力比A(i+PD)/B(i)の分布から、ばらつきの大きさを算出する。ここでは、ばらつきの大きさを表す指標として、分散値を用いる。本実施形態では、A像を左にPDビットシフトしたAB像の各画素位置における出力比の分散値VAR(PD)として以下の式(7)で表される不偏分散とした。
Figure 2010026177
ここで、Nは、A像を左に位相差PDビットだけシフトした後のAB像において、互いに向かい合う画素が存在する画素の数である。A像を左に位相差PDビットだけシフトすると、A像の左端PDビットとB像の右端PDビットは向かい合う画素がなくなってしまうため、互いに向かい合う画素の数Nは、全画素数Iから2・PDビットだけ減った数となる。このNが、比較結果を算出する画素の数となる。
本発明の位相差検出方法では、この分散値VAR(PD)を各シフト量における相関量として扱う。この分散値が極値となるシフト量がAB像の位相が一致している状態であるとみなし、位相差の検出を行なう。ここで分散値が極値をとるというのは、最小値をとることを意味している。各画素位置における出力比の分散値を相関量とすることで、画素SHAと画素SHBにゲイン差がある場合でも、ゲイン差の影響を受けることなく、正しくAB像の相関性を表現することができる。そして、ゲイン差による位相差検出の誤差を軽減することができる。
出力比A(i+PD)/B(i)のばらつきを表す指標として、本発明では分散値を用いたが、分散値の平方根で与えられる標準偏差としてもよい。また分散値や標準偏差を定数倍した数値でも、同様の効果を得られることはいうまでもない。さらには、下式に表現されるような、平均値からずれ量を二乗平均し、データ数で除した分散値(標本分散)を用いてもよい。
Figure 2010026177
なお、式(9)で表現される値を定数倍した数値でも、同様の効果が得られる。ただし、式(9)の場合には、例えば、狭い視野から広い視野での位相差を検出する場合に式(7)を用いた場合よりも有利になるときがある。
本実施形態では、位相を合わせたAB像の各画素の比較結果として、画素SHAの信号と画素SHBの信号の出力比A(i+PD)/B(i)を用いたが、出力差の絶対値|A(i+PD)−B(i)|を用いてもよい。どちらか一方の像にフレア成分が含まれているときなどは、各画素の比較結果としてこの出力差の絶対値を用いることが望ましい。
また、各画素の比較結果として、出力比を用いたものと、出力差の絶対値を用いたものの、両方の位相差検出結果を算出しておき、検出結果や像の一致度やコントラストなどで判定し、より信頼性の高い検出結果を選択してもよい。
図15Aと図15Bを用いて説明した一連の位相差検出演算は、CPU121内で行われる処理である。具体的には、各画素における比較結果を算出する比較手段151、出力比のばらつきを算出するばらつき算出手段152、ばらつきが極値をとる位相差を算出する位相差算出手段153がCPU121の機能として実現されている。一連の位相差検出演算を行なうCPU121、瞳分割された一対の像信号を取得する撮像素子107、撮像素子107を駆動する撮像素子駆動回路124で、焦点検出装置を構成している。
具体的な例として、図16A及び図16Bを用いて、式(7)に示すような分散VAR(PD)を相関量とすれば、図12Aに示すようなゲイン差が生じたAB像に対しても位相差検出誤差がないことを説明する。
ここで、被写体の模様は、左が黒く、右が白く、その境界部が徐々に切り替わっていくようなグラデーションパターンであり、合焦していてAB像の位相差がない状態を想定している。
図16Aは、図12Aに示すようなゲイン差が生じた画素SHA、画素SHBで、前述のような模様を有した被写体を受光した場合に得られるAB像を示す図である。図16Aでは、合焦して一致したAB像に対して、A像がB像に対してRATE1だけゲインアップされたような波形になっている。
図16Bは、図16AのようなAB像の相対位置関係を1ビットずつシフトさせながら、式(7)に示すような相関量を算出した結果を示す図である。
丸点が各シフト量での相関量をプロットしたもので、三角点は、その中で相関量が最小となるシフト量とその相関量をプロットしたものである。図16Bからわかるように、シフト量0で相関量が最小となっている。つまりシフト量0のときがAB像の相関性が一番高いと判定しており、位相差は正しく検出されていることがわかる。
次に、図17A及び図17Bを用いて、式(7)に示すような分散VAR(PD)を相関量とすれば、図12Bに示すようなゲイン差の分布が生じたAB像に対しても、位相差検出誤差がないことを説明する。
ここで、被写体の模様は、図16Aのときと同様に、左が黒く、右が白く、その境界部が徐々に切り替わっていくようなグラデーションパターンであり、合焦していてAB像の位相差がない状態を想定している。
図17Aは、図12Bに示すようなゲイン差が生じた画素SHA、画素SHBで、前述のような模様を有した被写体を受光した場合に得られるAB像を示す図である。図17Aでは、合焦して一致したAB像に対して、A像がB像に対して左端でRATE1、右端でRATE2、その間が直線的に変化していくようなゲインアップされたような波形になっている。
図17Bは、図17AのようなAB像の相対位置関係を1ビットずつシフトさせながら、式(7)に示すような相関量を算出した結果を示す図である。
丸点が各シフト量での相関量をプロットしたもので、三角点は、その中で相関量が最小となるシフト量とその相関量をプロットしたものである。図17Bからわかるように、シフト量0で相関量が最小となっている。つまりシフト量0のときがAB像の相関性が一番高いと判定しており、直線的にゲイン差が変化していくようなAB像に対しても、位相差は正しく検出されていることがわかる。
さらに、図18A及び図18Bを用いて、式(7)に示すような分散VAR(PD)を相関量とすれば、図12Cに示すようなゲイン差の分布が生じたAB像に対しても、位相差検出誤差がないことを説明する。
ここで、被写体の模様は、図16A及び図17Aのときと同様に、左が黒く、右が白く、その境界部が徐々に切り替わっていくようなグラデーションパターンであり、合焦していてAB像の位相差がない状態を想定している。
図18Aは、図12Bに示すようなゲイン差が生じた画素SHA、画素SHBで、前述のような模様を有した被写体を受光した場合に得られるAB像を示す図である。図18Aでは、合焦して一致したAB像に対して、A像がB像に対して左端でRATE1、右端でRATE2、その間が曲線的に変化していくようにゲインアップされたような波形になっている。
図18Bは、図18AのようなAB像の相対位置関係を1ビットずつシフトさせながら、式(7)に示すような相関量を算出した結果を示す図18Bである。
丸点が各シフト量での相関量をプロットしたもので、三角点は、その中で相関量が最小となるシフト量とその相関量をプロットしたものである。図17Bからわかるように、シフト量0で相関量が最小となっている。つまりシフト量0のときがAB像の相関性が一番高いと判定しており、曲線的にゲイン差が変化していくようなAB像に対しても、位相差は正しく検出されていることがわかる。
各画素位置におけるAB出力比の分散値が最小になるシフト量は、小数点以下まで求めても良い。
図19は、図18Bに示すような分散分布が得られたときに、分散値が最小になるシフト量を、小数点以下まで求める方法を示したグラフである。
図19の横軸はシフト量を示し、縦軸は式(7)で求めた分散値の変化量(以下、分散変化量)を示す。PDビットシフト時の分散変化量をΔVAR(PD)とすると、ΔVAR(PD)は以下の式(10)で求めることができる。
ΔVAR(PD)=VAR(PD+1)−VAR(PD−1) ・・・式(10)
式(10)で示す相関変化量ΔVAR(PD)がゼロになるシフト量をZeroCrossとしたとき、PD=−1とPD=0の間に、ZeroCrossが存在することがわかる。そこで、前後のシフト量ΔVAR(−1)とΔVAR(0)から直線補間して、下式のようにZeroCrossの値を算出することができる。
Figure 2010026177
式(11)のように分散変化量がゼロになるシフト量を求めることで、分散が最小となるシフト量を小数点以下まで算出することが可能となり、より高精度に位相差を検出することが可能となる。
次に、図20Aから図20Cを用いて、位相差合わせをしたAB像の出力比分布に基づいて、A像とB像との間のゲイン差の補正(以下、再シェーディング補正と呼ぶ)を行なう方法を説明する。
図20Aは、式(7)で定義される相関量で検出された位相差PDだけA像をシフトし、AB像の位相を一致させた状態を示す図である。図20Aに示すように位相を一致させたAB像を用いて、各画素におけるAB光量比を算出する。
図20Bは、各画素におけるAB光量比RATEをA(i+PD)/B(i)でプロットした図である。図20Bで横軸が画素番号を示し、縦軸がAB光量比を示している。AB光量比分布から、近似式f(i)を算出する。f(i)を最小二乗法に基づいて算出される一次直線とすると、近似式f(i)は以下の式(12)〜式(14)で表現される。
Figure 2010026177
式(12)〜式(14)に示す近似式f(i)により、i+PD番目の画素SHAとi番目の画素SHBの間に生じているゲイン差を表現することが可能となる。そこで、i番目の画素SHBの信号に、f(i)を乗算することで、画素SHAと画素SHBの間に生じているゲイン差を補正する。
図20Cは、近似式f(i)に基づいて再シェーディング補正したあとのAB像を示す図である。
このように、位相合わせをしたAB像の各画素におけるAB出力比の分布から近似式f(i)を求め、近似式f(i)に基づいて再シェーディング補正することで、AB像のゲイン差を解消することができ、AB像の一致度を向上させることができる。
式(12)〜式(14)では、一次直線による近似を説明したが、最小二乗法を用いれば二次以上の近似式も、同様の考え方で算出することが可能である。また、演算量を少なくするために、右半分のAB出力比の平均値と左半分のAB出力比の平均値から、近似直線を定義するなどしてもよい。
図20Cでは、画素SHBの信号にf(i)を乗算する方法を説明したが、画素SHAの信号をf(i)で除算してもよい。
このように、位相合わせをしたAB像の出力比の分布に基づいて、AB像の再シェーディング補正をすることで、一様光の撮影等を行わなくとも再シェーディング補正を行なうことができる。これにより、AB像の一致度を向上させることができ、以下に説明する位相差検出結果の信頼性を正しく評価できる。
位相差検出結果の信頼性を表す指標として、AB像の一致度というパラメータがある。この一致度を表す式として、以下の式(15)がよく用いられる。
Figure 2010026177
AB像が一致すればするほど、式(15)で表される一致度は小さくなっていき、完全に一致する場合はゼロになる。この一致度が、ある閾値を超えるか否かで、位相差検出結果の信頼性を判定することが可能となる。
各画素の出力比の分散値によりAB像の位相差を検出すれば、画素SHAと画素SHBに生じる光量差を補正しなくても、位相差を正しく検出することは可能である。しかし本発明では、位相差検出結果の信頼性を判定するために、位相合わせしたAB像の出力比の分布に基づいて、AB像の再シェーディング補正を行なう。
AB像の出力比が存在する値のまま式(15)により一致度を算出すると、位相差が正確に検出できているにもかかわらず一致度が低いと判断される一致度が算出される可能性が高い。しかし、AB像の再シェーディング補正を行なうことにより、AB像の波形は一致し、位相差検出結果の信頼性を正しく判定することが可能となる。なお、この再シェーディング補正は、位相差の検出が行われる度に実施する。そうすることによって、そのときの位相差の検出結果が正確であるか否かを、位相差が検出される度に正しく評価できる。
以上、図20A〜図20Cで説明したように、各画素におけるAB出力比の分散が最小になるように位相合わせしたAB像の出力分布に基づいて再シェーディング補正することで、一様光の撮影をせずにAB像の一致度を向上させることができ、これにより位相差検出結果の信頼性を正しく評価することが可能となる。
次に、図21〜図26を用いて、本発明の第1実施形態のカメラの焦点調節及び撮影工程を説明する。
図21は、第1実施形態のカメラのメインフローを示すフローチャートである。
ステップ(以下、Sとする)101で撮影者がカメラの電源スイッチをオン操作する。
S103では、CPU121はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。
S105では、撮像素子107の撮像動作を開始し、プレビュー用の低画素動画像を出力する。
S107では、読み出した動画をカメラ背面に設けられた表示器131に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。
S109では、プレビュー用動画像中から顔を認識する処理を行う。
S111では、プレビュー用動画像に顔が検出されたか否かを判断する。そして、撮影領域に顔が存在していると認識された場合には、S113に移行し、焦点調節モードを顔AFモードに設定する。ここで顔AFモードとは、撮影領域の顔に焦点を合わせるAFモードを指す。
一方撮影領域に顔が存在していない場合には、S115に移行し、焦点調節モードを多点AFモードに設定する。ここで多点AFモードとは、撮影領域を例えば3×5=15分割し、各分割領域で焦点検出を行ない、焦点検出結果と被写体の輝度情報から主被写体を類推し、その領域を合焦させるモードを指す。
S113あるいはS115でAFモードを決定したら、S117で焦点検出領域を決定する。
S121では、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければS105に戻り、撮像素子駆動からS117の焦点検出領域の決定を繰り返し実行する。S121で撮影準備スイッチがオン操作されるとS131に移行し、焦点検出サブルーチン(図22)を実行する。
図22は、焦点検出サブルーチンのフローチャートである。
図21に示すメインフローのS131から焦点検出サブルーチンのS131にジャンプすると、S133では、メインルーチンのS117で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。
S135では、各ブロック内の焦点検出画素を読み出し、AF画素信号を得る。
S137では、画素SHAから得られる信号を並べてA像信号が生成され、画素SHBから得られる信号を並べてB像信号が生成され、相関演算用のAB像の信号とする。具体的には、図9に示したAFSIGh(A1)とAFSIGh(B1)、あるいはAFSIGv(C3)とAFSIGv(D3)等の対の信号を創生する。
S200では、得られたAB像に基づいて相関演算を行ない、AB像の位相差を算出する。なお、S200の相関演算は、サブルーチンとして図23で説明する。
S300では、S200相関演算で得られた位相差だけAB像の相対位置関係をシフトさせ、位相が一致したAB像の各画素におけるAB出力比に基づき、AB出力比の補正(再シェーディング補正)を行なう。なお、S300の再シェーディング補正は、サブルーチンとして図24で説明する。
S350では、再シェーディング補正済みの光量比が補正されたAB像で再び相関演算を行ない、AB像の位相差を算出する。
S400では、相関演算結果の信頼性を判定する。ここで信頼性とは、AB像の一致度を指し、AB像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、この一致度がある閾値を超えているか否かで位相差検出結果の信頼性の判定を行ったり、複数の焦点検出領域が選択されている場合に信頼性の高い情報を優先的に使用したりして用いられる。なお、S400の信頼性判定は、サブルーチンとして図25で説明する。
S450では、信頼性の高い検出結果から焦点ずれ量を演算する。そして図21のメインフロー内のS151にリターンする。
図21に戻って、S151では、合焦しているか否かを判断する。合焦判断は、具体的には、図22のS139で計算した焦点ずれ量が許容値以下か否かを判断して行う。そして焦点ずれ量が許容値以上である場合は、非合焦と判断し、S153でフォーカスレンズを駆動し、その後S131からS151を繰り返し実行する。そしてS151で合焦状態に達したと判定されると、S155で合焦表示を行ない、S157に移行する。
S157では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければS157で撮影待機状態を維持する。S157で撮影開始スイッチがオン操作されるとS161に移行し、撮影サブルーチン(図26)を実行する。
図23は、相関演算サブルーチンのフローチャートである。
S201では、A像のB像に対する位相差PDを−Nビットに設定する。
S202では、S201で設定した位相差PDに基づき、AB像の相対位置関係をシフトさせる。例えば、位相差PDが−Nビットに設定されているときには、A像をB像に対して左方向にNビットシフトさせる。
S203では、S202で相対位置関係をシフトさせたABの各画素におけるAB出力比を算出する。例えば、AB像の画素がI個、設定された位相差PDが−Nビットである場合には、I−|2×N|個のAB出力比が得られることになる。
S204では、S203で得られた複数個のAB出力比のばらつきを算出する。ここで算出するばらつきは、式(7)で示した分散値とする。
S205では、設定された位相差PDがNビットより小さいか否かを判定する。位相差PDがNビットより小さい場合には、位相差PDを+1インクリメントして、S202に戻り、AB像の相対位置を設定位相差PD分だけシフトする。一方、位相差PDがN以上になった場合には、S206に進む。
S206では、各位相差PDにおいてS204で算出されたばらつきの中で、最小値となるものを選び、さらにそのときの位相差PDをばらつき最小位相差PD0として算出する。そして図22のS200へリターンし、S300へと移行する。
図24は、再シェーディング補正サブルーチンのフローチャートである。
S301では、図22におけるS200の相関演算で算出されたばらつき最小位相差PD0分だけAB像の相対位置関係をシフトさせる。最小位相差PD0が負の場合にはA像を左にシフトさせ、正の場合にはB像を左にシフトさせる。各画素のAB出力比が最小となるようにシフトすることで、AB像の相対位置関係を一致させることができる。
S302では、ローパスフィルタ処理を行なう。ローパスフィルタ処理は、隣接画素同士の信号を平均して一つの信号とする隣接平均フィルタを8回通す処理とする。このように隣接画素信号を平均化し、高周波成分を除去して低周波成分のみを残すことで、ノイズの影響を軽減する。AB像に生じる光量比の分布は、図12Aから図12Cに示すように、非常に低周波成分となる。なぜなら、式(1)〜式(4)に示すように、射出瞳に投影された射出窓141Cと142Cは、像高X140に応じて徐々に変化する量であり、高周波成分は含まれるはずがない。そこで、S302ではローパスフィルタ処理を行なうことで、高周波成分からなるノイズを除去しながら、低周波成分からなる光量比分布だけを残すようにしている。
S303では、S302でローパスフィルタ処理されたAB像に対して、各画素でのAB出力比を算出する。例えば、AB像の画素がI個、設定された位相差PDが−Nビットである場合には、I−|2×N|個のAB出力比が得られることになる。
S304では、S303で得られた複数個のAB出力比に基づき、近似式を算出する。ここで算出される近似式は、式(11)〜(13)で示したような最小二乗法による一次近似直線とする。
S305では、S304で算出した近似式に基づいてAB像のゲイン調整を行なうことで、AB像に発生している光量比を補正する。S305でAB像の光量比を補正することで、AB像の一致度が向上し、位相差検出結果の信頼性が正しく算出できるようになる。S305が終了したら、図22のS300へリターンし、S350へと移行する。
図25は、信頼性判定サブルーチンのフローチャートである。
以下に説明する信頼性判定サブルーチンでは、位相差検出に用いる被写体像のコントラスト値と、像の一致度との2つの値を用いて、信頼性を判定する。
S401では、図22におけるS200の相関演算で算出されたばらつき最小位相差PD0分だけAB像の相対位置をシフトさせ、AB像の位相を一致させる。
S402では、図22におけるS300で光量比を補正し、S401で位相を一致させたAB像を用いて、コントラスト値を算出する。ここでコントラス値とは、隣接画素出力差の絶対和と二乗和を算出する。ノイズの影響を軽減する意図で、ローパスフィルタ処理を行った波形に対して、隣接画素出力差の絶対和と二乗和を算出してもよい。またAB像それぞれに対して得られた絶対和と二乗和の平均値をAB像のコントラスト値とする。
S403では、S300で光量比を補正し、S401で位相を一致させたAB像を用いて、像の一致度を算出する。ここで一致度とは、式(14)に示すように各画素のAB出力の差の絶対和を算出する。
S404では、コントラストが信頼に足るものであるか否かを判定する。具体的には、S402で算出したコントラスト値が、ある閾値を超えたか否かを判定する。超えた場合には、コントラストの信頼性は信頼に足るレベルであると判定し、S405に進む。一方、コントラスト値が、ある閾値を超えない場合には、コントラストの信頼性は信頼に足らないレベルであると判定し、S407に進む。
S405では、像の一致度が信頼に足るものであるか否かを判定する。具体的には、S403で算出した一致度が、ある閾値より小さいか否かを判定する。小さい場合には、像の一致度は信頼に足るレベルであると判定しS406に進む。一方、一致度が、ある閾値より小さくない場合には、像の一致度が信頼に足らないレベルであると判定し、S407へ進む。
S406では、信頼性OKの判定をして、図22のS400へリターンし、S450へと移行する。
S407を実行するのは、S404でコントラストがOKレベルだと判定されなかった場合、又はS405で像の一致度がOKレベルだと判定されなかった場合である。よって、S407では、信頼性NGの判定をして、図22のS400へリターンし、S450へと移行する。
図26は、撮影サブルーチンのフローチャートである。
撮影開始スイッチが操作されると、S163では絞り兼用シャッタ102を駆動し、露光時間を規定する絞り兼用シャッタ102の開口制御を行なう。
S165では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。
S167では読み出した画像信号の欠損画素補間を行なう。すなわち、SHA及びSHB等の焦点検出用画素の出力は撮像のためのRGBカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を創生する。
S169では、画像のγ補正、エッジ強調等の画像処理を行う。
S171では、フラッシュメモリ133に撮影画像を記録する。
S173では、表示器131に撮影済み画像を表示する。
S175で図21のメインフローにリターンする。
図21のメインフローに戻ると、S181にて一連の動作を終了する。
第1実施形態の撮像装置では、撮影光学系TLが撮像装置に備わっている所謂レンズ一体型のカメラで説明したが、撮影光学系TLが交換可能なタイプのカメラに適用してもよい。例えば、一眼レフタイプのデジタルカメラにおいて、撮像素子に焦点検出用の画素を設け、ミラーアップすることにより撮像面で位相差検出を行う場合に、本発明を適用してもよい。
以上説明したように、第1実施形態の位相差算出方法によれば、一対の像信号の各画素における画素出力比を算出し、その出力比分布のばらつきを相関量として位相差算出するので、ゲイン差のある一対の像信号に対しても、位相差検出誤差を軽減できる。
また、一対の像信号の位相差に基づいて撮影光学系TLの焦点状態を検出する焦点検出装置に、上述の位相差検出方法を用いることで、ゲイン差のある一対の像信号に対しても、焦点検出誤差が生じ難くできる。
さらに、出力比分布のばらつきを評価量として位相を一致させた一対の像信号の、各画素における画素出力比分布に基づいて一対の像信号のゲイン差を補正する。これにより、一様光の撮影をせずに一対の像信号の一致度を向上させることができ、位相差検出の信頼性を正しく判定できる。
(第2実施形態)
図27〜図33を用いて、本発明の第2実施形態を説明する。
第1実施形態では、撮像素子は撮像用画素と焦点検出用画素とで構成されており、焦点検出用画素ではマイクロレンズMLの中心に対して偏った開口を撮影光学系201の射出瞳上に投影することで、瞳分離を行っていた。そして、反対方向に偏った開口を有する一対の焦点検出用画素から得られる一対の像信号の位相差を算出することで、撮影光学系201の焦点状態を検出していた。つまりTTL一次結像タイプの位相差方式焦点検出方法であった。
第2実施形態では、撮影光学系201と撮像素子の間で光路分割して導いた光束を、一対のレンズ要素からなる二次結像光学系で再結像し、得られた一対の像信号の位相差に基づいて撮影光学系201の焦点状態を検出する。つまりTTL二次結像タイプの位相差方式焦点検出方法であるところが、第2実施形態の特徴である。
図27は、第2実施形態のカメラの側方断面図である。
第2実施形態のカメラは、撮影光学系201、主ミラー202、サブミラー203、撮像素子204、焦点検出装置220、シャッターユニット221、光学ローパスフィルタ222を備えている。
第2実施形態のカメラの撮影光学系201は、カメラ本体と一体になっているが、着脱可能な交換レンズを交換することにより撮影光学系を交換可能なカメラシステムとしてもよい。
主ミラー202は、撮影光学系からの被写体光束を分割する。主ミラー202の一部はハーフミラーになっており、一部の被写体光束を透過し、残りの被写体光束を上方に反射する。主ミラー202は、カメラ本体に軸部202aで回転可能に軸支持されている。
サブミラー203は、主ミラー202を透過した被写体光束を下方に配置された焦点検出装置220へ反射する。また、サブミラー203も主ミラー202の保持部材に軸部203aで回転可能に軸支持されており、主ミラー202に対して回転可能である。
そのため主ミラー202は、軸部202aを中心として回転し、サブミラー203は、軸部203aを中心として回転する。これにより、ミラーダウン状態とミラーアップ状態の二状態をとることが可能である。ここで、ミラーダウン状態とは、主ミラー202が撮影光学系の光軸に対して45度傾斜し、サブミラー203が下方に約45度傾斜して被写体光束を反射する状態である。また、ミラーアップ状態とは、主ミラー202及びサブミラー230が共に上方に折りたたまって被写体光束から完全に退避した状態である。
ミラーダウン状態では、撮影光学系201からの被写体光束は、上方のファインダー光学系(不図示)へ向かう光束と下方の焦点検出装置220へ向かう光束との二つに分割される。一方、ミラーアップ状態では、撮影光学系201からの被写体光束は、すべて撮像素子204に導かれる。
撮像素子204は、撮影光学系により結像された被写体光束を受光し画像信号に変換する光電変換素子である。本実施形態の撮像素子204は、パッケージ化されたCMOSイメージセンサである。
焦点検出装置220は、サブミラー203の下方に配置され、サブミラー203が反射する被写体光束により撮影光学系201の焦点状態を検出する。焦点検出装置220は、位相差検出方式の焦点検出を行なう。焦点検出装置220は、撮影光学系201の一対の異なる瞳領域を透過した光束で形成される二つの被写体像の相対位置関係から、撮影光学系201の焦点状態を検出する。撮影光学系の一対の異なる瞳領域から得られる二つの被写体像の相対位置関係から撮影光学系の焦点状態を検出する技術は、特開昭52−138924に開示されているように公知の技術である。
シャッターユニット221は、後述の光学ローパスフィルタ222の光入射面側に配置されており、撮像素子204に入射する被写体光束の露光秒時を制限する。シャッターユニット221は、複数枚で構成される先幕221aと後幕221bを有し、これらが撮像素子短手方向に走行し、先幕221aと後幕221bの走行間隔で、シャッタ秒時を制御する。
光学ローパスフィルタ222は、撮影光学系201から撮像素子204に至る光路中に配置され、撮像素子204上に物体像の必要以上に高い空間周波数成分が伝達されないように撮影光学系201のカットオフ周波数を制限する。また、光学ローパスフィルタ222には赤外線カットフィルタも形成されている。
図28は、第2実施形態の焦点検出装置220の各部品を展開した展開斜視図である。
焦点検出装置220は、カバー205、遮光シート206、フィールドレンズ207、保持部材208、プレート209、偏心カム210、IR−CUTフィルタ211、折り返しミラー212、絞り213、再結像レンズ214、当接部材215、センサホルダー216、焦点検出用センサ217、セパレータ218、219を備えている。
カバー205は、サブミラー203で反射した被写体光束を制限する遮光部材である。カバー205は、被写体光束のうち焦点検出に必要な光束だけを透過するような開口を有し、開口は撮影光学系201の略結像面付近に配置され、必要な被写体光束を焦点検出光学系に導き、不必要な被写体光束を遮光する。カバー205には穴部205aが2箇所有り、保持部材208の突起部208eがこの穴部205aに収まることで、カバー205を保持部材208に固定している。カバー205の上面は、カメラ本体の内壁に露出するため、反射光が撮像素子204に到達しないように遮光線が施されている。
遮光シート206は、カバー205とフィールドレンズ207との間に配置され、カバー205の開口を透過した光束をさらに制限する。
フィールドレンズ207は、絞り213を撮影光学系の瞳に投影する。
保持部材208は、焦点検出装置2200の各部品を保持する。具体的には、保持部材208は、前述のカバー205、遮光シート206、フィールドレンズ207、偏心カム210、IR−CUTフィルタ211、折り返しミラー212、絞り213、再結像レンズ214、当接部材215、センサホルダー216、焦点検出用センサ217、セパレータ218、219を保持している。
保持部材208の軸部208aには、偏心カム210が嵌合し、保持部材208に対して回転可能となっている。保持部材208は、プレート209を介してカメラ本体に取り付けられる。これにより、カメラ本体と保持部材208とで線膨張係数が異なる場合には、プレート209でその変形を吸収し、保持部材208には歪みを生じさせない構成になっている。
プレート209は、保持部材208をカメラ本体に取り付ける部材である。プレート209には、撮像素子204の短手方向に当接部を有するU字穴の軸受け部209a,209bが形成されている。軸受け部209a,209bは、カメラ前後方向の幅は軸部208a,208bと嵌合する寸法となっている。よって、軸部208a,208bが軸受け部209a,209bに嵌っている状態では、保持部材208のプレート209に対するカメラ前後方向の位置は一意的に決まる。軸受け部209aのU字穴は、軸受け部209bのU字穴より長く、保持部材208をプレート209に対して設計値の位置にもってくると、軸部208aと軸受け部209aは撮像素子204短手方向に当接しないが、軸部208bと軸受け部209bは当接した状態となる。つまり、軸部208bと軸受け部209bはカメラ前後方向及び撮像素子204短手方向に当接して一意的に位置が決まり、軸部208aと軸受け部209aは撮像素子204短手方向にだけ動ける構成になっている。
偏心カム210は、保持部材208の軸部208aに嵌合保持される偏心したカムである。偏心カム210は、外周でプレート209と当接してプレート209に対する軸部208aの高さ位置を決めている。これにより、前述のように撮像素子204の短手方向に移動可能であった軸部208aの位置は、偏心カム210の回転角度によって一意的に決まる。
上述の構成により、保持部材208は、軸部208a,208bを回転中心としてプレート209に対して回動可能である。さらに偏心カム210の回転により軸部208aの高さ位置を変えて、撮影光学系201の光軸を軸とするような回転動作も可能となっている。
本実施形態の焦点検出装置220は、前述のように2方向の傾き調整が可能である。この2方向の傾き調整により焦点検出光学系の光軸と撮影光学系の光軸のずれを調整する、いわゆる瞳出し調整を行なう構成になっている。瞳出し調整完了後は、当接面に瞬間接着剤や溶着剤を流し込み、保持部材208とプレート209と偏心カム210を固定する。
IR−CUTフィルタ211は、表面に赤外成分の光を反射する多層蒸着膜が表面に施されたガラスにより形成され、赤外成分の光を反射する。焦点検出用センサ217は、可視光より波長が長い光に対しても感度をもっている。一方、撮像素子204の光入射面側には赤外カットフィルタも備えた光学ローパスフィルタ222が配置されているため、可視光よりも波長が長い光はカットされてしまい、撮像素子204に到達しない。焦点検出用センサ217と撮像素子204とで受光する光の分光特性が異なると、ピント位置が変わってしまう。したがって焦点検出装置220によって得られるピント位置に合わせて撮影光学系201を移動すると、撮像素子204ではピントがずれているという現象が生じてしまう。IR−CUTフィルタ211は、撮像素子204と焦点検出用センサ217に到達する光の分光特性をそろえ、前述のようなピントずれを防ぐ役目を果たしている。
折り返しミラー212は、表面にアルミの蒸着膜が施され、波長400〜800nmの光をほぼ同じ反射率で反射するガラスにより形成されている。カメラ下部の限られたスペースに焦点検出装置220を収納するために、折り返しミラー212は被写体光束を折り返し、焦点検出装置220の小型化を図っている。
絞り213は、再結像光学系の絞りである。絞り213には一対の開口が形成され、再結像レンズ214の一対のレンズ部に入射する光束を制限している。絞り213は、フィールドレンズ207により撮影光学系201の瞳上に投影される。投影された絞り213の一対の開口により、撮影光学系201の瞳における一対の異なる瞳領域からの光束を透過する。
再結像レンズ214は、絞り213の一対の開口に対応して一対のレンズを備え、撮影光学系201の異なる瞳領域からの光束をそれぞれ撮像素子217上に結像させる。
当接部材215は、センサホルダー216と保持部材208の間に介在して焦点検出用センサ217の傾き調整機構を実現する当接部材である。当接部材215には、被写体光束を透過させるための開口部215aと、保持部材208に当接するための一対の球面部215bが備わっている。球面部215bは当接部材215の両端にあり、それぞれは球面の一部を切り出したような形をしている。当接部材215の両端に球が二つ付き、保持部材208と当接することで、再結像レンズ214と焦点検出用センサ217の傾き調整が行なえるような構成なっている。
センサホルダー216は、焦点検出用センサ217を保持する部材であり、焦点検出用センサ217とセンサホルダー216とは瞬間接着剤や溶着剤などにより固定される。センサホルダー216には、被写体光束を透過させるための開口部216aが設けられている。
焦点検出用センサ217は、センサホルダー216に保持された光電変換手段である。焦点検出用センサ217については後述する。
セパレータ218、219は、中央視野の被写体光束と周辺視野の被写体光束とが混ざることを防ぐセパレータである。フィールドレンズ207の中央レンズ部を透過した光束が絞り213の周辺視野用の開口を透過して焦点検出用センサ217に到達してしまうとゴースト光となって検出誤差を発生させてしまう。そこで、フィールドレンズ207とIR−CUTフィルタ211との間の光路で、中央視野用の光束と周辺視野用の光束の隙間にセパレータ218、219を介在させ、光束が混ざることを防いでいる。
図29は、再結像レンズ214の光射出面側中央部を切り出して拡大表示した図である。
再結像レンズ214の光射出面側には、一対の被写体像を再結像するための一対のレンズ部が複数組備わっている。それぞれのレンズ部は球面レンズであり、光射出面側に凸の形状になっている。
レンズ部214−1Aと214−1Bは、画面中央測距視野の縦目の焦点検出光束を再結像するためのものある。画面中央縦視野の光束は、それぞれレンズ部214−1Aと214−1Bで再結像され、焦点検出用センサ217の焦点検出用画素ライン上に、縦方向に並んだ一対の被写体像を形成する。
レンズ部214−2Aと214−2Bは、画面中央の横目の焦点検出光束を再結像するためのものある。画面中央横視野の光束は、それぞれレンズ部214−2Aと214−2Bで再結像され、焦点検出用センサ217の焦点検出用画素ライン上に、横方向に並んだ一対の被写体像を形成する。
図30は、焦点検出用センサ217のチップを、光入射面側中央部を切り出して拡大表示した図である。
焦点検出用センサ217には、図29で説明した、再結像レンズ214で再結像された一対の被写体像の結像位置に対応して、焦点検出用画素ラインが配置されている。
画面中央縦視野の光束は、図29のレンズ部214−1Aにより図30の焦点検出用画素ラインL1A、L2Aに再結像され、図29のレンズ部214−1Bにより図30の焦点検出用画素ラインL1B,L2Bに再結像される。焦点検出用画素ラインL1A,L2Aは複数の画素が縦方向に並んだラインセンサとなっており、焦点検出用画素ラインL1AとL2Aとは半ピッチずれた位相の千鳥配列となっており、解像度を上げている。焦点検出用画素ラインL1B,L2Bについても同様に、複数画素で構成され、千鳥配置となっている。
画面中央横視野の光束も同様であり、図29のレンズ部214−2Aにより図30の焦点検出用画素ラインL3A、L4Aに再結像され、図29のレンズ部214−2Bにより図30の焦点検出用画素ラインL3B,L4Bに再結像される。焦点検出用画素ラインL3A,L4Aは複数の画素が縦方向に並んだラインセンサとなっており、焦点検出用画素ラインL3AとL4Aとは半ピッチずれた位相の千鳥配列となっており、解像度を上げている。焦点検出用画素ラインL3B,L4Bについても同様に、複数画素で構成され、千鳥配置となっている。
焦点検出用センサ217の一対の焦点検出用画素ラインは、複数画素がライン上に並んでおり、一対の画素列の出力信号波形の間には、焦点検出視野上に撮像光学系201によって形成された物体像の結像状態に応じて、相対的に横シフトした状態が観測される。前ピン、後ピンでは出力信号波形のシフト方向が逆になる。相関演算などの手法を用いてこの位相差を、方向を含めて検出するのが焦点検出の原理である。
図31は、第2実施形態の位相差検出方法を備えたカメラの構成を示す図である。
第2実施形態のカメラは、撮像素子を有したカメラ本体と撮影光学系201とが一体となったデジタルカメラを示している。
第2実施形態と第1実施形態とで構成が異なるところは、焦点検出装置220と、それを駆動するためのAFセンサ駆動回路134を備えたところだけである。それ以外の構成は第1実施形態と同じであるため、説明を省略する。
図31において、サブミラー203の下方には撮影光学系201の焦点状態を検出する焦点検出装置220が配置され、サブミラー203の反射光は焦点検出装置220に導かれる。図28において説明したように、焦点検出装置220には、サブミラー反射光が再結像レンズ214によって再結像された光学像を光電変換し、一対の像信号を生成する焦点検出用センサ217が存在する。この焦点検出用センサ217を駆動するのが、AFセンサ駆動回路134である。
CPU121は、AFセンサ駆動回路134を介して焦点検出装置220から一対の像信号を取得し、後述する位相差算出方法に基づいて位相差を算出する。
次に、第2実施形態の焦点検出用画素の瞳分割状況も、第1実施形態と同様に図8に示すように瞳分離されていることを説明する。焦点検出用画素に像信号を結像する再結像レンズ214の射出瞳の機能は、絞り213が果たしている。絞り213は、フィールドレンズ207によって、撮影光学系201の射出瞳上に投影される。つまり絞り213と撮影光学系201の射出瞳は光学的に共役な関係となる。これにより、再結像レンズ214におけるレンズ部214−1A、214−1B、214−2A、214−2Bの射出瞳は、フィールドレンズ207によって投影されて瞳EPHA,EPHB,EPHC,EPHDとなり、瞳分割するように構成されている。
第2実施形態における焦点検出用画素の射出瞳は、第1実施形態の図10、11で説明したのと同じ原理により、撮影光学系201の口径食によって制限される。そのため、第1実施形態の図12Aから図12Cで示したような像高によってAB像のゲイン差が変化していく。そのため、焦点検出装置220から得られる一対の像信号は、像高によってゲイン差が変化していくようなAB像となってしまう。そのようなゲイン差が変化していくようなAB像について、従来の定義による相関量に基づいて位相差検出すると、図13A〜図14Cで説明したように位相差検出結果に誤差が生じてしまう。
そこで第2実施形態の位相差検出方法においても第1実施形態と同様に、各画素位置におけるAB像信号の出力比のばらつきを相関量として定義し、位相差を算出する。焦点検出用画素の画素数をI個、i番目の画素SHAの信号をA(i)、i番目の画素SHBの信号をB(i)とすると、A像を左にPDビットシフトしたときの相関量は、第1実施形態と同様に、下記式(7)で表される不偏分散とした。
Figure 2010026177
第2実施形態の位相差検出方法においても、この分散値VAR(PD)を各シフト量における相関量として扱う。この分散値が極値となるシフト量がAB像の位相が一致している状態であるとみなし、位相差の検出を行なう。ここで分散値が極値をとるというのは、最小値をとることを意味している。各画素位置における出力比の分散値を相関量とすることで、画素SHAと画素SHBとにゲイン差がある場合でも、ゲイン差の影響を受けることなく、正しくAB像の相関性を表現することができる。そして、ゲイン差による位相差検出の誤差を軽減することができる。
出力比A(i+PD)/B(i)のばらつきを表す指標として、本発明では分散値を用いたが、標準偏差としてもよい。また分散値や標準偏差を定数倍した数値でも、同様の効果を得られることはいうまでもない。さらには、第1実施形態と同様に、以下の式(9)に表現されるような、平均値からずれ量を二乗平均し、データ数で除した分散値(標本分散)を用いてもよい。
Figure 2010026177
なお、式(9)で表現される値を定数倍した数値でも、同様の効果は得られる。
本実施形態では、位相を合わせたAB像の各画素の比較結果として、画素SHAの信号と画素SHBの信号の出力比A(i+PD)/B(i)を用いたが、出力差の絶対値|A(i+PD)−B(i)|を用いてもよい。どちらか一方の像にフレア成分が含まれているときなどは、各画素の比較結果としてこの出力差の絶対値を用いることが望ましい。
また、各画素の比較結果として、出力比を用いたものと、出力差の絶対値を用いたものの、両方の位相差検出結果を算出しておき、検出結果や像の一致度やコントラストなどで判定し、より信頼性の高い検出結果を選択してもよい。
第2実施形態では、第1実施形態と同様に、第1実施形態の図15Aと図15Bを用いて説明した一連の位相差検出演算を行う。この一連の位相差検出演算は、CPU121内で行われる処理である。具体的には、各画素における比較結果を算出する比較手段151、出力比のばらつきを算出するばらつき算出手段152、ばらつきが極値をとる位相差を算出する位相差算出手段153がCPU121の機能として実現されている。
式(7)に示すような分散VAR(PD)を相関量とした場合の効果は、第1実施形態において図16A〜図18Bで説明したものと同じであるため、ここでは省略する。
また、各画素におけるAB出力比の分散値が最小になるシフト量は、第1実施形態と同様に、小数点以下まで求めても良い。小数点以下まで求める方法は、第1実施形態で図19を用いて説明した通りである。
第2実施形態においても、第1実施形態で図20A〜図20Cを用いて説明したように、位相合わせをしたAB像の出力比分布に基づいて、再シェーディング補正を行なう。式(7)で定義される相関量で検出された位相差をPD、PDだけシフトさせて位相を一致させたAB像の光量比分布の近似式をf(i)とすると、第1実施形態と同様に、f(i)は下記式で表される。
Figure 2010026177
i番目の画素SHBの信号に、f(i)を乗算することで、画素SHAと画素SHBの間に生じているゲイン差を補正する。再シェーディング補正したAB像は、図20Cで示したように、ゲイン差を解消することができ、AB像の一致度を向上させることができる。
式(12)〜式(14)では、一次直線による近似を説明したが、最小二乗法を用いれば二次以上の近似式も、同様の考え方で算出することが可能である。また、演算量を少なくするために、右半分のAB出力比平均値と左半分のAB出力比平均値から、近似直線を定義するなどしてもよい。
また、画素SHBの信号にf(i)を乗算する方法を説明したが、画素SHAの信号をf(i)で除算してもよい。
各画素の出力比の分散値によりAB像の位相差を検出すれば、AB像に生じる光量差を補正しなくても、位相差を正しく検出することは可能である。しかし本発明では、位相差検出結果の信頼性を判定するために、位相合わせしたAB像の出力比分布に基づいて、AB像の再シェーディング補正を行なう。これにより、AB像の波形は一致し、位相差検出結果の信頼性を正しく判定することが可能となる。なお、この再シェーディング補正は、位相差の検出が行われる度に実施する。そうすることによって、そのときの位相差の検出結果が正確であるか否かを、位相差が検出される度に正しく評価できる。
以上、図20A〜図20Cで説明したように、各画素におけるAB出力比の分散が最小になるように位相合わせしたAB像の出力分布に基づいて再シェーディング補正することで、一様光の撮影をせずにAB像の一致度を向上させることができ、これにより位相差検出結果の信頼性を正しく評価することが可能となる。
次に、図32及び図33を用いて、第2実施形態のカメラの焦点調節及び撮影工程を説明する。
図32は、本発明の第2実施形態のカメラのメインフローチャートである。
S501で撮影者がカメラの電源スイッチをオン操作する。
S502では、CPU121はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。
S503では、操作スイッチ132に設けられた焦点検出領域指定手段によって指定された位置に基づき、焦点検出領域を決定する。
S504では、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければS503に戻り、焦点検出領域指定手段によって指定された焦点検出領域を確認する。S504で撮影準備スイッチがオン操作されるとS600に移行し、焦点検出サブルーチンを実行する。
図33は、焦点検出サブルーチン(図32のS600)のフローチャートである。
メインフローのS600から当サブルーチンのS600にジャンプすると、S601では、メインルーチンのS503で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。
S602では、画素SHAから得られる信号を並べてA像信号と、画素SHBから得られる信号とを並べてB像信号を生成し、相関演算用のAB像の信号とする。具体的には、図9に示したAFSIGh(A1)とAFSIGh(B1)、あるいはAFSIGv(C3)とAFSIGv(D3)等の対の信号を創生する。
S200では、得られたAB像に基づいて相関演算を行ない、AB像の位相差を算出する。このS200は、第1実施形態で説明した図23の動作を行う。
S300では、S200相関演算で得られた位相差だけAB像の相対位置関係をシフトさせ、位相が一致したAB像の各画素におけるAB出力比に基づき、AB出力比の補正(再シェーディング補正)を行なう。このS300は、第1実施形態で説明した図24の動作を行う。
S603では、再シェーディング処理済みの光量比が補正されたAB像で再び相関演算を行ない、AB像の位相差を算出する。
S400では、相関演算結果の信頼性を判定する。ここで信頼性とは、AB像の一致度を指し、AB像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、この一致度がある閾値を超えているか否かで位相差検出結果の信頼性の判定を行ったり、複数の焦点検出領域が選択されている場合に信頼性の高い情報を優先的に使用したりするなどに用いられる。このS400は、第1実施形態で説明した図25の動作を行う。
S604では、信頼性の高い検出結果から焦点ずれ量を演算する。そして図32のメインフロー内のS600にリターンする。
図32に戻って、S505では、S604で計算した焦点ずれ量が許容値以下か否か、すなわち合焦しているか否かを判断する。そして焦点ずれ量が許容値を超える場合は、非合焦と判断し、S509でフォーカスレンズを駆動し、その後S600からS505を繰り返し実行する。そしてS505において合焦状態に達したと判定されると、S506において合焦表示を行ない、S507に移行する。
S507では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければS507において撮影待機状態を維持する。S507で撮影開始スイッチがオン操作されるとS161に移行し、撮影サブルーチンを実行する。このS161は、第1実施形態で説明した図26の動作を行う。
S161の撮影サブルーチンから図32のメインフローに戻ると、S508において一連の動作を終了する。
以上説明したように、第2実施形態によれば、一対の像信号の各画素における画素出力比を算出し、その出力比分布のばらつきを相関量として位相差を算出することで、ゲイン差のある一対の像信号に対しても、位相差検出誤差を軽減できる。
また、一対の像信号の位相差に基づいて撮影光学系201の焦点状態を検出する焦点検出装置に、本実施形態の位相差検出方法を用いることで、ゲイン差のある一対の像信号に対しても、焦点検出誤差を生じ難くできる。
さらに、出力比分布のばらつきを評価量として位相を一致させた一対の像信号の、各画素における画素出力比分布に基づいて一対の像信号のゲイン差を補正する。これにより、一様光の撮影をせずに一対の像信号の一致度を向上させることができ、位相差検出の信頼性を正しく判定できる。
(第3実施形態)
第2実施形態では、撮影光学系201と撮像素子204との間で光路分割して導いた光束を、一対のレンズ要素からなる二次結像光学系(再結像レンズ214)で再結像する。そして、得られた一対の像信号の位相差に基づいて撮影光学系201の焦点状態を検出する形態を示した。つまり、第2実施形態は、TTL二次結像タイプの位相差方式焦点検出方法であった。第3実施形態では、撮影光学系とは別に、焦点検出用の光学系を別途備えており、三角測距原理によって焦点検出を行なう。つまり外測タイプの位相差方式焦点検出方法であるところが、第3実施形態の特徴である。
図34は、第3実施形態のカメラの構成を示す図である。
第3実施形態のカメラは、撮像素子107を有したカメラ本体と撮影光学系(101,103,105)が一体となったデジタルカメラである。第2実施形態と第3実施形態とで構成が異なるところは、光路分割のための光学系(サブミラー203)がなく、焦点検出装置320が、撮影光学系とは別にカメラ本体に設けられているところである。それ以外の構成は第2実施形態と同じであるため、説明を省略する。
第3実施形態のカメラに設けられた焦点検出装置320は、結像レンズ314、絞り313、そして焦点検出用センサ317によって構成されている。
結像レンズ314は、一対のレンズ部を有しており、焦点検出用センサ317の受光部面上に一対の被写体光学像を結像させる。
絞り313は、結像レンズ314のレンズ部に対応した開口部を有しており、結像レンズ314のレンズ部に入射する光束を制限している。これにより結像レンズ314の射出瞳として機能している。
焦点検出用センサ317には、結像レンズ314のレンズ部に対応した受光部があり、この受光部は複数の焦点検出用画素で構成されている。焦点検出用センサ317は、結像レンズ314によって結像された一対の被写体光学像を光電変換する光電変換手段であり、複数画素から得られる信号を並べて一対の像信号を生成する。この焦点検出用センサ317を駆動するのが、AFセンサ駆動回路134である。
CPU121は、AFセンサ駆動回路134を介して焦点検出装置320から一対の像信号を取得し、後述する位相差算出方法に基づいて位相差を算出する。
なお、外測タイプの位相差方式焦点検出方法は、特許文献3(特開2004−12601)に開示されており公知技術である。そのため、三角測距原理に基づく測距原理については、説明を省略する。
次に、第3実施形態のカメラにおいても、一対の像信号のゲイン差が生じてしまう場合があることを説明する。図34で説明したように、絞り313には、結像レンズ314のレンズ部に対応した一対の開口部がある。製造誤差により、この一対の開口部の面積が異なる大きさになってしまった場合、結像レンズ314の一対のレンズに入射する光量も変わってしまう。これにより、結果として得られる一対の像信号にゲイン差が生じてしまう。すると、焦点検出装置320から得られる一対の像信号には、第1実施形態の図12Aで示したようなゲイン差が生じてしまう。そのようなゲイン差がある一対の像信号について、従来の定義による相関量に基づいて位相差検出すると、図13A〜図14Cで説明したように位相差検出結果に誤差が生じてしまう。
通常、外測タイプの焦点検出装置は、非常に小型なものであることが多く、絞り313の一対の開口部も非常に小さい。すると、開口部の寸法を高精度に追い込んだとしても、残った寸法誤差が開口面積に与える影響は非常に大きく、開口部の面積の不一致はどうしても避けられない。そのため、上述のような製造誤差による一対の像信号のゲイン差は必然的に生じてしまう問題である。そのようなゲイン差が変化していくような一対の像信号について、従来の定義による相関量に基づいて位相差検出すると、図13A〜図14Cで説明したように位相差検出結果に誤差が生じてしまう。
そこで、第3実施形態の位相差検出方法においても第1実施形態と同様に、各画素位置におけるAB像信号の出力比のばらつきを相関量として定義し、位相差を算出する。焦点検出用画素の画素数をI個、i番目の画素SHAの信号をA(i)、i番目の画素SHBの信号をB(i)とすると、A像を左にPDビットシフトしたときの相関量は、第1実施形態と同様に、下記式で表される不偏分散とした。
Figure 2010026177
第3実施形態の位相差検出方法においても、この分散値VAR(PD)を各シフト量における相関量として扱う。この分散値が極値となるシフト量がAB像の位相が一致している状態であるとみなし、位相差の検出を行なう。ここで分散値が極値をとるというのは、最小値をとることを意味している。各画素位置における出力比の分散値を相関量とすることで、AB像にゲイン差がある場合でも、ゲイン差の影響を受けることなく、正しくAB像の相関性を表現することができる。そして、ゲイン差による位相差検出の誤差を軽減することができる。
出力比A(i+PD)/B(i)のばらつきを表す指標として、本発明では分散値を用いたが、標準偏差としてもよい。また分散値や標準偏差を定数倍した数値でも、同様の効果を得られることはいうまでもない。さらには、第1実施形態と同様に、以下の式(9)に表現されるような、平均値からずれ量を二乗平均し、データ数で除した分散値(標本分散)を用いてもよい。
Figure 2010026177
なお、式(9)で表現される値を定数倍した数値でも、同様の効果は得られる。
本実施形態では、位相を合わせたAB像の各画素の比較結果として、画素SHAの信号と画素SHBの信号の出力比A(i+PD)/B(i)を用いたが、出力差の絶対値|A(i+PD)−B(i)|を用いてもよい。どちらか一方の像にフレア成分が含まれているときなどは、各画素の比較結果としてこの出力差の絶対値を用いることが望ましい。
また、各画素の比較結果として、出力比を用いたものと、出力差の絶対値を用いたものの、両方の位相差検出結果を算出しておき、検出結果や像の一致度やコントラストなどで判定し、より信頼性の高い検出結果を選択してもよい。
第3実施形態では、第1実施形態と同様に、第1実施形態の図15Aと図15Bを用いて説明した一連の位相差検出演算を行う。この一連の位相差検出演算は、CPU121で行われる処理である。具体的には、各画素における比較結果を算出する比較手段151、出力比のばらつきを算出するばらつき算出手段152、ばらつきが極値をとる位相差を算出する位相差算出手段153がCPU121の機能として実現されている。
式(7)に示すような分散VAR(PD)を相関量とした場合の効果は、第1実施形態において図16A〜図18Bで説明したものと同じであるため、ここでは省略する。
また、各画素におけるAB出力比の分散値が最小になるシフト量は、第1実施形態と同様に、小数点以下まで求めても良い。小数点以下まで求める方法は、第1実施形態で図19を用いて説明した通りである。
第3実施形態においても、第1実施形態で図20A〜図20Cを用いて説明したように、位相合わせをしたAB像の出力比分布に基づいて、再シェーディング補正を行なう。式(7)で定義される相関量で検出された位相差をPD、PDだけシフトさせて位相を一致させたAB像の光量比分布の近似式をf(i)とすると、第1実施形態と同様に、f(i)は下記式で表される。
Figure 2010026177
i番目の画素SHBの信号に、f(i)を乗算することで、画素SHAと画素SHBの間に生じているゲイン差を補正する。再シェーディング補正したAB像は、図20Cで示したように、ゲイン差を解消することができ、AB像の一致度を向上させることができる。
式(12)〜式(14)では、一次直線による近似を説明したが、最小二乗法を用いれば二次以上の近似式も、同様の考え方で算出することが可能である。また、演算量を少なくするために、右半分のAB出力比平均値と左半分のAB出力比平均値から、近似直線を定義するなどしてもよい。
また、画素SHBの信号にf(i)を乗算する方法を説明したが、画素SHAの信号をf(i)で除算してもよい。
各画素の出力比の分散値によりAB像の位相差を検出すれば、AB像に生じる光量差を補正しなくても、位相差を正しく検出することは可能である。しかし本発明では、位相差検出結果の信頼性を判定するために、位相合わせしたAB像の出力比分布に基づいて、AB像の再シェーディング補正を行なう。これにより、AB像の波形は一致し、位相差検出結果の信頼性を正しく判定することが可能となる。なお、この再シェーディング補正は、位相差の検出が行われる度に実施する。そうすることによって、そのときの位相差の検出結果が正確であるか否かを、位相差が検出される度に正しく評価できる。
以上、図20A〜図20Cで説明したように、各画素におけるAB出力比の分散が最小になるように位相合わせしたAB像の出力分布に基づいて再シェーディング補正することで、一様光の撮影をせずにAB像の一致度を向上させることができ、これにより位相差検出結果の信頼性を正しく評価することが可能となる。
第3実施形態におけるカメラの焦点調節及び撮影工程の動作は、第2実施形態と同じであるため、説明を省略する。
第3実施形態では、被写体光を受光して一対の像信号を取得し、その位相差を算出するいわゆるパッシブ方式について説明したが、被写体にむけて赤外光を投光し、その被写体からの反射光を受光して一対の像信号を取得し、その位相差を算出するいわゆるアクティブ方式にも、本発明は適用可能である。パッシブ方式でもアクティブ方式でも、一対の像信号のゲイン差は同様のメカニズムにより発生し、本発明の位相差算出の手法を適用することで、そのゲイン差によって発生する位相差検出誤差を軽減することが可能である。
以上説明したように、第3実施形態によれば、一対の像信号の各画素における画素出力比を算出し、その出力比分布のばらつきを相関量として位相差算出することで、ゲイン差のある一対の像信号に対しても、位相差検出誤差を軽減できる。
また、一対の像信号の位相差に基づいて撮影光学系の焦点状態を検出する焦点検出装置に、上述の位相差検出方法を用いることで、ゲイン差のある一対の像信号に対しても、焦点検出誤差を生じ難くできる。
さらに、出力比分布のばらつきを評価量として位相を一致させた一対の像信号の、各画素における画素出力比分布に基づいて一対の像信号のゲイン差を補正する。これにより、一様光の撮影をせずに一対の像信号の一致度を向上させることができ、位相差検出の信頼性を正しく判定できる。
(変形形態)
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。
(1)各実施形態において、撮像装置としてデジタルカメラを例に挙げて説明したが、これに限らず、例えば、動画撮影を主たる目的とするビデオカメラに本発明を適用してもよい。
(2)各実施形態において、再シェーディング補正済みの光量比が補正されたAB像で再び相関演算を行ない、AB像の位相差を算出する例を示した。しかし、これに限らず、例えば、再相関演算を行わずに、再シェーディング補正前に行う相関演算の結果からAB像の位相差を算出して焦点調節動作に用いてもよい。
(3)各実施形態において、式(7)で表される不偏分散、又は、式(9)で表される標本分散によりAB像の比較結果の統計的ばらつきを評価する例を示した。しかし、AB像の比較結果の統計的ばらつきを表す不偏分散、及び、標本分散は、これらの式に限らず、以下に示す各式を用いてもよい。
Figure 2010026177
また、AB像の比較結果の統計的ばらつきは、分散、及び、標準偏差の他に、範囲、四分位範囲、平均差、平均偏差等の他の統計的ばらつき(散布度)を表す値を用いて評価してもよい。
(4)各実施形態において、撮像装置としてのカメラに本発明を適用する例を示したが、これに限らず、例えば、本発明の位相差検出方法をコンピュータに実行させることができるコンピュータプログラムの形態としてもよい。そうすることにより、撮像装置の制御プログラムを更新する所謂ファームアップにより、このコンピュータプログラムを撮像装置に適用することができ、既存の撮像装置の位相差検出をより正確に行うことができる。
なお、第1実施形態〜第3実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した各実施形態によって限定されることはない。
本発明による位相差検出装置を用いたカメラの第1実施形態の構成を示す図である。 位相差検出回路150に関連する部分を抜き出して示したブロック図である。 本発明の撮像素子の回路構成の概略を示す図である。 画素部(光電変換部1)の断面図である。 撮像素子の駆動タイミングチャートである。 撮像用画素の配置と構造を示す図である。 撮影光学系の水平方向(横方向)に瞳分割を行なうための焦点検出用画素の配置と構造を示す図である。 撮影光学系の垂直方向に瞳分割を行なうための焦点検出用画素の配置と構造を示す図である。 第1実施形態における撮像素子の瞳分割状況を概念的に説明する図である。 焦点検出時に取得した画像と焦点検出領域を説明する図である。 撮像素子及び撮影光学系付近を−X軸、+Y軸、−Z軸の3つの軸によって囲まれる象限から見た斜視図である。 撮像素子と射出窓及び瞳の関係を示す図である。 A像とB像のゲイン差が像高によって変わる例を示した図である。 A像とB像のゲイン差が像高によって変わる例を示した図である。 A像とB像のゲイン差が像高によって変わる例を示した図である。 図12Aに示すようなゲイン差が生じた画素SHA、画素SHBで、前述のような模様を有した被写体を受光した場合に得られるAB像を示す図である。 図13AのようなAB像の相対位置関係を1ビットずつシフトさせながら、特許文献1(特公昭62―39722)に開示されている相関量を算出した結果を示す図である。 −3ビットシフトさせたときのAB像を示す図である。 図12Aに示すようなゲイン差が生じた画素SHA、画素SHBで、前述のような模様を有した被写体を受光した場合に得られるAB像を示す図である。 図14AのようなAB像の相対位置関係を1ビットずつシフトさせながら、特許文献2(特開昭63−264715)に開示されている相関量を算出した結果を示す図である。 −3ビットシフトさせたときのAB像を示す図である。 図12Aに示したようなゲイン差が生じた画素SHA、画素SHBで、左が黒く、右が白く、その境界部が徐々に切り替わっていくようなグラデーションパターンの被写体を受光した場合に得られるAB像を示す図である。 A(i+PD)/B(i)をプロットしていった図である。 図12Aに示すようなゲイン差が生じた画素SHA、画素SHBで、前述のような模様を有した被写体を受光した場合に得られるAB像を示す図である。 図16AのようなAB像の相対位置関係を1ビットずつシフトさせながら、式(7)に示すような相関量を算出した結果を示す図である。 図12Bに示すようなゲイン差が生じた画素SHA、画素SHBで、前述のような模様を有した被写体を受光した場合に得られるAB像を示す図である。 図17AのようなAB像の相対位置関係を1ビットずつシフトさせながら、式(7)に示すような相関量を算出した結果を示す図である。 図12Bに示すようなゲイン差が生じた画素SHA、画素SHBで、前述のような模様を有した被写体を受光した場合に得られるAB像を示す図である。 図18AのようなAB像の相対位置関係を1ビットずつシフトさせながら、式(7)に示すような相関量を算出した結果を示す図18Bである。 図18Bに示すような分散分布が得られたときに、分散値が最小になるシフト量を、小数点以下まで求める方法を示したグラフである。 式(7)で定義される相関量で検出された位相差PDだけA像をシフトし、AB像の位相を一致させた状態を示す図である。 各画素におけるAB光量比RATEをA(i+PD)/B(i)でプロットした図である。 近似式f(i)に基づいて再シェーディング補正したあとのAB像を示す図である。 第1実施形態のカメラのメインフローを示すフローチャートである。 焦点検出サブルーチンのフローチャートである。 相関演算サブルーチンのフローチャートである。 再シェーディング補正サブルーチンのフローチャートである。 信頼性判定サブルーチンのフローチャートである。 撮影サブルーチンのフローチャートである。 第2実施形態のカメラの側方断面図である。 第2実施形態の焦点検出装置220の各部品を展開した展開斜視図である。 再結像レンズ214の光射出面側中央部を切り出して拡大表示した図である。 焦点検出用センサ217のチップを、光入射面側中央部を切り出して拡大表示した図である。 第2実施形態の位相差検出方法を備えたカメラの構成を示す図である。 本発明の第2実施形態のカメラのメインフローチャートである。 焦点検出サブルーチン(図32のS600)のフローチャートである。 第3実施形態のカメラの構成を示す図である。 ゲイン差がある場合の二つの像信号の波形を示した図である。 ゲイン差がある場合従来の位相差検出を行ったときに二つの像信号が一致すると判断を誤ったときの波形を示した図である。
符号の説明
101 第1レンズ群
102 絞り兼用シャッタ
103 第2レンズ群
107 撮像素子
121 CPU
124 撮像素子駆動回路
TL 撮影レンズ
OBJ 被写体
IMG 被写体像
EP 射出瞳
EPHA、EPHB、EPVC、EPVD 分割された射出瞳
SHA、SHB、SVC、SVD 焦点検出用画素
ML オンチップマイクロレンズ
CL 配線層
134 AFセンサ駆動回路
201 撮影レンズ
213 絞り
214 再結像レンズ
217 焦点検出用センサ
220 焦点検出装置
313 絞り
314 結像レンズ
317 焦点検出用センサ
320 焦点検出装置

Claims (12)

  1. レンズ部と、
    受光した光を光電変換する画素が複数並べて配列され、前記レンズ部を介して受光した少なくとも一対の光学像を光電変換して少なくとも一対の像信号を生成する光電変換手段と、
    前記光電変換手段が生成する前記一対の像信号の分布位置を演算上で順次相対的に変位させながら各相対変位位置で前記画素毎に対応する部分で前記一対の像信号を形成する各信号同士を比較して、前記画素毎の比較結果を出力する比較手段と、
    前記比較手段が出力する前記画素毎の比較結果の統計的ばらつきを前記各相対変位位置で算出して数値化するばらつき算出手段と、
    前記各相対変位位置の変位に応じて前記ばらつき算出手段が数値化した前記統計的ばらつきに基づいて前記一対の像信号の位相差を算出する位相差算出手段と、
    を備える位相差検出装置。
  2. 請求項1に記載の位相差検出装置において、
    前記比較手段は、前記一対の像信号を形成する各信号同士の比、又は、差を比較結果として出力すること、
    を特徴とする位相差検出装置。
  3. 請求項1又は請求項2に記載の位相差検出装置において、
    前記ばらつき算出手段が算出する統計的ばらつきは、分散値、標準偏差、分散値の定数倍の値、標準偏差の定数倍の値、のいずれかであること、
    を特徴とする位相差検出装置。
  4. 請求項3に記載の位相差検出装置において、
    前記比較手段が前記各相対変位位置で出力する前記画素毎の比較結果の数をN
    前記比較手段が前記各相対変位位置で出力する前記画素毎の比較結果の個々の値をX
    Xの平均値をXaveとしたときに、
    前記ばらつき算出手段が算出して数値化する前記統計的ばらつきは、
    Figure 2010026177
    で表される値、又はその定数倍の値であること、
    を特徴とする位相差検出装置。
  5. 請求項3に記載の位相差検出装置において、
    前記比較手段が前記各相対変位位置で出力する前記画素毎の比較結果の数をN
    前記比較手段が前記各相対変位位置で出力する前記画素毎の比較結果の個々の値をXとしたときに、
    前記ばらつき算出手段が算出して数値化する前記統計的ばらつきは、
    Figure 2010026177
    で表される値、又はその定数倍の値であること、
    を特徴とする位相差検出装置。
  6. 請求項1から請求項5までのいずれか1項に記載の位相差検出装置において、
    前記相対変位位置のうち、前記ばらつき算出手段が算出する統計的ばらつきが極値となる相対変位位置に基づいて、前記一対の像信号の位相差を算出する位相差算出手段を備えること、
    を特徴とする位相差検出装置。
  7. 請求項6に記載の位相差検出装置において、
    前記位相差算出手段は、前記統計的ばらつきが最小となる相対変位位置に基づいて、前記一対の像信号の位相差を算出すること、
    を特徴とする位相差検出装置。
  8. 請求項6又は請求項7に記載の位相差検出装置において、
    前記位相差算出手段は、前記統計的ばらつきの変化量がゼロとなる相対変位位置に基づいて、前記一対の像信号の位相差を算出すること、
    を特徴とする位相差検出装置。
  9. 請求項1から請求項8までのいずれか1項に記載の位相差検出装置において、
    前記光電変換手段は、位相差検出に用いる前記一対の像信号を生成する位相差検出用画素と、
    被写体像から撮像用の画像データの作成に用いる撮像用像信号を生成する撮像用画素と、
    を有し、
    前記位相差検出用画素は、前記撮像用画素に間に分散して配置されていること、
    を特徴とする位相差検出装置。
  10. 請求項1から請求項9までのいずれか1項に記載の位相差検出装置と、
    前記位相差検出装置の位相差検出結果に基づいて焦点調節動作を行う撮影光学系と、
    前記撮影光学系により得られる被写体像を撮像する撮像素子と、
    を備える撮像装置。
  11. レンズ部を介して受光した少なくとも一対の光学像を複数並べて配列された画素により光電変換して少なくとも一対の像信号を生成し、
    生成された前記一対の像信号の分布位置を演算上で順次相対的に変位させながら各相対変位位置で前記画素毎に対応する部分で前記一対の像信号を形成する各信号同士を比較して、前記画素毎の比較結果を出力し、
    前記比較結果の統計的ばらつきを前記各相対変位位置で算出して数値化し、
    前記各相対変位位置の変位に応じて前記ばらつき算出手段が数値化した前記統計的ばらつきに基づいて前記一対の像信号の位相差を算出する位相差検出方法。
  12. レンズ部と、
    受光した光を光電変換する画素が複数並べて配列され、前記レンズ部を介して受光した少なくとも一対の光学像を光電変換して少なくとも一対の像信号を生成する光電変換手段と、
    を備えた位相差検出装置のコンピュータを、
    前記光電変換手段が生成する前記一対の像信号の分布位置を演算上で順次相対的に変位させながら各相対変位位置で前記画素毎に対応する部分で前記一対の像信号を形成する各信号同士を比較して、前記画素毎の比較結果を出力する比較手段と、
    前記比較手段が出力する前記画素毎の比較結果の統計的ばらつきを前記各相対変位位置で算出して数値化するばらつき算出手段と、
    前記各相対変位位置の変位に応じて前記ばらつき算出手段が数値化した前記統計的ばらつきに基づいて前記一対の像信号の位相差を算出する位相差算出手段として機能させるための位相差検出プログラム。
JP2008186401A 2008-07-17 2008-07-17 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム Expired - Fee Related JP5317562B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008186401A JP5317562B2 (ja) 2008-07-17 2008-07-17 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム
US12/503,974 US8149324B2 (en) 2008-07-17 2009-07-16 Phase difference detection device, imaging apparatus, phase difference detection method
EP09165708.0A EP2146500B1 (en) 2008-07-17 2009-07-16 Phase difference detection device, imaging apparatus, phase difference detection method
CN200910159178XA CN101630110B (zh) 2008-07-17 2009-07-17 相位差检测装置、摄像设备和相位差检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008186401A JP5317562B2 (ja) 2008-07-17 2008-07-17 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム

Publications (2)

Publication Number Publication Date
JP2010026177A true JP2010026177A (ja) 2010-02-04
JP5317562B2 JP5317562B2 (ja) 2013-10-16

Family

ID=41119913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008186401A Expired - Fee Related JP5317562B2 (ja) 2008-07-17 2008-07-17 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム

Country Status (4)

Country Link
US (1) US8149324B2 (ja)
EP (1) EP2146500B1 (ja)
JP (1) JP5317562B2 (ja)
CN (1) CN101630110B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019204041A (ja) * 2018-05-25 2019-11-28 キヤノン株式会社 撮像装置およびその制御方法

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
JP5451111B2 (ja) * 2008-03-11 2014-03-26 キヤノン株式会社 焦点検出装置およびそれを有する撮像装置
JP5552214B2 (ja) * 2008-03-11 2014-07-16 キヤノン株式会社 焦点検出装置
CN101609501A (zh) * 2008-06-20 2009-12-23 鸿富锦精密工业(深圳)有限公司 监控系统及其监控方法
EP2460508B1 (en) 2008-06-25 2016-11-02 The Procter and Gamble Company Hair conditioning composition having higher yield point and higher conversion rate of fatty compound to gel matrix
JP5161702B2 (ja) * 2008-08-25 2013-03-13 キヤノン株式会社 撮像装置、撮像システム、及び焦点検出方法
JP5229060B2 (ja) * 2009-03-31 2013-07-03 ソニー株式会社 撮像装置および焦点検出方法
KR20100138614A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 자동초점 검출장치 및 이를 적용한 카메라
JP5306116B2 (ja) * 2009-08-31 2013-10-02 キヤノン株式会社 焦点状態検出装置、撮像装置、およびその制御方法
JP5326989B2 (ja) * 2009-10-26 2013-10-30 セイコーエプソン株式会社 光学式位置検出装置および位置検出機能付き表示装置
JP5493702B2 (ja) * 2009-10-26 2014-05-14 セイコーエプソン株式会社 位置検出機能付き投射型表示装置
JP2011099994A (ja) * 2009-11-06 2011-05-19 Seiko Epson Corp 位置検出機能付き投射型表示装置
JP5563283B2 (ja) * 2009-12-09 2014-07-30 キヤノン株式会社 画像処理装置
JP5439162B2 (ja) * 2009-12-25 2014-03-12 株式会社Kddi研究所 動画像符号化装置および動画像復号装置
JP2011176715A (ja) * 2010-02-25 2011-09-08 Nikon Corp 裏面照射型撮像素子および撮像装置
JP2011221253A (ja) * 2010-04-08 2011-11-04 Sony Corp 撮像装置、固体撮像素子、撮像方法およびプログラム
TWI495335B (zh) * 2010-04-21 2015-08-01 Hon Hai Prec Ind Co Ltd 取像模組及其運作方法
JP5932210B2 (ja) * 2010-04-30 2016-06-08 キヤノン株式会社 撮像装置及び焦点調節方法
JP5521786B2 (ja) * 2010-05-31 2014-06-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5775679B2 (ja) * 2010-09-08 2015-09-09 オリンパス株式会社 デジタルカメラ
JP5652157B2 (ja) * 2010-11-25 2015-01-14 ソニー株式会社 撮像装置、画像処理方法、並びにコンピューター・プログラム
WO2012073728A1 (ja) * 2010-11-30 2012-06-07 富士フイルム株式会社 撮像装置及びその合焦位置検出方法
CN102098531B (zh) * 2010-12-16 2012-07-25 东软集团股份有限公司 一种检测摄像机被干扰的方法及装置
JP5709532B2 (ja) 2011-01-05 2015-04-30 キヤノン株式会社 自動合焦装置及びそれを有するレンズ装置及び撮像システム
WO2012127700A1 (ja) * 2011-03-24 2012-09-27 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
KR101777351B1 (ko) * 2011-05-16 2017-09-11 삼성전자주식회사 촬상 소자, 이를 이용한 디지털 촬영 장치, 오토 포커싱 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체
JP5956782B2 (ja) 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
CN102226852B (zh) * 2011-06-13 2013-01-09 广州市晶华光学电子有限公司 一种数码体视显微镜的成像系统
JP6000520B2 (ja) * 2011-07-25 2016-09-28 キヤノン株式会社 撮像装置およびその制御方法およびプログラム
JP5536959B2 (ja) * 2011-08-30 2014-07-02 富士フイルム株式会社 撮影装置、撮影方法及びプログラム
US20130135188A1 (en) * 2011-11-30 2013-05-30 Qualcomm Mems Technologies, Inc. Gesture-responsive user interface for an electronic device
JP5917207B2 (ja) * 2012-03-14 2016-05-11 キヤノン株式会社 焦点調節装置
JP6016412B2 (ja) * 2012-03-30 2016-10-26 キヤノン株式会社 撮像装置および信号処理方法
CN104380167B (zh) 2012-04-25 2019-03-19 株式会社尼康 焦点检测装置、焦点调节装置及相机
JP6004768B2 (ja) * 2012-06-14 2016-10-12 キヤノン株式会社 焦点検出のための信号処理装置、信号処理方法およびプログラム、ならびに焦点検出装置を有する撮像装置
JP6207303B2 (ja) 2012-09-10 2017-10-04 キヤノン株式会社 制御装置、制御装置を備えるアクチュエータ、画像振れ補正装置、交換用レンズ、撮像装置、及び自動ステージ
CN104662886B (zh) * 2012-09-19 2017-11-10 富士胶片株式会社 摄像装置及对焦确认显示方法
JP6014452B2 (ja) * 2012-10-16 2016-10-25 キヤノン株式会社 焦点検出装置及びそれを有するレンズ装置及び撮像装置
JP5789725B2 (ja) * 2012-11-22 2015-10-07 富士フイルム株式会社 撮像装置及びその合焦方法と合焦制御プログラム
US8797611B2 (en) * 2012-12-12 2014-08-05 Hewlett-Packard Development Company, L.P. Illumination assembly
WO2014098143A1 (ja) * 2012-12-18 2014-06-26 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
EP2944997A4 (en) * 2013-01-10 2016-12-21 Olympus Corp IMAGE CAPTURE DEVICE, IMAGE CORRECTION METHOD, IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING METHOD
WO2014155812A1 (ja) * 2013-03-27 2014-10-02 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6334847B2 (ja) * 2013-04-17 2018-05-30 キヤノン株式会社 焦点検出装置、焦点検出方法およびプログラム、並びに撮像装置
JP6218434B2 (ja) * 2013-05-24 2017-10-25 キヤノン株式会社 焦点検出センサ
JP6099536B2 (ja) * 2013-09-27 2017-03-22 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6021780B2 (ja) * 2013-10-07 2016-11-09 キヤノン株式会社 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法
JP2015102735A (ja) * 2013-11-26 2015-06-04 株式会社ニコン 焦点検出装置および撮像装置
JP2015129846A (ja) * 2014-01-07 2015-07-16 キヤノン株式会社 撮像装置およびその制御方法
JP6478457B2 (ja) * 2014-01-23 2019-03-06 キヤノン株式会社 焦点調節装置及び焦点調節方法
KR102326275B1 (ko) * 2014-02-25 2021-11-16 삼성전자주식회사 이미지 표시 방법 및 장치
US10210412B2 (en) * 2014-03-13 2019-02-19 Pixart Imaging Inc. Optical encoder capable of identifying absolute positions and operating method thereof
US10929699B2 (en) * 2014-03-13 2021-02-23 Pixart Imaging Inc. Optical encoder capable of identifying absolute positions
JP6381266B2 (ja) * 2014-04-15 2018-08-29 キヤノン株式会社 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP6313685B2 (ja) * 2014-05-01 2018-04-18 キヤノン株式会社 撮像装置およびその制御方法
JP2015219439A (ja) * 2014-05-20 2015-12-07 キヤノン株式会社 撮像装置およびその制御方法、プログラム、記憶媒体
US20160091363A1 (en) * 2014-09-26 2016-03-31 Mitsumi Electric Co., Ltd. Optical sensor
KR20160100569A (ko) * 2015-02-16 2016-08-24 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 촬상 장치
US10306132B2 (en) * 2015-05-11 2019-05-28 Canon Kabushiki Kaisha Distance calculation apparatus, imaging apparatus and distance calculation method that include confidence calculation of distance information
EP3098638B1 (en) * 2015-05-29 2022-05-11 Phase One A/S Adaptive autofocusing system
JP6017641B1 (ja) * 2015-07-13 2016-11-02 オリンパス株式会社 撮像装置,信号処理方法,信号処理プログラム
CN105007420B (zh) * 2015-07-14 2018-09-04 广东欧珀移动通信有限公司 一种对焦方法及移动终端
KR20170029175A (ko) * 2015-09-07 2017-03-15 에스케이하이닉스 주식회사 위상차 검출 픽셀을 포함하는 이미지 센서
JP6702777B2 (ja) 2016-04-12 2020-06-03 キヤノン株式会社 撮像装置、撮像方法、及びプログラム
JP6700973B2 (ja) * 2016-05-24 2020-05-27 キヤノン株式会社 撮像装置およびその制御方法
EP3261328B1 (en) * 2016-06-03 2021-10-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable storage medium
CN109477948B (zh) * 2016-07-06 2021-02-19 富士胶片株式会社 对焦控制装置、对焦控制方法、对焦控制程序、透镜装置、摄像装置
JP6862210B2 (ja) * 2017-02-16 2021-04-21 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
US10387477B2 (en) 2017-05-30 2019-08-20 Qualcomm Incorporated Calibration for phase detection auto focus (PDAF) camera systems
KR102431210B1 (ko) * 2017-07-28 2022-08-11 에스케이하이닉스 주식회사 위상차 검출 픽셀을 구비한 이미지 센서
JP7226325B2 (ja) * 2017-10-13 2023-02-21 ソニーグループ株式会社 焦点検出装置および方法、並びにプログラム
US10847555B2 (en) * 2017-10-16 2020-11-24 Panasonic Intellectual Property Management Co., Ltd. Imaging device with microlens having particular focal point
US10580121B2 (en) * 2017-11-16 2020-03-03 Axis Ab Image noise reduction based on a modulation transfer function of a camera dome
US10419664B2 (en) * 2017-12-28 2019-09-17 Semiconductor Components Industries, Llc Image sensors with phase detection pixels and a variable aperture
CN108960172B (zh) * 2018-07-12 2021-12-07 南京工程学院 一种识别gpr图像病害类型的方法
CN110933305B (zh) * 2019-11-28 2021-07-20 维沃移动通信有限公司 电子设备及对焦方法
CN110769162B (zh) * 2019-11-28 2021-07-13 维沃移动通信有限公司 电子设备及对焦方法
CN111948629B (zh) * 2020-07-31 2023-03-31 哈尔滨工程大学 一种高稳健性大多普勒单频脉冲信号检测方法
CN114520854B (zh) * 2020-11-18 2024-01-12 格科微电子(上海)有限公司 一种多摄像头信号同步方法及装置
JP2022150652A (ja) * 2021-03-26 2022-10-07 キヤノン株式会社 画像処理装置及び画像処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02296107A (ja) * 1989-05-10 1990-12-06 Olympus Optical Co Ltd 測距装置
JP2000156823A (ja) * 1998-08-20 2000-06-06 Canon Inc 固体撮像装置及びその制御方法及び撮像装置及び光電変換セルの基本配列及び記憶媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52138924A (en) 1976-05-15 1977-11-19 Konishiroku Photo Ind Co Ltd Focal detector
JPS6239722A (ja) 1985-08-16 1987-02-20 Nippon Soken Inc 流量センサ用膜式抵抗
JP2768459B2 (ja) 1986-12-19 1998-06-25 オリンパス光学工業株式会社 焦点検出装置
JP3031606B2 (ja) 1995-08-02 2000-04-10 キヤノン株式会社 固体撮像装置と画像撮像装置
JP4007716B2 (ja) * 1999-04-20 2007-11-14 オリンパス株式会社 撮像装置
JP3774597B2 (ja) * 1999-09-13 2006-05-17 キヤノン株式会社 撮像装置
JP2003295047A (ja) * 2002-04-05 2003-10-15 Canon Inc 撮像装置および撮像システム
JP2004012601A (ja) 2002-06-04 2004-01-15 Canon Inc 測距装置
JP2004191629A (ja) * 2002-12-11 2004-07-08 Canon Inc 焦点検出装置
US7751700B2 (en) * 2006-03-01 2010-07-06 Nikon Corporation Focus adjustment device, imaging device and focus adjustment method
JP4961993B2 (ja) * 2006-12-18 2012-06-27 株式会社ニコン 撮像素子、焦点検出装置および撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02296107A (ja) * 1989-05-10 1990-12-06 Olympus Optical Co Ltd 測距装置
JP2000156823A (ja) * 1998-08-20 2000-06-06 Canon Inc 固体撮像装置及びその制御方法及び撮像装置及び光電変換セルの基本配列及び記憶媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019204041A (ja) * 2018-05-25 2019-11-28 キヤノン株式会社 撮像装置およびその制御方法
JP7134712B2 (ja) 2018-05-25 2022-09-12 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
EP2146500A2 (en) 2010-01-20
EP2146500B1 (en) 2014-10-29
CN101630110A (zh) 2010-01-20
JP5317562B2 (ja) 2013-10-16
CN101630110B (zh) 2011-11-23
US20100013947A1 (en) 2010-01-21
EP2146500A3 (en) 2013-01-16
US8149324B2 (en) 2012-04-03

Similar Documents

Publication Publication Date Title
JP5317562B2 (ja) 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム
JP5147645B2 (ja) 撮像装置
US9591246B2 (en) Image pickup apparatus with blur correcting function
JP5028154B2 (ja) 撮像装置及びその制御方法
JP5164707B2 (ja) 位相差検出装置、撮像装置、位相差検出装置の信号レベル補正方法、信号レベル補正プログラム
JP5552214B2 (ja) 焦点検出装置
JP5276374B2 (ja) 焦点検出装置
US8654227B2 (en) Focus detection apparatus, focus detection method, and image sensing apparatus
US8634015B2 (en) Image capturing apparatus and method and program for controlling same
JP5653035B2 (ja) 撮像装置、焦点検出方法、および制御方法
WO2010005104A1 (en) Image-capturing apparatus
WO2010005105A1 (en) Image-capturing apparatus
JP2011023823A (ja) 画像処理装置及び画像処理方法
US9060119B2 (en) Image capturing apparatus and control method for image capturing apparatus
JP2012220790A (ja) 撮像装置
JP5735784B2 (ja) 撮像装置及びその制御方法、レンズ装置及びその制御方法
JP5793210B2 (ja) 撮像装置
JP5352003B2 (ja) 画像処理装置及び画像処理方法
JP2017169012A (ja) 画像処理装置、画像処理装置の制御方法、撮像装置
JP2014197161A (ja) 焦点検出装置及び方法、及び撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130709

R151 Written notification of patent or utility model registration

Ref document number: 5317562

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees