JP4596246B2 - オートフォーカスシステム - Google Patents

Description

本発明はオートフォーカスシステムに係り、特にカメラの撮影範囲のうちオートフォーカス（ＡＦ）の対象とする位置（範囲）を自動で移動させて所望の対象被写体を追尾しながらピント合わせすることができるオートフォーカスシステムに関する。

テレビカメラのように撮影素子（ＣＣＤ等）により被写体の画像を電気信号（画像信号）に変換する撮像システムでは、オートフォーカス（以下、ＡＦと記す）の方式として一般的にコントラスト方式が採用されている。コントラスト方式は、撮像素子により取り込まれた画像信号から被写体画像のコントラストを検出し、そのコントラストが最も高くなるように撮影レンズのフォーカスを制御することによって最良ピント状態（合焦状態）に自動でピント合わせを行う方式である。

コントラスト方式のようなＡＦでは、カメラの撮影範囲内にある被写体の全体をＡＦの対象とするのではなく、撮影範囲のうちの一部の範囲にある被写体のみを対象とすることが多い。コントラスト方式のＡＦでは、撮像素子の撮像エリア全体により取り込まれた画像信号のうち、ＡＦの対象とする範囲の画像信号を抽出し、その抽出した範囲の画像信号のコントラストが最も高くなるようにフォーカスを制御することによってＡＦの対象を一部の範囲の被写体のみに限定している。尚、本明細書ではカメラの撮影範囲のうちＡＦの対象とする被写体の範囲、又はカメラの撮影画像（の画面）の全範囲のうちＡＦの対象とする被写体の画像範囲をＡＦエリアといい、そのＡＦエリアの輪郭を示す枠をＡＦ枠というものとする。

また、単一のＡＦエリアが撮影範囲内の所定位置に固定して設定される場合、標準的には矩形のＡＦエリアが撮影範囲の中央部に設定されるが、操作者の操作によってＡＦエリアの位置を変更可能にしたものも知られている（例えば、特許文献１参照）。
特開２００２−３６５５１９号公報

ところで、ＡＦエリアを所望の位置に変更できるようにした場合において、ピントを合わせたい対象被写体が撮影範囲内で移動する物体の場合には、操作者はトラックボールやジョイスティック等の操作装置を操作してその対象被写体の動きに合わせてＡＦエリアの位置を動かす必要がある。そのため、その操作の手間や注意力を要するという問題があった。

そこで、移動する対象被写体に対してＡＦエリアを自動で追尾させるようにすると操作者がＡＦエリアの位置を操作する手間がなくなくなるため効果的である。ＡＦエリアを所望の対象被写体に自動追尾させる方法としては、製品検査等で使用されているパターンマッチング（正規化相関）の技術を応用することが考えられる。

この方法では、まず、追尾したい対象被写体の画像を基準パターンの画像（基準パターン画像）として記憶させておく。例えば、カメラの撮影画像（映像）が表示されるビューファインダ等の画面上に矩形状の枠（基準パターン枠）を表示させ、所定の操作装置によってその基準パターン枠の位置等を変更できるようにする。そして、操作者がその操作装置を操作して基準パターン枠を追尾したい対象被写体の位置に合わせた後、記憶の指示を与えると、そのときの基準パターン枠内の画像を基準パターン画像として記憶する。

基準パターン画像を記憶すると、追尾処理を開始し、カメラから順次得られる各撮影画像に対してパターンマッチング処理を行い、基準パターン画像に合致する画像を検出する。そして、その基準パターン画像に合致した画像の位置に合わせてＡＦエリアの位置を移動させる。これによって、基準パターン画像として記憶された対象被写体にＡＦエリアを自動追尾させることができる。

また、上述のようなＡＦエリアの自動追尾において、同一の対象被写体であっても対象被写体が動くと、その対象被写体の画像のパターンが大きく変化する場合がある。例えば、人物の顔を対象被写体とした場合、その人物の顔の向きが変化すると対象被写体の画像のパターンが大きく変化する。この場合、初期に記憶した基準パターン画像と、カメラにより逐次撮影される撮影画像における対象被写体の画像とが合致しなくなるおそれがある。そこで、例えば、新たに得られた撮影画像において基準パターン画像と合致した画像を検出した際にその検出した画像を取り込み新たな基準パターン画像として更新すると、対象被写体の画像のパターンが変化した場合でもそれに伴って基準パターン画像のパターンも変更されるため、適切に対象被写体の画像を検出することができる。

しかしながら、カメラと対象被写体の距離が変化したり、撮影レンズのズーム倍率（焦点距離）が変化すると、撮影画像内における対象被写体の画像の大きさが変化するため、基準パターン画像を新たな撮影画像から取り込んで更新する場合においても、又は、そのような更新を行わない場合においても対象被写体の画像を検出するのが困難になるという問題がある。

例えば対象被写体が後方に移動したとき、又は、撮影レンズの焦点距離が短くなったときに対象被写体の画像は撮影画像内において小さくなる。このような場合を想定すると、基準パターン画像を新たな撮影画像から取り込んで更新する場合、基準パターン枠内における対象被写体の画像も小さくなり、更新された基準パターン画像において背景等の対象被写体以外の画像が多く含まれるようになる。基準パターン画像に対象被写体以外の画像が多く含まれるようになると、パターンマッチング処理における相関値が小さくなるため対象被写体を検出することが困難になる。

また、上述のような基準パターン画像の更新を行わない場合、即ち、基準パターン画像を一度だけ撮影画像から取り込んで記憶する場合、対象被写体の画像が撮影画像内で小さくなると（又は大きくなると）、基準パターン画像内における対象被写体の画像の大きさと、撮影画像内における対象被写体の画像の大きさが相違する。そのため、上述と同様にパターンマッチング処理による対象被写体の検出が困難となる。

本発明はこのような事情に鑑みてなされたもので、カメラと追尾する対象被写体の距離が変化した場合や撮影レンズ（カメラの光学系）の焦点距離が変化した場合のようにカメラの撮影画像内での対象被写体の画像の大きさが変化した場合であっても、その対象被写体を、ピントを合わせる対象として適切に自動追尾することができるオートフォーカスシステムを提供することを目的とする。

前記目的を達成するために、請求項１に記載のオートフォーカスシステムは、カメラによって撮影される撮影画像の範囲内において、追尾する対象被写体の画像を示す基準パターン画像を取得する基準パターン画像取得範囲を設定する基準パターン画像取得範囲設定手段と、前記基準パターン画像取得範囲設定手段により設定された基準パターン画像取得範囲の画像を取得し、該取得した画像を基準パターン画像として記憶する基準パターン画像記憶手段と、前記カメラによって順次撮影される撮影画像に対して前記基準パターン画像記憶手段によって記憶された基準パターン画像と合致する画像の位置を検出する基準パターン画像位置検出手段と、前記カメラの撮影範囲内においてピント合わせの対象とする位置が前記対象被写体の位置に追従するように前記基準パターン画像位置検出手段によって検出された位置に基づいて前記ピント合わせの対象とする位置を変更すると共に、前記対象被写体にピントが合うように前記カメラの光学系のフォーカス調整を行うオートフォーカス手段と、前記基準パターン画像取得範囲設定手段によって設定される前記基準パターン画像取得範囲の位置が前記対象被写体の位置に追従するように前記基準パターン画像検出手段によって検出された位置に基づいて前記基準パターン画像取得範囲の位置を変更する基準パターン画像取得範囲位置変更手段と、前記基準パターン画像取得範囲設定手段によって設定される前記基準パターン画像取得範囲の大きさを前記カメラの撮影画像における前記対象被写体の画像の大きさに応じて変更する基準パターン画像取得範囲大きさ変更手段であって、前記カメラの撮影画像における前記対象被写体の画像の大きさが初期の大きさより小さくなる場合にのみ前記基準パターン画像取得範囲の大きさを変更する基準パターン画像取得範囲大きさ変更手段と、を備えたことを特徴としている。

本発明によれば、ピントを合わせる対象として追尾する対象被写体の撮影画像上での大きさに応じて、対象被写体の画像を示す基準パターン画像を取り込み、記憶する基準パターン画像取込範囲（基準パターン枠）の大きさを変更するようにしたため、基準パターン画像を新たな撮影画像から取り込んで更新した場合に基準パターン画像内における対象被写体の画像の大きさを略一定に維持することができる。従って、対象被写体が前後に移動したり、カメラの光学系の焦点距離（ズーム倍率）が変化して撮影画像内における対象被写体の画像の大きさが変化した場合であっても、基準パターン画像内において対象被写体以外の画像が増加するなどの不具合を防止することができ、撮影画像の中から対象被写体の画像を適切に検出して対象被写体をピント合わせの対象として適切に追尾することができる。

請求項２に記載のオートフォーカスシステムは、請求項１に記載の発明において、前記基準パターン画像取得範囲大きさ変更手段による基準パターン画像取得範囲の大きさの変更は、前記カメラの光学系によってピントが合わせられている被写体距離と、前記光学系の焦点距離のうち少なくともいずれか一方に基づいて行うことを特徴としている。即ち、撮影画像内における対象被写体の画像の大きさは、ピントが合わせられている対象被写体までの距離、即ち、被写体距離と光学系の焦点距離（ズーム倍率）によって変化するため、それらの情報に基づいて基準パターン画像取得範囲の大きさを変更することによって撮影画像内における対象被写体の画像の大きさに応じて基準パターン画像取得範囲の大きさを変更することができる。

請求項３に記載のオートフォーカスシステムは、請求項１又は２に記載の発明において、前記オートフォーカス手段は、前記ピント合わせの対象を、前記カメラの撮影範囲内に設定されるＡＦエリアの範囲内の被写体とすると共に、該ＡＦエリアの位置を前記ピント合わせの対象とする位置として変更することを特徴としている。

請求項４に記載のオートフォーカスシステムは、請求項１、２、又は、３に記載の発明において、前記基準パターン画像取得範囲設定手段は、最初に設定される前記基準パターン画像取得範囲を所望の位置と大きさに指定する指定手段を備えたことを特徴としている。本発明では、基準パターン画像取得範囲の位置と大きさを変更することによってピント合わせの対象として追尾する所望の対象被写体を操作者が指定できるようにしている。

本発明に係るオートフォーカスシステムによれば、カメラと追尾する対象被写体の距離が変化した場合や撮影レンズ（カメラの光学系）の焦点距離が変化した場合のようにカメラの撮影画像内での対象被写体の画像の大きさが変化した場合であっても、その対象被写体を、ピントを合わせる対象として適切に自動追尾することができる。

以下、添付図面に従って本発明に係るオートフォーカスシステムの好ましい実施の形態について詳説する。

図１は、本発明に係るオートフォーカスシステムが適用される撮像システムの全体構成を示したブロック図である。同図に示す撮像システムは、例えば放送用テレビカメラでの撮影に用いられる撮像システムであり、同図にはレンズ交換可能なカメラヘッド１０、カメラヘッド１０のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１２、枠操作部１４、追尾装置１６等が示されている。

カメラヘッド１０には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１２の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施される。信号処理回路によって生成される所定形式の映像信号は、カメラヘッド１０の映像信号出力端子等から外部機器に出力される。また、カメラヘッド１０には、構図の確認等のためのビューファインダ（モニタ）１８が設置されており、そのビューファインダ１８にカメラヘッド１０からの映像信号が与えられ、カメラヘッド１０で撮影されているリアルタイムの画像（映像）がビューファインダ１８の画面上に表示されるようになっている。また、ビューファインダ１８の画面上にはオートフォーカス（ＡＦ）の対象範囲であるＡＦエリアの情報、例えば、ＡＦ枠も表示される。

レンズ装置１２は、カメラヘッド１０のレンズマウントに装着される図示しない撮影レンズ（光学系）を備えており、その撮影レンズにより被写体の像がカメラヘッド１０の撮像素子の撮像面に結像される。撮影レンズには、その構成部としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、図示しないモータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、ズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。尚、本実施の形態のようにオートフォーカスに関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。また、所定の可動部を操作者の操作に従って電動駆動する場合には、図示しない操作部（レンズ装置１２に接続されるコントローラの操作部等）から操作者の操作に従って出力されるコントロール信号に基づいて可動部の動作が制御されるが詳細は省略する。

また、同図に示すように、レンズ装置１２には、レンズ装置１２全体を統括制御するレンズＣＰＵ２０、オートフォーカス（ＡＦ）処理を実行するＡＦ処理部２２、ＡＦ用撮像回路２４等が搭載されている。ＡＦ用撮像回路２４は、ＡＦ処理用の映像信号を取得するためにレンズ装置１２に配置されており、撮像素子（ＣＣＤ等）や撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。尚、ＡＦ用撮像回路２４の撮像素子をＡＦ用撮像素子という。また、ＡＦ用撮像回路２４から出力される映像信号は輝度信号とする。

ＡＦ用撮像素子の撮像面には、撮影レンズの光路上に配置されたハーフミラー等によってカメラヘッド１０の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラヘッド１０の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる撮影画像は、カメラヘッド１０の撮像素子により取り込まれる撮影画像と一致している。尚、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラヘッド１０の撮像素子の撮影範囲を包含する大きな範囲であってもよい。また、ＡＦ用撮像素子を設けることなくカメラヘッド１０からの映像信号をＡＦ処理部２２に与えるようにしてもよい。

ＡＦ処理部２２は、ＡＦ用撮像回路２４から映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちＡＦの対象範囲であるＡＦエリアに対応する範囲の信号を１画面分ずつ積算する。このようにして１画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値としてレンズＣＰＵ２０に与えられる。尚、ＡＦエリアの範囲は後述のようにレンズＣＰＵ２０により指定される。

レンズＣＰＵ２０は、詳細を後述するようにＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を枠操作部１４から取得してそのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部２２に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部２２から取得する共に、取得した焦点評価値が最大（極大）、即ち、ＡＦエリアの被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。

枠操作部１４は、上記ＡＦ枠の位置、大きさ、形状等のＡＦ枠の設定内容を操作者が指定するための操作部材を備えている。尚、ＡＦ枠は、図２に示すようにカメラヘッド１０の撮像素子での撮影範囲又は撮影画像（の画面）に対してＡＦの対象範囲であるＡＦエリアの輪郭を示す。枠操作部１４は、その操作部材が操作者により操作されると、その操作に従ってＡＦ枠の位置等の設定内容を設定、変更する。尚、本実施の形態ではＡＦ枠の形状は縦横比が一定の矩形に制限されているものとする。また、枠操作部１４の操作部材によるＡＦ枠の位置や大きさ等の設定内容の変更は、操作前におけるＡＦ枠の設定内容を基準にしてその後の操作部材の操作量に対応する変更量分だけ設定内容に変更を加えることによって行われようになっている。例えばＡＦ枠の位置はトラックボールの回転方向及び回転量に対応する方向及び移動量分だけＡＦ枠が縦横方向に変位する。また、撮影範囲（撮影画像の画面）内におけるＡＦ枠の位置（本実施の形態では矩形のＡＦ枠の中心位置）を決める点をＡＦポイントというものとすると、ＡＦ枠の位置はＡＦポイントの位置を設定することによって決定される。

一方、枠操作部１４の操作部材が操作されず、操作者によってＡＦ枠の設定内容の変更が指示されてない状態では、後述する追尾装置１６から与えられるＡＦ枠情報によりＡＦ枠の設定内容を設定、変更する。枠操作部１４は、操作者の操作又は追尾装置１６からのＡＦ枠情報により設定、変更したＡＦ枠の設定内容を示すＡＦ枠情報をレンズＣＰＵ２０からの要求に従ってレンズＣＰＵ２０に送信する。これによってＡＦの対象範囲が、枠操作部１４において設定、変更されたＡＦ枠の範囲に設定される。

尚、追尾装置１６は、操作者が指定した対象物（対象被写体）を画面上で検出しながらその対象物の移動に合わせてＡＦエリア（ＡＦ枠）の位置を自動で変更（自動追尾）させるための装置であり、操作者によるＡＦ枠の変更の操作が行われていない場合には追尾装置１６によるＡＦ枠の自動追尾が行われ、操作者によるＡＦ枠の変更の操作が行われた場合にはその操作が追尾装置１６よりも優先されて操作者の操作に従ってＡＦ枠が変更される。

また、枠操作部１４は、上述のように設定、変更したＡＦ枠の設定内容を示すＡＦ枠情報をカメラヘッド１０にも送信し、そのＡＦ枠をビューファインダ１８の画面上の対応する位置に表示させる。これによって操作者がビューファインダ１８を見ながらその時のＡＦ枠の位置、大きさ、形状等を認識することができる。

追尾装置１６は、画像処理部２６、画像入力部２８、シリアル通信インターフェース３０等を備えている。画像入力部２８は、上記ＡＦ用撮像回路２４により得られた映像信号（輝度信号）をＡＦ処理部２２を介して取得し、画像処理部２６からの要求に応じてその映像信号から得られる撮影画像の画像データを画像処理部２６に与える。

画像処理部２６は、画像入力部２８から取得した画像データに基づいて、操作者によって指定された対象物の画像をパターンマッチング（正規化相関）処理によって画面上で検出し、その対象物の移動にＡＦ枠を追従させるためのＡＦ枠の位置（ＡＦポイント）を求める。そして、そのＡＦ枠の位置を示すＡＦ枠情報をシリアル通信インターフェース３０を介して上記枠操作部１４に送信し、ＡＦ枠を自動追尾させる際のＡＦ枠の位置を指定する。

ここで、ピント合わせの対象として追尾する対象物の画像は、画像入力部２８を介して得られる撮影画像のうち、追尾する対象物の画像として取り込む範囲を操作者が指定し、その範囲の画像を基準パターン画像として取り込み、記憶させることによって設定される。本実施の形態では、ＡＦに使用されるＡＦ枠を、初期の基準パターン画像（対象物の画像）の取込範囲を指定するための基準パターン枠として兼用しており、操作者は、追尾する対象物の画像を指定する際に、ビューファインダ１８に表示される映像及びＡＦ枠を見ながら枠操作部１４によってＡＦ枠の位置や大きさ等を変えて所望の対象物の画像の全体又は一部がＡＦ枠の範囲内となるように設定する。そして、枠操作部１４の所定の決定ボタン（記憶指示ボタン）を押すと、そのときのＡＦ枠内の画像が基準パターン画像として記憶される。

尚、ＡＦのための（ＡＦの対象範囲を示す）ＡＦ枠と初期の基準パターン画像の取込範囲を指定するための基準パターン枠とは一致している必要はなく、本実施の形態のようにＡＦ枠を基準パターン枠として兼用する場合であってもＡＦ枠と異なる大きさの範囲（ただし中心位置は一致）を基準パターン枠の範囲として基準パターン画像を取り込み、記憶してもよい。また、初期の基準パターン画像の取込範囲を指定する際には、ＡＦ枠とは別にその基準パターン枠を実際にビューファインダ１８に表示させ、その基準パターン枠の位置や大きさ等を変えて基準パターン画像の取込範囲を指定できるようにしてもよい。

また、画像処理部２６は、後述のように基準パターン画像を新たな撮影画像から取り込んで更新しており、その際の基準パターン画像の取込範囲とする基準パターン枠の大きさを、追尾する対象物の距離と、撮影レンズの焦点距離（ズーム倍率）とに基づいて変更し、カメラの撮影画像内における対象物の画像の大きさに応じて変更している。

ここで、追尾する対象物は、ＡＦによってピントが合わされているため、カメラと追尾する対象物との距離は、ピントが合っている対象物までの距離（被写体距離）であり、その被写体距離は撮影レンズにおけるフォーカスレンズ群の位置によって知ることができる。また、撮影レンズの焦点距離は、ズームレンズ群の位置によって知ることができる。フォーカスレンズ群やズームレンズ群にはポテンショメータが連結されており、それらのポテンショメータから出力される位置信号がレンズ装置１２のレンズＣＰＵ２０に与えられている。そこで、レンズＣＰＵ２０は、フォーカスレンズ群の位置信号に基づいて被写体距離を示す被写体距離情報を求めると共に、ズームレンズ群の位置信号に基づいて焦点距離を示す焦点距離情報を求め、それらの被写体距離情報及び焦点距離情報を追尾装置１６の画像処理部２６に与えている。

画像処理部２６では、レンズＣＰＵ２０から取得した被写体距離情報及び焦点距離情報に基づいて基準パターン枠の大きさを次のように変更している。図３は、簡易的に示した撮影レンズ５０の所定の基準位置（主点位置）５２に対して、撮影レンズ５０の結像面（カメラヘッド１０の撮像素子の撮像面）５４までの距離を焦点距離ｆとし、ピントが合っている物体面５６までの距離を被写体距離Ｌとして示した図である。同図において、基準パターン枠の対角線の長さが結像面５４（撮影画像）上での長さで表すとＨ′になるとすると、その長さＨ′に対応する物体面５６での基準パターン枠の対角線の長さＨは、次式（１）、
Ｈ＝Ｈ′・（Ｌ／ｆ）…（１）
によって表される。

画像処理部２６は、追尾する対象物の位置が変化することによって被写体距離Ｌが変化した場合や、撮影レンズ５０のズーム操作によって焦点距離ｆが変化した場合においても、物体面５６での基準パターン枠の対角線の長さＨが基準パターン画像を最初に記憶したときの長さ、即ち、初期の基準パターン枠を設定したときの長さに対して一定となるように、結像面５４（撮影画像）上での基準パターン枠の対角線の長さＨ′を変更する。そのため、まず、初期の基準パターン枠を設定したときの撮影画像上でのその対角線の長さＨ′と、そのときの被写体距離Ｌ及び焦点距離ｆに基づいて上式（１）により物体面５６での基準パターン枠の対角線の長さＨを求めておく。

そして、被写体距離Ｌや焦点距離ｆが変化した場合にそのときの被写体距離Ｌ及び焦点距離ｆと、上記の長さＨとに基づいて上式（１）から得られる次式（２）、
Ｈ′＝Ｈ・（ｆ／Ｌ）…（２）
により基準パターン画像を更新する際の撮影画像上での基準パターン枠の対角線の長さＨ′を算出し、その算出した対角線の長さＨ′となるように基準パターン枠の大きさを変更する。そして、その更新した基準パターン枠内の画像を新たな基準パターン画像として撮影画像内から取りこみ記憶する。

尚、基準パターン枠の大きさの変更は、矩形状（四角形）の基準パターン枠の縦横比を一定にして面積を拡大又は縮小する変更であり、基準パターン枠の縦方向に関する拡大（又は縮小）と横方向に関する拡大（又は縮小）とを同じ倍率で行う変更を意味する。また、基準パターン枠は矩形状でなくてもよく、その場合において基準パターン枠の大きさの変更は縦方向に関する拡大（又は縮小）と横方向に関する拡大（又は縮小）とを同じ倍率で行う変更を意味するものとする。

このように物体面５６での基準パターン枠の対角線の長さＨが一定となるように撮影画像上での基準パターン枠の対角線の長さＨ′を変更することによって、撮影画像上における対象物の画像の大きさに応じて基準パターン枠の大きさも自動で変更されるようになる。従って、更新される基準パターン画像内における対象物の画像の大きさが略一定に保たれ、基準パターン画像内に対象物以外の画像（背景画像等）が多く含まれるようになることによる不具合等が防止される。

次に、追尾装置１６における画像処理部２６での追尾処理について図４のフローチャートを参照しながら詳説する。操作者は、まず、基準パターン画像を設定するための操作として、ビューファインダ１８の画面に表示された映像及びＡＦ枠を見ながら枠操作部１４の操作部材を操作し、ピント合わせの対象として追尾する対象物の全体又は一部をＡＦ枠に納める。尚、操作者は、このときのＡＦ枠を単にＡＦの対象範囲（ＡＦエリア）を設定する枠として操作するのではなく、基準パターン画像を取り込む範囲を示す基準パターン枠として操作し、基準パターン画像として記憶する画像の取込範囲として適切な位置や大きさに設定する。

このような操作を行うことによって、レンズＣＰＵ２０におけるＡＦの処理によりその対象物にピントが合わせられる。続いて、操作者は、枠操作部１４の決定ボタンを押す。これによって枠操作部１４から基準パターン画像の設定の指示（基準パターン画像の記憶指示）が画像処理部２６に与えられる。

画像処理部２６は、基準パターン画像の設定の指示が与えられると、そのときのＡＦ枠の設定内容を示すＡＦ枠情報を基準パターン枠情報として枠操作部１４からシリアル通信インターフェース３０を介して読み取ると共に、レンズ装置１２のＡＦ処理部２２から画像入力部２８に与えられている映像信号から１画面分の撮影画像（画像データ）を取り込む（ステップＳ１０）。尚、このとき取り込んだ撮影画像をＡ画像とする。また、ＡＦ処理部２２から画像入力部２８に与えられる映像信号が、例えば、１枚の画面（１フレーム分の画面）を２フィールド分の画面によって構成するインターレース方式の映像信号とすると、画像入力部２８から１画面分として取り込む撮影画像（画像データ）は、１フィールド分の映像信号によって得られる撮影画像（画像データ）であってもよいし、２フィールド分の映像信号によって得られる撮影画像であってもよい。

続いて画像処理部２６は、そのＡ画像のうち上記ＡＦ枠情報（基準パターン枠情報）によって指定されたＡＦ枠（基準パターン枠）内の画像を取り込み、基準パターン画像として設定（記憶）する（ステップＳ１２）。

ここで、本実施の形態では初期の基準パターン画像の設定時にはＡＦ枠を基準パターン枠として兼用したため、ＡＦ枠と基準パターン枠とは位置（中心位置）、大きさ等が完全に一致したものとなるが、ＡＦ枠と基準パターン枠とは中心位置が一致する以外は異なっていてもよい。本実施の形態においても初期の基準パターン画像を設定する際には例えばＡＦ枠の大きさを基準パターン枠として適切な大きさに設定し、基準パターン画像を設定した後にＡＦ枠の大きさをＡＦの対象範囲として適切な大きさに変更すればＡＦ枠と基準パターン枠の大きさを操作者が意図的に変えることが可能である。これに対して、例えば、初期の基準パターン画像を設定する際に、ＡＦ枠とは別に基準パターン枠をビューファインダ１８に表示させ、その基準パターン枠の位置や大きさ等をＡＦ枠とは別々に操作者が変更できるようにすることも可能である。

また、このステップＳ１２において、画像処理部２６は、レンズ装置１２のレンズＣＰＵ２０からフォーカスレンズ群及びズームレンズ群の位置に基づく被写体距離情報及び焦点距離情報を取得する。そして、それらの情報に基づく被写体距離Ｌと焦点距離ｆ、及び、上述のように初期の基準パターン画像を設定した際の基準パターン枠の対角線の長さＨ′（図３における結像面５４（撮影画像）上の対角線の長さＨ′）とに基づいて物体面５６での基準パターン枠の対角線の長さＨを上式（１）により算出し、記憶しておく。即ち、次式（１）
Ｈ＝Ｈ′・（Ｌ／ｆ）…（１）
によりＨを算出し記憶する。

以上のように初期の基準パターン画像の設定が完了すると、続いて画像処理部２６は、以下のステップＳ１４〜ステップＳ２６の処理を繰り返し実行する。まず、新たに１画面分の撮影画像（画像データ）を画像入力部２８から取り込む（ステップＳ１４）。尚、このステップＳ１４で取得する画像をＢ画像というものとする。そして、Ｂ画像の画面範囲内に設定される所定のパターン検出範囲において、基準パターン画像に合致する画像の位置を周知のパターンマッチング処理により検出する（ステップＳ１６）。ここで、パターン検出範囲は、撮影画像（Ｂ画像）の全範囲であってもよいし、パターンマッチング処理に要する時間や処理負担の軽減のため現在設定されている基準パターン枠より少し大きめの範囲としてもよい。尚、本実施の形態のように初期の基準パターン枠をＡＦ枠によって設定した場合であっても基準パターン画像を設定した後は、基準パターン枠とＡＦ枠とは別々の枠として扱われる。ただし、これらの中心位置は常に一致するように変更される。

次に、画像処理部２６は、上記ステップＳ１６において検出した基準パターン画像の位置、即ち、撮影画像（Ｂ画像）内における追尾する対象物の画像の位置に基づいてその対象物の画像の位置が前回検出時の位置に対して移動したか否かを判定する（ステップＳ１８）。ＹＥＳと判定した場合、画像処理部２６は、対象物の画像が移動した分だけその移動方向と同一方向にＡＦ枠の位置を変位させ、そのＡＦ枠の位置を示すＡＦ枠情報を枠操作部１４に送信する。これによってＡＦ枠の設定内容、即ち、ＡＦ枠の位置を更新し、対象物の画像の位置にＡＦ枠を移動させる。また、ＡＦ枠の位置と同様に基準パターン枠の位置を変位させ、基準パターン枠の中心位置をＡＦ枠の中心位置に一致させる（ステップＳ２０）。ステップＳ１８においてＮＯと判定した場合にはステップＳ２０の処理は行わずＡＦ枠及び基準パターン枠の位置を変更しない。

次に、画像処理部２６は、レンズ装置１２のレンズＣＰＵ２０から被写体距離情報と焦点距離情報を取得し、それらの情報に基づいて前回の判定時に対して被写体距離と焦点距離のうち少なくともいずれか一方が変化したか否かを判定する（ステップＳ２２）。ＹＥＳと判定した場合、上記ステップＳ１２において算出し記憶した物体面５６上での基準パターン枠の対角線の長さＨ（図３参照）と、ステップＳ２２において取得した被写体距離情報と焦点距離情報に基づく被写体距離Ｌと焦点距離ｆとに基づいて、上式（２）により撮影画像（結像面５４）上での基準パターン枠の対角線の長さＨ′を算出する。即ち、次式（２）、
Ｈ′＝Ｈ・（ｆ／Ｌ）…（２）
によりＨ′を算出する。

そして、結像面上での基準パターン枠の対角線の長さがＨ′となるように基準パターン枠の大きさを変更する（ステップＳ２４）。ステップＳ２２においてＮＯと判定した場合にはステップＳ２４の処理を行わず、基準パターン枠の大きさを変更しない。

次に、画像処理部２６は、現在設定されている基準パターン枠内の画像をＢ画像から取り込み、その基準パターン枠内の画像を新たな基準パターン画像として更新（記憶）する（ステップＳ２６）。ステップＳ２６の処理が終了すると、ステップＳ１４に戻る。

以上の追尾処理によれば、対象物の画像が新たな撮影画像から取り込まれて基準パターン画像として逐次更新されるため、対象物の画像のパターンが変化した場合、例えば、対象物を人物の顔としたときに顔の向きが変わった場合等であってもパターンマッチング処理による対象物の画像の検出が適切に行われ、対象物にＡＦ枠を的確に追尾させることができる。また、基準パターン画像を更新する際に、その画像を取り込む基準パターン枠の大きさを撮影画像での対象物の画像の大きさに応じて変更するようにしたため、基準パターン画像内における対象物の画像の大きさが初期の基準パターン画像内における対象物の画像の大きさに保たれる。従って、例えば、対象物が前後に移動して被写体距離が変化し、又は、撮影レンズの焦点距離が変化した場合に撮影画像上での対象物の画像の大きさが変化した場合であっても、基準パターン画像内における対象物の画像の大きさが略一定に維持され、対象物以外の画像（背景画像等）が基準パターン画像に多く含まれるようになる不具合が防止される。

尚、撮影画像内における対象物の画像の大きさが初期の基準パターン画像を設定した際の大きさより大きくなる場合には、初期の基準パターン枠の大きさで基準パターン画像を取り込み更新しても不具合が少ない。即ち、基準パターン画像内における対象物の画像の大きさが大きくなる場合には基準パターン画像内における対象物以外の画像が多くなるという不具合が生じない。そこで、撮影画像内における対象物の画像の大きさが初期の基準パターン画像を設定した際の大きさより大きくなるような場合には基準パターン枠の大きさを初期の基準パターン枠の大きさとし、撮影画像内における対象物の画像の大きさが初期の基準パターン画像を設定した際の大きさより小さくなるような場合にのみ基準パターン枠の大きさを変更するようにしてもよい。

また、基準パターン画像を更新する際の基準パターン枠の大きさを求める方法は上記実施の形態の場合に限らない。例えば、初期の基準パターン画像を設定する際の初期の基準パターン枠の対角線の長さをＨ′０、そのときの被写体距離をＬ０、焦点距離をｆ０とし、基準パターン画像を更新する際の被写体距離をＬ、焦点距離をｆとすると、基準パターン画像を更新する際の基準パターン枠の対角線の長さＨ′は、上式（１）により、
Ｈ′＝Ｈ′０・（Ｌ０／ｆ０）・（ｆ／Ｌ）
で表される。従って、初期の基準パターン枠の大きさを（Ｌ０／ｆ０）・（ｆ／Ｌ）倍にした基準パターン画像を更新する際の基準パターン枠として求めるようにしてもよい。

次に、追尾装置１６における画像処理部２６での追尾処理について他の実施の形態を説明する。上記実施の形態の追尾処理においては、基準パターン画像を新たな撮影画像から取り込んで更新する場合について説明したが、追尾する対象物の画像のパターンが変化しない場合には必ずしも基準パターン画像のパターンを更新する必要はない。一方、追尾する対象物が前後に移動したり、撮影レンズの焦点距離が変化した場合に撮影画像上での対象物の画像の大きさが変化した場合には、基準パターン画像における対象物の画像の大きさと、撮影画像上での対象物の画像の大きさが相違するためパターンマッチング処理による対象物の画像の検出が困難となる。

そこで、本実施の形態では、基準パターン画像を新たな撮影画像から取り込んで更新しない場合において、初期に記憶した基準パターン画像の大きさを撮影画像上での対象物の画像の大きさに応じて変更することによって、追尾する対象物が前後に移動した場合や撮影レンズの焦点距離が変化した場合にでもパターンマッチング処理により対象物の画像を適切に検出できるようにした追尾処理について説明する。

まず、初期の基準パターン画像を設定（記憶）した際に、そのときの被写体距離Ｌ、焦点距離ｆ、撮影画像（図３の結像面５４）上での基準パターン枠の対角線の長さＨ′に対して、上述の式（１）、
Ｈ＝Ｈ′・（Ｌ／ｆ） …（１）
により物体面５６上での基準パターン枠の対角線の長さＨを算出し記憶しておく。

そして、被写体距離Ｌ又は焦点距離ｆが変化した場合に、物体面５６上での基準パターン枠の対角線の長さＨが一定となるように、上述の式（２）、
Ｈ′＝Ｈ・（ｆ／Ｌ） …（２）
により撮影画像上での基準パターン枠の対角線の長さＨ′を算出する。そして、その対角線の長さＨ′の基準パターン枠の大きさに一致するように、記憶した基準パターン画像の大きさ（縦横の画素数）を変更する。例えば、基準パターン画像を大きくする場合には、基準パターン画像の画素を補間して画像サイズを大きくし、基準パターン画像を小さくする場合には、基準パターン画像の画素を間引いて画像サイズを小さくする。そして大きさを変更した基準パターン画像を用いてパターンマッチング処理を行い、対象物の画像を検出する。

これによって、対象物が前後に移動した場合や撮影レンズの焦点距離が変化した場合であっても、基準パターン画像内における対象物の画像の大きさと、撮影画像内における対象物の画像の大きさが略一定に保たれ、パターンマッチング処理により対象物の画像を適切に検出することができる。

図５は、本実施の形態における画像処理部２６での追尾処理の処理手順を示したフローチャートである。尚、図５のフローチャートにおいて、図４の処理ブロックと同一の処理ブロックには図４と同一符号を付している。

図５においてステップＳ１０〜ステップＳ１８までは図４における同一符号のステップＳ１０〜ステップＳ１８までの処理と同じ処理が行われるため、説明を省略する。ステップＳ１８においてＹＥＳ、即ち、追尾する対象物の画像の位置が移動したと判定した場合、画像処理部２６は、対象物の画像が移動した分だけその移動方向と同一方向にＡＦ枠の位置を変位させ、そのＡＦ枠の位置を示すＡＦ枠情報を枠操作部１４に送信する。これによって、ＡＦ枠の位置を更新し、対象物の画像の位置にＡＦ枠を移動させる（ステップＳ２０′）。ステップＳ１８においてＮＯと判定した場合には、ステップＳ２０′の処理を行わずＡＦ枠の位置を変更しない。

次に、画像処理部２６は、レンズ装置１２のレンズＣＰＵ２０から被写体距離情報と焦点距離情報を取得し、それらの情報に基づいて前回の判定時に対して被写体距離と焦点距離のうち少なくともいずれか一方が変化したか否かを判定する（ステップＳ２２）。ＹＥＳと判定した場合、上記ステップＳ１２において算出し記憶した物体面５６上での基準パターン枠の対角線の長さＨと、ステップＳ２２において取得した被写体距離情報と焦点距離情報に基づく被写体距離Ｌと焦点距離ｆとに基づいて、上式（２）により撮影画像（結像面５４）上での基準パターン枠の対角線の長さＨ′を算出する。即ち、次式（２）、
Ｈ′＝Ｈ・（ｆ／Ｌ）…（２）
によりＨ′を算出する。

そして、結像面上での対角線の長さがＨ′となるような基準パターン枠の大きさと一致するようにステップＳ１２において設置した基準パターン画像の大きさを変更する（ステップＳ２４′）。即ち、ステップＳ１２において設置した基準パターン画像の画素を補間又は間引くことによって基準パターン画像の大きさを変更する。

次に、画像処理部２６は、ステップＳ２４′によって大きさを変更した基準パターン画像を新たな基準パターン画像として更新（記憶）する（ステップＳ２６′）。尚、ステップＳ１２において初期に記憶した基準パターン画像はステップＳ２４′で再度使用するため保存しておく。

ステップＳ２６′の処理が終了するとステップＳ１４の処理に戻る。また、ステップＳ２０においてＹＥＳと判定した場合は、ステップＳ２４′及びステップＳ２６′の処理を行わずにステップＳ１４に戻る。

尚、上記処理では、基準パターン画像の大きさを変更することによって、基準パターン画像における対象物の画像の大きさと撮影画像における対象物の画像の大きさを一致させるようにしたが、撮影画像に対する基準パターン画像の大きさを相対的に変更すればよく、例えば、基準パターン画像の大きさを変更する代わりに、パターンマッチング処理を行う際の撮影画像（Ｂ画像）の大きさを変更するようにしてもよい。

以上、上記実施の形態において、レンズ装置１２のＡＦ用撮像回路２４（ＡＦ用撮像素子）により取得する映像信号のフレーム（フィールド）周波数は、カメラヘッド１０の撮像素子により得られる映像信号のフレーム周波数と一致している必要はなく、ＡＦ用撮像回路２４での映像信号のフレーム周波数を高くすることによって高速で移動する対象物、または、画像の変化が速い対象物に対する適応性が向上する。

また、上記実施の形態では、レンズ装置１２、枠操作部１４、追尾装置１６は別体の装置として図示したが、いずれか２つ又は全ては一体の装置であってもよい。また、上記実施の形態では追尾装置１６の処理に関する操作部材（例えば、対象物を決定する決定スイッチ等）も枠操作部１４に設けるようにしたが、追尾装置１６に設けるようにしてもよい。

また、上記実施の形態では、ＡＦ用に映像信号をカメラヘッド１０の撮像素子とは別のＡＦ専用の撮像素子により取得するようにしたが、ＡＦ用としてカメラヘッド１０の撮像素子により得られる映像信号を用いてもよい。但し、上記実施の形態のようにＡＦ用の映像信号をＡＦ専用の撮像素子から得るようにすると、カメラヘッド１０が高精細度（ＨＤ）テレビジョンシステムに対応のものである場合にそのＨＤ信号を使用することなくＡＦを行うことができるため小型化・省電力化に有利である。

図１は、本発明に係るオートフォーカスシステムが適用される撮像システムの全体構成を示したブロック図である。 図２は、ＡＦ枠を示した図である。 図３は、基準パターン枠の大きさの変更の説明に使用した説明図である。 図４は、追尾装置における追尾処理の処理手順を示したフローチャートである。 図５は、追尾装置における追尾処理の他の実施の形態の処理手順を示したフローチャートである。

符号の説明

１０…カメラヘッド、１２…レンズ装置、１４…枠操作部、１６…追尾装置、１８…ビューファインダ、２０…レンズＣＰＵ、２２…ＡＦ処理部、２４…ＡＦ用撮像回路、２６…画像処理部、２８…画像入力部、３０…シリアル通信インターフェース

Claims (4)

1. カメラによって撮影される撮影画像の範囲内において、追尾する対象被写体の画像を示す基準パターン画像を取得する基準パターン画像取得範囲を設定する基準パターン画像取得範囲設定手段と、
   前記基準パターン画像取得範囲設定手段により設定された基準パターン画像取得範囲の画像を取得し、該取得した画像を基準パターン画像として記憶する基準パターン画像記憶手段と、
   前記カメラによって順次撮影される撮影画像に対して前記基準パターン画像記憶手段によって記憶された基準パターン画像と合致する画像の位置を検出する基準パターン画像位置検出手段と、
   前記カメラの撮影範囲内においてピント合わせの対象とする位置が前記対象被写体の位置に追従するように前記基準パターン画像位置検出手段によって検出された位置に基づいて前記ピント合わせの対象とする位置を変更すると共に、前記対象被写体にピントが合うように前記カメラの光学系のフォーカス調整を行うオートフォーカス手段と、
   前記基準パターン画像取得範囲設定手段によって設定される前記基準パターン画像取得範囲の位置が前記対象被写体の位置に追従するように前記基準パターン画像検出手段によって検出された位置に基づいて前記基準パターン画像取得範囲の位置を変更する基準パターン画像取得範囲位置変更手段と、
   前記基準パターン画像取得範囲設定手段によって設定される前記基準パターン画像取得範囲の大きさを前記カメラの撮影画像における前記対象被写体の画像の大きさに応じて変更する基準パターン画像取得範囲大きさ変更手段であって、前記カメラの撮影画像における前記対象被写体の画像の大きさが初期の大きさより小さくなる場合にのみ前記基準パターン画像取得範囲の大きさを変更する基準パターン画像取得範囲大きさ変更手段と、
   を備えたことを特徴とするオートフォーカスシステム。
2. 前記基準パターン画像取得範囲大きさ変更手段による基準パターン画像取得範囲の大きさの変更は、前記カメラの光学系によってピントが合わせられている被写体距離と、前記光学系の焦点距離のうち少なくともいずれか一方に基づいて行うことを特徴とする請求項１のオートフォーカスシステム。
3. 前記オートフォーカス手段は、前記ピント合わせの対象を、前記カメラの撮影範囲内に設定されるＡＦエリアの範囲内の被写体とすると共に、該ＡＦエリアの位置を前記ピント合わせの対象とする位置として変更することを特徴とする請求項１又は２のオートフォーカスシステム。
4. 前記基準パターン画像取得範囲設定手段は、最初に設定される前記基準パターン画像取得範囲を所望の位置と大きさに指定する指定手段を備えたことを特徴とする請求項１、２、又は、３のオートフォーカスシステム。

Images