JP5223486B2 - 電子双眼鏡 - Google Patents

Description

本発明は、ユーザが両眼で遠景などを拡大して見る際に使用する双眼鏡に関し、撮像系で撮像された画像をデジタル処理して表示させる電子双眼鏡に関する。

従来、像光を電気的な画像信号とする撮像部と、その撮像部で撮像された画像を表示させる表示部を備えた、いわゆるデジタル双眼鏡として開発、あるいは提案されたものは、被写体として静止した状態、あるいは静止した状態に近いものを見るのに適した構成としてある。

すなわち、撮像部には、比較的拡大倍率の高いレンズなどの光学系を装着してあり、遠くの静止した状態の被写体を、拡大して表示させて、そのデジタル双眼鏡を装着したユーザに見せるものである。画像信号にはデジタル処理を施すことができるので、例えば、暗い状況で撮像して得た画像を明るくして表示させたり、デジタルビデオカメラで行われているような手ぶれ補正処理を行うこと等の、各種画像処理が可能である。

特許文献１には、この種の電子双眼鏡の一例についての記載がある。
特開２００４−１３３１８５号公報

ところで、従来提案されている電子双眼鏡が、静的な画像を対象としているのは、動いている物体を観察した場合に、その動いている物体をユーザが視野内に納めるように追従させたとしても、その物体にフォーカスなどを合わせ続けるのが困難なためである。
即ち、例えばオートフォーカス機能を備える構成とすれば、ある程度、動いている物体に追従してフォーカスを合わせ続けることは可能であるが、例えばサッカーなどのスポーツ競技が行われている競技場の上を、ある程度広い範囲で観察したと想定する。そして、その広い競技場の上を移動する選手を被写体として追い続けたとき、従来のビデオカメラ用のオートフォーカス技術で被写体にフォーカスを合わせただけでは、必ずしも被写体に適正にフォーカスを合わせた画像が得られるとは言えなかった。具体的には、視野内の別の選手にフォーカスが合う可能性があり、視野内のどの選手にフォーカスが合うかは、そのときの状態により判らない問題があった。

また、例えば手振れ補正処理機構についても、従来のビデオカメラ用の手振れ補正処理については、そのときに撮像される画像が手振れにより振れるのを防いて、単純に、安定した画像となるようにするものである。このような手振れ補正を、動いている被写体を追い続けた処理と組み合わせた場合に、双眼鏡として見える画像としては、必ずしも適正ではない可能性がある。

ここではオートフォーカスと手振れ補正を例について説明したが、フォーカス以外のその他の要因についても、電子双眼鏡として適用した場合、従来のビデオカメラ用の画像処理を適用した場合、様々な問題があった。

本発明はこれらの点に鑑みてなされたものであり、動きのある被写体を良好に観察することができる電子双眼鏡を提供することを目的とする。

本発明は、水平方向に所定の間隔を開けて筺体内に配置された第１及び第２の撮像部と、第１及び第２の撮像部に像光を導く光学部材と、筺体に加わる角加速度または加速度を検出するセンサと、画像処理部とを備える。画像処理部では、第１及び第２の撮像部で得た画像信号を処理するとともに、センサで検出した角加速度又は加速度に応じて、筺体の動きの変化を補正した画像信号とする。そして、それぞれが水平方向に間隔を開けて筺体に配置された第１及び第２の表示部を備えて、画像処理部で処理された画像信号を表示させる構成とする。そして、第１及び第２の撮像部は、撮像タイミングを１／２周期ずつずらしたタイミングで交互に撮像して、第１及び第２の表示部が表示を行うようにした。

本発明によると、２つの撮像部で得た画像信号を使用して、画像処理部で動き補正を行うことで、いわゆる筐体の手振れ補正に相当する動き補正が可能となる。この場合、水平方向に間隔を開けて配置された２つの撮像部で得た画像信号を使用して画像処理を行うことで、電子双眼鏡に適した高度な画像処理が可能となる。

本発明によると、水平方向に間隔を開けて配置された２つの撮像部で得た画像信号を使用して、画像処理部で画像処理を行うことで、電子双眼鏡に適した高度な画像処理が可能となる。例えば、表示画像として、電子双眼鏡を傾けた場合でも、水平方向のラインを一定の方向に固定させるような動き補正ができる。或いは、画像処理部で、対象となる被写体だけを取り出して、背景を除いた画像を表示させることも可能となる。

以下、本発明の一実施の形態の例を、添付図面を参照して説明する。
本実施の形態の例による電子双眼鏡１００は、例えば図２に示すように、筺体１２０内に一体に構成されて、ユーザの顔の左右の眼の前に位置するように装着して使用されるものである。図２ではユーザの顔に装着する機構については特に示していないが、眼鏡のように装着される構成とするか、あるいは、ユーザが手で持って使用するタイプの通常の双眼鏡と同様の構成のいずれでもよい。

図１は、本実施の形態の例による電子双眼鏡１００の内部構成を示した断面図であり、図１（ａ）は水平方向（横方向）に切断して示す横断面図であり、図１（ｂ）は、垂直方向（縦方向）に切断して示す縦断面図である。
電子双眼鏡１００の筺体１２０内には、前面側に、レンズ固定台１０１ａが設けてある。このレンズ固定台１０１ａには、左右のレンズ系１０１Ｌ，１０１Ｒが、水平方向（横方向）に所定の間隔を開けて配置してあり、それぞれのレンズ系１０１Ｌ，１０１Ｒを介して得た像光を、左右の撮像部１０２Ｌ，１０２Ｒで撮像して、電気的な画像信号とする。レンズ系１０１Ｌ，１０１Ｒは、それぞれ複数枚のレンズで構成させてあり、その複数枚のレンズの内のフォーカスレンズを光軸に沿って移動させることで、フォーカス調整が行われる。レンズ系１０１Ｌ，１０１Ｒとしては、焦点距離を可変できるいわゆるズームレンズとして構成する。ズーム倍率として、例えば２倍から１０倍に変化するようなものを使用する。

撮像部１０２Ｌ，１０２Ｒとしては、例えばＣＣＤ（Charge Coupled Devices）型イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサなどの各種方式のイメージセンサが適用可能である。また、それぞれのイメージセンサに適した読み出し回路なども備える。２つの撮像部１０２Ｌ，１０２Ｒを離す間隔としては、少なくとも装着されるユーザの左右の眼の間隔に相当する数ｃｍ以上にするのが好ましい。それぞれの撮像部１０２Ｌ，１０２Ｒを構成するイメージセンサでは、各フレームの露光期間を短くするいわゆる高速シャッタ処理が可能としてある。

左右の撮像部１０２Ｌ，１０２Ｒで得た画像信号は、画像処理部１０４に供給し、画像処理部１０４及びその周辺回路で各種画像処理を行う。撮像部１０２Ｌ，１０２Ｒや画像処理部１０４は、基板１０３の表面又は裏面に配置してある。さらに基板１０３には、ジャイロセンサ１０６や加速度センサ１０７を取り付けてあり、これらセンサ１０６，１０７の出力を、手振れ補正処理に使用する。手振れ補正処理構成の詳細については後述する。

また、基板１０３には、リニアモータ１０８が取り付けてあり、このリニアモータ１０８による駆動で、レンズ系１０１Ｌ，１０１Ｒ内のフォーカスレンズを移動させることができ、フォーカス調整を行うことができる。なお、左右のレンズ系１０１Ｌ，１０１Ｒは、１つのレンズ固定台１０１ａに取り付けてあり、リニアモータ１０８で一体に移動する構成としてある。

また、筐体１２０の裏面側には、スライド機構部１０９を介して、左右の液晶表示器１１０Ｌ，１１０Ｒを、所定の間隔を離して配置してある。スライド機構部１０９を使用した調整で、２つの液晶表示器１１０Ｌ，１１０Ｒの水平方向の配置間隔は調整可能である。調整機構の詳細については後述する。なお、ここでは表示手段として液晶表示器を使用したが、その他の各種表示方式の画像表示器を、液晶表示器１１０Ｌ，１１０Ｒの代りに使用してもよい。

次に、本実施の形態の電子双眼鏡の画像処理の全体構成例を、図３に示す。
図３に示すように、左右の撮像部１０２Ｌ，１０２Ｒで得られた画像信号は、画像処理部１０４に供給し、この画像処理部１０４に接続されたメモリ１０５にデータを記憶させながら、表示用の画像信号を作成する。画像処理部１０４は、画像処理を実行する際の制御部としても機能する。作成された画像信号は、左右の液晶表示器１１０Ｌ，１１０Ｒに供給して表示させる。左右の液晶表示器１１０Ｌ，１１０Ｒに供給する画像信号は、左右の撮像部１０２Ｌ，１０２Ｒで撮像して得た画像信号によるそれぞれ別の画像を表示させる場合と、画像処理部１０４で画像処理して合成した単一の画像信号を共通に供給して表示させる場合のいずれでもよい。

ジャイロセンサ１０６の出力と加速度センサ１０７の出力は、画像処理部１０４に供給する。そして、それぞれのセンサ出力に応じて、後述する手振れ補正のための画像処理を、画像処理部１０４で行う。
また、画像処理部１０４で検出したフォーカス調整状態に応じて、画像処理部１０４からリニアモータ１０８に駆動信号を供給して、撮像部１０２Ｌ，１０２Ｒで撮像される像光のフォーカス調整を行う。
なお、電子双眼鏡１００の筐体１２０の所定箇所にはスイッチ１１１を配置してあり、そのスイッチ１１１の操作指令の画像処理部１０４などへの供給で、撮像及び表示の処理を実行するようにしてある。後述する手振れ補正やその他の各種画像処理についても、このスイッチ１１１の操作によるモード設定で行うか否か設定されるようにしてもよい。現在のモード設定状況は、液晶表示器１１０Ｌ，１１０Ｒに表示させるようにしてもよい。

次に、それぞれの画像処理の詳細構成例について説明する。
まず、図４を参照して、自動フォーカス調整を行う構成について説明する。
図４に示すように、左右の撮像部１０２Ｌ，１０２Ｒで得られた画像信号は、それぞれアナログ／デジタル変換器（ＡＤＣ）１１２Ｌ，１１２Ｒでデジタル画像データに変換される。変換された画像データは、画像処理部１０４に供給され、必要によりメモリ１０５に一時記憶される。

画像処理部１０４では、２つの撮像部１０２Ｌ，１０２Ｒで得た画像データから、目標となる被写体を抽出すると共に、その目標被写体までの距離を算出する。そして、その算出した位置をフォーカスを合わせる目標位置とし、目標位置のデータを、位置指令データとして、減算器１１４に供給する。減算器１１４では、リニアエンコーダ１１３で検出した現在の光学系１０１Ｌ，１０１Ｒの位置を位置指令から減算し、リニアモータ１０８に与える位置を算出する。算出した位置データは、ＰＩＤ制御器１１５に供給して、リニアモータ１０８の駆動信号を作成し、アンプ１１６を介してリニアモータ１０８に該当する駆動信号（駆動電流Ｉｍ）を供給する。ＰＩＤ制御器１１５は、目標値との偏差、その積分値及び微分値の３つの要素でフィードバック制御を行う制御手段である。

次に、図５を参照して、手振れ補正処理を行う構成について説明する。
まず、ジャイロセンサ１０６及び加速度センサ１０７の検出データを、それぞれアナログ／デジタル変換器１１７及び１１８でデジタルデータ化し、変換されたデジタルを画像処理部１０４に供給する。画像処理部１０４では、供給されるセンサデータを使用して、電子双眼鏡１００本体である筐体１２０の揺れ状態から手振れの発生状態を判別し、画像処理部１０４に得られる撮像画像データを、その判別した手振れ発生状態に対応した画像処理を行う。この画像処理時には、メモリ１０５に記憶された過去のフレームの画像データを使用する場合もある。手振れ補正のための画像処理状態の詳細例については後述する。

次に、図６を参照して、左右の液晶表示器１１０Ｌ，１１０Ｒの配置間隔を調整するスライド機構部１０９の構成例について説明する。
図６（ａ）は、電子双眼鏡１００を水平方向（横方向）に切断して示す横断面図であり、図６（ｂ）は、電子双眼鏡１００を垂直方向（縦方向）に切断して示す縦断面図であり、それぞれスライド機構部１０９に関連した機構だけを示してある。
スライド機構部１０９は、図６（ａ）に示すように、横方向にネジ部２０１Ｌ，２０１Ｒを直列に一体に配置してあり、図示しない駆動機構によりその一体化されたネジ部２０１Ｌ，２０１Ｒを回転可能としてある。但し、ネジ部２０１Ｌとネジ部２０１Ｒとでは、ネジを切る方向を逆としてある。駆動機構は、モータで駆動させる場合と、ユーザが手動で操作して回転させる場合のいずれでもよい。

左側に配置したネジ部２０１Ｌには液晶表示器１１０Ｌが取り付けられたスライド部材２０２Ｌを嵌めてあり、ネジ部２０１Ｌの回転で、スライド部材２０２Ｌの位置（即ち液晶表示器１１０Ｌの位置）がネジ部２０１Ｌに沿って変化する。同様に、右側に配置したネジ部２０１Ｒには液晶表示器１１０Ｒが取り付けられたスライド部材２０２Ｒを嵌めてあり、ネジ部２０１Ｒの回転で、スライド部材２０２Ｒの位置（即ち液晶表示器１１０Ｒの位置）がネジ部２０１Ｒに沿って変化する。
ここで、ネジ部２０１Ｌとネジ部２０１Ｒとでは、ネジを切る方向を逆としてあるため、ネジ部２０１Ｌ，２０１Ｒを回転させる方向により、２つの液晶表示器１１０Ｌ，１１０Ｒの配置間隔が離れる（又は近づく）ようにスライドする。従って、２つの液晶表示器１１０Ｌ，１１０Ｒの配置間隔を、ユーザが自由に調整することができる。

次に、図７及び図８を参照して、自動フォーカス調整を行う原理について説明する。
図７に示した状態は、電子双眼鏡１００から所定の距離Ｌｘ離れた位置に存在する対象物Ａに対してフォーカスを合焦させる際の処理例を示した図である。図８（ａ）は、左側の撮像部１０２Ｌで撮像された画像信号を液晶表示器１１０Ｌに供給して表示させた表示画像＃１を示す。図８（ｂ）は、右側の撮像部１０２Ｒで撮像された画像信号を液晶表示器１１０Ｒに供給して表示させた表示画像＃２を示す。

ここでは、図７に示すように、２つのレンズ系１０１Ｌ，１０１Ｒを離した距離をＬ０としてある。このレンズ間距離Ｌ０と、電子双眼鏡１００から対象物Ａまでの距離Ｌｘとから、各レンズ系１０１Ｌ，１０１Ｒの光軸と対象物に向かう方向とのなす角度θｘとが決まる。従って、この角度θｘが判れば、レンズ間距離Ｌ０は一定であるため、電子双眼鏡１００から対象物Ａまでの距離Ｌｘの算出が可能である。

具体的には、図８（ａ），（ｂ）に示すように、２つの表示画像中の対象物Ａの位置のずれ量Ｌｇが、角度θｘに対応したものとなり、ずれ量Ｌｇを角度θｘに換算でき、最終的に図７に示した対象物Ａまでの距離Ｌｘが算出される。
このようにして距離Ｌｘが算出されることで、その距離Ｌｘに合焦させる処理が、既に説明した図４の処理系で行われる。

ここで、この自動フォーカス調整状態を、数式を用いて説明すると、距離Ｌｘは、下記の近似式で算出することができる。
距離Ｌｘ＝Ｌ０／ｔａｎ（θｘ） ・・・（１）式
ここで、距離Ｌｘがレンズ間距離Ｌ０に比べて大きいとき、下記の近似式となる。
ｔａｎ（θｘ）≒Ｋ０×Ｌｇ ・・・・（２）式
ここで、Ｋ０はレンズの倍率によって決まる正の整数。
よって、距離Ｌｘは次式で示される。
距離Ｌｘ＝Ｌ０／（Ｋ０×Ｌｇ） ・・・（３）式

本実施の形態においては、この（３）式に基づいて対象物までの距離が算出されるが、その対象物は、後述する図９例の処理などで自動的に認識される。従って、その抽出した対象物が高速で視野内を移動するような場合でも、その対象物に追尾して焦点を合わせ続けることができる。

次に、本実施の形態の電子双眼鏡１００で行われる対象物と背景画像との認識処理と、その認識に基づいて行われる画像処理について、図９〜図１５を参照して説明する。
まず、対象物と背景画像とを区別する処理の原理を、図９及び図１０に基づいて説明する。
図９は、電子双眼鏡１００で対象物Ａと後方背景Ｂとを、撮像部１０２Ｌ，１０２Ｒで撮像して見ている状態を示している。ここでは、対象物Ａは、電子双眼鏡１００で見る視野のほぼ中心にあるとする。
このような場合には、左側の撮像部１０２Ｌで撮像されて、液晶表示器１１０Ｌに表示される画像（表示画像＃１）は、図１０（ａ）に示すように、後方背景Ｂの手前に対象物Ａが表示された状態となる。この表示画像＃１では、対象物Ａが中心から若干左にずれた位置に表示される。
右側の撮像部１０２Ｒで撮像されて、液晶表示器１１０Ｒに表示される画像（表示画像＃２）は、図１０（ｂ）に示すように、後方背景Ｂの手前に対象物Ａが表示された状態となる。この表示画像＃２では、対象物Ａが中心から若干右にずれた位置に表示される。

このような２つの表示画像＃１，＃２が得られた状態で、両画像の差分をとる処理を、画像処理部１０４内で行うことで、図１０（ｃ）に示すように、両画像で共通の後方背景Ｂが除去された対象物Ａだけの画像となる。但し、図１０（ｃ）に示すように、そのままでは、対象物Ａが距離Ｌｇだけ離れて二重に表示されるため、それぞれの対象物Ａを分離して、液晶表示器１１０Ｌ及び１１０Ｒから表示させる。
このように背景画像を除去するモードを設定することで、画像処理部１０４での画像処理で、背景画像を除去した対象物だけの表示状態とすることができ、ユーザにとっては対象物だけが表示されて、非常に見やすい表示態様となる。更には、背景画像を除去して対象物を抽出することにより、対象物画像を容易に認識できるため、対象物を認識して対象物との距離算出を短時間に実施することができる。

次に、対象物近傍領域と対象物との自動認識処理の原理を、図１１及び図１２に基づいて説明する。
図１１は、対象物Ａを撮像部１０２Ｌ，１０２Ｒで撮像して見ている状態を示している。この例でも、対象物Ａは、電子双眼鏡１００で見ることができる視野のほぼ中心にあるとする。
このような場合、左側の撮像部１０２Ｌで撮像されて、液晶表示器１１０Ｌに表示される画像（表示画像＃１）は、図１２（ａ）に示す状態となる。
右側の撮像部１０２Ｒで撮像されて、液晶表示器１１０Ｒに表示される画像（表示画像＃２）は、図１２（ｂ）に示すように、後方背景Ｂの手前に対象物Ａが表示された状態となる。ここまでは図９に示した条件と同じである。

そして、このような２つの表示画像＃１，＃２が得られた状態で、両画像の差分をとる処理を、画像処理部１０４内で行うことで、図１２（ｃ）に示すように、両画像で共通の後方背景Ｂが除去された対象物Ａだけの画像となる。ここで、本例の場合には、図１２（ａ），（ｂ）に破線で示すように、対象物Ａの画像だけでなく、対象物Ａの近傍画像（背景画像の一部）についても抽出して、対象物と同時に表示させるようにしてある。
このような対象物を判別を行う画像として、例えば競技場を観察する場合を例とすると、一般に競技場では、芝生のように地面は一様な色で平面であることが多い。こうした条件により対象物を抽出することを考えると、図１２（ａ），（ｂ）に示す画像データ中の代表点（均等に配置する１０点から１００点の色情報）の色分析を行なう。図１２（ｂ）に代表点の例を示す。このとき、面積が大きい色を近傍領域色として、図１２（ａ）の画像及び図１２（ｂ）の画像から、それぞれ近傍領域色を差分することにより、対象物の色だけが残るようになる。そうして得られた画像データと、図１２（ａ）の画像と図１２（ｂ）の画像を減算して差分をとると、図１２（ｃ）に示すようにＡだけを抽出することができる。
こうして抽出された対象物の２つの画像の位置偏差（図１２（ｃ）のＬｇ）から、上述した（３）式により対象物との距離を算出できる。
実際には、更に高速処理をするために対象物近傍領域のみの画像データを扱うことにより演算時間を短縮して、リアルタイムに焦点を合わせる。

次に、視点領域の設定処理について、図１３の画像を参照して説明する。
図１３（ａ）は左側の撮像部１０１Ｌで撮像して得た画像を示し、図１３（ｂ）は右側の撮像部１０２Ｒで撮像して得た画像を示す。但し図１３は、実際の画像の場合よりも、左右での対象物の位置の変化を強調して示してある。
図１３（ａ）に示すように、左側の撮像部１０２Ｌで撮像して得た画像の中心よりも若干右寄りにある対象物と、図１３（ｂ）に示すように、右側の撮像部１０２Ｒで撮像して得た画像の中心よりも若干左寄りにある対象物とが同一である。この対象物が存在する位置を、ここでは視点領域とする。

２つの撮像部１０２Ｌ，１０２Ｒで得た画像信号を、画像処理部１０４で合成する場合には、視点領域が中央になるように合成する。図１３（ｃ）は、この合成した画像の例である。
そして、その視点領域内の対象物に合焦するようにフォーカス調整を行う。この対象物までの距離を判断して、その位置に合焦させる処理は、既に図７を参照して説明した処理が適用される。このように、双眼鏡で観察する際には、中央の近傍に視点位置がある可能性が高いため、このように視点領域を設定して、そこに焦点を合わせることで、対象物が高速に動いても焦点距離を高速に算出して焦点をリアルタイムに合わせることができる。

次に、図１４及び図１５を参照して、視点領域を設定した画面から、その視点領域の画像だけを抽出して、背景を除いた画像を表示させる処理状態について説明する。
図１４（ａ）は、右側の撮像部１０２Ｒで撮像された画像を示し、図１４（ｂ）は、その右側画像から視点領域を抽出した画像である。さらに、その視点領域の画像から、芝生の部分のほぼ均一な色の部分を除いた画像の例が、図１４（ｃ）に示した画像である。
同様に、図１５（ａ）は、左の撮像部１０２Ｌで撮像された画像を示し、図１５（ｂ）は、その左側画像から視点領域を抽出した画像である。さらに、その視点領域の画像から、芝生の部分のほぼ均一な色の部分を除いた画像の例が、図１５（ｃ）に示した画像である。

そして、図１４（ｃ）に示す右側の対象物画像と、図１５（ｃ）に示す左側の対象物画像との差分画像として、図１５（ｄ）に示す背景を除いた画像が得られ、両画像の差の距離Ｌｇが検出される。この画像中の距離Ｌｇから、対象物までの距離が算出されて、その対象物に対して合焦させる等の各種画像処理が可能となる。

次に、本実施の形態の電子双眼鏡１００で、手振れ補正処理を行う場合の処理例について、図１６〜図２３を参照して説明する。
まず、図１６に本実施の形態での手振れ補正の原理を示す。図１６に示したＸ軸及びＺ軸は、電子双眼鏡１００で撮像している景色の水平方向及び垂直方向の軸である。このＸ軸及びＺ軸は、ジャイロセンサ１０６のセンサ出力から判断する他に、撮像された画像中から画像処理で判断してもよい。
そして、電子双眼鏡１００の撮像部１０２Ｌ，１０２Ｒで撮像した際の、イメージセンサで撮像した際のＸ軸及びＺ軸が、図１６に示すように、ブレ量θｒだけずれているとする。
このとき、撮像された元画像Ｖｏｒg（ｘｏ，ｙｏ）から、手振れ補正された画像Ｖｃｏｍ（ｘ、ｙ）を形成させて、その補正画像を表示させる手振れ補正処理が行われる。この補正処理は、例えば画像処理部１０４で、撮像して得た画像信号による各フレームの画像から切り出す範囲の設定により行う。

ブレ量（θｒ）を補正した画像に変換して手振れによる影響を無くす処理を、数式を用いて説明すると、以下のようになる。ここで、センサ信号を信号ωｒとすると、手触れ角θｒは下式より算出される。
θｒ＝θｒ０＋∫（ωｒ）ｄｔ
（ここで、θｒ０は、加速度センサから得られる水平角初期値）
こうして計測された手触れ角θｒにより、元画像データ座標Ｖｏｒg（ｘｏ，ｙｏ）を、次式により、手振れ角補正画像座標Ｖｃｏｍ（ｘ、ｙ）に変換する。
Ｌ０＝√（ｘ０＾２＋ｙ０＾２）
Θ０＝ａｒｃｔａｎ（ｘ０／ｙ０）
Ｖｃｍｐ（ｘ，ｙ）＝Ｖｏｒｇ（Ｌ０＊ｃｏｓ（θ０＋θｒ），Ｌ０＊ｓｉｎ（θ０＋θｒ））
こうして手振れによる変化を補正した画像データを得る。
同様の原理によりＺ軸、Ｙ軸の変位ブレも補正することができる。

このようにして手振れ補正された画像は、本例では水平方向及び垂直方向のｘ軸及びｚ軸が、常に本来のｘ軸及びｚ軸と一致する画像とする。なお、本例の補正処理は手振れ補正処理と説明するが、単に電子双眼鏡１００をユーザが持った状態が一時的に傾いた状態となっただけでも、同様にｘ軸及びｚ軸を一定とする補正をしてもよい。

次に、図１７を参照して、このような手振れ補正処理を実行する上で必要なセンサ配置と、そのセンサで検出される座標の定義を説明する。
図１７（ａ）は、電子双眼鏡１００の縦断面でセンサ配置を示し、図１７（ｂ）は、電子双眼鏡１００の横断面でセンサ配置を示す。各図に示した軸方向は、ｘ軸が水平方向の軸であり、ｙ軸が光軸方向の軸であり、ｚ軸が垂直方向の軸である。

図１７（ａ）及び（ｂ）に示されるように、ジャイロセンサ１０６は、その３つの軸を回る方向に働く角速度（ωｐ，ωｒ，ωｙ）を検出するセンサ配置としてある。また、加速度センサ１０７は、３つの軸方向に働く角加速度（Ａｘ、Ａｙ、Ａｚ）を検出するセンサ配置としてある。
即ち、電子双眼鏡１００に実装された３次元ジャイロセンサ１０６のジャイロセンサ信号（ωｐ、ωｒ、ωｙ）と加速度センサ１０７の３次元加速度センサ信号（Ａｘ，Ａｙ，Ａｚ）により、双眼鏡の回転角度（θｐ、θｒ、θｙ）と角速度（ωｐ、ωｒ、ωｙ）を検出することができる。
また、加速度センサ１０７は、Ｚ軸が重力方向と一致して静止しているとき、加速度センサ出力（Ａｘ，Ａｙ，Ａｚ）を、０［Ｖ］（ゼロボルト）となるようにし、方向により極性が反転する構成とする。

ここで、図１７のＸ軸、Ｙ軸が水平面上で静止している状態の３次元ジャイロセンサ信号、及び３次元加速度センサ信号の各次元の信号を０［Ｖ］となるよう設定し、動きの方向により極性が反転する構成であるとする。このとき、双眼鏡の回転角度のピッチ角θｐ、ロール角θｒ、ヨー角θｙは、下式により算出される。
θｐ＝θｐ０＋∫（ωｐ）ｄｔ θｐ０：ピッチ角初期値
θｒ＝θｒ０＋∫（ωｒ）ｄｔ θｒ０：ロール角初期値
θｙ＝θｙ０＋∫（ωｙ）ｄｔ θｙ０：ヨー角初期値
初期値θｐ０、θｒ０、θｙ０は，静止状態の加速度センサ信号から下式より求められる。
θｐ０＝ａｒｃｓｉｎ（Ａｙ）
θｒ０＝ａｒｃｓｉｎ（Ａｘ）
θｙ０＝０
上式から、図１６のように双眼鏡の回転角の変化に対し、画像を常に水平に表示するよう座標変換することにより、常に画面を水平となるよう表示することができる。

この補正処理は、センサ信号が実際の双眼鏡の手振れによる動きに対して十分に高速に応答する高い周波数特性を持っている場合に適応可能である。
手振れが速い場合、または水平（垂直）方向の双眼鏡の振動的変化があるとき、ジャイロセンサ１０６と加速度センサ１０７では変位を検出することが出来ない場合、すなわちセンサ出力信号が十分に小さいとき、画像信号から水平（垂直）変位を検出して、変位を補正した画像変換した画像を映像出力することにより、対象物を双眼鏡の振動や変位に影響しない映像を出力する。もしくは、センサにより検出できない双眼鏡の変位の変化（例えば後述する図１９、図２０の例）がある場合、画像映像情報により双眼鏡の変位の影響を低減する。

図１８〜図２３は、手振れ補正が行われる状態の例を示してある。
図１８は、ヨー軸（図１７（ａ）でのθｙ軸）を中心軸とした方向で、微小変位が発生したときの状態を示し、図１９は、そのときの手振れ補正をしない画像の変化を示したものである。図１９（ａ）は、電子双眼鏡１００が図１８中の位置Ａのときの画像であり、図１９（ｂ）は、電子双眼鏡１００が図１８中の位置Ｂのときの画像である。
この図１９から判るように、対象物Ａが微小変位に連動して水平方向に移動してしまう。

図２０は、手振れで横方向（水平方向）に平行移動した場合の状態を示し、図２１は、そのときの手振れ補正をしない画像の変化を示したものである。図２１（ａ）は、電子双眼鏡１００が図２０中の位置Ａのときの画像であり、図２０（ｂ）は、電子双眼鏡１００が図２０中の位置Ｃのときの画像である。
この図２０の場合にも、画像としては、対象物Ａが変位に連動して水平方向に移動してしまう。

図２２は、図１４などに示した競技場などを観察している状態を想定して、その競技場内の競技エリア（又は競技ライン）内の対象物Ａを電子双眼鏡１００で観察している場合に、図２０の例と同様の平行移動があった場合の例である。
図２３（ａ）は、図２２中の位置Ａの場合であり、このときには、競技エリアが中央に位置し、さらにその競技エリアの中央に対象物Ａが表示されている例である。図２３（ｂ）は、図２２中の位置Ｃの場合で、補正しない状態であり、このときには、競技エリアが左側に位置し、対象物Ａについても連動して左側に表示されている例である。
ここで本例の手振れ補正を行うことで、図２３（ｃ）に示す表示態様となる。具体的には、図１６に示した原理による補正で、図２３（ａ）の場合と同様に、競技エリアが中央に位置し、さらにその競技エリアの中央に対象物Ａが表示されるようにする。
なお、ここでは水平方向の動き補正だけを示したが、他の方向への動きについても、同様に補正する。

次に、図２４及び図２５のタイミングチャートを参照して、実際に電子双眼鏡１００で観察を行う場合の処理状態の例について説明する。
図２４は、自動的に焦点を合焦させるオートフォーカス処理を行うと共に、手振れ補正についても行う場合の例である。
この図２４の例では、左右の撮像部１０２Ｌ，１０２Ｒで、高速シャッタ処理を行うようにしてあり、１フレーム期間を１／３０秒としてある。この例では、図２４（ａ）に示すように、右側の撮像部１０２Ｒで撮像されるタイミングと、図２４（ｂ）に示すように、左側の撮像部１０２Ｌで撮像されるタイミングとは、等しいタイミングとしてある。
図２４（ｃ）は、ジャイロセンサ１０６及び加速度センサ１０７で検出されるセンサ信号のレベル変化を示し、そのセンサ信号のレベルで、画像振れが発生する状態になることを判断する閾値を、破線で示すように予め設定してある。

図２４（ｄ）は、画像処理部１０４及びその周辺回路で実行される自動焦点制御と手振れ防止制御の処理状態を示した図である。図２４（ｅ）は、左右の液晶表示器１１０Ｌ，１１０Ｒでの表示タイミングを示した図である。

図２４（ｄ）に示すように、各フレーム周期で撮像された画像信号は、メモリに保持された、自動焦点制御処理と手振れ防止制御が行われて、その処理された画像信号が、メモリから読み出されて、図２４（ｅ）に示すように、表示される。このようにして、毎フレームごとに表示画像が更新される。
そして、図２４の例では、フレーム期間Ｋのタイミングで、加速度又は角加速度が閾値を越えて、手振れ補正ができないぐらいの程度の大きな手振れが発生したものとする。
このとき、そのフレーム期間Ｋの１つ前のフレーム期間Ｋ―１に撮像してメモリに記憶されている画像を、このフレーム期間Ｋでも読み出して、液晶表示器１１０Ｌ，１１０Ｒで表示させる。

その後、次のフレーム期間Ｋ＋１で加速度又は角加速度が閾値より低くなると、そのフレーム期間Ｋ＋１に撮像された信号による表示処理に戻る。閾値を越えた状態が続く場合には、過去の閾値以下のときに撮像して記憶された画像の表示を継続させる。但し、閾値を越えた状態がある程度の時間連続して経過すると、現在撮像した画像の表示に戻るようにしてもよい。

図２５は、別の撮像処理を行う例のタイミングチャートである。
この図２５の例では、１フレーム期間を１／６０秒にする共に、左右の撮像部１０２Ｌ，１０２Ｒで、撮像するタイミングを１／１２０秒ずつずらした、いわゆる倍速シャッタ処理を行った例である。
即ち、この例で、図２５（ａ）に示すように、右側の撮像部１０２Ｒで撮像されるタイミングと、図２５（ｂ）に示すように、左側の撮像部１０２Ｌで撮像されるタイミングとを、相互に１／１２０秒ずつずらしたタイミングとしてある。
図２５（ｃ）は、ジャイロセンサ１０６及び加速度センサ１０７で検出されるセンサ信号のレベル変化を示し、そのセンサ信号のレベルで、画像振れが発生する状態になることを判断する閾値を、破線で示すように予め設定してある。

図２５（ｄ）は、画像処理部１０４での画像処理のためにメモリに画像信号が保持されるタイミングを示した図である。図２５（ｅ）は、左右の液晶表示器１１０Ｌ，１１０Ｒでの表示タイミングを示した図である。

図２５（ｄ）に示すように、各フレーム周期で撮像された画像信号は、メモリに保持されて画像処理が実行された後、左右の液晶表示器１１０Ｌ，１１０Ｒで表示される。それぞれのタイミングで撮像された画像信号は、例えば両側の液晶表示器１１０Ｌ，１１０Ｒに同時に供給して、それぞれの表示器で倍周期（ここでは１／１２０秒周期）で表示を更新させる。図２５では自動焦点制御処理と手振れ防止制御が行われる期間を省略してあるが、図２４の例と同様に実行可能である。このようにして、毎フレームごとに表示画像が更新される。
そして、図２５の例では、フレーム期間Ｋのタイミングで、加速度又は角加速度が閾値を越えて、手振れ補正ができないぐらいの程度の大きな手振れが発生したものとする。
このとき、そのフレーム期間Ｋの１つ前の別の側の撮像部でフレーム期間Ｋ―１に撮像してメモリに記憶されている画像を、このフレーム期間Ｋでも読み出して、双方の液晶表示器１１０Ｌ，１１０Ｒで表示させる。
その後、次のフレーム期間Ｋ＋１で加速度又は角加速度が閾値より低くなると、そのフレーム期間Ｋ＋１に撮像された信号による表示処理に戻る。

このようにして、いわゆる倍速シャッタ処理を行った場合に、そのときの状態に応じて一時的に過去の画像を表示させて、手振れによる画像が表示されるのを効果的に防止することができる。また、本例のように倍速シャッタ処理を行うことで、それぞれの撮像部での撮像周期としては、１フレームに１回撮像を行うタイミング設定で、１フレームに２回撮像を行ったことになり、倍速処理による信号処理量や消費電力を増大させることなく、倍速処理が行えるようになる。

以上説明したように、本実施の形態による電子双眼鏡によると、従来提案されている電子双眼鏡とは異なる高度な表示が可能となる。即ち、手振れ補正処理が行われると共に、自動合焦処理も行われ、安定した良好な表示が可能となる。手振れ補正処理については、図１６に示したように、水平ラインを一定とする補正処理が行われるので、表示画像を除いているユーザにとって、最も揺れを感じない安定した画像表示となり、視野内の対象物を良好に追い続けることができる。
また、自動的な合焦処理として、２つの撮像部の距離の差を利用したオートフォーカス処理を行うので、双眼鏡としての構成を利用した適切な合焦処理が行える。特に、視野のほぼ中央に存在する対象物を判断して、その対象物に対して合焦させるので、高速で移動する被写体に対しても、良好に合焦させることができる。
さらに本実施の形態においては、背景画像を除去した表示が可能であるので、対象物だけを表示させることができ、必要な対象物だけを良好に観察することができる双眼鏡が得られる。

本発明の一実施の形態による電子双眼鏡の構成例を示す断面図で、（ａ）は横断面図、（ｂ）は縦断面図である。 本発明の一実施の形態による電子双眼鏡の装着例を示す説明図である。 本発明の一実施の形態による電子双眼鏡の内部構成例を示すブロック図である。 本発明の一実施の形態による電子双眼鏡のフォーカス制御構成例を示すブロック図である。 本発明の一実施の形態による電子双眼鏡の手振れ補正構成例を示すブロック図である。 本発明の一実施の形態による電子双眼鏡のリニアスライド機構の例を示す説明図である。 本発明の一実施の形態による電子双眼鏡の自動フォーカス制御の原理を示す説明図である。 本発明の一実施の形態による電子双眼鏡の表示画像の例を示す説明図である。 本発明の一実施の形態による電子双眼鏡の背景と対象物とを自動認識する原理を示す説明図である。 図９の例での表示状態の例を示す説明図である。 本発明の一実施の形態による電子双眼鏡の対象物近傍領域と対象物との自動認識の原理を示す説明図である。 図１１の例での表示状態の例を示す説明図である。 本発明の一実施の形態の処理を適用した左右の画像（ａ），（ｂ）と合成画像（ｃ）の例とを示す説明図である。 本発明の一実施の形態の処理を適用した左右の画像（ａ），（ｂ）と合成画像（ｃ）の例とを示す説明図である。 本発明の一実施の形態の処理を適用した左右の画像（ａ），（ｂ）と合成画像（ｃ）の例とを示す説明図である。 本発明の一実施の形態による手振れ補正画像処理の原理を示す説明図である。 本発明の一実施の形態の電子双眼鏡のセンサ配置と座標定義を示す説明図である。 本発明の一実施の形態の電子双眼鏡の手振れ変動による対象物画像の変化例（ヨー軸微小変位）を示す説明図である。 図１８の例での表示状態の例を示す説明図である。 本発明の一実施の形態の電子双眼鏡の手振れ変動による対象物画像の変化例（ヨー軸変位）を示す説明図である。 図２０の例での表示状態の例を示す説明図である。 本発明の一実施の形態の電子双眼鏡の手振れ変動による対象物画像の変化例（ヨー軸変位）を示す説明図である。 図２２の例での表示状態の例を示す説明図である。 本発明の一実施の形態の電子双眼鏡の画像処理例（オートフォーカス及び手振れ補正処理時）のタイムシーケンス図である。 本発明の一実施の形態の電子双眼鏡の画像処理例（過去画像利用時）のタイムシーケンス図である。

符号の説明

１００…電子双眼鏡、１０１ａ…レンズ固定台、１０１Ｌ，１０１Ｒ…レンズ系、１０２Ｌ，１０２Ｒ…撮像部、１０３…基板、１０４…画像処理部、１０５…メモリ、１０６…ジャイロセンサ、１０７…加速度センサ、１０８…リニアモータ、１０９…スライド機構部、１１０Ｌ，１１０Ｒ…液晶表示器、１１１…スイッチ、１１２Ｌ，１１２Ｒ…アナログ／デジタル変換器、１１３…リニアエンコーダ、１１４…減算器、１１５…ＰＩＤ制御器、１１６…アンプ、１１７，１１８…アナログ／デジタル変換器、１１９Ｒ，１１９Ｌ…デジタル／アナログ変換器、１２０…筺体、２０１Ｌ，２０１Ｒ…ネジ部、２０２Ｌ，２０２Ｒ…スライド部材

Claims (2)

1. 水平方向に所定の間隔を開けて筺体内に配置された第１及び第２の撮像部と、
   前記第１及び第２の撮像部に像光を導く光学部材と、
   前記筺体に加わる角加速度または加速度を検出するセンサと、
   前記第１及び第２の撮像部で得た画像信号を処理するとともに、前記センサで検出した角加速度又は加速度に応じて、前記筺体の動きの変化を補正した画像信号とする画像処理部と、
   前記第１及び第２の撮像部が撮像して前記画像処理部で処理された画像信号を表示させ、それぞれが水平方向に間隔を開けて前記筺体に配置された第１及び第２の表示部とを備え、
   前記第１及び第２の撮像部は、撮像タイミングを１／２周期ずつずらしたタイミングで交互に撮像して、前記第１及び第２の表示部が表示を行う
   電子双眼鏡。
2. 前記画像処理部は、前記第１及び第２の撮像部で撮像された画像信号から、背景画像を削除した画像信号とし、その背景画像が削除された対象物画像を前記第１及び第２の表示部で表示させ、
   前記第１及び第２の撮像部のいずれか一方の撮像部で撮像された画像信号から、前記動きの変化が所定レベル以上であることが検出された場合に、その一方の撮像部で撮像された画像信号を、直前の他方の撮像部で撮像された画像信号による画像に置き換えて、前記第１又は第２の表示部に表示させる
   請求項１記載の電子双眼鏡。