Nothing Special   »   [go: up one dir, main page]

JP5223486B2 - 電子双眼鏡 - Google Patents

電子双眼鏡 Download PDF

Info

Publication number
JP5223486B2
JP5223486B2 JP2008159726A JP2008159726A JP5223486B2 JP 5223486 B2 JP5223486 B2 JP 5223486B2 JP 2008159726 A JP2008159726 A JP 2008159726A JP 2008159726 A JP2008159726 A JP 2008159726A JP 5223486 B2 JP5223486 B2 JP 5223486B2
Authority
JP
Japan
Prior art keywords
image
display
imaging
imaging units
housing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008159726A
Other languages
English (en)
Other versions
JP2010002513A (ja
Inventor
眞二 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008159726A priority Critical patent/JP5223486B2/ja
Priority to EP20090251376 priority patent/EP2136230B1/en
Priority to AT09251376T priority patent/ATE554415T1/de
Priority to US12/485,201 priority patent/US9188791B2/en
Publication of JP2010002513A publication Critical patent/JP2010002513A/ja
Application granted granted Critical
Publication of JP5223486B2 publication Critical patent/JP5223486B2/ja
Priority to US14/920,325 priority patent/US9769383B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/16Housings; Caps; Mountings; Supports, e.g. with counterweight
    • G02B23/18Housings; Caps; Mountings; Supports, e.g. with counterweight for binocular arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/30Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Human Computer Interaction (AREA)
  • Telescopes (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、ユーザが両眼で遠景などを拡大して見る際に使用する双眼鏡に関し、撮像系で撮像された画像をデジタル処理して表示させる電子双眼鏡に関する。
従来、像光を電気的な画像信号とする撮像部と、その撮像部で撮像された画像を表示させる表示部を備えた、いわゆるデジタル双眼鏡として開発、あるいは提案されたものは、被写体として静止した状態、あるいは静止した状態に近いものを見るのに適した構成としてある。
すなわち、撮像部には、比較的拡大倍率の高いレンズなどの光学系を装着してあり、遠くの静止した状態の被写体を、拡大して表示させて、そのデジタル双眼鏡を装着したユーザに見せるものである。画像信号にはデジタル処理を施すことができるので、例えば、暗い状況で撮像して得た画像を明るくして表示させたり、デジタルビデオカメラで行われているような手ぶれ補正処理を行うこと等の、各種画像処理が可能である。
特許文献1には、この種の電子双眼鏡の一例についての記載がある。
特開2004−133185号公報
ところで、従来提案されている電子双眼鏡が、静的な画像を対象としているのは、動いている物体を観察した場合に、その動いている物体をユーザが視野内に納めるように追従させたとしても、その物体にフォーカスなどを合わせ続けるのが困難なためである。
即ち、例えばオートフォーカス機能を備える構成とすれば、ある程度、動いている物体に追従してフォーカスを合わせ続けることは可能であるが、例えばサッカーなどのスポーツ競技が行われている競技場の上を、ある程度広い範囲で観察したと想定する。そして、その広い競技場の上を移動する選手を被写体として追い続けたとき、従来のビデオカメラ用のオートフォーカス技術で被写体にフォーカスを合わせただけでは、必ずしも被写体に適正にフォーカスを合わせた画像が得られるとは言えなかった。具体的には、視野内の別の選手にフォーカスが合う可能性があり、視野内のどの選手にフォーカスが合うかは、そのときの状態により判らない問題があった。
また、例えば手振れ補正処理機構についても、従来のビデオカメラ用の手振れ補正処理については、そのときに撮像される画像が手振れにより振れるのを防いて、単純に、安定した画像となるようにするものである。このような手振れ補正を、動いている被写体を追い続けた処理と組み合わせた場合に、双眼鏡として見える画像としては、必ずしも適正ではない可能性がある。
ここではオートフォーカスと手振れ補正を例について説明したが、フォーカス以外のその他の要因についても、電子双眼鏡として適用した場合、従来のビデオカメラ用の画像処理を適用した場合、様々な問題があった。
本発明はこれらの点に鑑みてなされたものであり、動きのある被写体を良好に観察することができる電子双眼鏡を提供することを目的とする。
本発明は、水平方向に所定の間隔を開けて筺体内に配置された第1及び第2の撮像部と、第1及び第2の撮像部に像光を導く光学部材と、筺体に加わる角加速度または加速度を検出するセンサと、画像処理部とを備える。画像処理部では、第1及び第2の撮像部で得た画像信号を処理するとともに、センサで検出した角加速度又は加速度に応じて、筺体の動きの変化を補正した画像信号とする。そして、それぞれが水平方向に間隔を開けて筺体に配置された第1及び第2の表示部を備えて、画像処理部で処理された画像信号を表示させる構成とする。そして、第1及び第2の撮像部は、撮像タイミングを1/2周期ずつずらしたタイミングで交互に撮像して、第1及び第2の表示部が表示を行うようにした。
本発明によると、2つの撮像部で得た画像信号を使用して、画像処理部で動き補正を行うことで、いわゆる筐体の手振れ補正に相当する動き補正が可能となる。この場合、水平方向に間隔を開けて配置された2つの撮像部で得た画像信号を使用して画像処理を行うことで、電子双眼鏡に適した高度な画像処理が可能となる。
本発明によると、水平方向に間隔を開けて配置された2つの撮像部で得た画像信号を使用して、画像処理部で画像処理を行うことで、電子双眼鏡に適した高度な画像処理が可能となる。例えば、表示画像として、電子双眼鏡を傾けた場合でも、水平方向のラインを一定の方向に固定させるような動き補正ができる。或いは、画像処理部で、対象となる被写体だけを取り出して、背景を除いた画像を表示させることも可能となる。
以下、本発明の一実施の形態の例を、添付図面を参照して説明する。
本実施の形態の例による電子双眼鏡100は、例えば図2に示すように、筺体120内に一体に構成されて、ユーザの顔の左右の眼の前に位置するように装着して使用されるものである。図2ではユーザの顔に装着する機構については特に示していないが、眼鏡のように装着される構成とするか、あるいは、ユーザが手で持って使用するタイプの通常の双眼鏡と同様の構成のいずれでもよい。
図1は、本実施の形態の例による電子双眼鏡100の内部構成を示した断面図であり、図1(a)は水平方向(横方向)に切断して示す横断面図であり、図1(b)は、垂直方向(縦方向)に切断して示す縦断面図である。
電子双眼鏡100の筺体120内には、前面側に、レンズ固定台101aが設けてある。このレンズ固定台101aには、左右のレンズ系101L,101Rが、水平方向(横方向)に所定の間隔を開けて配置してあり、それぞれのレンズ系101L,101Rを介して得た像光を、左右の撮像部102L,102Rで撮像して、電気的な画像信号とする。レンズ系101L,101Rは、それぞれ複数枚のレンズで構成させてあり、その複数枚のレンズの内のフォーカスレンズを光軸に沿って移動させることで、フォーカス調整が行われる。レンズ系101L,101Rとしては、焦点距離を可変できるいわゆるズームレンズとして構成する。ズーム倍率として、例えば2倍から10倍に変化するようなものを使用する。
撮像部102L,102Rとしては、例えばCCD(Charge Coupled Devices)型イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)型イメージセンサなどの各種方式のイメージセンサが適用可能である。また、それぞれのイメージセンサに適した読み出し回路なども備える。2つの撮像部102L,102Rを離す間隔としては、少なくとも装着されるユーザの左右の眼の間隔に相当する数cm以上にするのが好ましい。それぞれの撮像部102L,102Rを構成するイメージセンサでは、各フレームの露光期間を短くするいわゆる高速シャッタ処理が可能としてある。
左右の撮像部102L,102Rで得た画像信号は、画像処理部104に供給し、画像処理部104及びその周辺回路で各種画像処理を行う。撮像部102L,102Rや画像処理部104は、基板103の表面又は裏面に配置してある。さらに基板103には、ジャイロセンサ106や加速度センサ107を取り付けてあり、これらセンサ106,107の出力を、手振れ補正処理に使用する。手振れ補正処理構成の詳細については後述する。
また、基板103には、リニアモータ108が取り付けてあり、このリニアモータ108による駆動で、レンズ系101L,101R内のフォーカスレンズを移動させることができ、フォーカス調整を行うことができる。なお、左右のレンズ系101L,101Rは、1つのレンズ固定台101aに取り付けてあり、リニアモータ108で一体に移動する構成としてある。
また、筐体120の裏面側には、スライド機構部109を介して、左右の液晶表示器110L,110Rを、所定の間隔を離して配置してある。スライド機構部109を使用した調整で、2つの液晶表示器110L,110Rの水平方向の配置間隔は調整可能である。調整機構の詳細については後述する。なお、ここでは表示手段として液晶表示器を使用したが、その他の各種表示方式の画像表示器を、液晶表示器110L,110Rの代りに使用してもよい。
次に、本実施の形態の電子双眼鏡の画像処理の全体構成例を、図3に示す。
図3に示すように、左右の撮像部102L,102Rで得られた画像信号は、画像処理部104に供給し、この画像処理部104に接続されたメモリ105にデータを記憶させながら、表示用の画像信号を作成する。画像処理部104は、画像処理を実行する際の制御部としても機能する。作成された画像信号は、左右の液晶表示器110L,110Rに供給して表示させる。左右の液晶表示器110L,110Rに供給する画像信号は、左右の撮像部102L,102Rで撮像して得た画像信号によるそれぞれ別の画像を表示させる場合と、画像処理部104で画像処理して合成した単一の画像信号を共通に供給して表示させる場合のいずれでもよい。
ジャイロセンサ106の出力と加速度センサ107の出力は、画像処理部104に供給する。そして、それぞれのセンサ出力に応じて、後述する手振れ補正のための画像処理を、画像処理部104で行う。
また、画像処理部104で検出したフォーカス調整状態に応じて、画像処理部104からリニアモータ108に駆動信号を供給して、撮像部102L,102Rで撮像される像光のフォーカス調整を行う。
なお、電子双眼鏡100の筐体120の所定箇所にはスイッチ111を配置してあり、そのスイッチ111の操作指令の画像処理部104などへの供給で、撮像及び表示の処理を実行するようにしてある。後述する手振れ補正やその他の各種画像処理についても、このスイッチ111の操作によるモード設定で行うか否か設定されるようにしてもよい。現在のモード設定状況は、液晶表示器110L,110Rに表示させるようにしてもよい。
次に、それぞれの画像処理の詳細構成例について説明する。
まず、図4を参照して、自動フォーカス調整を行う構成について説明する。
図4に示すように、左右の撮像部102L,102Rで得られた画像信号は、それぞれアナログ/デジタル変換器(ADC)112L,112Rでデジタル画像データに変換される。変換された画像データは、画像処理部104に供給され、必要によりメモリ105に一時記憶される。
画像処理部104では、2つの撮像部102L,102Rで得た画像データから、目標となる被写体を抽出すると共に、その目標被写体までの距離を算出する。そして、その算出した位置をフォーカスを合わせる目標位置とし、目標位置のデータを、位置指令データとして、減算器114に供給する。減算器114では、リニアエンコーダ113で検出した現在の光学系101L,101Rの位置を位置指令から減算し、リニアモータ108に与える位置を算出する。算出した位置データは、PID制御器115に供給して、リニアモータ108の駆動信号を作成し、アンプ116を介してリニアモータ108に該当する駆動信号(駆動電流Im)を供給する。PID制御器115は、目標値との偏差、その積分値及び微分値の3つの要素でフィードバック制御を行う制御手段である。
次に、図5を参照して、手振れ補正処理を行う構成について説明する。
まず、ジャイロセンサ106及び加速度センサ107の検出データを、それぞれアナログ/デジタル変換器117及び118でデジタルデータ化し、変換されたデジタルを画像処理部104に供給する。画像処理部104では、供給されるセンサデータを使用して、電子双眼鏡100本体である筐体120の揺れ状態から手振れの発生状態を判別し、画像処理部104に得られる撮像画像データを、その判別した手振れ発生状態に対応した画像処理を行う。この画像処理時には、メモリ105に記憶された過去のフレームの画像データを使用する場合もある。手振れ補正のための画像処理状態の詳細例については後述する。
次に、図6を参照して、左右の液晶表示器110L,110Rの配置間隔を調整するスライド機構部109の構成例について説明する。
図6(a)は、電子双眼鏡100を水平方向(横方向)に切断して示す横断面図であり、図6(b)は、電子双眼鏡100を垂直方向(縦方向)に切断して示す縦断面図であり、それぞれスライド機構部109に関連した機構だけを示してある。
スライド機構部109は、図6(a)に示すように、横方向にネジ部201L,201Rを直列に一体に配置してあり、図示しない駆動機構によりその一体化されたネジ部201L,201Rを回転可能としてある。但し、ネジ部201Lとネジ部201Rとでは、ネジを切る方向を逆としてある。駆動機構は、モータで駆動させる場合と、ユーザが手動で操作して回転させる場合のいずれでもよい。
左側に配置したネジ部201Lには液晶表示器110Lが取り付けられたスライド部材202Lを嵌めてあり、ネジ部201Lの回転で、スライド部材202Lの位置(即ち液晶表示器110Lの位置)がネジ部201Lに沿って変化する。同様に、右側に配置したネジ部201Rには液晶表示器110Rが取り付けられたスライド部材202Rを嵌めてあり、ネジ部201Rの回転で、スライド部材202Rの位置(即ち液晶表示器110Rの位置)がネジ部201Rに沿って変化する。
ここで、ネジ部201Lとネジ部201Rとでは、ネジを切る方向を逆としてあるため、ネジ部201L,201Rを回転させる方向により、2つの液晶表示器110L,110Rの配置間隔が離れる(又は近づく)ようにスライドする。従って、2つの液晶表示器110L,110Rの配置間隔を、ユーザが自由に調整することができる。
次に、図7及び図8を参照して、自動フォーカス調整を行う原理について説明する。
図7に示した状態は、電子双眼鏡100から所定の距離Lx離れた位置に存在する対象物Aに対してフォーカスを合焦させる際の処理例を示した図である。図8(a)は、左側の撮像部102Lで撮像された画像信号を液晶表示器110Lに供給して表示させた表示画像#1を示す。図8(b)は、右側の撮像部102Rで撮像された画像信号を液晶表示器110Rに供給して表示させた表示画像#2を示す。
ここでは、図7に示すように、2つのレンズ系101L,101Rを離した距離をL0としてある。このレンズ間距離L0と、電子双眼鏡100から対象物Aまでの距離Lxとから、各レンズ系101L,101Rの光軸と対象物に向かう方向とのなす角度θxとが決まる。従って、この角度θxが判れば、レンズ間距離L0は一定であるため、電子双眼鏡100から対象物Aまでの距離Lxの算出が可能である。
具体的には、図8(a),(b)に示すように、2つの表示画像中の対象物Aの位置のずれ量Lgが、角度θxに対応したものとなり、ずれ量Lgを角度θxに換算でき、最終的に図7に示した対象物Aまでの距離Lxが算出される。
このようにして距離Lxが算出されることで、その距離Lxに合焦させる処理が、既に説明した図4の処理系で行われる。
ここで、この自動フォーカス調整状態を、数式を用いて説明すると、距離Lxは、下記の近似式で算出することができる。
距離Lx=L0/tan(θx) ・・・(1)式
ここで、距離Lxがレンズ間距離L0に比べて大きいとき、下記の近似式となる。
tan(θx)≒K0×Lg ・・・・(2)式
ここで、K0はレンズの倍率によって決まる正の整数。
よって、距離Lxは次式で示される。
距離Lx=L0/(K0×Lg) ・・・(3)式
本実施の形態においては、この(3)式に基づいて対象物までの距離が算出されるが、その対象物は、後述する図9例の処理などで自動的に認識される。従って、その抽出した対象物が高速で視野内を移動するような場合でも、その対象物に追尾して焦点を合わせ続けることができる。
次に、本実施の形態の電子双眼鏡100で行われる対象物と背景画像との認識処理と、その認識に基づいて行われる画像処理について、図9〜図15を参照して説明する。
まず、対象物と背景画像とを区別する処理の原理を、図9及び図10に基づいて説明する。
図9は、電子双眼鏡100で対象物Aと後方背景Bとを、撮像部102L,102Rで撮像して見ている状態を示している。ここでは、対象物Aは、電子双眼鏡100で見る視野のほぼ中心にあるとする。
このような場合には、左側の撮像部102Lで撮像されて、液晶表示器110Lに表示される画像(表示画像#1)は、図10(a)に示すように、後方背景Bの手前に対象物Aが表示された状態となる。この表示画像#1では、対象物Aが中心から若干左にずれた位置に表示される。
右側の撮像部102Rで撮像されて、液晶表示器110Rに表示される画像(表示画像#2)は、図10(b)に示すように、後方背景Bの手前に対象物Aが表示された状態となる。この表示画像#2では、対象物Aが中心から若干右にずれた位置に表示される。
このような2つの表示画像#1,#2が得られた状態で、両画像の差分をとる処理を、画像処理部104内で行うことで、図10(c)に示すように、両画像で共通の後方背景Bが除去された対象物Aだけの画像となる。但し、図10(c)に示すように、そのままでは、対象物Aが距離Lgだけ離れて二重に表示されるため、それぞれの対象物Aを分離して、液晶表示器110L及び110Rから表示させる。
このように背景画像を除去するモードを設定することで、画像処理部104での画像処理で、背景画像を除去した対象物だけの表示状態とすることができ、ユーザにとっては対象物だけが表示されて、非常に見やすい表示態様となる。更には、背景画像を除去して対象物を抽出することにより、対象物画像を容易に認識できるため、対象物を認識して対象物との距離算出を短時間に実施することができる。
次に、対象物近傍領域と対象物との自動認識処理の原理を、図11及び図12に基づいて説明する。
図11は、対象物Aを撮像部102L,102Rで撮像して見ている状態を示している。この例でも、対象物Aは、電子双眼鏡100で見ることができる視野のほぼ中心にあるとする。
このような場合、左側の撮像部102Lで撮像されて、液晶表示器110Lに表示される画像(表示画像#1)は、図12(a)に示す状態となる。
右側の撮像部102Rで撮像されて、液晶表示器110Rに表示される画像(表示画像#2)は、図12(b)に示すように、後方背景Bの手前に対象物Aが表示された状態となる。ここまでは図9に示した条件と同じである。
そして、このような2つの表示画像#1,#2が得られた状態で、両画像の差分をとる処理を、画像処理部104内で行うことで、図12(c)に示すように、両画像で共通の後方背景Bが除去された対象物Aだけの画像となる。ここで、本例の場合には、図12(a),(b)に破線で示すように、対象物Aの画像だけでなく、対象物Aの近傍画像(背景画像の一部)についても抽出して、対象物と同時に表示させるようにしてある。
このような対象物を判別を行う画像として、例えば競技場を観察する場合を例とすると、一般に競技場では、芝生のように地面は一様な色で平面であることが多い。こうした条件により対象物を抽出することを考えると、図12(a),(b)に示す画像データ中の代表点(均等に配置する10点から100点の色情報)の色分析を行なう。図12(b)に代表点の例を示す。このとき、面積が大きい色を近傍領域色として、図12(a)の画像及び図12(b)の画像から、それぞれ近傍領域色を差分することにより、対象物の色だけが残るようになる。そうして得られた画像データと、図12(a)の画像と図12(b)の画像を減算して差分をとると、図12(c)に示すようにAだけを抽出することができる。
こうして抽出された対象物の2つの画像の位置偏差(図12(c)のLg)から、上述した(3)式により対象物との距離を算出できる。
実際には、更に高速処理をするために対象物近傍領域のみの画像データを扱うことにより演算時間を短縮して、リアルタイムに焦点を合わせる。
次に、視点領域の設定処理について、図13の画像を参照して説明する。
図13(a)は左側の撮像部101Lで撮像して得た画像を示し、図13(b)は右側の撮像部102Rで撮像して得た画像を示す。但し図13は、実際の画像の場合よりも、左右での対象物の位置の変化を強調して示してある。
図13(a)に示すように、左側の撮像部102Lで撮像して得た画像の中心よりも若干右寄りにある対象物と、図13(b)に示すように、右側の撮像部102Rで撮像して得た画像の中心よりも若干左寄りにある対象物とが同一である。この対象物が存在する位置を、ここでは視点領域とする。
2つの撮像部102L,102Rで得た画像信号を、画像処理部104で合成する場合には、視点領域が中央になるように合成する。図13(c)は、この合成した画像の例である。
そして、その視点領域内の対象物に合焦するようにフォーカス調整を行う。この対象物までの距離を判断して、その位置に合焦させる処理は、既に図7を参照して説明した処理が適用される。このように、双眼鏡で観察する際には、中央の近傍に視点位置がある可能性が高いため、このように視点領域を設定して、そこに焦点を合わせることで、対象物が高速に動いても焦点距離を高速に算出して焦点をリアルタイムに合わせることができる。
次に、図14及び図15を参照して、視点領域を設定した画面から、その視点領域の画像だけを抽出して、背景を除いた画像を表示させる処理状態について説明する。
図14(a)は、右側の撮像部102Rで撮像された画像を示し、図14(b)は、その右側画像から視点領域を抽出した画像である。さらに、その視点領域の画像から、芝生の部分のほぼ均一な色の部分を除いた画像の例が、図14(c)に示した画像である。
同様に、図15(a)は、左の撮像部102Lで撮像された画像を示し、図15(b)は、その左側画像から視点領域を抽出した画像である。さらに、その視点領域の画像から、芝生の部分のほぼ均一な色の部分を除いた画像の例が、図15(c)に示した画像である。
そして、図14(c)に示す右側の対象物画像と、図15(c)に示す左側の対象物画像との差分画像として、図15(d)に示す背景を除いた画像が得られ、両画像の差の距離Lgが検出される。この画像中の距離Lgから、対象物までの距離が算出されて、その対象物に対して合焦させる等の各種画像処理が可能となる。
次に、本実施の形態の電子双眼鏡100で、手振れ補正処理を行う場合の処理例について、図16〜図23を参照して説明する。
まず、図16に本実施の形態での手振れ補正の原理を示す。図16に示したX軸及びZ軸は、電子双眼鏡100で撮像している景色の水平方向及び垂直方向の軸である。このX軸及びZ軸は、ジャイロセンサ106のセンサ出力から判断する他に、撮像された画像中から画像処理で判断してもよい。
そして、電子双眼鏡100の撮像部102L,102Rで撮像した際の、イメージセンサで撮像した際のX軸及びZ軸が、図16に示すように、ブレ量θrだけずれているとする。
このとき、撮像された元画像Vorg(xo,yo)から、手振れ補正された画像Vcom(x、y)を形成させて、その補正画像を表示させる手振れ補正処理が行われる。この補正処理は、例えば画像処理部104で、撮像して得た画像信号による各フレームの画像から切り出す範囲の設定により行う。
ブレ量(θr)を補正した画像に変換して手振れによる影響を無くす処理を、数式を用いて説明すると、以下のようになる。ここで、センサ信号を信号ωrとすると、手触れ角θrは下式より算出される。
θr=θr0+∫(ωr)dt
(ここで、θr0は、加速度センサから得られる水平角初期値)
こうして計測された手触れ角θrにより、元画像データ座標Vorg(xo,yo)を、次式により、手振れ角補正画像座標Vcom(x、y)に変換する。
L0=√(x0^2+y0^2)
Θ0=arctan(x0/y0)
Vcmp(x,y)=Vorg(L0*cos(θ0+θr),L0*sin(θ0+θr))
こうして手振れによる変化を補正した画像データを得る。
同様の原理によりZ軸、Y軸の変位ブレも補正することができる。
このようにして手振れ補正された画像は、本例では水平方向及び垂直方向のx軸及びz軸が、常に本来のx軸及びz軸と一致する画像とする。なお、本例の補正処理は手振れ補正処理と説明するが、単に電子双眼鏡100をユーザが持った状態が一時的に傾いた状態となっただけでも、同様にx軸及びz軸を一定とする補正をしてもよい。
次に、図17を参照して、このような手振れ補正処理を実行する上で必要なセンサ配置と、そのセンサで検出される座標の定義を説明する。
図17(a)は、電子双眼鏡100の縦断面でセンサ配置を示し、図17(b)は、電子双眼鏡100の横断面でセンサ配置を示す。各図に示した軸方向は、x軸が水平方向の軸であり、y軸が光軸方向の軸であり、z軸が垂直方向の軸である。
図17(a)及び(b)に示されるように、ジャイロセンサ106は、その3つの軸を回る方向に働く角速度(ωp,ωr,ωy)を検出するセンサ配置としてある。また、加速度センサ107は、3つの軸方向に働く角加速度(Ax、Ay、Az)を検出するセンサ配置としてある。
即ち、電子双眼鏡100に実装された3次元ジャイロセンサ106のジャイロセンサ信号(ωp、ωr、ωy)と加速度センサ107の3次元加速度センサ信号(Ax,Ay,Az)により、双眼鏡の回転角度(θp、θr、θy)と角速度(ωp、ωr、ωy)を検出することができる。
また、加速度センサ107は、Z軸が重力方向と一致して静止しているとき、加速度センサ出力(Ax,Ay,Az)を、0[V](ゼロボルト)となるようにし、方向により極性が反転する構成とする。
ここで、図17のX軸、Y軸が水平面上で静止している状態の3次元ジャイロセンサ信号、及び3次元加速度センサ信号の各次元の信号を0[V]となるよう設定し、動きの方向により極性が反転する構成であるとする。このとき、双眼鏡の回転角度のピッチ角θp、ロール角θr、ヨー角θyは、下式により算出される。
θp=θp0+∫(ωp)dt θp0:ピッチ角初期値
θr=θr0+∫(ωr)dt θr0:ロール角初期値
θy=θy0+∫(ωy)dt θy0:ヨー角初期値
初期値θp0、θr0、θy0は,静止状態の加速度センサ信号から下式より求められる。
θp0=arcsin(Ay)
θr0=arcsin(Ax)
θy0=0
上式から、図16のように双眼鏡の回転角の変化に対し、画像を常に水平に表示するよう座標変換することにより、常に画面を水平となるよう表示することができる。
この補正処理は、センサ信号が実際の双眼鏡の手振れによる動きに対して十分に高速に応答する高い周波数特性を持っている場合に適応可能である。
手振れが速い場合、または水平(垂直)方向の双眼鏡の振動的変化があるとき、ジャイロセンサ106と加速度センサ107では変位を検出することが出来ない場合、すなわちセンサ出力信号が十分に小さいとき、画像信号から水平(垂直)変位を検出して、変位を補正した画像変換した画像を映像出力することにより、対象物を双眼鏡の振動や変位に影響しない映像を出力する。もしくは、センサにより検出できない双眼鏡の変位の変化(例えば後述する図19、図20の例)がある場合、画像映像情報により双眼鏡の変位の影響を低減する。
図18〜図23は、手振れ補正が行われる状態の例を示してある。
図18は、ヨー軸(図17(a)でのθy軸)を中心軸とした方向で、微小変位が発生したときの状態を示し、図19は、そのときの手振れ補正をしない画像の変化を示したものである。図19(a)は、電子双眼鏡100が図18中の位置Aのときの画像であり、図19(b)は、電子双眼鏡100が図18中の位置Bのときの画像である。
この図19から判るように、対象物Aが微小変位に連動して水平方向に移動してしまう。
図20は、手振れで横方向(水平方向)に平行移動した場合の状態を示し、図21は、そのときの手振れ補正をしない画像の変化を示したものである。図21(a)は、電子双眼鏡100が図20中の位置Aのときの画像であり、図20(b)は、電子双眼鏡100が図20中の位置Cのときの画像である。
この図20の場合にも、画像としては、対象物Aが変位に連動して水平方向に移動してしまう。
図22は、図14などに示した競技場などを観察している状態を想定して、その競技場内の競技エリア(又は競技ライン)内の対象物Aを電子双眼鏡100で観察している場合に、図20の例と同様の平行移動があった場合の例である。
図23(a)は、図22中の位置Aの場合であり、このときには、競技エリアが中央に位置し、さらにその競技エリアの中央に対象物Aが表示されている例である。図23(b)は、図22中の位置Cの場合で、補正しない状態であり、このときには、競技エリアが左側に位置し、対象物Aについても連動して左側に表示されている例である。
ここで本例の手振れ補正を行うことで、図23(c)に示す表示態様となる。具体的には、図16に示した原理による補正で、図23(a)の場合と同様に、競技エリアが中央に位置し、さらにその競技エリアの中央に対象物Aが表示されるようにする。
なお、ここでは水平方向の動き補正だけを示したが、他の方向への動きについても、同様に補正する。
次に、図24及び図25のタイミングチャートを参照して、実際に電子双眼鏡100で観察を行う場合の処理状態の例について説明する。
図24は、自動的に焦点を合焦させるオートフォーカス処理を行うと共に、手振れ補正についても行う場合の例である。
この図24の例では、左右の撮像部102L,102Rで、高速シャッタ処理を行うようにしてあり、1フレーム期間を1/30秒としてある。この例では、図24(a)に示すように、右側の撮像部102Rで撮像されるタイミングと、図24(b)に示すように、左側の撮像部102Lで撮像されるタイミングとは、等しいタイミングとしてある。
図24(c)は、ジャイロセンサ106及び加速度センサ107で検出されるセンサ信号のレベル変化を示し、そのセンサ信号のレベルで、画像振れが発生する状態になることを判断する閾値を、破線で示すように予め設定してある。
図24(d)は、画像処理部104及びその周辺回路で実行される自動焦点制御と手振れ防止制御の処理状態を示した図である。図24(e)は、左右の液晶表示器110L,110Rでの表示タイミングを示した図である。
図24(d)に示すように、各フレーム周期で撮像された画像信号は、メモリに保持された、自動焦点制御処理と手振れ防止制御が行われて、その処理された画像信号が、メモリから読み出されて、図24(e)に示すように、表示される。このようにして、毎フレームごとに表示画像が更新される。
そして、図24の例では、フレーム期間Kのタイミングで、加速度又は角加速度が閾値を越えて、手振れ補正ができないぐらいの程度の大きな手振れが発生したものとする。
このとき、そのフレーム期間Kの1つ前のフレーム期間K―1に撮像してメモリに記憶されている画像を、このフレーム期間Kでも読み出して、液晶表示器110L,110Rで表示させる。
その後、次のフレーム期間K+1で加速度又は角加速度が閾値より低くなると、そのフレーム期間K+1に撮像された信号による表示処理に戻る。閾値を越えた状態が続く場合には、過去の閾値以下のときに撮像して記憶された画像の表示を継続させる。但し、閾値を越えた状態がある程度の時間連続して経過すると、現在撮像した画像の表示に戻るようにしてもよい。
図25は、別の撮像処理を行う例のタイミングチャートである。
この図25の例では、1フレーム期間を1/60秒にする共に、左右の撮像部102L,102Rで、撮像するタイミングを1/120秒ずつずらした、いわゆる倍速シャッタ処理を行った例である。
即ち、この例で、図25(a)に示すように、右側の撮像部102Rで撮像されるタイミングと、図25(b)に示すように、左側の撮像部102Lで撮像されるタイミングとを、相互に1/120秒ずつずらしたタイミングとしてある。
図25(c)は、ジャイロセンサ106及び加速度センサ107で検出されるセンサ信号のレベル変化を示し、そのセンサ信号のレベルで、画像振れが発生する状態になることを判断する閾値を、破線で示すように予め設定してある。
図25(d)は、画像処理部104での画像処理のためにメモリに画像信号が保持されるタイミングを示した図である。図25(e)は、左右の液晶表示器110L,110Rでの表示タイミングを示した図である。
図25(d)に示すように、各フレーム周期で撮像された画像信号は、メモリに保持されて画像処理が実行された後、左右の液晶表示器110L,110Rで表示される。それぞれのタイミングで撮像された画像信号は、例えば両側の液晶表示器110L,110Rに同時に供給して、それぞれの表示器で倍周期(ここでは1/120秒周期)で表示を更新させる。図25では自動焦点制御処理と手振れ防止制御が行われる期間を省略してあるが、図24の例と同様に実行可能である。このようにして、毎フレームごとに表示画像が更新される。
そして、図25の例では、フレーム期間Kのタイミングで、加速度又は角加速度が閾値を越えて、手振れ補正ができないぐらいの程度の大きな手振れが発生したものとする。
このとき、そのフレーム期間Kの1つ前の別の側の撮像部でフレーム期間K―1に撮像してメモリに記憶されている画像を、このフレーム期間Kでも読み出して、双方の液晶表示器110L,110Rで表示させる。
その後、次のフレーム期間K+1で加速度又は角加速度が閾値より低くなると、そのフレーム期間K+1に撮像された信号による表示処理に戻る。
このようにして、いわゆる倍速シャッタ処理を行った場合に、そのときの状態に応じて一時的に過去の画像を表示させて、手振れによる画像が表示されるのを効果的に防止することができる。また、本例のように倍速シャッタ処理を行うことで、それぞれの撮像部での撮像周期としては、1フレームに1回撮像を行うタイミング設定で、1フレームに2回撮像を行ったことになり、倍速処理による信号処理量や消費電力を増大させることなく、倍速処理が行えるようになる。
以上説明したように、本実施の形態による電子双眼鏡によると、従来提案されている電子双眼鏡とは異なる高度な表示が可能となる。即ち、手振れ補正処理が行われると共に、自動合焦処理も行われ、安定した良好な表示が可能となる。手振れ補正処理については、図16に示したように、水平ラインを一定とする補正処理が行われるので、表示画像を除いているユーザにとって、最も揺れを感じない安定した画像表示となり、視野内の対象物を良好に追い続けることができる。
また、自動的な合焦処理として、2つの撮像部の距離の差を利用したオートフォーカス処理を行うので、双眼鏡としての構成を利用した適切な合焦処理が行える。特に、視野のほぼ中央に存在する対象物を判断して、その対象物に対して合焦させるので、高速で移動する被写体に対しても、良好に合焦させることができる。
さらに本実施の形態においては、背景画像を除去した表示が可能であるので、対象物だけを表示させることができ、必要な対象物だけを良好に観察することができる双眼鏡が得られる。
本発明の一実施の形態による電子双眼鏡の構成例を示す断面図で、(a)は横断面図、(b)は縦断面図である。 本発明の一実施の形態による電子双眼鏡の装着例を示す説明図である。 本発明の一実施の形態による電子双眼鏡の内部構成例を示すブロック図である。 本発明の一実施の形態による電子双眼鏡のフォーカス制御構成例を示すブロック図である。 本発明の一実施の形態による電子双眼鏡の手振れ補正構成例を示すブロック図である。 本発明の一実施の形態による電子双眼鏡のリニアスライド機構の例を示す説明図である。 本発明の一実施の形態による電子双眼鏡の自動フォーカス制御の原理を示す説明図である。 本発明の一実施の形態による電子双眼鏡の表示画像の例を示す説明図である。 本発明の一実施の形態による電子双眼鏡の背景と対象物とを自動認識する原理を示す説明図である。 図9の例での表示状態の例を示す説明図である。 本発明の一実施の形態による電子双眼鏡の対象物近傍領域と対象物との自動認識の原理を示す説明図である。 図11の例での表示状態の例を示す説明図である。 本発明の一実施の形態の処理を適用した左右の画像(a),(b)と合成画像(c)の例とを示す説明図である。 本発明の一実施の形態の処理を適用した左右の画像(a),(b)と合成画像(c)の例とを示す説明図である。 本発明の一実施の形態の処理を適用した左右の画像(a),(b)と合成画像(c)の例とを示す説明図である。 本発明の一実施の形態による手振れ補正画像処理の原理を示す説明図である。 本発明の一実施の形態の電子双眼鏡のセンサ配置と座標定義を示す説明図である。 本発明の一実施の形態の電子双眼鏡の手振れ変動による対象物画像の変化例(ヨー軸微小変位)を示す説明図である。 図18の例での表示状態の例を示す説明図である。 本発明の一実施の形態の電子双眼鏡の手振れ変動による対象物画像の変化例(ヨー軸変位)を示す説明図である。 図20の例での表示状態の例を示す説明図である。 本発明の一実施の形態の電子双眼鏡の手振れ変動による対象物画像の変化例(ヨー軸変位)を示す説明図である。 図22の例での表示状態の例を示す説明図である。 本発明の一実施の形態の電子双眼鏡の画像処理例(オートフォーカス及び手振れ補正処理時)のタイムシーケンス図である。 本発明の一実施の形態の電子双眼鏡の画像処理例(過去画像利用時)のタイムシーケンス図である。
符号の説明
100…電子双眼鏡、101a…レンズ固定台、101L,101R…レンズ系、102L,102R…撮像部、103…基板、104…画像処理部、105…メモリ、106…ジャイロセンサ、107…加速度センサ、108…リニアモータ、109…スライド機構部、110L,110R…液晶表示器、111…スイッチ、112L,112R…アナログ/デジタル変換器、113…リニアエンコーダ、114…減算器、115…PID制御器、116…アンプ、117,118…アナログ/デジタル変換器、119R,119L…デジタル/アナログ変換器、120…筺体、201L,201R…ネジ部、202L,202R…スライド部材

Claims (2)

  1. 水平方向に所定の間隔を開けて筺体内に配置された第1及び第2の撮像部と、
    前記第1及び第2の撮像部に像光を導く光学部材と、
    前記筺体に加わる角加速度または加速度を検出するセンサと、
    前記第1及び第2の撮像部で得た画像信号を処理するとともに、前記センサで検出した角加速度又は加速度に応じて、前記筺体の動きの変化を補正した画像信号とする画像処理部と、
    前記第1及び第2の撮像部が撮像して前記画像処理部で処理された画像信号を表示させ、それぞれが水平方向に間隔を開けて前記筺体に配置された第1及び第2の表示部とを備え、
    前記第1及び第2の撮像部は、撮像タイミングを1/2周期ずつずらしたタイミングで交互に撮像して、前記第1及び第2の表示部が表示を行う
    電子双眼鏡。
  2. 前記画像処理部は、前記第1及び第2の撮像部で撮像された画像信号から、背景画像を削除した画像信号とし、その背景画像が削除された対象物画像を前記第1及び第2の表示部で表示させ、
    前記第1及び第2の撮像部のいずれか一方の撮像部で撮像された画像信号から、前記動きの変化が所定レベル以上であることが検出された場合に、その一方の撮像部で撮像された画像信号を、直前の他方の撮像部で撮像された画像信号による画像に置き換えて、前記第1又は第2の表示部に表示させる
    請求項1記載の電子双眼鏡。
JP2008159726A 2008-06-18 2008-06-18 電子双眼鏡 Expired - Fee Related JP5223486B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008159726A JP5223486B2 (ja) 2008-06-18 2008-06-18 電子双眼鏡
EP20090251376 EP2136230B1 (en) 2008-06-18 2009-05-21 Electronic binoculars
AT09251376T ATE554415T1 (de) 2008-06-18 2009-05-21 Elektronisches fernglas
US12/485,201 US9188791B2 (en) 2008-06-18 2009-06-16 Electronic binoculars
US14/920,325 US9769383B2 (en) 2008-06-18 2015-10-22 Electronic binoculars

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008159726A JP5223486B2 (ja) 2008-06-18 2008-06-18 電子双眼鏡

Publications (2)

Publication Number Publication Date
JP2010002513A JP2010002513A (ja) 2010-01-07
JP5223486B2 true JP5223486B2 (ja) 2013-06-26

Family

ID=41110998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008159726A Expired - Fee Related JP5223486B2 (ja) 2008-06-18 2008-06-18 電子双眼鏡

Country Status (4)

Country Link
US (2) US9188791B2 (ja)
EP (1) EP2136230B1 (ja)
JP (1) JP5223486B2 (ja)
AT (1) ATE554415T1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11206356B1 (en) 2020-06-05 2021-12-21 Canon Kabushiki Kaisha Apparatus, method of same, and storage medium that utilizes captured images having different angles of view

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2053443A1 (en) * 2007-10-24 2009-04-29 Swiss Medical Technology GmbH Zoom system for an optical stereo device
EP2373043A1 (en) * 2010-03-29 2011-10-05 Swiss Medical Technology GmbH Optical stereo device and autofocus method therefor
US9479759B2 (en) 2010-03-29 2016-10-25 Forstgarten International Holding Gmbh Optical stereo device and autofocus method therefor
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
JP5304760B2 (ja) * 2010-09-21 2013-10-02 株式会社Jvcケンウッド 立体映像撮像装置および立体映像撮像方法
JP5263355B2 (ja) * 2010-09-22 2013-08-14 株式会社ニコン 画像表示装置及び撮像装置
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
JP5863356B2 (ja) * 2011-09-21 2016-02-16 キヤノン株式会社 ステレオ動画像の撮像装置、撮像方法、ステレオ動画像の表示装置、表示方法及びプログラム
KR101864450B1 (ko) * 2011-10-31 2018-06-04 엘지이노텍 주식회사 카메라 모듈 및 그의 화상 보정 방법
US9036035B2 (en) * 2012-04-30 2015-05-19 Trackingpoint, Inc. Rifle scope with video output stabilized relative to a target
JP2013235080A (ja) * 2012-05-08 2013-11-21 Sony Corp 画像表示装置、画像表示プログラム及び画像表示方法
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US20140133753A1 (en) * 2012-11-09 2014-05-15 Ge Aviation Systems Llc Spectral scene simplification through background subtraction
JP6128389B2 (ja) 2013-01-24 2017-05-17 パナソニックIpマネジメント株式会社 撮像装置
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
CN104093014A (zh) * 2014-07-21 2014-10-08 宇龙计算机通信科技(深圳)有限公司 图像处理方法和图像处理装置
CN105472263B (zh) * 2014-09-12 2018-07-13 聚晶半导体股份有限公司 影像撷取方法及使用此方法的影像撷取设备
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
JP6869049B2 (ja) * 2017-02-24 2021-05-12 ローム株式会社 アクチュエータドライバ、撮像装置、キャリブレーション方法
US12092813B2 (en) 2020-02-13 2024-09-17 Leica Camera Aktiengesellschaft Digital viewing device
US11115512B1 (en) * 2020-12-12 2021-09-07 John G. Posa Smartphone cases with integrated electronic binoculars
US11812139B1 (en) 2022-06-20 2023-11-07 Samsung Electronics Co., Ltd. Closed loop dynamic ISP throttling

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0396931A (ja) * 1989-09-08 1991-04-22 Sharp Corp 画像ブレ防止装置
US4986644A (en) * 1989-09-11 1991-01-22 Yang John J Wearable binoculars
US5672862A (en) * 1993-07-30 1997-09-30 Canon Kabushiki Kaisha Optical apparatus having image shake preventing function
JPH0961729A (ja) * 1995-08-21 1997-03-07 Olympus Optical Co Ltd 双眼鏡
JPH1062674A (ja) * 1996-08-23 1998-03-06 Minolta Co Ltd 双眼鏡
JP3636011B2 (ja) * 1999-12-03 2005-04-06 日本電気株式会社 携帯テレビ電話装置における撮影画像データ補正方法及びその装置
JP2002116386A (ja) * 2000-10-06 2002-04-19 Nikon Corp 双眼鏡
JP2005517251A (ja) * 2002-02-05 2005-06-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ピクセル群の動きベクトルを推定する方法及びユニット
JP2004020730A (ja) * 2002-06-13 2004-01-22 Nikon Vision Co Ltd 像安定化装置
JP2004021495A (ja) * 2002-06-14 2004-01-22 Mitsubishi Electric Corp 監視システムおよび監視方法
JP3928939B2 (ja) * 2002-06-21 2007-06-13 日本放送協会 画像処理装置および画像処理方法
JP2004133185A (ja) * 2002-10-10 2004-04-30 Fuji Photo Film Co Ltd 電子双眼鏡
JP2004153808A (ja) * 2002-10-10 2004-05-27 Fuji Photo Optical Co Ltd 立体電子映像装置
JP2004186863A (ja) * 2002-12-02 2004-07-02 Amita Technology Kk 立体映像表示装置及び立体映像信号処理回路
US6879443B2 (en) * 2003-04-25 2005-04-12 The Microoptical Corporation Binocular viewing system
JP2004361779A (ja) * 2003-06-06 2004-12-24 Pentax Corp 電子双眼鏡
JP4461805B2 (ja) * 2004-01-05 2010-05-12 ソニー株式会社 画像処理装置
JP4921797B2 (ja) * 2006-01-12 2012-04-25 株式会社 ニコンビジョン 観察装置
JP2007235532A (ja) * 2006-03-01 2007-09-13 Tokai Rika Co Ltd 車両用監視装置
US7760997B2 (en) * 2006-04-14 2010-07-20 Seiko Epson Corporation Shake detection device, shake detection method, and shake detection program
US8054335B2 (en) * 2007-12-20 2011-11-08 Aptina Imaging Corporation Methods and system for digitally stabilizing video captured from rolling shutter cameras
JP5499441B2 (ja) * 2008-04-01 2014-05-21 沖電気工業株式会社 半導体装置及びその製造方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11206356B1 (en) 2020-06-05 2021-12-21 Canon Kabushiki Kaisha Apparatus, method of same, and storage medium that utilizes captured images having different angles of view

Also Published As

Publication number Publication date
JP2010002513A (ja) 2010-01-07
EP2136230A1 (en) 2009-12-23
US9769383B2 (en) 2017-09-19
US20160198092A1 (en) 2016-07-07
EP2136230B1 (en) 2012-04-18
ATE554415T1 (de) 2012-05-15
US9188791B2 (en) 2015-11-17
US20090315808A1 (en) 2009-12-24

Similar Documents

Publication Publication Date Title
JP5223486B2 (ja) 電子双眼鏡
JP4899217B2 (ja) 前庭動眼反射の原理を用いる眼球運動制御装置
US20110234475A1 (en) Head-mounted display device
US7860387B2 (en) Imaging apparatus and control method therefor
KR20150135771A (ko) 촬상 장치, 고체 촬상 소자, 카메라 모듈, 전자 기기, 및 촬상 방법
US8953052B2 (en) Imaging device
US20100007748A1 (en) Imaging apparatus and imaging method
US20150168722A1 (en) Apparatus and method for controlling position of display in wearable device
US20150285631A1 (en) Distance measuring apparatus, imaging apparatus, and distance measuring method
JP2007264396A (ja) カメラシステム
CN107920200B (zh) 图像模糊校正装置及其控制方法和摄像装置
US10412306B1 (en) Optical image stabilization method and apparatus
JP6155471B2 (ja) 画像生成装置、撮像装置および画像生成方法
KR20110015208A (ko) 고속 오토 포커스가 가능한 촬상 시스템
US11445114B2 (en) Imaging device, solid-state imaging element, camera module, drive control unit, and imaging method
CN113396578B (zh) 摄像装置、固态摄像元件、相机模块、驱动控制单元和摄像方法
JP5393877B2 (ja) 撮像装置および集積回路
JP6429633B2 (ja) 像ブレ補正装置、制御方法、光学機器、撮像装置
JP4911997B2 (ja) 撮像装置
CN101651778B (zh) 摄像设备及其控制方法
JP2015108688A (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
JP2016103682A (ja) 光学機器の水準器
JP2023087377A (ja) 視線検出装置
JP2017207525A (ja) 観察装置及びその制御方法
JP2018194694A (ja) 制御装置および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130225

R151 Written notification of patent or utility model registration

Ref document number: 5223486

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees