JP5223486B2 - 電子双眼鏡 - Google Patents
電子双眼鏡 Download PDFInfo
- Publication number
- JP5223486B2 JP5223486B2 JP2008159726A JP2008159726A JP5223486B2 JP 5223486 B2 JP5223486 B2 JP 5223486B2 JP 2008159726 A JP2008159726 A JP 2008159726A JP 2008159726 A JP2008159726 A JP 2008159726A JP 5223486 B2 JP5223486 B2 JP 5223486B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- imaging
- imaging units
- housing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 71
- 230000001133 acceleration Effects 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000003287 optical effect Effects 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 description 37
- 239000004973 liquid crystal related substance Substances 0.000 description 28
- 238000006073 displacement reaction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 5
- 239000000758 substrate Substances 0.000 description 4
- 230000002265 prevention Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
- G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
- G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/16—Housings; Caps; Mountings; Supports, e.g. with counterweight
- G02B23/18—Housings; Caps; Mountings; Supports, e.g. with counterweight for binocular arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
- G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Astronomy & Astrophysics (AREA)
- Human Computer Interaction (AREA)
- Telescopes (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
即ち、例えばオートフォーカス機能を備える構成とすれば、ある程度、動いている物体に追従してフォーカスを合わせ続けることは可能であるが、例えばサッカーなどのスポーツ競技が行われている競技場の上を、ある程度広い範囲で観察したと想定する。そして、その広い競技場の上を移動する選手を被写体として追い続けたとき、従来のビデオカメラ用のオートフォーカス技術で被写体にフォーカスを合わせただけでは、必ずしも被写体に適正にフォーカスを合わせた画像が得られるとは言えなかった。具体的には、視野内の別の選手にフォーカスが合う可能性があり、視野内のどの選手にフォーカスが合うかは、そのときの状態により判らない問題があった。
本実施の形態の例による電子双眼鏡100は、例えば図2に示すように、筺体120内に一体に構成されて、ユーザの顔の左右の眼の前に位置するように装着して使用されるものである。図2ではユーザの顔に装着する機構については特に示していないが、眼鏡のように装着される構成とするか、あるいは、ユーザが手で持って使用するタイプの通常の双眼鏡と同様の構成のいずれでもよい。
電子双眼鏡100の筺体120内には、前面側に、レンズ固定台101aが設けてある。このレンズ固定台101aには、左右のレンズ系101L,101Rが、水平方向(横方向)に所定の間隔を開けて配置してあり、それぞれのレンズ系101L,101Rを介して得た像光を、左右の撮像部102L,102Rで撮像して、電気的な画像信号とする。レンズ系101L,101Rは、それぞれ複数枚のレンズで構成させてあり、その複数枚のレンズの内のフォーカスレンズを光軸に沿って移動させることで、フォーカス調整が行われる。レンズ系101L,101Rとしては、焦点距離を可変できるいわゆるズームレンズとして構成する。ズーム倍率として、例えば2倍から10倍に変化するようなものを使用する。
図3に示すように、左右の撮像部102L,102Rで得られた画像信号は、画像処理部104に供給し、この画像処理部104に接続されたメモリ105にデータを記憶させながら、表示用の画像信号を作成する。画像処理部104は、画像処理を実行する際の制御部としても機能する。作成された画像信号は、左右の液晶表示器110L,110Rに供給して表示させる。左右の液晶表示器110L,110Rに供給する画像信号は、左右の撮像部102L,102Rで撮像して得た画像信号によるそれぞれ別の画像を表示させる場合と、画像処理部104で画像処理して合成した単一の画像信号を共通に供給して表示させる場合のいずれでもよい。
また、画像処理部104で検出したフォーカス調整状態に応じて、画像処理部104からリニアモータ108に駆動信号を供給して、撮像部102L,102Rで撮像される像光のフォーカス調整を行う。
なお、電子双眼鏡100の筐体120の所定箇所にはスイッチ111を配置してあり、そのスイッチ111の操作指令の画像処理部104などへの供給で、撮像及び表示の処理を実行するようにしてある。後述する手振れ補正やその他の各種画像処理についても、このスイッチ111の操作によるモード設定で行うか否か設定されるようにしてもよい。現在のモード設定状況は、液晶表示器110L,110Rに表示させるようにしてもよい。
まず、図4を参照して、自動フォーカス調整を行う構成について説明する。
図4に示すように、左右の撮像部102L,102Rで得られた画像信号は、それぞれアナログ/デジタル変換器(ADC)112L,112Rでデジタル画像データに変換される。変換された画像データは、画像処理部104に供給され、必要によりメモリ105に一時記憶される。
まず、ジャイロセンサ106及び加速度センサ107の検出データを、それぞれアナログ/デジタル変換器117及び118でデジタルデータ化し、変換されたデジタルを画像処理部104に供給する。画像処理部104では、供給されるセンサデータを使用して、電子双眼鏡100本体である筐体120の揺れ状態から手振れの発生状態を判別し、画像処理部104に得られる撮像画像データを、その判別した手振れ発生状態に対応した画像処理を行う。この画像処理時には、メモリ105に記憶された過去のフレームの画像データを使用する場合もある。手振れ補正のための画像処理状態の詳細例については後述する。
図6(a)は、電子双眼鏡100を水平方向(横方向)に切断して示す横断面図であり、図6(b)は、電子双眼鏡100を垂直方向(縦方向)に切断して示す縦断面図であり、それぞれスライド機構部109に関連した機構だけを示してある。
スライド機構部109は、図6(a)に示すように、横方向にネジ部201L,201Rを直列に一体に配置してあり、図示しない駆動機構によりその一体化されたネジ部201L,201Rを回転可能としてある。但し、ネジ部201Lとネジ部201Rとでは、ネジを切る方向を逆としてある。駆動機構は、モータで駆動させる場合と、ユーザが手動で操作して回転させる場合のいずれでもよい。
ここで、ネジ部201Lとネジ部201Rとでは、ネジを切る方向を逆としてあるため、ネジ部201L,201Rを回転させる方向により、2つの液晶表示器110L,110Rの配置間隔が離れる(又は近づく)ようにスライドする。従って、2つの液晶表示器110L,110Rの配置間隔を、ユーザが自由に調整することができる。
図7に示した状態は、電子双眼鏡100から所定の距離Lx離れた位置に存在する対象物Aに対してフォーカスを合焦させる際の処理例を示した図である。図8(a)は、左側の撮像部102Lで撮像された画像信号を液晶表示器110Lに供給して表示させた表示画像#1を示す。図8(b)は、右側の撮像部102Rで撮像された画像信号を液晶表示器110Rに供給して表示させた表示画像#2を示す。
このようにして距離Lxが算出されることで、その距離Lxに合焦させる処理が、既に説明した図4の処理系で行われる。
距離Lx=L0/tan(θx) ・・・(1)式
ここで、距離Lxがレンズ間距離L0に比べて大きいとき、下記の近似式となる。
tan(θx)≒K0×Lg ・・・・(2)式
ここで、K0はレンズの倍率によって決まる正の整数。
よって、距離Lxは次式で示される。
距離Lx=L0/(K0×Lg) ・・・(3)式
まず、対象物と背景画像とを区別する処理の原理を、図9及び図10に基づいて説明する。
図9は、電子双眼鏡100で対象物Aと後方背景Bとを、撮像部102L,102Rで撮像して見ている状態を示している。ここでは、対象物Aは、電子双眼鏡100で見る視野のほぼ中心にあるとする。
このような場合には、左側の撮像部102Lで撮像されて、液晶表示器110Lに表示される画像(表示画像#1)は、図10(a)に示すように、後方背景Bの手前に対象物Aが表示された状態となる。この表示画像#1では、対象物Aが中心から若干左にずれた位置に表示される。
右側の撮像部102Rで撮像されて、液晶表示器110Rに表示される画像(表示画像#2)は、図10(b)に示すように、後方背景Bの手前に対象物Aが表示された状態となる。この表示画像#2では、対象物Aが中心から若干右にずれた位置に表示される。
このように背景画像を除去するモードを設定することで、画像処理部104での画像処理で、背景画像を除去した対象物だけの表示状態とすることができ、ユーザにとっては対象物だけが表示されて、非常に見やすい表示態様となる。更には、背景画像を除去して対象物を抽出することにより、対象物画像を容易に認識できるため、対象物を認識して対象物との距離算出を短時間に実施することができる。
図11は、対象物Aを撮像部102L,102Rで撮像して見ている状態を示している。この例でも、対象物Aは、電子双眼鏡100で見ることができる視野のほぼ中心にあるとする。
このような場合、左側の撮像部102Lで撮像されて、液晶表示器110Lに表示される画像(表示画像#1)は、図12(a)に示す状態となる。
右側の撮像部102Rで撮像されて、液晶表示器110Rに表示される画像(表示画像#2)は、図12(b)に示すように、後方背景Bの手前に対象物Aが表示された状態となる。ここまでは図9に示した条件と同じである。
このような対象物を判別を行う画像として、例えば競技場を観察する場合を例とすると、一般に競技場では、芝生のように地面は一様な色で平面であることが多い。こうした条件により対象物を抽出することを考えると、図12(a),(b)に示す画像データ中の代表点(均等に配置する10点から100点の色情報)の色分析を行なう。図12(b)に代表点の例を示す。このとき、面積が大きい色を近傍領域色として、図12(a)の画像及び図12(b)の画像から、それぞれ近傍領域色を差分することにより、対象物の色だけが残るようになる。そうして得られた画像データと、図12(a)の画像と図12(b)の画像を減算して差分をとると、図12(c)に示すようにAだけを抽出することができる。
こうして抽出された対象物の2つの画像の位置偏差(図12(c)のLg)から、上述した(3)式により対象物との距離を算出できる。
実際には、更に高速処理をするために対象物近傍領域のみの画像データを扱うことにより演算時間を短縮して、リアルタイムに焦点を合わせる。
図13(a)は左側の撮像部101Lで撮像して得た画像を示し、図13(b)は右側の撮像部102Rで撮像して得た画像を示す。但し図13は、実際の画像の場合よりも、左右での対象物の位置の変化を強調して示してある。
図13(a)に示すように、左側の撮像部102Lで撮像して得た画像の中心よりも若干右寄りにある対象物と、図13(b)に示すように、右側の撮像部102Rで撮像して得た画像の中心よりも若干左寄りにある対象物とが同一である。この対象物が存在する位置を、ここでは視点領域とする。
そして、その視点領域内の対象物に合焦するようにフォーカス調整を行う。この対象物までの距離を判断して、その位置に合焦させる処理は、既に図7を参照して説明した処理が適用される。このように、双眼鏡で観察する際には、中央の近傍に視点位置がある可能性が高いため、このように視点領域を設定して、そこに焦点を合わせることで、対象物が高速に動いても焦点距離を高速に算出して焦点をリアルタイムに合わせることができる。
図14(a)は、右側の撮像部102Rで撮像された画像を示し、図14(b)は、その右側画像から視点領域を抽出した画像である。さらに、その視点領域の画像から、芝生の部分のほぼ均一な色の部分を除いた画像の例が、図14(c)に示した画像である。
同様に、図15(a)は、左の撮像部102Lで撮像された画像を示し、図15(b)は、その左側画像から視点領域を抽出した画像である。さらに、その視点領域の画像から、芝生の部分のほぼ均一な色の部分を除いた画像の例が、図15(c)に示した画像である。
まず、図16に本実施の形態での手振れ補正の原理を示す。図16に示したX軸及びZ軸は、電子双眼鏡100で撮像している景色の水平方向及び垂直方向の軸である。このX軸及びZ軸は、ジャイロセンサ106のセンサ出力から判断する他に、撮像された画像中から画像処理で判断してもよい。
そして、電子双眼鏡100の撮像部102L,102Rで撮像した際の、イメージセンサで撮像した際のX軸及びZ軸が、図16に示すように、ブレ量θrだけずれているとする。
このとき、撮像された元画像Vorg(xo,yo)から、手振れ補正された画像Vcom(x、y)を形成させて、その補正画像を表示させる手振れ補正処理が行われる。この補正処理は、例えば画像処理部104で、撮像して得た画像信号による各フレームの画像から切り出す範囲の設定により行う。
θr=θr0+∫(ωr)dt
(ここで、θr0は、加速度センサから得られる水平角初期値)
こうして計測された手触れ角θrにより、元画像データ座標Vorg(xo,yo)を、次式により、手振れ角補正画像座標Vcom(x、y)に変換する。
L0=√(x0^2+y0^2)
Θ0=arctan(x0/y0)
Vcmp(x,y)=Vorg(L0*cos(θ0+θr),L0*sin(θ0+θr))
こうして手振れによる変化を補正した画像データを得る。
同様の原理によりZ軸、Y軸の変位ブレも補正することができる。
図17(a)は、電子双眼鏡100の縦断面でセンサ配置を示し、図17(b)は、電子双眼鏡100の横断面でセンサ配置を示す。各図に示した軸方向は、x軸が水平方向の軸であり、y軸が光軸方向の軸であり、z軸が垂直方向の軸である。
即ち、電子双眼鏡100に実装された3次元ジャイロセンサ106のジャイロセンサ信号(ωp、ωr、ωy)と加速度センサ107の3次元加速度センサ信号(Ax,Ay,Az)により、双眼鏡の回転角度(θp、θr、θy)と角速度(ωp、ωr、ωy)を検出することができる。
また、加速度センサ107は、Z軸が重力方向と一致して静止しているとき、加速度センサ出力(Ax,Ay,Az)を、0[V](ゼロボルト)となるようにし、方向により極性が反転する構成とする。
θp=θp0+∫(ωp)dt θp0:ピッチ角初期値
θr=θr0+∫(ωr)dt θr0:ロール角初期値
θy=θy0+∫(ωy)dt θy0:ヨー角初期値
初期値θp0、θr0、θy0は,静止状態の加速度センサ信号から下式より求められる。
θp0=arcsin(Ay)
θr0=arcsin(Ax)
θy0=0
上式から、図16のように双眼鏡の回転角の変化に対し、画像を常に水平に表示するよう座標変換することにより、常に画面を水平となるよう表示することができる。
手振れが速い場合、または水平(垂直)方向の双眼鏡の振動的変化があるとき、ジャイロセンサ106と加速度センサ107では変位を検出することが出来ない場合、すなわちセンサ出力信号が十分に小さいとき、画像信号から水平(垂直)変位を検出して、変位を補正した画像変換した画像を映像出力することにより、対象物を双眼鏡の振動や変位に影響しない映像を出力する。もしくは、センサにより検出できない双眼鏡の変位の変化(例えば後述する図19、図20の例)がある場合、画像映像情報により双眼鏡の変位の影響を低減する。
図18は、ヨー軸(図17(a)でのθy軸)を中心軸とした方向で、微小変位が発生したときの状態を示し、図19は、そのときの手振れ補正をしない画像の変化を示したものである。図19(a)は、電子双眼鏡100が図18中の位置Aのときの画像であり、図19(b)は、電子双眼鏡100が図18中の位置Bのときの画像である。
この図19から判るように、対象物Aが微小変位に連動して水平方向に移動してしまう。
この図20の場合にも、画像としては、対象物Aが変位に連動して水平方向に移動してしまう。
図23(a)は、図22中の位置Aの場合であり、このときには、競技エリアが中央に位置し、さらにその競技エリアの中央に対象物Aが表示されている例である。図23(b)は、図22中の位置Cの場合で、補正しない状態であり、このときには、競技エリアが左側に位置し、対象物Aについても連動して左側に表示されている例である。
ここで本例の手振れ補正を行うことで、図23(c)に示す表示態様となる。具体的には、図16に示した原理による補正で、図23(a)の場合と同様に、競技エリアが中央に位置し、さらにその競技エリアの中央に対象物Aが表示されるようにする。
なお、ここでは水平方向の動き補正だけを示したが、他の方向への動きについても、同様に補正する。
図24は、自動的に焦点を合焦させるオートフォーカス処理を行うと共に、手振れ補正についても行う場合の例である。
この図24の例では、左右の撮像部102L,102Rで、高速シャッタ処理を行うようにしてあり、1フレーム期間を1/30秒としてある。この例では、図24(a)に示すように、右側の撮像部102Rで撮像されるタイミングと、図24(b)に示すように、左側の撮像部102Lで撮像されるタイミングとは、等しいタイミングとしてある。
図24(c)は、ジャイロセンサ106及び加速度センサ107で検出されるセンサ信号のレベル変化を示し、そのセンサ信号のレベルで、画像振れが発生する状態になることを判断する閾値を、破線で示すように予め設定してある。
そして、図24の例では、フレーム期間Kのタイミングで、加速度又は角加速度が閾値を越えて、手振れ補正ができないぐらいの程度の大きな手振れが発生したものとする。
このとき、そのフレーム期間Kの1つ前のフレーム期間K―1に撮像してメモリに記憶されている画像を、このフレーム期間Kでも読み出して、液晶表示器110L,110Rで表示させる。
この図25の例では、1フレーム期間を1/60秒にする共に、左右の撮像部102L,102Rで、撮像するタイミングを1/120秒ずつずらした、いわゆる倍速シャッタ処理を行った例である。
即ち、この例で、図25(a)に示すように、右側の撮像部102Rで撮像されるタイミングと、図25(b)に示すように、左側の撮像部102Lで撮像されるタイミングとを、相互に1/120秒ずつずらしたタイミングとしてある。
図25(c)は、ジャイロセンサ106及び加速度センサ107で検出されるセンサ信号のレベル変化を示し、そのセンサ信号のレベルで、画像振れが発生する状態になることを判断する閾値を、破線で示すように予め設定してある。
そして、図25の例では、フレーム期間Kのタイミングで、加速度又は角加速度が閾値を越えて、手振れ補正ができないぐらいの程度の大きな手振れが発生したものとする。
このとき、そのフレーム期間Kの1つ前の別の側の撮像部でフレーム期間K―1に撮像してメモリに記憶されている画像を、このフレーム期間Kでも読み出して、双方の液晶表示器110L,110Rで表示させる。
その後、次のフレーム期間K+1で加速度又は角加速度が閾値より低くなると、そのフレーム期間K+1に撮像された信号による表示処理に戻る。
また、自動的な合焦処理として、2つの撮像部の距離の差を利用したオートフォーカス処理を行うので、双眼鏡としての構成を利用した適切な合焦処理が行える。特に、視野のほぼ中央に存在する対象物を判断して、その対象物に対して合焦させるので、高速で移動する被写体に対しても、良好に合焦させることができる。
さらに本実施の形態においては、背景画像を除去した表示が可能であるので、対象物だけを表示させることができ、必要な対象物だけを良好に観察することができる双眼鏡が得られる。
Claims (2)
- 水平方向に所定の間隔を開けて筺体内に配置された第1及び第2の撮像部と、
前記第1及び第2の撮像部に像光を導く光学部材と、
前記筺体に加わる角加速度または加速度を検出するセンサと、
前記第1及び第2の撮像部で得た画像信号を処理するとともに、前記センサで検出した角加速度又は加速度に応じて、前記筺体の動きの変化を補正した画像信号とする画像処理部と、
前記第1及び第2の撮像部が撮像して前記画像処理部で処理された画像信号を表示させ、それぞれが水平方向に間隔を開けて前記筺体に配置された第1及び第2の表示部とを備え、
前記第1及び第2の撮像部は、撮像タイミングを1/2周期ずつずらしたタイミングで交互に撮像して、前記第1及び第2の表示部が表示を行う
電子双眼鏡。 - 前記画像処理部は、前記第1及び第2の撮像部で撮像された画像信号から、背景画像を削除した画像信号とし、その背景画像が削除された対象物画像を前記第1及び第2の表示部で表示させ、
前記第1及び第2の撮像部のいずれか一方の撮像部で撮像された画像信号から、前記動きの変化が所定レベル以上であることが検出された場合に、その一方の撮像部で撮像された画像信号を、直前の他方の撮像部で撮像された画像信号による画像に置き換えて、前記第1又は第2の表示部に表示させる
請求項1記載の電子双眼鏡。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008159726A JP5223486B2 (ja) | 2008-06-18 | 2008-06-18 | 電子双眼鏡 |
EP20090251376 EP2136230B1 (en) | 2008-06-18 | 2009-05-21 | Electronic binoculars |
AT09251376T ATE554415T1 (de) | 2008-06-18 | 2009-05-21 | Elektronisches fernglas |
US12/485,201 US9188791B2 (en) | 2008-06-18 | 2009-06-16 | Electronic binoculars |
US14/920,325 US9769383B2 (en) | 2008-06-18 | 2015-10-22 | Electronic binoculars |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008159726A JP5223486B2 (ja) | 2008-06-18 | 2008-06-18 | 電子双眼鏡 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010002513A JP2010002513A (ja) | 2010-01-07 |
JP5223486B2 true JP5223486B2 (ja) | 2013-06-26 |
Family
ID=41110998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008159726A Expired - Fee Related JP5223486B2 (ja) | 2008-06-18 | 2008-06-18 | 電子双眼鏡 |
Country Status (4)
Country | Link |
---|---|
US (2) | US9188791B2 (ja) |
EP (1) | EP2136230B1 (ja) |
JP (1) | JP5223486B2 (ja) |
AT (1) | ATE554415T1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11206356B1 (en) | 2020-06-05 | 2021-12-21 | Canon Kabushiki Kaisha | Apparatus, method of same, and storage medium that utilizes captured images having different angles of view |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2053443A1 (en) * | 2007-10-24 | 2009-04-29 | Swiss Medical Technology GmbH | Zoom system for an optical stereo device |
EP2373043A1 (en) * | 2010-03-29 | 2011-10-05 | Swiss Medical Technology GmbH | Optical stereo device and autofocus method therefor |
US9479759B2 (en) | 2010-03-29 | 2016-10-25 | Forstgarten International Holding Gmbh | Optical stereo device and autofocus method therefor |
US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
JP5304760B2 (ja) * | 2010-09-21 | 2013-10-02 | 株式会社Jvcケンウッド | 立体映像撮像装置および立体映像撮像方法 |
JP5263355B2 (ja) * | 2010-09-22 | 2013-08-14 | 株式会社ニコン | 画像表示装置及び撮像装置 |
US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
JP5863356B2 (ja) * | 2011-09-21 | 2016-02-16 | キヤノン株式会社 | ステレオ動画像の撮像装置、撮像方法、ステレオ動画像の表示装置、表示方法及びプログラム |
KR101864450B1 (ko) * | 2011-10-31 | 2018-06-04 | 엘지이노텍 주식회사 | 카메라 모듈 및 그의 화상 보정 방법 |
US9036035B2 (en) * | 2012-04-30 | 2015-05-19 | Trackingpoint, Inc. | Rifle scope with video output stabilized relative to a target |
JP2013235080A (ja) * | 2012-05-08 | 2013-11-21 | Sony Corp | 画像表示装置、画像表示プログラム及び画像表示方法 |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
US20140133753A1 (en) * | 2012-11-09 | 2014-05-15 | Ge Aviation Systems Llc | Spectral scene simplification through background subtraction |
JP6128389B2 (ja) | 2013-01-24 | 2017-05-17 | パナソニックIpマネジメント株式会社 | 撮像装置 |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
CN104093014A (zh) * | 2014-07-21 | 2014-10-08 | 宇龙计算机通信科技(深圳)有限公司 | 图像处理方法和图像处理装置 |
CN105472263B (zh) * | 2014-09-12 | 2018-07-13 | 聚晶半导体股份有限公司 | 影像撷取方法及使用此方法的影像撷取设备 |
US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
JP6869049B2 (ja) * | 2017-02-24 | 2021-05-12 | ローム株式会社 | アクチュエータドライバ、撮像装置、キャリブレーション方法 |
US12092813B2 (en) | 2020-02-13 | 2024-09-17 | Leica Camera Aktiengesellschaft | Digital viewing device |
US11115512B1 (en) * | 2020-12-12 | 2021-09-07 | John G. Posa | Smartphone cases with integrated electronic binoculars |
US11812139B1 (en) | 2022-06-20 | 2023-11-07 | Samsung Electronics Co., Ltd. | Closed loop dynamic ISP throttling |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0396931A (ja) * | 1989-09-08 | 1991-04-22 | Sharp Corp | 画像ブレ防止装置 |
US4986644A (en) * | 1989-09-11 | 1991-01-22 | Yang John J | Wearable binoculars |
US5672862A (en) * | 1993-07-30 | 1997-09-30 | Canon Kabushiki Kaisha | Optical apparatus having image shake preventing function |
JPH0961729A (ja) * | 1995-08-21 | 1997-03-07 | Olympus Optical Co Ltd | 双眼鏡 |
JPH1062674A (ja) * | 1996-08-23 | 1998-03-06 | Minolta Co Ltd | 双眼鏡 |
JP3636011B2 (ja) * | 1999-12-03 | 2005-04-06 | 日本電気株式会社 | 携帯テレビ電話装置における撮影画像データ補正方法及びその装置 |
JP2002116386A (ja) * | 2000-10-06 | 2002-04-19 | Nikon Corp | 双眼鏡 |
JP2005517251A (ja) * | 2002-02-05 | 2005-06-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ピクセル群の動きベクトルを推定する方法及びユニット |
JP2004020730A (ja) * | 2002-06-13 | 2004-01-22 | Nikon Vision Co Ltd | 像安定化装置 |
JP2004021495A (ja) * | 2002-06-14 | 2004-01-22 | Mitsubishi Electric Corp | 監視システムおよび監視方法 |
JP3928939B2 (ja) * | 2002-06-21 | 2007-06-13 | 日本放送協会 | 画像処理装置および画像処理方法 |
JP2004133185A (ja) * | 2002-10-10 | 2004-04-30 | Fuji Photo Film Co Ltd | 電子双眼鏡 |
JP2004153808A (ja) * | 2002-10-10 | 2004-05-27 | Fuji Photo Optical Co Ltd | 立体電子映像装置 |
JP2004186863A (ja) * | 2002-12-02 | 2004-07-02 | Amita Technology Kk | 立体映像表示装置及び立体映像信号処理回路 |
US6879443B2 (en) * | 2003-04-25 | 2005-04-12 | The Microoptical Corporation | Binocular viewing system |
JP2004361779A (ja) * | 2003-06-06 | 2004-12-24 | Pentax Corp | 電子双眼鏡 |
JP4461805B2 (ja) * | 2004-01-05 | 2010-05-12 | ソニー株式会社 | 画像処理装置 |
JP4921797B2 (ja) * | 2006-01-12 | 2012-04-25 | 株式会社 ニコンビジョン | 観察装置 |
JP2007235532A (ja) * | 2006-03-01 | 2007-09-13 | Tokai Rika Co Ltd | 車両用監視装置 |
US7760997B2 (en) * | 2006-04-14 | 2010-07-20 | Seiko Epson Corporation | Shake detection device, shake detection method, and shake detection program |
US8054335B2 (en) * | 2007-12-20 | 2011-11-08 | Aptina Imaging Corporation | Methods and system for digitally stabilizing video captured from rolling shutter cameras |
JP5499441B2 (ja) * | 2008-04-01 | 2014-05-21 | 沖電気工業株式会社 | 半導体装置及びその製造方法 |
-
2008
- 2008-06-18 JP JP2008159726A patent/JP5223486B2/ja not_active Expired - Fee Related
-
2009
- 2009-05-21 AT AT09251376T patent/ATE554415T1/de active
- 2009-05-21 EP EP20090251376 patent/EP2136230B1/en not_active Not-in-force
- 2009-06-16 US US12/485,201 patent/US9188791B2/en not_active Expired - Fee Related
-
2015
- 2015-10-22 US US14/920,325 patent/US9769383B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11206356B1 (en) | 2020-06-05 | 2021-12-21 | Canon Kabushiki Kaisha | Apparatus, method of same, and storage medium that utilizes captured images having different angles of view |
Also Published As
Publication number | Publication date |
---|---|
JP2010002513A (ja) | 2010-01-07 |
EP2136230A1 (en) | 2009-12-23 |
US9769383B2 (en) | 2017-09-19 |
US20160198092A1 (en) | 2016-07-07 |
EP2136230B1 (en) | 2012-04-18 |
ATE554415T1 (de) | 2012-05-15 |
US9188791B2 (en) | 2015-11-17 |
US20090315808A1 (en) | 2009-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5223486B2 (ja) | 電子双眼鏡 | |
JP4899217B2 (ja) | 前庭動眼反射の原理を用いる眼球運動制御装置 | |
US20110234475A1 (en) | Head-mounted display device | |
US7860387B2 (en) | Imaging apparatus and control method therefor | |
KR20150135771A (ko) | 촬상 장치, 고체 촬상 소자, 카메라 모듈, 전자 기기, 및 촬상 방법 | |
US8953052B2 (en) | Imaging device | |
US20100007748A1 (en) | Imaging apparatus and imaging method | |
US20150168722A1 (en) | Apparatus and method for controlling position of display in wearable device | |
US20150285631A1 (en) | Distance measuring apparatus, imaging apparatus, and distance measuring method | |
JP2007264396A (ja) | カメラシステム | |
CN107920200B (zh) | 图像模糊校正装置及其控制方法和摄像装置 | |
US10412306B1 (en) | Optical image stabilization method and apparatus | |
JP6155471B2 (ja) | 画像生成装置、撮像装置および画像生成方法 | |
KR20110015208A (ko) | 고속 오토 포커스가 가능한 촬상 시스템 | |
US11445114B2 (en) | Imaging device, solid-state imaging element, camera module, drive control unit, and imaging method | |
CN113396578B (zh) | 摄像装置、固态摄像元件、相机模块、驱动控制单元和摄像方法 | |
JP5393877B2 (ja) | 撮像装置および集積回路 | |
JP6429633B2 (ja) | 像ブレ補正装置、制御方法、光学機器、撮像装置 | |
JP4911997B2 (ja) | 撮像装置 | |
CN101651778B (zh) | 摄像设备及其控制方法 | |
JP2015108688A (ja) | 画像処理装置およびそれを備えた撮像装置、画像処理方法 | |
JP2016103682A (ja) | 光学機器の水準器 | |
JP2023087377A (ja) | 視線検出装置 | |
JP2017207525A (ja) | 観察装置及びその制御方法 | |
JP2018194694A (ja) | 制御装置および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110414 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130225 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5223486 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160322 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |