JP5353196B2 - 移動計測装置および移動計測プログラム - Google Patents

Description

本発明は、移動計測装置および移動計測プログラムに関する。さらに詳述すると、画面に表示されるカーソル位置等を制御するためのポインティングデバイスに好適な移動計測装置および移動計測プログラムに関する。

パーソナルコンピュータ（以下、ＰＣという）などの電子機器には、マウス、タッチパッド（ノート型ＰＣ等のキーボード付近に配置されるタッチセンサ）、タッチパネル（携帯電話等のディスプレイ等に重畳されるタッチセンサ）等、画面に表示されるカーソル位置等を制御するためのポインティングデバイスと呼ばれる入力装置が広く利用されている。

例えば、特許文献１には、光学レンズと光検出器アレイを持つマウスであって、机面を撮影することで、机と装置との相対的移動量を検出する技術が開示されている。

また、特許文献２に記載のように、複数のレンズを備えた撮像装置で時系列に撮影した複数の画像から、被写体の動きを検出する技術も知られている。

特開２００４−２１３６７４号公報 特開２００８−３４９４８号公報

そこで、複数のレンズを備えた撮像装置を利用してユーザの手や指を撮影し、その動きを認識することでポインティングデバイスとする構成が考えられる。

しかしながら、例えば、特許文献１に記載の装置は、マウスが机面から持ち上げられたこと（即ち、撮像装置から被写体までの距離が変化したこと）を検知するために、反射画像が暗くなることを利用している。これは、マウスを机面に接触させた状態で撮像視野を照明するように斜め方向から照明していることによるが、例えば、マウスを裏返した場合には、天井の照明等が視野に入るため暗くなるとは限らないため問題がある。

また、被写体の高さが変化したことを検知するために、近接センサを備えているが、このように別個のセンサを備える構成は、コストがかかり、故障の可能性も増加する。さらに、相関度を用いているが、少し持ち上げただけで反応するためには、光学系の被写界深度が十分浅い必要がある等の問題がある。

即ち、机面の移動を認識する光学式マウス用センサと違い、ユーザの指などを認識するために外向きに撮影する場合は、認識対象となる被写体以外の物体が写ったり、外光が入射したりするという問題がある。また、光学式マウス用センサと同様に装置自身が動く場合にも正しく被写体の検出を行う必要がある。これらの問題を解決するためには、装置外界や装置自体の動きに影響を受けることなく、装置と被写体との距離を正確に検出することが要求される。尚、特許文献２に記載の技術では、複数のレンズは、視野を広げるためや、狭い視野を高いフレームレートで読み出すために利用されており、装置と被写体との距離の検出を目的とするものではない。

さらには、近年、ノート型ＰＣ等の小型化が進み、携帯電話等のモバイル通信機器でも従来のボタン操作に変わってタッチパネルにより操作するものが増えているため、ポインティングデバイスの小型化も望まれている。

そこで本発明は、装置外界や装置自体の動きに影響を受けることなく、ユーザによる操作を正確に認識できる移動計測装置を、小型かつ簡易な構成により提供することを目的とする。

かかる目的を達成するため、請求項１に記載の移動計測装置は、２以上のレンズが略平面状に並べられ、被写体像を像面上で結像させるためのレンズアレイから構成される撮像光学系及び受光素子の画素アレイにより構成され、撮像光学系による被写体像を撮像する撮像手段と、第１のレンズにより結像された撮像面領域の画像データである第１の個眼画像と、第１の個眼画像と同時に第２のレンズにより結像された撮像面領域の画像データである第２の個眼画像と、第１のレンズまたは第２のレンズのいずれかにより、第１の個眼画像及び第２の個眼画像とは所定時間差で結像された撮像面領域の画像データである第３の個眼画像との少なくとも３つの個眼画像に基づいて、被写体の移動量を算出する移動量算出手段とを備え、３つの個眼画像のうち２つの個眼画像について、一方の個眼画像を一画素ずつシフトしながら、個眼画像間の輝度差が最も小さくなる移動量を算出する移動量算出手段は、同時に撮影された個眼画像間のシフト量を算出する第１のシフト量算出手段と、所定時間差で撮影された個眼画像間のシフト量を算出する第２のシフト量算出手段と、第１のシフト量算出手段で算出した第１のシフト量が所定の範囲にあるか否か判定する判定手段と、判定手段の判定結果に応じて、第２のシフト量算出手段で算出した第２のシフト量を移動量として出力する出力手段と、を備え、判定手段は、第１のシフト量に基づいて、撮像手段からの被写体の高さを判定し、出力手段は、判定手段の判定結果に応じて、第２のシフト量を、属性の異なる移動量として出力し、かつ、第１のシフト量が所定の範囲に入る場合には、移動量を出力しないものである。

また、請求項２に記載の発明は、請求項１に記載の移動計測装置において、更に、撮像手段が有する全てのレンズにより撮影される個眼画像に基づいて複眼画像を合成し、出力する合成画像取得手段と、該合成画像取得手段と移動量算出手段とを適宜切り替え可能な選択手段とを備えるものである。

また、請求項３に記載の移動計測プログラムは、２以上のレンズが略平面状に並べられ、被写体像を像面上で結像させるためのレンズアレイから構成される撮像光学系及び受光素子の画素アレイにより構成され、撮像光学系による被写体像を撮像する撮像手段により撮影された個眼画像に対し、同時に撮影された個眼画像間のシフト量として一方の個眼画像を一画素ずつシフトしながら、個眼画像間の輝度差が最も小さくなるシフト量を算出する第１のシフト量算出処理と、所定時間差で撮影された個眼画像間のシフト量として一方の個眼画像を一画素ずつシフトしながら、個眼画像間の輝度差が最も小さくなるシフト量を算出する第２のシフト量算出処理と、第１のシフト量算出処理で算出した第１のシフト量が所定の範囲にあるか否か判定する判定処理と、判定処理の判定結果に応じて、第２のシフト量算出処理で算出した第２のシフト量を移動量として出力する出力処理と、をコンピュータに実行させるものであって、判定処理では、第１のシフト量に基づいて、撮像手段からの被写体の高さを判定し、出力処理では、判定処理の判定結果に応じて、第２のシフト量を、属性の異なる移動量として出力し、かつ、第１のシフト量が所定の範囲に入る場合には、移動量を出力しないものである。

本発明によれば、複眼撮像装置を用いて同時に撮影した複数の個眼画像および所定の時間差で撮影した個眼画像を利用し、被写体の高さ（撮像装置から被写体までの距離）と被写体の時間的な移動量を同時に計測することにより、装置外界や装置自体の動きに影響を受けることなく、ユーザが機器を指でなぞる等の動きのみを抽出し、ユーザ操作として認識できる機器を実現することができる。さらに、このような複眼撮像装置を、マイクロレンズアレイを利用することにより小型、かつ安価で実現することができる。

以下、本発明の構成を図１から図１０に示す実施の形態に基づいて詳細に説明する。本発明の移動計測装置は、２以上のレンズが略平面状に並べられ、被写体像を像面上で結像させるためのレンズアレイから構成される撮像光学系及び受光素子の画素アレイにより構成され、撮像光学系による被写体像を撮像する撮像手段（複眼撮像部１０）と、第１のレンズにより結像された撮像面領域の画像データである第１の個眼画像と、第１の個眼画像と同時に第２のレンズにより結像された撮像面領域の画像データである第２の個眼画像と、第１のレンズまたは第２のレンズのいずれかにより、第１の個眼画像及び第２の個眼画像とは所定時間差で結像された撮像面領域の画像データである第３の個眼画像との少なくとも３つの個眼画像に基づいて被写体の移動量を算出する移動量算出手段（第１のシフト量演算部２０、前フレーム記録部３０、第２のシフト量演算部４０、高さ判定部５０、出力設定部６０）とを備えるものである。

１．第１の実施形態
第１の実施形態の移動計測装置の機能ブロック図の一例を図1に示す。本実施形態の移動計測装置１は、少なくとも複眼撮像部１０、第１のシフト量演算部（第１のシフト量演算手段）２０、前フレーム記録部３０、第２のシフト量演算部（第２のシフト量演算手段）４０、高さ判定部（高さ判定手段）５０及び出力設定部（出力手段）６０を備えており、複眼撮像部１０で撮影された画像データを基に被写体の移動量を算出し、当該移動量を出力情報として不図示のホスト装置に送信するものである。尚、複眼撮像部１０を除く各ブロックは、マイクロプロセッサ、ＲＡＭ、ＲＯＭ等のハードウェア資源により構成される。また、移動計測装置１は、図示しない通信手段により接続されたホスト装置との間で通信を行うものである。以下、各ブロックについて説明する。

複眼撮像部１０は、複眼画像を撮像、取得する手段であり、例えば、図２に示すように、レンズアレイ３、遮光部材４、撮像素子５、カバーガラス６により構成される。

レンズアレイ３は被写体像を結像させるためのものであり、２つのレンズ（以下、第１のレンズ３ａ、第２のレンズ３ｂとする）をレンズ光軸と略直交する平面内に配列させたものである。

遮光部材４は、レンズアレイ３の各レンズ３ａ,３ｂを通過した光線の像面上でのクロストークを防止し、ゴーストやフレアなどのノイズを抑制するためのものである。

撮像素子５は、レンズアレイ３の各レンズ３ａ,３ｂにより結像される像(以下、個眼画像という)の集合である複眼画像を撮像するための手段であり、具体的には例えば受光素子５ａが二次元配列されたＣＭＯＳ撮像素子等が用いられる。ここでは撮像素子５は受光素子５ａによる光電変換信号のゲインを調整したり、アナログ信号からデジタル信号へ変換したりする回路を内蔵し、撮像画像をデジタル画像データとして出力する構成のものとする。以下、レンズ３ａにより結像される個眼画像を第１の個眼画像（個眼画像１）、レンズ３ｂにより結像される個眼画像を第２の個眼画像（個眼画像２）ともいう。

また、複眼撮像部１０の外面は保護のためカバーガラス６で覆われており、このカバーガラス６を通して被写体２を撮影するものである。

第１のシフト量演算部２０は、同時に撮影した２つの個眼画像（第１の個眼画像及び第２の個眼画像）間のシフト量（以下、第１のシフト量ともいう）を算出する手段である。ここで、個眼画像間には各レンズと被写体との位置関係に起因する視差（複眼視差）が存在することが知られている。以下、図３を用いて個眼画像間の視差の生じるしくみについて説明する。

図３は、各レンズ３ａ,３ｂの中心から被写体の高さｈに存在する被写体２の像が、各レンズ３ａ,３ｂにより撮像面７上に、それぞれ第１の個眼画像、第２の個眼画像として写る場合を示している。

ここで、被写体２上にある点ｐは、各個眼画像上ではｑ１, ｑ２に写る。この第１の個眼画像上の像位置ｑ１と第２の個眼画像上の像位置ｑ２との差を視差と呼ぶ。即ち、各レンズ３ａ,３ｂおよび撮像面７の相対位置が固定されている場合、視差は被写体２の高さに応じて変化するといえる。

したがって、複数の個眼画像間の視差を求めることにより、被写体の高さｈを計測することができる。個眼画像間のシフト量は、例えば、以下に述べる処理により求めることができる。

一方の個眼画像を左右（図３における左右方向）に一画素ずつシフトしながら、個眼画像間の輝度差を計算し、輝度差が最も小さくなるシフト量を求める。ここで、輝度差Ｅは数式１により求められ、輝度差Ｅは、その値が小さいほど画像が類似していることを示している。即ち、数式１において、輝度差Ｅが最小となるときのｓｘ,ｓｙが視差であり、求めるシフト量（以下、シフト量１、第１のシフト量ともいう）となる。尚、視差の方向（符号）と範囲は、レンズの配置および想定する被写体の高さによって決まるので、所定範囲、例えば０〜１０画素の範囲で１画素刻みに１０通りのシフト量での輝度差を計算して最小値を求めるようにすれば良い。

尚、シフト量の算出は、数式１による処理に限られるものではなく、例えば、数式１における絶対値に代えて二乗和を求めたり、正規化相関係数を計算するなどの様々な演算処理が可能である。

前フレーム記録部３０は、一方の個眼画像のみ１フレーム分記録する手段である。尚、本実施形態では、前フレーム記録部３０にて、第１の個眼画像を記録するようにしているが、いずれか一方の個眼画像を記録すればよい（即ち、図１中の個眼画像１と個眼画像２とは逆であっても良い）。また、以下、前フレーム記録部３０にて記録された前フレームの第１の個眼画像を、第１のシフト量演算部２０等で処理対象となる第１の個眼画像と区別するために第３の個眼画像ともいう。

第２のシフト量演算部４０は、前フレーム記録部３０に記録されている第３の個眼画像と第１の個眼画像とのシフト量を計算する手段である。

第２のシフト量演算部４０は、上述の第１のシフト量演算部２０と同様の手法により、各シフト量での輝度差を計算し、最小値を求める（上記数式１参照）。即ち、数式１において、輝度差Ｅが最小となるときのｓｘ,ｓｙが求めるシフト量（以下、シフト量２、第２のシフト量ともいう）である。ここで、第２のシフト量は、視差ではなく被写体（指）の動きにより生じるもので、シフト方向は上下左右２次元方向に生じる。本実施形態では、中心となる画素から上下左右に１画素ずつ、計９通りのシフトで最小値を求めるようにしているが、これに限られるものではない。また、第２のシフト量は、指の移動速度と撮影間隔によって決まるため、例えば、より広い範囲での最小値を求めることにより、速い動きに対応することも可能となる。

尚、上述の第１のシフト量演算部２０と第２のシフト量演算部４０との演算処理は、演算装置の性能に応じて、時分割で動作させることも好ましい。

高さ判定部５０は、第１のシフト量演算部２０で算出される第１のシフト量を閾値により判断し、被写体の高さを判定する。上述のように被写体の高さ、即ち、被写体と撮像素子との距離が近いほど視差は大きくなるからである。ここで、第１のシフト量に設定する閾値と判定結果（ｃａｓｅ０〜３）との関係を図４にしめす。

本実施形態では、第１のシフト量を３つの閾値（ｔｈ０,ｔｈ１,ｔｈ２、但し、ｔｈ０＞ｔｈ１＞ｔｈ２である）と比較して、表１に示す４通り（ｃａｓｅ０〜３）を判定するようにしている。

ここで、装置（複眼撮像部１０）表面はカバーガラス６で覆われているので、被写体２は一定の距離以内には入らない。したがって、例えば、最大の閾値ｔｈ０をカバーガラス６よりわずかに外側に対応する高さに設定しておくことで、装置表面に被写体２が接触している場合には ｔｈ０より第１のシフト量が大きい（ｃａｓｅ０）と判定できる。

出力設定部６０は、第２のシフト量演算部４０で算出された第２のシフト量と、高さ判定部５０の判定結果（ｃａｓｅ０〜３）との双方に基づいて出力情報を決定する。

判定結果に応じた出力情報を表２に示す。

本実施形態における出力情報は、移動量種別（１または２）、ｘ方向の移動量、ｙ方向の移動量の３つの数値からなるデジタル信号とする。尚、移動量種別の１は、第１,第２方向の移動量を指し、移動量種別の２は、第３,第４方向の移動量を指す。

表２に示すように、判定結果がｃａｓｅ０の場合は、ｘ,ｙ方向の移動量（シフト量２）を第１,第２方向の移動量としてホスト装置へ出力する。ここで、第１,第２方向の移動量は、通常のマウスと同様に、ホスト装置の表示画面上のカーソル移動量として利用することができる。

即ち、被写体（指）が装置表面に接触している場合は、移動量をカーソル移動量とするものである。

判定結果がｃａｓｅ１の場合は、画像のシフト量に拘らず移動量を出力しない。これにより、ユーザが装置表面からわずかに指を浮かせただけで、 ただちに入力を停止することができる。また、ユーザの指が意図せずｃａｓｅ０またはｃａｓｅ２の範囲からわずかに外れた場合、例えばスクロール操作中に誤ってカーソルを移動させてしまうなどの誤操作を防止することができる。

判定結果がｃａｓｅ２の場合は、ｘ,ｙ方向の移動量（シフト量２）を第３,第４方向の移動量としてホスト装置へ出力する。ここで、第３,第４方向の移動量は、市販されているスクロールホイール付きマウスと同様のスクロール量として利用したり、また、移動量を適切に閾値処理等することにより、ボタン押下状態として利用することができる。

判定結果がｃａｓｅ３の場合も、ｃａｓｅ１の場合と同様に画像のシフト量に拘らず移動量を出力しない。これにより、ユーザが装置付近に存在しない場合に、遠景の被写体や装置自身の移動、回転等により、ユーザの意図しない入力が生じることを防止できる。

次に、上述した移動計測装置１をタッチパッドのようなポインティングデバイスとして利用する携帯端末装置に適用した場合を例に動作の詳細を説明する。

ここでは、第１のシフト量に対して３つの高さ閾値（ａ＞ｂ＞ｃ）を設定し、ホスト装置では各領域での出力を、表３の通り扱うものとする。

（非使用時）指などを装置から一定距離（ｃ＞シフト量１）以内に近づけなければ、装置を何に向けても、また装置自身を動かしても、本装置は反応しない。上述のｃａｓｅ３に対応し、複眼撮像部１０の出力する画像データの内容によらず、視差が閾値ｃ以下の場合には移動量を出力しないからである。

（接触時）指で装置表面を撫でると（シフト量１＞ａ）、指の移動方向にカーソルが移動する。上述のｃａｓｅ０に対応する。

（指戻し動作）装置から一定の距離(ａ＞シフト量１＞ｂ)だけ離して指を動かす場合、本装置は反応しない。上述のｃａｓｅ１に対応し、この場合は、図５に示すような指戻し動作が行われている状態であると判断できるからである。このようにすることにより、ユーザは、指を浮かせて戻しながら、繰り返し一方向にカーソルを移動させることができる。

（スクロール動作）装置からある程度(ｂ＞シフト量１＞ｃ)、指や手を離してかざした状態で、指や手を上下左右に動かすと、ホスト装置の画面表示内容が上下左右にスクロールする。状ｊ梅雨のｃａｓｅ２に対応する。

尚、第１のシフト量の判定について、本実施形態では、３つの閾値を用いて４つの場合に分類したが、これに限られるものではなく、ユーザインタフェースの要求等に応じ、種々の変形が可能である。

例えば、一定以下の高さの場合のみ移動量を出力するようにしても良い。カーソル移動とスクロールのような複数種類の入力が必要ない場合、閾値を１つ設定し、２通りの場合分けすることで、誤入力の可能性を減らすことができる。

また、例えば、特定の高さ範囲（例えば２ｃｍ〜５ｃｍ）のみ移動量を出力するようにしても良い。この場合、例えば、筐体の保持のために指が触れても反応せず、装置から一定距離以上離して手をかざした時だけ反応する等の動作を実現できる。

以上のように、移動計測装置１によれば、シフト量の閾値処理という簡単な演算回路により、移動量の計測が有効に機能する高さに制限を与えることができる。また、機器に触れる程度の高さでのみ動き検知機能を働かせることにより、タッチパッドのような接触式センサと同様の使用感をユーザに提供することができる。さらに、被写体の高さにより、複数の属性の情報を入力できるので、カーソル移動とスクロールなど入力できる情報を増加させ、より高機能なポインティングデバイスを実現できる。さらに、入力操作として有効な高さ範囲の間などに無反応領域を設定することにより、誤操作を低減することができる。

２．第２の実施形態
次に、本発明の第２の実施形態について説明する。尚、第１の実施形態と同様の点については、説明を省略する。

図６に第２の実施形態における移動計測装置１の機能ブロック図を示す。第２の実施形態の移動計測装置１は、撮像装置９０とホスト装置１００から構成される。本実施形態の撮像装置９０は後述の複眼撮像部１０を有し、図示しない通信手段を介してホスト装置１００と接続されている。ホスト装置１００は上述の移動量算出手段（第１のシフト量演算部２０、前フレーム記録部３０、第２のシフト量演算部４０、高さ判定部５０及び出力設定部６０）、及び後述する合成画像取得部（合成画像取得手段）７０、選択部（選択手段）８０を有している。尚、ホスト装置１００としては、例えば、演算装置、主記憶装置、補助記憶装置等を備えたパーソナルコンピュータを用いることができる。

第１の実施形態の移動計測装置１は、移動計測装置１内でシフト量算出などの各演算を実行し、ホスト装置に対しては、出力情報として演算の結果得られる移動量種別および移動量を送信するようにしていたが、第２の実施形態の移動計測装置１は、撮像装置９０内では画像の取得のみ行い、画像データのままホスト装置１００に転送し、その他の各演算はホスト装置１００内で実行する構成としている。このような構成は、ホスト装置１００がパーソナルコンピュータのように高い演算性能を持つ場合に好適である。

本実施形態の複眼撮像部１０の一例を図７に示す。複眼撮像部１０は、多数のレンズからなるレンズアレイ３を有し、当該レンズアレイ３により結像される被写体像の複眼画像を撮像し、それをデジタル画像データとして出力する。

また、第２の実施形態の移動計測装置１は、上述の移動量算出手段によりポインティングデバイスとして動作するモード（以下、ポインティングモード）を有するだけではなく、合成画像取得部７０により静脈認証用のカメラや人物などを撮影するための一般のカメラとして動作するモード（以下、カメラモード）を有している。

合成画像取得部７０は、複眼撮像部１０が有する全てのレンズにより撮影された個眼画像の画像データに基づいて複眼画像を合成する。尚、合成画像取得部７０による当該処理には、公知又は新規の手法を用いればよく、特に限られるものではないが、例えば、特開２００８−９７３２７号公報に記載されている処理方法を適用することができる。

選択部８０は、ポインティングモード及びカメラモードの切り替えを可能としている。即ち、本実施形態の複眼撮像部１０は、ホスト装置１００からの指示に従い、撮像面上の特定の領域のみの画像を出力することができる。

図８にポインティングモードとカメラモードとの撮像領域を模式化した図を示す。図８における小さい正方形が個眼画像領域(複数の画素からなる)にあたり、全体が撮像素子の全撮像領域を示している。カメラモードでは、例えば撮像素子全体の、ポインティングモードでは、例えば中央付近の個眼画像ふたつ分の領域のみの画像データを取り込みホスト計算機へ送信する。尚、選択部８０は、例えば、ＣＭＯＳ撮像素子のモードの設定により可能である。

ここで、撮像素子の撮像にかかる時間は、画像データの転送処理時間が支配的であり、転送時間は画素数に比例する。したがって、本実施形態のように撮像領域の大きさを切替え可能とすることで、カメラモードでは全画素を利用して高解像度の画像を取得することができ、ポインティングモードでは少数の画素だけを高速に (単位時間あたりの撮影回数を多く)撮像し、被写体の速い動きにも追従できる。

このようにポインティングモードとカメラモードとの双方のモードを備えることにより、一つのセンサで高速(低解像度)と高解像度(低速)の両方の撮像機能を持つので、ポインティングデバイスとしての他、静脈認証用カメラや人物などを撮影するための通常のカメラと共用することができ、それぞれ個別のセンサを塔載するよりも、低コスト化、小型化を実現できる。

３．移動計測プログラム
次に、本発明に係る移動計測プログラムについて説明する。移動計測プログラムは、例えば、ホスト装置１００の補助記憶装置に記憶されており、当該プログラムがＣＰＵに読み込まれ実行されることによって、ホスト装置１００が移動計測装置１として機能する。また、移動計測プログラムは、ホスト装置１００全体の資源を管理するオペレーティングシステム内のデバイスドライバとして動作することが好ましい。

本実施形態では、ポインティングデバイスおよびカメラのふたつのデバイスとして動作し、これらの機能をシステムへ提供するものとする。また、デバイスドライバとして機能することにより、計算機上で実行されるさまざまなアプリケーションでポインティングおよび画像入力機能を利用できる。

また、本実施形態では、移動計測プログラムは、デフォルトではポインティングモードで動作し、カメラボタン押下等のユーザ指示により一時的にカメラモードへ移行し、カメラモードでの動作である画像取得が完了した後、自動的にポインティングモードへ戻るものとしている。図９〜図１０のフローチャートを参照して、双方のモードでの動作を説明する。

３−１．ポインティングモード
ポインティングモードにおいて移動計測プログラムが実行する処理（移動量算出処理）の一例を、図９のフローチャートに示す。尚、移動量算出処理は、タイマー割り込みを利用して定期的に繰り返される。

先ず、複眼撮像部１０から画像データの入力がされる（Ｓ１１）。具体的には、個眼画像二つ分の画像データが入力される。

次に、シフト量演算１（Ｓ１２：第１のシフト量算出処理）が実行され、シフト量１（同時視差）が算出される。尚、処理内容は、上記第１のシフト量演算部２０によるものと同様である。

次に、高さ判定（Ｓ１３：判定処理）が実行される。尚、処理内容は、上述の高さ判定部５０によるものと同様である。即ち、上述の閾値設定例では、判定結果がｃａｓｅ０及び２（表１）の場合（Ｓ１３：有効）は、次のシフト量演算２（Ｓ１４）へ進み、判定結果がｃａｓｅ１及び３の場合（Ｓ１３：無効）は、個眼像記録（Ｓ１６）へ移行する。

次に、シフト量演算２（Ｓ１４：第２のシフト量算出処理）が実行され、シフト量２（被写体の移動量）が算出される。尚、処理内容は、上述の第２のシフト量演算部４０によるものと同様である。

次に、移動量出力（Ｓ１５：出力処理）が実行される。尚、処理内容は、上述の出力設定部５０によるものと同様である。即ち、高さ判定結果とシフト量２に基づいて求めた移動量種別、ｘ方向移動量、ｙ方向移動量をホスト装置へ送信する。

次に、個眼像記録（Ｓ１６）が実行される。尚、処理内容は、上述の前フレーム記録部３０によるものと同様である。即ち、次フレームの計算のため、個眼画像１をメモリに記録する。以上が、ポインティングモードにおける移動計測プログラムが実行する処理であり、当該処理を一定時間おきに繰り返す。

３−２．カメラモード
カメラモードにおいて移動計測プログラムが実行する処理（合成画像取得処理）の一例を、図１０のフローチャートに示す。合成画像取得処理は、複眼画像を合成処理し一枚の画像データとして出力する。

先ず、複眼撮像部１０から画像データが入力される（Ｓ２１）。カメラモードでは全ての個眼画像が入力される。

次に、基準画像設定（Ｓ２２）が実行される。即ち、各個眼画像の領域を抽出し、視差検出、再構成の基準となる個眼画像が設定される。

次に、視差検出（Ｓ２３）が実行される。即ち、各個眼画像の基準個眼画像に対する視差が検出される。

次に、各個眼画像データから視差を考慮し、再構成演算（Ｓ２４）が実行される。即ち、各個眼画像は、対象物の高さに応じた視差を持つため、仮想的な合成画像の各画素位置に対応する個眼画像上の位置を検出された視差を利用して求め、その位置の画素値を補間によって求めて合成画像の画素値とするものである。尚、複数の個眼画像の領域内に対応位置が存在する場合には、各個眼画像から求めた画素値の平均を合成画像の画素値とすれば良い。

次に、再構成された合成画像をカメラでの取得画像として出力する（Ｓ２５）。当該処理により、各個眼画像の情報を統合し、解像度の高い合成画像を得ることができる。このような合成画像は、一般的なカメラとして、または従来技術と同様の静脈認証用画像入力手段としてなど、様々な用途に利用することができる。

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

本発明に係る移動計測装置の機能ブロック図の一例である。 複眼撮像部の概略構成図の一例である。 個眼画像間に生じる視差を説明するための図である。 シフト量に設定する閾値を説明するための図である。 指戻し操作を説明するための図である。 第２の実施形態の移動計測装置の機能ブロック図の一例である。 第２の実施形態の複眼撮像部の概略構成図の一例である。 動作モードごとの撮像領域を説明するための図である。 ポインティングモードにおいて移動計測プログラムが実行する処理の一例を示すフローチャートである。 カメラモードにおいて移動計測プログラムが実行する処理の一例を示すフローチャートである。

符号の説明

１ 移動計測装置
２ 被写体
３ レンズアレイ
４ 遮光部材
５ 撮像素子
６ カバーガラス
１０ 複眼撮像部
２０ 第１のシフト量演算部
３０ 前フレーム記録部
４０ 第２のシフト量演算部
５０ 高さ判定部
６０ 出力設定部
７０ 合成画像取得部
８０ 選択部
９０ 撮像装置
１００ ホスト計算機

Claims (3)

1. ２以上のレンズが略平面状に並べられ、被写体像を像面上で結像させるためのレンズアレイから構成される撮像光学系及び受光素子の画素アレイにより構成され、前記撮像光学系による被写体像を撮像する撮像手段と、
   第１のレンズにより結像された撮像面領域の画像データである第１の個眼画像と、前記第１の個眼画像と同時に第２のレンズにより結像された撮像面領域の画像データである第２の個眼画像と、前記第１のレンズまたは前記第２のレンズのいずれかにより、前記第１の個眼画像及び前記第２の個眼画像とは所定時間差で結像された撮像面領域の画像データである第３の個眼画像との少なくとも３つの個眼画像に基づいて、被写体の移動量を算出する移動量算出手段とを備え、
   前記３つの個眼画像のうち２つの個眼画像について、一方の個眼画像を一画素ずつシフトしながら、個眼画像間の輝度差が最も小さくなる移動量を算出する前記移動量算出手段は、
   同時に撮影された個眼画像間のシフト量を算出する第１のシフト量算出手段と、
   所定時間差で撮影された個眼画像間のシフト量を算出する第２のシフト量算出手段と、
   前記第１のシフト量算出手段で算出した第１のシフト量が所定の範囲にあるか否か判定する判定手段と、
   前記判定手段の判定結果に応じて、前記第２のシフト量算出手段で算出した第２のシフト量を移動量として出力する出力手段と、を備え、
   前記判定手段は、前記第１のシフト量に基づいて、前記撮像手段からの前記被写体の高さを判定し、
   前記出力手段は、前記判定手段の判定結果に応じて、前記第２のシフト量を、属性の異なる移動量として出力し、かつ、前記第１のシフト量が所定の範囲に入る場合には、前記移動量を出力しないことを特徴とする移動計測装置。
2. 更に、前記撮像手段が有する全てのレンズにより撮影される個眼画像に基づいて複眼画像を合成し、出力する合成画像取得手段と、
   該合成画像取得手段と前記移動量算出手段とを適宜切り替え可能な選択手段と
   を備えることを特徴とする請求項１に記載の移動計測装置。
3. ２以上のレンズが略平面状に並べられ、被写体像を像面上で結像させるためのレンズアレイから構成される撮像光学系及び受光素子の画素アレイにより構成され、前記撮像光学系による被写体像を撮像する撮像手段により撮影された個眼画像に対し、
   同時に撮影された個眼画像間のシフト量として一方の個眼画像を一画素ずつシフトしながら、個眼画像間の輝度差が最も小さくなるシフト量を算出する第１のシフト量算出処理と、
   所定時間差で撮影された個眼画像間のシフト量として一方の個眼画像を一画素ずつシフトしながら、個眼画像間の輝度差が最も小さくなるシフト量を算出する第２のシフト量算出処理と、
   前記第１のシフト量算出処理で算出した第１のシフト量が所定の範囲にあるか否か判定する判定処理と、
   前記判定処理の判定結果に応じて、前記第２のシフト量算出処理で算出した第２のシフト量を移動量として出力する出力処理と
   をコンピュータに実行させるものであって、
   前記判定処理では、前記第１のシフト量に基づいて、前記撮像手段からの前記被写体の高さを判定し、
   前記出力処理では、前記判定処理の判定結果に応じて、前記第２のシフト量を、属性の異なる移動量として出力し、かつ、前記第１のシフト量が所定の範囲に入る場合には、前記移動量を出力しない
   ことを特徴とする移動計測プログラム。
   

Images