JP7140580B2

JP7140580B2 - ステレオ撮像装置

Info

Publication number: JP7140580B2
Application number: JP2018133680A
Authority: JP
Inventors: 宏安大坪
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2018-07-13
Filing date: 2018-07-13
Publication date: 2022-09-21
Anticipated expiration: 2038-07-13
Also published as: JP2020014067A; WO2020012756A1; CN112106345A; CN112106345B; US20210110188A1

Description

本発明は、ステレオ撮像装置に関する。

近年の画像認識技術の向上に伴って、車載カメラの映像の画像認識を利用した自動車運転時の危険回避および自動運転や、監視カメラの映像の画像認識による既知の犯罪者の検出等が可能となっている。また、車載カメラや監視カメラとして一対のカメラを有するステレオカメラを用いて、例えば、被写体上の同じ対象点に対応する各画像上の対応点同士の位置の違い（視差）に基づいて、ステレオカメラから画像上の各点に対応する被写体上の点までの距離を検知して、画像認識を行うことが行なわれている（例えば、特許文献１）。ステレオカメラを用いた画像認識においては、距離情報を用いて画像認識が行なえるため、対象物（例えば、人、動物、車両等）の識別を容易かつ高精度に行うことが可能となる。

特開２０１３－１０９７７９号公報

ところで、車載カメラや監視カメラにおいては、広範囲を撮影しつつ物体の検知をできるものが求められている。しかし、広範囲の画像を撮影するために広角のレンズを使用すると、画像は周辺部が圧縮されたものとなってしまう。すなわち、広角のレンズを使用した場合、周辺部の歪が大きい画像が得られることとなる。そして、このような歪の大きい画像を用いて検知対象を検知しようとすると、検知精度が低くなってしまうという問題があった。

また、検知精度を考慮した場合には、高解像度のイメージセンサを用いることが好ましいが、特に広範囲を撮影しようとした場合画素数がとても多くなってしまう。そして、画素数が多い画像を用いて検知に関する演算処理を行うと、計算量が膨大な量となり、車載カメラや監視カメラの映像のような動画を処理する場合に１フレームの処理に長い時間がかかってしまう。このため、演算処理を行う集積回路の演算速度によっては、１フレームの演算処理時間が長くなり過ぎて、リアルタイムでの対応が要求される場合に処理が間に合わなくなってしまうという問題があった。

本発明は、前記事情に鑑みてなされたもので、広範囲を撮影しつつ、検知対象の検知を高精度で行うことができるステレオ撮像装置を提供することを目的とする。

前記目的を達成するために、本発明のステレオ撮像装置は、歪が所定量よりも小さい部分である低歪領域と歪が前記低歪領域よりも大きい部分である高歪領域とを有するレンズおよび撮像センサを備える撮像手段と、
一対の前記撮像手段で撮影された画像において、前記低歪領域を通して撮影された領域内に検知対象がある場合に、当該画像の前記低歪領域を通して撮影された領域内であって検知対象が含まれる範囲を切り出した切り出し画像を出力する切り出し手段と、
前記切り出し画像に基づいて検知対象の検知を行う検知手段と、を備えることを特徴とする。

このような構成によれば、検知手段は、撮像手段により撮影された画像のうち、歪が小さい低歪領域を通して撮影された領域内であって、検知対象が含まれる範囲が切り出された画像に基づいて検知対象の検知を行う。すなわち、検知手段は歪の小さい画像に基づいて検知対象の検知を行う。したがって、検知対象の検知を高精度で行うことができる。

また、検知手段が検知に用いる画像は、切り出し手段により切り出された画像のため、撮像手段により撮影された画像に比べて表示範囲が狭くなる。したがって、解像度を必要以上に低下させることなく、画像のデータ量を低減することができる。すなわち、表示範囲を狭くせずに、画像のデータ量を小さくしようとした場合（画素数を少なくしようとした場合）、画素を間引いて（デシメーションをして）画像を圧縮し、画像の解像度を下げる必要があるが、本発明においては、検知において必要な部分のみを切り出すため、当該切り出しにより解像度を低下させることなく画像のデータ量を小さくすることができる。そして、当該切り出しにより解像度を必要以上に低下させることなく、画像のデータ量が低減されるため、検知手段における処理速度を高速に保ちつつ、高精度の検知を行うことが可能となる。
なお、切り出した画像についても、検知手段による検知を行う前に画素を間引いて画像の解像度を下げることとしてもよい。この場合においても、切り出す前の画像について画素を間引く場合に比べて、間引く画素数を低減することができるので、解像度の低下を抑えることができる。

このように、本発明によれば、高歪領域を通して広い範囲の撮影を可能としつつ、低歪領域を利用した検知を行うことにより、高精度の検知が可能となる。

本発明の前記構成において、前記低歪領域の歪の量が、５％以下であることが好ましい。

このような構成によれば、検知手段における検知を特に高精度で行うことができる。

また、本発明の前記構成において、前記レンズの歪に基づく画像の歪を除去する歪補正手段を備え、
前記歪補正手段は、前記検知手段が前記切り出し手段により切り出された画像に基づく検知を行うよりも前に歪の除去をすることが好ましい。

このような構成によれば、撮像手段により撮影され、切り出し手段により切り出される前または後の画像について、レンズの歪に基づく画像の歪が除去される。したがって、検知手段における検知精度を向上させることができる。

また、本発明の前記構成において、前記切り出し手段は、前記高歪領域を通して撮影された領域内にある検知対象に対しては、当該検知対象を含む画像の切り出しを行わないこととしてもよい。

このような構成によれば、高歪領域にある検知対象に対しては、当該検知対象を含む画像の切り出しおよび切り出した画像に基づく検知対象の検知が行なわれない。したがって、検知手段における処理を減らすことができ、検知手段にかかる負荷を低減させることができる。また、余分な検知を省くことができるので、低歪領域にある検知対象についての検知の回数を増やすことができ、検知精度を向上させることができる。

また、本発明の前記構成において、
前記一対の撮像手段で撮影された画像のデータ量を小さくする縮小手段を備え、
前記検知手段は、前記縮小手段により縮小された縮小画像に基づいて検知対象の検知をする第一の検知を行った後に、前記縮小画像よりも表示範囲が狭くなるように前記切り出し手段により切り出された第二の切り出し画像に基づいて検知対象の検知をする第二の検知を行い、前記第一の検知の結果を前記第二の検知の結果で補正することとしてもよい。

このような構成によれば、切り出し手段により切り出される画像は、縮小画像よりも表示範囲が狭いので、縮小画像と同じデータ量で解像度の高い画像とすることができる。よって、例えば、解像度が比較的低いが表示範囲の広い縮小画像に基づいて、粗い検知をした後に、この粗い検知を行った範囲の一部について、解像度の高い画像で高精度な検知を行うことができる。したがって、例えば、撮像手段で撮影された範囲全体について、粗いが広範な検知をした後に、低歪領域にある検知対象について切り出して高精度な検知をしたりすることができる。また、粗い検知の結果が高精度な検知の結果で補正されるので、より正確あるいは精密な検知結果を得ることができる。すなわち、このように広範な検知と高精度な検知とを両立させることができる。
なお、ここで検知結果の補正とは、検知の結果を修正することのみならず、第一の検知の結果に、第二の検知により得られた新たな情報を加えること等を含む。

また、本発明の前記構成において、前記検知手段は、前記第二の検知を行った後に、前記第二の切り出し画像の表示範囲とは表示範囲が少なくとも一部異なるように前記切り出し手段により切り出された第三の切り出し画像に基づいて検知対象の検知をする第三の検知を行い、前の検知の結果を前記第三の検知の結果で補正することとしてもよい。

このような構成によれば、第二の切り出し画像と第三の切り出し画像との表示範囲が少なくとも一部異なるので、第二の検知における検知範囲と第三の検知における検知範囲が少なくとも一部異なるようになる。すなわち、ある程度広い範囲を高精度に検知したい場合に、当該範囲を第二の切り出し画像と第三の切り出し画像とに分けて、それぞれについて検知を行うことで、当該範囲について高精度の検知を行うことができる。また、第三の検知の結果により、第一の検知の結果あるいは第二の検知の結果等が補正されるので、より正確あるいは精密な検知結果を得ることができる。

また、本発明の前記構成において、前記検知手段は、前記第二の検知を行った後に、前記第二の切り出し画像の表示範囲内で、かつ前記第二の切り出し画像よりも表示範囲が狭くなるように前記切り出し手段により切り出された第四の切り出し画像に基づいて検知対象の検知をする第四の検知を行い、前の検知の結果を前記第四の検知の結果で補正することとしてもよい。

このような構成によれば、第四の切り出し画像は、第二の切り出し画像の表示範囲内で、かつ第二の切り出し画像よりも表示範囲が狭いものとなる。すなわち、縮小画像から、第二の切り出し画像、第四の切り出し画像と、徐々に表示範囲を狭めていくこととなる。よって、検知範囲を徐々に狭めていきつつ、必要な範囲について検知精度を徐々に高めていくことができる。したがって、検知対象についてまず全体を粗く認識したうえで、特徴点についてより詳細に検知していくこと等が可能となる。

本発明のステレオ撮像装置によれば、広範囲を撮影しつつ、検知対象の検知を高精度で行うことができる。

本発明の実施の形態に係るステレオ撮像装置を示すブロック図である。同、ステレオ撮像装置のレンズの歪特性を示す図である。同、ステレオ撮像装置の処理を示すフローチャートである。同、ステレオカメラの設置場所の例を示す図である。同、ステレオ撮像装置における検知のシーケンス例を説明するための図である。同、ステレオ撮像装置における検知のフレームレートを説明するための図である。

以下、本発明の実施の形態について説明する。
本実施の形態のステレオ撮像装置は、例えば、監視カメラや車載カメラ等の主に監視に係るカメラとしてステレオカメラを用いたものであり、物体の検知および物体との距離の検知を行う。

本実施の形態のステレオ撮像装置１は、図１に示すように、レンズ３と撮像部４とを有する一対の撮像手段５と、一対の撮像手段５それぞれの撮像部４から出力された画像のレンズ３に基づく歪を補正する一対の歪補正手段６と、一対の歪補正手段６それぞれから出力された画像のサイズを変換する一対の画像サイズ変換手段７と、一対の画像サイズ変換手段７から出力された画像から、当該画像に含まれる物体の距離の測定や物体の認識を行う検知手段８と、撮像手段５および画像サイズ変換手段７を制御する制御手段９と、を備えている。
なお、これらの各種手段は、例えば、各種の電子回路（プロセッサ（ＣＰＵ、ＤＳＰ等）、ＩＣ、あるいはＲＯＭやＲＡＭ等の情報記憶媒体等）や、ＲＯＭ等に記憶されている所定のプログラムからなるソフトウェア等により実現される。また、歪補正手段６や画像サイズ変換手段７は、それぞれ１つしか設けられていなくてもよく、一対の撮像手段５から出力される一対の画像を１つの回路で処理するようになっていてもよい。

一対の撮像手段５は、ステレオカメラ１０を構成するものである。また、撮像手段５は、レンズ３により、撮像部４の有する撮像センサに結ばれた像を画像（動画データ）として出力する。また、一対の撮像手段５は、同期した一対の画像を出力する。なお、図１に示す他の手段もステレオカメラ１０に含まれるものとしてもよく、一部またはすべての手段が、各種配線あるいはネットワークを介して接続される１つまたは複数の他の機器により実現されるものであってもよい。

レンズ３は、遠近両用の広角レンズとなっており、いわゆる樽型のディストーション特性を持っている。レンズ３のディストーション特性を、図２に示す。図２に示すように、レンズ３の周辺部においては、像が圧縮されるようになっている。具体的には、二点鎖線で示す円Ａの内側においては、歪がほぼ０になっており、円Ａの外側においては歪が大きくなっている。以下では、円Ａの内側の、歪がほぼ０の領域をディストーションゼロエリア（低歪領域）と呼び、円Ａの外側の領域を画角確保エリア（高歪領域）と呼ぶこととする。なお、画角確保エリアの外周は四角Ｂで示す部分である。また、撮像手段５により撮影された画像について、円Ａの内側（低歪領域）を通して撮影された部分についてもディストーションゼロエリアと呼び、円Ａの外側（高歪領域）を通して撮影された部分についても画角確保エリアと呼ぶこととする。

ディストーションゼロエリアにおける歪の量（光学ディストーション）は、５％以下となっている。また、当該歪の量は、より好ましくは３％以下、さらに好ましくは１％以下である。また、画角確保エリアにおける歪の量は、ディストーションゼロエリアにおける歪の量よりも大きくなっている。すなわち、ディストーションゼロエリアは、高精度の距離検知および物体検知を行うために歪が小さくされた部分であり、画角確保エリアは、画角（撮影範囲）を広くするための部分（検知範囲を広くするための部分）となっている。

撮像手段５においては、このような特性のレンズ３を用いて画像が撮影されるため、撮像手段５からは、レンズ３のディストーション特性に従って周縁部が縮んだ状態に歪んだ画像が出力される。具体的には、撮像手段５からは、レンズ３のディストーションゼロエリアを通して撮影された中心部の歪が小さく、画角確保エリアを通して撮影された周縁部の歪が大きい画像が出力される。

撮像手段５からの出力画像は、歪補正手段６に入力される。歪補正手段６は、撮像手段５からの出力画像の、レンズ３による歪を除去する処理を行う。なお、歪の除去は、周知の方法で行うことができ、例えば、歪除去の画像変換用の既知の電子回路を用いて行うことができる。また、歪の除去は、他の位置において行ってもよい。例えば、画像サイズ変換手段７により画像サイズが変換された後に行ってもよい。また、例えば、撮像手段５が後述する切り出し処理を行う場合等に、切り出された画像に対して歪の除去を行うこととしてもよい。
なお、歪の除去とは、歪を完全に無くすものでなくてもよく、元の画像よりも歪が低減されていればよい。

次に、歪補正手段６で歪が除去された画像が、画像サイズ変換手段７に入力される。画像サイズ変換手段７は、画像のサイズを検知手段８で処理できるサイズに変換する処理を行う。本実施の形態のステレオ撮像装置１においては、検知手段８で処理できる最大の画像サイズがＶＧＡ（６４０画素×４８０画素。以下では、「画素」を省略して６４０×４８０等のように表記する。）となっており、画像サイズ変換手段７は、画像サイズがＶＧＡ以下となるように、画像のサイズを小さくする処理を行う。換言すると、画像サイズ変換手段７は、画像のデータ量を少なくする処理を行う。具体的には、画像サイズ変換手段７は、画像の縮小処理および切り出し処理を行う。

画像の縮小処理においては、画素数を削減して、画像面積を縮小する。具体的には、例えば、撮像センサの画素数が３２００×２４００の場合、水平方向のサイズと垂直方向のサイズとを１／５にデシメーション（間引き）して、６４０×４８０とする。これにより、画像の表示範囲は変わらないまま、画像が縮小される。すなわち、縮小処理は、画像の表示範囲は変えないで（図２や図５に示す四角Ｂで囲う範囲のままで）画像サイズを小さくする処理である。縮小処理により、画像の表示範囲を保ったまま縮小された画像を縮小画像と呼ぶ。

また、画像の切り出し処理においては、画像を縮小するのではなく、小さく切り出すことにより画像サイズを小さくする。具体的には、撮像手段５において撮影された全画面の画像のうちの一部の範囲（例えば、図２に示す四角Ｃ，Ｄで囲う範囲や、図５に示す四角Ｅ，Ｆで囲う範囲）を切り出す。例えば、３２００×２４００の画像のうち、ディストーションゼロエリアに含まれる中心部の１２００×１２００の範囲を切り出す。また、この切り出した１２００×１２００の画像に対して縮小処理を行い６４０×４８０の画像とする。また、切り出し処理により切り出した画像が６４０×４８０以下となる場合には、縮小処理を行わずに、後段（検知手段８）に出力するものとしてもよい。このように、切り出し処理は、元の画像の表示範囲の一部を切り出すことにより画像サイズを小さくする処理である。これにより、画像の表示範囲は小さくなり解析範囲が小さくなるが、解像度は切り出し前と同様の高解像度となり、検知手段８における検知の精度を高めることができる。切り出し処理により切り出された画像を切り出し画像と呼ぶ。
なお、切り出す位置は任意であり、例えば、既に画像認識された一つまたは数フレーム前の画像の特徴部分、例えば、人などの検知対象が含まれている範囲を切り出すこととしてもよい。

以上のように、画像サイズ変換手段７は、画像の縮小処理を行う縮小手段としての機能と、画像の切り出し処理を行う切り出し手段としての機能とを有する。なお、画像の縮小処理や切り出し処理は、例えば、撮像手段５が行なってもよい。すなわち、例えば、撮像センサとして、画像のデシメーションを行うことができるもの知られているが、このような撮像センサを用いて画像の縮小処理を行うこととしてもよい。また、切り出した画像での検知を行う際に、撮像手段５が切り出し手段として当該検知を行う部分を切り出した画像を出力するものとしてもよい。

次に、画像サイズ変換手段７でサイズが変換された画像が、検知手段８に入力される。検知手段８は、一対の撮像手段５のそれぞれで撮影され、歪補正手段６および画像サイズ変換手段７を介して入力された二つの画像の視差を求める視差検知処理を行う。また、検知手段８は、視差検知処理により求められた視差を用いて、物体（被写体）との距離を検知（測定）する距離検知処理を行う。また、検知手段８は、距離検知処理により測定された距離情報に基づいて、物体を検知（認識）する物体検知処理（物体認識処理）を行う。
ここで、複数の画像から視差を求める処理や、当該視差を用いて距離を測定する処理や、物体を認識する処理については、既知の方法および既知の回路等で行うことができる。また、物体検知処理は、例えば、画像中（ステレオカメラ１０）に人などの特定の物体が写っている場合に、人であると認識して検知するものでもよく、この検知した人の顔をステレオ撮像装置１の記憶手段（図示せず）に記憶されている顔と照合して特定の人物であることを検知するものでもよく、車のナンバープレートの番号を認識して照合したりするものであってもよい。すなわち、検知対象はステレオ撮像装置１の適用先に応じて適宜選択すればよく、検知手段８は、設定された検知対象との距離の検知や物体の認識を行う。

また、制御手段９は、撮像手段５による撮像や、画像サイズ変換手段７による画像の縮小処理あるいは切り出し処理等を制御する。具体的には、検知手段８による検知が行なわれると、この検知結果が制御手段９に送られる。そして、制御手段９は、この検知結果に基づいて縮小処理や切り出し処理として行う処理を決定する。例えば、検知手段８により人が検知された場合に、制御手段９は、当該人が含まれる範囲を切り出すことを決定する。そして、画像サイズ変換手段７は、当該決定に基づいて当該人が含まれる範囲を切り出すとともに、必要に応じて切り出した画像を縮小して、検知手段８に出力する。そして、この出力された画像に基づいて、検知手段８が検知を行う。
なお、制御手段９は、歪補正手段６を制御するものであってもよい。そして、検知手段８の検知結果に基づいて歪の除去方法を変更してもよい。例えば、画像の切り出し処理後に歪補正手段６が歪の除去をする構成において、切り出される画像に応じて歪の除去に関する演算方法を変更することとしてもよい。

以上のように、図１に示す構成はあくまで一例であり、各構成要素の配置や構成は異なるものであってもよい。

次に、ステレオ撮像装置１で行う処理について、図３のフローチャートを参照しながら説明する。
まず、ステレオ撮像装置１は、検知対象の検知を行うか否かを判定する（ステップＳ１）。具体的には、制御手段９は、記憶手段（図示せず）に記憶された検知フラグがＯＮ状態か否かを確認し、検知フラグがＯＮ状態の場合には、検知対象の検知を行うように各種制御を行う。

検知フラグがＯＮ状態であり、検知対象の検知を行う場合（ステップＳ１でＹＥＳ）、ステレオ撮像装置１は、まず、最大画角での検知を行う。すなわち、まず、一対の撮像手段５で撮影される領域全体の画像について、検知対象が写っているか否かを検出する。なお、この最大画角での検知対象の検知（撮影領域全体の画像についての検知）を全画面検知と呼ぶこととする。
例えば、撮像センサの画素数が３２００×２４００であるとすると、撮像手段５は、３２００×２４００の画像を出力する。次に、撮像手段５から出力されたこの画像の歪を、歪補正手段６が除去する。次に、歪が除去された画像を、画像サイズ変換手段７が縮小処理により、画像の表示範囲は維持したまま６４０×４８０の画像に縮小する。そして、この縮小された縮小画像に検知対象が写っているか否かを、検知手段８が判定する。より具体的には、縮小画像のディストーションゼロエリア内に検知対象があるか否かを判定する。なお、本実施の形態のステレオ撮像装置１においては、検知手段８は、ディストーションゼロエリア外（画角確保エリア内）に検知対象があるか否かも判定するが、ディストーションゼロエリア外の検知対象については、検知しないこととしてもよい。

次いで、検知手段８は、ディストーションゼロエリア内に検知対象があると判定した場合（ステップＳ３でＹＥＳ）、最初の切り出し領域（「切り出し１」の領域）内に検知対象が写っているか否かを判定する（ステップＳ４～Ｓ６）。
ここで、切り出し領域（「切り出し１」～「切り出しＮ」の各領域）は、切り出し処理により切り出される領域であり、所定の規則に従って設定される。また、切り出し領域は、少なくともその一部にディストーションゼロエリアの少なくとも一部を含む。なお、切り出し領域は、ディストーションエリア外の部分を一切含まないようにしてもよい。各切り出し領域は、例えば、前の切り出し領域内であって、前の切り出し領域よりも狭い範囲となるように設定されるようになってもよく（すなわち、切り出し領域が徐々に狭まっていくようになっていてもよく）、前の切り出し領域とは少なくとも一部が重複しないように設定されるようになっていてもよい。また、「切り出し１」～「切り出しＮ」の各切り出し領域は、常に切り出す位置および大きさが一定であってもよく、全画面検知の結果や以前の切り出し領域に対する検知の結果によって切り出す位置や大きさが変化するようになっていてもよい。ただし、「切り出し１」～「切り出しＮ」の各切り出し領域のうち、少なくとも１つは、ステップＳ３で検出された検出対象の少なくとも一部を含むようになっていることが好ましい。また、このフローにおいては、「切り出しｉ」（１≦ｉ≦Ｎ）の領域に検知対象があるか否かを判定しているが（ステップＳ６）、全画面検知あるいは以前の切り出し領域に対する検知において検知対象が検知された範囲を含むように切り出し領域を随時設定し、当該切り出し領域を切り出して次の検知を行うようにしてもよい。

「切り出し１」の領域に検知対象が写っている場合（ステップＳ６でＹＥＳ）、画像サイズ変換手段７は、切り出し処理により、「切り出し１」の領域を切り出した画像を作成する。そして、検知手段８は、この切り出した画像に基づいて検知対象の検知を行う（ステップＳ７）。なお、この切り出した画像に基づく検知対象の検知を切り出し検知と呼ぶこととする。

また、「切り出し２」～「切り出しＮ」までの各領域についても、「切り出し１」の領域と同様に、検知手段８が各切り出し領域内に検知対象が写っているか否かを判定し（ステップＳ６）、「切り出しｉ」の領域に検知対象が写っている場合（ステップＳ６でＹＥＳ）、画像サイズ変換手段７が、切り出し処理により、「切り出しｉ」の領域を切り出した画像を作成し、検知手段８が、この切り出した画像に基づいて検知対象の検出を行う（ステップＳ７）。

切り出し検知が終わると、検知手段８は、切り出し検知の結果を全画面検知の結果に反映させて検知結果を補正し、この反映結果を最終的な検知結果として出力する（ステップＳ９）。例えば、全画面検知において人を検知するとともに、この人の身長を１７０ｃｍであると検知したが、切り出し検知において当該検知された人が１７２ｃｍであると検知された場合、検知手段８は、最終的な検知結果として、身長が１７２ｃｍの人が検知されたことを出力する。
なお、切り出し検知の結果の反映は、例えば、各切り出し領域についての検知を行う度に行うこととしてもよい。また、全画面検知および各切り出し検知において検知する対象は、同じであってもよく、異なっていてもよい。例えば、全画面検知において、人が写っているか否かを検知し、切り出し検知において当該人の一部（例えば、顔、手足等）あるいは人の属性（例えば、性別、年齢、体形、犯罪者か否か等）を検知する等としてもよい。また、例えば、最初の切り出し検知において、人が写っているか否かを検知し、次の切り出し検知において当該人の持っている物（例えば、刃物や拳銃、かばん、携帯電話等）を検知する等としてもよい。また、全画面検知の結果に応じて切り出し検知の検知対象が変化するようになっていてもよい。したがって、例えば、上述の検知結果の補正において、全画面検知では、人が写っているか否かのみを検知し、切り出し検知で身長を検知して全画面検知の結果に書き加えることとしてもよい。

なお、上述のフローはあくまで一例であり、各処理の順序や構成は異なるものであってもよい。

次に検知シーケンスの一例について、図４、図５を参照しながら説明する。ステレオカメラ１０は、図４に示すように、ビルのエントランスに設置するものとする。また、ステレオ撮像装置１の検知対象は、人とする。ここでは、ステレオカメラ１０により撮影される画像が図５に示す状態の場合について説明する。なお、図５に示す画像は、一対の撮像手段５のうちの一方から出力される画像であるが、他方の撮像手段５からも同様の画像が出力される。

まず、一対の撮像手段５で撮影できる最大画角の画像（画素数３２００×２４００の画像）を用いて、全画面検知を行う。そして、検知手段８は、ディストーションゼロエリア内に人が写っている場合に、ディストーションゼロエリア内（円Ａの内側）にいる人を検知する。図５においては、人３０ａ～３０ｄが検知される。
次に、ディストーションゼロエリア内の人を検知した場合、画像サイズ変換手段７は、ステレオカメラ１０により撮影された画像のうち、ディストーションゼロエリア内でかつ、検知された人が含まれる範囲を切り出し、この切り出された画像を用いて切り出し検知を行う。すなわち、画像の一部を切り出すことで、より画素密度が高い画像を用いて検知対象の検知を行う。この際に、まず近くにいる人３０ａ，３０ｂが含まれる範囲（四角Ｅで囲う範囲）を「切り出し１」領域として切り出して検出を行い、次いで、より遠方にいる人３０ｃ，３０ｄが含まれる範囲（四角Ｆで囲う範囲）を「切り出し２」領域として切り出して検出を行う。このとき、遠方にいる人３０ｃ，３０ｄが含まれる「切り出し２」の領域は、近方にいる人３０ａ，３０ｂが含まれる「切り出し１」の領域よりも範囲を小さくし、画素密度が高くなるようにする。ここでは、「切り出し１」の領域は、画素数１２００×１２００、「切り出し２」の領域は画素数６４０×４８０とする。また、ここでは、「切り出し１」の領域に「切り出し２」の領域が含まれ、「切り出し１」の領域にも人３０ｃ，３０ｄが含まれるようになっている。

このケースにおいて、「切り出し２」の領域は、水平方向と垂直方向のサイズが全画面の１／５となっている。しかし、撮像センサの画素数が（６４０×５）×（４８０×５）＝７．６８Ｍ以上であるため、「切り出し２」の領域については、画素の内挿処理（いわゆるズーム処理）をすることなく検知をすることができる。このため、「切り出し２」の領域についての検知は、全画面検知の５倍の精度で行うことができる。すなわち、水平方向の最大切り出し倍率（切り出し処理において最も小さく切り出される画像の、全画面に対する倍率）を１／Ｐ、垂直方向の最大切り出し倍率を１／Ｑとし、検知手段８で処理できる最大画素数をＷ×Ｈとすると、撮像センサの画素数は、水平方向が（Ｗ×Ｐ）、垂直方向が（Ｈ×Ｑ）以上であることが好ましい。このような構成によれば、画素の内挿処理をすることなく検知をすることができる。

なお、このように本実施の形態のステレオカメラ１０を監視カメラとして使用する場合、図５に示す例のように、例えば、門や扉等の、監視をしたい敷地内に侵入する人や物等が基本的に通過する場所が、ディストーションゼロエリア内に含まれるようにステレオカメラ１０を設置することが望ましい。このような構成によれば、当該敷地内への侵入者が侵入してくる際に、全画面検知および切り出し検知により予め詳しく解析することができる。そうすると、その後は、当該侵入者を追跡するだけでよいので、検知精度がある程度低くてもよく、画角確保エリアに移動した当該侵入者に対しても十分な検知を行うことができる。また、場合によって、画角確保エリアに移動した当該侵入者については検知手段８による検知は行わず、映像の撮影のみをするようにしてもよい。

次に、検知のフレームレートについて図６を参照しながら説明する。
１回の全画面検知とＮ回の切り出し検知とを合わせて一組の検知とし、一つの検知結果が得られるとすると、当該一組の検知は、１＋Ｎ個のフレームから形成されることとなる。切り出し検出の回数について制約はないが、通常、走っている人の検知を行うためには、１０ｆｐｓ以上のフレームレートでの検知が必要となる。よって、上述のフローのように、１回の全画面検知の結果をＮ回の切り出し検知の結果で補正して最終的な検知結果を出力する場合、この一組の検知は、１０ｆｐｓ以上のフレームレートで行う必要がある。したがって、例えば、撮像センサの撮像のフレームレートが３０ｆｐｓであり、検知手段８を構成する検知回路の最大動作でのフレームレートが３０ｆｐｓであるとすると、切り出し検出は、１回の全画面検出に対して２回行うことができる。また、撮像センサおよび検知回路の動作のフレームレートが６０ｆｐｓであれば、１回の全画面検出に対して、５回の切り出し検出を行うことができる。
なお、ここでは、撮像センサのフレームレートと検知回路のフレームレートとを同一にしたが、例えば、検知回路のフレームレートを撮像センサのフレームレートの（Ｍ＋１）倍とし、撮像センサにより撮影された１つの画像に対し、１回の全画面検知とＭ回の切り出し検知を行うようにしてもよい。

なお、１回の全画面検知に対して行う切り出し検知の回数は、必ずしも一定である必要はない。例えば、ディストーションゼロエリア内に含まれる検知対象の数に応じて変化するものであってもよい。また、例えば、ディストーションゼロエリア内に含まれている検知対象がＳ個の場合に、このＳ個の検知対象それぞれに対して１回（あるいはＳの整数倍の回数）ずつ切り出し検知を行うこととしてもよい。

なお、検知手段８が行なう検知は、距離の検知までとし、物体の認識までは行わないようになっていてもよい。すなわち、上述の例においては、検知手段８は、人を検知したりするものとなっていたが、所定の点から、検知対象等の画像に写る被写体までの距離を求め、これを検知手段８での検知結果として出力するものであってもよい。ここで所定の点とは、距離の検知において基準となる点であり、基本的にはステレオカメラ１０の位置であるが、他の位置に基準を置き、この基準点から被写体（被写体を表す各画素）までの距離を求めることとしてもよい。また、距離の検知の結果は、距離画像として出力される。距離画像は、画像上の各点（例えば、１つあるいは複数の画素からなる各画素領域）が、前記所定の点からの距離で表されるものであり、例えば、距離の値に応じた色の濃淡の変化で距離画像が表される。色の変化は、例えば、白黒のグラデーションや、他の色のグラデーションであってもよい。なお、検知手段８あるいはその他の機器において、距離画像から機械的に物体の検知等の画像認識をする場合には、画像上の各点を前記所定の点からの距離を示す数値で表したものを距離画像としても良い。

このように、本実施の形態によれば、画像サイズ変換手段７は、撮像手段５で撮影された画像において、レンズ３のディストーションゼロエリアを通して撮影された領域内に検知対象がある場合に、画像のディストーションゼロエリアを通して撮影された領域内であって検知対象が含まれる範囲を切り出した切り出し画像を出力する。そして、検知手段８は、当該切り出し画像に基づいて検知対象の検知を行う。すなわち、検知手段８は歪の小さい画像に基づいて検知対象の検知を行う。したがって、検知対象の検知を高精度で行うことができる。また、検知手段８が検知に用いる画像は、画像サイズ変換手段７により切り出された画像のため、撮像手段５により撮影された画像に比べて表示範囲が狭くなる。したがって、解像度を必要以上に低下させることなく、画像のデータ量を低減することができる。よって、検知手段８における処理速度を高速に保ちつつ、高精度の検知を行うことができる。
このように、本実施の形態によれば、画角確保エリアを通して広い範囲の撮影を可能としつつ、ディストーションゼロエリアを利用した検知を行うことにより、高精度の検知が可能となる。

なお、本実施の形態において、画像サイズ変換手段７は、画角確保エリアを通して撮影された領域内にある検知対象に対しては、当該検知対象を含む画像の切り出しを行わないこととしてもよい。このような構成によれば、画角確保エリアにある検知対象に対しては、当該検知対象を含む画像の切り出しおよび切り出した画像に基づく検知対象の検知が行なわれない。したがって、検知手段８における処理を減らすことができ、検知手段８にかかる負荷を低減させることができる。また、画角確保エリアにある検知対象についての切り出し検知を行わないことにより、ディストーションゼロエリアにある検知対象についての切り出し検知の回数を増やすことができ、検知精度を向上させることができる。
なお、検知対象がディストーションゼロエリアと画角確保エリアとにまたがって存在している場合には、予め定めた規則に従って、検知対象がディストーションゼロエリアに存在しているか画角確保エリアに存在しているかを判断すればよい。例えば、一方のエリアに少しでもかかっていれば、当該一方のエリアに存在していると判断してもよい。また、一方のエリアに検知対象が所定の面積以上含まれている場合に、当該一方のエリアに存在していると判断してもよい。

また、本実施の形態によれば、検知手段８は、画像サイズ変換手段７により縮小された縮小画像に基づいて検知対象の検知を行った後に、縮小画像よりも表示範囲が狭くなるように画像サイズ変換手段７により切り出された切り出し画像に基づいて切り出し検知を行い、当該縮小画像に基づく検知の結果を切り出し検知の結果で補正することができる。したがって、例えば、全画面検知により、粗いが広範な検知をした後に、切り出し検知によりディストーションゼロエリアにある検知対象について高精度な検知をしたりすることができる。また、全画面検知の結果を切り出し検知の結果で補正することができるので、より正確あるいは精密な検知結果を得ることができる。すなわち、このように広範な検知と高精度な検知とを両立させることができる。

また、上述のように、検知手段８が、例えば、「切り出し１」の領域について切り出し検知を行った後に、画像サイズ変換手段７が「切り出し１」の領域とは表示範囲が少なくとも一部異なる「切り出し２」の領域を切り出し、検知手段８が当該「切り出し２」の領域について検知を行ってもよい。このような構成によれば、「切り出し１」の領域と「切り出し２」の領域との表示範囲が少なくとも一部異なるので、両検知における検知範囲が一部異なるようになる。したがって、ディストーションゼロエリア内において広い範囲にわたり高精度の検知を行うことができる。また、「切り出し２」の領域についての検知の結果によって、「切り出し１」の領域についての検知あるいは全画面検知の結果を補正することができるので、より正確あるいは精密な検知結果を得ることができる。

また、上述のように、検知手段８が、例えば、「切り出し１」の領域について切り出し検知を行った後に、画像サイズ変換手段７が、「切り出し１」の領域の表示範囲内で、かつ「切り出し１」の領域よりも表示範囲が狭くなるように「切り出し２」の領域を切り出し、検知手段８が当該「切り出し２」の領域について検知を行ってもよい。このような構成によれば、「切り出し２」の領域は、「切り出し１」の領域の表示範囲内で、かつ「切り出し１」の領域よりも表示範囲が狭いものとなる。したがって、例えば、全画面検知、「切り出し１」の領域についての切り出し検知、「切り出し２」の領域についての切り出し検知というように、検知範囲を徐々に狭めていきつつ、必要な範囲について検知精度を徐々に高めていくことができる。したがって、検知対象についてまず全体を粗く認識したうえで、特徴点についてより詳細に検知していくこと等が可能となる。

１ステレオ撮像装置
３レンズ
４撮像部（撮像センサ）
５撮像手段
６歪補正手段
７画像サイズ変換手段（切り出し手段、縮小手段）
８検知手段

Claims

歪が所定量よりも小さい部分である低歪領域と歪が前記低歪領域よりも大きい部分である高歪領域とを有するレンズおよび撮像センサを備える撮像手段と、
一対の前記撮像手段で撮影された画像において、前記低歪領域を通して撮影された領域内に検知対象がある場合に、当該画像の前記低歪領域を通して撮影された領域内であって検知対象が含まれる範囲を切り出した切り出し画像を出力する切り出し手段と、
前記切り出し画像に基づいて検知対象の検知を行う検知手段と、を備えるステレオ撮像装置において、
前記切り出し手段は、前記高歪領域を通して撮影された領域内にある検知対象に対しては、当該検知対象を含む画像の切り出しを行わないことを特徴とするステレオ撮像装置。
前記低歪領域の歪の量が、５％以下であることを特徴とする請求項１に記載のステレオ撮像装置。
前記レンズの歪に基づく画像の歪を除去する歪補正手段を備え、
前記歪補正手段は、前記検知手段が前記切り出し手段により切り出された画像に基づく検知を行うよりも前に歪の除去をすることを特徴とする請求項１または２に記載のステレオ撮像装置。
前記一対の撮像手段で撮影された画像のデータ量を小さくする縮小手段を備え、
前記検知手段は、前記縮小手段により縮小された縮小画像に基づいて検知対象の検知をする第一の検知を行った後に、前記縮小画像よりも表示範囲が狭くなるように前記切り出し手段により切り出された第二の切り出し画像に基づいて検知対象の検知をする第二の検知を行い、前記第一の検知の結果を前記第二の検知の結果で補正することを特徴とする請求項１～３のいずれか１項に記載のステレオ撮像装置。
前記検知手段は、前記第二の検知を行った後に、前記第二の切り出し画像の表示範囲とは表示範囲が少なくとも一部異なるように前記切り出し手段により切り出された第三の切り出し画像に基づいて検知対象の検知をする第三の検知を行い、前の検知の結果を前記第三の検知の結果で補正することを特徴とする請求項４に記載のステレオ撮像装置。
前記検知手段は、前記第二の検知を行った後に、前記第二の切り出し画像の表示範囲内で、かつ前記第二の切り出し画像よりも表示範囲が狭くなるように前記切り出し手段により切り出された第四の切り出し画像に基づいて検知対象の検知をする第四の検知を行い、前の検知の結果を前記第四の検知の結果で補正することを特徴とする請求項４または５に記載のステレオ撮像装置。