JP7424140B2 - センサ装置、信号処理方法 - Google Patents

Description

本技術はセンサ装置及び信号処理方法に関し、特にアレイセンサで得た検出信号に対して処理を行う機能を備えたセンサ装置についての技術分野に関する。

例えば撮像素子を配列したアレイセンサを使った物体検出として、アレイセンサで画像撮像を行い、撮像された画像信号をアレイセンサの外部のプロセッサへ送り、該プロセッサ側で物体検出の計算処理を行うことが知られている。
下記特許文献１にはイメージセンサで撮像した領域内での関心領域設定を含む技術が開示されている。

特開２０１４－２２５８６８号公報

イメージセンサを使った物体検出では、撮影される対象のクラス（カテゴリーやジャンル）に係らず、撮影した画像情報を物体検出を行う外部のプロセッサへ送り、プロセッサ側で全ての物体検出の計算処理を行っていた。このプロセスは、汎用プロセッサ側での処理能力に頼るところがあり、物体検出の対象に限定した効率的で最適なデータ圧縮方法が取られていなかった。その結果、外部プロセッサ側の計算が高負荷になる為に処理が遅延する問題があった。
特許文献１に記載されているように関心領域（ＲＯＩ：Region of Interest）を矩形で指定して、データ読み出しを行う方法はあったが、クラス別に最適化された形状と読み出し画素の密度を変更することは行われていない。
そこで本開示では物体検出のクラスに応じて、ＲＯＩの形状、密度（疎密）を変更することを提案する。

本技術に係るセンサ装置は、検出素子が複数、１次元または２次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部と、前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する演算部とを備える。
即ちアレイセンサによって得られた検出信号について、信号処理部で信号処理を施して出力部から出力するが、信号処理部におけるアレイセンサからの検出信号の取得又は信号処理に関する領域情報が物体検出に基づいて設定されるようにする。
なお検出信号から検出される物体とは、物体検出対象となる物体のことをいい、あらゆる物体が、ここでいう検出対象の物体とされる可能性がある。例えば人、動物、移動体（自動車、自転車、航空機等）、自然物（野菜、植物等）、工業製品／部品、建造物、施設、山、海、川、星、太陽、雲など、あらゆる物体を対象とすることができる。
またアレイセンサの検出素子は、可視光または非可視光の撮像素子、音波を検出する音波検出素子、または触覚を検出する触覚センサ素子などが想定される。

上記した本技術に係るセンサ装置においては、前記信号処理部で信号処理された検出信号を外部装置に出力する出力部を備えることが考えられる。
即ち領域情報を用いて処理された検出信号を外部装置に送信出力する。外部装置とは、例えば物体検出を行う外部プロセッサやクラウドにおけるプロセッサ等が想定される。

上記した本技術に係るセンサ装置においては、前記信号処理部は、前記アレイセンサの検出素子について選択的に検出信号を取得する取得部を有し、前記取得部は、検出信号の１フレームとして、前記演算部からの領域情報に基づいて選択される検出素子の検出信号を取得することが考えられる。
即ち信号処理部は、領域情報を用いて、アレイセンサの一部の検出素子の出力のみを取得するようにする。

上記した本技術に係るセンサ装置においては、前記演算部は、前記取得部が領域情報による検出素子の選択を行わない状態で前記アレイセンサから取得した検出信号に対して物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記取得部による前記アレイセンサからの後続フレームの検出信号の取得に用いる領域情報として指示することが考えられる。
即ち演算部は通常の１フレームの情報から物体検出を行ったうえで、物体検出に応じた領域情報を信号処理部に提供する。

上記した本技術に係るセンサ装置においては、前記演算部は、前記取得部が領域情報による検出素子の選択を行なった状態で前記アレイセンサから取得した検出信号に対して物体検出を行い、物体の検出に基づいて、領域情報を再生成して、前記信号処理部に対し、前記取得部による前記アレイセンサからの後続フレームの検出信号の取得に用いる領域情報として指示することが考えられる。
即ち演算部は、アレイセンサから一部の検出素子の情報のみを取得したフレームについても、その１フレームの情報から物体検出を行ったうえで、物体検出に応じた領域情報を生成し、信号処理部に提供する。

上記した本技術に係るセンサ装置においては、前記演算部は、前記取得部が領域情報による検出素子の選択を行なった状態で前記アレイセンサから取得した検出信号に対して物体検出を行い、目的の物体が検出されなかった場合は、後続フレームにおいて、前記取得部が領域情報による検出素子の選択を行なわない状態で前記アレイセンサから検出信号を取得するように指示することが考えられる。
即ち演算部は、アレイセンサから一部の検出素子の情報のみを取得したフレームにおいて目的の物体が検出されなくなったら、取得部での検出信号の取得を通常の状態に戻すようにする。

上記した本技術に係るセンサ装置においては、前記演算部は、前記アレイセンサによる検出信号から検出された物体の領域を囲うバウンディングボックスを求め、該バウンディングボックスに基づいて領域情報を生成することが考えられる。
例えば検出した物体の領域を囲うバウンディングボックスに基づいて領域情報を生成することで、例えば画像内での物体の位置におうじた領域情報が生成されることになる。
また上記した本技術に係るセンサ装置においては、前記演算部は、前記バウンディングボックスを拡大して領域情報を生成することが考えられる。
即ち検出した物体の領域を囲うバウンディングボックスを広げた領域を指定する領域情報を生成する。

上記した本技術に係るセンサ装置においては、前記演算部は、検出された物体について検出素子単位で領域を判定して領域情報を生成することが考えられる。
矩形に限らず、物体の領域を例えば画素単位で判定し、それにより領域情報を生成する。

上記した本技術に係るセンサ装置においては、前記演算部は、前記アレイセンサから得られる検出信号のうちでキーフレームとされるフレームを対象として、物体検出を行い、物体の検出に基づいて領域情報を生成することが考えられる。
即ち演算部は所定の選択アルゴリズムに従って、キーフレームとなるフレームを選択して、領域情報生成の処理を行うようにする。
また、前記キーフレームは、所定の時間間隔毎のフレームとされることが考えられる。
即ち所定フレーム数の間隔のフレームとされる。
或いは、前記キーフレームは、外部機器からの命令に基づくタイミングのフレームとされることが考えられる。
例えば画像出力先の外部プロセッサ等からの指示によりキーフレームが設定されるようにする。

上記した本技術に係るセンサ装置においては、前記演算部は、前記アレイセンサから得られた検出信号から検出される物体についてクラス識別を行い、識別されたクラスが、ターゲットクラスであるか否かを判定し、ターゲットクラスの物体に対応して領域情報を生成することが考えられる。
クラスとは、画像認識を用いて認識された物体のカテゴリーである。例えば「人」「自動車」「飛行機」「船」「トラック」「鳥」「猫」「犬」「鹿」「蛙」「馬」などのように検出すべき物体をクラス分けするものである。
ターゲットクラスとは、クラスの中で認識の目的として指定されるクラスのことである。

上記した本技術に係るセンサ装置においては、前記演算部は、前記アレイセンサから得られた検出信号から検出される物体についてクラス識別を行い、当該物体に対応する領域情報を、識別されたクラスに対応するテンプレートを用いて生成することが考えられる。
例えばクラスに応じた領域情報のテンプレートを用意しておき、クラス識別に応じて選択して用いる。
また上記した本技術に係るセンサ装置においては、前記テンプレートは、クラス毎に、検出信号の取得領域を示したものであることが考えられる。
例えばテンプレートは、「人」「自動車」などの各クラスに応じてアレイセンサの検出素子のうちで、検出情報を取得すべき検出素子を示すものとする。

上記した本技術に係るセンサ装置においては、外部機器の要求に応じて、前記信号処理部で処理された検出信号、識別されたクラスの情報、検出された物体の数、ターゲットクラスの有無の情報のいずれか又は全てを出力する出力部を備えることが考えられる。
即ち出力部は外部機器の要求に応じて出力する情報を設定する。

上記した本技術に係るセンサ装置においては、前記信号処理部は、前記アレイセンサからの検出信号を圧縮処理する圧縮処理部を有し、前記圧縮処理部は、前記演算部からの領域情報に基づいて、領域毎に異なる圧縮率による圧縮処理を行うことが考えられる。
即ち信号処理部は、領域情報を用いて、領域毎に圧縮率を設定する。
また上記した本技術に係るセンサ装置においては、前記圧縮処理部は、領域情報で指定される領域では、低圧縮率で圧縮処理を行い、他の領域は高圧縮率で圧縮処理を行うことが考えられる。
即ち領域情報で指定される領域を重要な領域としてデータ量をあまり削減しないようにする。
また上記した本技術に係るセンサ装置においては、前記アレイセンサの検出素子は撮像素子であることが考えられる。
即ちアレイセンサによる検出信号は撮像（光電変換）による画像信号とする。

上記した本技術に係るセンサ装置においては、前記演算部は、過去の領域情報に関する情報に基づいて前記アレイセンサから取得する検出信号についてのアクティブエリアを設定し、前記アクティブエリアの検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示することが考えられる。
即ち領域情報を生成するための物体検出を、アレイセンサの全領域からではなく、アクティブエリアとされた領域の情報により行うようにする。
なお領域情報に関する情報とは、領域情報の元となる物体の検出領域の情報や、領域情報そのものなどである。
また上記した本技術に係るセンサ装置においては、前記演算部は、過去の所定期間に生成した複数の領域情報について、各領域情報が基づく物体検出における検出領域が含まれるように前記アクティブエリアを設定することが考えられる。
即ち領域情報を生成するために物体検出を行うが、その検出対象の物体が現れる領域をアクティブエリアとする。
また上記した本技術に係るセンサ装置においては、前記信号処理部は、前記アレイセンサの検出素子について選択的に検出信号を取得する取得部を有し、前記取得部は、検出信号の１フレームとして、前記演算部からの領域情報に基づいて選択される検出素子の検出信号を取得し、前記演算部は、前記取得部が領域情報による検出素子の選択を行なった状態で前記アレイセンサから取得した検出信号に対して物体検出を行って目的の物体が検出されなかった場合は、後続フレームにおいて、前記取得部が前記アクティブエリアの検出信号を前記アレイセンサから取得するように指示することが考えられる。
即ち演算部は、アレイセンサから一部の検出素子の情報のみを取得したフレームにおいて目的の物体が検出されなくなったら、取得部での検出信号の取得を、アクティブエリアを対象とする状態に戻すようにする。
また上記した本技術に係るセンサ装置においては、前記演算部は、前記アレイセンサから得られる検出信号のうちでキーフレームとされるフレームを対象として、前記アクティブエリアの検出信号から物体検出を行い、物体の検出に基づいて領域情報を生成することが考えられる。
即ち演算部は所定の選択アルゴリズムに従って、キーフレームとなるフレームを選択して、アクティブエリア設定の処理を行うようにする。
また上記した本技術に係るセンサ装置においては、前記演算部は、前記アレイセンサから得られた検出信号から検出される物体についてクラス識別を行い、当該物体に対応する領域情報を、識別されたクラスに対応して検出信号の取得領域を示したテンプレートを用いて生成し、前記画像処理部の画像処理又は前記アレイセンサによる撮像に関する撮像処理に用いるパラメータの全部又は一部について、パラメータの閾値を設定する閾値設定部を備え、前記テンプレートで示される取得領域に対する処理のパラメータが前記閾値に基づいて設定されることが考えられる。
閾値を設定し、テンプレートで示される取得領域の処理のパラメータを閾値に基づいて変更できるようにする。
また本技術に係るセンサ装置は、検出素子が複数、１次元または２次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部と、前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する演算部と、を備え、前記演算部は、キーフレームとされるフレームを対象として、前記アレイセンサの一部の検出素子から得られる検出信号から物体検出を行い、物体の検出に基づいて領域情報を生成する。

本技術の信号処理方法は、検出素子が複数、１次元または２次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し信号処理を行う信号処理部とを有するセンサ装置における信号処理方法として、前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する。
これにより読出領域や信号処理対象の領域を指定する。
また上記した本技術に係る信号処理方法においては、過去の領域情報に基づいて前記アレイセンサから取得する検出信号についてのアクティブエリアを設定し、前記アレイセンサによる検出信号として前記アクティブエリアの検出信号から物体検出を行うことが考えられる。
アクティブエリアの考え方を用いることで処理を効率化する。

本技術の第１から第５、第７の実施の形態に適用できるセンサ装置のブロック図である。 画像認識精度と画質の関係の説明図である。 第１の実施の形態の分類画像適応化処理の概要の説明図である。 第１の実施の形態の画質パラメータセットの説明図である。 第１の実施の形態の分類画像適応化処理のフローチャートである。 第１の実施の形態の物体検出のプロセスの説明図である。 第２の実施の形態のエリアクリッピングされたフレームの説明図である。 第２の実施の形態のエリアクリッピング解析の概要の説明図である。 第２の実施の形態のエリアクリッピング解析のフローチャートである。 第２の実施の形態のバウンディングボックスからのＲＯＩ（Region of Interest）の算出の説明図である。 第２の実施の形態のＲＯＩの別例の説明図である。 第３の実施の形態のアドバンスドＲＯＩの説明図である。 第３の実施の形態のアドバンスドＲＯＩの説明図である。 第３の実施の形態のアドバンスドＲＯＩを用いたエリアクリッピング解析のフローチャートである。 第４の実施の形態のインテリジェントコンプレッションの説明図である。 第４の実施の形態のインテリジェントコンプレッションのフローチャートである。 第５の実施の形態のアクティブサンプリングの説明図である。 第５の実施の形態のアクティブサンプリングのフローチャートである。 第６の実施の形態の画像適応化処理のための閾値設定の説明図である。 第６の実施の形態のクラスによる閾値設定の説明図である。 第６から第９の実施の形態に適用できるセンサ装置のブロック図である。 第６の実施の形態の閾値に応じたパラメータ設定の処理のフローチャートである。 第６の実施の形態の閾値設定の説明図である。 第６の実施の形態の閾値算出のフローチャートである。 第６から第９の実施の形態に適用できる他の構成例のブロック図である。 第６から第９の実施の形態に適用できるさらに他の構成例のブロック図である。 第７の実施の形態のアクティブエリアクリッピングの説明図である。 第７の実施の形態のアクティブエリアクリッピングの説明図である。 第７の実施の形態のアクティブエリアクリッピングのフローチャートである。 第７の実施の形態のキーフレームアクティブエリア算出のフローチャートである。 第８の実施の形態のアドバンスドＲＯＩ（Advanced ROI：ＡＲＯＩ）の閾値設定の説明図である。 第８の実施の形態のアドバンスドＲＯＩを用いたエリアクリッピング解析のフローチャートである。 第９の実施の形態のアクティブサンプリングの説明図である。 第９の実施の形態のアクティブサンプリングの説明図である。 第９の実施の形態のアクティブサンプリングのフローチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、実施の形態を次の順序で説明する。
＜１．センサ装置の構成＞
＜２．第１の実施の形態：分類画像適応化＞
＜３．第２の実施の形態：エリアクリッピング＞
＜４．第３の実施の形態：ＡＲＯＩを用いたエリアクリッピング＞
＜５．第４の実施の形態：インテリジェントコンプレッション＞
＜６．第５の実施の形態：アクティブサンプリング＞
＜７．第６の実施の形態：閾値設定による画像適応化＞
＜８．第７の実施の形態：アクティブエリアクリッピング＞
＜９．第８の実施の形態：閾値設定とＡＲＯＩを用いたエリアクリッピング＞
＜１０．第９の実施の形態：閾値設定によるアクティブサンプリング＞
＜１１．移動体への応用例＞
＜１２．まとめ及び変形例＞

なお以下の説明する実施の形態としては、撮像素子アレイを有し、検出信号として画像信号を出力するイメージセンサとしてのセンサ装置１を例に挙げる。特に実施の形態のセンサ装置１は画像解析による物体検出機能を備えるものとし、インテリジェントアレイセンサと呼ぶことのできる装置である。

＜１．センサ装置の構成＞
センサ装置１の構成例を図１に示す。なお図１にはセンサ装置１とデータ通信を行う外部装置としてプロセッサ１１、外部センサ１２も示している。プロセッサ１１はセンサ装置１と通信接続されるあらゆるプロセッサが想定される。

センサ装置１は、ハードウェアとしては、イメージセンサデバイス、ＤＲＡＭ（Dynamic Random Access Memory）等の記憶領域、ＡＩ（artificial intelligence）機能プロセッサとしての構成部位を有している。そしてこれら３つが３レイヤー積層構造とされたり、１レイヤーでいわゆる平置き構成とされたり、或いは２レイヤー（例えばＤＲＡＭとＡＩ機能プロセッサが同一レイヤー）積層構造とされたりするなどとして一体型のデバイスとされる。

図１のようにセンサ装置１は、アレイセンサ２、ＡＤＣ（Analog to Digital Converter）／ピクセルセレクタ３、バッファ４、ロジック部５、メモリ６、インターフェース部７、演算部８を有する。
ＡＤＣ／ピクセルセレクタ３、バッファ４、ロジック部５は、アレイセンサ２で得られる検出信号を外部への出力のために信号処理する信号処理部３０の例となる。

アレイセンサ２は、検出素子が可視光または非可視光の撮像素子とされ、複数の撮像素子が１次元または２次元に配列されて構成されている。例えば行方向及び列方向の２次元に多数の撮像素子が配列され、各撮像素子における光電変換により二次元画像信号を出力する構成とされる。
なお以下の説明ではアレイセンサ２は、イメージセンサとして二次元の画像信号を出力するものとするが、センサ装置１内のアレイセンサ２としては、音波検出素子を配列したセンサアレイモジュールや、触覚情報検出素子を配列したセンサアレイモジュールなどとして構成されることもある。

ＡＤＣ／ピクセルセレクタ３は、アレイセンサ２によって光電変換された電気信号をデジタルデータ化し、デジタルデータとしての画像信号を出力する。
またアレイセンサ２の画素（撮像素子）に対するピクセル選択の機能を持つことで、アレイセンサ２において選択した画素のみについて、光電変換信号を読み出しでデジタルデータ化して出力することもできる。
つまりＡＤＣ／ピクセルセレクタ３は、通常は１フレームの画像を構成する有効な画素の全てについて光電変換信号のデジタルデータ化出力を行うが、選択した画素のみについての光電変換信号のデジタルデータ化出力を行うこともできる。

ＡＤＣ／ピクセルセレクタ３によって、フレーム単位で画像信号が読み出されるが、この各フレームの画像信号はバッファ４に一時記憶され、適切なタイミングで読み出されてロジック部５の処理に供される。

ロジック部５では、入力される各フレーム画像信号に対して各種必要な信号処理（画像処理）を行う。
例えばロジック部５では、色補正、ガンマ補正、色階調処理、ゲイン処理、輪郭強調処理、コントラスト調整処理、シャープネス調整処理、グレーレベル調整処理等の処理により画質調整を行うことが想定される。
またロジック部５ではデータ圧縮処理、解像度変換、フレームレート変換、縦横比率変換、サンプリングレート変更など、データサイズを変更する処理を行うことも想定される。
これらロジック部５で行われる各処理については、それぞれの処理に用いるパラメータが設定される。例えば色や輝度の補正係数、ゲイン値、圧縮率、フレームレート、解像度、処理対象の領域、サンプリングレートなどの設定値がある。ロジック部５では、それぞれの処理について設定されたパラメータを用いて必要な処理を行う。本実施の形態では、これらのパラメータを後述するように演算部８が設定する場合がある。

ロジック部５で処理された画像信号はメモリ６に記憶される。
メモリ６に記憶された画像信号は、必要なタイミングでインターフェース部７によりプロセッサ１１等に送信出力される。
なお、メモリ６としてはＤＲＡＭ、ＳＲＡＭ（Static Random Access Memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory ：磁気抵抗メモリ）などが想定される。
なおＭＲＡＭは磁気によってデータを記憶するメモリであり、磁気コアの代わりにＴＭＲ素子（tunneling magnetoresistive）を使用するものが知られている。ＴＭＲ素子は数原子分という極めて薄い絶縁物の層を磁性体ではさんだもので、磁性体の層の磁化の方向によって電気抵抗が変化する。ＴＭＲ素子の磁化の方向は電源が切られても変化せず、不揮発性のメモリとなる。微細化すればするほど書き込み電流を大きくする必要があるため、メモリセルを微細化するためには、磁界を使わず、スピンがそろった電子を流して書き込むスピン注入磁化反転方式（ＳＴＴ：spin torque transfer）を用いたＳＴＴ－ＭＲＡＭが知られている。
もちろんメモリ６の具体例としては、これら以外の記憶素子でもよい。

センサ装置１の外部のプロセッサ１１では、センサ装置１から送信されてきた画像信号について、画像解析、画像認識処理を行って、必要な物体検出等を実行する。
プロセッサ１１は外部センサ１２の検出情報を参照することもできる。
なお、プロセッサ１１は、有線又は無線でセンサ装置１と接続されることが考えられる。
このプロセッサ１１は、センサ装置１と共通の筐体に設けられることが考えられる。例えばセンサ装置１を装備する撮像装置や端末装置内のプロセッサとされることが想定される。
或いはまた、プロセッサ１１は、センサ装置１とは別体の装置に設けられるものでも良い。例えばセンサ装置１を装備する撮像装置や端末装置とケーブルや無線通信等で接続される情報処理装置、端末装置、画像編集装置、モニタ装置、通信装置等に内蔵されるものでもよい。
さらにプロセッサ１１は、例えばクラウドコンピューティングシステムにおけるプロセッサとされ、センサ装置１或いはセンサ装置１を内蔵する機器との間でネットワーク通信が行われるものでもよい。

演算部８は例えば１つのＡＩプロセッサとして構成される。そして実行可能な演算機能として図示するようにキーフレーム選択部８１、物体領域認識部８２、クラス識別部８３、パラメータ選択部８４を備える。なおこれらの演算機能が複数のプロセッサにより構成されてもよい。

キーフレーム選択部８１は、所定のアルゴリズム又は指示に応じて、動画としての画像信号のフレームの内でキーフレームを選択する処理を行う。
またキーフレーム選択部８１は、フレームレートに関するモード（第５の実施の形態におけるアイドリングモードとノーマルモード）を切り換える処理を行う場合もある。

物体領域認識部８２は、アレイセンサ２で光電変換され、ＡＤＣ／ピクセルセレクタ３によって読み出される画像信号のフレームに対して、検出の候補となる物体の領域の検出や、検出対象の物体について画像（フレーム）内での当該物体を囲う領域（バウンディングボックス）の認識処理を行う。
画像信号から検出される物体とは、画像からの認識を目的として検出対象となりうる物体のことをいう。センサ装置１やプロセッサ１１の検出の目的、処理能力、アプリケーション種別などに応じて、どのような物体が検出対象とされるかは異なるが、あらゆる物体が、ここでいう検出対象の物体とされる可能性がある。あくまで一部であるが例示すると、動物、移動体（自動車、自転車、航空機等）、自然物（野菜、植物等）、工業製品／部品、建造物、施設、山、海、川、星、太陽、雲など、あらゆる物体が該当する可能性がある。
また第２の実施の形態で説明するように、物体領域認識部８２は、バウンディングボックスに基づいて、処理の対象とすべき領域（関心領域）を示す領域情報であるＲＯＩ（Region of Interest）を算出する処理や、ＲＯＩに基づくＡＤＣ／ピクセルセレクタ３に対する制御等を行う場合もある。

クラス識別部８３は、物体領域認識部８２は検出した物体についてクラス分類を行う。
クラスとは、画像認識を用いて認識された物体のカテゴリーである。例えば「人」「自動車」「飛行機」「船」「トラック」「鳥」「猫」「犬」「鹿」「蛙」「馬」などのように検出すべき物体をクラス分けするものである。

パラメータ選択部８４は、第１の実施の形態で説明するように、各クラスに応じた信号処理用のパラメータを記憶しており、クラス識別部８３が識別した検出物体のクラスやバウンディングボックス等を用いて、対応する１又は複数のパラメータを選択する。そしてその１又は複数のパラメータをロジック部５に設定する。
またパラメータ選択部８４は、第３の実施の形態のように、バウンディングボックスを元にＲＯＩを算出するクラスをベースに予めクラス別に算出されたアドバンスドＲＯＩ（Advanced ROI：ＡＲＯＩ）のテンプレートを記憶しており、そのテンプレートを選択する処理を行う場合もある。
またパラメータ選択部８４には、第５の実施の形態におけるアイドリングモードとノーマルモードの設定値を記憶し、これを物体検出に基づいて選択して、信号処理部３０を制御する処理を行う場合もある。

演算部８によるこれらの機能は、通常アレイセンサ内では行わなかった処理であり、本実施の形態では、物体検出やクラス認識、及びこれらに基づく制御をアレイセンサ内で実行する。これにより、プロセッサ１１へ供給する画像信号を、検出目的に沿った適切なものとしたり、検出性能の低下を招かないデータ量削減を実現する。

なおインターフェース部７は、プロセッサ１１へ画像信号を出力する他、演算部８で検出された物体の情報、クラスの情報、検出物体数、選択したパラメータの情報などを、例えばメタデータとして画像信号とともに出力したり、或いは画像信号とは独立して出力することができる。また例えばクラスの情報のみを出力するなどといったことも可能である。
また例えばプロセッサ１１側が、インターフェース部７に対して必要な情報を指示し、インターフェース部７がそれに応じた情報を出力することも考えられる。

＜２．第１の実施の形態：分類画像適応化＞
図１の構成のセンサ装置１により実行できる第１の実施の形態の処理として分類画像適応化の処理を説明する。

画像認識の精度は画質調整により異なるものとなる。例えばディープラーニングによる画像認識は画質を調整することにより、精度が向上する。
そして画像認識にとって望ましい画質、つまり物体検出の精度が高くなる画質は、必ずしも人が見て綺麗と感じる画質ではないということがある。
例えば図２Ａは人がみて高品質と感じる画像の例を示し、一方図２Ｂは例えば階調数が少なくされるなどにより、人が見た感覚では、多少画質が劣化していると感じる画像であるとしている。
ところが図２Ａの画像をニューラルネットワークにより解析した場合の物体検出結果としては、花を魚（fish）と誤判定しており、一方、図２Ｂの画像に対しては花を正しく花（flower）と判定している。
この例からわかるように画像認識の精度を高めるには、人の美観を基準とした画質調整とは異なる画質調整が行われることが望ましい。

また、そのような物体検出に適した画質というのは、一律なパラメータによって調整される画質ではなく、検出対象となる物体によっても異なる。例えば人を検出する場合と自動車を検出する場合とでは、望ましい画質調整状態が異なる。つまり、検出対象によって画質調整のための望ましいパラメータの値は異なる。

そこで分類画像適応化処理としては、対象となりうる物体のクラス毎に、適切なパラメータ（画質調整値）を記憶しておく。そしてアレイセンサ２により撮像された画像について、物体検出及び検出した物体のクラス識別を行い、その識別したクラスに応じてパラメータを選択してロジック部５に設定し、当該画像についてのロジック部５で、そのパラメータによる処理が行われるようにする。

このような分類画像適応化処理の概要を図３に示す。なお図３は概要説明のために図１の構成の一部を抽出したものである。
センサ装置１では撮像光学系４０により被写体光がアレイセンサ２に集光され、画像撮像が行われる。得られた画像信号Ｇはロジック部５で処理されるが、演算部８にも供給される。
演算部８では物体領域認識部８２で候補となる物体の検出及びその物体領域の認識処理が行われる。この物体領域認識部８２では、必要な物体領域についてバウンディングボックスの計算も行われる。
また演算部８では、検出された物体についてクラス識別部８３でクラス識別が行われる。複数の物体や複数種類の物体が検出された場合、それぞれについてクラス識別が行われ、各クラスに分類される。例えば図の場合、「車」というクラスの物体が１つ、「人」というクラスの物体が５つ、「交通信号機」というクラスの物体が１つというようにクラス識別及び分類が行われる。

このクラスの情報やバウンディングボックスの情報がパラメータ選択部８４に提供され、パラメータ選択部８４は、記憶しているパラメータセットＰＲ１、ＰＲ２・・・のうちで、クラスの情報等を用いて１つのパラメータセットを選択する。図では例えばパラメータセットＰＲ４が選択された状態を示している。
なおパラメータセットとは、例えばゲイン設定値、色補正係数、階調数、圧縮率、フレームレートなど、ロジック部５の処理で用いる複数のパラメータの値を１つのセットとして記憶したものである。

選択されたパラメータセットＰＲ４は、ロジック部５において設定される。ロジック部５は、画像信号Ｇに対して、そのパラメータセットＰＲ４で示される各パラメータを用いて各種の信号処理を行う。

アレイセンサはプロセッサ１１の要求に応じて出力データ（画像信号、クラス、物体数、ターゲットクラスの有無等）のデータの全て、またはどれかを出力する。
またプロセッサ１１は、センサ装置１に対して各種の指示を送信できる。

このようにセンサ装置１では、演算部８が物体検出に基づくクラス識別の機能（物体のカテゴリー分け機能）を持ち、クラス識別部の出力に応じて、ロジック部５のパラメータが適応的に設定されるという分類画質適応化（物体検出から対象ジャンルに合ったパラメータ選択）が行われる。

パラメータセットについては、ディープラーニングによりクラス毎に適切なパラメータ（画質設定値）を事前学習により予め生成して記憶しておく。
例えば「人」というクラスのパラメータセットを生成する場合、図４Ａに示すように、人間の画像を多数、学習データＳＤとして用いてディープラーニングを行い、人の認識という観点で最も画像認識率が高いパラメータセットＰＲ１を生成する。
他の各クラスについても、同様にディープラーニングを用いて最も画像認識率が高いパラメータセットＰＲ２，ＰＲ３・・・を生成する。
そして図４Ｂのように、生成した各クラスに対応するパラメータセットＰＲ１，ＰＲ２，ＰＲ３・・・を、パラメータ選択部８４が選択できるように記憶しておく。

センサ装置１における分類画像適応化処理の具体例を図５に示す。逐次図６を参照しながら説明する。
図５はステップＳ１００としてアレイセンサ２から１フレーム単位の画像信号の出力が開始された後において、センサ装置１（主に演算部８）で実行される処理を示している。
この図５において演算部８の処理は図１に示したキーフレーム選択部８１、物体領域認識部８２、クラス識別部８３、パラメータ選択部８４としての各機能により実行される処理である。なおこのことは、後述する図９、図１４、図１６、図１８でも同様である。

ステップＳ１０１で演算部８（キーフレーム選択部８１）は、キーフレーム選択アルゴリズムに応じたタイミングでキーフレームを選択する処理を行う。
センサ装置１はアレイセンサ２のピクセルアレイ出力信号であるフレーム単位の画像信号から、キーフレームを選択し、画像認識を行うことで、撮影対象のクラスを認識することになる。キーフレームの選択はキーフレーム選択アルゴリズムにより行われ、これにより静止画像（ある１フレーム）が選択される。
キーフレーム選択アルゴリズムの例を挙げる。
まず、指定した時間の間隔ごとに１フレーム選択するという手法がある。例えば３０秒間隔で１フレームをキーフレームとするなどである。もちろん３０秒というのは一例である。
またセンサ装置１の外部（プロセッサ１１等）からの命令によるタイミングとしてキーフレームを選択することも考えられる。例えばセンサ装置１が搭載されているデバイス、機器側からの指示に応じたものとする。例えばセンサ装置１が自動車に搭載されているケースで、駐車場に停止していたが、走行を開始したタイミングなどでキーフレームを選択するなどである。
またキーフレームの選択手法を状況に応じて変化させてもよい。例えばセンサ装置１が自動車に搭載される場合に、停車時、通常走行時、高速走行時でキーフレームの間隔を変更するなどである。

キーフレームが選択されたら、ステップＳ１０２で演算部８（物体領域認識部８２）は、キーフレーム内の物体の候補となる位置の検出を行う。
即ち演算部８はキーフレームの画像において検出すべき物体の候補を探索し、１又は複数の候補の位置（画像内の位置座標）を求める。
例えば図６Ａの入力画像がキーフレームとされたとする。演算部８はこの画像の中で検出すべき物体らしい箇所を検出する。例えば図６Ｂ、図６Ｃの領域が検出すべき物体らしい箇所とされる。これが物体の候補となる。

図５のステップＳ１０３で演算部８（クラス識別部８３）は、検出物体のクラス分類を行う。即ち物体の候補のそれぞれについてクラス識別を行い、分類する。
上述のようにクラスとは画像認識を使って認識された物体のカテゴリーである。
例えば図６Ｄ、図６Ｅのように、「人」「花」といったクラス識別が行われる。

図５のステップＳ１０４で演算部８はクラス識別結果として得られたクラス内に ターゲットクラスが存在したか否かを確認する。
ターゲットクラスは、クラスの中でプロセッサ１１から特別に設定されたクラスである。例えばターゲットクラスが「人」と設定されていた場合は、センサ装置１は人を認識したときに指定されたプロセスに入るものとする。
なおターゲットクラスは、複数指定可能とすることが望ましい。

例えば「人」と「花」がターゲットクラスとされた場合であって、ステップＳ１０３で識別されたクラスのうちに「人」或いは「花」が存在した場合、演算部８はステップＳ１０４からＳ１０５に処理を進める。
一方、ターゲットクラスが存在しなければ、演算部８はステップＳ１０１に戻って、次のキーフレームの選択を行うことになる。

ターゲットクラスの存在によりステップＳ１０５に進んだ場合、演算部８（物体領域認識部８２）はクラスに分類された物体エリアを囲う正確な位置座標（バウンディングボックス）の算出を行う。
図６Ｆ、図６Ｇにバウンディングボックス２０を示している。バウンディングボックス２０は、Ｘ軸上の領域範囲としての最小座標値Ｘｍｉｎ、最大座標値Ｘｍａｘ、及びＹ軸上の領域範囲としての最小座標値Ｙｍｉｎ、最大座標値Ｙｍａｘにより規定される。

図５のステップＳ１０６で演算部８（パラメータ選択部８４）は、物体のクラス、数、バウンディングボックス２０の面積を元に パラメータセットを選択する。
例えば１つのターゲットクラスが存在する場合は、そのクラスに対応するパラメータセットを選択する。
画面内に複数種類のターゲットクラスの物体が存在する場合は、以下の例が考えられる。
例えば、各クラスのうち最も物体の数の多いクラスに対応するパラメータセットを選択することが考えられる。
又は、画面内に複数種類のターゲットクラスの物体が存在する場合は、最もバウンディングボックス２０の面積が大きい物体のクラスに対応するパラメータセットを選択することが考えられる。
又は、画面内に複数種類のターゲットクラスの物体が存在する場合は、クラス毎にバウンディングボックス２０の面積の総計が最も大きくなるクラスに対応するパラメータセットを選択することが考えられる。
又は、画面内に複数種類のターゲットクラスの物体が存在する場合は、クラス毎の物体の数とバウンディングボックス２０の面積の総計（又は最大値）から、最優先のクラスを求め、そのクラスに対応するパラメータセットを選択することが考えられる。
もちろん他にもパラメータセットの選択手法は各種存在するが、いずれにしても画面内で支配的な物体、もしくは優先して検出すべき物体のクラスに応じたパラメータセットが選択されるようにすればよい。

ステップＳ１０７で演算部８（パラメータ選択部８４）は、選択したパラメータセットをロジック部５に設定する処理を行う。
これによりロジック部５では以降、順次入力される各フレームの画像信号について、設定されたパラメータセットを用いて各種の画像処理を行う。
処理された画像信号や設定されたパラメータ、或いは識別されたクラスの情報などはＤＲＡＭ６に一時的に記憶される。

ステップＳ１０８では、センサ装置１は、プロセッサ１１の要求に応じて画像信号（静止画、動画）、クラス識別情報（クラス、オブジェクト数、 ターゲットクラスの有無等）、使用されたパラメータセット等の情報の全て、または少なくともいずれかを出力することになる。
つまりＤＲＡＭ６に一時記憶された情報のいずれかが、プロセッサ１１の要求に応じてインターフェース部７により読み出されて送信される。
なお、このステップＳ１０８の処理は、演算部８の制御によるものとしてもよいが、インターフェース部７を介したプロセッサ１１によるＤＲＡＭ６に対するアクセスにより実行されるものでもよい。演算部８がインターフェース部７の制御を行わない場合、演算部８の処理としては、ステップＳ１０７の後、ステップＳ１０１に戻ることになる。

以上の処理により、プロセッサ１１には、画像に含まれる物体としてのターゲットクラスの存在に応じてパラメータ設定がなされた画像信号が供給される。その画像信号は、当該ターゲットクラスの物体の検出に適した画像処理が行われた画像信号となる。
また検出されたクラス（ターゲットクラス）や物体数の情報もプロセッサ１１に提供されれば、プロセッサ１１での物体検出処理に有用な情報となる。
これらにより、プロセッサ１１で精度の高い物体検出を行うことができる。
なお、センサ装置１内では簡易的にクラス設定を行い、外部でより細かく認識するという使い方もできる。例えば顔認識やナンバープレート認識まではセンサ装置１で実行せずに、プロセッサ１１に実行させるような処理も可能である。
また図５の処理例では、ステップＳ１０２で物体らしい箇所を検出し（図６Ｂ、図６Ｃ）、ステップＳ１０３でクラス識別し（図６Ｄ、図６Ｅ）、その後ステップＳ１０５でバウンディングボックス２０の設定を行う（図６Ｆ、図６Ｇ）ものとしているが、この手順に限られない。例えばステップＳ１０２の段階で、物体らしい箇所を検出したらバウンディングボックス２０の設定をしてしまい、その後、ステップＳ１０３でクラス識別を行い、ターゲットクラスが存在したらステップＳ１０４からＳ１０６に進むような手順でもよい。

＜３．第２の実施の形態：エリアクリッピング＞
図１の構成のセンサ装置１により実行できる第２の実施の形態の処理としてエリアクリッピングを説明する。

アレイセンサ２によって検出される画像信号については、通常は、各フレームの全画素の情報をプロセッサ１１に送信して画像認識を実行させることが考えられる。
しかし全フレームの全画素の情報をプロセッサ１１に転送し、プロセッサ１１で物体検出していくと、特にアレイセンサ２による撮像画像の高精細化が進むにつれ、転送情報量が著しく増大し、転送時間も要するようになる。またクラウド送信する場合には通信量の増大は通信コスト、時間に大きく影響する。さらにプロセッサ１１やクラウドにおけるストレージ量の負担も増え、かつ解析処理負担、処理時間も増え、物体検出パフォーマンスが低下する懸念がある。
そこで第２の実施の形態では、あるフレームの画像において必要な物体を認識したら、次のフレーム以降は、おおよそ当該物体の領域の画素レベルで画像信号の取得や転送を行うようにし、他の領域の画素は情報として存在しないようにすることで、処理の効率化を図るようにする。

図７に概要を示す。
図７Ａに或るフレームＦ１の画像を示している。検出すべき物体として「人」を設定した場合、フレームＦ１の画像内で人の領域を検出する。そして人が検出された領域を関心領域であるＲＯＩ（Region of Interest）２１とする。
以降のフレームＦ２、Ｆ３・・・Ｆｎでは、アレイセンサ２から、ＲＯＩ２１とされた領域内の画素のみを読み出すようにする。その画像は図７ＢのようにＲＯＩ２１の部分の情報のみを含む画像となる。
そしてこのような部分的な画素情報を含む画像信号に基づいて演算部８における解析が行われたり、プロセッサ１１へ転送されて画像解析が行われるようにする。

具体的には図８Ａに模式的に示すように、アレイセンサ２により得られる画像信号のうち、Ｎフレームに１枚の割合としての或るフレームＦ１については全有効画素の情報を含む画像とする。そして演算部８で全画面をスキャンして対象物の有無と位置の検出を行う。そしてＲＯＩ２１を設定する。
後続のフレームＦ２を取得する際には、図８Ｂのように対象エリアとされたＲＯＩ２１の画素のみＡＤ変換が行われた画像信号が取得されるようにする。なお図において格子で区切られた各方形は画素を示す。
このように例えばＮフレームごと１フレームだけ全画面スキャンして対象物の検出を行い、図８Ｃのように以降のフレームＦ２，Ｆ３，Ｆ４・・・では前フレームの対象物の検出エリアのみ画像解析を行う。
このプロセスを行うことで、アプリケーションの対象となる物体検出の精度を落とすことなく、解析データ量の削減、通信データ量の低減が行われ、センサ装置１の低消費電力化とセンサ装置１を搭載したシステム全体の物体検出に関わる画像解析の高速化が行われる。

エリアクリッピング解析としてのセンサ装置１の演算部８の処理例を図９に示す。逐次図１０を参照しながら説明する。

演算部８（キーフレーム選択部８１）はステップＳ２０１で物体検出キーフレーム記録タイミングとなったか否かを判定する。
物体検出キーフレーム記録タイミングとは、物体検出の為にアレイセンサ２の全有効画素領域で情報取得を行うタイミングを意味する。
物体検出キーフレーム記録タイミングとしては、例えばプロセッサ１１等のセンサ装置１の外部からの命令で判定するようにしてもよい。例えば６０ｓｅｃの指示に応じて、６０ｓｅｃの間隔で物体検出キーフレーム記録タイミングと判定することが想定される。

物体検出キーフレーム記録タイミングとなったら、演算部８はステップＳ２０２に進み、アレイセンサ２の全有効画素領域でＡＤ変換された画像データを取得する。例えばＡＤＣ／ピクセルセレクタ３に、全有効画素領域を対象としてアレイセンサ２からの１フレームの画像信号を出力させる。

ステップＳ２０３で演算部８（物体領域認識部８２）は、取得した画像について物体の候補となる位置の検出を行う。
図１０Ａに示すように、例えばフレームＦ１を物体検出キーフレームとしたときに、このフレームＦ１の画像内で、物体の候補領域２３を検出する。この場合、「人」や「木」の画像を含む領域が候補領域２３とされている。

図９のステップＳ２０４で演算部８（クラス識別部８３）は、候補として検出された物体のクラス分類を行う。
例えば図１０Ｂのように、候補領域２３の物体について「人」「木」などのクラス識別を行う。

図９のステップＳ２０５で演算部８はクラス識別結果として得られたクラス内に ターゲットクラスが存在したか否かを確認する。
例えば「人」がターゲットクラスとされていた場合、図１０Ｂのように識別されたクラスとしてターゲットクラスが存在していることになる。そのような場合、演算部８は図９のステップＳ２０５からＳ２０６に処理を進める。
一方、ターゲットクラスが存在しなければ、演算部８はステップＳ２０１に戻って、次の物体検出キーフレーム記録タイミングを待機する。

図９のステップＳ２０６で演算部８（物体領域認識部８２）は、ターゲットクラスとされたクラスに分類された物体のエリアを囲う正確な位置座標のバウンディングボックス２０の算出を行う。
例えば図１０Ｃにターゲットクラスである人の画像についてのバウンディングボックス２０の例を示している。即ちバウンディングボックス２０はターゲットクラスに該当する物体のより正確な領域として計算される。

図９のステップＳ２０７で演算部８（物体領域認識部８２）は、バウンディングボックス２０を元にＲＯＩを算出する。
図１０ＤにＲＯＩ２１とバウンディングボックス２０を示している。ＲＯＩ２１はバウンディングボックス２０の縦横サイズ（ｘ×ｙ）を拡大（ａｘ×ｂｙ）して計算される。拡大の縮尺ａ，ｂは縦横別に設定でき、拡大率は固定でもよいが、センサ装置１の外部（例えばプロセッサ１１など）より指定されるようにすることも考えられる。
演算部８（物体領域認識部８２）は、このように計算したＲＯＩをＡＤＣ／ピクセルセレクタ３に伝える。

これに応じてＡＤＣ／ピクセルセレクタ３では、アレイセンサ２におけるＲＯＩ２１内に該当する画素のみＡＤ変換して出力することになる。
演算部８は図９のステップＳ２０８で、ＲＯＩ２１内の画素のみの情報を含む次のフレームの画像データを取得する。そして、取得したフレームについてステップＳ２０３、Ｓ２０４の処理を行う。

図１０Ｅには、全有効画素のうちＲＯＩ２１内の画素のみＡＤ変換を行うことを模式的に示している（各図において格子で区切られた方形は画素を示す）。
このようなＡＤ変換により、図１０ＦのようにＲＯＩ２１の部分のみの情報を有するフレームＦ２の画像が演算部８に取得される。
そして演算部８は、図９のステップＳ２０３、Ｓ２０４で、このフレームＦ２の画像に対して物体候補の位置の検出とクラス分類を行うが、例えばこの図１０Ｆの場合、人が検出されるため、ステップＳ２０６、Ｓ２０７に進み、新たにバウンディングボックス２０の算出や、バウンディングボックス２０に基づく新たなＲＯＩ２１の算出が行われることになる。図１０Ｆでは新たに求められたＲＯＩを「ＲＯＩ２１（NEW）」として示している。

なお、ＲＯＩ２１を、バウンディングボックス２０を広げることで生成するのは、被写体である物体の動き（又は撮像装置の被写体方向の変化）に対応するためである。
例えば図１０ＥのフレームＦ２の人の位置は、図１０ＡのフレームＦ１の人の位置より右方向に変化している。しかしＲＯＩ２１が広めに設定されていることで、ＲＯＩ２１内の画素のみであっても、フレームＦ２において、対象の人の画像を取得でき可能性を高めている。
なお、このようにＲＯＩ２１は次のフレームでも対象の物体を検出できるようにバウンディングボックス２０を広げるが、縦横サイズ（ｘ×ｙ）を拡大（ａｘ×ｂｙ）するときの拡大の縮尺ａ，ｂは、フレームレートに応じたものとすることも考えられる。
例えばフレームレートが低いと、フレーム間隔の時間が長くなり人などの物体の移動量も大きくなるため、フレームレートが高い場合よりもＲＯＩ２１を広くすることが考えられる。

またフレーム毎にＲＯＩ２１を計算しなおすこと（新たなＲＯＩ２１（NEW）を生成すること）も、被写体である物体の動き（又は撮像装置の被写体方向の変化）に対応するためである。
人の移動により、図１０Ｆの画像からはＲＯＩ２１内の右寄りの位置で人が検出される。そこで新たに人の領域を囲むバウンディングボックス２０を計算してＲＯＩ２１を求めることで、ＲＯＩ２１（NEW）のように、人の動きに追従していくようにＲＯＩを更新していく。
演算部８はステップＳ２０７では、新たなＲＯＩ２１（NEW）をＡＤＣ／ピクセルセレクタ３に伝える。これにより、次のフレームは、新たなＲＯＩ２１（NEW）内の画素のみがＡＤ変換されることになる（図１０Ｇ参照）。
そして同様に演算部８はステップＳ２０８で、ＲＯＩ２１（NEW）内の画素の情報のみの画像信号を取得し、ステップＳ２０３以降の処理を行う。

このような処理はステップＳ２０５でターゲットクラスが存在しないと判定されるまで繰り返し行われる。従って、例えばＲＯＩ２１の位置が被写体としての人に合わせて更新されていくことで、例えば図１０ＨのフレームＦｎのように人の位置が移動していても、図示しない前のフレームＦ（ｎ－１）で計算されたＲＯＩ２１に基づいて人の領域の情報を含むフレームＦｎの画像信号を取得することができる。
もし、検出されていた人がフレームアウトして検出できなくなると、ターゲットクラスが取得できなくなるため、演算部８はステップＳ２０５からＳ２０１に戻り、次の物体検出キーフレーム記録タイミングを待機する。

以上のようなエリアクリッピング解析の処理が行われることで、物体検出キーフレーム記録タイミングのキーフレームの画像信号は全有効画素のデータを含むが、後続のフレームでは、物体検出に必要な画素のみという、極めてデータ量が低減された画像信号とすることができるとともに、目的の物体の検出に適した画像となる。さらにアレイセンサ２における読み出しを行う画素数が低減されることによる消費電力削減も実現できる。

なお図９の処理例の場合、１つのターゲットクラスの物体毎についてＲＯＩ２１が設定され、それぞれの物体に応じたＲＯＩ２１の領域がアレイセンサ２からの読み出し対象となるが、それは物体検出キーフレームで検出された物体に限られる。例えばフレームＦ２、Ｆ３のタイミングで被写体として新たな物体（例えば人）が現れても、その人の画像は取得されない可能性がある。
これは例えばある程度の時間間隔の物体検出キーフレームで発見された物体を追尾して解析したいような使用目的であれば問題ないが、例えば被写体として出現する全ての人を監視する監視システムなどに適用する場合では、物体検出キーフレーム以外のフレームで出現する物体についても検出対象としたい。
そこで、例えば、ターゲットクラスの物体の検出が継続されていても（つまりステップＳ２０５で「YES」の判定が続く場合であっても）、所定時間間隔で必ずステップＳ２０２に戻り、全有効画素の画像信号を取得するようにすることが考えられる。
全有効画素の画像信号を取得する時間間隔をプロセッサ１１等から指定できるようにすることも好適である。

または画像の周縁部を、ＲＯＩ２１とは別に常にＡＤ変換対象の領域としておき、被写体として新たに物体がフレームインしてきたら、その物体を検出し、その物体についてもＲＯＩ２１を設定できるようにすることも考えられる。

ＲＯＩ２１は、バウンディングボックス２０を拡大することで、矩形の領域とする例を述べたが、ＲＯＩ２１は矩形の領域に限られるものではない。
例えばセマンティックセグメンテーション、即ち画素レベルでの物体エリア検出を用いて、そのターゲットクラスの物体のエリアからＲＯＩ２１を計算してもよい。
図１１はセマンティックセグメンテーションに基づくＲＯＩ２１を示している。これは物体（例えば人物）としての画素領域を広げて、非矩形のＲＯＩ２１を設定した例である。
例えば突起物のあるトラック、自転車に乗っている人など、矩形のＲＯＩ２１では一部が含まれなかったり、或いは大きすぎる状態になってしまうことがある。画素レベルの物体位置に応じて非矩形のＲＯＩ２１を生成すれば、データ量削減と必要な情報取得を両立できるＲＯＩ２１となる可能性を高くすることができる。

なお、以上の第２の実施の形態のエリアクリッピングと、第１の実施の形態の分類画像適応化処理を組み合わせて実行することで、データ量削減と検出精度向上という効果をより有効に得ることができる。

＜４．第３の実施の形態：ＡＲＯＩを用いたエリアクリッピング＞
図１の構成のセンサ装置１により実行できる第３の実施の形態の処理としてアドバンスドＲＯＩ（「ＡＲＯＩ」とも表記する）を用いたエリアクリッピングを説明する。

ＡＲＯＩとは、クラスに応じて設定されたテンプレートを用いて設定されるＲＯＩである。
アレイセンサ２（イメージセンサ）では光電変換で消費される電力が最も大きい。このため消費電力削減には、できるだけ光電変換する画素を少なくしたい。
またアレイセンサ２により得る画像信号は、画像解析のためであって人が見るわけでないので、人が見て認識できたり、きれいな画像であったりする必要は無い。換言すれば、精度よく物体検出できる画像であることが重要である。
例えば上記の第２の実施の形態では、検出した物体についてクラス識別を行うが、このようにクラス識別を行うのであれば、クラスに応じた、認識のための最低限のエリアがＲＯＩとして設定されるようにすればよいことになる。そこで図１２，図１３に示すようなＡＲＯＩ２２を設定する。

図１２は人の画像領域に対して「人」というクラスに対応するテンプレートを用いて生成したＡＲＯＩ２２を示している。図の格子は画素（ピクセル）であり、濃い画素がＡＲＯＩで指定される画素であるとしている。
例えば「人」というクラスに対応するテンプレートは、顔の部分を高密度に必要画素とし、身体部分は必要画素を低密度に配置して全体をカバーできるようなものとされる。
また図１３は「自動車」というクラスに対応するテンプレートを用いて生成したＡＲＯＩ２２を示している。この例では、自動車の背面画像に適応するもので、例えばナンバープレートが位置する部分を高密度に必要画素とし、それ以外は必要画素を低密度に配置して全体をカバーできるようなものとされる。
実際には、「人」のクラスも細分化して、「横向きの人」「正面向きの人」「座っている人」などとしてテンプレートを細分化したり、「自動車」のクラスについては「側面画像」「正面画像」「背面画像」などとしてテンプレートを細分化しることも考えられる。

このようにクラスに応じてテンプレートを選択し、実際のフレーム内の領域サイズにあわせてテンプレートを拡大縮小してＡＲＯＩ２２を生成する。

ＡＲＯＩ２２を用いる処理例を図１４に示す。
なおステップＳ２０１からＳ２０６は図９と同様の処理であるため重複説明を避ける。

演算部８（物体領域認識部８２）は、物体検出キーフレーム記録タイミングで得られた全有効画素の画像信号においてターゲットクラスの物体が存在した場合、ステップＳ２０６でバウンディングボックス２０を算出する。
そして演算部８（パラメータ選択部８４）はステップＳ２１０で、クラスを元に予め算出して記憶しているＡＲＯＩ用のテンプレートを選択する。
例えば「人」がターゲットクラスであり、画像内に人が存在した場合は、「人」用のテンプレートを選択する。

ステップＳ２１１で演算部８（物体領域認識部８２）は、バウンディングボックス２０に基づいてＡＲＯＩ２２を算出する。
例えばバウンディングボックス２０のサイズに応じてテンプレートのサイズを調整したものをＡＲＯＩ２２とする。
そして演算部８（物体領域認識部８２）は、そのＡＲＯＩ２２（ＡＲＯＩのパターンと領域）をＡＤＣ／ピクセルセレクタ３に伝える。

これに応じてＡＤＣ／ピクセルセレクタ３では、アレイセンサ２におけるＡＲＯＩ２２内に該当する画素のみＡＤ変換して出力することになる。
演算部８はステップＳ２１２で、ＡＲＯＩ２２内の画素のみの情報を含む次のフレームの画像データを取得する。そして、取得したフレームについてステップＳ２０３、Ｓ２０４の処理を行う。
以降の処理の流れは図９で説明したものと同様である。

このようにクラスに応じて設定されたテンプレートを用いてＡＲＯＩ２２を生成することで、光電変換する画素を大幅に少なくしてもクラスに応じて物体検出を的確に行うことのできる情報を得ることができる。
なお第２の実施の形態で言及した物体検出キーフレーム記録タイミングが或る時間間隔で必ず発生するようにすることや、画像の周縁部を常にＡＤ変換対象の領域としておくようにすることは、この第３の実施の形態でも適用できる。
また、以上の第３の実施の形態のＡＲＯＩ２２を用いたエリアクリッピングと、第１の実施の形態の分類画像適応化処理を組み合わせて実行することで、データ量削減と検出精度向上という効果をより有効に得ることができる。

＜５．第４の実施の形態：インテリジェントコンプレッション＞
図１の構成のセンサ装置１により実行できる第４の実施の形態の処理としてインテリジェントコンプレッションの処理を説明する。

インテリジェントコンプレッションとは、検出の対象物を特定し、対象物を低圧縮率、対象物以外を高圧縮率で圧縮をかけるようにすることである。
具体例を図１５に示す。
図１５Ａは或る１フレームの画像からターゲットクラスである「自動車」のクラスを検出した場合に、各自動車の領域に対応してＲＯＩ２１を生成した状態を示している。
図１５Ｂは、このＲＯＩ２１の領域を低圧縮率、その他を高圧縮率で圧縮した画像信号である。
このようにすることで、物体検出のアプリケーションの対象となる物体の検出精度を落とすことなく、解析データ量の削減や通信データ量の低減が行われるようにする。
またセンサ装置１の低消費電力化とセンサ装置１を搭載したシステム全体の物体検出に関わる画像解析の高速化も図る。

インテリジェントコンプレッションを行う処理例を図１６に示す。
なおステップＳ２０１からＳ２０６は図９と同様の処理である。但し先に説明したエリアクリッピングの場合とは若干事情が違う点があるためこれらの処理にも言及する。

演算部８（キーフレーム選択部８１）はステップＳ２０１で物体検出キーフレーム記録タイミングとなったか否かを判定する。
物体検出キーフレーム記録タイミングとなったら、演算部８はステップＳ２０２に進み、アレイセンサ２の全有効画素領域でＡＤ変換された画像データを取得する。
但し、インテリジェントコンプレッションの場合、ＡＤＣ／ピクセルセレクタ３は、毎フレーム、アレイセンサ２からの全画素の信号の読み出し（ＡＤ変換）を行っている。

演算部８（物体領域認識部８２）はステップＳ２０１で取得した画像について物体の候補となる位置の検出を行う。そしてステップＳ２０４で演算部８（クラス識別部８３）は、候補として検出された物体のクラス分類を行う。
ステップＳ２０５で演算部８はクラス識別結果として得られたクラス内に ターゲットクラスが存在したか否かを確認する。

演算部８（物体領域認識部８２）は、物体検出キーフレーム記録タイミングで得られた全有効画素の画像信号においてターゲットクラスの物体が存在した場合、ステップＳ２０６でバウンディングボックス２０を算出する。

ステップＳ２２０で演算部８（物体領域認識部８２）は、バウンディングボックス２０を元にＲＯＩ２１を算出する。この場合も、例えばバウンディングボックス２０を拡大してＲＯＩ２１を設定することが考えられる。
演算部８（物体領域認識部８２）は、このように計算したＲＯＩ２１をロジック部５に伝える。

これに応じてロジック部５ではステップＳ２２１で、アレイセンサ２から読み出された画像信号に対して、ＲＯＩ２１内に該当する画素領域については低圧縮率で、その他の画素領域は高圧縮率で、圧縮処理を行う。
圧縮処理された画像信号は、その後ＤＲＡＭ６に書き込まれ、インターフェース部７によりプロセッサ１１に転送される。
プロセッサ１１では、ＲＯＩ２１で指定された必要な領域は低圧縮率とされており、情報が十分に存在することで、精度のよい物体検出が可能となる。

演算部８の処理としては、ステップＳ２２０の後、ステップＳ２０３に戻り、次のフレームについての物体候補の位置の検出を行い、ステップＳ２０４で検出物体のクラス識別を行う。
この第４の実施の形態では、アレイセンサ２からの読み出しは各フレームにおいて全有効画素とするものであり、従って、ステップＳ２２０、Ｓ２１１の後にステップＳ２０３に戻った場合にも、演算部８はステップＳ２０３で、全有効画素の範囲をスキャンして物体の候補の検出を行うことは可能である。全有効画素の範囲をスキャンして物体の候補の検出を行うことで、キーフレーム記録タイミングの間での新たなターゲットクラスの物体の出現にも常に対応できる。
しかしこの場合に、演算部８が物体の候補の検出をＲＯＩ２１内の領域のみで行うようにすると、演算部８の処理負担を削減できることになる。

演算部８は、ターゲットクラスの存在が確認されることに応じて、ステップＳ２０６，Ｓ２２０でＲＯＩ２１を更新していく。
従って、ロジック部５において低圧縮率で圧縮される領域も、各フレームの物体の位置に応じて更新されていくことになる。

もしステップＳ２０５でターゲットクラスの存在がないと判定された場合は、演算部８の処理はステップＳ２０２に戻り、物体検出キーフレーム記録タイミングを待機する。

以上の図１６の処理により、解析に必要な箇所、即ちターゲットクラスの物体が存在するＲＯＩ２１内が低圧縮率で圧縮処理され、それ以外は高圧縮率で圧縮処理されるインテリジェントコンプレッションの処理が行われることになる。

なお第２の実施の形態で言及した物体検出キーフレーム記録タイミングが或る時間間隔で必ず発生するようにすることや、セマンティックセグメンテーションに基づくＲＯＩを生成することは、この第４の実施の形態でも適用できる。
また、以上の第４の実施の形態のインテリジェントコンプレッションの処理と、第１の実施の形態の分類画像適応化処理を組み合わせて実行することで、データ量削減と検出精度向上という効果をより有効に得ることができる。

＜６．第５の実施の形態：アクティブサンプリング＞
図１の構成のセンサ装置１により実行できる第５の実施の形態の処理としてアクティブサンプリングを説明する。
アクティブサンプリングは、対象物の有無でフレームレートをダイナミックに変化させる処理を指している。対象物の有無に応じた時間軸方向のデータ量の圧縮であるといえる。またセンサ装置１の電力消費の削減も図ることができる。

図１７によりアクティブサンプリングの概要を説明する。
今、ターゲットクラスを「人」として、撮像画像から人の検出を行うとする。例えばビルの中から玄関を通して外を監視カメラで撮像している場合を想定する。
図１７Ａは、撮像画像に人が含まれていない状態を示している。このような場合は、フレームレートを低いレート、例えば１ｆｐｓとする。
図１７Ｂは、撮像画像内に人が検出される状態を示している。このような場合は、フレームレートを高いレート、例えば１００ｆｐｓに変更する。
即ち、検出対象を限定してフレームレートをダイナミックに変化させることで、特に必要のないとされるとき（人が検出されないとき）はフレームレートを落とし、必要なとき（人が検出されているとき）は、フレームレートを上げて情報量を密とする。

図１８にアクティブサンプリングの処理例を示す。
ステップＳ３０１で演算部８（キーフレーム選択部８１）は、例えば予め演算部８内に記憶されているアイドリングモードの設定に従って、ＡＤＣ／ピクセルセレクタ３へ動画撮像の設定を行う。
例えば演算部８内でパラメータ選択部８４には、アイドリングモードの設定とノーマルモードの設定が記憶されているようにする。

アクティブサンプリングにはアイドリングモードとノーマルモードが設けられており、アイドリングモードは、ターゲットクラスの物体が撮像画面内に入っていることが確定する前のモードである。
このアイドリングモードではノーマルモードよりも遅いフレームレートで動画撮像が行われる。
アイドリングモードはセンサ装置１の外部からの命令で開始することが考えられる。またアイドリングモードは、センサ装置１の外部からアイドリングモード用データ取得タイミング間隔の命令に応じるようにしてもよい。例えば６０ｓｅｃの指示があった場合、６０ｓｅｃの間隔で物体検出キーフレーム記録タイミングとなる。

ノーマルモードは、通常の動画撮像モードである。例えばセンサ装置１の外部からのノーマルモード用データ取得タイミング間隔の命令に応じる。
通常アイドリングモードよりも早いフレームレートで動画撮影が行われるもので、例えば０．０１ｓｅｃの指示があった場合、０．０１ｓｅｃの間隔（１００ｆｐｓ）で撮像を行うモードとなる。

従ってステップＳ３０１で演算部８がＡＤＣ／ピクセルセレクタ３にアイドリングモードを指示することで、仮にアイドリングモードの設定が１ｆｓｐであれば、動画撮像は例えば１ｓｅｃ間隔で行われる。
なおアイドリングモードの設定とノーマルモードの設定は、必ずしも演算部８内に記憶されるのではなく、演算部８の外部メモリに記憶されてもよい。
もちろんアイドリングモード、ノーマルモードのフレームレートは一例である。
またアイドリングモード、ノーマルモードの設定値はプロセッサ１１等の外部装置から書き換え可能とされていることが望ましい。

ステップＳ３０２で演算部８（物体領域認識部８２）は、取得した画像について 物体の候補となる位置の検出を行う。
ステップＳ３０３で演算部８（クラス識別部８３）は、候補として検出された物体のクラス分類を行う。
ステップＳ３０４で演算部８はクラス識別結果として得られたクラス内に ターゲットクラスが存在したか否かを確認する。
ターゲットクラスが存在しなければ、演算部８はステップＳ３０１，Ｓ３０２，Ｓ３０３の処理を行う。即ちアイドリングモードとしての次のフレームの画像を取得し、同様に物体の候補となる位置の検出やクラス識別を行う。この場合は例えば１ｆｐｓで撮像が行われているとすると、１秒後の画像についてこれらの処理を行うこととなる。

例えば「人」がターゲットクラスとされていた場合で、識別されたクラスとして「人」が存在していた場合、演算部８はステップＳ３０４からＳ３０５に処理を進める。
演算部８（キーフレーム選択部８１）は、記憶されているノーマルモードの設定に従って、ＡＤＣ／ピクセルセレクタ３へ動画撮像の設定を行い、ノーマルモードの撮像を指示する。
従って仮にノーマルモードの設定が１００ｆｓｐであれば、動画撮像は例えば０．０１ｓｅｃ間隔で行われるようになる。
このようにノーマルモードに切り換えた状態で演算部８はステップＳ３０２、Ｓ３０３の処理を行う。

そして撮像された画像内にターゲットクラスが存在している限り、ノーマルモードが継続され、一方、ターゲットクラスが存在しなくなったらステップＳ３０１に戻ってアイドリングモードに切り換えられることになる。

以上のようにアクティブサンプリングとしての処理が行われる。これにより特にターゲットクラスが存在しない期間は、フレームレートを下げてデータ量圧縮を行い、またそれにより消費電力が削減される。
なお、演算部８は、ＡＤＣ／ピクセルセレクタ３にフレームレート変更を指示してフレームレートを可変させるとしたが、ロジック部５にフレームレート変換を指示してもよい。
例えばアレイセンサ２からの読み出しは常に１００ｆｐｓで行い、アイドリングモードの場合は、ロジック部５にフレーム間引きを指示する。これによりプロセッサ１１への伝送に関してのデータ量削減が可能である。

なお、このようなアクティブサンプリングの処理と、第２，第３，第４の実施の形態を組み合わせることで、検出精度を低下させずに、より有効なデータ量削減効果が得られる。
また、アクティブサンプリングの処理と第１の実施の形態の分類画像適応化処理を組み合わせることで、有効なデータ量削減に加えて検出精度を向上させることもできる。

＜７．第６の実施の形態：閾値設定による画像適応化＞
第６実施の形態の処理として画像適応化の処理を説明する。ここで説明する例は、第１の実施の形態の分類画像適応化の処理に、さらに閾値設定に応じたパラメータ変更という考え方を加える例としている。

ここでいうパラメータの一例としては、ロジック部５での画像処理で用いるパラメータが想定され、ロジック部５で用いる画像処理のパラメータが、例えばセンサ装置１内で設定された閾値を満たすように設定（調整・変更）される。
またパラメータとしては、ＡＤＣ／ピクセルセレクタ３での信号読出やアレイセンサ２での露光動作等の撮像処理に用いるパラメータも想定される。ＡＤＣ／ピクセルセレクタ３やアレイセンサ２の撮像処理動作の制御パラメータ等が、例えばセンサ装置１内で設定された閾値を満たすように設定（調整・変更）されるようにする。

上述の第１の実施の形態では、ロジック部５で用いるパラメータはクラス識別に応じて選択されたが、この選択されたパラメータが、閾値に基づいて設定（調整・変更）されるものとすることもできる。
或いは、必ずしもクラス識別に基づいて選択されたパラメータに限らず、ロジック部５やＡＤＣ／ピクセルセレクタ３やアレイセンサ２で用いられるパラメータであれば、閾値に基づいて設定されるようにすることが考えられる。

このように閾値に基づいて自動的に設定される撮像処理に関するパラメータや画像処理に関するパラメータの具体例を示す。
例えば画像処理に関するパラメータは次のように例示される。
・画像の縦横比率
・解像度
・色階調数（色数、またはビット数）
・コントラスト調整値
・シャープネス調整値
・グレーレベル調整値
・ガンマ補正値
・サンプリングレート変換比

画像の縦横比率や解像度のパラメータは、ＲＯＩ２１にも反映される。
色階調数、コントラスト調整値、シャープネス調整値、グレーレベル調整値、ガンマ補正値、解像度は、画質に関するパラメータとなる。
サンプリングレート変換比は時間解像度のパラメータとなる。

また撮像処理に関するパラメータとしては
・サンプリングレート
・解像度（例えばＡＤＣ／ピクセルセレクタ３の読出時点で設定する解像度）
・アレイセンサ２のシャッタスピード（露光時間）
などがある。

もちろん閾値に基づいて自動的に設定されるパラメータは上記列挙以外のパラメータもある。

このようなパラメータの閾値に応じた設定は、例えばプロセッサ１１でディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）を用いた学習に基づいて物体検出を行う場合に、その物体検出の出力について実用可能な精度を担保しながら、データ量削減、処理の高速化、低消費電力化等を図るために行う。
即ち、解像度や色数などのパラメータを変更して撮像データ量を低減するが、それによっても物体検出の精度が、必要なレベルで維持されるようにする。

図１９で閾値に基づくパラメータ設定の考え方を説明する。
例えばセンサ装置１で人を撮像した場合に、その出力画像としては、アレイセンサ２の全ての画素（全ての有効画素）の情報を有し、例えばフレームレートとして６０ｆｐｓ（frames per second）でフルカラーの画像データを出力したとする。
そして、そのような画像データについて例えばプロセッサ１１で物体検出を行った場合に、コンフィデンスレートＣＲ＝０．９８として、９８％の割合で、正しく人検出ができたとする。コンフィデンスレートとは、正しく物体を判別して検出できる確証性の割合である。

一方、解像度を若干下げ、色の階調数を若干下げ、フレームレートを３０ｆｐｓにした画像データを出力した場合、コンフィデンスレートＣＲ＝０．９２となったとする。
また、解像度をより下げ、色の階調数もより下げ、フレームレートを１５ｆｐｓにした画像データを出力した場合、コンフィデンスレートＣＲ＝０．８１となったとする。
さらに、解像度を大幅に下げ、色の階調数も大幅に下げ、フレームレートを１０ｆｐｓにした画像データを出力した場合、コンフィデンスレートＣＲ＝０．５８となったとする。
以上はあくまでも説明上の例であるが、このように解析対象の画像データの解像度や色数、時間解像度などの撮像または画質に関わるパラメータの変更を行うことでコンフィデンスレートが変動する。つまり画像解析や物体検出の精度が変わる。

ところで物体検出のコンフィデンスレートは高いに越したことはないが、実際には常に最高のレートが求められるわけではない。
例えば図７Ａのように公園を俯瞰撮像する画像からおおざっぱに人の数を検出したいといった場合を考えた場合、さほどの正確性は要求されない。例えば数人、１０人前後、２０人前後、などといった検出結果を求める場合は、コンフィデンスレートＣＲ＝０．６程度でも十分かもしれない。
一方、防犯カメラ等で人の侵入等を厳しく監視したいような場合、コンフィデンスレートＣＲ＝０．９５程度が求められる場合もある。
また昼間はコンフィデンスレートＣＲ＝０．７０でも良いが、夜間はコンフィデンスレートＣＲ＝０．９０程度にしたいという要望もあり得る。

つまり、物体検出の精度として要求されるコンフィデンスレートＣＲは、その検出についての目的、対象、機器／アプリケーションプログラムの種別、時期、地域など、多様な要素によって異なるものとなる。
さらには、コンフィデンスレートは、プロセッサ１１の解析能力、学習程度によっても変動するし、検出対象、クラスによっても変動する。
これらのことから、例えば求められる適切なコンフィデンスレートを基準に閾値を決め、それに応じてパラメータを変更することで、物体検出等の要求に合致した画像信号の出力を行うことができる。

今、図１９の例において、コンフィデンスレートＣＲ＝０．８０以上が求められるとする。
その場合に、コンフィデンスレートＣＲとしての閾値０．８０以上となるようなパラメータを計算し、ロジック部５等で用いられるパラメータを設定する。特には閾値より高いが、比較的データ量が少なくなるようなパラメータを設定する。
例えば図示するコンフィデンスレートＣＲ＝０．８１となる解像度、色階調数、フレームレートなどのパラメータが設定されるようにする。
すると、例えばコンフィデンスレートＣＲ＝０．９８となるようにパラメータを設定して画像信号を出力する場合に比べて、大幅にデータ量を削減し、しかも必要な物体検出精度を維持できる。
なお、「閾値」とは、コンフィデンスレートとしての要求される値と考えても良いが、パラメータ調整のために算出する閾値という意味では、要求される「閾値」としてのコンフィデンスレートを得るためのパラメータの値としても考えることもできる。
つまり技術的な意味では、「パラメータの閾値を設定し、閾値に基づいて設定したパラメータを用いた処理が行われるようにする」という処理は、次の［１］［２］のような処理手法が想定される。
［１］使用態様や使用環境に適したコンフィデンスレート等の指標値の閾値を算出し、その指標値の閾値を越える指標値が得られるパラメータ値として実際に使用するパラメータを設定する。つまり物体検出の指標値の観点でパラメータの閾値を設定する。
［２］コンフィデンスレート等の指標値としての要求される値を得るためののパラメータの閾値を算出し、その閾値に基づいて実際に使用するパラメータを設定する。つまりパラメータ自体の値という観点でパラメータの閾値を設定する。

本実施の形態では、例えばコンフィデンスレートを元に上記の［１］又は［２］のように閾値を設定して、実際に使用するパラメータは、画像データ量がなるべく少なくなるように適応化したパラメータとする。このようなパラメータをリアルタイム（例えば撮像中に定期的になど）に算出して、ダイナミックにパラメータ変更を行うようにするものである。
例えばセンサ装置１の用途、ターゲットクラスや撮像環境に合わせてＤＮＮ処理により適切な閾値やそれに応じたパラメータを算出し、パラメータ変更を行うことで、アプリケーション等に適応した高速化、低消費電力化、高精度化を行う。
特に、第６の実施の形態のとして説明する例では、パラメータ調整は物体検出のコンフィデンスレートによる閾値を設けて、その閾値になるべく近く、かつ閾値を下回らないようにするパラメータの設定値を算出するものとする。

また閾値及びそれに応じたパラメータは、クラス毎に行われることが適切である。
図２０Ａはクラスとして「人の顔」に分類される画像を示し、図２０Ｂはクラスとして「ロードサイン（標識）」に分類される画像を示している。

図２０Ａでは、人の顔の場合、画像信号を８ビットＲＧＢデータの１６７７７２１６色、データ量１．５ＭＢとした場合にコンフィデンスレートＣＲ＝０．９９となり、画像信号を８ビットグレイトーンの２５６色、データ量５４０ＫＢとした場合にコンフィデンスレートＣＲ＝０．７５となり、画像信号を白黒２色、データ量１８０ＫＢとした場合にコンフィデンスレートＣＲ＝０．５８となることを示している。

例えばこの場合において、人の顔について閾値をコンフィデンスレートＣＲ＝０．７４とした場合、右側の画像は適切ではないことになり、パラメータ設定としては中央画像のパラメータが適していることになる。

図２０Ｂでは、ロードサインの場合、画像信号を８ビットＲＧＢデータの１６７７７２１６色、データ量１．４ＭＢとした場合にコンフィデンスレートＣＲ＝０．９９となり、画像信号を８ビットグレイトーンの２５６色、データ量５２０ＫＢとした場合にコンフィデンスレートＣＲ＝０．９５となり、画像信号を白黒２色、データ量１１０ＫＢとした場合にコンフィデンスレートＣＲ＝０．８８となることを示している。

例えばこの場合において、ロードサインについて閾値をコンフィデンスレートＣＲ＝０．８５とした場合、いずれの画像も適切である。パラメータ設定としては右側の画像のパラメータが適していることになる。

例えばこのように、物体のクラスによっても、画像信号の品質に対する検出精度や要求される精度は異なるため、クラスに応じた閾値設定やパラメータ変更を行うことが適切となる。

以下、第６の実施の形態の具体例を説明する。
まず図２１に、センサ装置１の構成例を示す。但し、図１と同じ構成要素については同一符号を付し、重複説明を避ける。
この図２１の構成は、図１と比較して、例えばＡＩプロセッサとして構成される演算部８内の演算機能として、閾値設定部８５が設けられている点が異なる。

閾値設定部８５はＤＮＮエンジンとしての機能を持ち、ロジック部５の画像処理又はアレイセンサ２による撮像に関する撮像処理（アレイセンサ２及びＡＤＣ／ピクセルセレクタ３の処理）に用いるパラメータの全部又は一部について、パラメータの閾値を設定する処理を行う。

また閾値設定部８５はロジック部５、アレイセンサ２、ＡＤＣ／ピクセルセレクタ３の全部又は一部において、閾値に基づいて変更されたパラメータを用いた処理が行われるようにする。
具体的には閾値設定部８５は、例えばロジック部５で画像処理に用いるパラメータを、閾値に基づいて変更し、変更したパラメータをロジック部５に設定する。
また或いは、閾値設定部８５は、例えばアレイセンサ２での露光動作やＡＤＣ／ピクセルセレクタ３の読出処理、ＡＤ変換処理などの撮像処理に用いるパラメータを、閾値に基づいて変更して、変更したパラメータをアレイセンサ２やＡＤＣ／ピクセルセレクタ３に設定する。

このようなセンサ装置１の演算部８の処理例を図２２に示す。図２２は図５の分類画像適応化の処理に、上記の閾値設定部８５の処理を加えた例としている。図２２において図５と同一の処理は同一のステップ番号を付し説明を省略する。
この図２２では、図５の処理に閾値設定部８５による処理としてのステップＳ１５０，Ｓ１５１が追加されたものとしている。

ステップＳ１５０で演算部８は、閾値算出タイミングであるか否かを判定し、閾値算出タイミングであればステップＳ１５１に進み、閾値算出タイミングでなければステップＳ１０１に進む。

閾値算出タイミングは、例えば以下のタイミングとする。
ａ．所定の時間間隔毎：例えば撮像開始から１時間間隔毎
ｂ．所定の設定時刻毎：例えば時刻０：００ａｍ毎
ｃ．所定のターゲットクラスの出現回数毎：例えばターゲットクラスが１０００回出現する毎
ｄ．所定のターゲットクラス撮像時間毎：例えばターゲットクラスが撮像されている時間が５時間経過する毎
ｅ．外部からの命令によるタイミング：例えばプロセッサ１１など、センサ装置１が搭載されているデバイス／機器側からの指示

例えばこれらのタイミングなどがステップＳ１５０で判定され、閾値算出タイミングとなったら、演算部８はステップＳ１５１で閾値算出方針に従い閾値算出を行う。つまり閾値を決めて閾値に応じたパラメータを設定する。

この閾値算出方針（閾値）は閾値を算出する際に注目する撮像処理または画像処理のパラメータの種類や捉え方でいくつかの方針に分かれていて、アプリケーションにより異なる。以下にその例をあげる。

・コンフィデンスレートの下降カーブの変曲点を用いる
解像度を落としていくとデータサイズは減り、計算コストも下がるメリットがあるが、一般的に反対にコンフィデンスレートは下降していく。
図２３Ａには横軸に解像度、縦軸にコンフィデンスレートを示している。
図示のようにコンフィデンスレートの下降は、ある解像度（変曲点）以下の低解像度になると大きく下降する。そこで例えば解像度を変更しながらコンフィデンスレートと解像度の関係のカーブの変曲点を求める。その変曲点又は変曲点付近を閾値と考えて解像度を落とすようなパラメータ設定を行う。

・コンフィデンスレートの最大値を用いる
物体検出のクラス分類はそのクラスによって、必ずしも色数が多いほうがコンフィデンスレートが高いわけではなく、対象となるクラスによって、コンフィデンスレートが最大となる最適な色数がある。
図２３Ｂには横軸に色階調の数、縦軸にコンフィデンスレートを示している。
図示のようにコンフィデンスレートのピークが観測される場合、その最大値に基づいて閾値を計算する。例えば最大値（コンフィデンスレートと色階調数の関係のカーブのピーク）を閾値と考えたり、又は最大値に近い所定範囲（所定％のコンフィデンスレートを低下させた値など）を閾値として考える。そして閾値に応じて色階調数のパラメータを設定する。

・バッテリー残量を用いる
バッテリー残量を元にＮ時間撮像が可能なパラメータ設定を求め、その中でコンフィデンスレートが最も高くなるように（或いは所定以上となるように）パラメータを設定する。
例えばなるべく撮像時間が長く得られるように、コンフィデンスレート等の閾値をバッテリー残量に応じて低下させ、そのコンフィデンスレートに応じたパラメータ設定が行われるようにすることが考えられる。

・オブジェクトトラッキングを維持できる時間解像度を用いる
オブジェクトトラッキングとは、連続する画像信号のフレームにおいて特定の検出物体（オブジェクト）を、フレーム進行方向で追尾認識することである。
一般的に画像信号の時間解像度を下げるとオブジェクトトラッキングにかかる計算コストが高くなる。
このオブジェクトトラッキングの維持ができるパラメータということを閾値とし、オブジェクトトラッキングの低計算コスト化優先で時間解像度や他のパラメータを決める。

例えば以上の例のような方針のいずれかを採用し、所定のアルゴリズムで閾値算出を行う。演算部８の閾値算出処理の例を図２４に示す。
この図２４の演算部８の処理は図２１に示した物体領域認識部８２、クラス識別部８３、閾値設定部８５としての各機能により実行される処理である。

演算部８はステップＳ１６０として、アレイセンサ２から１フレーム単位の画像信号を取得する。

ステップＳ１６１で演算部８（物体領域認識部８２）は、取得したフレーム内の物体の候補となる位置の検出を行う。
即ち演算部８はフレーム画像において検出すべき物体の候補を探索し、１又は複数の候補の位置（画像内の位置座標）を求める。

ステップＳ１６２で演算部８（クラス識別部８３）は、検出物体のクラス分類を行う。即ち物体の候補のそれぞれについてクラス識別を行い、分類する。

ステップＳ１６３で演算部８はクラス識別結果として得られたクラス内に ターゲットクラスが存在したか否かを確認する。
ターゲットクラスは、上述のように例えばプロセッサ１１から設定されたクラスである。即ちプロセッサ１１での物体検出の対象とされているクラスが想定される。

ターゲットクラスが存在しなければ、演算部８はステップＳ１６０に戻って、次のフレームの画像データの取得を行うことになる。
ターゲットクラスが存在した場合、演算部８はステップＳ１６３からＳ１６４に処理を進める。

ステップＳ１６４に進んだ場合、演算部８（物体領域認識部８２）はクラスに分類された物体エリアを囲う正確な位置座標（バウンディングボックス２０）の算出を行う。バウンディングボックス２０については図６Ｆ、図６Ｇ等を用いて説明したとおりである。

ステップＳ１６５で演算部８（閾値設定部８５）は、バウンディングボックス２０で囲まれたターゲットクラスについての、撮像処理又は画像処理で用いるパラメータを、予め設定された閾値算出方針に従って変更しながら閾値及びパラメータを算出する。

ステップＳ１６６で演算部８（閾値設定部８５）は、ステップＳ１６５で算出した閾値、パラメータ、ターゲットクラス、及び閾値算出方針の情報が対応づけられて記録されるようにする。
例えば演算部８内部の記録領域に記録させたり、メモリ６の所定領域に記録させたり、或いはプロセッサ１１に転送して記録させる。
これによりターゲットクラスに応じた閾値やパラメータが設定される。

図２２のステップＳ１５１で、例えば以上のように閾値及びパラメータが設定される。従って閾値算出タイミングとなる度に、或るターゲットクラスについてのパラメータセットが変更されることになる。
例えば人がターゲットクラスであったら、人に対応するパラメータセットの全部又は一部のパラメータが閾値に応じて変更される。

図２２のステップＳ１０１からＳ１０７までは図５と同様であるため、この場合、ターゲットクラスに応じてパラメータセットが選択されることになる。そしてステップＳ１０７でパラメータセットがロジック部５に設定される。
このロジック部５にセットされるパラメータセットは、ターゲットクラスに適応するパラメータセットであるが、上記ステップＳ１５１の処理で算出された閾値に基づいて変更されたパラメータセットとなる。
演算部８（閾値設定部８５）は、このようにロジック部５で用いられるパラメータが変更されるように、必要な処理、例えばパラメータのロジック部５への転送或いは変更指示を行うことになる。

これにより画像処理や撮像処理に関するパラメータが、閾値に基づいてなるべく画像データ量が少なくなる値とされる。
従ってインターフェース部７から出力される画像信号は、プロセッサ１１で必要とされる物体検出の精度が維持できる画質等であって、しかもデータ量の少ないものとすることができる。

なお、以上の図２２の処理例は図５の分類画像適応化の処理に閾値設定に基づくパラメータ変更の考え方を加えたものであるが、必ずしも分類画像適応化の処理と組み合わせなくてもよい。
例えばステップＳ１５０，Ｓ１５１，Ｓ１０７，Ｓ１０８のみの処理例（図２２においてステップＳ１０１からＳ１０７を無くした処理例）も考えられる。

即ちロジック部５で画像処理に用いるパラメータや、或いはアレイセンサ２やＡＤＣ／ピクセルセレクタ３で用いられる撮像処理に用いるパラメータが、ステップＳ１５１の閾値算出に基づいて設定される。
そしてステップＳ１０７の時点では、閾値に応じて設定されたパラメータがロジック部５やアレイセンサ２やＡＤＣ／ピクセルセレクタ３に設定されるようにする。
つまり演算部８（閾値設定部８５）は、閾値に応じて設定したパラメータをロジック部５、アレイセンサ２、ＡＤＣ／ピクセルセレクタ３の一部又は全部への転送し、或いは変更指示を行うようにする。
この場合、クラスに応じたパラメータセットを用いるという考え方によらずに、例えばロジック部５、アレイセンサ２、ＡＤＣ／ピクセルセレクタ３において例えばデフォルトで設定されたパラメータを、逐次、閾値算出に基づいて変更していくような処理が実現されることになる。

閾値設定部８５を有する構成は図２１に限らず、例えば図２５，図２６のような構成例も考えられる。
図２５は、端末装置１００として、センサ装置１とは別体に演算部８が設けられている構成例である。なお端末装置１００としては、情報処理端末、撮像装置端末等、各種が考えられる。
演算部８は、センサ装置１とは別チップとされて端末装置１００内に設けられ、センサ装置１とインターフェース部７を介して通信可能とされる。
そして演算部８は閾値設定のためのＤＮＮエンジンとなる閾値設定部８５を備える。
これにより、図２５の演算部８も上記図２２の場合と同様の処理を行うことができる。

なお、この図２５のような構成例は、第１から第５の実施の形態の図１の構成例にも適用できる。演算部８は、センサ装置１と別体であってもよい。

図２６の構成例は、閾値設定のためのＤＮＮエンジンとなる閾値算出部８５がセンサ装置１や演算部８とは独立したプロセッサ等により形成される場合の例である。
例えば端末装置１００として、センサ装置１（演算部８を含む）、プロセッサ１１、外部センサ１２、及び閾値設定部８５を有する構成である。
この場合も閾値設定部８５は、センサ装置１とはインターフェース部７を介して通信可能とされ、演算部８と連携して上記図２２と同様の処理を行うことができる。

さらに図示は省略するが、図２６のようにセンサ装置１と演算部８が別体の構成において、さらに閾値設定部８５が別体のプロセッサなどにより構成されてもよい。

なお、キーフレーム選択部８１、物体領域認識部８２、クラス識別部８３、パラメータ選択部８４などについても、閾値設定部８５と同様に、センサ装置１の外、或いは演算部８の外に配置される構成とすることも考えられる。この点は図１の構成の変形例としても適用できる。

＜８．第７の実施の形態：アクティブエリアクリッピング＞
第７の実施の形態として、上述の第２の実施の形態のＲＯＩを用い、更に効率的な処理を実現する例を説明する。
なお以下の第７の実施の形態の処理は、図１，図２１，図２５，図２６のいずれの構成であっても適用できる。

上述の第２の実施の形態では、図７，図８で例示したように検出対象の物体についてＲＯＩ２１を設定し、アレイセンサ２から、ＲＯＩ２１とされた領域内の画素のみを読み出すようにする例を述べた。
ここでＲＯＩ２１とされる領域が、画像内の特定の領域に集中する場合があることに着目する。

図２７Ａは、例えば建物内での監視カメラの画像を例に挙げている。人を検出対象としてＲＯＩ２１を設定しているとする。図では、過去所定期間内に設定されたＲＯＩ２１の元となったバウンディングボックス２０の画像内での位置を示している。
例えばこの場合、過去の所定期間内では、バウンディングボックス２０（及びＲＯＩ２１）の設定位置は、画像内で床に近い領域となっている。
換言すれば、画像内の天井近くの領域には人は現れないことから、天井近辺の画像領域については人の検出処理を行わなくてもよいといえる。

そこで、例えば図２７Ｂに示すように検出対象の「人」が表れている領域、つまり過去所定期間にバウンディングボックス２０が設定された実績がある領域をアクティブエリアＲＡとし、検出対象の「人」が表れていない領域、つまり過去所定期間にバウンディングボックス２０が設定されていない領域を非アクティブエリアＤＡとする。

図２８Ａは、例えば高速道路上で車を検出対象として監視する監視カメラの画像の例を挙げており、過去所定期間に設定されたバウンディングボックス２０の位置を示している。
この場合も、車は路面付近に表れることになるため、図２７ＢのようにアクティブエリアＲＡと非アクティブエリアＤＡを設定できることになる。

以上の図２７Ｂ、図２８Ｂの例のようにアクティブエリアＲＡを設定し、アレイセンサ２による撮像画素におけるアクティブエリアＲＡの検出信号から物体検出を行うようにする。そして物体の検出に基づいて生成したＲＯＩ２１を、第２の実施の形態と同様に、信号処理部３０に対し、検出信号の取得又は検出信号の信号処理に関する領域として指示する。

つまり物体検出キーフレームについて、全画面スキャンではなく物体検出の履歴情報に基づいて部分的に光電変換を行って物体検出を行うようにする。
なお物体検出キーフレームとは、第２の実施の形態の処理で物体検出の為にアレイセンサ２の全有効画素領域で情報取得を行うとしたフレームである。このキーフレームにおいてアクティブエリアＲＡの画素領域のみで情報取得を行うことが第７の実施の形態の処理となる。

図２９の演算部８の処理例を示している。なお図９と同一の処理については同一ステップ番号を付している。

演算部８はステップＳ２５０で、キーフレームについてのアクティブエリアの算出タイミングとなったか否かを判定し、算出タイミングであればステップＳ１６１に進み、閾値算出タイミングでなければステップＳ２０１に進む。

キーフレームについてアクティブエリアＲＡの算出タイミングは、例えば次のようにすることが考えられる。
ａ．所定の時間間隔毎：例えば撮像開始から１時間毎
ｂ．所定の設定時刻毎：例えば時刻０：００ａｍ毎
ｃ．所定のターゲットクラスの出現回数毎：例えばターゲットクラスが１０００回出現する毎
ｄ．所定のターゲットクラス撮影時間毎：例えばターゲットクラスが撮像されている時間が５時間となる毎
ｅ．外部からの命令によるタイミング：例えばプロセッサ１１など、センサ装置１が搭載されているデバイス／機器側からの指示

算出タイミングであるとしてステップＳ１６１に進んだ場合、演算部８はキーフレームについてのアクティブエリアＲＡの算出を行う。

キーフレームについてのアクティブエリアＲＡの算出処理例を図３０に示す
演算部８（物体領域認識部８２）はステップＳ２７１で、過去の所定期間内にターゲットクラスのバウンディングボックス２０が出現したアレイセンサ２上の出現エリアのピクセルを算出する。
この場合、出現したそれぞれのバウンディングボックス２０内の全ピクセルは、出現エリアのピクセルになるが、出現した全てのバウンディングボックス２０を包絡的に囲うようにした範囲を設定し、その範囲の全ピクセルを出現エリアのピクセルとするとよい。
さらに出現した全てのバウンディングボックス２０を包絡的に囲うようにした範囲を周囲方向に広げ、その範囲の全ピクセルを出現エリアのピクセルとしてもよい。
このように算出されたバウンディングボックス２０の出現エリアの全てを含むピクセル範囲がアクティブエリアＲＡとなる。

ステップＳ２７２で演算部８（物体領域認識部８２）は、算出したピクセルエリアをクラス名とともに、キーフレームについてのアクティブエリアＲＡとして記録する。例えば演算部８内部の記録領域に記録させたり、メモリ６の所定領域に記録させたり、或いはプロセッサ１１に転送して記録させる。
これによりターゲットクラスに応じたアクティブエリアＲＡが設定される。

図２９のステップＳ２０１では、演算部８（キーフレーム選択部８１）はステップＳ２０１で物体検出キーフレーム記録タイミングとなったか否かを判定する。
第２の実施の形態（図９）と同様、物体検出キーフレーム記録タイミングとは、物体検出の為にアレイセンサ２から情報取得を行うタイミングである。
物体検出キーフレーム記録タイミングとしては、例えばプロセッサ１１等のセンサ装置１の外部からの命令で判定するようにしてもよい。例えば６０ｓｅｃの指示に応じて、６０ｓｅｃの間隔で物体検出キーフレーム記録タイミングと判定することが想定される。

物体検出キーフレーム記録タイミングとなったら、演算部８はステップＳ２５２に進み、アレイセンサ２のアクティブエリアＲＡの画素についてＡＤ変換された画像データを取得する。例えばＡＤＣ／ピクセルセレクタ３に、アクティブエリアＲＡを対象としてアレイセンサ２からの１フレームの画像信号を出力させる。

ステップＳ２０３で演算部８（物体領域認識部８２）は、取得した画像について物体の候補となる位置の検出を行う。このステップＳ２０３からＳ２０８は図９と同様である。

以上の図２９の処理によれば、ステップＳ２０３の物体検出を、１フレームの全有効画素領域ではなく、アクティブエリアＲＡのみで行うことができる。そしてアクティブエリアＲＡはターゲットクラスの物体検出が有り得る領域である。換言すればアクティブエリアＲＡ以外は、ターゲットクラスの物体検出がほぼあり得ない領域である。
従って、物体検出キーフレームの読み出し画素数の削減、検出範囲の縮小により、処理の効率化、消費電力削減等を実現できる。
なお以上の例では、バウンディングボックス２０の履歴に基づいてアクティブエリアＲＡを設定することとしたが、ＲＯＩ２１の履歴に基づいてアクティブエリアＲＡを設定してもよい。その場合、フレーム毎に移動するＲＯＩ（図１０で説明したＲＯＩ２１（NEW））の画素位置の履歴を含めることも考えられる。

＜９．第８の実施の形態：閾値設定とＡＲＯＩを用いたエリアクリッピング＞
第８の実施の形態として、第３の実施の形態として示したＡＲＯＩ２２を用いたエリアクリッピングを更に効率化する処理例を説明する。なおこの第８の実施の形態の処理は、図２１，図２５，図２６のいずれかの構成において実施できる。

この第８の実施の形態は、テンプレートを用いたＡＲＯＩ２２を用いる場合に、検出する対象の物体（クラス）や部位などについて、設定した閾値に基づいてパラメータを設定するものである。つまり第６の実施の形態の閾値の考え方を取り入れ、ＤＮＮの算出する物体検出の正解率を元に閾値を決定し、パラメータを設定する。

例えばＡＲＯＩ２２内の注目領域の解像度の分布をコンフィデンスレートを用いて設定した閾値に応じて決める。
図３１に例を模式的に示している。人をターゲットクラスとした場合と、顔をターゲットクラスとした場合について考える。

第１解像度＞第２解像度＞第３解像度であるとする。
顔検出としてのコンフィデンスレートＣＲは、第１解像度で０．９５、第２解像度で０．８６、第３解像度で０．６６であったとする。
人（身体）検出としてのコンフィデンスレートＣＲは、第１解像度で０．９８、第２解像度で０．８１、第３解像度で０．６５であったとする。

顔検出としての閾値ｔｈＦを０．８５とした場合、画像データ量がなるべく少なくなるように適応化したパラメータとして第２解像度を選択し、テンプレート内の画素についての画像処理を行う。
また人検出としての閾値ｔｈＰを０．８０とした場合、画像データ量がなるべく少なくなるように適応化したパラメータとして第２解像度を選択し、テンプレート内の画素についての画像処理を行う。
この場合はいずれも第２解像度が好適になるが、場合によっては顔検出の場合は閾値ｔｈＦが０．９４として第１解像度が設定されたり、人検出については閾値ｔｈＰが０．６０と設定されて第３解像度が設定されるというようなことも想定される。

つまりＡＲＯＩ２２を用いる場合に、ターゲットクラス毎に閾値を設定して、ＡＲＯＩ２２内の画素に対する画像処理や読出処理等のパラメータを設定する。

演算部８の処理例を図３２に示す。
図３２のステップＳ２５０，Ｓ２５１は図２９のステップＳ２５０，Ｓ２５１と同様であり、演算部８はキーフレームのアクティブエリアＲＡの検出タイミングで、アクティブエリアＲＡの算出（図３０の処理）を行う。

ステップＳ２６０、Ｓ２６１は、図２２のステップＳ１５０，Ｓ１５１と同様である。即ちステップＳ２６０で演算部８（閾値設定部８５）は、閾値算出タイミングであるか否かを判定し、閾値算出タイミングであればステップＳ２６１で閾値算出（図２４の処理）を行う。

この場合の図２４の閾値算出処理としては、演算部８（物体領域認識部８２）は上述と同様にステップＳ１６０からＳ１６４を行う。そして演算部８（閾値設定部８５）はステップＳ１６５で、バウンディングボックス２０で囲まれたターゲットクラスについて解像度を変更しながら、テンプレートとしてのＡＲＯＩパターンに該当する画素領域のデータからのコンフィデンスレートに基づく閾値を算出し、その閾値に基づいてパラメータを設定する。

この場合、クラスに応じたテンプレートとしてのＡＲＯＩパターンについて、閾値に応じてパラメータが設定されるようにする。例えばＡＲＯＩパターン上の領域についての解像度が設定される。
そしてステップＳ１６６で、閾値、ターゲットクラス、ＡＲＯＩパターンと必要なパラメータ、及び閾値算出方針の情報が対応づけられて記録される。例えば演算部８内部の記録領域に記録させたり、メモリ６の所定領域に記録させたり、或いはプロセッサ１１に転送して記録させる。

図３２のステップＳ２０１では、演算部８は物体検出キーフレーム記録タイミングとなったか否かを判定し、物体検出キーフレーム記録タイミングとなったら、演算部８はステップＳ２５２に進み、アレイセンサ２のアクティブエリアＲＡの画素についてＡＤ変換された画像データを取得する。例えばＡＤＣ／ピクセルセレクタ３に、アクティブエリアＲＡを対象としてアレイセンサ２からの１フレームの画像信号を出力させる。

ステップＳ２０３で演算部８（物体領域認識部８２）は、取得した画像について物体の候補となる位置の検出を行う。このステップＳ２０３からＳ２０６は図９と同様である。

ステップＳ２０６でバウンディングボックス２０を算出したら、演算部８（パラメータ選択部８４）はステップＳ２６２で、閾値を元に算出されて記録されているＡＲＯＩパターンを選択する。
ステップＳ２１１で演算部８（物体領域認識部８２）は、バウンディングボックス２０に基づいて実際のＡＲＯＩ２２を算出する。つまり選択したＡＲＯＩパターンに対応する実際の画素領域を求める。例えばバウンディングボックス２０のサイズに応じてテンプレートのサイズを調整したものをＡＲＯＩ２２とする。
そして演算部８（物体領域認識部８２）は、そのＡＲＯＩ２２（ＡＲＯＩのパターンと領域）をＡＤＣ／ピクセルセレクタ３に伝える。

これに応じてＡＤＣ／ピクセルセレクタ３では、アレイセンサ２におけるＡＲＯＩ２２内に該当する画素のみＡＤ変換して出力することになる。
演算部８はステップＳ２１２で、ＡＲＯＩ２２内の画素のみの情報を含む次のフレームの画像データを取得する。そして、取得したフレームについてステップＳ２０３、Ｓ２０４の処理を行う。

このようにＡＲＯＩ２２についても例えばコンフィデンスレートに応じたパラメータ設定を行い、解像度等のパラメータを設定することで、物体検出精度を維持しながら撮像処理や画像処理を効率化できる。

＜１０．第９の実施の形態：閾値設定によるアクティブサンプリング＞
第９の実施の形態として、第５の実施の形態で説明したアクティブサンプリングの手法において、時間解像度をＤＮＮの算出する物体検出の正解率を元に決定する手法を加える例を説明する。
即ちターゲットクラスの単位時間あたりの平均移動量を元にフレームレートをダイナミックに変化させる処理を行うようにする。
なおこの第９の実施の形態の処理は、図２１，図２５，図２６のいずれかの構成において実施できる。

上述した第５の実施の形態では、ノーマルモードとアイドリングモードを用意し、撮像画像内にターゲットクラスの存在が検出されない期間はアイドリングモードとして低いフレームレートとする。そしてターゲットクラスの存在が確認されたらノーマルモードとしてフレームレートを上げ、情報量を密にする。
第９の実施の形態では、この処理に加え、ノーマルモードにおけるフレームレートを、ターゲットクラスに応じて設定するものである。

図３３Ａはセンサ装置１が高速道路上を撮像する監視カメラにおいて用いられている場合の画像の例である。ターゲットクラスを車とし、バウンディングボックス２０を示している。破線矢印は或る車の移動方向を示している。
図３３Ｂは、撮像されている車の移動量を、連続するフレームにおけるバウンディングボックス２０の画像上での位置（ピクセル位置）の変化として示している。このような移動量を多数の車において考えると、平均的な移動量が仮に１１５２ピクセル／秒であったとする。
この場合に、オブジェクトトラッキング（連続するフレーム画像上での対象物の追尾）を維持できるサンプリングレートを算出すると４６ｆｐｓであったとする（図３３Ｃ）。

次に、図３４Ａはセンサ装置１が建物内の監視カメラにおいて用いられている場合の画像の例である。ターゲットクラスを人とし、バウンディングボックス２０を示している。破線矢印は或る人の移動方向を示している。
図３４Ｂは、撮像されている人の移動量を、連続するフレームにおけるバウンディングボックス２０の画像上での位置（ピクセル位置）の変化として示している。このような移動量を多数の人において考えると、平均的な移動量が仮に１９２ピクセル／秒であったとする。
この場合に、オブジェクトトラッキングを維持できるフレームレートを算出すると５ｆｐｓであったとする（図３４Ｃ）。

例えば以上のようにターゲットクラスが車の場合と人の場合では、オブジェクトトラッキングが維持できるフレームレートが異なる。
すると、ターゲットクラスに応じてＤＮＮによりオブジェクトトラッキングが維持できるフレームレートを求め、その閾値（許容されるフレームレート下限）を求めれば、なるべく少ないデータ量としながら、対象物を追尾しつつ検出する物体検出の精度を維持できることになる。
なおフレームレートは、アレイセンサ２の読出タイミングの設定、やＡＤＣ／ピクセルセレクタ３のサンプリングレートの設定により決定される。

図３５に演算部８の処理例を示す。
ステップＳ３５０、Ｓ３５１は、図２２のステップＳ１５０，Ｓ１５１と同様である。即ちステップＳ３５０で演算部８（閾値設定部８５）は、閾値算出タイミングであるか否かを判定し、閾値算出タイミングであればステップＳ３５１で閾値算出（図２４の処理）を行う。

この場合の図２４の閾値算出処理としては、演算部８（物体領域認識部８２）は上述と同様にステップＳ１６０からＳ１６４を行う。そして演算部８（閾値設定部８５）はステップＳ１６５で、バウンディングボックス２０で囲まれたターゲットクラスについてフレームレートを変更しながらオブジェクトトラッキングが維持できる閾値（閾値となるフレームレート）を算出する。
その後、ステップＳ１６６で演算部８（閾値設定部８５）は、ステップＳ１６５で算出した閾値とターゲットクラス、及び閾値算出に使用した閾値算出方針の情報が対応づけられて記録されるようにする。例えば演算部８内部の記録領域に記録させたり、メモリ６の所定領域に記録させたり、或いはプロセッサ１１に転送して記録させる。
これにより例えばターゲットクラスに応じた閾値に基づくパラメータ、即ちオブジェクトトラッキングが維持できるフレームレートでなるべく低いフレームレートの値が設定される。

図３５のステップＳ３０１からＳ１０６は図１８と同様である。
ステップＳ３０１で演算部８（キーフレーム選択部８１）は、例えば予め演算部８内に記憶されているアイドリングモードの設定に従って、ＡＤＣ／ピクセルセレクタ３へ動画撮像の設定を行う。
従って仮にアイドリングモードの設定が１ｆｓｐであれば、動画撮像は例えば１ｓｅｃ間隔で行われる。

ステップＳ３０２で演算部８（物体領域認識部８２）は、取得した画像について 物体の候補となる位置の検出を行う。
ステップＳ３０３で演算部８（クラス識別部８３）は、候補として検出された物体のクラス分類を行う。
ステップＳ３０４で演算部８はクラス識別結果として得られたクラス内に ターゲットクラスが存在したか否かを確認する。
ターゲットクラスが存在しなければ、演算部８はステップＳ３５０，Ｓ３５１を介してステップＳ３０１，Ｓ３０２，Ｓ３０３の処理を繰り返す。
この間、閾値算出タイミングとなればステップＳ３５１の処理が行われる。

ステップＳ３０４でターゲットクラスが存在すると判定された場合で、演算部８はステップＳ３０４からＳ３５２に処理を進める。
演算部８（キーフレーム選択部８１）は、ステップＳ３５１の処理で記憶したパラメータをノーマルモードの設定とし、ＡＤＣ／ピクセルセレクタ３へ動画撮像の設定を行い、ノーマルモードの撮像を指示する。

例えばターゲットクラスが人であって、図３４Ｃのように５ｆｐｓでオブジェクトトラッキングが維持でき、フレームレート＝５ｆｐｓとされていた場合、ノーマルモードのフレームレート設定が５ｆｓｐとなる。
このようにノーマルモードに切り換えた状態で演算部８はステップＳ３０２、Ｓ３０３の処理を行う。

そして撮像された画像内にターゲットクラスが存在している限り、ノーマルモードが継続され、一方、ターゲットクラスが存在しなくなったらステップＳ３５０，Ｓ３５１を介してステップＳ３０１に戻ってアイドリングモードに切り換えられることになる。

以上のようにアクティブサンプリングとしての処理が行われる。これにより特にターゲットクラスが存在しない期間は、フレームレートを下げてデータ量圧縮を行い、またそれにより消費電力が削減される。
またノーマルモードとされても、ターゲットクラスに応じて適応化されたフレームレートで処理が行われるため、クラスによってはかなり低いフレームレート（上記の５ｆｐｓなど）とされる。従ってノーマルモードにおいてもデータ量圧縮及び消費電力削減が行われる。

なお、演算部８は、ＡＤＣ／ピクセルセレクタ３にフレームレート変更を指示してフレームレートを可変させるとしたが、ロジック部５にフレームレート変換を指示してもよい。
例えばアレイセンサ２からの読み出しは常に１００ｆｐｓで行っているが、アイドリングモードやノーマルモードで設定されるパラメータに応じて、ロジック部５にフレーム間引きを指示する。これによりプロセッサ１１への伝送に関してのデータ量削減が可能である。

＜１１．移動体への応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図３６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図３７は、撮像部１２０３１の設置位置の例を示す図である。

図３７では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には撮像部１２０３１に搭載されるイメージセンサとして、本開示のセンサ装置１を適用し、分割画像適応化、エリアクリッピング、インテリジェントコンプレッション、アクティブサンプリングの一部又は全部を実行することができる。これにより車外情報検出に適応した画像処理や、検出精度を低下させない情報量の適切な削減による処理負担の低減等が可能となる。

＜１２．まとめ及び変形例＞
以上の実施の形態では、次のような効果が得られる。
第１、第６の実施の形態で説明したようにセンサ装置１は、可視光または非可視光の撮像素子が複数、１次元または２次元に配列されたアレイセンサ２と、アレイセンサ２での撮像により得られた画像信号に対し、指示されたパラメータを用いた画像処理を行うロジック部５（画像処理部）と、演算部８とを備える。演算部８はアレイセンサ２での撮像により得られた画像信号から検出される物体についてクラス識別を行い、識別されたクラスに基づいて画像処理に用いるパラメータを選択し、選択したパラメータでロジック部５の処理設定を行う。
即ちアレイセンサ２によって得られた画像信号についてロジック部５で画像処理を施すが、その画像処理のパラメータが画像信号における検出物体のクラス識別に基づいて設定されるようにしている。
画像からの物体検出を行う場合、人が見て高品位な画像が、必ずしも認識精度が高くなる画像とはならない。また認識する物体のクラスによって望ましい画質は異なる。つまり、視認上高画質となるようにする通常のパラメータ設定による画像処理を施した画像は、必ずしも物体検出のために適した画質ではない。また認識する物体のクラスに応じて、望ましい画像処理パラメータは異なる。
そこで、予めクラス毎にパラメータセットを保持しておくようにし、撮像画像において検出物体のクラス識別に応じて、使用するパラメータセットを選択する。これにより、目的とする物体の検出に適した画像処理が行われる。このような画像処理が行われた画像によれば、物体検出の精度の向上を実現できる。
また、物体検出に望ましい画質調整は、人が美しいと感じるようにする画質調整とは異なるため、例えば美しさを優先する為のぼかしフィルタなどは使用されない。このため設定されるパラメータは処理の低負荷化をもたらすものであることが多い。
またクラスに応じたパラメータ（例えば階調変更や圧縮に関するパラメータなど）によってはデータ量が低減される場合も多く、その場合、プロセッサ１１側の計算が高負荷になる為に処理が遅延したり、システム全体の消費電力が上昇したりするということも回避される。

各実施の形態のセンサ装置１は、ロジック部５（画像処理部）で画像処理された画像信号を外部装置に出力するインターフェース部７（出力部）を備えている。
センサ装置１は、内部のロジック部５により、物体のクラスに応じた画像処理を行い、これをプロセッサ１１に送信出力することになるが（図５のステップＳ１０８）、これによりプロセッサ１１において物体検出を向上させるための画質調整を行う必要をなくすものとなる。従ってプロセッサ１１での処理負担を軽減しつつ、精度の高い物体検出が可能となる。
またクラス認識に基づいて選択されたにパラメータセットは、必ずしも人の視認上の最高画質を得るためのパラメータセットではない。場合によっては処理される画像のデータ量が低減されることもある。つまり、必ずしも人が見た場合の最高画質ではなく、プロセッサが認識しようとする物体に適した画質の画像を出力するものとなり、送信する画像信号のデータ量を低減できる場合もある。
これにより物体検出の精度を落とすことなく、通信コストを削減できる。クラウドで計算処理をする場合の転送の遅延も改善される。

実施の形態のインターフェース部７（出力部）は、出力する画像信号についてのクラス識別に関する情報の送信も行うと述べた（図５のステップＳ１０８）。
これにより出力先のプロセッサ１１やクラウドのＡＩプロセッサ等において、クラスを認識した上で物体検出を行うことができ、より精度の高い物体検出が可能となる。

第１、第６の実施の形態では、演算部８は、画像信号の１フレーム内において、検出対象の物体の候補となる物体領域を検出する物体領域認識処理と、物体領域認識処理で検出された物体領域の物体のクラス識別を行うクラス識別処理と、クラス識別処理の識別結果に基づいてパラメータ選択をしてロジック部５の処理設定を行うパラメータ選択処理とを行うことを述べた（図１、図５参照）。
即ち演算部８は、物体領域認識処理を行う物体領域認識部８２、クラス識別処理を行うクラス識別部８３、パラメータ選択処理を行うパラメータ選択部８４を備え、これにより画像信号の１フレームから物体候補の検出、クラス識別、クラス識別に基づくパラメータ選択を実現できる。

第１、第６の実施の形態では、演算部８は、画像信号の１フレーム内において、検出対象の物体の候補となる物体領域を検出する物体領域認識処理と、物体領域認識処理で検出された物体領域の物体のクラス識別を行うクラス識別処理と、クラス識別処理で識別されたクラスのうちにターゲットクラスが存在するか否かを判別する処理と、ターゲットクラスが存在した場合に、そのターゲットクラスのクラス認識結果に基づいてパラメータ選択をしてロジック部５の処理設定を行うパラメータ選択処理とを行う（図１、図５、図２２参照）。
ターゲットクラスの存在判定を行うことで、画像認識の目的とする物体のクラスに基づくパラメータ選択が効率良く実行できる。換言すれば、ターゲットとしていない物体の検出に基づいてのパラメータ選択が行われないことで、無用なパラメータ選択が行われず、処理が効率化され、かつ不適切なパラメータ設定が行われないことで目的とする物体の画像認識精度を向上できる。

第１、第６の実施の形態では、ターゲットクラスは複数設定可能とされ、１フレーム内に複数のターゲットクラスの物体が存在する場合は、選択された一のターゲットクラスに基づいてパラメータ選択処理が行われる（図５と図２２のステップＳ１０６参照）。
複数のターゲットクラスを設定可能とすることで、複数のクラスにわたる物体を対象とする画像認識に対応できる。
また１フレーム内に複数のターゲットクラスの物体が存在する場合は、例えば支配的もしくは優勢なターゲットクラスを選択するなどして、一のターゲットクラスに基づいてパラメータ選択が行われるようにすることで、適切なパラメータセットが可能となる。
また第１、第６の実施の形態（図５と図２２のステップＳ１０５，Ｓ１０６）では、ターゲットクラスに該当する物体領域に対しては、物体を囲うバウンディングボックス２０を算出し、複数のターゲットクラスが存在する場合は、バウンディングボックス２０の面積を用いて一のターゲットクラスを選択する例を挙げた。
複数のターゲットクラスの物体が存在する場合は、バウンディングボックス２０により各物体の領域を規定し、各ターゲットクラスの物体の１フレーム内での支配面積を求めることで、優先すべきターゲットクラスを判定できる。これにより適切なパラメータ選択が可能となる。

第１、第６の実施の形態では、演算部８は、クラス毎に設定された、複数のパラメータを含むパラメータセットを、識別されたクラスに基づいて選択する例を述べた。即ちロジック部の各種処理のパラメータをセットにしたパラメータセットを記憶しておき、このパラメータセットを選択してロジック部に設定する（図４、図５と図２２のステップＳ１０７参照）。
これによりロジック部５の各種画像処理に応じたパラメータとして、対象のクラス（ターゲットクラス）に適した複数のパラメータを設定できることになる。

第１の実施の形態では、パラメータセットは、各クラスに該当する物体の画像を用いたディープラーニングにより得られた複数のパラメータのセットである例を挙げた。
例えば人の画像を学習データとして用いたディープラーニングにより、人認識の画像認識率が高いものとされる画像処理用のパラメータを求め、そのパラメータのセットを「人」というクラスに対応するパラメータセットとする（図４参照）。
これにより、各クラスに適したパラメータセットを用意することができ、その選択により、目的の画像認識に適したパラメータ選択が可能となる。

第１、第６の実施の形態では、演算部８は、アレイセンサ２での撮像により得られた画像信号のうちでキーフレームとされるフレームを対象として、クラス識別を行い、識別されたクラスに基づいて画像処理に用いるパラメータを選択する例を述べた（図５と図２２のステップＳ１０１、Ｓ１０２参照）。
全てのフレームではなくキーフレームを対象とすることで、演算部８の処理負担が過大とならない。また適切な選択アルゴリズムに基づいてキーフレームを選択することで、適切なパラメータ選択が行われる状態を維持できる。

第１、第６の実施の形態では、キーフレームは、所定の時間間隔毎のフレームとされる例を挙げた。
これにより定期的にパラメータ選択が行われる。例えば３０秒に１フレームをキーフレームとするなどにより、演算部８の処理は過大にならず、かつ適切なパラメータ設定が維持できる。
なお、キーフレームの間隔は、画像認識の目的とする物体、センサ装置１の使用環境、使用目的、センサ装置１を搭載した機器の種別等、各種の事情に応じて設定されることが望ましい。
またキーフレームは、外部機器からの命令に基づくタイミングのフレームとされる例も挙げた。
例えば画像出力先のプロセッサ１１等からの指示によりキーフレームが設定されるようにする。これにより画像信号やクラス識別に関する情報の出力先の機器の認識処理の目的等に応じたキーフレーム選択及びパラメータ選択が行われるようにすることができる。例えばセンサ装置１を搭載した機器の種別、目的等に応じてキーフレームが設定される。
この場合、例えば車載機器を想定すると、自動車が走行を開始したタイミングでキーフレームを密な間隔とするようなことも可能となる。

各実施の形態のロジック部５は、画像信号に対する画像処理として、色補正、ガンマ補正、色階調処理、ゲイン処理、輪郭強調処理、データ圧縮処理、フレームレート変換、解像度変換、縦横比率変換、コントラスト調整処理、シャープネス調整処理、グレーレベル調整処理、サンプリングレート変更処理等を行うものとした。
これらにより画質調整やデータ量変換を行うが、これらの処理のためのパラメータ設定が行われることで、認識すべき物体のクラスに適した画質調整やデータサイズ調整（解像度やフレームレート等）が実行される。結果としてターゲットクラスの物体検出に適した画像及びデータサイズとされ、不要な高画質化やデータ量の増大が抑えられることにもなり、通信コストの低下、処理速度の向上、物体検出精度の向上等に寄与する。

各実施の形態のインターフェース部７（出力部）は、外部機器の要求に応じて、ロジック部５で画像処理された画像信号、識別されたクラスの情報、検出された物体の数、ターゲットクラスの有無の情報のいずれか又は全てを出力することを述べた。これは第１から第５の実施の形態について共通の動作となる。
即ちインターフェース部７は、プロセッサ１１やクラウドのプロセッサ等からの要求に応じて、ロジック部５で処理された画像信号、演算部８で識別されたクラスの情報、オブジェクト数、ターゲットクラスの有無の情報のうちで、プロセッサ１１で必要とされる情報を出力する。これにより不要な情報の転送は避けられ、通信量を削減でき、消費電力の低減も実現される。
またプロセッサ１１等における処理に応じた情報提供ができることになる。
なお各実施の形態では画像信号を対象としたが、アレイセンサ２が音波検出素子アレイや触覚センサ素子アレイとされることも想定される。その場合は、インターフェース部７はそれらの検出信号（ロジック部５の処理後の検出信号）を外部機器の要求に応じて出力することになる。

第２，第３，第４，第７，第８の実施の形態で説明したように、センサ装置１は、検出素子が複数、１次元または２次元に配列されたアレイセンサ２と、アレイセンサ２による検出信号を取得し、信号処理を行う信号処理部３０とを備え、演算部８は、アレイセンサ２による検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報（ＲＯＩ２１やＡＲＯＩ２２）を、信号処理部３０に対し、アレイセンサ２からの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する。
即ちアレイセンサ２によって得られた検出信号について、信号処理部３０で信号処理を施してインターフェース部７から出力するが、信号処理部３０におけるアレイセンサ２からの検出信号の取得又は信号処理に関する領域情報が、物体検出に基づいて設定されるようにする。
実施の形態のように画像からの物体検出を行う場合に、常に各フレームの全画素の情報が必要となるわけではない。例えば人を検出する場合には、フレーム内で人が写されている領域の検出情報があればよい。そこで演算部８で物体検出に基づいてＲＯＩ２１やＡＲＯＩ２２生成し、信号処理部３０の処理、即ちＡＤＣ／ピクセルセレクタ３によるアレイセンサ２からの検出信号の取得や、ロジック部５における圧縮処理が、ＲＯＩ２１やＡＲＯＩ２２を用いて行われるようにしている。
これにより、処理対象のデータ量の削減、処理速度の向上を実現できるとともに、検出精度を低下させないような画像信号を得ることができる。
なお、画像信号に限らず、音波検出信号、触覚検出信号などとしてアレイセンサから得られる検出信号に対しても、物体検出を行い、物体の検出に基づいて生成した領域情報を、信号処理部に対し、アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報を指示するようにすることもできる。
これにより、音波センサアレイ、接触センサアレイを用いる場合においても、処理対象のデータ量の削減、処理速度の向上を実現できるとともに、検出精度を低下させないような検出信号を得るという効果が得られる。

第２，第３，第４，第７，第８の実施の形態の場合、インターフェース部７（出力部）は、信号処理部３０で信号処理された検出信号を外部装置に出力する。
ＲＯＩ２１やＡＲＯＩ２２を用いて一部の画素のみをＡＤ変換した画像信号や、ＲＯＩ２１を用いて領域毎に圧縮率を変えた画像信号をプロセッサ１１等に出力するため、伝送するデータ量は著しく削減される。これにより通信コストの低下や伝送時間の短縮が実現される。その上で、物体検出に必要な情報は含まれているので、プロセッサ１１等における物体検出の精度が低下しない。またデータ量が削減されることでプロセッサ１１での処理負担も軽減される。
またプロセッサ１１側の計算が高負荷になる為に処理が遅延したり、システム全体の消費電力が上昇したりするということも回避される。

各実施の形態では、信号処理部３０は、アレイセンサ２の検出素子について選択的に検出信号を取得するＡＤＣ／ピクセルセレクタ３（取得部）を有している。
そして第２，第３，第７，第８の実施の形態では、ＡＤＣ／ピクセルセレクタ３は、検出信号の１フレームとして、演算部８からのＲＯＩ２１やＡＲＯＩ２２に基づいて選択される検出素子の検出信号を取得するものとした（図９、図１４、図２９、図３２参照）。
ＡＤＣ／ピクセルセレクタ３が、物体検出された次のフレームからは、ＲＯＩ２１やＡＲＯＩ２２によって指定される範囲のみ光電変換信号をＡＤ変換して取得することで、１フレームのデータ量を大きく削減できる。その上でＲＯＩ２１やＡＲＯＩ２２が物体検出に基づいて設定されることで、物体検出に必要な画素の情報は適切に得られるものとすることができる。

第２，第３，第７，第８の実施の形態では、演算部８は、ＡＤＣ／ピクセルセレクタ３（取得部）が領域情報（ＲＯＩ２１、ＡＲＯＩ２２）による検出素子の選択を行わない状態でアレイセンサ２から取得した検出信号に対して物体検出を行い、物体の検出に基づいて生成したＲＯＩ２１やＡＲＯＩ２２を、信号処理部３０に対し、ＡＤＣ／ピクセルセレクタ３によるアレイセンサ２からの後続フレームの検出信号の取得に用いる領域情報として指示する例を述べた（図９、図１４、図２９、図３２参照）。
１フレームの全有効画素を含む画像信号から物体検出を行うことで、撮像された画像内で検出すべき物体を的確に検出できる。その上で、検出された物体に基づくＲＯＩ２１やＡＲＯＩ２２を生成し、ＡＤＣ／ピクセルセレクタ３に供することで、次のフレームからは、物体検出に必要な画素のみの情報を取得できる。このためデータ量を削減しつつ適切な検出情報（必要な画素の情報）を取得できるようになる。

第２，第３，第７，第８の実施の形態では、演算部８は、ＡＤＣ／ピクセルセレクタ３がＲＯＩ２１やＡＲＯＩ２２による検出素子の選択を行なった状態でアレイセンサ２から取得した検出信号に対して物体検出を行い、物体の検出に基づいて、領域情報を再生成して、信号処理部３０に対し、ＡＤＣ／ピクセルセレクタ３によるアレイセンサ２からの後続フレームの検出信号の取得に用いる領域情報として指示することを述べた（図９、図１４、図２９、図３２のステップＳ２０３、及び図１０参照）。
一部の画素の情報のみとされた画像信号のフレームからも物体検出を行うことで、物体の位置の変化に応じてＲＯＩ２１やＡＲＯＩ２２を修正していくことができる。これにより、後続フレームにおいて、画像内での物体（例えば人）の動きに追従して、ＡＤＣ／ピクセルセレクタ３で取得される領域が変化される。つまり対象の物体がフレーム毎に画像内での位置が変化するものであっても、フレーム毎にその変化に追従した位置で、画素を選択して読み出すことができる。このためデータ量を削減しつつ適切な検出情報（画素情報）を行う状態を、フレームが進行しても継続できる。

第２，第３，第７，第８の実施の形態では、演算部８は、ＡＤＣ／ピクセルセレクタ３がＲＯＩ２１やＡＲＯＩ２２による検出素子の選択を行なった状態でアレイセンサ２から取得した検出信号に対して物体検出を行い、目的の物体が検出されなかった場合は、後続フレームにおいて、ＡＤＣ／ピクセルセレクタ３がＲＯＩ２１やＡＲＯＩ２２による検出素子の選択を行なわない状態でアレイセンサ２から検出信号を取得するように指示するものとした（図９、図１４、図２９、図３２のステップＳ２０５，Ｓ２０１，Ｓ２０２参照）。
即ち演算部８は、アレイセンサ２から一部の検出素子の情報のみを取得したフレームにおいて目的の物体が検出されなくなったら、取得部での検出信号の取得を通常の状態に戻すようにする。
これにより、１フレームの全有効画素を含む画像信号から物体検出を行う状態に戻り、再び撮像された画像の全体で目的の物体検出を行うことができる。つまり画像全体を監視できる状態となる。

第２，第３，第４，第７，第８の実施の形態では、演算部８は、アレイセンサ２による検出信号から検出された物体の領域を囲うバウンディングボックス２０を求め、バウンディングボックス２０に基づいて領域情報としてのＲＯＩ２１やＡＲＯＩ２２を生成する例を述べた（図９、図１４、図１６、図２９、図３２参照）。
物体検出によりバウンディングボックス２０を生成し、このバウンディングボックス２０からＲＯＩ２１やＡＲＯＩ２２を生成することで、画像内での目的の物体の位置に応じたＲＯＩ２１やＡＲＯＩ２２を生成できる。これにより次フレームでの読出画素も適切に選択できる。

第２，第４，第７，第８の実施の形態では、演算部８は、バウンディングボックス２０を拡大してＲＯＩ２１を生成する（図９、図１６、図２９、図３２参照）。
バウンディングボックス２０は現フレームでの物体の領域を囲うものであるが、後続のフレームでは物体の位置が変化している可能性がある。そこでバウンディングボックス２０を拡大してＲＯＩ２１を生成する。
これにより、次フレームにおいて取得される情報（ＡＤ変換される画素の信号）として、物体が含まれるようにする可能性を高めることができる。つまり必要な情報を含む画素読出をなるべく継続させるようにすることができる。

第２の実施の形態の説明中において、演算部８は、検出された物体について検出素子単位で領域を判定して領域情報を生成する例を述べた（図１１参照）。
即ち、セマンティックセグメンテーションに基づいてＲＯＩ２１を生成する。これにより非矩形のＲＯＩ２１も生成される。
物体によっては矩形でクリッピングすると情報が欠ける場合がある。例えば突起物のあるトラック等や、自転車に乗っている人などは、矩形だと、はみ出る部分が生じたり、それをカバーするとＲＯＩ２１が不必要に大きくなり、データ削減効果が低下される。そこで画素レベルで必要な領域が選択できるようにする。これにより必要な情報を、最小限のデータ量で取得することができるようになる。
このようなセマンティックセグメンテーションに基づくＲＯＩ２１は第４の実施の形態において低圧縮率とする領域を設定する場合にも有用である。

第２，第３，第４，第７，第８の実施の形態では、演算部８は、アレイセンサ２から得られる検出信号のうちで物体検出キーフレーム記録タイミングのフレーム（キーフレーム）を対象として、物体検出を行い、物体の検出に基づいて領域情報を生成する（図９、図１４、図１６、図２９、図３２のステップＳ２０１参照）。
全てのフレームではなくキーフレームを対象とすることで、演算部８の処理負担が過大とならない。また適切な選択アルゴリズムに基づいてキーフレームを選択することで、適切な物体検出が可能な状態を維持できる。
この場合もキーフレームは、所定の時間間隔毎のフレームとされたり、外部機器からの命令に基づくタイミングのフレームとされる。
例えばセンサ装置１を搭載した機器の種別、目的等に応じてキーフレームが設定されるようにすれば、機器やアプリケーションが必要とするタイミングで、フレームの画素全体を対象として物体検出を行い、それ以降のフレームではデータ量を削減するといったことが可能となる。

第２，第３，第４，第７，第８の実施の形態では、演算部８は、アレイセンサ２から得られた検出信号から検出される物体についてクラス識別を行い、識別されたクラスが、ターゲットクラスであるか否かを判定し、ターゲットクラスの物体に対応して領域情報（ＲＯＩ２１やＡＲＯＩ２２）を生成する（図９、図１４、図１６、図２９、図３２のステップＳ２０４，Ｓ２０５参照）。
ターゲットクラスの存在判定を行い、ターゲットクラスの物体領域に用いてＲＯＩ２１やＡＲＯＩ２２を生成することで、検出目的とする物体の情報を取得するための領域情報を的確に生成できる。

第３，第８の実施の形態では、演算部８はアレイセンサ２から得られた検出信号から検出される物体についてクラス識別を行い、当該物体に対応する領域情報（ＡＲＯＩ２２）を、識別されたクラスに対応するテンプレートを用いて生成する例を述べた（図１４のＳ２１０，Ｓ２１１、図３２のＳ２６２，Ｓ２１１参照）。
クラスに対応するテンプレートを用いることで、クラス毎に異なる重要な領域に適応するようなＡＲＯＩ２２を生成できることになる。
特にアレイセンサ２が撮像素子によるものである場合、光電変換での消費電力は最も大きい。この場合、できるだけ光電変換する画素を少なくしたいこととなる。テンプレートに従って光電変換する画素を絞ることで、検出精度に影響を与えずに有効なデータ量削減が可能となる。特に画像は、人が見るわけではなく、人がきれいと感じる画像よりもプロセッサ１１が的確に物体を認識できる画像であることが重要である。テンプレートを用いて光電変換及びデジタルデータ化する画素を指定した画像は、少ないデータ量で有効な物体検出に適したものとなる。
またテンプレートは、クラス毎に、検出信号の取得領域を示したものであるとした。
例えばテンプレートは、「人」「自動車」などの各クラスに応じてアレイセンサの検出素子のうちで、検出情報を取得すべき検出素子を示すものとする（図１２，図１３参照）。
クラスに対応して読み出すべき画素を指定するテンプレートを用いることで、クラス毎にアレイセンサ２からの適切な情報の読出が可能となる。特に、図１２，図１３の例のように一部（顔の部分やナンバープレートの部分）が高密度化されていることで、クラス毎に、特に必要な部分の情報を集中的に取得するようなことも可能となる。

第４の実施の形態では、信号処理部３０では、ロジック部５でアレイセンサ２からの検出信号を圧縮処理するものとし、ロジック部５は、演算部８からの領域情報に基づいて、領域毎に異なる圧縮率による圧縮処理を行う例を述べた（図１６参照）。
これにより信号処理部３０（ロジック部５）は、フレーム内で重要な領域と、さほど重要でない領域とで圧縮率を異ならせることで、重要な情報を削減しないようなデータ圧縮が可能となる。
またロジック部５は、領域情報で指定される領域では、低圧縮率で圧縮処理を行い、他の領域は高圧縮率で圧縮処理を行うとした（図１６参照）。
信号処理部３０（ロジック部５）は、物体検出された次のフレームからは、ＲＯＩ２１によって指定される領域では低圧縮率で圧縮処理を行い、他の領域は高圧縮率でデータ量を削減する。ＲＯＩ２１は物体検出に応じて生成されるため、ＲＯＩ２１で示される領域はプロセッサ１１での物体検出にも重要な領域であり、この領域は低圧縮率とすることで、情報を削減しない。これにより検出精度を低下させない。一方で、ＲＯＩ２１で示される領域以外は、物体検出にあまり影響のない領域となるため、高圧縮率で圧縮して効率的にデータ量を削減する。

第５，第９の実施の形態で説明したようにセンサ装置１は、検出素子が複数、１次元または２次元に配列されたアレイセンサ２と、アレイセンサ２による検出信号を取得し、信号処理を行う信号処理部３０と、アレイセンサ２による検出信号から物体検出を行い、物体の検出に基づいてアレイセンサ２からの検出信号のフレームレートを可変指示する演算部８を備える。
実施の形態のように画像からの物体検出を行う場合に、常に高いフレームレートの画像信号が必要となるわけではない。例えば人を検出する場合には、人が写されていないフレームでは、フレームレートは低くても問題ない。逆に人が登場する期間ではフレームレートが高くなることで、情報量が豊富となり、物体（人）検出や、それに付随して認識できる情報も増加させることができる。
つまり物体の検出に応じてフレームレートを変化させることで、適応的に必要時にデータ量を多くし、不要時にデータ量を削減でき、物体検出性能を低下させずに処理データ量や転送データ量を削減できる。

なお、画像信号に限らず、音波検出信号、触覚検出信号などとしてアレイセンサから得られる検出信号に対しても、物体検出を行い、物体の検出に基づいてアレイセンサからの検出信号のフレームレートを可変指示することもできる。これにより、音波センサアレイ、接触センサアレイを用いる場合においても、適応的に必要時にデータ量を多くし、不要時にデータ量を削減でき、物体検出性能を低下させずに処理データ量や転送データ量を削減できるという効果が得られる。
フレームとは、アレイセンサが撮像素子アレイの場合は、画像のフレームとなるが、音波検出素子や触覚センサ素子の場合も同じ意味であり、アレイセンサの種別にかかわらず、アレイセンサの複数の検出素子からの１回の読み出し期間に読み出されるデータ単位である。フレームレートはこのようなフレームの単位時間内の密度となる。

第５，第９の実施の形態の場合、信号処理部３０で信号処理された検出信号を外部装置に出力するインターフェース部７（出力部）は、物体検出の結果に基づいてフレームレートが変化される検出信号をプロセッサ１１等に出力することになる。
このため、伝送するデータ量は著しく削減される。これにより通信コストの低下や伝送時間の短縮が実現される。その上で、目的とする物体検出に必要な情報は含まれているので、プロセッサ１１等における物体検出の精度が低下しない。またデータ量が削減されることでプロセッサ１１での処理負担も軽減される。
またプロセッサ１１側の計算が高負荷になる為に処理が遅延したり、システム全体の消費電力が上昇したりするということも回避される。

第５，第９の実施の形態では、演算部８は、少なくとも第１モード（アイドリングモード）のフレームレートのための設定値と、第２モード（ノーマルモード）のフレームレートのための設定値を記憶しており、物体検出の結果に応じて第１モードと第２モードのいずれかの設定値による制御を行うとした（図１８、図３５参照）。
これにより物体検出の結果、即ちターゲットクラスの物体の有無により、設定値を選択するという簡易な処理でアクティブサンプリングとしての制御が実現できる。

第５，第９の実施の形態における第１モードのフレームレートのための設定値と第２モードのフレームレートのための設定値の一方又は両方は、外部装置から書換可能とされていることが望ましい。例えば外部プロセッサの用途、処理能力、アプリケーションの用途などに応じて設定値が可変されるようにする。
設定値をプロセッサ１１等から書き換えることができるようにすれば、プロセッサ１１やそのアプリケーションの目的に応じたフレームレート設定も可能となる。

第５，第９の実施の形態では、演算部８は、アレイセンサ２の検出信号の読み出し間隔を指示することでフレームレートを可変させる例を述べた（図１８、図３５参照）。
例えば演算部８（キーフレーム選択部８１）がアイドリングモード／ノーマルモードの切替をアレイセンサ２及びＡＤＣ／ピクセルセレクタ３に指示し、アレイセンサ２及びＡＤＣ／ピクセルセレクタ３による画像信号の読み出し間隔を変更することでフレームレート切替を行う。
この場合、フレームレートが低下されるアイドリングモードでは、アレイセンサ２からの光電変換及び読み出し自体の間隔が広げられることになる。アレイセンサ２においては光電変換による消費電力が大きいため、アレイセンサ２においての読み出し間隔を広げることは消費電力の低減効果が大きいものとなる。

第５，第９の実施の形態の説明中では、演算部８は、信号処理部３０（ロジック部５）にフレームレート変更を指示してフレームレートを可変させるようにしてもよい。
即ち信号処理過程でのフレームレート変換によりフレームレートの切替を実行させる。
ロジック部５でフレームレート変換を行うこともできる。例えばフレーム間引き処理を行うことでフレームレートを低下させることができる。この場合、アレイセンサ２が常に高いフレームレートで読み出しを行っていることで、アレイセンサ２における消費電力削減効果は生じないが、プロセッサ１１へ転送するデータ量の削減効果はこの場合も得られる。

第５，第９の実施の形態では、演算部８は、アレイセンサ２から得られた検出信号から検出される物体についてクラス識別を行い、識別されたクラスが、ターゲットクラスであるか否かを判定し、判定結果に応じてフレームレートの可変指示を行う例を述べた（図１８のＳ３０４，Ｓ３０５，Ｓ３０１、図３５のＳ３０４，Ｓ３５２，Ｓ３０１参照）。
ターゲットクラスの存在判定を行い、ターゲットクラスの物体の存在によりノーマルモードとしてフレームレートを高くする。ターゲットクラスの物体が検出されない場合はアイドリングモードとしてフレームレートを低くしている。これにより検出目的とする物体の存在に応じて的確に検出することができる。
例えば人を監視する用途などでは、ターゲットクラスとしての人を検出することでフレームレートを高くすることで、精細な監視が可能となるとともに、それ以外はアイドリングモードとして消費電力の削減やデータ量の削減が可能となる。

各実施の形態では、アレイセンサ２の検出素子は撮像素子であるとした。即ちアレイセンサ２による検出信号は撮像（光電変換）による画像信号とする。
従って撮像画像を用いた物体検出において、物体検出精度を維持できる適切なデータ量の削減と、これに付随する処理負担の軽減、転送コストの低下等を実現できる。

実施の形態ではセンサ装置１は、演算部８としてのＡＩチップやＤＲＡＭチップを有する一体型のセンシングモジュール構成とされることを想定している。
これに対して、演算部８としてのＡＩチップやＤＲＡＭチップをアレイセンサ２の外部とする構成とし、その外部の演算部によって、各実施の形態で説明した読み出しや信号処理の制御が行われるようにする例も考えられる。
またアレイセンサ２と演算部８としてのＡＩチップを一体化し、外部のＤＲＡＭチップを用いる例も考えられる。

第６の実施の形態では、ロジック部５（画像処理部）の画像処理又はアレイセンサ２による撮像に関する撮像処理に用いるパラメータの全部又は一部について、パラメータの閾値を設定し、閾値に基づいて設定したパラメータを用いた処理が行われるようにする閾値設定部８５を備える。
閾値を用いてパラメータを設定（変更）することで、例えば画像信号について、物体検出等の処理のための必要最小限の品質等（例えば必要最小限の解像度など）として出力することができる。従って、出力する画像信号のデータ量を削減しつつ、後段の処理（物体検出等）の処理の性能、精度等を低下させないといったことも可能となる。
またこれにより低消費電力化、処理の高速化も実現できる。

なお、第６の実施の形態で説明した図２２の処理例は、演算部８はアレイセンサ２での撮像により得られた画像信号から検出される物体についてクラス識別を行い、識別されたクラスに基づいて画像処理に用いるパラメータセットを選択し、選択したパラメータでロジック部５の処理設定を行い、その選択したパラメータを閾値に応じて設定（調整）する例としている。従って、クラス毎に適応するパラメータセットにおける一部又は全部のパラメータが、さらに閾値に応じて調整設定されるものとなり、クラスに適応したうえで、さらに物体検出等の検出精度を維持しつつ必要十分なデータ量とすることができる。クラスに適応するパラメータセットをさらに調整するため、よりデータ量低減を進めることができ、低消費電力化、処理の高速化も進めることができる。

但し、この図２２のような例に限らず、単にクラスによらずに設定されているパラメータの全部又は一部を、閾値に基づいて変更するようにしてもよい。その場合も、物体検出等について要求される性能、精度を維持しながら画像信号のデータ量の削減、低消費電力化、処理の高速化を実現できる。

第６の実施の形態では、閾値設定部８５は、画像信号から検出される物体のクラスに応じた閾値を設定するものとした。例えば「人」「自動車」「標識」等のクラスに応じて適切とされる閾値を設定する。
物体検出などのために画像に要求される解像度と検出精度の関係は、クラスによって異なる。そこで、クラスに応じて閾値を設定し、ロジック部５から出力される画像信号の解像度等が変更されるようにすることで、クラスに応じて、必要最小限の解像度などによる出力が可能となる。つまりクラスに応じて解像度等のパラメータを最適化し、物体検出精度等を求められるレベルに維持しつつ、データ削減、低消費電力化、処理の高速化等を実現できる。

第６の実施の形態では、閾値設定部８５は、画像信号に対する学習処理に基づいて閾値を設定する。例えばセンサ装置１側でローカルラーニングとしての学習処理を行って閾値を求める。画像信号に対する学習処理を行うことで、閾値及びそれに応じたパラメータとして望ましい値を判定する。これにより撮像環境や撮像画像内容、検出対象物などに応じて適応的にパラメータ設定が行われる。
またこのようなローカルラーニングをセンサ装置１内、或いはセンサ装置１を含む端末装置１００内で行うことで、当該センサ装置１において求められる画像精度等に適した閾値を算出できることにもなる。
またクラス毎のローカルラーニングにより閾値を設定することで、さらにクラスに適応したパラメータ設定により、出力する画像信号の解像度等の最適化が実現される。

第６の実施の形態では、閾値設定部８５は、コンフィデンスレート（物体検出の確証性の割合）として所定の割合が得られるように閾値を設定するとした。
画像からの物体検出の精度として求められるコンフィデンスレートは、その検出について目的、対象、機器／アプリケーションプログラムの別、時期、地域などによって異なる。
例えば確証性が８０％で良いのであれば、８０％以上の確証性が得られるように閾値が設定され、それに応じたパラメータが設定されれば良い。また、９５％以上の確証性が求められるのであれば、閾値を高くしてパラメータを設定すればよい。
従って閾値の設定（ひいてはパラメータの設定）は、物体検出について求められるコンフィデンスレートに基づいて設定されるようにすることで、その処理の実施に応じた適応化として、望ましい画像信号の品質と、それに応じたデータ削減、低消費電力化、処理の高速化等を実現できる。

第６の実施の形態の閾値設定部８５は、ロジック部５と同一筐体の装置内に設けられる例を挙げた（図２１，図２５，図２６参照）。例えばセンサ装置１としてのユニット内、もしくはセンサ装置１を含む端末装置１００内に閾値設定部８５が設けられるようにしている。そして閾値設定部８５は、ローカルラーニングを行って閾値及びそれに応じたパラメータを設定する。これは、当該センサ装置１や端末装置１００としての機器に適応する状態を学習して閾値の設定を行うことを意味する。これによりセンサ装置１や端末装置１００として求められる出力を実現する適切な閾値設定が可能になる。

第７、第８の実施の形態では、演算部８は、過去の領域情報に関する情報（領域情報の元となる物体の検出領域バウンディングボックス２０や領域情報そのものであるＲＯＩ２１やＡＲＯＩ２２）に基づいてアレイセンサ２から取得する検出信号についてのアクティブエリアＲＡを設定する（図２９，図３２のＳ２５１）。
そしてアクティブエリアＲＡの検出信号から物体検出を行い、物体の検出に基づいて生成したＲＯＩ２１やＡＲＯＩ２２を信号処理部３０に対し、アレイセンサ２からの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する。
これによりＲＯＩ２１やＡＲＯＩ２２を設定するための物体検出の処理負担が著しく低減される。具体的にはステップＳ２０３の処理が軽減される。従って処理負担削減、高速化、消費電力の削減という効果を得ることができる。

第７、第８の実施の形態では、演算部８は、過去のＲＯＩ２１やＡＲＯＩ２２が基づく物体検出の検出領域、即ちバウンディングボックス２０が含まれるようにアクティブエリアＲＡを設定するものとした。
処理を継続することでバウンディングボックス２０が全く設定されない領域が画像上に存在する場合がある。そのような領域は、目的の物体は検出されない非アクティブエリアＤＡとすることができ、逆にそれ以外をアクティブエリアＲＡ、つまり物体検出がなされる可能性のある領域とすることができる。
過去の複数のバウンディングボックス２０に基づくことでアクティブエリアＲＡを容易かつ適切に設定できる。また撮像環境、撮像方向などにも適したアクティブエリアＲＡの設定ができることにもなる。

第７、第８の実施の形態では、演算部８は、ＡＤＣ／ピクセルセレクタ３がＲＯＩ２１やＡＲＯＩ２２による検出素子の選択を行なった状態でアレイセンサ２から取得した検出信号に対して物体検出を行い、目的の物体が検出されなかった場合は、後続フレームにおいて、ＡＤＣ／ピクセルセレクタ３がアクティブエリアの検出信号を前記アレイセンサから取得するように指示するものとした（図２９、図３２のＳ２０５，Ｓ２０１，Ｓ２５２参照）。
即ち演算部８は、アレイセンサ２から一部の検出素子の情報のみを取得したフレームにおいて目的の物体が検出されなくなったら、取得部での検出信号の取得を通常の状態に戻すようにする。
これにより、１フレームのアクティブエリアの画像信号から物体検出を行う状態に戻り、再び撮像された画像のうちで、必要な範囲で目的の物体検出を行うことができる。事実上、画像全体を監視できる状態となる。

第７，第８の実施の形態では、演算部８は、アレイセンサ２から得られる検出信号のうちでキーフレームを対象として、アクティブエリアＲＡの検出信号からの物体検出に基づいて領域情報を生成する例を述べた（図２９，図３２のＳ２０１、Ｓ２５２参照）。
全てのフレームではなくキーフレームを対象とすることで、演算部８の処理負担が過大とならない。また適切な選択アルゴリズムに基づいてキーフレームを選択することで、適切な物体検出が可能な状態を維持できる。
この場合もキーフレームは、所定の時間間隔毎のフレームとされたり、プロセッサ１１等の外部からの命令に基づくタイミングのフレームとされることが考えられる。

第８の実施の形態では、演算部８はアレイセンサ２から得られた検出信号から検出される物体についてクラス識別を行い、当該物体に対応する領域情報（ＡＲＯＩ２２）を、識別されたクラスに対応するテンプレートを用いて生成する。この場合に、閾値を元に解像度等のパラメータが算出されて記録されているＡＲＯＩ２２が用いられる（図３２のＳ２６２，Ｓ２１１参照）。
閾値を用いてＡＲＯＩ２２で示される取得領域のパラメータを設定（変更）することで、例えば画像信号について、物体検出等の処理のための必要最小限の品質等（例えば必要最小限の解像度など）として出力することができる。
またテンプレートを用いて光電変換及びデジタルデータ化する画素を指定した画像は、少ないデータ量で有効な物体検出に適したものとなる。
従って、テンプレートを用いること、及び閾値により例えば解像度等のパラメータを設定することで、出力する画像信号のデータ量を削減しつつ、後段の処理（物体検出等）の処理の性能、精度等を低下させないといったことも可能となる。またこれにより低消費電力化、処理の高速化も実現できる。
またテンプレートは、「人」「自動車」などのクラス毎に、検出信号の取得領域を示したものであることで、クラス毎に、特に必要な部分の情報を集中的に取得することも可能となる。

第９の実施の形態では、アレイセンサ２から得られた検出信号から検出される物体について識別されるクラスに応じてフレームレートの閾値を設定し、閾値に基づいて設定したフレームレートを用いた処理が行われるようにする閾値設定部８５を備える（図３５参照）。
閾値を用いてフレームレートを設定（変更）することで、検出対象のクラスに適したフレームレートを適用できる。具体的には検出対象のクラスの物体検出の性能を低下させないようにしつつ、フレームレートを落とすことで画像信号のデータ量の削減、低消費電力化、処理の高速化を実現できる。

第９の実施の形態では、閾値設定部８５は、画像からのオブジェクトトラッキングが維持できるフレームレートとして閾値を設定する。
これにより画像からのオブジェクトトラッキングを行いながら行う物体検出精度を維持しつつ、クラスに応じたデータ削減、低消費電力化、処理の高速化等を実現できる。

第９の実施の形態では、演算部８は、フレームレートが高くなる第２モード（ノーマルモード）のフレームレートとして、閾値設定部８５が設定したフレームレートを用いる。これによりフレームレートが高くなる場合において、クラスに応じて比較的低くしたフレームレートが用いられるようになる。

第１，第２，第３，第４，第５，第６，第７，第８，第９の各実施の形態は、それぞれ適宜組み合わせることができる。
組み合わせにより、各実施の形態の効果を増大させることが可能である。即ち画像からの物体検出等の処理の精度を維持しつつ、画像信号のデータ量の削減、低消費電力化、処理の高速化等の効果をより大きくすることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
検出素子が複数、１次元または２次元に配列されたアレイセンサと、
前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部と、
前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する演算部と、を備えた
センサ装置。
（２）
前記信号処理部で信号処理された検出信号を外部装置に出力する出力部を備えた
上記（１）に記載のセンサ装置。
（３）
前記信号処理部は、前記アレイセンサの検出素子について選択的に検出信号を取得する取得部を有し、
前記取得部は、検出信号の１フレームとして、前記演算部からの領域情報に基づいて選択される検出素子の検出信号を取得する
上記（１）又は（２）に記載のセンサ装置。
（４）
前記演算部は、
前記取得部が領域情報による検出素子の選択を行わない状態で前記アレイセンサから取得した検出信号に対して物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記取得部による前記アレイセンサからの後続フレームの検出信号の取得に用いる領域情報として指示する
上記（３）に記載のセンサ装置。
（５）
前記演算部は、
前記取得部が領域情報による検出素子の選択を行なった状態で前記アレイセンサから取得した検出信号に対して物体検出を行い、物体の検出に基づいて、領域情報を再生成して、前記信号処理部に対し、前記取得部による前記アレイセンサからの後続フレームの検出信号の取得に用いる領域情報として指示する
上記（４）に記載のセンサ装置。
（６）
前記演算部は、
前記取得部が領域情報による検出素子の選択を行なった状態で前記アレイセンサから取得した検出信号に対して物体検出を行い、目的の物体が検出されなかった場合は、後続フレームにおいて、前記取得部が領域情報による検出素子の選択を行なわない状態で前記アレイセンサから検出信号を取得するように指示する
上記（５）に記載のセンサ装置。
（７）
前記演算部は、前記アレイセンサによる検出信号から検出された物体の領域を囲うバウンディングボックスを求め、該バウンディングボックスに基づいて領域情報を生成する
上記（１）から（６）のいずれかに記載のセンサ装置。
（８）
前記演算部は、前記バウンディングボックスを拡大して領域情報を生成する
上記（７）に記載のセンサ装置。
（９）
前記演算部は、検出された物体について検出素子単位で領域を判定して領域情報を生成する
上記（１）から（６）のいずれかに記載のセンサ装置。
（１０）
前記演算部は、
前記アレイセンサから得られる検出信号のうちでキーフレームとされるフレームを対象として、物体検出を行い、物体の検出に基づいて領域情報を生成する
上記（１）から（９）のいずれかに記載のセンサ装置。
（１１）
前記キーフレームは、所定の時間間隔毎のフレームとされる
上記（１０）に記載のセンサ装置。
（１２）
前記キーフレームは、外部機器からの命令に基づくタイミングのフレームとされる
上記（１０）に記載のセンサ装置。
（１３）
前記演算部は、
前記アレイセンサから得られた検出信号から検出される物体についてクラス識別を行い、識別されたクラスが、ターゲットクラスであるか否かを判定し、ターゲットクラスの物体に対応して領域情報を生成する
上記（１）から（１２）のいずれかに記載のセンサ装置。
（１４）
前記演算部は、
前記アレイセンサから得られた検出信号から検出される物体についてクラス識別を行い、当該物体に対応する領域情報を、識別されたクラスに対応するテンプレートを用いて生成する
上記（１）から（１３）のいずれかに記載のセンサ装置。
（１５）
前記テンプレートは、クラス毎に、検出信号の取得領域を示したものである
上記（１４）に記載のセンサ装置。
（１６）
外部機器の要求に応じて、前記信号処理部で処理された検出信号、識別されたクラスの情報、検出された物体の数、ターゲットクラスの有無の情報のいずれか又は全てを出力する出力部を備えた
上記（１３）に記載のセンサ装置。
（１７）
前記信号処理部は、前記アレイセンサからの検出信号を圧縮処理する圧縮処理部を有し、
前記圧縮処理部は、前記演算部からの領域情報に基づいて、領域毎に異なる圧縮率による圧縮処理を行う
上記（１）から（１６）のいずれかに記載のセンサ装置。
（１８）
前記圧縮処理部は、領域情報で指定される領域では、低圧縮率で圧縮処理を行い、他の領域は高圧縮率で圧縮処理を行う
上記（１７）に記載のセンサ装置。
（１９）
前記アレイセンサの検出素子は撮像素子である
上記（１）から（１８）のいずれかに記載のセンサ装置。
（２０）
前記演算部は、
過去の領域情報に関する情報に基づいて前記アレイセンサから取得する検出信号についてのアクティブエリアを設定し、
前記アクティブエリアの検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する
上記（１）（２）（３）（５）（７）（８）（９）（１３）のいずれかに記載のセンサ装置。
（２１）
前記演算部は、過去の所定期間に生成した複数の領域情報について、各領域情報が基づく物体検出における検出領域が含まれるように前記アクティブエリアを設定する
上記（２０）に記載のセンサ装置。
（２２）
前記信号処理部は、前記アレイセンサの検出素子について選択的に検出信号を取得する取得部を有し、
前記取得部は、検出信号の１フレームとして、前記演算部からの領域情報に基づいて選択される検出素子の検出信号を取得し、
前記演算部は、前記取得部が領域情報による検出素子の選択を行なった状態で前記アレイセンサから取得した検出信号に対して物体検出を行って目的の物体が検出されなかった場合は、後続フレームにおいて、前記取得部が前記アクティブエリアの検出信号を前記アレイセンサから取得するように指示する
上記（２０）又は（２１）に記載のセンサ装置。
（２３）
前記演算部は、
前記アレイセンサから得られる検出信号のうちでキーフレームとされるフレームを対象として、前記アクティブエリアの検出信号から物体検出を行い、物体の検出に基づいて領域情報を生成する
上記（２０）から（２２）のいずれかに記載のセンサ装置。
（２４）
前記演算部は、前記アレイセンサから得られた検出信号から検出される物体についてクラス識別を行い、当該物体に対応する領域情報を、識別されたクラスに対応して検出信号の取得領域を示したテンプレートを用いて生成し、
前記画像処理部の画像処理又は前記アレイセンサによる撮像に関する撮像処理に用いるパラメータの全部又は一部について、パラメータの閾値を設定する閾値設定部を備え、
前記テンプレートで示される取得領域に対する処理のパラメータが前記閾値に基づいて設定される
上記（１）から（２３）のいずれかに記載のセンサ装置。
（２５）
検出素子が複数、１次元または２次元に配列されたアレイセンサと、前記アレイセンサによる検出信号を取得し信号処理を行う信号処理部とを有するセンサ装置における信号処理方法として、
前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する
信号処理方法。
（２６）
過去の領域情報に基づいて前記アレイセンサから取得する検出信号についてのアクティブエリアを設定し、
前記アレイセンサによる検出信号として前記アクティブエリアの検出信号から物体検出を行う
上記（２６）に記載の信号処理方法。

１ センサ装置、２ アレイセンサ、３ ＡＤＣ／ピクセルセレクタ、４ バッファ、５ ロジック部、６ メモリ、７ インターフェース部、８ 演算部、１１ プロセッサ、１２ 外部センサ、２０ バウンディングボックス、２１ ＲＯＩ、２２ アドバンスドＲＯＩ（ＡＲＯＩ）、２３ 候補領域、３０ 信号処理部、８１ キーフレーム選択部、８２ 物体領域認識部、８３ クラス識別部、８４ パラメータ選択部、８５ 閾値設定部、１００ 端末装置

Claims (19)

1. 検出素子が複数、１次元または２次元に配列されたアレイセンサと、
   前記アレイセンサによる検出信号を取得し、信号処理を行う信号処理部と、
   前記アレイセンサによる検出信号から物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記アレイセンサからの検出信号の取得又は検出信号の信号処理に関する領域情報として指示する演算部と、を備え、
   前記演算部は、前記アレイセンサから得られた検出信号から検出される物体についてクラス識別を行い、クラス識別した物体の一部に対応する領域を指定する領域情報を生成する
   センサ装置。
2. クラス識別した物体の一部に対応する領域とは、物体のクラスに応じて選択される特徴領域である
   請求項１に記載のセンサ装置。
3. 前記信号処理部で信号処理された検出信号を外部装置に出力する出力部を備えた
   請求項１に記載のセンサ装置。
4. 前記信号処理部は、前記アレイセンサの検出素子について選択的に検出信号を取得する取得部を有し、
   前記取得部は、検出信号の１フレームとして、前記演算部からの領域情報に基づいて選択される検出素子の検出信号を取得する
   請求項１に記載のセンサ装置。
5. 前記演算部は、
   前記取得部が領域情報による検出素子の選択を行わない状態で前記アレイセンサから取得した検出信号に対して物体検出を行い、物体の検出に基づいて生成した領域情報を、前記信号処理部に対し、前記取得部による前記アレイセンサからの後続フレームの検出信号の取得に用いる領域情報として指示する
   請求項４に記載のセンサ装置。
6. 前記演算部は、
   前記取得部が領域情報による検出素子の選択を行なった状態で前記アレイセンサから取得した検出信号に対して物体検出を行い、物体の検出に基づいて、領域情報を再生成して、前記信号処理部に対し、前記取得部による前記アレイセンサからの後続フレームの検出信号の取得に用いる領域情報として指示する
   請求項５に記載のセンサ装置。
7. 前記演算部は、
   前記取得部が領域情報による検出素子の選択を行なった状態で前記アレイセンサから取得した検出信号に対して物体検出を行い、目的の物体が検出されなかった場合は、後続フレームにおいて、前記取得部が領域情報による検出素子の選択を行なわない状態で前記アレイセンサから検出信号を取得するように指示する
   請求項６に記載のセンサ装置。
8. 前記演算部は、前記アレイセンサによる検出信号から検出された物体の領域を囲うバウンディングボックスを求め、該バウンディングボックスに基づいて領域情報を生成する
   請求項１に記載のセンサ装置。
9. 前記演算部は、前記バウンディングボックスを拡大して領域情報を生成する
   請求項８に記載のセンサ装置。
10. 前記演算部は、検出された物体について検出素子単位で領域を判定して領域情報を生成する
    請求項１に記載のセンサ装置。
11. 前記演算部は、
    前記アレイセンサから得られる検出信号のうちでキーフレームとされるフレームを対象として、物体検出を行い、物体の検出に基づいて領域情報を生成する
    請求項１に記載のセンサ装置。
12. 前記キーフレームは、所定の時間間隔毎のフレームとされる
    請求項１１に記載のセンサ装置。
13. 前記キーフレームは、外部機器からの命令に基づくタイミングのフレームとされる
    請求項１１に記載のセンサ装置。
14. 前記演算部は、キーフレームとされるフレームを対象として、前記アレイセンサの一部の検出素子から得られる検出信号から物体検出を行い、物体の検出に基づいて領域情報を生成する
    請求項１に記載のセンサ装置。
15. 前記演算部は、
    前記アレイセンサから得られた検出信号から検出される物体についてクラス識別を行い、識別されたクラスが、ターゲットクラスであるか否かを判定し、ターゲットクラスの物体に対応して領域情報を生成する
    請求項１に記載のセンサ装置。
16. 外部機器の要求に応じて、前記信号処理部で処理された検出信号、識別されたクラスの情報、検出された物体の数、ターゲットクラスの有無の情報のいずれか又は全てを出力する出力部を備えた
    請求項１５に記載のセンサ装置。
17. 前記信号処理部は、前記アレイセンサからの検出信号を圧縮処理する圧縮処理部を有し、
    前記圧縮処理部は、前記演算部からの領域情報に基づいて、領域毎に異なる圧縮率による圧縮処理を行う
    請求項１に記載のセンサ装置。
18. 前記圧縮処理部は、領域情報で指定される領域では、低圧縮率で圧縮処理を行い、他の領域は高圧縮率で圧縮処理を行う
    請求項１７に記載のセンサ装置。
19. 前記アレイセンサの検出素子は撮像素子である
    請求項１に記載のセンサ装置。

Images