実施の形態1.
図1を参照して、実施の形態1の割当制御装置及び割当制御システムの構成について説明する。割当制御システム100は、複数のカメラA1〜An(nは2以上の自然数)と、割当制御装置10と、アクチュエータ部90と、を有している。アクチュエータ部90は、割当制御装置10による制御対象となる複数のアクチュエータX1〜Xk(kは2以上の自然数)により構成されている。複数のカメラA1〜Anを区別せずに指す場合は「カメラA」という。複数のアクチュエータX1〜Xkを区別せずに指す場合は「アクチュエータX」という。
カメラAは、CCD(Charge Coupled Devices)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有し、動画又は静止画などを撮像するものである。カメラAは、撮像した動画又は静止画を撮像データとして割当制御装置10へ出力する。本実施の形態1のカメラAは、自身を示す識別情報を割当制御装置10へ出力するようになっている。
アクチュエータXは、割当制御装置10から出力される電気信号をもとに動作する機器である。アクチュエータXとしては、例えば、LED(light emitting diode)などの光源を含む発光手段、スピーカを含む報知手段、又はモータなどの駆動手段が想定される。
割当制御装置10は、複数のカメラA1〜Anに接続された割当処理部20と、予め設定された複数の種別のうちの何れかに対応する複数の専門処理部C1〜Cm(mは2以上の自然数)と、を有している。複数の専門処理部C1〜Cmは、割当処理部20に接続されている。複数の専門処理部C1〜Cmを区別せずに指す場合は「専門処理部C」という。
割当処理部20は、複数のカメラA1〜Anのそれぞれに1対1で接続された複数の特定処理部B1〜Bnを有している。複数の特定処理部B1〜Bnは、それぞれ、接続先のカメラAから入力した撮像データが複数の種別のうちのどれであるかを特定し、特定した種別を示す種別データを生成する。そして、複数の特定処理部B1〜Bnは、それぞれ、種別データと共に、種別の特定に係る撮像データを割当処理部20へ出力する。複数の特定処理部B1〜Bnを区別せずに指す場合は「特定処理部B」という。
特定処理部Bは、ディープラーニング等の学習に基づくAI(人工知能)を搭載しており、撮像データに含まれる主たる物体が何であるかを推測することにより、撮像データの種別を特定する。特定処理部Bは、後述する専門処理部Cと同様、何れも図示しないが、通信部と記憶部と制御部とを有している。該制御部は、例えばCPU(Central Processing Unit)又はGPU(Graphics Processing Unit)により構成される。特定処理部Bは、専門処理部Cよりも処理量が少ないため、専門処理部Cよりも性能の低い部材により構成することができる。
また、割当処理部20は、複数の特定処理部B1〜Bnの各々から出力される種別データが示す種別に対応する専門処理部Cに、当該種別データと共に出力された撮像データを出力する割当部30を有している。割当部30は、図1に破線で示すように、1つの特定処理部Bから入力したデータを複数の専門処理部C1〜Cmのうちの何れかに割り当てるm通りのルート(選択肢)を有している。すなわち、割当部30は、複数の特定処理部B1〜Bnから入力したデータを複数の専門処理部C1〜Cmのうちの何れかに割り当てるn×m通りのルート(選択肢)を有している。割当部30は、FPGA(field-programmable gate array)などのプログラム可能なロジックデバイスにより構成される。割当部30のロジックプログラムである割当プログラムは、ユースケースに合わせて適宜変更することができる。
ここで、種別とは、撮像データに含まれる主たる物体の種類のことであり、主たる物体には、電線又は電柱などの不動物体と、動物、乗り物、又は飛行体などの移動物体とが含まれる。例えば、「人」「犬」という次元で種別を設定してもよい。また、例えば人につき「年齢層」「動作状態」などのような概念で種別を設定してもよい。さらに、各種別には、それぞれ、種別を更に細分化した複数の属性が予め設定されている。例えば、鳥という種別に対しては、ハト・カラス・コウモリなどの属性が設定される。
専門処理部Cは、複数の種別のうちの何れかに特化した画像解析を行うものである。より具体的に、専門処理部Cは、ディープラーニング等の学習に基づくAIを搭載しており、撮像データに含まれる主たる物体が、自身が専門とする種別におけるどの属性であるかを推測する。
すなわち、専門処理部Cは、割当部30から撮像データが出力されたとき、当該撮像データが、出力元の特定処理部Bにおいて特定された種別における複数の属性のうちのどれであるかを判別する。そして、専門処理部Cは、判別の結果に応じた処理、つまり判別した属性に応じた処理を実行する。専門処理部Cが属性に応じて行う処理の内容は、専門処理部Cの動作プログラムなどにおいて、属性に関連づけて予め設定されており、適宜変更することができる。専門処理部Cは、例えば、判別した属性に応じた制御信号を1又は複数のアクチュエータXへ出力する。
ここで、図2を参照し、専門処理部Cの具体的な構成例について説明する。図2に示すように、専門処理部Cは、第1通信部41と、第2通信部42と、記憶部43と、制御部44と、を有している。第1通信部41は、割当部30から出力されるデータを入力して制御部44に受け渡す入力インタフェースである。第2通信部42は、制御部44が、アクチュエータ部90、ネットワークNに接続された機器、又は無線により接続される機器との通信を行うためのインタフェースである。
記憶部43は、メモリ手段43aと、ストレージ手段43bと、を有している。メモリ手段43aは、例えばRAM(Random Access Memory)により構成され、データを一時記憶する揮発性の記憶装置である。ストレージ手段43bは、フラッシュメモリ、eMMC(embedded Multi Media Card)、又はSSD(Solid State Drive)などにより構成される。図2の例では、専門処理部Cの動作プログラムとして、学習プログラム431と、解析処理プログラム432と、更新プログラム433と、を例示している。解析処理プログラム432は、属性の判別に関する処理を実行するためのプログラムである。
制御部44は、学習処理手段44aと、解析処理手段44bと、更新処理手段44cと、を有している。換言すれば、制御部44は、学習プログラム431を読み込むことで学習処理手段44aとして機能し、解析処理プログラム432を読み込むことで解析処理手段44bとして機能し、更新プログラム433を読み込むことで更新処理手段44cとして機能する。制御部44は、例えばCPU又はGPUなどを含むSoC(System-on-a-chip)により構成される。
学習処理手段44aは、学習用データを用いたディープラーニング等の学習により解析処理プログラム432を生成する。解析処理手段44bは、割当部30から出力される撮像データが、特定処理部Bにおいて特定された種別における複数の属性のうちのどれであるかを判別し、判別した属性に応じた処理を実行する。解析処理手段44bは、割当部30から入力した撮像データと、判別の結果を含む解析情報とを、第2通信部42を介して更新処理装置80へ出力する。本実施の形態1において、解析処理手段44bは、割当部30から入力した撮像データ及び解析情報をストレージ手段43bに蓄積するようになっている。
更新処理手段44cは、ストレージ手段43bに蓄積された撮像データ及び解析情報に基づく学習により、解析処理プログラム432の更新を実行する。また、更新処理手段44cは、更新処理装置80から送信される更新用の解析処理プログラム432により、ストレージ手段43b内の解析処理プログラム432を更新する。もっとも、更新処理手段44cは、自身の学習に基づく解析処理プログラム432の更新処理、及び更新処理装置80との連携による解析処理プログラム432の更新処理のうちの何れかを行うものであってもよい。
本実施の形態1において、複数の専門処理部C1〜Cmは、インターネットなどのネットワークNを介して更新処理装置80に接続されている。更新処理装置80は、例えば、クラウドコンピューティングに基づくクラウドサーバである。複数の専門処理部C1〜Cmは、それぞれ、割当部30から入力した撮像データ及び解析情報を更新処理装置80へ送信するようになっている。
更新処理装置80は、各専門処理部Cの解析処理プログラム432を格納している。更新処理装置80は、専門処理部Cから送信される撮像データ及び解析情報に基づく学習により解析処理プログラム432を更新する機能を有している。更新処理装置80は、予め決められた時間ごと、又はデータの蓄積量が一定量に達したときなどに、解析処理プログラム432の更新を実行する。そして、更新処理装置80は、更新した解析処理プログラム432を、予め設定されたタイミングで専門処理部Cへ送信する。これにより、各専門処理部Cは、解析処理プログラム432のアップデートを行うことができる。もっとも、更新処理装置80は、クラウドサーバに限らず、Webサーバ等の物理サーバであってもよい。また、更新処理装置80は、デスクトップPC(Personal Computer)、ノートPC、又はタブレットPCなどであってもよい。専門処理部Cと更新処理装置80とは、有線による通信を行ってもよく、無線による通信を行ってもよく、有線と無線との組み合わせにより通信を行ってもよい。
すなわち、更新処理装置80は、複数の専門処理部Cから送信される撮像データ及び解析情報をもとに、複数の専門処理部Cのそれぞれの解析処理プログラム432を更新する。そして、更新処理装置80は、更新した解析処理プログラム432を各専門処理部Cへ送信する。よって、専門処理部Cは、更新処理装置80から更新された解析処理プログラム432が送信されたとき、当該解析処理プログラム432により記憶部43内の解析処理プログラム432をアップデートすることができる。
次に、図3を参照して、割当制御システム100の適用例について説明する。ここでは、割当制御システム100を田んぼ又は畑の監視及び管理に取り入れた例を説明する。図3では、割当制御システム100が4つのカメラAを有し、割当制御装置10が4つの特定処理部Bと5つの専門処理部Cとを有し、アクチュエータ部90が5つのアクチュエータXを有する例を示している。
そして、専門処理部C1及び専門処理部C2は種別「鳥」に対応し、専門処理部C3及び専門処理部C4は種別「陸生動物」に対応し、専門処理部C5は種別「人」に対応するものとする。また、アクチュエータX1は光を発する発光手段であり、アクチュエータX2及びX3は動物が嫌がる音を発生させる報知手段であり、アクチュエータX4は超音波を発生させる音波発生手段であるものとする。アクチュエータX5は警告のための音又は音声を発生させる報知手段であるものとする。
図3には、特定処理部B1がカメラA1からの撮像データの種別を「陸生動物」とし、特定処理部B2がカメラA2からの撮像データの種別を「鳥」とし、特定処理部B3がカメラA3からの撮像データの種別を「鳥」とし、特定処理部B4がカメラA4からの撮像データの種別を「人」とした例を示している。
かかる例の場合、専門処理部C1は、割当部30から入力した撮像データの種別「鳥」における属性を判別する。一例として、専門処理部C1は、撮像データの属性が「ハト」であると判別した場合、アクチュエータX1に発光を指示する制御信号を出力する。専門処理部C1は、撮像データの属性が「カラス」であると判別した場合、アクチュエータX2及びX3のうちの少なくとも一方に警告音の発生を指示する制御信号を出力する。その際、専門処理部C1は、例えば、カメラA2の識別情報からその位置を把握し、アクチュエータX2及びX3のうちでカメラA2に近い方に制御信号を出力してもよい。
専門処理部C3は、割当部30から入力した撮像データの種別「陸生動物」における属性を判別する。一例として、専門処理部C3は、撮像データの属性が「狸」であると判別した場合、アクチュエータX2又はX3に狼などの鳴き声の報知を指示する制御信号を出力する。同様に、専門処理部C3は、撮像データの属性が「ハクビシン」であると判別した場合、超音波の発生を指示する制御信号をアクチュエータX4へ出力する。
専門処理部C5は、割当部30から入力した撮像データの種別「人」における属性を判別する。一例として、専門処理部C3は、撮像データの属性が「不審者」であると判別した場合、警告用の音又は音声の出力を指示する制御信号をアクチュエータX5へ出力する。専門処理部C2及びC4が行う処理も上記同様である。
もっとも、上記の専門処理部Cによる処理は一例であり、最適な例を示している訳ではない。また、アクチュエータ部90は、特定の臭いを発生させる臭気発生手段、対象物に風を当てる送風手段など、上記以外のアクチュエータXを有していてもよい。すなわち、専門処理部Cによる処理及びアクチュエータXは、適宜変更することができる。加えて、専門処理部Cは、アクチュエータX1とアクチュエータX2との双方に制御信号を出力するなど、複数のアクチュエータXに制御信号を出力することで、同時に複数のアクチュエータXを動作させてもよい。
さらに、割当制御システム100は、更新処理装置80に、アクチュエータXの動作に対する移動物体の反応などを、撮像データ又は各専門処理部Cの解析情報から学習させてもよい。そして、割当制御システム100は、最適な撃退法を専門処理部Cが適宜選択するように、更新処理装置80を用いて専門処理部Cの解析処理プログラム432をアップロードしてもよい。
続いて、図4及び図5を参照して、割当制御システム100を飛行体に適用した例について説明する。図4及び図5では、飛行体500として、本体510に6つのプロペラPを搭載したドローンを例示している。そして、割当制御システム100が4つのカメラAを有し、割当制御装置10が4つの特定処理部Bと3つの専門処理部Cを有し、アクチュエータ部90が9つのアクチュエータXを有する例を示している。
専門処理部C1は種別「鳥」に対応し、専門処理部C2は種別「人」に対応し、専門処理部C3は種別「障害物」に対応するものとする。アクチュエータXa1〜Xa4は光を発する発光手段であり、アクチュエータXb1〜Xb4は音又は音声を発生させる報知手段であり、アクチュエータX5はモータMの動作を制御する駆動手段であるものとする。ここでは、便宜上、アクチュエータXb1〜Xb4が超音波を発生させる機能を有するものとする。なお、図5では、電源装置及び各種センサなどは省略している。
図5の例において、専門処理部C1は、アクチュエータXa1〜Xa4、アクチュエータXb1〜Xb4、及びアクチュエータX5に接続されている。専門処理部C2は、アクチュエータXb1〜Xb4及びアクチュエータX5に接続されている。専門処理部C3は、アクチュエータX5に接続されている。
仮に、特定処理部B1が、カメラA1からの撮像データの種別を「鳥」とし、種別「鳥」を示す種別データを割当部30へ出力したとする。すると、割当部30は、特定処理部B1からの種別データをもとに、当該撮像データを専門処理部C1へ出力する。専門処理部C1は、撮像データの属性がハト・カラス・コウモリなどのどれであるかを判別する。例えば、専門処理部C1は、撮像データの属性が「コウモリ」であると判別した場合、カメラA1の識別情報から、カメラA1に最も近い報知手段であるアクチュエータXb1を選定し、選定したアクチュエータXb1に超音波の発生を指示する制御信号を出力する。
特定処理部B2が、カメラA2からの撮像データの種別を「障害物」とし、種別「障害物」を示す種別データを割当部30へ出力したとする。すると、割当部30は、特定処理部B2からの種別データをもとに、当該撮像データを専門処理部C3へ出力する。専門処理部C3は、撮像データの属性が電線・電柱などのどれであるかを判別する。そして、専門処理部C3は、例えば、撮像データを解析して障害物からの距離を求めると共に、求めた距離と飛行体500の速度などに基づき、必要に応じて、障害物を回避するための制御信号をアクチュエータX5へ出力する。これにより、飛行体500が障害物に衝突するといった事態を回避することができる。
特定処理部B3が、カメラA3からの撮像データの種別を「人」とし、種別「人」を示す種別データを割当部30へ出力したとする。すると、割当部30は、特定処理部B3からの種別データをもとに、当該撮像データを専門処理部C2へ出力する。専門処理部C2は、撮像データの属性が「サッカー」「野球」「凧あげ」などのどれであるかを判別する。そして、専門処理部C2は、例えば、撮像データに含まれるボールなどの動きを解析すると共に、カメラA3の識別情報から、カメラA3に最も近い報知手段であるアクチュエータXb3を選定する。次いで、専門処理部C2は、必要に応じて、選定したアクチュエータXb3に、注意喚起の音声などの出力を指示する制御信号を出力する。
特定処理部B4が、カメラA3からの撮像データの種別を「鳥」とし、種別「鳥」を示す種別データを割当部30へ出力したとする。すると、割当部30は、特定処理部B4からの種別データをもとに、当該撮像データを専門処理部C1へ出力し、専門処理部C1は、撮像データの属性が何であるかを判別する。例えば、専門処理部C1は、撮像データの属性が「ハト」であると判別した場合、カメラA4の識別情報から、カメラA4に最も近い報知手段であるアクチュエータXb4を選定し、選定したアクチュエータXb4に発光を指示する制御信号を出力する。
次に、図6及び図7を参照して、割当制御システム100を競技場などの施設に適用した例について説明する。図6及び図7では、割当制御システム100が6つのカメラAを有し、割当制御装置10が6つの特定処理部Bと6つの専門処理部Cとを有し、アクチュエータ部90が6つのアクチュエータXを有する例を示している。複数のカメラA1〜A6は定点カメラであり、複数のアクチュエータX1〜X6は、それぞれ、動画又は静止画などを撮像して撮像データを生成する、可動式のカメラであるものとする。
専門処理部C1〜C3は種別「ボール」に対応し、専門処理部C4〜C6は種別「人」に対応するものとする。各専門処理部Cは、撮像データの解析結果をもとに、1又は複数のアクチュエータXの動作を制御する。専門処理部C1〜C3は、撮像データを解析することにより、ボールの位置及び動き等を属性として判別する。すなわち、専門処理部C1〜C3は、撮像データに含まれるボールの位置及び動き等をもとに、制御対象とする1又は複数のアクチュエータXを選定する。そして、専門処理部C1〜C3は、例えば、ボールの動きに追従する動作を指示する制御信号を生成し、選定した1又は複数のアクチュエータXへ出力する。
専門処理部C4〜C6は、撮像データを解析することにより、人の数、位置、及び動き等を属性として判別する。すなわち、専門処理部C4〜C6は、撮像データに含まれる人の数、位置、及び動き等をもとに、制御対象とする1又は複数のアクチュエータXを選定する。専門処理部C4〜C6は、種別「人」における属性として、例えば、人が集まっている状態を示す「密集」、人が倒れている状態を示す「転倒」、エースなどの特定の人を示す「スポット」、審判がカードを掲げている状況を示す「警告」などを判別する。こうした属性は、競技又はイベントごとに設定するとよい。
専門処理部Cは、カメラAの識別情報を利用して1又は複数のアクチュエータXを選定してもよい。すなわち、例えば、図6の領域Rにボールが存在しており、カメラA1の撮像データが特定処理部B1及び割当部30を介して専門処理部C1に出力され、カメラA6の撮像データが特定処理部B6及び割当部30を介して専門処理部C2に出力されたとする(図7の破線矢印参照)。そして、カメラA1にはアクチュエータX1、X2、及びX3が対応づけられ、カメラA6にはアクチュエータX4、X5、及びX6が対応づけられていたとする。このとき、専門処理部C1は、カメラA1の識別情報をもとに、アクチュエータX1、X2、及びX3のうちの少なくとも1つを選定してもよい。同様に、専門処理部C2は、カメラA6の識別情報をもとに、アクチュエータX4、X5、及びX6のうちの少なくとも1つを選定してもよい。
また、複数の専門処理部Cが連携することにより、各専門処理部Cの制御対象が状況に応じて都度切り替わるようにしてもよい。なお、複数の専門処理部Cのうちの1つに、アクチュエータXの選定を統括的に制御する機能を持たせてもよく、複数の専門処理部Cとは別に、アクチュエータXの選定を統括的に制御する処理部を設けてもよい。あるいは、各カメラAに予め1又は複数のアクチュエータXを対応づけておき、アクチュエータXに複数の制御信号が同時に出力された場合、当該アクチュエータXが、複数の制御信号から動作内容を決定するようにしてもよい。つまり、図6の例において、カメラA1にアクチュエータX6及びX1、カメラA2にアクチュエータX1及びX2、カメラA3にアクチュエータX2及びX3、カメラA4にアクチュエータX3及びX4、カメラA5にアクチュエータX4及びX5、カメラA6にアクチュエータX5及びX6が対応づけられていたとする。すると、図7の破線矢印の状況では、アクチュエータX6には専門処理部C1と専門処理部C2との双方から制御信号が出力されることになる。かかる状況下において、アクチュエータX6は、予め決められた優先度等をもとに、専門処理部C1の制御信号及び専門処理部C2の制御信号のうちの何れかを選んで動作してもよい。もしくは、アクチュエータX6は、専門処理部C1の制御信号及び専門処理部C2の制御信号の双方に基づいて動作してもよい。つまり、複数の制御信号が出力された場合、アクチュエータXは、複数の制御信号に所定の演算処理を施して動作の程度を決定してもよい。
図7の構成において、割当制御システム100は、カメラA1〜A6、アクチュエータ部90、表示制御装置95、及び表示装置99と共に、画像表示システム400を構成している。表示制御装置95は、選定部96と、表示処理部98と、を有している。選定部96は、アクチュエータX1〜X6から出力された撮像データのそれぞれを解析し、表示装置99への表示用の撮像データを選定する。選定部96は、アクチュエータX1〜X6のそれぞれに1対1で接続された解析処理部Y1〜Y6と、解析処理部Y1〜Y6に接続された選定処理部97と、を有している。解析処理部Y1〜Y6を区別せずに指す場合は「解析処理部Y」という。
解析処理部Yは、アクチュエータXから出力される撮像データを解析し、当該撮像データの重要度を示す評価指数を求める。そして、解析処理部Yは、求めた評価指数と共に、解析に用いた撮像データを選定処理部97へ出力する。解析処理部Yは、上述した専門処理部Cと同様、何れも図示しないが、通信部と記憶部と制御部とを有している。該制御部は、例えばCPU又はGPUにより構成される。評価指数の演算アルゴリズムは、解析処理部Yが撮像データの内容に応じて選択的に決定してもよく、施設で行われる競技に応じて予め設定してもよい。
選定処理部97は、各解析処理部Yから出力される評価指数をもとに、1又は複数の撮像データを選定し、選定した撮像データを表示処理部98へ出力する。すなわち、選定処理部97は、表示装置99の表示部上に1つの画面を表示させる1画面設定のときに1つの撮像データを選定し、表示装置99の表示部上に複数の画面を表示させるマルチ画面設定のときに複数の撮像データを選定する。
表示処理部98は、選定処理部97から出力される1又は複数の撮像データに基づく画像を表示装置99に表示させる。マルチ画面設定の場合は、画面ごとに優先度が決まっている。したがって、表示処理部98は、優先度の高い画面に評価指数の高い撮像データを順次割り当てる。ここで、表示処理部98は、専門処理部Cから、ネットワークNを介してカメラAの撮像データを取得するようにしてもよい。そして、表示処理部98は、人やボールの動きがない場面などの所定の状況下で、表示装置99に表示させる画像をカメラAの画像に切り替えてもよい。表示装置99は、例えば液晶ディスプレイ(Liquid Crystal Display)からなり、表示部に種々の画像を表示する。
ところで、画像表示システム400は、図8に示すように、表示制御装置95の選定部96に、割当制御装置10を採り入れて構成してもよい。図8では、画像表示システム400の構成を部分的に示している。かかる構成の場合、特定処理部B7〜B12は、「人」又は「ボール」などの種別を特定し、専門処理部C7〜C12は、「人」又は「ボール」などのうちの1つの種別に特化した処理を実行する。すなわち、図8の構成では、特定処理部Bと専門処理部Cとにより、選定処理部97と同様の処理を実行する。よって、特定処理部Bと専門処理部Cとに負荷を分散することができるため、1つの処理部あたりの負荷を軽減することができる。
図6では、フィールドの内側にカメラが向いている例を示したが、これに限らず、複数のカメラA及び複数のアクチュエータXのうちの少なくとも1つは、客席やベンチに向けられてもよい。図6〜図8では、6つのカメラAと6つのアクチュエータXとを含む画像表示システム400を例示したが、これに限らず、カメラAの台数及びアクチュエータXの台数は任意に変更することができる。もっとも、アクチュエータ部90は、可動式のカメラ以外のアクチュエータXを含んでいてもよい。
次に、図9及び図10を参照して、割当制御システム100を街路に適用した例について説明する。図9及び図10では、割当制御システム100が6つのカメラAを有し、割当制御装置10が6つの特定処理部Bと6つの専門処理部Cとを有し、アクチュエータ部90が9つのアクチュエータXを有する例を示している。専門処理部C1及びC2は種別「自動車」に対応し、専門処理部C3及びC4は種別「人」に対応し、専門処理部C5は種別「自転車」に対応し、専門処理部C6は種別「ボール」に対応するものとする。アクチュエータX1、X2、X7、X8、X9は、LEDなどの光源を含む電光表示板であり、アクチュエータX3〜X6は、スピーカを含む報知手段であるものとする。
図9の例において、カメラA1及びアクチュエータX1は、信号機160Aの近傍に設けられている。アクチュエータX1の表示板X1aは、信号機160Aに向かってくる自動車から視認できるよう配置されている。カメラA2及びアクチュエータX2は、信号機160Bの近傍に設けられている。アクチュエータX2の表示板X2aは、信号機160Bに向かってくる自動車から視認できるよう配置されている。信号機161Aと信号機161Bとは、横断歩道の各端部に配置され、互いに対向している。
監視警告ユニット150Aは、カメラA3、カメラA4、アクチュエータX3、及びアクチュエータX4を収容する筐体151と、筐体151を支持する脚部152と、筐体151の上部に設けられたアクチュエータX7と、を有している。アクチュエータX7は、表示板X7aと表示板X7bとを有している。
監視警告ユニット150Bは、カメラA5及びアクチュエータX5を収容する第1筐体151aと、カメラA6及びアクチュエータX6を収容する第2筐体151bと、第1筐体151a及び第2筐体151bを支持する脚部152と、を有している。また、監視警告ユニット150Bは、第1筐体151a及び第2筐体151bの上部に設けられたアクチュエータX8及びX9を有している。アクチュエータX8は表示板X8aを有し、アクチュエータX9は表示板X9aを有している。
かかる構成において、専門処理部C1及びC2は、割当部30から撮像データを取得すると、撮像データの種別「自動車」における属性を判別する。種別「自動車」における属性としては、「速度注意」「脇見運転」「ながら運転」「蛇行運転」「夜間における無灯火」などがある。例えば、専門処理部C1は、カメラA1による撮像データの属性が「夜間における無灯火」であると判別した場合、「ライトを付けてください」といった注意喚起の表示を指示する制御信号をアクチュエータX1へ出力する。これにより、アクチュエータX1は、表示板X1aに注意喚起の文字等を表示させる。以降では、注意喚起の音声出力を指示する制御信号のことを注意喚起信号ともいう。
専門処理部C3及びC4は、割当部30から撮像データを取得すると、撮像データの種別「人」における属性を判別する。種別「人」における属性としては、「子供」「杖をついている人」「車椅子」「走っている人」「ながらスマホ」「集団」「不審人物」などがある。例えば、専門処理部C4は、カメラA3による撮像データの属性が「子供」であると判別した場合、「車に注意しましょう」といった音声の出力を指示する注意喚起信号をアクチュエータX3へ出力する。これにより、アクチュエータX3は、注意喚起の音声を出力する。
専門処理部C5は、割当部30から撮像データを取得すると、撮像データの種別「自転車」における属性を判別する。種別「自転車」における属性としては、「歩道」「ながらスマホ」「速度注意」「蛇行運転」「2人乗り」などがある。なお、速度に関する属性は、「高速」「中速」「低速」といったように段階的に設定してもよい。ここで、図9の場所では自転車による歩道の走行が禁止されており、その旨の情報が各専門処理部Cに設定されているとする。かかる状況下で、カメラA4による撮像データの属性が「歩道」であると判別した専門処理部C5は、例えば「自転車走行帯を走りましょう」「歩道の走行は禁止されています」といった音声の出力を指示する注意喚起信号をアクチュエータX4へ出力する。これにより、アクチュエータX4は、注意喚起の音声を出力する。
専門処理部C6は、割当部30から撮像データを取得すると、撮像データの種別「ボール」における属性を判別する。種別「ボール」における属性としては、人が手でボールをバウンドさせている状況を示す「バウンド」、人が足でボールを蹴っている状況を示す「ドリブル」、人が手でボールを投げている状況を示す「投げ」などがある。例えば、専門処理部C6は、カメラA5による撮像データの属性が「バウンド」であると判別した場合、「危険です。しっかり手で持ってください。」といった音声の出力を指示する注意喚起信号をアクチュエータX5へ出力する。これにより、アクチュエータX5は、注意喚起の音声を出力する。
もっとも、各専門処理部Cは、複数のアクチュエータXに制御信号を出力してもよい。ところで、カメラA1及びA2の撮像データに含まれる主たる物体は、通常は自動車になると考えられる。そのため、カメラA1又はA2による撮像データの種別が「人」又は「ボール」などに特定された場合は、特に警戒が必要となる。そのため、種別「自動車」以外の専門処理部Cは、カメラA1又はA2による撮像データを入力した場合、そのことをアクチュエータXの処理に反映させるとよい。例えば、専門処理部C3は、カメラA2による撮像データを取得した場合、「危険です。歩道に戻ってください。」といった音声の出力を指示する注意喚起信号をアクチュエータX6へ出力してもよい。その際、専門処理部C3は、併せて、「危険!」といった注意喚起の表示を指示する制御信号をアクチュエータX9へ出力してもよい。他のカメラAによる撮像データにも、上記同様、配置などに応じた特別な処理を設定してもよい。
また、各専門処理部Cは、図10に例示するように、ネットワークNに接続された交通信号制御機600から、各信号機の状況を示す信号データを取得し、取得した信号データを処理に反映させてもよい。例えば、信号機161A及び161Bが青のときに、自動車が猛スピードで横断歩道に向かっている様子をカメラA2が捉えた場合、専門処理部C1又はC2が「スピード落とせ!」といった音声の出力を指示する注意喚起信号をアクチュエータX2に出力するとよい。もっとも、複数の専門処理部Cは、相互に連携してアクチュエータ部90の制御を行ってもよい。
図9では、1又は複数のカメラAと1又は複数のアクチュエータXを含む監視警告ユニット150A又は150Bを示したが、これらはあくまでも例示であり、カメラA及びアクチュエータXの配置、数、及び形状等は、図9の例に限定されない。他の各図についても同様である。なお、監視警告ユニット150Aは、例えば、アクチュエータX7が、脚部152に沿った直線等を軸として、自動又は手動で回転できるように構成してもよい。また、監視警告ユニット150Bは、例えば、アクチュエータX8とアクチュエータX9との水平方向における成す角が自動又は手動で変更できるように構成してもよい。
次に、図11のフローチャートを参照して、本実施の形態1の割当制御方法について説明する。まず、複数の特定処理部B1〜Bnは、それぞれ、接続先のカメラAから撮像データを入力する(ステップS101)。次いで、複数の特定処理部B1〜Bnは、それぞれ、入力した撮像データが複数の種別のうちのどれであるかを特定する(ステップS102)。そして、複数の特定処理部B1〜Bnは、それぞれ、特定した種別を示す種別データと共に、種別の特定に係る撮像データを割当部30へ出力する(ステップS103)。
割当部30は、種別データに基づいて専門処理部Cに撮像データを割り当てる。すなわち、割当部30は、複数の特定処理部B1〜Bnの各々から出力される種別データのそれぞれに対応する専門処理部Cに、当該種別データと共に出力された撮像データを出力する(ステップS104)。
割当部30から撮像データが出力された専門処理部Cは、当該撮像データが、出力元の特定処理部Bにおいて特定された種別における複数の属性のうちのどれであるかを判別する(ステップS105)。そして、専門処理部Cは、判別した属性に応じた処理を実行する。すなわち、専門処理部Cは、例えば、判別した属性に応じて1又は複数のアクチュエータXを選定し、選定した1又は複数のアクチュエータXへ制御信号を出力する(ステップS106)。
以上のように、本実施の形態1の割当制御装置10は、カメラAに接続された複数の特定処理部Bが撮像データの種別を特定し、割当部30が、特定処理部Bによって特定された種別に対応する専門処理部Cに撮像データを出力する。よって、割当制御装置10によれば、特定処理部Bと専門処理部Cとに負荷を分散することができるため、各処理部の負荷軽減を図り、撮像データを多様な用途で円滑に活用することができる。すなわち、割当制御装置10は、撮像データが内包する情報に応じた用途で、当該撮像データを効率よく使用することができる。
また、専門処理部Cは、割当部30から撮像データが出力されたとき、当該撮像データが複数の属性のうちのどれであるかを判別し、判別した属性に応じた処理を実行する。このように、専門処理部Cは、撮像データに対し、専門の種別についての画像解析を主として行えばよい。そのため、専門処理部Cの処理量の低減により、割当制御装置10の全体としての処理の迅速化を図ることができる。すなわち、割当制御装置10によれば、複数の処理を各処理部に分散させ、各処理部の負荷を軽減することにより、処理全体の迅速化を図ると共に、ハイパフォーマンスの処理部を減らし、コストの削減を図ることができる。さらに、専門処理部Cは、判別処理に基づく撮像データの属性に応じた制御信号を、制御対象となる複数のアクチュエータXのうちの少なくとも1つへ出力し、アクチュエータXが制御信号に応じた動作を実行する。よって、割当制御装置10によれば、撮像データの属性に応じたアクチュエータXの迅速な動作を実現することができる。
ここで、複数の専門処理部C1〜Cmは、上記のように、互いに異なる種別に対応する専門処理部Cを含んでいてもよい。つまり、割当制御装置10は、互いに異なる種別に対応する専門処理部Cを含んでいてもよい。例えば、図3のように、複数の専門処理部C1〜Cmは、同じ種別に対応する2以上の専門処理部Cを含んでいてもよい。すなわち、割当制御装置10は、複数の専門処理部C1〜Cmのうちの幾つかが、共通の種別に対応するものであってよい。このように、割当制御装置10は、撮像データに出現する頻度の高い物体に対応する専門処理部Cを相対的に多くするなど、カメラAの設置環境等に応じて専門処理部Cの組み合わせを変更することができるため、1又は複数の割当制御装置10が機能していないといった状態を減らし、処理の遅延を回避することができる。また、複数の専門処理部C1〜Cmは、全てが異なる種別に対応するものであってもよい。すなわち、割当制御装置10は、複数の専門処理部C1〜Cmの全てが異なる種別に対応するものであってもよい。かかる構成は、例えば、撮像データに含まれる物体が定期的に又は不規則に変化するような状況下において有効である。
一方、複数の専門処理部C1〜Cmは、全てが同じ種別に対応するものであってもよい。すなわち、割当制御装置10は、複数の専門処理部C1〜Cmの全てが同じ種別に対応するものであってもよい。かかる構成は、例えば、様々な鳥が飛行体500の飛行の妨げとなっている状況等において有効である。このような状況下では、割当制御装置10が、複数の専門処理部Cとして、鳥を専門とする専門処理部Cだけを有するようにしてもよい。同様に、畑などにおいて、陸生動物による被害が主となる状況下では、割当制御装置10が、複数の専門処理部Cとして、陸生動物を専門とする専門処理部Cだけを有するようにしてもよい。また、イベント会場、駅構内、企業や金融機関の重要機密又は現金などの保管場所、百貨店、コンビニエンスストア、駐車場、公園、街角、又は交差点などにおいて、人だけを監視したい場合も想定される。このような場合は、割当制御装置10が、複数の専門処理部Cとして、人を専門とする専門処理部Cだけを有するようにしてもよい。このように、カメラAの設置環境等に合わせて、同じ種別に対応する複数の専門処理部Cだけを割当制御装置10に含めるようにすれば、ほとんど機能しない専門処理部Cが存在するような状況を回避することができるため、無駄を省き、コストの削減を図ることができる。
本実施の形態1の割当制御システム100は、割当制御装置10と、割当制御装置10による制御対象となる複数のアクチュエータXと、を有している。そして、専門処理部Cは、撮像データについての判別の結果に応じた処理として、例えば、判別した属性に応じた制御信号を少なくとも1つのアクチュエータXへ出力する。よって、割当制御システム100によれば、撮像データの属性に応じたアクチュエータXの迅速な動作を実現することができる。
ところで、上記では、割当制御システム100が複数のカメラA1〜Anを含むものとして説明したが、これに限らず、割当制御システム100は、複数のカメラA1〜Anを有さずに構成してもよい。つまり、複数のカメラA1〜Anは、割当制御システム100の外部構成であってもよい。また、割当制御システム100は、更新処理装置80を含んでいてもよく、更新処理装置80を含めずに構成してもよい。加えて、専門処理部Cは、撮像データの解析により、アクチュエータXへの動作指令の要否を判定する機能を有していてもよい。つまり、専門処理部Cは、アクチュエータXへの動作指令が不要であると判定した場合、制御信号を出力しないようにしてもよい。
<変形例1−1>
図12に示すように、本変形例1−1における割当制御装置10は、更新処理装置80との連携により、各専門処理部Cの解析処理プログラム432の更新を行う統括更新部50を有している。したがって、各専門処理部Cの更新処理手段44cは、統括更新部50とストレージ手段43bとの中継手段として機能する。統括更新部50と更新処理装置80とは、有線による通信を行ってもよく、無線による通信を行ってもよく、有線と無線との組み合わせにより通信を行ってもよい。
すなわち、本変形例1−1の割当制御装置10は、複数の専門処理部Cに接続された統括更新部50をさらに有している。ここで、専門処理部Cは、属性の判別に関する解析処理プログラム432を有すると共に、撮像データ及び解析情報を統括更新部50へ出力するものである。統括更新部50は、複数の専門処理部Cの各々から出力される撮像データ及び解析情報を更新処理装置80へ送信するものである。更新処理装置80は、統括更新部50から送信される撮像データ及び解析情報をもとに、複数の専門処理部Cのそれぞれの解析処理プログラム432を更新し、更新した解析処理プログラム432を統括更新部50へ送信するものである。統括更新部50は、更新処理装置80から更新された解析処理プログラム432が送信されたとき、当該解析処理プログラム432の属性に対応する専門処理部Cへ受け渡すものである。つまり、更新処理装置80は、更新した解析処理プログラム432を、統括更新部50を介して各専門処理部Cへ送信する。よって、専門処理部Cは、統括更新部50から更新後の解析処理プログラム432を取得したとき、当該解析処理プログラム432により記憶部43内の解析処理プログラム432をアップデートすることができる。
このように、本変形例1−1の割当制御装置10によれば、各専門処理部Cの負荷の一部を統括更新部50に割り当て、各専門処理部Cの処理量を減らすことができるため、割当制御装置10の処理の迅速化を図ることができる。また、各専門処理部Cのスペックを下げることができるため、コストの削減を図ることができる。
<変形例1−2>
上記の説明では、割当制御システム100が複数のカメラAを有する例を示したが、本変形例1−2の割当制御システム100は、図13に示すように、1つのカメラAを有している。つまり、本変形例1−2の割当制御装置10には、カメラAが1つだけ接続されている。
より具体的に、割当制御装置10は、カメラAに接続された割当処理部20と、複数の種別のうちの何れかに対応する複数の専門処理部C1〜Cmと、を有している。複数の専門処理部C1〜Cmは、割当処理部20に接続されている。割当処理部20は、カメラAに接続された特定処理部Bを有している。特定処理部Bは、カメラAから入力した撮像データが複数の種別のうちのどれであるかを特定し、特定した種別を示す種別データと共に当該撮像データを割当部30へ出力する。割当部30は、特定処理部Bから出力される種別データに対応する専門処理部Cに、当該種別データと共に出力された撮像データを出力する。
割当制御装置10及び割当制御システム100の他の構成及び割当制御方法の内容は、図1〜図11を参照して説明したものと同様である。また、本変形例1−2の構成に、上述した変形例1−1の構成を適用することもできる。
以上のように、本変形例1−2の割当制御装置10によっても、特定処理部Bと専門処理部Cとに負荷を分散することができるため、各処理部の負荷軽減を図り、撮像データを多様な用途で円滑に活用することができる。すなわち、割当制御装置10によれば、時々刻々と変化する、撮像データが内包する情報に応じて、撮像データの用途を柔軟に変化させることができる。
ここで、図14〜図17を参照して、本変形例1−2の割当制御システム100を街中の交差点等に適用した例について説明する。図14及び図15では、アクチュエータ部90を構成するアクチュエータXとして、表示処理部90aと表示部90bとを備えた表示装置を例示している。カメラAの撮像範囲には、横断歩道における、信号機161とは反対側の待機エリアが含まれている。該待機エリアに立っている人Hは、アクチュエータXの表示部90bを視認できるようになっている。
まず、図16のフローチャートを参照して、割当制御装置10による処理の一例を説明する。図16の例では、特定処理部Bが、種別として、撮像データに含まれる人の主たる年齢層、つまり撮像データに含まれる人が最も多く属する年齢層を特定する前提となっている。よって、特定処理部Bは、20歳代、30歳代、40歳代、50歳代、60歳代、70歳代、80歳代以上といった年齢層を、種別として特定する。したがって、各専門処理部Cは、それぞれ、複数の年齢層のうちの何れかに対応する構成となっている。もっとも、年齢層は、上記のような10歳単位に限らず、年齢の範囲を狭めてもよく、広げてもよい。また、年齢層ごとに年齢の範囲を個別に設定し、年齢の範囲が異なる年齢層を組み合わせた構成としてもよい。
専門処理部Cは、割当部30から撮像データを取得すると(ステップS111)、取得した撮像データに、歩行中の人が相対的に多く含まれるか否かを属性として判別する(ステップS112)。専門処理部Cは、歩行中の人が相対的に多く含まれると判別した場合(ステップS112/Yes)、特定された年齢層に応じた音楽動画をアクチュエータXに表示させる(ステップS113)。一方、専門処理部Cは、信号待ちの人が相対的に多く含まれると判別した場合(ステップS112/No)、特定された年齢層に応じた動画広告をアクチュエータXに表示させる(ステップS114)。
次に、図17のフローチャートを参照して、割当制御装置10による処理の他の例を説明する。図16と同等の工程については同一の符号を用いて説明は省略する。図17の例では、各専門処理部Cが、歩行中の人が相対的に多く含まれるか否かという条件と、撮像データに含まれる人の数が閾値以上であるか否かという条件との組み合わせにより、複数の属性が設定されている。
すなわち、専門処理部Cは、歩行中の人が相対的に多く含まれると判別した場合(ステップS112/Yes)、撮像データに含まれる人の数が予め設定された閾値以上であるか否かを判定する(ステップS121)。専門処理部Cは、人の数が閾値以上であれば(ステップS121/Yes)、重要度が相対的に高い音楽動画をアクチュエータXに表示させる(ステップS123)。一方、専門処理部Cは、人の数が閾値未満であれば(ステップS121/No)、重要度が相対的に低い音楽動画をアクチュエータXに表示させる(ステップS124)。
専門処理部Cは、歩行中の人が相対的に多く含まれないと判別した場合(ステップS112/No)、撮像データに含まれる人の数が予め設定された閾値以上であるか否かを判定する(ステップS122)。専門処理部Cは、人の数が閾値以上であれば(ステップS122/Yes)、重要度が相対的に高い動画広告をアクチュエータXに表示させる(ステップS125)。一方、専門処理部Cは、人の数が閾値未満であれば(ステップS122/No)、重要度が相対的に低い動画広告をアクチュエータXに表示させる(ステップS126)。なお、ステップS121の閾値と、ステップS122の閾値とは、同じ値であってもよく、異なる値であってもよい。もっとも、人の数に関する閾値は、さらに細かく設定してもよい。
図16及び図17を用いた説明において、各条件に対応づけた音楽動画及び動画広告の設定は、あくまでも一例である。すなわち、割当制御装置10は、スポンサーの嗜好などに合わせた設定により、種々の動画又は静止画をアクチュエータXに表示させてもよい。加えて、専門処理部Cは、ディープラーニング等の学習により生成した分類器で動画又は静止画を選定し、選定した動画又は静止画をアクチュエータXに表示させてもよい。
また、図16及び図17の例に限らず、例えば、特定処理部Bが、種別として、撮像データに歩行中の人が相対的に多く含まれるか否かを特定してもよい。この場合、各専門処理部Cは、それぞれ、種別「歩行中」及び種別「信号待ち中」のうちの何れかに対応し、年齢層を属性として判別することになる。例えば、専門処理部Cは、年齢層を判別した後、複数の年齢層と表示させる動画とを対応づけたテーブル情報を参照して動画又は静止画を選定し、選定した動画又は静止画をアクチュエータXに表示させてもよい。または、専門処理部Cは、ディープラーニング等の学習により生成した分類器で動画又は静止画を選定し、選定した動画又は静止画をアクチュエータXに表示させてもよい。もっとも、各専門処理部Cは、年齢層の条件と、撮像データに含まれる人の数が閾値以上であるか否かという条件とを組み合わせた属性を判別してもよい。
実施の形態2.
図18を参照して、実施の形態2の割当制御装置及び割当制御システムの構成について説明する。上述した実施の形態1と同等の構成部材については同一の符号を用いて説明は省略する。
割当制御システム200は、複数のカメラA1〜Anと、割当制御装置110と、アクチュエータ部90と、を有している。割当制御装置110は、複数の特定処理部B1〜Bn及び割当部30を含む割当処理部20と、複数の専門処理部C1〜Cmと、を有している。
割当制御装置110は、複数の専門処理部C1〜Cmに接続された属性割当部70と、複数の属性のうちの何れかに対応する複数の属性処理部D1〜Dkと、を有している。複数の属性処理部D1〜Dkは、属性割当部70に接続されている。複数の属性処理部D1〜Dkを区別せずに指す場合は「属性処理部D」という。
専門処理部Cは、割当部30から撮像データが出力されたとき、当該撮像データが、出力元の特定処理部Bにおいて特定された種別における複数の属性のうちのどれであるかを判別する。そして、本実施の形態1の専門処理部Cは、判別の結果、つまり判別した属性を示す属性データを属性割当部70へ出力する。
属性割当部70は、図18に破線で示すように、複数の専門処理部C1〜Cmから入力した属性データを複数の属性処理部D1〜Dkのうちの何れかに割り当てるm×k通りのルート(選択肢)を有している。属性割当部70は、複数の専門処理部Cの各々から出力される属性データを、当該属性データが示す属性に対応する属性処理部Dへ出力する。属性割当部70は、例えばFPGAにより構成される。属性割当部70のロジックプログラムである属性割当プログラムは、ユースケースに合わせて適宜変更することができる。
属性処理部Dは、1つの属性、つまり1つの属性データに対応づけられており、属性割当部70から属性データが出力されたとき、当該属性データに応じた処理を実行する。属性処理部Dは、上述した専門処理部Cと同様、何れも図示しないが、通信部と記憶部と制御部とを有している。該制御部は、例えばCPU又はGPUにより構成される。該記憶部には、各属性データに対応づけられた処理を示す情報が記憶されている。本実施の形態2において、属性処理部Dは、属性割当部70から属性データが出力されると、当該属性データに予め対応づけられた処理を示す制御信号を、接続先のアクチュエータXへ出力する。
ここで、専門処理部Cは、アクチュエータXの詳細な制御内容を示す付加情報を含む属性データを出力してもよい。付加情報は、例えば、アクチュエータXが報知手段であれば、音量・台詞などを示す情報となり、アクチュエータXが発光手段であれば、輝度・発光色などを示す情報となる。この場合、属性処理部Dは、属性データをもとに制御信号を生成し、生成した制御信号を送信先のアクチュエータXへ出力する。なお、属性処理部Dの内部記憶装置には、複数の付加情報の各々と、アクチュエータXの詳細な制御内容とを関連づけたテーブル情報を格納してもよい。この場合、属性処理部Dは、属性データに含まれる付加情報をテーブル情報に照らして制御信号を生成する。
ところで、専門処理部Cは、撮像データの解析により、アクチュエータXへの動作指令の要否を判定する機能を有していてもよい。この場合、専門処理部Cは、アクチュエータXへの動作指令が不要であると判定した場合、属性データを出力しないようにするとよい。もしくは、専門処理部Cは、アクチュエータXの制御不要を示す付加情報を含む属性データを出力してもよい。
次に、図19を参照して、割当制御システム200の適用例について説明する。ここでは、割当制御システム200を横断歩道周辺の監視に取り入れた例を説明する。図19では、割当制御システム200が4つのカメラAを有し、割当制御装置110が4つの特定処理部Bと5つの専門処理部Cとk個の属性処理部Dとを有し、アクチュエータ部90がk個のアクチュエータXを有する例を示している。図19の例では、ネットワークNに交通信号制御機600が接続されており、各専門処理部Cは、信号機(図示せず)の状況を示す信号データを交通信号制御機600から取得できるようになっている。
ここでは、専門処理部C1及び専門処理部C2が種別「人」に対応し、専門処理部C3が種別「自転車」に対応し、専門処理部C4が種別「ボール」に対応し、専門処理部C5が種別「自動車」に対応するものとして説明する。また、属性処理部Dkは、ネットワークNを介しての動作制御に対応し、アクチュエータXkは、カメラAによる監視エリアを通過する自動車に配置され、音又は音声を発生させる報知手段であることを想定する。
この例の場合、専門処理部C1及びC2は、割当部30から撮像データを取得すると、撮像データの種別「人」における属性を判別する。例えば、属性処理部D3が不審な動きの人を示す属性「不審人物」に対応している状況で、専門処理部C1が属性「不審人物」を示す属性データを属性割当部70へ出力し、属性割当部70が当該属性データを属性処理部D3へ出力したとする。ここで、アクチュエータX2は音声の出力が可能な報知手段であり、アクチュエータX3は電光表示板であるものとする。そして、属性「不審人物」を示す属性データには、アクチュエータX2に注意喚起の音声を出力させる処理、及びアクチュエータX3に警告用の文字を表示させる処理が対応づけられているとする。この場合、属性処理部D3は、注意喚起信号をアクチュエータX2へ出力すると共に、警告用の文字の表示を指示する制御信号をアクチュエータX3へ出力する。
専門処理部C3は、割当部30から撮像データを取得すると、撮像データの種別「自転車」における属性を判別する。例えば、属性処理部D4が属性「ながらスマホ」に対応している状況で、専門処理部C3が属性「自転車」を示す属性データを属性割当部70へ出力し、属性割当部70が当該属性データを属性処理部D4へ出力したとする。ここで、アクチュエータX1が報知手段であり、属性「ながらスマホ」を示す属性データには、アクチュエータX1に警告音を出力させる処理が対応づけられているとする。この場合、属性処理部D4は、警告音の出力を指示する制御信号をアクチュエータX1へ出力する。
専門処理部C4は、割当部30から撮像データを取得すると、撮像データの種別「ボール」における属性を判別する。例えば、属性処理部D1が属性「ドリブル」に対応している状況で、専門処理部C4が属性「ドリブル」を示す属性データを属性割当部70へ出力し、属性割当部70が当該属性データを属性処理部D1へ出力したとする。ここで、アクチュエータX3は電光表示板であり、属性「ドリブル」を示す属性データには、アクチュエータX3に警告用の文字を表示させる処理が対応づけられているとする。この場合、属性処理部D1は、警告用の文字の表示を指示する制御信号をアクチュエータX3へ出力する。
専門処理部C5は、割当部30から撮像データを取得すると、撮像データの種別「自動車」における属性を判別する。例えば、属性処理部D2が属性「蛇行運転」に対応している状況で、専門処理部C4が属性「蛇行運転」を示す属性データを属性割当部70へ出力し、属性割当部70が当該属性データを属性処理部D2へ出力したとする。ここで、アクチュエータX4が信号機の周囲に取り付けられた電光表示板であり、属性「蛇行運転」を示す属性データには、アクチュエータX4に休憩を推奨する情報を表示させる処理が対応づけられているとする。この場合、属性処理部D2は、休憩を推奨する情報の表示を指示する制御信号をアクチュエータX4へ出力する。
ここで、専門処理部Cは、交通信号制御機600から信号データを取得し、取得した信号データをもとに、更に属性を細分化してもよい。例えば、歩行者側の信号機が赤のときに歩行者が横断歩道を渡ろうとした状況下では、専門処理部Cが撮像データの属性を「危険」とする、といったように、専門処理部Cは、交通信号制御機600と連携して属性の判別処理を行ってもよい。
また、複数の専門処理部Cが相互に連携して判別処理を行うようにしてもよい。例えば、種別「人」の専門処理部Cが、種別「自転車」の専門処理部Cに対し、属性「子供」を判別した旨の時事情報を送信し、種別「自転車」の専門処理部Cが時事情報を属性の判別に用いる、といった連携が考えられる。さらに、撮像範囲に信号機が含まれるカメラAに関連づけて種別「信号機」の専門処理部Cを設け、当該専門処理部Cが信号機の状態を示す時事情報を他の専門処理部Cへ出力するようにしてもよい。このようにすれば、交通信号制御機600から信号データを取得しなくても、各専門処理部Cは、種別「信号機」の専門処理部Cからの時事情報を活かした判別処理を行うことができる。加えて、歩行者が車道に飛び出したことを判別した専門処理部Cが、その旨の時事情報を種別「自動車」の専門処理部Cへ送信するようにしてもよい。そして、種別「自動車」の専門処理部Cは、属性割当部70及び属性処理部Dkを通じ、ネットワークを介して、音又は音声の発生を指示する制御信号をアクチュエータXkに出力してもよい。
続いて、図20のフローチャートを参照して、本実施の形態2の割当制御方法について説明する。図11と同様の工程については、同一のステップ番号を付して説明は省略する。
まず、割当処理部20は、ステップS101〜S104の処理を実行する。次いで、割当部30から撮像データが出力された専門処理部Cは、当該撮像データが、出力元の特定処理部Bにおいて特定された種別における複数の属性のうちのどれであるかを判別する(ステップS105)。そして、専門処理部Cは、判別の結果を示す属性データを属性割当部70に出力する(ステップS201)。
属性割当部70は、専門処理部Cから属性データが出力されると、当該属性データを複数の属性処理部D1〜Dkのうちの何れかに割り当てる。つまり、属性割当部70は、複数の専門処理部Cの各々から出力される属性データが示す属性に対応する属性処理部Dに対し、当該属性データを出力する(ステップS202)。
属性処理部Dは、属性割当部70から属性データが出力されたとき、当該属性データに応じた処理を実行する。本実施の形態2の属性処理部Dは、属性データに応じた処理として、属性データに対応する制御信号を生成し、生成した制御信号を少なくとも1つのアクチュエータXへ出力する。属性処理部Dは、例えば、発光手段であるアクチュエータXに対し、発光を指示する制御信号を出力する(ステップS203)。
以上のように、本実施の形態2の割当制御装置110は、カメラAに接続された複数の特定処理部Bが撮像データの種別を特定し、割当部30が、特定処理部Bによって特定された種別に対応する専門処理部Cに撮像データを出力する。すると、専門処理部Cが、撮像データの属性について判別すると共に、判別の結果を示す属性データを属性割当部70へ出力する。そして、属性割当部70が属性データに対応する属性処理部Dへ当該属性データを出力し、属性処理部Dが属性データに応じた処理を実行する。よって、割当制御装置110によれば、特定処理部Bと専門処理部Cと属性処理部Dに負荷を分散することができるため、各処理部の負荷軽減を図り、撮像データを多様な用途で円滑に活用することができる。すなわち、本実施の形態2の専門処理部Cは、撮像データに対し、専門の種別についての画像解析だけを行えばよく、アクチュエータXに対する指示については、属性処理部Dに任せることができる。そして、専門処理部Cの処理量の更なる低減と負荷分散により、割当制御装置10の全体としての処理の迅速化を図ることができる。
また、属性処理部Dは、属性割当部70から属性データが出力されたとき、当該属性データに応じた制御信号を、制御対象となる複数のアクチュエータXのうちの少なくとも1つへ出力し、アクチュエータXが制御信号に応じた動作を実行する。よって、割当制御装置110によれば、撮像データの属性に応じたアクチュエータXの迅速な動作を実現することができる。
本実施の形態2の割当制御システム200は、割当制御装置110と、割当制御装置110による制御対象となる複数のアクチュエータXと、を有している。そして、属性処理部Dは、属性割当部70から属性データが出力されたとき、当該属性データに応じた制御信号を少なくとも1つのアクチュエータXへ出力し、アクチュエータXが制御信号に応じた動作を実行する。したがって、割当制御システム200によれば、撮像データの属性に応じたアクチュエータXの迅速な動作を実現することができる。
上述した実施の形態1で説明した代替構成及び変形例1−2の構成は、本実施の形態2の割当制御装置110及び割当制御システム200にも適用することができる。他の効果については、実施の形態1と同様である。
<変形例2−1>
次に、図21を参照して、変形例2−1に係る割当制御装置及び割当制御システムの構成例を説明する。本変形例2−1における専門処理部Cは、判別の結果を示す属性データと共に、判別に係る撮像データを属性割当部70に出力する。本変形例2−1における属性割当部70は、専門処理部Cから属性データ及び撮像データが出力されると、当該属性データが示す属性に対応する属性処理部Dに、当該撮像データを割り当てる。つまり、属性割当部70は、複数の専門処理部Cの各々から出力される属性データが示す属性に対応する属性処理部Dに対し、属性データと共に出力された撮像データを出力する。
本変形例2−1の属性処理部Dは、専門処理部Cと同程度の性能を有しており、図2に示す専門処理部Cと同様の機能的構成を備えている。属性処理部Dは、特定の種別における複数の属性のうちの何れかに特化した画像解析を行う機能を有している。すなわち、属性処理部Dは、ディープラーニング等の学習に基づくAIを搭載しており、撮像データに含まれる主たる物体の特徴量を抽出することで、属性をより細かく分類するものである。属性処理部Dは、属性割当部70から撮像データが出力されたとき、当該撮像データを解析して特徴量を抽出する。そして、属性処理部Dは、抽出した特徴量に応じた制御信号を生成し、生成した制御信号を少なくとも1つのアクチュエータXへ出力する。
本変形例2−1の更新処理装置80は、各属性処理部Dの制御プログラムを格納している。更新処理装置80は、属性処理部Dから送信される撮像データ及び解析結果等に基づく学習により制御プログラムを更新し、更新した制御プログラムを、予め設定されたタイミングで属性処理部Dへ送信する。これにより、各属性処理部Dは、制御プログラムのアップデートを行うことができる。
ところで、属性割当部70は、属性処理部Dに対し、撮像データと共に属性データを出力するようにしてもよい。そして、属性処理部Dは、特徴量の抽出処理に属性データを用いてもよい。
以上のように、本変形例2−1の割当制御装置110は、属性処理部Dに画像解析の機能をもたせている。よって、属性処理部Dは、少なくとも1つのアクチュエータXに対し、撮像データから抽出する特徴量に応じたより細かな指示を出すことができるため、アクチュエータ部90に、より有意な動作を実行させることができる。また、更新処理装置80は、専門処理部Cの解析結果と属性処理部Dの解析結果とを、専門処理部C及び属性処理部Dのそれぞれの制御プログラムの更新処理に活用することができる。そのため、制御プログラムの更新精度の向上を図ると共に、専門処理部C及び属性処理部Dの制御プログラムのアップデートの効率化を図ることができる。
<変形例2−2>
続いて、図22を参照して、変形例2−2に係る割当制御装置及び割当制御システムの構成例を説明する。すなわち、図18、図19、及び図21では、1つの基板に各構成部材が実装された割当制御装置110、又はワンチップで構成された割当制御装置110を想定しているが、これに限定されない。
本変形例2−2の割当制御装置10は、各構成部材が2つの基板に実装された構成、又は2つのチップによる構成を採っている。より具体的に、割当制御装置110は、割当処理部20と複数の専門処理部C1〜Cmとを有する第1制御装置110Aと、属性割当部70と複数の属性処理部D1〜Dkとを有する第2制御装置110Bと、を有している。
以上のように、本変形例2−2の割当制御装置10は、第1制御装置110Aと第2制御装置110Bとの2つのパーツにより構成されている。よって、配置の自由度が増すと共に、保守及び管理が容易となるため、ユーザの利便性が向上する。もっとも、第2制御装置110Bには、変形例2−1の構成を適用してもよい。
実施の形態3.
図23を参照して、本発明の実施の形態3に係る割当制御システムの構成例について説明する。本実施の形態3における割当制御システム300は、割当制御装置10もしくは割当制御装置110を複数有する構成、又は割当制御装置10と割当制御装置110とを組み合わせた構成を採ることができる。図23では、割当制御システム300が、2つの割当制御装置10、2つの割当制御装置110、又は割当制御装置10と割当制御装置110とを有する構成例を示している。以降では、割当制御装置10と割当制御装置110とを総称する場合、符号を省略して「割当制御装置」と記載する。
割当制御システム300を構成する割当制御装置は、各専門処理部CがネットワークNを介して更新処理装置80に接続されている。変形例2−1の割当制御装置110の場合は、各属性処理部DもネットワークNを介して更新処理装置80に接続される。すなわち、割当制御システム300では、複数の割当制御装置から出力される撮像データ及び各専門処理部C等の解析結果を更新処理装置80に集約することができる。
本実施の形態3の更新処理装置80は、複数の割当制御装置から入力した撮像データを解析すると共に、解析した結果を専門処理部C又は属性処理部Dの制御プログラムの更新に反映させることができる。つまり、更新処理装置80は、各割当制御装置のそれぞれの複数の専門処理部Cから送信される撮像データ及び解析情報をもとに、複数の専門処理部Cのそれぞれの解析処理プログラム432を更新する。そして、更新処理装置80は、更新した解析処理プログラム432を各割当制御装置へ送信する。図21の構成にあっては、更新処理装置80は、各割当制御装置のそれぞれの複数の属性処理部Dから送信される撮像データ及び解析結果の情報をもとに、複数の属性処理部Dのそれぞれの解析処理プログラムを更新する。そして、更新処理装置80は、更新した解析処理プログラムを各割当制御装置へ送信する。
よって、割当制御システム300は、割当制御装置を1つだけ含む構成よりも、更新処理装置80が解析する撮像データの量が多くなることから、更新処理装置80による制御プログラムの更新精度が向上する。そのため、専門処理部C又は属性処理部Dの制御プログラムのアップデートを効率よく行うことができる。そして、割当制御システム300では、複数の割当制御装置が、ネットワークNを介して更新処理装置80に接続されるため、例えば、設置場所が大きく異なる複数の割当制御装置からの撮像データ及び撮像データの解析結果なども、更新処理装置80に集約し、活用することができる。
ところで、図23では、割当制御システム300が、アクチュエータ部90を含む例を示しているが、これに限定されず、アクチュエータ部90は、割当制御システム300の外部構成としてもよい。他の構成及び代替構成などは、上述した実施の形態1及び2と同様であり、他の効果についても、実施の形態1及び2と同様である。
上述した各実施の形態は、割当制御装置及び割当制御システムにおける好適な具体例であり、本発明の技術的範囲は、これらの態様に限定されるものではない。例えば、図4及び図5では、アクチュエータXb1〜Xb4が、専門処理部Cからの制御信号に応じて、音又は音声だけでなく、超音波も出力できることを想定して説明したが、これに限定されない。アクチュエータ部90は、例えば、音の出力を専門とする1又は複数のアクチュエータX、音声の出力を専門とする1又は複数のアクチュエータX、超音波の出力を専門とする1又は複数のアクチュエータXなどを別々に有していてもよい。
図4及び図5では、アクチュエータXa1〜Xa4が同質の発光手段であることを想定して説明したが、これに限定されない。アクチュエータ部90は、例えば、LEDなどの光源を含む1又は複数のアクチュエータX、ストロボを含む1又は複数のアクチュエータXなどを別々に有していてもよい。
図4及び図5では、飛行体500として、6つのモータMと6つのプロペラPとを搭載したドローンを例示したが、これに限定されない。飛行体500は、5つの以下又は7つ以上のモータM及びプロペラPを搭載したドローンであってよい。もっとも、各アクチュエータXの数及び配置、各専門処理部Cと各アクチュエータXとの接続関係などは、図4及び図5の構成に限定されず、適宜変更することができる。また、飛行体500は、飛行機、ヘリコプター、飛行船、又は気球などであってもよい。
図18、図19、図22では、属性処理部DとアクチュエータXとが1対1で対応づけられた例を示しているが、これに限らず、属性処理部Dが複数のアクチュエータXに制御信号を出力するように構成してもよい。このようにすれば、音又は音声の報知と発光とを組み合わせて行う等、撮像データの属性に応じたアクチュエータ部90の出力のバリエーションを増やすことができる。
更新処理装置80は、各専門処理部Cから種別データを取得し、種別の出現頻度等に応じて、割当頻度の低い種別の専門処理部Cの制御プログラムを、割当頻度の高い種別の制御プログラムに書き換えるようにしてもよい。このようにすれば、例えば、鳥の多い場所に割当制御装置に接続されたカメラAが配置された場合、種別「鳥」の専門処理部Cを事後的に増やすことができる。また、撮像データに含まれる物体が、曜日や時間帯などに応じて変化する場合にも、複数の専門処理部Cの適切な組み合わせを適時に実現することができる。
各実施の形態では、割当制御装置にデータを出力する機器として、1又は複数のカメラAを例示したが、これに限らず、割当制御装置には、データの出力元の機器として、各種のセンシングデバイスが接続されていてもよい。この場合、割当制御装置は、センシングデバイスから出力されるセンシングデータを用いた演算処理等を行う1又は複数の制御部を備えた構成を採るとよい。該制御部は、例えばCPU又はGPUを含んで構成される。すなわち、割当制御装置は、撮像データとセンシングデータとを用いて、1又は複数のアクチュエータXの動作を制御する。また、割当制御装置は、各種のセンシングデバイスが接続された外部機器と連携して、1又は複数のアクチュエータXの動作を制御するように構成してもよい。外部機器は、各種のセンシングデバイスから出力されるセンシングデータを用いた演算処理等を行うものである。
ここで、割当制御装置は、例えば、自動車の自動運転システムに適用することもできる。この場合、複数のカメラAは、それぞれ、自動車の内部又は外部を撮像するように配置される。したがって、複数のカメラAは、交通標識、信号機、路面の白線、前方又は後方の車両、対向車、自動二輪車、自転車、歩行者などの情報を含む撮像データを割当制御装置へ出力する。割当制御装置は、複数のカメラAのそれぞれから出力される撮像データに基づき、自動車を構成する各種のアクチュエータXの動作を制御する。割当制御装置は、データの出力元の機器として、ミリ波レーダ又はLiDAR(Light Detection And Ranging)などのセンシングデバイスが接続され、これらのセンシングデバイスからのセンシングデータを用いた演算処理等を行うようにしてもよい。この場合、割当制御装置は、撮像データとセンシングデータとを用いて、自動車を構成する各種のアクチュエータXの動作を制御する。また、割当制御装置は、ミリ波レーダ又はLiDARなどのセンシングデバイスが接続された外部機器と連携して、自動車を構成する各種のアクチュエータXの動作を制御してもよい。もっとも、割当制御装置は、GPS(Global Positioning System)を用いた処理が可能な構成としてもよく、GPSを用いた処理を行う外部機器と連携して、自動車を構成する各種のアクチュエータXの動作を制御してもよい。
ところで、割当制御装置を構成する複数の特定処理部Bは、例えばSoCとして1つのチップで形成してもよい。また、割当制御装置は、割当処理部20を1つのチップで形成してもよく、複数の専門処理部Cを1つのチップで形成してもよい。さらに、割当制御装置は、その全体を1つのチップで形成してもよい。図18、図19、図21、及び図22の構成例については、割当制御装置は、複数の属性処理部Dを1つのチップで形成してもよく、属性割当部70と複数の属性処理部Dとを組み合わせて1つのチップで形成してもよい。なお、特定処理部Bの制御部は、CPU又はGPUなどを含むSoCとして形成してもよい。また、特定処理部Bは、カメラAの内部に搭載されてもよい。各実施の形態では、種別及び属性の名称を括弧書きで例示したが、これらは説明の便宜上の記載であり、各名称を限定するものではない。注意喚起の台詞についても、適宜変更することができる。