Nothing Special   »   [go: up one dir, main page]

JP6022330B2 - カメラシステム - Google Patents

カメラシステム Download PDF

Info

Publication number
JP6022330B2
JP6022330B2 JP2012266574A JP2012266574A JP6022330B2 JP 6022330 B2 JP6022330 B2 JP 6022330B2 JP 2012266574 A JP2012266574 A JP 2012266574A JP 2012266574 A JP2012266574 A JP 2012266574A JP 6022330 B2 JP6022330 B2 JP 6022330B2
Authority
JP
Japan
Prior art keywords
camera
reference point
image
unit
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012266574A
Other languages
English (en)
Other versions
JP2014112798A (ja
Inventor
功 ▲高▼橋
功 ▲高▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2012266574A priority Critical patent/JP6022330B2/ja
Publication of JP2014112798A publication Critical patent/JP2014112798A/ja
Application granted granted Critical
Publication of JP6022330B2 publication Critical patent/JP6022330B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、複数のカメラ間での各種カメラパラメータの校正や撮影された物体の形状認識などに用いる基準点をカメラが撮影した画像から自動認識するカメラシステムに関し、特に現実空間に設置された基準点を作業者が容易に設置できるようにしたカメラシステムに関する。
監視カメラを用いて人の追跡を行うカメラシステムが研究されている。そのようなカメラシステムを構築する際、カメラの位置や姿勢等のカメラパラメータを求めて、カメラシステムが認識する仮想空間と現実空間である監視空間との対応をとるための調整が必要となる。この調整作業をキャリブレーション(校正)という。
例えば、キャリブレーションを行うには、カメラ視野内の監視空間に位置計測の基準とする基準点を複数設置し、当該基準点をカメラにて撮影する。そして、撮影した画像から各基準点を検出し、基準点の画像上の検出位置と監視空間における基準点位置との幾何学的関係からカメラパラメータを計測する。
カメラの位置・姿勢などのカメラパラメータは、基準点の3次元座標を与えれば1台のカメラで計測できるが、複数のカメラの共通視野を利用すれば基準点の3次元座標を与えずに計測できる。すなわち、共通視野に複数の基準点を設置して当該視野を共有する複数のカメラで撮影した各画像から同一基準点を検出し、これらの基準点の検出位置が同一位置であるとの幾何学的関係を利用して各カメラのカメラパラメータを計測できる。
また、基準点は、このようなキャリブレーション以外に、監視空間に設置されている什器等の3次元位置・形状の計測にも使用される。例えば、什器等の表面に複数の基準点を設置して、カメラで撮影した画像から各基準点を検出し、各基準点とカメラの位置・姿勢との幾何学的関係から什器等の表面に設置した各基準点の3次元位置を求めることによって、什器等の位置や形状を計測することがある。
従来、かかる基準点を設置するのに、発光装置からスポット光を監視空間に照射し、その照射点を基準点としてカメラのキャリブレーションを実現する画像処理装置が提案されている(特許文献1)。
特開2004−46772号公報
ところで、昨今のカメラ価格の下落を受けて、多数の監視カメラを設置して広範囲な監視空間を監視するカメラシステムが提案されている。かかる場合、従来技術のように監視空間の外から発光装置を用いてスポット光を照射して、基準点を設置するのが困難になってくる。このため、携帯型のレーザーポインタ等を作業者が手に持ち、カメラの視野内を移動しながらスポット光を照射して基準点を設置することが考えられる。
しかしながら、その場合、作業者と基準点とがカメラの視野内に同時存在して基準点を設置することとなり、カメラ及び作業者の位置によっては、設置したはずの基準点が作業者により生じる死角に隠れてしまい、当該基準点を検出し損ねることがある。基準点を検出し損ねると基準点の再設置作業が生じる。
すなわち、基準点に死角を形成しない立ち位置を作業者が正しく認識して作業を効率的に進めることが困難であるという課題があった。
本発明に係るカメラシステムは、所定の空間内を撮影する一又は複数のカメラと、前記カメラが撮影した画像を処理する制御装置と、前記カメラで撮影可能であり作業者によって設置される基準点とを備えて構成されるカメラシステムであって、前記制御装置は、前記空間内における前記カメラの位置・姿勢を含むカメラパラメータと前記基準点の設置が必要な前記空間内の要求位置とを少なくとも記憶する記憶部と、前記カメラが撮影した画像から前記基準点を検出する基準点検出部と、前記カメラの前記カメラパラメータ及び前記要求位置を用いて、当該カメラから当該要求位置への視線方向の位置を、前記作業者が存在すると当該カメラから当該要求位置を撮影できなくなる死角形成作業者位置として算出する作業者位置算出部と、前記死角形成作業者位置を出力する出力部と、を備える。
上記本発明に係るカメラシステムにおいては、前記出力部は前記要求位置を出力する構成とすることもできる。
他の本発明に係るカメラシステムにおいては、前記カメラは前記空間内にて共通視野を有するように複数配置され、前記制御装置は、前記基準点を用いて前記カメラパラメータを校正する校正部を更に有し、前記校正部は、前記複数のカメラが同時に撮影した画像それぞれにて前記基準点検出部が前記基準点として基準点像を検出した場合に、当該複数の基準点像が前記空間における同一位置であるとの拘束条件を適用して前記カメラパラメータを校正する。
この本発明に係るカメラシステムにおいては、前記制御装置は、前記基準点検出部が前記共通視野内の前記要求位置に存在する前記基準点を検出した場合にのみ、当該基準点が撮影された当該要求位置を前記記憶部から削除する要求位置設定部を更に有する構成とすることができる。
また上記本発明に係るカメラシステムにおいて、前記制御装置は、前記カメラが撮影した画像を当該カメラの光軸と撮影平面との交点から放射状に所定角度ごとに区分した区分領域を単位として前記要求位置を設定する要求位置設定部を更に有する構成とすることができる。
本発明によれば、作業者は基準点を設置する位置に死角を形成しない立ち位置が分かるので、やり直しや試行錯誤を減らして効率的に基準点を検出させることができ、校正作業や計測作業が容易・迅速となる。
本発明の実施形態に係るカメラシステムの概略の構成を示した模式図である。 監視空間の模式的な平面図である。 制御装置の概略の構成を示したブロック図である。 カメラパラメータのデータ構成をテーブル形式で示す模式図である。 カメラ2Bとカメラ2Cからなるカメラ対に設定する要求位置の例を示す模式図である。 本発明の実施形態に係るカメラシステムの校正処理における動作の概略を示すフロー図である。 本発明の実施形態に係るカメラシステムが校正処理にて行う推奨立ち位置の提示処理の概略を示すフロー図である。 基準点情報のデータ構成をテーブル形式で示す模式図である。 要求情報のデータ構成をテーブル形式で示す模式図である。 連鎖判定テーブルのデータ構成をテーブル形式で示す模式図である。 カメラ2B,2Cの画像領域にて直接的に求まる死角形成位置の算出例を示す画像領域の模式図である。 図11に対応する作業者立ち位置の算出例を示す画像領域の模式図である。 図12に対応する推奨立ち位置の絞り込みの例を示す画像領域の模式図である。 表示部における推奨立ち位置を提示する表示画面の一例である。 表示部における推奨立ち位置を提示する表示画面の他の例である。 図15(a)の表示画面に対応して画像処理部が校正処理にて行う推奨立ち位置の提示処理の概略を示すフロー図である。 本発明の実施形態に係るカメラシステムの計測処理における動作の概略を示すフロー図である。 計測処理における設置要求情報の設定例を示す画像領域の模式図である。 照射器以外の装置により基準点を設置する例を示す模式図である。
以下、本発明の実施の形態(以下実施形態という)であるカメラシステムについて、図面に基づいて説明する。
[カメラシステム1の構成]
図1は実施形態に係るカメラシステム1の概略の構成を示した模式図である。カメラシステム1は複数のカメラ2(2A,2B,2C,2D,2E,2F,2G,2H)、照射器3、制御装置4、表示部5からなる。図1には照射器3及び表示部5を携帯した作業者10が監視空間内の床面(基準面11)を照射して床面上に光像を形成している様子が示され、また、床面には物体12が設置されている。
本実施形態においては光像の重心が基準点13である。作業者10は監視空間内を移動して各所に基準点13を設置する。カメラ2は基準点13を撮影して、制御装置4は撮影された画像から基準点13を検出して、カメラ2の校正や物体12の3次元計測を行う。また制御装置4は、基準点13の設置が要求される場所(要求位置)に作業者10による死角が生じない作業者立ち位置を算出して表示部5に出力する。作業者10は表示された立ち位置から照射を行うことにより失敗を減じて効率良く作業を行うことが可能である。
カメラ2は監視カメラであり、各カメラ2は制御装置4に接続される。各カメラ2は少なくとも他の1台のカメラとの間に共通視野を設けて連鎖配置され、複数のカメラ2の視野の和が監視空間となる。カメラ2は作業者10と共に移動する基準点13を所定時間おきに撮影し、撮影した画像を順次、制御装置4に出力する。
図1に示す例ではカメラシステム1には8台のカメラ2A,2B,2C,2D,2E,2F,2G,2Hが配置され、制御装置4はそれらカメラにそれぞれA,B,C,…,HというカメラIDを付与して管理する。複数のカメラ2はそれぞれ光軸を鉛直下方へ向けた姿勢で天井に格子状に配置される。図2は監視空間20の模式的な平面図であり、基準面11内での物体12の位置、及び8台のカメラ2(2A〜2H)の配置を「☆」で示している。カメラ2の間隔は、当該カメラの画角を考慮して、隣り合うカメラ同士が共通視野を有するよう設定されている。この例では、カメラ2Aが少なくともカメラ2Bと共通視野を有し、カメラ2Bが少なくともカメラ2A,2Cと共通視野を有し、カメラ2Cが少なくともカメラ2B,2D,2G,2Hと共通視野を有し、カメラ2Dが少なくともカメラ2C,2G,2Hと共通視野を有し、カメラ2Eが少なくともカメラ2Fと共通視野を有し、カメラ2Fが少なくともカメラ2E,2Gと共通視野を有し、カメラ2Gが少なくともカメラ2C,2D,2F,2Hと共通視野を有し、カメラ2Hが少なくともカメラ2C,2D,2Gと共通視野を有する。同図では、カメラ2Bの視野を100bで示し、カメラ2Cの視野を100cで示している。その他のカメラ2の視野は図示を省略している。また、領域200はカメラ2Bの視野100bとカメラ2Cの視野100cとの共通視野を示している。なお、カメラ2の台数は2台以上であれば任意であり、またカメラ2の位置・姿勢は少なくとも共通視野が連鎖する範囲で任意である。
照射器3はスポット光を出力する光源であり、例えば、レーザーポインタやコリメートLEDライトなどを用いることができる。照射器3は作業者10により携帯され、作業者10の操作により基準面11あるいは什器等の物体12に光を照射する。この照射により、基準面11あるいは物体12の表面に基準点13が設置される。基準点13は作業者10の操作・移動に伴い監視空間内を移動する。ちなみに、作業者10は、カメラ2の位置・姿勢の校正作業においては共通視野における基準面11を照射し、物体12の3次元計測作業では共通視野内に存在する物体12を照射する。照射器3は免許不要で簡単に入手・利用可能なものが好適である。
制御装置4は各カメラ2とイーサネット(登録商標)等のLANあるいは同軸ケーブル等の配線で接続される。また、表示部5とはブルートゥース等の無線回線で接続される。制御装置4はカメラ2が撮影した画像を取得して当該画像から基準点13を検出する。制御装置4は要求位置における基準点13の検出を妨げない作業者立ち位置を算出し、要求位置と作業者立ち位置とを含めた情報を表示部5に出力する。また検出した基準点13を利用してカメラ2の校正または物体12の計測を行う。
表示部5は無線通信インターフェースを備え制御装置4と無線回線で接続される。表示部5は液晶タッチパネルディスプレイ等の画像表示装置と演算装置とからなる表示手段を備え、制御装置4から入力された情報を視認可能に表示する。
図3は制御装置4の概略の構成を示したブロック図である。制御装置4は、画像取得部40、記憶部41、画像処理部42及び表示通信部(出力部)43からなる。
画像取得部40はカメラ通信部400と同期制御部401とからなり、各カメラ2からの画像を同期させて画像処理部42に出力する。
カメラ通信部400はカメラ2と通信して各カメラ2が撮影した画像を順次受信する通信インターフェースであり、受信した画像に当該画像を撮影したカメラ2のカメラIDを付与して同期制御部401に出力する。ここで、カメラ2がアナログカメラであれば予め設定した接続端子との対応関係からカメラIDを特定でき、IPカメラであれば予め設定した送信元アドレスとの対応関係からカメラIDを特定できる。
同期制御部401はカメラ通信部400が受信した各カメラ2からの画像の撮影時刻を同期させる。具体的には各カメラ2が基準周期よりも十分に短い撮影周期にて画像を撮影及び送信し、同期制御部401は、同時とみなせる程度に設定された許容時間差未満で受信した画像を同期がとれている同時撮影画像とする。同期制御部401は、基準周期ごとに同時撮影画像を抽出し、同時撮影画像どうしに共通のフレーム番号を付与して画像処理部42に出力する。同期制御部401は基準周期ごとに同時撮影画像を抽出するために、少なくとも基準周期の時間だけ各カメラ2からの画像を蓄積するバッファ(不図示)と、同時を判定するために時刻情報を生成する計時手段(不図示)とを備える。基準周期は例えば3fps(frame per second)、撮影周期は例えば15fps、許容時間差は例えば66ms(mili second)とすることができる。なお、同期制御部401から各カメラ2に基準周期ごとに同期パルスを出力して撮影タイミングを直接コントロールしてもよい。
記憶部41はROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ装置である。記憶部41は各種パラメータ、画像処理部42のプログラム等を記憶し、画像処理部42との間でこれらの情報を入出力する。各種パラメータには、カメラパラメータ410、要求情報411、照射限界値412、基準点情報413、物体計測情報414及び連鎖判定テーブル415が含まれる。
カメラパラメータ410は各カメラ2の内部パラメータ及び外部パラメータであり、カメラ2のカメラIDと対応付けられている。図4はカメラパラメータ410のデータ構成をテーブル形式で示す模式図である。
内部パラメータは焦点距離、レンズの光学中心位置を含む。図4において例えば、カメラ2Aの焦点距離はf、レンズの光学中心位置はcと表記している。焦点距離及びレンズの光学中心位置は予め正確な値が設定され、カメラ2の校正作業にて変化しない。
外部パラメータは監視空間におけるカメラ2の位置・姿勢の情報を少なくとも含んでおり、具体的には複数のカメラ2に共通する共通座標系(ワールド座標系)で表したカメラ2の設置高、回転行列、並進ベクトル、撮影平面の法線ベクトル、カメラ間距離を含む。
ここで、ワールド座標系は監視空間を模した右手直交座標系XYZであり、本実施形態では、Z軸を鉛直上向きに設定し、基準面である床面を高さZ=0とし、基準面におけるカメラAの鉛直下の点を座標原点とする。また、カメラAの画像の水平方向、垂直方向を撮影平面のx軸、y軸とし、当該x軸、y軸を基準面に投影した軸をそれぞれX軸、Y軸とする。
例えば、カメラ2Bの回転行列Rはカメラ2Bの光軸を中心とした回転を定義する。撮影平面の法線ベクトルnはカメラ2Bの光軸の向きを定義する。また、並進ベクトルはXY面内での2つのカメラ2の相対的な位置関係を定義する2次元ベクトルである。本実施形態では並進ベクトルはカメラ2Aの位置を起点として定義され、例えば、カメラ2Bの並進ベクトルtはカメラ2A,2BそれぞれのXY面内での位置を起点、終点とする。カメラ間距離は基準とするカメラ2からの或るカメラ2の距離であり、両カメラ2のXY面内での距離である。本実施形態ではカメラ間距離はカメラ2Aを基準として定義される。例えば、図4においてカメラ間距離dABはカメラ2A,2B間の距離を示している。なお、カメラ間距離はカメラ2の3次元座標間の距離としてもよい。
これら外部パラメータのうち、設置高は予め正確な値が設定され、カメラ2の校正作業にて変化しない。回転行列及び撮影平面の法線ベクトルは、設置計画における値である鉛直下向きであることを示す値が初期値として予め設定され、カメラ2の校正作業の対象とされる。並進ベクトル及びカメラ間距離については初期値は設定せず、カメラ2の校正作業にて設定される。
要求情報411は、校正や3次元計測のために作業者10に対して基準点13の設置を要求する必要がある監視空間における位置である要求位置と、当該要求位置を同時撮影することが可能なカメラ対とを対応させた情報を含む。要求情報411には後述する要求設定部422により、要求位置を表す座標データがカメラ対のカメラIDと対応付けて設定される。要求位置は点または線とすることもできるが領域とするのがよい。要求位置を領域とすることで、カメラシステム1から作業者10への要求は当該領域内の任意位置に基準点13を設置する要求となる。これにより作業者10は照射する的が大きくなるため負担が軽減される。そこで本実施形態では要求位置を領域とし、以降、各要求位置の領域をエリアとも呼ぶ。後の処理の説明で用いる図9は要求情報411のデータ構成を模式的に示しており、同図において要求位置を示す「A5」等の記号は後述するように領域を示すものである。また、要求情報411は要求位置への基準点13の設置要件を規定する要求条件を含む。
照射限界値412は照射器3の特性を考慮して事前に設定された照射限界距離値である。光源から遠すぎる場所は光像の径が広がることによって単位面積あたりの輝度が低下してしまい、基準点13を検出できない可能性が高い。照射限界距離値は、要求位置が基準点13を検出できないほど遠いか否かを判定するためのしきい値である。
基準点情報413は後述する基準点検出部420により生成され、概略校正部421、精密校正部424及び物体計測部425が利用する。基準点情報413は基準周期で同期して撮影された複数のカメラ2の撮影画像から検出された基準点13の情報であり、撮影画像にて検出された基準点13の像(基準点像)の検出位置と、当該基準点像を検出した画像に付与されていたカメラID及びフレーム番号とが対応付けられている。後の処理の説明で用いる図8は基準点情報413のデータ構成を模式的に示しており、同図において検出位置を示す(57,90)等は撮影画像における基準点像のx座標とy座標との組を表している。
物体計測情報414は監視空間に存在する物体12の3次元形状を計測して得られた情報であり、物体計測部425が基準点情報413を基に生成する。物体計測情報414はカメラシステム1が監視空間内の人物を検出したり追跡したりするときに背景情報として利用される。
連鎖判定テーブル415は、後述する精密校正処理の進捗状況の管理に用いられる情報であり、後の処理の説明で用いる図10に示すように、精密校正の対象となるカメラ対と精密校正の完了/未了とが対応付けられたデータ構成を有する。
画像処理部42はCPU(Central Processing Unit)、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置を用いて構成され、記憶部41からプログラムを読み出して実行することにより基準点検出部420、概略校正部421、要求設定部422、推奨立ち位置算出部423、精密校正部424、物体計測部425等として機能する。
基準点検出部420はカメラ2が撮影した画像から基準点13を検出する。具体的には、各カメラ2が基準周期で撮影した画像にて基準点像の検出処理が行われ、各基準点像の検出位置を、当該基準点像を検出した画像に付与されていたカメラID及びフレーム番号と対応付けて記憶部41の基準点情報413に記憶させる。検出処理は、背景差分やフレーム間差分にて差分領域を抽出し、抽出した差分領域にラベリング処理を施し、照射器3の光像の大きさに基づき予め設定された大きさ範囲の領域を光像として選別し、選別した光像の重心を基準点13として検出する。上記大きさ範囲について制限を設けることで作業者に起因する差分領域が除外される。
ここで、複数のカメラ2の共通視野に設置された基準点13は基本的には当該複数のカメラ2それぞれにより同時に撮影され、また、作業者10が一時点に設置する基準点13は1つである。よって、基準点情報413にて同一のフレーム番号に対応付けられた基準点13を検索すれば共通視野を有したカメラ対を検出できる。基準点検出部420は基準点情報413から、フレーム番号が同一である基準点ペアを抽出し、抽出した基準点13のカメラIDを共通視野を有するカメラ対として要求情報411に記憶させる。
本実施形態においてカメラ2の校正作業はおおまかな校正(概略校正)とより精度の高い校正(精密校正)との2段階で行われる。概略校正処理は概略校正部421によって行われ、精密校正処理は精密校正部424によって行われる。概略校正部421及び精密校正部424は、基準点検出部420により生成された基準点情報413に基づいてそれぞれの校正処理を行う。ここで、精密校正部424は概略校正部421よりも多い要求位置での基準点13を用いることで、概略校正より精度の高い校正を行う。
概略校正部421及び精密校正部424は、基準点情報413から、同時撮影画像にて共通に検出された基準点像を抽出して、それら基準点像が監視空間における同一位置に対応するとの拘束条件を適用してカメラ2の位置・姿勢を算出し、当該位置・姿勢で各カメラ2のカメラパラメータ410を更新する。具体的には、校正対象とするカメラ対にて検出された基準点像の位置をカメラ2の内部パラメータで歪み補正し、その基準点像の検出位置とカメラ2の設置高とを利用してホモグラフィ行列を導出する。そして、カメラ対ごとのホモグラフィ行列から当該カメラ対をなす各カメラの回転行列、並進ベクトル、撮影平面の法線ベクトル、カメラ間距離を算出し、これらを共通座標系に変換して各カメラ2の位置・姿勢を求める。ホモグラフィ行列を使う位置・姿勢の求め方は「平面シーンの最適三角測量」情報処理学会研究報告.CVIM、2010-CVIM-171(4),1-8,2010-08-11)などにより公知である。また、ホモグラフィ行列を使う方法の他にもエピポーラ幾何を基礎とする各種校正方法を適用可能である。
物体計測部425は基準点検出部420により同時撮影画像から共通に検出された基準点像が監視空間における同一位置に対応するとの拘束条件を適用して、共通視野に存在する物体12の3次元位置を計測する。物体計測部425による3次元計測機能は、精密校正部424が精密校正処理を終えた後に利用される。すなわちカメラの精密位置・姿勢が記憶部41のカメラパラメータ410に記憶されている状態で3次元計測処理(物体計測処理)は実行される。
具体的には、物体計測部425は、カメラパラメータ410により定まるカメラ対の位置・姿勢、及び基準点情報413に記憶されている当該カメラ対が撮影した基準点13の検出位置に三角測量の原理を適用して各基準点13の3次元位置を導出する。また物体計測部425は、基準点13のうち対応する要求位置が共通する複数の基準点13を同一平面上の点とみなして要求位置ごとに当該平面を導出する。さらに物体計測部425は、導出した平面同士の接線を導出し、当該接線を各平面の辺として設定する。なお、監視空間は基準面(床面)、カメラ設置高と同じ高さを有する仮想天井、有限範囲のXY座標で規定した仮想壁からなる立体とし、接線は基準面、仮想天井、仮想壁との間でも導出する。
物体計測部425は、辺が導出されて輪郭が定義された各平面のデータを物体12の表面を表す3次元形状データとして記憶部41の物体計測情報414に記憶させる。
上述のように概略校正処理、精密校正処理及び物体計測処理は基準点検出部420により検出された基準点13を用いる。要求設定部(要求位置設定部)422は基準点13の設置が要求される複数の要求位置をカメラ2ごとに共通視野内に設定する。具体的には要求設定部422は上述した要求情報411を生成し記憶部41に記憶させる。また、要求設定部422は要求情報411を記憶させた後に基準点情報413と要求情報411とを逐次参照して、基準点検出部420が共通視野内の各要求位置に存在する基準点13を検出したか否かを確認し、基準点13を検出した場合にのみ当該基準点13が撮影された要求位置を記憶部41から削除する。なお、各処理における要求位置の設定基準は異なり、以下、それぞれについて説明する。
(1)概略校正処理における要求位置
共通視野を有するカメラ対の校正処理(概略校正処理及び精密校正処理)において当該共通視野の基準面から複数の基準点13の検出が必要である。本実施形態では上述したように、各カメラ対にホモグラフィ行列を用いた校正を適用する。この場合、カメラ対ごとに同一直線上にない4個以上の基準点13が同時撮影画像から検出されること、すなわち対をなす2つのカメラ2で合計8個以上の基準点13の検出が要求される。この観点から、要求設定部422は各カメラ2の画像を区分した区分領域を単位として複数の要求位置を設定する。好適には要求設定部422は、各カメラ2が撮影した画像を当該カメラの光軸と撮影平面との交点から放射状に所定角度ごとに区分する。作業者10が存在することによって生じる死角領域は基本的には、カメラ2の光軸と撮影平面との交点から作業者10の位置に向かう方向に延ばした線に沿って位置するので、当該区分の仕方によれば死角領域が形成される要求位置が少なくなる。つまり、死角の影響を受けにくくなる効果がある。例えば、放射状に45度刻みで8エリアに区分けすることができる。
また、校正の精度を確保する上でこれらの基準点13は分散していることが望ましい。この観点からは、上記放射状の複数エリアとは別に、カメラ2の画像領域のうち当該カメラ2の光軸と撮影平面との交点が内部に位置した部分を1エリアとして追加設定する区分の仕方が好適である。これにより、放射状の区分の中心部において複数の放射状エリアの密集を回避でき、中心部の狭い領域にて集中して基準点13が検出される事態を排除できる。つまり、検出される基準点13の分散の度合が低くなることを防止でき、校正の精度を確保できる。そこで、本実施形態では、要求設定部422は、各カメラ2の鉛直下近傍に相当する円形の1エリアと、その外側に残るエリアを45度刻みで放射状に区分した8エリアとからなる9エリアを要求位置として設定する。
図5はこのように設定された要求位置を示す模式図であり、同図はカメラ2Bとカメラ2Cからなるカメラ対に設定する要求位置の例を示している。図5(a),(b)はそれぞれ図2に平面図で示す監視空間20に配置されたカメラ2B,2Cで撮影される画像領域21b,21cを示している。ちなみに、監視空間20のうち画像領域21b,21cに映る範囲は図2に示す監視空間20の平面図ではそれぞれカメラ2B,2Cの視野100b,100cで表される。図5(a)に示すカメラ2Bの画像領域21bには要求位置B1〜B9が示されており、図5(b)に示すカメラ2Cの画像領域21cには要求位置C1〜C9が示されている。具体的には、カメラ2Bの鉛直下近傍に相当する円形の1エリアとして基準面11にて半径RとなるエリアB1を画像領域21bに設定し、カメラ2B及び2Cそれぞれの鉛直下を結ぶ線を0度として45度刻みでエリアB1の周囲の画像領域を放射状に8区分して順にエリアB2〜エリアB9を設定する。同様にカメラ2Cに関して円形の1エリアであるエリアC1とその周囲を放射状に区分したエリアC2〜C9を設定する。
なお、中心部の円形エリアは放射状エリアを分散させる目的で設定するものであり、その大きさは当該目的を達成できるように定められる。また当該目的から、中心部のエリアは円形に限らず、例えば四角形などの多角形とすることもできる。
要求設定部422は各カメラ2について、記憶部41からカメラパラメータ410の初期値を読み出してこれを基に上述のカメラ2の画像領域の区分を行い、概略校正処理における要求位置として9エリアを設定する。そして、カメラ対のカメラ2ごとに上記9エリアのうちいずれか4エリアで基準点13(基準点像)が検出され、カメラ対では合計8エリアにて基準点13(基準点像)が検出されることを要求条件として設定する。なお、1エリアに2個以上の検出は許容する。
画像領域における要求位置は放射状の区分に限らず、ブロック状(格子状)の区分によっても要求位置を画像領域内にて分散させることができる。
(2)精密校正処理における要求位置
上記(1)にて校正処理として一般的に述べた説明は概略校正処理及び精密校正処理に共通であり、本実施形態での要求設定部422は精密校正処理においても上記9エリアを要求位置として設定する。要求設定部422は各カメラ2について、記憶部41から概略校正されたカメラパラメータ410を読み出してこれを基に上述のカメラ2の画像領域の区分を行い、精密校正処理における要求位置として9エリアを設定する。そして、カメラ対のカメラ2ごとに上記9エリアの全てで基準点13(基準点像)が検出され、カメラ対では合計18エリアにて基準点13(基準点像)が検出されることを要求条件として設定する。なお、1エリアに2個以上の検出は許容する。
すなわち、精密校正処理における要求位置が概略校正処理における要求位置と相違する点は、精密校正処理における要求位置が要求する基準点13の数が概略校正処理におけるより多い点、及びエリアの設定に用いるカメラパラメータ410が概略校正では初期値であるのに対し、精密校正では概略校正された値である点である。
(3)計測処理における要求位置
計測処理における要求位置は、物体12の3次元計測のために必要な基準点13の検出が要求される位置であり、カメラ2のそれぞれが撮影した画像を基に生成される。
本実施形態では、物体表面が平面の集まりであると仮定し、要求設定部422は物体表面を構成する平面と推定される領域を要求位置に設定する。また平面を特定するために、要求設定部422は当該領域ごとに同一直線上にない3個以上の基準点13の検出を要求条件として設定する。
具体的には、要求設定部422は各カメラ2の画像を互いに色が類似する隣接画素のまとまりに分割して分割領域それぞれを要求位置に設定する。例えば、画素の色と画素の位置とをパラメータとしてクラスタリングを行うことにより画像を分割することができる。
別の実施形態では、要求設定部422は各カメラ2の画像にSobelフィルタなどによるフィルタリングを施してエッジ画像を生成し、エッジ画像をそれぞれがエッジに囲まれた閉領域に分割して、分割領域それぞれを要求位置に設定することができる。
推奨立ち位置算出部423は、注目するカメラ2の要求位置及び当該カメラ2のカメラパラメータ410を用いて、当該カメラ2から当該要求位置への視線方向の位置を、監視空間内にて作業者10が存在すると当該要求位置に死角を形成する死角形成位置(死角形成作業者位置)として算出する作業者位置算出部である。推奨立ち位置算出部423は、要求位置の情報と共に、当該要求位置に対して算出した死角形成位置の情報を表示通信部43に出力する。
上記視線方向は、カメラ位置と要求位置とを結ぶ直線から求めることができ、基準面上でカメラの鉛直下位置と要求位置とを結ぶ直線群がなす領域を死角形成位置として求めることができる。本実施形態では死角形成位置を画像上で近似的に算出する。すなわち推奨立ち位置算出部423は画像中心と要求位置とを結ぶ直線群がなす領域を死角形成位置として算出する。
また、精密校正処理では推奨立ち位置算出部423はエリアを単位として死角形成位置を算出する。具体的には推奨立ち位置算出部423は画像中心と要求位置とを結ぶ直線に交差するエリアを死角形成位置として算出する。これにより、カメラの概略位置・姿勢を用いて計算を行うことによる誤差の影響を吸収することができる。
本実施形態では、精密校正処理または計測処理を行うカメラ対ごとに死角形成位置を算出する。この場合、基準点13はカメラ対から同時撮影される必要がある。そのため、推奨立ち位置算出部423はカメラ対をなすカメラの両方について死角形成位置を算出して、算出した複数の死角形成位置の和領域を死角形成位置として算出する。
推奨立ち位置算出部423は死角形成位置の情報として、死角の形成を回避可能な作業者10の立ち位置(作業者立ち位置)を出力する。そのために推奨立ち位置算出部423は、要求位置からの距離が照射限界距離値未満であって死角形成位置を除く位置を作業者立ち位置として算出する。さらに作業者立ち位置のうち要求位置に最も近い位置を最終的な作業者立ち位置として出力することもできる。また複数の要求位置が設定されている場合、各要求位置について算出された作業者立ち位置の積領域をこれらの要求位置の組に対する共通の作業者立ち位置として出力してもよい。こうすることで1箇所から複数の要求位置に基準点13を設置できる作業者立ち位置を提示でき、作業者の効率がさらに向上する。なおこのとき積領域が無い要求位置は組にせず別々に作業者立ち位置を出力すればよい。
表示通信部43は制御装置4と表示部5との通信を行う通信インターフェースである。表示通信部43は、推奨立ち位置算出部423から入力された要求位置の情報及び当該要求位置に対する死角形成位置の情報を表示部5へ出力する出力部などとして機能する。
[カメラシステム1の校正処理における動作]
図6はカメラシステム1の校正処理における動作の概略を示すフロー図である。また、図7はカメラシステム1が校正処理にて行う推奨立ち位置の提示処理の概略を示すフロー図である。図6及び図7を参照してカメラシステム1の校正処理における動作を説明する。
カメラ2が設置され制御装置4と表示部5とに電源が投入されると校正動作が始まる。起動直後のカメラパラメータ410は初期値であり概略校正以前の状態である。各カメラ2は自身の視野を順次撮影し、制御装置4に撮影画像を送信する。
制御装置4の画像取得部40は同時撮影画像を順次、制御装置4の画像処理部42に入力する。この状態にて作業者は監視空間内を移動しながら照射器3により床面を照射する。
画像取得部40から画像処理部42に同時撮影画像が入力されるたびにステップS1からステップS14までの処理が繰り返される。以降、繰り返しの時間単位をフレームと呼ぶ。
画像処理部42は同時撮影画像を取得すると(S1)、基準点検出部420として動作し、各同時撮影画像に差分処理を施して当該同時撮影画像から基準点13(基準点像)を検出する(S2)。基準点検出部420は、検出した基準点13の画像上での座標に当該画像のカメラID及び当該画像のフレーム番号を対応付けて記憶部41の基準点情報413に記憶させる。
次に画像処理部42は、概略校正部421として動作し、新規カメラ対の検出を行う(S3)。すなわち概略校正部421は基準点情報413を検索して、フレーム番号が同一である基準点13に対応付けられたカメラIDの対をカメラ対として抽出し、カメラパラメータ410を参照して、抽出したカメラ対が精密校正対象に設定されていない新規カメラ対であるか否かを確認する。ここで検出されるカメラ対は視野の少なくとも一部を共有しているカメラである。なおフレーム番号が同一である基準点像の対が4つ以上であることを抽出の条件に加えても良い。
1以上の新規カメラ対を検出した場合(S3にて「YES」の場合)、画像処理部42は要求設定部422として動作し、当該各カメラ対に対する概略校正用の要求情報411を生成して記憶部41に記憶させる(S4)。具体的には、要求設定部422は新規カメラ対を構成する各カメラ2のカメラパラメータ410を読み出して当該カメラごとに9エリアを設定すると共に、当該カメラ対において基準点13が検出される要求位置の数を各カメラでいずれか4エリア、カメラ対で合計8エリアとする要求条件を設定する。
続いて要求設定部422は、新規カメラ対それぞれが概略校正用の要求条件を満たすか否かを確認する(S5)。具体的には、要求設定部422は新規カメラ対の基準点情報413と要求情報411とを参照して、当該カメラ対のカメラIDと対応付けられている基準点像の座標が属するエリア(要求位置)を削除し、残っている要求位置の数から既検出のエリアがカメラごとに4エリア以上、合計8エリア以上であるかを確認する。
新規カメラ対に要求条件を満たすカメラ対が含まれていた場合(S5にて「YES」の場合)、画像処理部42は概略校正部421として動作し当該カメラ対の基準点情報413を用いて概略校正を行い(S6)、校正結果である概略位置・姿勢の値をカメラパラメータ410に書き込んで当該カメラ対を精密校正対象に設定する(S7)。
新規カメラ対を精密校正対象に設定した場合、画像処理部42は要求設定部422として動作し、当該カメラ対に対する精密校正用の要求情報411を生成して記憶部41に記憶させる(S8)。すなわち要求設定部422は新規カメラ対を構成する各カメラ2のカメラパラメータ410を読み出して当該カメラごとに9エリアを設定すると共に、当該カメラ対において基準点13が検出される要求位置の数を各カメラで9エリア、カメラ対で合計18エリアとする要求条件を設定する。
ステップS8で設定されるエリアは概略校正されたカメラパラメータ410を用いて算出されるため、ステップS4で設定されるエリアよりも実際のカメラ2の位置・姿勢に適合したエリアとなっている。
新規カメラ対が検出されなかった場合(S3にて「NO」の場合)、画像処理部42は現フレームに対するステップS4〜S8の処理をスキップし、ステップS9へ進む。また新規カメラ対は検出されたが概略校正用の要求条件を満たさなかった場合(S5にて「NO」の場合)、画像処理部42は現フレームに対するステップS6〜S8の処理をスキップしステップS9に進む。
ここまでの処理により、作業者が共通視野を4エリア以上照射したカメラ対が順次、画像処理部42によって精密校正対象にリストアップされ、精密校正対象の各カメラ対に対する要求情報411が設定される(S8)。
次に画像処理部42は要求設定部422として動作し、精密校正対象のカメラ対のうち精密校正が未了のカメラ対があるか確認し(S9)、未了のカメラ対がある場合には、ステップS2での基準点13の検出結果に基づいて要求位置を更新した上で(S10)、当該カメラ対が精密校正用の要求条件を満たしているか否かを確認する(S11)。具体的には要求設定部422は、カメラパラメータ410を参照して精密校正が未了のカメラ対の有無を確認し(S9)、精密校正未了カメラ対の基準点情報413と要求情報411とを参照して、当該カメラ対のカメラIDと対応付けられている基準点13の座標が属するエリア(要求位置)を削除した上で(S10)、残っている要求位置が0個になったか、すなわち基準点13が18エリアで検出されているかを確認する(S11)。
精密校正が未了のカメラ対に要求条件を満たすカメラ対が含まれていた場合(S11にて「YES」の場合)、画像処理部42は精密校正部424として動作し当該カメラ対の基準点情報413を用いて精密校正を行い(S13)、校正結果である精密位置・姿勢の値をカメラパラメータ410に書きこむと共に、当該カメラが精密校正済みであることを示す情報を連鎖判定テーブル415に書き込んで、全カメラの精密校正が完了したか否かを確認する(S14)。
ステップS14にて精密校正部424は、カメラパラメータ410を検索して精密校正済みであるカメラの数をカウントすると共に、連鎖判定テーブル415にて精密校正済みであるカメラ対の接続関係を確認し、カウントが全カメラの台数と一致し且つ孤立しているカメラ対が無ければ全カメラの精密校正が完了したと判定する。全カメラの精密校正が完了した場合(S14にて「YES」の場合)校正処理を終了する(S15)。ちなみに冗長な精密校正対象が設定されていれば精密校正未了カメラ対が残っていても校正完了となることがある。
一方、カウントが全カメラの台数より少ない場合または孤立しているカメラ対がある場合は、未完了であるとして処理をステップS1に戻して次フレームの次フレームの同時撮影画像に対する処理を行う(S14にて「NO」→S1)。
図8〜図10を参照して、要求条件が満たされた場合(S11にて「YES」の場合)の処理例を説明する。既に述べたように図8,図9,図10はそれぞれ基準点情報413、要求情報411及び連鎖判定テーブル415のデータ構成を模式的に表しており、連続する2フレーム間でのそれらの変化を示している。図8(a),図9(a),図10(a)はそれぞれ第41フレームでの状態を示しており、図8(b),図9(b),図10(b)はそれぞれ第42フレームでの状態を示している。
第41フレームでの基準点情報413には、基準点検出部420が第1〜41フレームでの撮影にて検出した基準点13の情報が記憶されている(図8(a))。第37フレームから第41フレームまではカメラBとCとの共通視野で基準点13が検出されている。
また、第41フレームまでの間に概略校正部421がカメラ対「A,B」、「A,C」、「B,C」及び「C,D」を概略校正し、その結果、連鎖判定テーブル415にはこれらカメラ対が精密校正対象に設定されたことが記録されている(図10(a))。さらに連鎖判定テーブル415には、カメラ対「A,B」については精密校正部424による精密校正が完了しており、他のカメラ対は精密校正が未了であることが記録されている(図10(a))。
第41フレームの時点で、要求設定部422がカメラ対「B,C」に対して当初要求位置として要求情報411に設定したエリアB1〜B9及びエリアC1〜C9の18エリアのうち、エリアB3及びC4の2エリアが要求位置として残っている(図9(a))。つまり、以降のフレームでエリアB3及びC4にて基準点13が検出されるとカメラ対「B,C」の精密校正が可能となる。なお、精密校正を完了したカメラ対「A,B」に関する要求位置は既に要求情報411から削除されている。
次いで第42フレームでは基準点検出部420がカメラB及びCの画像それぞれから新たに基準点像を検出し、基準点情報413にその検出結果が追記される(図8(b))。要求設定部422は、カメラB側で新たに検出された基準点像がエリアB3内であること、及びカメラC側で新たに検出された基準点像がエリアC4内であることを確認したので、カメラ対「B,C」の要求位置であったエリアB3及びエリアC4を要求情報411から削除した(ステップS10、図9(b))。この要求位置更新の結果、カメラ対「B,C」の精密校正に必要な要求位置全てにて基準点が検出されたことが判定され(ステップS11にて「YES」判定)、精密校正部424はカメラ対「B,C」の基準点情報413を用いて精密校正を行い、精密校正が完了したことを連鎖判定テーブル415に記録した(ステップS13、図10(b))。
このカメラ対「B,C」の精密校正が完了した時点で、精密校正が完了しているカメラ対は「A,B」及び「B,C」の2組である(図10(b))。つまり、カメラID「A」,「B」,「C」の3つのカメラ2について精密校正が終わっている。ここで、カメラ「A」と「C」とはカメラ「B」を介して接続しており、これら3つのカメラ2は接続関係があることが連鎖判定テーブル415に基づいて判定される。
この時点でカメラID「D」〜「H」の5つのカメラ2が精密校正未了として残っているので、ステップS14ではまだ全校正完了とは判定されない。なお、連鎖判定テーブル415からカメラ「A」,「B」,「C」は接続関係にあることが判定できるため、連鎖判定テーブル415においてカメラ対「A,C」の精密校正が未了であるとの記録がされていても全校正完了が判定される。つまり、この例では全校正完了の判定に際して、カメラ対「A,C」の精密校正は全校正完了の必須条件とはならない。
ステップS9にて精密校正が未了のカメラ対がない場合には(S9にて「NO」の場合)、精密校正部424はステップS10〜S13をスキップしてステップS14の完了確認を行う。
また、ステップS11にて要求情報411を満たすカメラ対が無い場合には(S11にて「NO」の場合)、画像処理部42は推奨立ち位置算出部423として動作し、要求位置への基準点設置のために適した作業者の立ち位置を算出して作業者に提示する(S12)。
図7を参照して推奨立ち位置の提示処理(S12)を説明する。
まず、推奨立ち位置算出部423は、精密校正が未了であるカメラ対の中から表示部5に推奨立ち位置を提示する提示カメラ対を1つ選定する(S20)。具体的には推奨立ち位置算出部423は、1フレーム前に選定した提示カメラ対を選定することで提示のばたつきを抑制する。これにより作業者が現在共通視野を照射しているカメラ対が選定されるので作業者の無駄な移動を減じることができる。推奨立ち位置算出部423は、次フレームでの選定に備えて、現フレームにて選定した提示カメラ対を記憶部41に記憶させておく。
一方、1フレーム前に選定した提示カメラ対から一定期間新たな基準点13が検出されないときは提示カメラ対を変更する。すなわち、この場合には推奨立ち位置算出部423は基準点情報413を参照してフレーム番号が最新である基準点像に対応付けられたカメラIDの精密校正未了カメラ対を選定する。
次に推奨立ち位置算出部423は、提示カメラ対の要求情報411を参照して、当該カメラ対を構成するカメラのうち要求位置の残存数が多い方のカメラを、推奨立ち位置を提示する提示カメラに選定する(S21)。また、次フレームでの選定に備えて推奨立ち位置算出部423は現フレームにて選定した提示カメラを記憶部41に記憶させておく。なお、要求位置が同数の場合は1フレーム前に選定した提示カメラを選定することで提示のばたつきを抑制する。要求位置の数と前回提示カメラの条件とを課しても提示カメラ対の1つを提示カメラとして選定できないときはカメラIDが若い方のカメラを選定する。
続く推奨立ち位置算出部423の処理S22〜S25は図11〜図13に示す具体例を参照しつつ説明する。これら図に示す例では提示カメラ対が「B,C」であり、提示カメラを「B」とする。図11はカメラ2B,2Cの画像領域22b,22cにて直接的に求まる死角形成位置の例を示しており、図12は図11に対応する作業者立ち位置の算出例を示している。また、図13は推奨立ち位置の絞り込みの例を示している。なお、図11(a)及び図12(a)はカメラ2Bの画像領域22b,23bを、また図11(b)及び図12(b)はカメラ2Cの画像領域22c,23cをそれぞれ示している。
推奨立ち位置算出部423は、提示カメラ側の処理対象とする要求位置を提示カメラ対の他方側に投影し(S22)、推奨立ち位置算出部423は、要求位置とその投影像とを基に死角形成位置を算出する(S23)。
具体的には、推奨立ち位置算出部423は提示カメラの位置(提示カメラの画像中心)と要求位置を結ぶ視線に交差するエリアを提示カメラ側の死角形成位置と判定する。図11では、カメラ2B側のエリアB3(画像領域22bの太線内)が処理対象とする要求位置である。カメラ2B側ではカメラ2Bの位置と要求位置B3とを結ぶ直線が交差する領域220(画像領域22bの斜め格子部分)が直接的な死角形成位置として算出され、領域220を包含するエリアB1がエリア単位での死角形成位置として算出される。
次に、推奨立ち位置算出部423は提示カメラ対のカメラパラメータ410を用いた座標変換により投影を行い、他方カメラの位置(他方カメラの画像中心)と要求位置の投影像とを結ぶ視線に交差するエリアを他方カメラ側の死角形成位置と判定する。図11に示す例では、カメラ2C側にて要求位置B3に対応する領域221(画像領域22cの斜線部分)に対する死角形成位置が算出される。具体的には、要求位置B3をカメラ2C側に投影して投影像(領域221)を算出し、その投影像とカメラ2Cの位置とを結ぶ直線が交差する領域222(画像領域22cの斜め格子部分)がカメラ2C側の直接的な死角形成位置として算出される。そして図12に示すように、領域222を包含するエリアC1,C3〜C5(画像領域23cの太線内)がエリア単位での死角形成位置として算出される。
続いて推奨立ち位置算出部423は、ステップS23で算出した死角形成位置を除外した領域を推奨立ち位置として算出する(S24)。具体的には、推奨立ち位置算出部423は提示カメラ対のカメラパラメータ410を用いた座標変換により他方カメラ側の死角形成位置を提示カメラ側に逆投影し、提示カメラ側の画像全体から提示カメラ側の死角形成位置と他方カメラ側の死角形成位置の逆投影像とを除いた領域を推奨立ち位置として算出する。図12に示す例では、カメラ2C側での死角形成位置であるエリアC1,C3〜C5をカメラ2B側に投影して投影像を算出する。要求位置の基準点13はカメラ対から同時撮影される必要があり、この条件から、カメラ2B側では、カメラ2B側でのエリア単位の死角形成位置であるエリアB1と、カメラ2C側でのエリア単位の死角形成位置の投影像との和領域230(画像領域23bの斜め格子部分)が、要求位置B3に対する基準点設置に際して作業者の存在を禁止する禁止領域となり、当該禁止領域を除いた領域231(画像領域23bの横線部分)がカメラ2B側での作業者の推奨立ち位置となる。
さらに推奨立ち位置算出部423は推奨立ち位置の絞り込みを行う(S25)。例えば、推奨立ち位置算出部423は、提示カメラ側の要求位置の重心を求め、当該重心を中心とする円をその半径を順次大きくしながら設定し、当該円とステップS24で算出した推奨立ち位置との重複領域を算出する処理を、重複領域の数が4つになるまで、又は重複領域の面積が推奨立ち位置の面積の50%になるまで繰り返す。そして推奨立ち位置算出部423は、重複領域が4つとなったとき、又は重複領域の面積が推奨立ち位置の50%となったときの当該重複領域を最終的な推奨立ち位置とする。また、図13に示す例では、さらに禁止領域230から一定の距離内(点線内)であるという条件で推奨立ち位置を絞り込んでおり、4か所の領域232(図13の横線部分の領域)が推奨立ち位置として得られている。
推奨立ち位置算出部423は、要求位置、ステップS25にて絞り込んだ推奨立ち位置、及びメッセージを提示カメラの画像に重畳して合成画像を生成し(S26)、合成画像を表示通信部43に出力する(S27)。
合成画像を入力された表示通信部43は当該合成画像を表示部5に送信し、当該合成画像を受信した表示部5は当該合成画像をディスプレイに表示する。図14は図13の例に対応した、表示部5における推奨立ち位置を提示する表示画面の一例であり、推奨立ち位置(領域240)、要求位置B3(領域241)及びメッセージ242をカメラ2Bによる撮影画像に合成した合成画像が表示される。ちなみに、推奨立ち位置と要求位置B3とは色分けなどにより識別容易なように表示することが好適であり、例えば、図14では推奨立ち位置は赤色、要求位置B3は緑色で表示される。
また、図15は図13の例に対応した、表示部5における推奨立ち位置を提示する表示画面の他の例である。図15(a)は特定した要求位置(領域241)と共に禁止領域243、つまり死角形成位置を表示する例である。死角形成位置を表示することで、作業者10にはその外側が推奨立ち位置であることが示される。図15(b)は死角形成位置を囲む帯状領域244を推奨立ち位置として表示、提示している。
こうして要求位置及び推奨立ち位置が作業者に提示され、作業者は推奨立ち位置に立って要求位置を照射する。こうすることで作業者は要求位置に死角を形成する失敗を回避して効率的に基準点13を設置できるので、少ない作業負担で校正作業を完了することが可能となる。
またステップS25の処理により推奨立ち位置は要求位置に近い位置に絞り込まれる。要求位置に近い位置から照射するほど要求位置に形成される光像の輝度が高くなるので、要求位置に死角を形成しない立ち位置であることに加えて基準点13が検出されやすい立ち位置を作業者に提示することができる。これにより基準点13が撮影ができても検出できない失敗をさらに回避することができるので、少ない作業負担で校正作業を完了することが可能となる。
またステップS25の絞り込みにて推奨立ち位置を複数の重複領域、またはある程度の面積を有する重複領域としたことで物体12のごとき床面でない領域のみを推奨立ち位置とすることを防ぐことができる。さらに、ステップS26の合成にて撮影画像に重畳したことで実際に立つ位置を作業者が判断できる。
なお、カメラ2の配置によっては要求位置が多いときに推奨立ち位置が全く無くなる場合がある。このときは要求位置のみを撮影画像に合成して出力してもよい。
推奨立ち位置の提示(S12)を行うと、画像処理部42は処理を図6のステップS1へ戻して次フレームの同時撮影画像に対する処理を行う。
なお、ステップS25の絞り込みにて、推奨立ち位置を死角形成位置の周りの帯状領域に絞り込んでもよい。この場合、前述のカメラ2B,2Cの例では、推奨立ち位置は図15(b)にて横線で示す領域となる。当該帯の幅は人の幅程度とするのがよい。
上述の実施形態では、表示部5に要求位置及び推奨立ち位置を表示している。これに対して、表示部5に要求位置及び死角形成位置を表示することで、死角形成位置の外側を推奨立ち位置として提示してもよい。これは図15(a)の表示例に相当する。図16はこの場合の推奨立ち位置の提示処理の概略を示すフロー図である。ステップS20〜S23は図7と同様である。ステップS23に続いて、提示カメラの画像に要求位置及び死角形成位置を合成し(S28)、当該合成画像を表示通信部43経由で表示部5に出力する(S29)。
[カメラシステム1の3次元計測処理における動作]
校正処理を終えたカメラシステム1は監視空間を3次元計測する計測処理へと移行する。
図17はカメラシステム1の計測処理における動作の概略を示すフロー図である。図17を参照してカメラシステム1の計測処理における動作を説明する。
3次元計測処理の実行時において、上述の校正処理と同様、各カメラ2は自身の視野を順次撮影し、制御装置4に撮影画像を送信する。制御装置4の画像取得部40は同時撮影画像を順次、制御装置4の画像処理部42に入力する。この状態にて作業者は監視空間内を移動しながら照射器3により監視空間に存在する什器等の物体12を照射する。
画像処理部42は同時撮影画像を取得すると(S50)、要求設定部422として動作し、各画像を互いに色が類似する隣接画素のまとまりに分割して分割領域を生成し(S51)、各分割領域をそれぞれ3個以上の基準点13の検出を要求する要求位置とする要求情報411を生成して記憶部41に記憶させる(S52)。図18は計測処理における要求情報411の設定例を示す画像領域の模式図である。図18はカメラ2B,2Cに対する要求情報411の例を示しており、画像領域24bに示すようにカメラ2Bに対しては、什器の面に要求位置b3,b4、壁の面に要求位置b1,b5、及び床面に要求位置b2がそれぞれ設定される。また、画像領域24cに示すようにカメラ2Cに対しては、什器の面に要求位置c2,c3,c4、壁の面に要求位置c5,c6、及び床面に要求位置c1がそれぞれ設定される。
要求情報411の生成後、画像処理部42は同時撮影画像が入力されるたびにステップS53〜S62の処理を繰り返す。
まず、画像処理部42は同時撮影画像を取得すると(S53)、基準点検出部420として動作し、各同時撮影画像に差分処理を施して当該同時撮影画像から基準点13を検出し、当該基準点13の画像上での座標に当該画像のカメラID及び当該画像のフレーム番号を対応付けて記憶部41の基準点情報413に記憶させる(S54)。
次に画像処理部42は要求設定部422として動作し、基準点情報413と要求情報411とを参照して3個以上の基準点13が検出された要求位置があるか否かを確認する(S55)。
該当する要求位置があれば(S55にて「YES」の場合)、画像処理部42は物体計測部425として動作し、当該要求位置にて検出された基準点13に三角測量の原理を適用して3次元計測を行い(S57)、当該要求位置である分割領域の平面を導出する(S58)。そして、導出した平面の情報を記憶部41の物体計測情報414に記憶させる(S59)。またこのとき要求設定部422は、3次元計測を行った要求位置を要求情報411から削除する。
一方、3個以上の基準点13が検出された要求位置がない場合(S55にて「NO」の場合)、画像処理部42は推奨立ち位置算出部423として動作し、基準点13が3個未満である要求位置に対する推奨立ち位置を提示する(S56)。ステップS56における処理は図7または図16を用いて説明した処理と同じである。これにより、校正処理の場合と同様、要求位置及び推奨立ち位置が作業者に提示され、要求位置から基準点13を検出する作業の効率が向上する。なお、各要求位置に複数個の基準点13の検出を要求する計測処理では、表示部5の画面表示は、要求位置ごとに既検出の基準点13の個数が作業者に分かるように行うこともできる。例えば、画面に要求位置のエリアの区画と当該エリアでの検出個数の数字を表示したり、エリアごとに検出個数に応じて色の濃さを変えるなどとしたりできる。これにより、作業者には、要求位置として表示されていたエリアが要求位置ではなくなり表示部5に表示されなくなったことだけでなく、より詳細な作業進捗状況を提示でき、作業効率の向上を図れる。
ここで、計測処理においては基準点13の設置が困難な要求位置が含まれている場合がある。例えば、物体12の高さが高いときに、床面に立つ作業者10が物体12の上面である要求位置b3やc2に照射を行うことは困難である。このようなとき、作業者が表示部5の提示画像内で設置困難な要求位置を指定して要求解除の入力を行う。ステップS60にて要求設定部422は要求解除入力を確認し、入力があれば該当する要求位置を要求情報411から削除する(S60にて「YES」→S61)。一方、要求解除入力がない場合はステップS61はスキップする(S60にて「NO」の場合)。
続いて物体計測部425は、要求情報411を確認し(S62)、要求位置の情報が無くなっていれば計測処理を終了する(S62にて「YES」→S63)。一方、要求位置が残っていれば(S62にて「NO」)、画像処理部42は処理をステップS53に戻して次フレームの同時撮影画像に対する処理を行う。
[変形例]
(1)上述の実施形態では、基準点13を用いてカメラのXY座標及び光軸方向の概略校正値を設定する例を示したが、概略校正値としてカメラ配置に関する工事計画時の値を事前設定し、概略校正を省略してもよい。
(2)照射器3は上述したスポット光を出力するものに代えて、予め定めた十字パターンなどのパターン光を出力する光源でもよい。この場合、基準点検出部420は光像の重心に代えて十字パターン中の交点など、パターン中の所定形状点を基準点13として検出してもよい。
(3)上記実施形態では、作業者10が携帯するレーザーポインタにより照射して基準点13を設置する例を示したが、これに限らず、要求位置に作業者が死角を形成し得る他の構成にも本発明を適用することができる。図19は画像にて基準点13を形成する他の装置の例を示す模式図である。例えば、基準点13である発光装置31などを付設したローラー32(図19(a))や台車33(図19(b))等を作業者10が移動させることにより基準点13を設置するときにも本発明は好適である。
(4)上記実施形態では、推奨立ち位置算出部423はカメラ対の両方のカメラから死角にならないように作業者10に推奨立ち位置を算出し出力した。別の簡易な実施形態において推奨立ち位置算出部423は他方カメラ側の死角形成位置算出を省略し、提示カメラ側の死角形成位置のみから推奨立ち位置を算出し出力する。この構成は、計算量が削減できることと、推奨立ち位置が無くなる可能性が減ることがメリットであり、要求位置が多い段階で有効となる。この構成では、推奨立ち位置が他方カメラに対して要求位置の一部に死角を形成し得るのでその分、基準点再設定の可能性を残すが、新たに設置される基準点13の位置によっては、他方カメラの撮影画像から当該基準点13が検出されて再設定は不要となる。よって、上記実施形態ほどではないものの、作業効率の向上の効果が得られる。さらに、注目カメラと共通視野を有するカメラ(他方カメラ)が複数存在する場合には、いずれかの他方カメラが注目カメラと同時に基準点13を検出することが期待でき、再設定が必要になる可能性が低くなり、作業効率が向上する。
(5)照射器3が自身の測位、並びに光線の照射方位及びチルト角の検出を行うと共に、レーザー距離計測などにより照射点までの距離計測を行う機能を備え、それらの情報に基づいて照射器3又は制御装置4が照射点の位置を算出する構成では、単体のカメラでの基準点検出で当該カメラの校正処理を行うことができる。この構成では要求設定部422は、カメラ対ごとに要求を設定するのではなく、カメラ2ごとに要求位置(例えば上述の9エリア)を設定し、注目カメラに対する死角形成のみを回避する推奨立ち位置を算出し出力すれば十分である。
なお、単体カメラでの死角回避で足りるとする上記(4)、(5)の構成において作業者10への死角形成位置の提示の仕方は上記実施形態と同様に行うことができる。例えば、表示通信部43は、死角形成位置の情報として死角形成位置自体を出力してもよいし、同情報として死角形成位置以外の位置、つまり死角の形成を回避可能な作業者立ち位置を表示してもよい。
(6)上記実施形態で述べたようにカメラ2の校正処理には一般的には、同一直線上にない4個以上の基準点13が同時撮影画像から検出されることを要する。しかし、カメラ2の位置・姿勢の自由度のうち一部が既知であり校正不要であるような場合には、校正処理に最低限必要とされる基準点13の検出個数は4個未満とすることもできる。
(7)上記実施形態では死角形成作業者位置の出力は表示通信部43から表示部5のディスプレイへの画像出力としているが、当該出力の形態はこれに限定されない。例えば、音声出力や、紙などの媒体への印刷とすることができる。
1 カメラシステム、2,2A,2B,2C,2D,2E,2F,2G,2H カメラ、3 照射器、4 制御装置、5 表示部、10 作業者、11 基準面、12 物体、40 画像取得部、41 記憶部、42 画像処理部、43 表示通信部、400 カメラ通信部、401 同期制御部、410 カメラパラメータ、411 要求情報、412 照射限界値、413 基準点情報、414 物体計測情報、420 基準点検出部、421 概略校正部、422 要求設定部、423 推奨立ち位置算出部、424 精密校正部、425 物体計測部。

Claims (5)

  1. 所定の空間内を撮影する一又は複数のカメラと、前記カメラが撮影した画像を処理する制御装置と、前記カメラで撮影可能であり作業者によって設置される基準点とを備えて構成されるカメラシステムであって、
    前記制御装置は、
    前記空間内における前記カメラの位置・姿勢を含むカメラパラメータと前記基準点の設置が必要な前記空間内の要求位置とを少なくとも記憶する記憶部と、
    前記カメラが撮影した画像から前記基準点を検出する基準点検出部と、
    前記カメラの前記カメラパラメータ及び前記要求位置を用いて、当該カメラから当該要求位置への視線方向の位置を、前記作業者が存在すると当該カメラから当該要求位置を撮影できなくなる死角形成作業者位置として算出する作業者位置算出部と、
    前記死角形成作業者位置を出力する出力部と、
    を備えたことを特徴とするカメラシステム。
  2. 前記出力部は前記要求位置を出力すること、を特徴とした請求項1に記載のカメラシステム。
  3. 前記カメラは前記空間内にて共通視野を有するように複数配置され、
    前記制御装置は、前記基準点を用いて前記カメラパラメータを校正する校正部を更に有し、
    前記校正部は、前記複数のカメラが同時に撮影した画像それぞれにて前記基準点検出部が前記基準点として基準点像を検出した場合に、当該複数の基準点像が前記空間における同一位置であるとの拘束条件を適用して前記カメラパラメータを校正すること、
    を特徴とした請求項1又は請求項2に記載のカメラシステム。
  4. 前記制御装置は、前記基準点検出部が前記共通視野内の前記要求位置に存在する前記基準点を検出した場合にのみ、当該基準点が撮影された当該要求位置を前記記憶部から削除する要求位置設定部を更に有すること、を特徴とした請求項3に記載のカメラシステム。
  5. 前記制御装置は、前記カメラが撮影した画像を当該カメラの光軸と撮影平面との交点から放射状に所定角度ごとに区分した区分領域を単位として前記要求位置を設定する要求位置設定部を更に有すること、を特徴とした請求項1から請求項4のいずれか1つに記載のカメラシステム。
JP2012266574A 2012-12-05 2012-12-05 カメラシステム Active JP6022330B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012266574A JP6022330B2 (ja) 2012-12-05 2012-12-05 カメラシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012266574A JP6022330B2 (ja) 2012-12-05 2012-12-05 カメラシステム

Publications (2)

Publication Number Publication Date
JP2014112798A JP2014112798A (ja) 2014-06-19
JP6022330B2 true JP6022330B2 (ja) 2016-11-09

Family

ID=51169655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012266574A Active JP6022330B2 (ja) 2012-12-05 2012-12-05 カメラシステム

Country Status (1)

Country Link
JP (1) JP6022330B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414430B2 (ja) * 2018-10-04 2024-01-16 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
CN113688552A (zh) * 2021-09-09 2021-11-23 昆山丘钛微电子科技股份有限公司 摄像头模组跌落仿真方法、装置、电子设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO302055B1 (no) * 1993-05-24 1998-01-12 Metronor As Fremgangsmåte og system for geometrimåling
JP2004046772A (ja) * 2002-05-13 2004-02-12 3D Media Co Ltd 画像処理方法、画像処理システム、及び画像処理装置
US9442607B2 (en) * 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
JP4975673B2 (ja) * 2008-03-28 2012-07-11 ティーオーエー株式会社 カメラ設置シミュレータプログラム
JP5667846B2 (ja) * 2010-11-15 2015-02-12 セコム株式会社 対象物画像判定装置
JP5696482B2 (ja) * 2011-01-11 2015-04-08 富士通株式会社 情報処理装置およびプログラム

Also Published As

Publication number Publication date
JP2014112798A (ja) 2014-06-19

Similar Documents

Publication Publication Date Title
JP5111447B2 (ja) カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびプログラムを記録した記録媒体
CN104067111A (zh) 用于跟踪和监测目标对象上的差异的自动化系统和方法
US11620732B2 (en) Multi-projection system, image projection method and projector
JP2011039968A (ja) 車両可動領域検出装置
JP5079547B2 (ja) カメラキャリブレーション装置およびカメラキャリブレーション方法
JP5322050B2 (ja) マーカの3次元位置計測方法及びシステム
JP2003050107A (ja) カメラ校正装置
WO2022078439A1 (zh) 一种空间与物体三维信息采集匹配设备及方法
JP2017511038A (ja) 2つの投影手段の改良された位置合わせ方法
CN109191533A (zh) 基于装配式建筑的塔吊高空施工方法
JP5183152B2 (ja) 画像処理装置
JP2015088819A (ja) 撮像シミュレーション装置
WO2022078440A1 (zh) 一种包含运动物体的空间占用率采集判断设备及方法
JP2011254128A (ja) 平面図生成装置及び平面図生成方法
JP6022330B2 (ja) カメラシステム
JP2016009432A (ja) 画像形成装置、画像形成システム及び画像形成プログラム
KR20140114594A (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
JP2011228857A (ja) 車載カメラ用キャリブレーション装置
JP6022331B2 (ja) カメラシステム
JP4024124B2 (ja) 位置特定装置、その方法およびそのプログラム
EP3660452B1 (en) Positioning system and positioning method
JP2010193170A (ja) カメラキャリブレーション装置及び監視エリア設定装置
WO2022078437A1 (zh) 一种移动物体之间的三维处理设备及方法
WO2022078419A1 (zh) 一种多偏置角度的智能视觉3d信息采集设备
JP5375479B2 (ja) 三次元測定システムおよび三次元測定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161005

R150 Certificate of patent or registration of utility model

Ref document number: 6022330

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250