JP2007199766A - Face image recording device - Google Patents
Face image recording device Download PDFInfo
- Publication number
- JP2007199766A JP2007199766A JP2006014148A JP2006014148A JP2007199766A JP 2007199766 A JP2007199766 A JP 2007199766A JP 2006014148 A JP2006014148 A JP 2006014148A JP 2006014148 A JP2006014148 A JP 2006014148A JP 2007199766 A JP2007199766 A JP 2007199766A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vertex
- face
- condition
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000001419 dependent effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【構成】 ステレオカメラ14は人の通過する領域E1を上方から撮影し、正面カメラ16は領域E1の任意の一部である領域E2を人の進行方向から撮影する。従って、RAM20には、領域E1の全体を俯瞰する三次元画像と、領域E1の一部を正面から捉えた画像とが記憶される。CPU26は、三次元画像に基づいて被写体の頂点Htを検出し、検出結果の移動速度を算出し、検出結果および算出結果が高さ条件および移動速度条件をそれぞれ満足するか否かを判別する。高さ条件および移動速度条件のいずれも満足すると判別されると、頂点Htから人体の顔位置Hcを推定して、顔位置Hcを含む領域E2を撮影するように正面カメラ16の姿勢を制御する。そして、制御処理の後に正面カメラ16で撮影された画像をハードディスク24dに記録する。
【効果】 特定位置を通過する人体の顔画像を簡単に記録できる。
【選択図】 図1The stereo camera 14 captures an area E1 through which a person passes from above, and the front camera 16 captures an area E2 that is an arbitrary part of the area E1 from the direction of human movement. Therefore, the RAM 20 stores a three-dimensional image overlooking the entire area E1 and an image capturing a part of the area E1 from the front. The CPU 26 detects the vertex Ht of the subject based on the three-dimensional image, calculates the movement speed of the detection result, and determines whether or not the detection result and the calculation result satisfy the height condition and the movement speed condition, respectively. If it is determined that both the height condition and the moving speed condition are satisfied, the face position Hc of the human body is estimated from the vertex Ht, and the posture of the front camera 16 is controlled so as to photograph the region E2 including the face position Hc. . Then, after the control process, an image photographed by the front camera 16 is recorded on the hard disk 24d.
[Effect] A human face image passing through a specific position can be easily recorded.
[Selection] Figure 1
Description
この発明は、顔画像記録装置に関し、特にたとえば、ゲートを通過する人体を撮影してその顔画像を記録する、顔画像記録装置に関する。 The present invention relates to a face image recording apparatus, and more particularly to a face image recording apparatus that photographs a human body passing through a gate and records the face image.
この種の顔画像記録装置では一般に、ゲートの近傍を繰り返し撮影して、得られた画像から顔の存在する可能性の高い領域を検出し、検出された領域内の画像を顔画像として記録する。ところが、ゲートの近傍に人が存在するかどうかは不確定なので、画像から顔の存在する可能性の高い領域を効率的にかつ精度よく検出しなければならない。 In general, this type of face image recording apparatus repeatedly captures the vicinity of a gate, detects an area where a face is likely to exist from the obtained image, and records the image in the detected area as a face image. . However, since it is uncertain whether or not there is a person near the gate, an area where a face is likely to exist must be detected efficiently and accurately from the image.
人体の存否が不確定な被写界を撮影した画像から顔の存在する領域を検出する従来技術としては、特許文献1に開示されたものが知られている。この従来技術は、画像を複数のブロックに分割して圧縮し、人体の特徴を示す特徴ベクトルをブロック毎に算出し、そして算出結果に基づいて顔の存在する可能性の高い領域を検出するものである。
しかし、この従来技術を顔画像記録装置に適用したとしても、圧縮するとはいえ画像の全体に渡って、しかも撮影の度に、特徴計算(パターンマッチング)を行う必要があるため、膨大な計算量が要求される。 However, even if this conventional technology is applied to a face image recording apparatus, it is necessary to perform feature calculation (pattern matching) over the entire image, but every time it is taken, even though it is compressed, so a huge amount of calculation is required. Is required.
それゆえに、この発明の主たる目的は、ゲートなどの特定位置を通過する人体の顔画像を簡単に記録できる、顔画像記録装置を提供することである。 Therefore, a main object of the present invention is to provide a face image recording apparatus capable of easily recording a face image of a human body passing through a specific position such as a gate.
請求項1の発明に従う顔画像記録装置は、特定領域(E1)を特定方向(y)に通過する人体の顔画像を記録する顔画像記録装置であって、特定領域(E1)を当該特定領域の上方から三次元的に撮影する第1撮影手段(14) 、特定領域の一部である任意の部分領域(E2)を特定方向から撮影する第2撮影手段(16)、第1撮影手段によって撮影された三次元画像に基づいて特定領域内の被写体の頂点(Ht)を検出する頂点検出手段(S47)、頂点検出手段の検出結果が高さ条件を満足するか否かを判別する第1判別手段(S9)、第1判別手段によって高さ条件を満足すると判別されたとき頂点検出手段の検出結果から人体の顔位置(Hc)を推定する推定手段(S11)、推定手段によって推定された顔位置を含む部分領域を撮影するように第2撮影手段の姿勢を制御する制御手段(S13)、および制御手段の制御処理の後に第2撮影手段によって撮影された画像を記録する記録手段(S29)を備える。 The face image recording apparatus according to the first aspect of the present invention is a face image recording apparatus for recording a face image of a human body passing through a specific area (E1) in a specific direction (y), wherein the specific area (E1) is the specific area. A first photographing means (14) for photographing three-dimensionally from above, a second photographing means (16) for photographing an arbitrary partial area (E2) which is a part of the specific area from a specific direction, and a first photographing means. Vertex detection means (S47) for detecting the vertex (Ht) of the subject in the specific area based on the photographed three-dimensional image, and first to determine whether or not the detection result of the vertex detection means satisfies the height condition When the discrimination means (S9) and the first discrimination means determine that the height condition is satisfied, the estimation means (S11) for estimating the face position (Hc) of the human body from the detection result of the vertex detection means is estimated by the estimation means. Control means (S13) for controlling the posture of the second photographing means so as to photograph the partial region including the face position; and Recording means for recording images captured by the second imaging means after the control process of the control means comprises a (S29).
請求項1の発明では、特定領域は、第1撮影手段によって当該特定領域の上方から三次元的に撮影される。特定領域の一部である任意の部分領域は、第2撮影手段によって特定方向から撮影される。頂点検出手段は、第1撮影手段によって撮影された三次元画像に基づいて、特定領域内の被写体の頂点を検出する。頂点検出手段の検出結果が高さ条件を満足するか否かは、第1判別手段によって判別される。第1判別手段によって高さ条件を満足すると判別されると、推定手段が頂点検出手段の検出結果から人体の顔位置を推定し、制御手段は推定手段によって推定された顔位置を含む部分領域を撮影するように第2撮影手段の姿勢を制御する。そして、かかる制御処理の後に第2撮影手段によって撮影された画像が、記録手段によって記録される。 In the first aspect of the invention, the specific area is imaged three-dimensionally from above the specific area by the first imaging means. An arbitrary partial area that is a part of the specific area is imaged from the specific direction by the second imaging means. The vertex detecting means detects the vertex of the subject in the specific area based on the three-dimensional image photographed by the first photographing means. Whether the detection result of the vertex detection means satisfies the height condition is determined by the first determination means. When it is determined by the first determining means that the height condition is satisfied, the estimating means estimates the face position of the human body from the detection result of the vertex detecting means, and the control means determines a partial region including the face position estimated by the estimating means. The posture of the second photographing means is controlled so as to photograph. Then, after such control processing, an image photographed by the second photographing means is recorded by the recording means.
請求項1の発明に従えば、人体の通過する特定領域を第1撮影手段で上方から三次元的に撮影する一方、その一部つまり任意の部分領域を第2撮影手段で特定方向つまり人体の正面から撮影する。従って、第1撮影手段からは、特定領域の全体を俯瞰する三次元画像が得られ、第2撮影手段からは、特定領域の一部を正面から捉えた画像が得られる。 According to the first aspect of the present invention, the specific region through which the human body passes is photographed three-dimensionally from above with the first photographing means, while a part thereof, that is, an arbitrary partial region is photographed in the specific direction, that is, the human body. Shoot from the front. Accordingly, a three-dimensional image overlooking the entire specific area is obtained from the first photographing means, and an image in which a part of the specific area is captured from the front is obtained from the second photographing means.
第1撮影手段による三次元画像に基づいて被写体の頂点を検出し、検出結果が高さ条件を満足するか否かを判別する。従って、人体に適合する高さ条件を設定することで、人体とそれ以外の被写体とを弁別できる。 The vertex of the subject is detected based on the three-dimensional image by the first photographing means, and it is determined whether or not the detection result satisfies the height condition. Accordingly, by setting a height condition suitable for the human body, it is possible to distinguish the human body from other subjects.
高さ条件を満足すると判別されると、検出結果つまり頂点から人体の顔位置を推定し、推定結果を含む部分領域を撮影するように第2撮影手段の姿勢を制御し、そして制御処理の後に第2撮影手段によって撮影された画像を記録する。従って、部分領域つまり第2記録手段の被写界を人の顔に適合する大きさに設定することで、特定領域を通過する人体の顔画像が記録される。 If it is determined that the height condition is satisfied, the face position of the human body is estimated from the detection result, that is, the apex, the posture of the second photographing means is controlled so as to photograph the partial region including the estimation result, and after the control process An image photographed by the second photographing means is recorded. Therefore, by setting the partial area, that is, the field of view of the second recording means to a size suitable for the human face, a human face image passing through the specific area is recorded.
請求項1の発明によれば、パターンマッチングのような複雑な計算を行うことなく、特定位置を通過する人体の顔画像を記録できる。 According to the first aspect of the present invention, the face image of the human body passing through the specific position can be recorded without performing complicated calculation such as pattern matching.
なお、好ましい実施例では、第1撮影手段は第1被写界を互いに異なる方向から同時に撮影する複数のカメラ(14a,14b,…)を含み、三次元画像は複数のカメラによってそれぞれ撮影された複数の画像で構成され、頂点検出手段は複数の画像の間の視差に基づいて検出を行う。 In a preferred embodiment, the first photographing means includes a plurality of cameras (14a, 14b,...) That simultaneously photograph the first object scene from different directions, and the three-dimensional images are respectively photographed by the plurality of cameras. The vertex detection means is configured to perform detection based on parallax between the plurality of images.
すなわち、特定領域は、複数のカメラによって互いに異なる方向から同時に撮影される。従って、三次元画像は、複数のカメラによってそれぞれ撮影された複数の画像で構成され、頂点検出手段は、かかる複数の画像の間の視差に基づいて検出を行う。これにより、特定領域内の被写体の頂点つまり人体の頭頂部を容易に検出できる。 That is, the specific area is simultaneously photographed from different directions by a plurality of cameras. Therefore, the three-dimensional image is composed of a plurality of images respectively captured by a plurality of cameras, and the vertex detection means performs detection based on the parallax between the plurality of images. Thereby, the vertex of the subject in the specific region, that is, the top of the human body can be easily detected.
また、推定手段は、頂点検出手段の検出結果に所定の演算を施すことによって顔位置に対応する三次元座標を算出する三次元座標算出手段(S63)を含む。すなわち、頂点検出手段の検出結果に所定の演算を施すことで、顔位置に対応する三次元座標を算出する。なお、簡単な演算としては、例えば、頂点の座標(Xt,Yt,Zt)に平均的な顔の形状および大きさから計算された定数(α,β,γ)を加算して顔の中心座標(Xc,Yc,Zc)を求める演算がある。そして、かかる三次元座標を推定結果として利用する。 The estimation means includes three-dimensional coordinate calculation means (S63) for calculating three-dimensional coordinates corresponding to the face position by performing a predetermined calculation on the detection result of the vertex detection means. That is, the three-dimensional coordinates corresponding to the face position are calculated by performing a predetermined calculation on the detection result of the vertex detection means. As a simple calculation, for example, by adding a constant (α, β, γ) calculated from the average face shape and size to the vertex coordinates (Xt, Yt, Zt), the center coordinates of the face There is an operation for obtaining (Xc, Yc, Zc). Then, such three-dimensional coordinates are used as an estimation result.
請求項2の発明に従う顔画像記録装置は、請求項1に従属し、第1撮影手段は撮影を繰り返し行い、頂点検出手段は検出を撮影の度に行う。
The face image recording apparatus according to the invention of claim 2 is dependent on
請求項2の発明によれば、頂点検出を繰り返すことで、被写体の動きを検知するためのセンサを特別に設けなくても、的確な頂点検出が行える。 According to the second aspect of the present invention, by repeating vertex detection, accurate vertex detection can be performed without a special sensor for detecting the movement of the subject.
請求項3の発明に従う顔画像記録装置は、請求項2に従属し、頂点検出手段の複数の検出結果に基づいて頂点の移動速度を算出する移動速度算出手段をさらに備え、第1判別手段は移動速度算出手段の算出結果が移動速度条件を満足するか否かをさらに判別し、推定手段は第1判別手段によって高さ条件および移動速度条件のいずれも満足すると判別されたとき推定を行う。 The face image recording apparatus according to the invention of claim 3 is dependent on claim 2, and further comprises a movement speed calculation means for calculating a movement speed of the vertex based on a plurality of detection results of the vertex detection means, wherein the first determination means is It is further determined whether or not the calculation result of the moving speed calculating means satisfies the moving speed condition, and the estimating means performs estimation when it is determined by the first determining means that both the height condition and the moving speed condition are satisfied.
請求項3の発明では、移動速度算出手段が、頂点検出手段の複数の検出結果に基づいて頂点の移動速度を算出する。なお、頂点の移動速度は、簡単には、前回検出された頂点と今回検出された頂点との距離を求め、この距離を撮影周期で除することにより得られる。この算出結果が移動速度条件を満足するか否かが第1判別手段によってさらに判別され、推定手段の推定処理は、高さ条件および移動速度条件のいずれも満足すると判別されたとき実行される。 In the invention of claim 3, the moving speed calculating means calculates the moving speed of the vertex based on a plurality of detection results of the vertex detecting means. The vertex moving speed can be obtained simply by obtaining the distance between the vertex detected last time and the vertex detected this time and dividing this distance by the imaging period. Whether or not the calculation result satisfies the moving speed condition is further determined by the first determining means, and the estimation process of the estimating means is executed when it is determined that both the height condition and the moving speed condition are satisfied.
請求項3の発明によれば、頂点の高さに加えてその移動速度も考慮するので、人体とそれ以外の被写体との弁別の精度が高まる。 According to the invention of claim 3, since the moving speed is taken into consideration in addition to the height of the apex, the discrimination accuracy between the human body and the other subjects is increased.
請求項4の発明に従う顔画像記録装置は、請求項1ないし3のいずれかに従属し、第2撮影手段によって撮影された画像から輪郭線を検出する輪郭線検出手段(S17)、および輪郭線検出手段によって検出された輪郭線および当該輪郭線で囲まれた領域内の画像が大きさ条件および色条件をそれぞれ満足するか否かを判別する第2判別手段(S21)をさらに備え、記録手段は第2判別手段によって大きさ条件および色条件がいずれも満足されると判別されたとき記録処理を実行する。 A face image recording apparatus according to a fourth aspect of the present invention is dependent on any one of the first to third aspects, and includes a contour line detecting means (S17) for detecting a contour line from an image photographed by the second photographing means, and a contour line. And a second discriminating unit (S21) for discriminating whether or not the contour line detected by the detecting unit and the image in the region surrounded by the contour line satisfy the size condition and the color condition, respectively, and the recording unit When the second determining means determines that both the size condition and the color condition are satisfied, the recording process is executed.
請求項4の発明では、第2撮影手段によって撮影された画像から輪郭線が輪郭線検出手段によって検出される。第2判別手段は、検出された輪郭線および当該輪郭線で囲まれた領域内の画像が大きさ条件および色条件をそれぞれ満足するか否かを判別する。従って、人の顔に適合する大きさ条件および色条件を設定することで、人の顔とそれ以外の被写体とを弁別できる。 In the invention according to claim 4, the contour line is detected by the contour line detection unit from the image photographed by the second photographing unit. The second discriminating unit discriminates whether or not the detected contour line and the image in the region surrounded by the contour line satisfy the size condition and the color condition, respectively. Therefore, by setting a size condition and a color condition suitable for a human face, it is possible to discriminate the human face from other subjects.
記録処理は、大きさ条件および色条件のいずれも満足すると判別されたときに実行される。従って、より高い精度で人の顔画像を記録できる。 The recording process is executed when it is determined that both the size condition and the color condition are satisfied. Therefore, a human face image can be recorded with higher accuracy.
請求項5の発明に従う顔画像記録装置は、請求項4に従属し、輪郭線検出手段によって検出された輪郭線で囲まれた領域内の画像が記録済みか否かを判別する第3判別手段(S25)をさらに備え、記録手段は第3判別手段によって記録済みでないと判別されたとき記録処理を実行する。
A face image recording apparatus according to the invention of
請求項5の発明では、輪郭線内の画像が記録済みか否かは、第3判別手段判別によって判別される。記録処理は、輪郭線内の画像が記録済みでないと判別されたとき実行される。 According to the fifth aspect of the present invention, whether or not the image within the contour line has been recorded is determined by the third determination means determination. The recording process is executed when it is determined that the image within the contour line has not been recorded.
請求項5の発明によれば、未記録の顔画像だけを効率よく記録できる。
According to the invention of
なお、好ましい実施例では、記録手段は輪郭線検出手段によって検出された輪郭線で囲まれた領域内の画像だけを記録する。つまり、背景が除去された顔画像を記録するので、記録される顔画像のデータ量を抑制でき、また記録済みか否かの判別が容易になる。 In the preferred embodiment, the recording means records only the image in the area surrounded by the contour detected by the contour detecting means. That is, since the face image from which the background has been removed is recorded, the data amount of the recorded face image can be suppressed, and it is easy to determine whether or not it has been recorded.
この発明によれば、特定位置を通過する人体の顔画像を簡単に記録することができる。 According to the present invention, it is possible to easily record a face image of a human body passing through a specific position.
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
図1を参照して、この実施例の入室管理システム10は、ゲートGの鉛直上方に固定的に設置されるステレオカメラ14と、ゲートGの正面に回動可能に設置される正面カメラ16と、両カメラを制御して入室管理を行うサーバ12と含む。
Referring to FIG. 1, an
ステレオカメラ14は、複数ここでは2つのカメラ14aおよび14bで構成され、これら2つのカメラ14aおよび14bで同一の被写界を撮影し、同一の被写界の対応する2つの画像(以下“2つの画像”)を出力する。従って、ステレオカメラ14から出力される2つの画像の間には視差が存在する。
The
サーバ12は、かかる2つの画像に基づいて、ゲートGから入室する人物の顔Hの位置を三次元的に特定し、特定された位置に被写界の中心が重なるように正面カメラ16の姿勢を制御する。
The
また、サーバ12は、過去に入室し登録された人物の顔画像を登録済み顔画像として記憶しており、正面カメラ16によって顔画像が撮影される度に、撮影された顔画像を登録済み顔画像と照合し、未登録であればこれを登録する。一方、撮影された顔画像が登録済みであれば、その顔画像に対応する人物の氏名(ないしは識別子)を入室時刻と共に記録する。なお、入室者の顔画像を登録したり氏名等を記録する際に、その人物に告知すべき情報を出力したり、係員に対する警告メッセージを出力してもよい。
The
詳しくは、サーバ12は、ハードディスクドライブ(HDD)24を含む。登録済み顔画像は、HDD24内のハードディスク24d内に記憶される(図3(B)参照)。図2も併せて参照して、ステレオカメラ14は、ゲートGの近傍に割り当てられた領域E1を撮像領域とする。ここで領域E1は、ゲートGの面をy方向に一定距離平行移動して得られる直方体領域であって、例えば横1m×奥行き1m×高さ2m程度の大きさを有する。
Specifically, the
なお、この実施例では、図1,図2に示すように、ステレオカメラ14を原点として、鉛直下向きをz軸とし、ゲートGの面に垂直で室外から室内に向かう向きをy軸とし、そしてz軸およびy軸に垂直な向きをx軸としている。
In this embodiment, as shown in FIGS. 1 and 2, the
また、正面カメラ16は、領域E1内の任意の領域E2を撮像領域とする。領域E2は、例えば0.4m×0.3m×0.4m程度の大きさを有する。サーバ12が正面カメラ16の姿勢を制御することで、この領域E2の中心点が人物の顔Hの中心点Hcと一致する。従って、領域E1が固定領域であるのに対し、領域E2は人物に従って移動する移動領域である。
Further, the
ステレオカメラ14から出力される2つの画像は、メモリコントローラ22を通してRAM20のステレオカメラ画像記憶領域20aに別々に一時記憶される(図3(A)参照)。一方、正面カメラ16によって撮影された画像は、同じくメモリコントローラ22を通してRAM20の正面カメラ画像記憶領域20bに一時記憶される(図3(A)参照)。
The two images output from the
CPU26は、メモリコントローラ22を通してステレオカメラ画像記憶領域20aから2つの画像を読み出し、読み出された2つの画像の間の視差に基づいて人物の顔位置を推定する。
The
すなわち、CPU26は、ステレオカメラ画像記憶領域20aから2つの画像を読み出し、読み出された2つの画像の少なくとも一方に基づいて、まず被写界に背景以外の被写体が含まれるか否かを判別する。ここで背景以外の被写体ありと判別されると、読み出された2つの画像の間の視差に基づいて被写体の頂点を検出する。
That is, the
頂点検出は、具体的には次の手順で行う。最初、領域E1を所定数(例えば50×100)の領域に分割する。次に、2つの画像の間の視差を領域毎に求め、そして視差に基づいて被写体までの距離を領域毎に算出する。これにより、被写体までの距離を領域毎に示した距離分布情報が得られる。そして、この距離分布情報から、被写体の頂点を検出する。検出された頂点の座標(Xt,Yt,Zt)は、RAM20の頂点座標記憶領域20c(図3(A)参照)に記憶される。
Specifically, vertex detection is performed according to the following procedure. First, the area E1 is divided into a predetermined number (for example, 50 × 100) of areas. Next, the parallax between the two images is obtained for each region, and the distance to the subject is calculated for each region based on the parallax. Thereby, distance distribution information indicating the distance to the subject for each region is obtained. Then, the vertex of the subject is detected from this distance distribution information. The detected vertex coordinates (Xt, Yt, Zt) are stored in the vertex coordinate
続いてCPU26は、頂点座標記憶領域20c内の複数の座標から頂点の移動速度を算出する。そして、頂点の高さおよび移動速度がそれぞれ所定の範囲内にあるか否かを判別する。高さおよび移動速度がいずれも所定の範囲内にあれば、被写体は人体であると見なされる。
Subsequently, the
そこでCPU26は、頂点つまり頭頂部の座標(Xt,Yt,Zt)から顔Hの中心位置Hcを推定する。推定結果は、顔中心座標記憶領域20dに記憶される。なお、顔Hの中心座標(Xc,Yc,Zc)は、簡単には、頭頂部の座標(Xt,Yt,Zt)に、平均的な顔の形状および大きさから計算された定数(α,β,γ)をそれぞれ加算することにより求めることができる。
Therefore, the
そしてCPU26は、顔中心座標を参照して、正面カメラ16の撮像領域E2の中心が顔Hの中心と一致するように正面カメラ16の姿勢を制御する。そして姿勢制御の完了後に、正面カメラ画像記憶領域20b内の正面カメラ画像から輪郭線を検出する。
Then, the
輪郭線検出は、例えば、次の手順で行われる。最初、領域E2を所定数(例えば400×400)の領域に分割する。次に、正面カメラ画像に含まれる輝度情報を参照して、互いに隣接する2つの領域の間の輝度差を算出する。そして、算出結果を閾値と比較して、閾値を超えていればその2つの領域の位置に境界線が存在すると判定する。かかる処理を繰り返すことで、輪郭線が検出される。 The contour line detection is performed by the following procedure, for example. First, the area E2 is divided into a predetermined number of areas (for example, 400 × 400). Next, with reference to the luminance information included in the front camera image, the luminance difference between two adjacent areas is calculated. Then, the calculation result is compared with a threshold value, and if the threshold value is exceeded, it is determined that a boundary line exists at the position of the two regions. By repeating this process, a contour line is detected.
続いてCPU26は、検出された輪郭線の大きさと、この輪郭線で囲まれた領域内の色情報とに基づいて、輪郭線で囲まれた画像が人の顔であるかどうかを判別する。大きさおよび色がいずれも所定の範囲内にあれば、輪郭線で囲まれた画像は人の顔であると判別し、正面カメラ画像から輪郭線で囲まれた画像を抽出する。抽出された画像は、入室しようとしている人物の顔画像として、顔画像記憶領域20e(図3(A)参照)に記憶される。
Subsequently, the
次に、CPU26は、顔画像記憶領域20eの顔画像をハードディスク24d内の登録済み顔画像と照合し、未登録であれば新規登録を行う。新規登録処理では、顔画像記憶領域20eから顔画像を読み出し、読み出された顔画像をHDD24を介してハードディスク24dに記録する。また、キーボード等(図示せず)を介して性別,年齢その他の個人情報を入力する操作を受け付け、受け付けられた個人情報をデータベース(図示せず)に追加する。一方、顔画像が登録済みであれば、この顔画像に対応する人物の個人情報をデータベースから取得し、その人物つまり入室者の氏名,入室時刻等をハードディスク24dに記録する。
Next, the
より具体的には、サーバ12のCPU26は、図4〜図7のフローチャートに従って動作する。なお、これらのフロー図に対応するプログラムは、ROM28に記憶されている。
More specifically, the
図4を参照して、電源が投入されると、まずステップS1で、ステレオカメラ14および正面カメラ16からの画像の取り込みをメモリコントローラ22に命令する。それに応じてメモリコントローラ22は、ステレオカメラ14および正面カメラ16からそれぞれ画像を取得し、取得された画像をRAM20内のステレオカメラ画像記憶領域20aおよび正面カメラ画像記憶領域20bにそれぞれ書き込む。
Referring to FIG. 4, when the power is turned on, first, in step S1, the
続いて、ステップS3でステレオカメラ画像記憶領域20aの画像を参照し、ステップS5では背景のみか否かを判別する。ステレオカメラ画像記憶領域20aの画像と予め記憶された背景画像とが一致条件を満足すれば、ステップS5でYESと判別し、ステップS3に戻る。なお、判別は、ステレオカメラ画像記憶領域20a内の2つの画像で構成される三次元画像に基づいても、2つの画像のいずれか一方つまり平面画像に基づいてもよい。
Subsequently, in step S3, the image in the stereo camera
ステップS5でNOであれば、ステップS7に移って、ステレオカメラ画像記憶領域20aの2つの画像に基づいて、被写体の頂点を検出し、かつ頂点の移動速度を算出する(後述)。検出された頂点の座標(Xt,Yt,Zt)は、頂点座標記憶領域20cに記憶される(図3(A)参照)。
If “NO” in the step S5, the process shifts to a step S7 to detect the vertex of the subject and calculate the moving speed of the vertex based on the two images in the stereo camera
続くステップS9では、検出された頂点の高さおよび算出された移動速度が人体の値として適当か否かを判別する。ここでNOであればステップS3に戻り、YESであればステップS11に移る。より具体的には、高さおよび移動速度が高さ条件および移動速度条件を満足するか否かを判別し、高さ条件および移動速度条件を共に満足すれば人体と判別する。いずれか一方でも満足しなければ、人体でないと判別する。 In a succeeding step S9, it is determined whether or not the detected vertex height and the calculated moving speed are appropriate as a human body value. If “NO” here, the process returns to the step S3, and if “YES”, the process proceeds to the step S11. More specifically, it is determined whether or not the height and the moving speed satisfy the height condition and the moving speed condition. If both the height condition and the moving speed condition are satisfied, the human body is determined. If either one is not satisfied, it is determined that it is not a human body.
ステップS11では、頂点すなわち頭頂部の座標(Xt,Yt,Zt)に基づいて、顔Hの中心位置を推定する(後述)。そしてステップS13で、領域E2の中心が顔Hの中心Hcと一致するように正面カメラ16の姿勢を制御する(図1,図2参照)。姿勢制御が完了すると、ステップS15に移る。
In step S11, the center position of the face H is estimated based on the coordinates (Xt, Yt, Zt) of the vertex, that is, the top of the head (described later). In step S13, the posture of the
次に、ステップS15で正面カメラ画像記憶領域20bの画像を参照し、ステップS17ではこの正面カメラ画像から輪郭線を検出する(後述)。ステップS19では、輪郭線の大きさと、輪郭線で囲まれた領域内の色とをそれぞれ評価する。ステップS21では、評価結果が人の顔の値として適当かを判別する。大きさおよび色がそれぞれ所定範囲内にあれば、ステップS21でYESと判別され、ステップS23に移る。ここでNOであればステップS3に戻る。
Next, in step S15, an image in the front camera
ステップS23では、正面カメラ画像から輪郭線で囲まれた領域内の画像を抽出する。抽出された画像は、顔画像として顔画像記憶領域20e(図3(A)参照)に記憶される。続くステップS25では、ハードディスク24d内の登録済み顔画像と照合することで、顔画像記憶領域20eの顔画像が登録済みか否かを判別する。この顔画像との間で一致条件を満足する登録済み顔画像があれば、ステップS25でYESと判別され、ステップS27に移る。一致条件を満足する登録済み顔画像がなければ、ステップS29に移る。
In step S23, an image in the region surrounded by the contour line is extracted from the front camera image. The extracted image is stored in the face
ステップS27では、入室記録処理を実行する。入室記録処理では、この顔画像に該当する人物の個人情報をデータベース(図示せず)から取得し、その氏名および入室時刻をハードディスク24dに記録する。その後、ステップS3に戻る。
In step S27, a room entry recording process is executed. In the room entry recording process, personal information of a person corresponding to the face image is acquired from a database (not shown), and the name and room entry time are recorded on the
一方、ステップS29では、顔画像の新規登録を行う。新規登録処理では、この顔画像をハードディスク24dに記録し、また、この顔画像に該当する個人情報をデータベースに追加する。その後、ステップS3に戻る。なお、ステップS27ないしはS29で、必要に応じて本人への告知,係員への警告等を行ってもよい。
On the other hand, in step S29, a new face image is registered. In the new registration process, this face image is recorded in the
次に、上記ステップS7の頂点検出および移動速度算出処理は、図5のサブルーチンに従う。図5を参照して、まずステップS41で、ステレオカメラ14の被写界つまり領域E1を所定数(例えば50×100)の領域に分割する。続いて、ステップS43でステレオカメラ画像記憶領域20aに記憶された2つの画像の間の視差を領域毎に算出し、ステップS45では視差に基づいて被写体までの距離を領域毎に算出する。これにより、被写体までの距離を領域毎に示す距離分布情報が得られる。
Next, the vertex detection and movement speed calculation processing in step S7 follows the subroutine of FIG. Referring to FIG. 5, first, in step S41, the object scene of
次に、ステップS47で距離分布情報に基づいて被写体の頂点を検出し、ステップS49では、検出された頂点の三次元座標を頂点座標記憶領域20cに記憶する。そしてステップS51で、頂点座標記憶領域20cを参照して、頂点の移動速度を算出する。算出後、上位層のルーチンに復帰する。
In step S47, the vertex of the subject is detected based on the distance distribution information. In step S49, the three-dimensional coordinates of the detected vertex are stored in the vertex coordinate
一方、上記ステップS11の顔位中心推定処理は、図6のサブルーチンに従う。図6を参照して、ステップS61で頂点座標記憶領域20cの座標(Xt,Yt,Zt)を参照し、ステップS63では、顔中心座標(Xc,Yc,Zc)を次の近似式により算出する。
On the other hand, the face center estimation process in step S11 follows the subroutine of FIG. Referring to FIG. 6, the coordinates (Xt, Yt, Zt) of the vertex coordinate
Xc=Xt+α,Yc=Yt+β,Zc=Zt+γ
ここで(α,β,γ)は、平均的な顔の形状および大きさから計算された定数である。
Xc = Xt + α, Yc = Yt + β, Zc = Zt + γ
Here, (α, β, γ) are constants calculated from the average face shape and size.
ステップS65では、算出結果を顔中心座標記憶領域20dに記憶する。記憶後、上位層のルーチンに復帰する。
In step S65, the calculation result is stored in the face center coordinate
また、上記ステップS17の輪郭線検出処理は、図7のサブルーチンに従う。図7を参照して、まずステップS71で、正面カメラ16の被写界(領域E2)を所定数(例えば400×400)の領域に分割する。続いて、ステップS73で正面カメラ画像に含まれる輝度情報を参照し、ステップS75では、隣接領域間の輝度差に基づいて輪郭線を検出する。
Further, the contour detection processing in step S17 follows the subroutine of FIG. Referring to FIG. 7, first, in step S71, the object scene (area E2) of
この輪郭線検出の具体的な処理としては、例えば、隣接する2つの領域の間の輝度差を算出し、算出結果が閾値を超えていれば当該2つの領域の境界線を輪郭線の一部と判定する。このような判定処理を正面カメラ画像の全体に渡って実行することで、正面カメラ画像に含まれる顔画像の輪郭線を検出できる。または、最初に境界線の一部が検出されるまでは逐次判定を行い、検出後は輪郭線の方向に沿って進みつつ輪郭線の近傍領域のみについて判定を行えば、効率よく輪郭線を検出することができる。検出後、上位層のルーチンに復帰する。 As specific processing of this contour line detection, for example, a luminance difference between two adjacent regions is calculated, and if the calculation result exceeds a threshold value, the boundary line between the two regions is part of the contour line. Is determined. By executing such determination processing over the entire front camera image, it is possible to detect the contour line of the face image included in the front camera image. Alternatively, it is possible to detect the outline efficiently by performing sequential determination until a part of the boundary line is detected for the first time, and determining only the region near the outline while proceeding along the direction of the outline after detection. can do. After detection, return to the upper layer routine.
以上から明らかなように、この実施例の顔画像記録装置10は、人の通過する領域E1をステレオカメラ14で上方から撮影する一方、領域E1の任意の一部である領域E2を正面カメラ16で撮影する。従って、RAM20には、領域E1の全体を俯瞰する三次元画像と、領域E1の一部を正面から捉えた画像とが記憶される。
As is apparent from the above, the face
CPU26は、RAM20に記憶された三次元画像に基づいて被写体の頂点Htを検出し(S47)、検出結果の移動速度を算出し(S51)、検出結果および算出結果が高さ条件および移動速度条件をそれぞれ満足するか否かを判別する(S9)。従って、人体に適合する高さ条件および移動速度条件を設定することで、人体とそれ以外の被写体とを弁別できる。
The
高さ条件および移動速度条件のいずれも満足すると判別されると、頂点Htから顔中心位置Hcを推定して(S11)、顔中心位置Hcを中心に含む領域E2を撮影するように正面カメラ16の姿勢を制御する(S13)。そして、制御処理の後に正面カメラ16で撮影された画像から輪郭線を検出し(S17)、検出された輪郭線および当該輪郭線で囲まれた領域内の画像が大きさ条件および色条件をそれぞれ満足するか否かを判別する(S21)。従って、人の顔に適合する大きさ条件および色条件を設定することで、人の顔とそれ以外の被写体とを弁別できる。
If it is determined that both the height condition and the moving speed condition are satisfied, the face center position Hc is estimated from the vertex Ht (S11), and the
そして、大きさ条件および色条件のいずれも満足すると判別されると、正面カメラ画像から輪郭線で囲まれた領域内の画像を抽出し(S23)、抽出された画像が記録済みか否かを判別し(S25)、未記録であればこれをハードディスク24dに記録する(S29)。従って、領域E2つまり正面カメラ16の被写界を人の顔に適合する大きさに設定することで、領域E1を通過する未登録の人体の顔画像がハードディスク24dに記録される。
If it is determined that both the size condition and the color condition are satisfied, an image in the area surrounded by the outline is extracted from the front camera image (S23), and whether or not the extracted image has been recorded is determined. If it is not recorded, it is recorded on the
これにより、パターンマッチングのような複雑な計算を行うことなく、ゲートGから入室する未登録の人体の顔画像を記録することができる。 Thereby, an unregistered human face image entering from the gate G can be recorded without performing complicated calculation such as pattern matching.
なお、この実施例では、ステレオカメラ14の画像に人体が含まれると判別されたとき、顔の位置を推定して正面カメラ16の姿勢を制御し、その後、正面カメラ16の画像に顔が含まれるか否かをさらに判別して、顔が含まれると判別された時点で画像を記録しているが、後者の判別を省略して、姿勢制御の後すぐに正面カメラ16の画像を記録してもよい。ただし、後者の判別を行うことで、記録精度が向上する。
In this embodiment, when it is determined that the human body is included in the image of the
また、輪郭線で囲まれた領域内の画像だけを記録したが、正面カメラ画像をそのまま記録してもよい。ただし、輪郭線内の画像だけを記録することで、記録する画像のデータ量を削減でき、また記録済みか否かの判別が容易になる。 Further, although only the image in the region surrounded by the contour line is recorded, the front camera image may be recorded as it is. However, by recording only the image within the contour line, the data amount of the image to be recorded can be reduced, and it becomes easy to determine whether or not the image has been recorded.
10…入室管理システム
12…サーバ
14…ステレオカメラ
16…正面カメラ
20…RAM
24d…ハードディスク
26…CPU
G…ゲート
H…顔(頭部)
Hc…顔中心
Ht…頭頂部
10 ...
24d ...
G ... Gate H ... Face (head)
Hc ... Center of face Ht ... Top of head
Claims (5)
前記特定領域を当該特定領域の上方から三次元的に撮影する第1撮影手段、
前記特定領域の一部である任意の部分領域を前記特定方向から撮影する第2撮影手段、
前記第1撮影手段によって撮影された三次元画像に基づいて前記特定領域内の被写体の頂点を検出する頂点検出手段、
前記頂点検出手段の検出結果が高さ条件を満足するか否かを判別する第1判別手段、
前記第1判別手段によって高さ条件を満足すると判別されたとき前記頂点検出手段の検出結果から前記人体の顔位置を推定する推定手段、
前記推定手段によって推定された顔位置を含む部分領域を撮影するように前記第2撮影手段の姿勢を制御する制御手段、および
前記制御手段の制御処理の後に前記第2撮影手段によって撮影された画像を記録する記録手段を備える、顔画像記録装置。 A face image recording apparatus for recording a face image of a human body passing through a specific area in a specific direction,
First imaging means for imaging the specific area three-dimensionally from above the specific area;
A second imaging means for imaging an arbitrary partial area that is a part of the specific area from the specific direction;
Vertex detecting means for detecting the vertex of the subject in the specific area based on the three-dimensional image photographed by the first photographing means;
First discrimination means for discriminating whether or not the detection result of the vertex detection means satisfies a height condition;
Estimating means for estimating the face position of the human body from the detection result of the vertex detecting means when the first determining means determines that the height condition is satisfied;
Control means for controlling the posture of the second photographing means so as to photograph a partial region including the face position estimated by the estimating means, and an image photographed by the second photographing means after the control processing of the control means A face image recording apparatus comprising recording means for recording the image.
前記頂点検出手段は検出を撮影の度に行う、請求項1記載の顔画像記録装置。 The first photographing means repeatedly performs photographing,
The face image recording apparatus according to claim 1, wherein the vertex detection unit performs detection every time photographing is performed.
第1判別手段は前記移動速度算出手段の算出結果が移動速度条件を満足するか否かをさらに判別し、
前記推定手段は前記第1判別手段によって高さ条件および移動速度条件のいずれも満足すると判別されたとき推定を行う、請求項2記載の顔画像記録装置。 A moving speed calculating means for calculating a moving speed of the vertex based on a plurality of detection results of the vertex detecting means;
The first determining means further determines whether or not the calculation result of the moving speed calculating means satisfies a moving speed condition;
The face image recording apparatus according to claim 2, wherein the estimation unit performs estimation when the first determination unit determines that both a height condition and a movement speed condition are satisfied.
前記輪郭線検出手段によって検出された輪郭線および当該輪郭線で囲まれた領域内の画像が大きさ条件および色条件をそれぞれ満足するか否かを判別する第2判別手段をさらに備え、
前記記録手段は前記第2判別手段によって大きさ条件および色条件がいずれも満足されると判別されたとき記録処理を実行する、請求項1ないし3のいずれかに記載の顔画像記録装置。 A contour detection unit that detects a contour line from an image photographed by the second photographing unit; and a contour condition detected by the contour detection unit and an image in an area surrounded by the contour line A second discriminating unit for discriminating whether or not each of the color conditions is satisfied;
4. The face image recording apparatus according to claim 1, wherein the recording unit performs a recording process when it is determined by the second determination unit that both the size condition and the color condition are satisfied. 5.
前記記録手段は前記第3判別手段によって記録済みでないと判別されたとき記録処理を実行する、請求項4記載の顔画像記録装置。 A third determination unit for determining whether or not an image in the region surrounded by the contour detected by the contour detection unit has been recorded;
The face image recording apparatus according to claim 4, wherein the recording unit executes a recording process when it is determined by the third determination unit that recording has not been completed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006014148A JP2007199766A (en) | 2006-01-23 | 2006-01-23 | Face image recording device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006014148A JP2007199766A (en) | 2006-01-23 | 2006-01-23 | Face image recording device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007199766A true JP2007199766A (en) | 2007-08-09 |
Family
ID=38454377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006014148A Withdrawn JP2007199766A (en) | 2006-01-23 | 2006-01-23 | Face image recording device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007199766A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011229044A (en) * | 2010-04-22 | 2011-11-10 | Mitsubishi Electric Corp | Image monitoring and recording device |
JP2012128557A (en) * | 2010-12-14 | 2012-07-05 | Fujitsu Ltd | Subject position measuring apparatus, display system and subject position measuring method |
KR101510129B1 (en) | 2013-07-10 | 2015-04-08 | 주식회사 디에보 | Three-dimensional positioning ceiling system |
US10776637B2 (en) | 2015-12-14 | 2020-09-15 | Ricoh Company, Ltd. | Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium |
-
2006
- 2006-01-23 JP JP2006014148A patent/JP2007199766A/en not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011229044A (en) * | 2010-04-22 | 2011-11-10 | Mitsubishi Electric Corp | Image monitoring and recording device |
JP2012128557A (en) * | 2010-12-14 | 2012-07-05 | Fujitsu Ltd | Subject position measuring apparatus, display system and subject position measuring method |
KR101510129B1 (en) | 2013-07-10 | 2015-04-08 | 주식회사 디에보 | Three-dimensional positioning ceiling system |
US10776637B2 (en) | 2015-12-14 | 2020-09-15 | Ricoh Company, Ltd. | Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10212324B2 (en) | Position detection device, position detection method, and storage medium | |
CN105283129B (en) | Information processor, information processing method | |
JP2011198161A (en) | Object recognition system, and monitoring system and watching system using the same | |
TW200947356A (en) | Composition determination device, composition determination method, and program | |
JP6779410B2 (en) | Video analyzer, video analysis method, and program | |
JP6780641B2 (en) | Image analysis device, image analysis method, and image analysis program | |
JP6221390B2 (en) | Image processing apparatus, program, and image processing method | |
KR20110034545A (en) | Image processing apparatus and image processing method | |
JP2012069133A (en) | Solidity authenticating method, solidity authenticating apparatus, and solidity authenticating program | |
JP3655618B2 (en) | Pedestrian age determination device, walking state / pedestrian age determination method and program | |
JP3734793B2 (en) | Human detection device | |
JP4288428B2 (en) | Video analysis system and video analysis method | |
JP4341564B2 (en) | Object judgment device | |
JP5300694B2 (en) | Detection device | |
JP2007199766A (en) | Face image recording device | |
JP2011198244A (en) | Object recognition system, monitoring system using the same, and watching system | |
CN112801038B (en) | A multi-view face liveness detection method and system | |
JP2010262527A (en) | Passer counting device, passer counting method, and passer counting program | |
KR20230008483A (en) | Apparatus and method for measuring pedestrian volume | |
JP7383435B2 (en) | Image processing device, image processing method, and program | |
JP6163732B2 (en) | Image processing apparatus, program, and method | |
CN114743264B (en) | Shooting behavior detection method, device, equipment and storage medium | |
KR101241813B1 (en) | Apparatus and method for detecting objects in panoramic images using gpu | |
JP4675368B2 (en) | Object position estimation apparatus, object position estimation method, object position estimation program, and recording medium recording the program | |
JP2005140754A (en) | Method of detecting person, monitoring system, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090407 |