JP2003259190A - Automatic framing camera - Google Patents
Automatic framing cameraInfo
- Publication number
- JP2003259190A JP2003259190A JP2002056746A JP2002056746A JP2003259190A JP 2003259190 A JP2003259190 A JP 2003259190A JP 2002056746 A JP2002056746 A JP 2002056746A JP 2002056746 A JP2002056746 A JP 2002056746A JP 2003259190 A JP2003259190 A JP 2003259190A
- Authority
- JP
- Japan
- Prior art keywords
- person
- distance measuring
- distance
- photographing
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は自動フレーミングカ
メラに係り、特に、人物の顔を探し出して自動的にフレ
ーミングする自動フレーミングカメラに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic framing camera, and more particularly to an automatic framing camera that finds a person's face and automatically performs framing.
【0002】[0002]
【従来の技術】近年、人の顔の画像情報を元に本人であ
るか否かを自動的に認証する認証システムの開発が進め
られている。このシステムは、例えば、特定の部屋に入
室が許可された人物が入室する際に、鍵、暗証番号入力
や指紋照合等に代わって考案されたものであり、これら
の方法と比べて、出入りするドアの前に立つだけで本人
を識別してドアを開錠するので、簡易であり、かつ、セ
キュリティの度合いも高い。2. Description of the Related Art In recent years, development of an authentication system for automatically authenticating a person based on image information of a person's face has been advanced. This system was devised in place of a key, PIN code input, fingerprint collation, etc. when a person who is allowed to enter a specific room enters the room, for example. It is simple and has a high degree of security because the person can be identified and the door unlocked just by standing in front of the door.
【0003】このような認証システムでは、認証に必要
な画像情報の情報量が多ければ誤判断を防ぐことができ
るので、カメラの方向を人物の顔に向けて画角内に大き
くフレーミングして撮影する必要があり、それを自動的
に行うには、人物の顔を自動的にフレーミングすること
が必要となる。このような認証用カメラとして、被写体
を撮影するための撮影手段がパン方向又はチルト方向に
撮影方向を変えて、人物の顔の位置(方向)を探し出し
て撮影する自動フレーミングカメラが考えられる。In such an authentication system, misjudgment can be prevented if the amount of image information required for authentication is large. Therefore, the camera is directed toward the person's face and the image is framed largely within the angle of view. In order to do that automatically, it is necessary to automatically frame the face of the person. An example of such an authentication camera is an automatic framing camera in which a photographing means for photographing a subject changes the photographing direction in a pan direction or a tilt direction to find the position (direction) of a person's face and photograph it.
【0004】[0004]
【発明が解決しようとする課題】しかしながら、上記認
証システムに用いられるカメラは人物に対して顔を向け
ることを要求するので、人物の顔を探し出してフレーミ
ングするまでの処理時間が迅速でなければ、上記認証シ
ステムでの入室が迅速とならない。However, since the camera used in the above authentication system requires the face of the person to be faced, the processing time until the face of the person is searched for and framing is required unless the processing time is short. Entry into the above certification system is not quick.
【0005】本発明は上記事案に鑑み、迅速に人物の顔
をフレーミングすることができる自動フレーミングカメ
ラを提供することを課題とする。In view of the above problems, it is an object of the present invention to provide an automatic framing camera that can quickly frame a person's face.
【0006】[0006]
【課題を解決するための手段】上記課題を解決するため
に、本発明の第1の態様は、被写体を撮影するための撮
影手段と、一方向の距離を測距する測距手段と、前記撮
影手段の撮影方向と前記測距手段の測距方向とを一体と
して変更する変更手段とを備え、人物の顔をフレーミン
グして撮影する自動フレーミングカメラにおいて、前記
方向変更手段によりチルト方向下端でパン動作を行い前
記測距手段による距離情報の変化から前記人物の体軸を
探し出し、前記方向変更手段により前記体軸のチルト方
向の下端又は上端からチルト動作を行い前記測距手段に
よる距離情報の変化から前記人物の頭の頂部を探し出
し、前記方向変更手段により前記探し出した頭の頂部か
ら予め設定された角度分前記撮影方向を下げることで、
前記人物の顔の略中央が前記撮影手段にフレーミングさ
れることを特徴とする。In order to solve the above-mentioned problems, a first aspect of the present invention relates to a photographing means for photographing a subject, a distance measuring means for measuring a distance in one direction, and An automatic framing camera that includes a changing unit that integrally changes a shooting direction of a photographing unit and a distance measuring direction of the distance measuring unit, and pans at a lower end of a tilt direction by the direction changing unit in an automatic framing camera for framing and photographing a human face. An operation is performed to find the body axis of the person from the change in the distance information by the distance measuring means, and the direction changing means performs a tilting operation from the lower end or the upper end in the tilt direction of the body axis to change the distance information by the distance measuring means. By searching the top of the head of the person from, by lowering the shooting direction by a preset angle from the top of the searched head by the direction changing means,
It is characterized in that substantially the center of the face of the person is framed by the photographing means.
【0007】本態様の自動フレーミングカメラは、被写
体を撮影するための撮影手段と、一方向の距離を測距す
る測距手段と、撮影手段の撮影方向と測距手段の測距方
向とを一体として変更する変更手段とを備えている。本
態様では、方向変更手段によりチルト方向下端でパン動
作が行われ測距手段による距離情報の変化から人物の体
軸が探し出され、方向変更手段により体軸のチルト方向
の下端又は上端からチルト動作が行われ測距手段による
距離情報の変化から人物の頭の頂部が探し出され、方向
変更手段により探し出した頭の頂部から予め設定された
角度分撮影方向を下げることで、人物の顔の略中央が撮
影手段にフレーミングされて撮影手段で人物の顔が撮影
される。本態様によれば、測距手段による距離情報の変
化から人物の体軸に次いで人物の頭の頂部が探し出さ
れ、頭の頂部から所定角度分撮影方向を下げることで、
人物の顔の略中央がフレーミングされるので、迅速に人
物の顔の画像を得ることができる。In the automatic framing camera of this aspect, the photographing means for photographing the object, the distance measuring means for measuring the distance in one direction, the photographing direction of the photographing means and the distance measuring direction of the distance measuring means are integrated. And a changing means for changing. In this aspect, the direction changing means performs the pan operation at the lower end of the tilt direction, the body axis of the person is searched for from the change of the distance information by the distance measuring means, and the direction changing means tilts from the lower end or the upper end in the tilt direction of the body axis. The top of the person's head is searched for from the change in the distance information by the distance measuring means, and the shooting direction is lowered by the preset angle from the top of the head found by the direction changing means, so that the face of the person's face is lowered. The approximate center is framed by the photographing means, and the face of the person is photographed by the photographing means. According to this aspect, the top of the person's head is searched next to the body axis of the person from the change in the distance information by the distance measuring means, and the photographing direction is lowered by a predetermined angle from the top of the head,
Since the approximate center of the person's face is framed, it is possible to quickly obtain an image of the person's face.
【0008】また、上記課題を解決するために、本発明
の第2の態様は、被写体を撮影するための撮影手段と、
一方向の距離を測距する測距手段と、前記撮影手段の撮
影方向と前記測距手段の測距方向とを一体として変更す
る変更手段とを備え、人物の顔をフレーミングして撮影
する自動フレーミングカメラにおいて、前記方向変更手
段によりチルト方向下端でパン動作を行い前記測距手段
による距離情報の変化から前記人物の体軸を探し出し、
前記方向変更手段により前記体軸のチルト方向の下端又
は上端からチルト動作を行い前記測距手段による距離情
報の変化から前記人物の頭の頂部を探し出し、前記撮影
手段の撮影方向が前記測距手段の測距方向に対して所定
角度分下げて設定されていることで、前記人物の頭の頂
部を探し出したときに前記人物の顔の略中央が前記撮影
手段にフレーミングされることを特徴とする。In order to solve the above-mentioned problems, a second aspect of the present invention is a photographing means for photographing a subject,
An automatic framing apparatus for framing a person's face is provided with a distance measuring means for measuring a distance in one direction and a changing means for integrally changing the photographing direction of the photographing means and the distance measuring direction of the distance measuring means. In the framing camera, a panning operation is performed at the lower end of the tilt direction by the direction changing means, and the body axis of the person is searched for from the change in distance information by the distance measuring means
The tilting operation is performed from the lower end or the upper end in the tilt direction of the body axis by the direction changing means, the top of the head of the person is searched from the change in the distance information by the distance measuring means, and the photographing direction of the photographing means is the distance measuring means. It is set to be lowered by a predetermined angle with respect to the distance measuring direction, so that the approximate center of the person's face is framed by the photographing means when the top of the person's head is searched. .
【0009】本態様では、方向変更手段によりチルト方
向下端でパン動作が行われ測距手段による距離情報の変
化から人物の体軸が探し出され、方向変更手段により体
軸のチルト方向の下端又は上端からチルト動作が行われ
測距手段による距離情報の変化から人物の頭の頂部が探
し出される。撮影手段の撮影方向は測距手段の測距方向
に対して所定角度分下げて設定されているので、人物の
頭の頂部が探し出されると人物の顔の略中央が撮影手段
にフレーミングされる。本態様によれば、撮影手段の撮
影方向は測距手段の測距方向に対して所定角度分下げて
設定されているので、第1の態様のように、方向変更手
段により探し出した頭の頂部から所定角度分撮影方向を
下げて人物の顔の略中央部を撮影手段にフレーミングす
る必要がなく、第1の態様に比べより迅速に人物の顔の
画像を得ることができる。このような所定角度は、例え
ば、撮影手段と人物との距離をL1、人物の顔の略中央
から人物の頭の頂部までの距離をL2としたときに、t
an−1(L2/L1)で与えられる。In this aspect, the direction changing means performs the pan operation at the lower end of the tilt direction, the body axis of the person is searched from the change of the distance information by the distance measuring means, and the direction changing means detects the lower end of the body axis in the tilt direction. The tilting operation is performed from the upper end, and the top of the person's head is found from the change in the distance information by the distance measuring means. Since the photographing direction of the photographing means is set to be lowered by a predetermined angle with respect to the distance measuring direction of the distance measuring means, when the top of the person's head is found, the approximate center of the person's face is framed by the photographing means. . According to this aspect, since the photographing direction of the photographing means is set lower than the distance measuring direction of the distance measuring means by the predetermined angle, the top of the head found by the direction changing means is set as in the first aspect. Therefore, it is not necessary to lower the photographing direction by a predetermined angle to frame the substantially central portion of the person's face on the photographing means, and the image of the person's face can be obtained more quickly than in the first aspect. Such a predetermined angle is t, for example, when the distance between the photographing means and the person is L1 and the distance from the approximate center of the person's face to the top of the person's head is L2.
It is given by an −1 (L2 / L1).
【0010】上記第1及び第2の態様において、方向変
更手段の方向変更可能範囲を予め定めておき、方向変更
手段がチルト方向下端でパン駆動を行うときに、測距手
段の測距可能距離を床面までの距離より短く設定すれ
ば、測距手段が床面を人物と誤認することなく体軸を探
し出すことができる。In the first and second aspects, the direction changeable range of the direction changing means is set in advance, and when the direction changing means performs pan drive at the lower end of the tilt direction, the distance measuring means can measure the distance. If is set to be shorter than the distance to the floor surface, the distance measuring means can find the body axis without misidentifying the floor surface as a person.
【0011】[0011]
【発明の実施の形態】(第1実施形態)以下、図面を参
照して、本発明を、人物の顔を自動的にフレーミングす
る自動フレーミングカメラに適用した第1の実施の形態
について説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS (First Embodiment) A first embodiment in which the present invention is applied to an automatic framing camera for automatically framing a human face will be described below with reference to the drawings.
【0012】(構成)図1に示すように、図示しない壁
面には人が出入可能なドア33が具設されている。ドア
33の近傍(左側)には、ドア33の前に立った人物P
の顔を撮影する自動フレーミングカメラ(以下、カメラ
と略称する。)1が配置されている。カメラ1の上側に
は、人物Pにカメラ1の方向に顔を向けるよう指示する
ステッカ35が壁面に貼付されている。また、ドア33
の前の床面には、カメラ1が人物Pの顔を撮影可能な認
証エリア34が矩形状に画成されている。認証エリア3
4の床面には、認証エリア34内にいる人物Pを検出可
能な圧力スイッチ(図4の符号31参照)が埋設されて
いる。カメラ1で撮影された人物Pの顔の画像情報は、
図示しないインターフェースを介してパーソナルコンピ
ュータ等の図示しないホスト部へ送出される。ホスト部
では、人物Pの顔の特徴量等のデータを抽出するために
人物Pの顔の画像情報についての処理がなされ、ホスト
部のデータベースに蓄積された人物Pの特徴量と一致す
る場合にドア33が開錠される。(Construction) As shown in FIG. 1, a door 33 through which a person can enter and exit is provided on a wall surface (not shown). In the vicinity (left side) of the door 33, a person P standing in front of the door 33
An automatic framing camera (hereinafter, abbreviated as a camera) 1 for photographing the face of the person is arranged. On the upper side of the camera 1, a sticker 35 for instructing the person P to turn his or her face toward the camera 1 is attached to the wall surface. Also, the door 33
An authentication area 34 in which the camera 1 can photograph the face of the person P is defined in a rectangular shape on the floor surface in front of. Authentication area 3
A pressure switch (see reference numeral 31 in FIG. 4) capable of detecting the person P in the authentication area 34 is embedded in the floor surface of No. 4. The image information of the face of the person P captured by the camera 1 is
It is sent to a host unit (not shown) such as a personal computer through an interface (not shown). In the host unit, the image information of the face of the person P is processed in order to extract the data such as the feature amount of the face of the person P, and when it matches the feature amount of the person P accumulated in the database of the host unit. The door 33 is unlocked.
【0013】図2に示すように、カメラ1は、後述する
カメラ部本体を覆うヘルメット状のケーシング2aと、
ケーシング2aの前方開口部を覆う半球状のフード2b
とを備えている。ケーシング2aには、例えば、ABS
(アクリロニトリルブタジエンスチレン)等の材質を用
いることができ、フード2bには、例えば、PC(ポリ
カーボネート)等の材質を用いることができる。As shown in FIG. 2, the camera 1 includes a helmet-shaped casing 2a that covers a camera body, which will be described later.
A hemispherical hood 2b that covers the front opening of the casing 2a.
It has and. The casing 2a includes, for example, ABS.
A material such as (acrylonitrile butadiene styrene) can be used, and a material such as PC (polycarbonate) can be used for the hood 2b.
【0014】図3に示すように、カメラ部本体は、カメ
ラ部本体を支持し雲台として機能する板金製の第1フレ
ーム7を有している。第1フレーム7は、中央部が矩形
板状とされており、(カメラ部本体の)正面側の中央部
に上方に折り曲げられた突起を有している。この突起の
正面側には、赤外線を発光(投光)する赤外LED14
が固定されている。一方、第1フレーム7の突起とは反
対側(背面側)の中央部からは、上方に断面L字状の支
持部材が延出されている。As shown in FIG. 3, the camera section main body has a first frame 7 made of sheet metal that supports the camera section main body and functions as a platform. The first frame 7 has a rectangular plate shape at the center, and has a protrusion bent upward at the center on the front side (of the camera body). An infrared LED 14 that emits (projects) infrared rays is provided on the front side of the protrusion.
Is fixed. On the other hand, a support member having an L-shaped cross section extends upward from a central portion of the first frame 7 on the opposite side (back side) from the protrusion.
【0015】第1フレーム7の中央部で突起の近傍、及
び、支持部材の正面側には、樹脂製の第2フレーム8を
パン方向(水平方向)に回動可能に支持するパン方向支
持軸10がそれぞれ上下方向に突設されており、パン方
向支持軸10は、第1フレームの中央部及び支持部材で
軸支されている。第2フレーム8は、正面側から見たと
きに、正面側中央を原点とした第1象限部が切り欠かれ
た概ね四角形の形状を有している。A pan-direction supporting shaft for supporting the second frame 8 made of resin rotatably in the pan direction (horizontal direction) near the protrusion at the center of the first frame 7 and on the front side of the supporting member. 10 are respectively provided so as to project in the vertical direction, and the pan-direction support shaft 10 is pivotally supported by the central portion of the first frame and the support member. When viewed from the front side, the second frame 8 has a substantially quadrangular shape in which the first quadrant with the center of the front side as the origin is cut out.
【0016】第2フレーム8の内側には、樹脂製で板状
の第3フレーム9が配置されている。第3フレーム9の
正面側中央部には、人物Pの顔を撮影するための撮影レ
ンズ3の焦点位置に配置され、画像をフレーム転送又は
インターライン転送によりビデオ出力するCCD等の撮
像素子4が固定されている。撮影レンズ3には、通常、
光学系内に挿入されるIR(赤外線)カットフィルタを
欠いた固定焦点レンズが用いられている。Inside the second frame 8, a plate-shaped third frame 9 made of resin is arranged. At the center of the front side of the third frame 9, there is an image pickup device 4 such as a CCD, which is arranged at the focal position of the photographing lens 3 for photographing the face of the person P and which outputs an image by frame transfer or interline transfer. It is fixed. The taking lens 3 is usually
A fixed focus lens lacking an IR (infrared) cut filter inserted in an optical system is used.
【0017】また、第3フレーム9の正面側には、撮影
レンズ3の両側に、3mm程度の赤外スポット光を発光
する円柱状の発光素子5と、発光素子5からの反射赤外
光を受光する円柱状の受光素子6とが固定されている。
発光素子5、撮影レンズ3(撮像素子4を含む。以下、
同じ。)及び受光素子6は、略水平方向に直線状に、か
つ、同一方向に配設されている。発光素子5と受光素子
6とは、アクティブ方式の測距ユニットを構成してお
り、測距ユニットの測距可能距離は約5m以内とされて
いる。On the front side of the third frame 9, a cylindrical light emitting element 5 which emits an infrared spot light of about 3 mm and reflected infrared light from the light emitting element 5 are provided on both sides of the taking lens 3. A cylindrical light receiving element 6 for receiving light is fixed.
The light emitting element 5 and the taking lens 3 (including the image pickup element 4. Hereinafter,
the same. ) And the light receiving element 6 are linearly arranged in the substantially horizontal direction and in the same direction. The light emitting element 5 and the light receiving element 6 form an active distance measuring unit, and the distance measuring range of the distance measuring unit is within about 5 m.
【0018】発光素子5及び受光素子6の筒胴外周側面
からは、それぞれ撮像素子4の反対側に略水平方向に、
第3フレームを第2フレームに対してチルト方向(垂直
方向)に回動可能に支持するチルト方向支持軸11が突
設されている。これらのチルト方向支持軸11は、同軸
線上にあり、第2フレームに軸支されている。発光素子
5及び受光素子6のチルト方向支持軸11の突設位置
は、垂直方向で第2フレームに最も近い位置で、第3フ
レームに固定された全ての部材に対して垂直方向での重
心位置(正面側から見たときに発光素子5及び受光素子
6を上下に均等に2分する直径位置)にあたると共に、
第3フレームに固定された全ての部材に対して奥行き方
向での重心位置にあたる位置とされている。From the outer peripheral side surfaces of the light emitting element 5 and the light receiving element 6 to the opposite side of the image pickup element 4, respectively, in a substantially horizontal direction,
A tilt direction support shaft 11 is provided to project so as to support the third frame so as to be rotatable in the tilt direction (vertical direction) with respect to the second frame. These tilt direction support shafts 11 are coaxial and are supported by the second frame. The protruding position of the tilt direction support shaft 11 of the light emitting element 5 and the light receiving element 6 is the position closest to the second frame in the vertical direction, and the center of gravity position in the vertical direction with respect to all the members fixed to the third frame. (When viewed from the front side, the light emitting element 5 and the light receiving element 6 are equally divided into upper and lower diametrical positions) and
The position is the position of the center of gravity in the depth direction with respect to all the members fixed to the third frame.
【0019】第3フレーム9の裏面側で中央からやや発
光素子5寄りの位置からは、第3フレーム9とほぼ同じ
厚さの板材がカメラ部本体の背面方向に突設されてい
る。この板材の中央部には長穴が形成されている。ま
た、第3フレーム9の裏面側には、撮像素子4の作動を
制御するCCD作動制御回路及び後述するようにカメラ
部本体を制御する制御回路(図4の符号20参照)の制
御基板がマウントされている。なお、制御基板からはリ
ード線が導出されており、上述したホスト部との接続を
確保するためにケーシング2aの背面側に配置された図
示しないコネクタ部に接続されている。A plate material having substantially the same thickness as that of the third frame 9 is provided so as to project in the rear direction of the camera section main body from a position slightly closer to the light emitting element 5 from the center on the back surface side of the third frame 9. An elongated hole is formed in the central portion of this plate material. On the back side of the third frame 9, a CCD operation control circuit for controlling the operation of the image sensor 4 and a control circuit board for controlling the camera body (see reference numeral 20 in FIG. 4) are mounted as described later. Has been done. A lead wire is led out from the control board, and is connected to a connector portion (not shown) arranged on the back side of the casing 2a to secure the connection with the host portion.
【0020】第2フレーム8の一側(発光素子5側)か
らは、断面略く字状のモータ固定板が背面方向へ延出さ
れている。モータ固定板の先端部には、第3フレーム9
を略垂直方向にチルト駆動させるためのステッピングモ
ータ(以下、チルトモータという。)12が、チルトモ
ータ12から延出された円柱状の2本の固定アーム12
bを介してねじ止め固定されている。チルトモータ12
のモータ軸には、略L字状の駆動レバー12aが嵌着さ
れている。駆動レバー12aの先端部は、上述した第3
フレーム9の板材の長穴に挿入されている。From one side of the second frame 8 (light emitting element 5 side), a motor fixing plate having a substantially V-shaped cross section extends in the rear direction. The third frame 9 is attached to the tip of the motor fixing plate.
A stepping motor (hereinafter referred to as “tilt motor”) 12 for tilt-moving the actuator in a substantially vertical direction has two cylindrical fixed arms 12 extending from the tilt motor 12.
It is fixed by screwing through b. Tilt motor 12
A substantially L-shaped drive lever 12a is fitted to the motor shaft of the. The tip portion of the drive lever 12a has the above-mentioned third portion.
It is inserted into the long hole of the plate material of the frame 9.
【0021】一方、第1フレーム7の中央部の裏面側
(底面側)には、第2フレーム9を略水平方向にパン駆
動させるためのステッピングモータ(以下、パンモータ
という。)13が、パンモータ13から延出された図示
しない円柱状の2本の固定アームを介してねじ止め固定
されている。パンモータ13のモータ軸には、略L字状
の駆動レバー13aが嵌着されている。駆動レバー13
aの先端部は、撮影レンズ3と受光素子6とのほぼ中間
点位置に対応する第2フレーム9の位置に形成されたU
字状切り欠きに挿入されている。On the other hand, on the back surface side (bottom surface side) of the central portion of the first frame 7, a stepping motor (hereinafter referred to as a pan motor) 13 for pan-driving the second frame 9 in a substantially horizontal direction is provided. It is fixed by screws via two cylindrical fixing arms (not shown) extending from the. A substantially L-shaped drive lever 13 a is fitted on the motor shaft of the pan motor 13. Drive lever 13
The tip portion of a is U formed at the position of the second frame 9 corresponding to the substantially midpoint position between the taking lens 3 and the light receiving element 6.
It is inserted in the letter notch.
【0022】従って、第3フレーム9はチルト方向支持
軸11で第2フレーム8に対してチルト方向に回動可能
に軸支され、第2フレーム8はパン方向支持軸10で第
1フレーム7に対して回動可能に軸支されているので、
第3フレーム9に固定された発光素子5、撮影レンズ3
及び受光素子6は、パンモータ13及びチルトモータ1
2の駆動により、水平及び垂直方向に一体に方向(向
き)を変更可能な構造とされている。なお、チルトモー
タ12及びパンモータ13には、本例でのステッピング
モータの代わりに駆動レバー12a、13aを半周(1
80°)未満回動させる回動位置センサー付きのメータ
を用いても良い。Therefore, the third frame 9 is pivotally supported by the tilt direction support shaft 11 so as to be rotatable in the tilt direction with respect to the second frame 8, and the second frame 8 is supported by the pan direction support shaft 10 on the first frame 7. Since it is rotatably supported by the shaft,
The light emitting element 5 and the taking lens 3 fixed to the third frame 9.
Also, the light receiving element 6 includes a pan motor 13 and a tilt motor 1.
It is structured such that the direction (direction) can be integrally changed in the horizontal and vertical directions by the drive of 2. It should be noted that the tilt motor 12 and the pan motor 13 are provided with driving levers 12a and 13a for half a turn (1) instead of the stepping motor in this example.
A meter with a rotation position sensor that rotates less than 80 ° may be used.
【0023】図4に示すように、カメラ部本体は、チル
トモータ12及びパンモータ13の駆動、並びに、発光
素子5、受光素子6及び発光LED14の赤外線の発光
・受光を制御する制御回路20を有している。制御回路
20は、CPU、RAM、ROM及びインターフェース
を内蔵したマイクロコンピュータ(以下、マイコンとい
う。)21、マイコン21からのH(ハイ)レベル信号
により発光素子5を発光させるドライバ25、演算回路
を有し受光素子6で受光した赤外反射光を光電変換して
被写体までの距離を測距する測距デバイス22、マイコ
ン21からのH(ハイ)レベル信号により赤外LED1
4を発光させるドライバ26、及び、チルトモータ1
2、パンモータ13を正逆転の双方向に駆動するドライ
バ28、29を含んで構成されている。マイコン21は
測距デバイス22に接続されており、測距デバイス22
は受光素子6に接続されている。また、マイコン21は
ドライバ25、26に接続されており、ドライバ25、
26はそれぞれ発光素子5、発光LED14に接続され
ている。更に、マイコン21は、ドライバ28、29に
接続されており、ドライバ28はパンモータ13に、ド
ライバ29はチルトモータ12にそれぞれ接続されてい
る。なお、マイコン21は上述した圧力スイッチ31に
も接続されている。As shown in FIG. 4, the camera body has a control circuit 20 for controlling the drive of the tilt motor 12 and the pan motor 13, and the emission and reception of infrared rays from the light emitting element 5, the light receiving element 6 and the light emitting LED 14. is doing. The control circuit 20 has a microcomputer (hereinafter referred to as a microcomputer) 21 having a CPU, a RAM, a ROM and an interface built therein, a driver 25 for causing the light emitting element 5 to emit light in response to an H (high) level signal from the microcomputer 21, and an arithmetic circuit. Then, the infrared LED 1 is generated by the H (high) level signal from the distance measuring device 22 and the microcomputer 21 for photoelectrically converting the infrared reflected light received by the light receiving element 6 to measure the distance to the subject.
Driver 26 for causing 4 to emit light, and tilt motor 1
2. It is configured to include drivers 28 and 29 that drive the pan motor 13 in both forward and reverse directions. The microcomputer 21 is connected to the distance measuring device 22, and the distance measuring device 22
Is connected to the light receiving element 6. The microcomputer 21 is connected to the drivers 25 and 26, and the driver 25,
26 are connected to the light emitting element 5 and the light emitting LED 14, respectively. Further, the microcomputer 21 is connected to the drivers 28 and 29, the driver 28 is connected to the pan motor 13, and the driver 29 is connected to the tilt motor 12. The microcomputer 21 is also connected to the pressure switch 31 described above.
【0024】(動作)次に、フローチャートを参照し
て、本実施形態のカメラ1の動作について説明する。な
お、マイコン21は既にROMに記憶されたプログラム
や後述する設定値等のデータのRAMへの展開を行う初
期処理を終了しており、カメラ部本体の撮像素子4を人
物Pの顔に向かせてフレーミングし撮像するためのフレ
ーミングルーチンが実行可能な状態にあるものとする。(Operation) Next, the operation of the camera 1 of this embodiment will be described with reference to the flow chart. It should be noted that the microcomputer 21 has completed the initial processing of expanding the programs stored in the ROM and the data such as the setting values described later to the RAM, and makes the image sensor 4 of the camera body face the face of the person P. It is assumed that a framing routine for framing and imaging is ready to be executed.
【0025】図5に示すように、このフレーミングルー
チンでは、まずステップ102において、圧力スイッチ
31がオン状態となるまで待機する。圧力スイッチ31
がオン状態となると、次のステップ104において、ド
ライバ28、29にパンモータ13及びチルトモータ1
2を駆動させ、カメラ部本体(測距ユニット)が測距方
向の初期位置の方向を向くように移動させ、パンモータ
13及びチルトモータ12の駆動を停止させる。As shown in FIG. 5, in this framing routine, first, at step 102, the pressure switch 31 waits until it is turned on. Pressure switch 31
Is turned on, in the next step 104, the pan motor 13 and the tilt motor 1 are sent to the drivers 28 and 29.
2 is driven to move the camera body (distance measuring unit) so as to face the initial position in the distance measuring direction, and the driving of the pan motor 13 and the tilt motor 12 is stopped.
【0026】図6に示すように、測距ユニットの測距方
向Dは、パン方向(水平方向)及びチルト方向(垂直方
向)で測距許容範囲S内に規制されている。測距許容範
囲Sは、パンモータ13及びチルトモータ12の可動範
囲に依存している。なお、図6に示す測距許容範囲S
は、人物Pの位置における測距ユニットの測距範囲を模
式的に示したものである。初期位置(初期方向)S
Oは、この測距許容範囲Sのチルト方向下端かつパン方
向一端部の位置とされている。測距許容範囲Sのチルト
方向下端は、測距ユニットの測距可能距離の限界におい
て床面より上方の位置、換言すれば、測距可能距離が床
面までの距離より短くなるように設定されている。初期
位置SOは、測距許容範囲S内において、水平方向で
は、人物P(又は人物P’)が存在しない位置に設定さ
れており、垂直方向では、人物P(又は人物P’)が存
在する位置に設定されている(図1も参照)。As shown in FIG. 6, the distance measuring direction D of the distance measuring unit is restricted within the distance measuring allowable range S in the pan direction (horizontal direction) and the tilt direction (vertical direction). The distance measurement allowable range S depends on the movable range of the pan motor 13 and the tilt motor 12. It should be noted that the distance measurement allowable range S shown in FIG.
[Fig. 3] schematically shows the distance measuring range of the distance measuring unit at the position of the person P. Initial position (initial direction) S
O is the position of the lower end in the tilt direction and the one end in the pan direction of this allowable range S. The lower end of the allowable range S in the tilt direction is set to a position above the floor surface at the limit of the distance measurement range of the distance measurement unit, in other words, the distance measurement range is shorter than the distance to the floor surface. ing. The initial position S O is set at a position where the person P (or the person P ′) does not exist in the horizontal direction within the distance measurement allowable range S, and the person P (or the person P ′) exists in the vertical direction. Is set to the position (see also FIG. 1).
【0027】次のステップ106では、ドライバ25に
Hレベル信号を出力して発光素子5を点灯させる。これ
により、受光素子6は人物P(又は人物P’)で反射し
た赤外反射光を受光可能な状態となる。In the next step 106, an H level signal is output to the driver 25 to turn on the light emitting element 5. As a result, the light-receiving element 6 is ready to receive the infrared reflected light reflected by the person P (or person P ′).
【0028】次のステップ108では、ドライバ28に
パンモータ13を駆動させて、測距方向Dをパン方向
(図6の矢印A方向)に移動させる。これにより、測距
方向Dは、チルト方向を初期位置のままとして、初期位
置SOからパン方向にパン方向終端位置SEまで移動す
ることになる。パン方向終端位置SEは、認証エリア3
4を挟んだ初期位置SOの反対側で人物Pが存在しない
位置に設定されている。In the next step 108, the driver 28 drives the pan motor 13 to move the distance measuring direction D in the pan direction (direction of arrow A in FIG. 6). As a result, the distance measuring direction D moves from the initial position S O to the pan direction end position S E in the pan direction while keeping the tilt direction at the initial position. The end position S E in the pan direction is the authentication area 3
It is set at a position where the person P does not exist on the opposite side of the initial position S O with 4 in between.
【0029】次にステップ110において、受光素子6
で受光した信号に変化があるか、換言すれば、人物Pの
一側PAや他端PBを捉えたか否かを判断する。測距デ
バイス22は、受光素子からの電圧により被写体までの
距離を測距しており、図6に示すように、人物Pの一側
PA、人物Pの他端PB、人物Pよりも遠方に位置して
いる人物P’の端部(図示せず)を含むパン動作中の各
測距方向Dでその測距情報(距離情報)をマイコン21
に出力している。このため、マイコン21は被写体を捉
えた位置、すなわち、人物Pの一側PAや他端PBを判
断することができる。Next, at step 110, the light receiving element 6
It is determined whether or not there is a change in the signal received in step S1, in other words, whether one side P A or the other end P B of the person P has been captured. The distance measuring device 22 measures the distance to the subject by the voltage from the light receiving element, and as shown in FIG. 6, the person P has one side P A , the other end P B of the person P , and the person P more than the person P. The microcomputer 21 outputs the distance measurement information (distance information) in each distance measurement direction D during the pan operation including the end portion (not shown) of the person P ′ located at a distance.
Is output to. Therefore, the microcomputer 21 positions captured the subject, i.e., it is possible to determine the one side P A and the other end P B of the person P.
【0030】ステップ110での判断が否定のときは、
ステップ114へ進み、肯定のときは、次のステップ1
12において、初期位置SOから信号変化のあったとこ
ろ(人物Pの一端PAや他端PB)までドライバ28が
パンモータ13に出力したパルス数の値及びそこでの測
距デバイス22からの測距情報をRAMに記憶する。If the determination in step 110 is negative,
The process proceeds to step 114, and if the result is affirmative, the next step 1
In FIG. 12, the value of the number of pulses output by the driver 28 to the pan motor 13 from the initial position S O to the position where there is a signal change (one end P A or the other end P B of the person P) and the measurement from the distance measuring device 22 there. Distance information is stored in RAM.
【0031】次にステップ114では、測距方向Dがパ
ン方向終端位置SEに到達したか否かを、ドライバ28
がパンモータ13に出力するパルス数が予め定められた
パルス数となったか否かにより判断する。否定判定のと
きは、ステップ108に戻りパンモータ13のパン駆動
を続行させ、肯定判定のときは、次のステップ116に
おいてパンモータ13の駆動を停止させる。次いで、ス
テップ118では、ステップ112で記憶した距離情報
を読み出し、カメラ1に最も近い被写体(人物P)を選
択する。Next, at step 114, it is determined whether or not the distance measuring direction D has reached the pan direction end position S E.
Determines whether or not the number of pulses output to the pan motor 13 reaches a predetermined number of pulses. If the determination is negative, the process returns to step 108 to continue the pan driving of the pan motor 13, and if the determination is positive, the driving of the pan motor 13 is stopped in the next step 116. Next, at step 118, the distance information stored at step 112 is read and the subject (person P) closest to the camera 1 is selected.
【0032】次のステップ120では、ステップ112
で記憶した人物Pの一側PA及び他側PBまでのパルス
数の値を読み出し、その中間のパルス数の値{(PAま
でのパルス数+PBまでのパルス数)/2}を演算し
て、演算されたパルス数の位置(方向)を人物Pの体軸
位置(体軸方向)PCとする。初期位置SOからパン方
向終端位置SEまでドライバ28がパンモータ13へ出
力するパルス数は一定であり、初期位置SOから体軸位
置PCまでのパルス数は演算されているので、前者から
後者を減算することで、測距ユニットの測距方向Dをパ
ン方向終端位置S Eから体軸位置PCに向かせるための
パルス数を演算することができる。ステップ122で
は、このように演算されたパルス数分、パンモータ13
を逆転駆動させて測距方向Dを体軸位置PCに向かせ、
パンモータ13の駆動を停止させる。In the next step 120, step 112
One side P of person P stored inAAnd the other side PBPulse up to
The value of the number is read, and the value of the number of pulses in the middle {(PAWell
Number of pulses at + PBPulse number up to) / 2}
And the position (direction) of the calculated pulse number is used as the body axis of the person P.
Position (body axis direction) PCAnd Initial position SOFrom bread
Directional end position SEDriver 28 goes out to pan motor 13
The number of applied pulses is constant and the initial position SOFrom the axial position
Setting PCSince the number of pulses up to is calculated,
By subtracting the latter, the distance measuring direction D of the distance measuring unit is
End position S ETo body axis position PCTo turn to
The number of pulses can be calculated. In step 122
Is the pan motor 13 for the number of pulses calculated in this way.
To drive in the reverse direction to move the distance measurement direction D to the body axis position PCTowards
The driving of the pan motor 13 is stopped.
【0033】従って、測距ユニットは、測距許容範囲S
の下端を水平方向に、パンモータ13の正転駆動によ
り、初期位置SOから人物P、P’を通過してパン方向
終端位置SEまで向き、パン方向終端位置SEで一旦停
止した後、パンモータ13の逆転駆動により、体軸位置
PCを向くこととなる。Therefore, the distance measuring unit has a distance measuring allowable range S.
The lower end horizontal, the normal rotation of the pan motor 13, a person from the initial position S O P, the direction to pan direction end position S E through the P ', after stopping once in the pan direction end position S E, By driving the pan motor 13 in the reverse direction, the body axis position P C is turned.
【0034】ステップ124では、測距ユニットが体軸
位置PCから上方(図6の矢印B方向)を向くようにド
ライバ29にチルトモータ12を駆動させ、次のステッ
プ126において、信号変化があるか否かを判断する。
すなわち、図6に示すように、測距ユニットを体軸位置
PCから上方に向かせると、人物Pの頭部端(頭の頂
部)PDで信号変化が得られるが、ステップ126で
は、この信号変化で測距方向Dが頭部端PD越えたか否
かを判断する。In step 124, the driver 29 drives the tilt motor 12 so that the distance measuring unit faces upward (in the direction of arrow B in FIG. 6) from the body axis position P C , and in the next step 126, there is a signal change. Determine whether or not.
That is, as shown in FIG. 6, when the distance measuring unit is turned upward from the body axis position P C , a signal change is obtained at the head end (top of the head) P D of the person P. Based on this signal change, it is determined whether the distance measuring direction D has exceeded the head end P D.
【0035】ステップ126で否定判断のときは、ステ
ップ128において、体軸位置PCでの測距許容範囲S
内の終端(上端位置)となる体軸チルト方向終端位置S
Cまで駆動させたか否かを判断し、ステップ128での
判断が否定のときは、測距方向Dを更に上方に向かせる
ためにステップ124へ戻る。なお、測距許容範囲Sの
上端位置は、身長がおよそ2.5mを超える人は存在し
ないことやカメラ1の垂直(高さ)方向の設置位置を考
慮して設定することができる。ステップ128での判断
が肯定のときは、人物Pが移動したと考えられるので、
次のステップ130において、圧力スイッチ31がオン
状態か否かを判断する。ステップ130で肯定判断のと
きは、人物Pが認証エリア34内に存在するものの、人
物Pが移動したためにこのままフレーミングルーチンを
続行しても人物Pの顔のフレーミングを正確には得られ
ないものとして、再度ステップ104へ戻り、ステップ
130で否定判断のときは、人物Pが認証エリア34内
に存在しないので、フレーミングルーチンを終了する。When a negative determination is made in step 126, in step 128, the permissible distance measurement range S at the body axis position P C.
End position S in the body axis tilt direction, which is the inner end (upper end position)
It is determined whether or not the drive has been performed up to C, and if the determination in step 128 is negative, the process returns to step 124 to make the distance measuring direction D further upward. The upper limit position of the distance measurement allowable range S can be set in consideration of the fact that there is no person whose height exceeds approximately 2.5 m and the installation position of the camera 1 in the vertical (height) direction. If the determination in step 128 is affirmative, it is considered that the person P has moved, so
In the next step 130, it is determined whether the pressure switch 31 is in the on state. When the determination in step 130 is affirmative, it is assumed that the person P exists in the authentication area 34, but since the person P has moved, the framing of the face of the person P cannot be accurately obtained even if the framing routine is continued as it is. Then, the process returns to step 104 again, and when the negative determination is made in step 130, the person P does not exist in the authentication area 34, so the framing routine is ended.
【0036】一方、ステップ126での判断が肯定のと
きは、測距方向Dが人物Pの頭部端PD越えたので、ス
テップ132において、チルトモータ12のチルト駆動
を停止させると共に、発光素子5を消灯させる。次いで
ステップ134でチルトモータ12を逆転駆動させ、次
のステップ136において、ドライバ29が予め設定さ
れた所定パルス数をチルトモータ12に出力したか否か
を判断する。本実施形態のカメラ1ように人の顔のフレ
ーミングを行う場合に、体軸位置PCの上方の頭部端P
Dが既知のときには、人の顔のサイズは大凡決められて
いるので、頭部端PDから例えば15cm程度の下方の
位置を人物Pの顔の中心PEと考えることができる。ス
テップ136では、測距方向Dが人物Pの顔の中心PE
に向いたか否かを判断するために、チルトモータ12に
この15cm程度に相当する所定パルス数が出力された
か否かを判定する。On the other hand, when the determination in step 126 is positive, since the distance measurement direction D exceeds the head end P D of the person P, in step 132, it stops the tilt operation of the tilt motor 12, the light emitting element Turn off 5 Next, in step 134, the tilt motor 12 is reversely driven, and in the next step 136, it is determined whether or not the driver 29 has output a predetermined pulse number set in advance to the tilt motor 12. When framing a human face like the camera 1 of the present embodiment, the head end P above the body axis position P C
When D is known, the size of a person's face is generally determined, and therefore, a position below, for example, about 15 cm from the head end P D can be considered as the center P E of the face of the person P. In step 136, the distance measuring direction D is the center P E of the face of the person P.
In order to determine whether or not the tilt motor 12 has been output to the tilt motor 12, it is determined whether or not a predetermined pulse number corresponding to about 15 cm is output to the tilt motor 12.
【0037】ステップ136で否定判定のときは、チル
トモータ12の逆転駆動を続行するためにステップ13
4へ戻り、肯定判断のときは、ステップ138におい
て、チルトモータ12の逆転駆動を停止させる。If a negative determination is made in step 136, step 13 is executed to continue the reverse rotation drive of the tilt motor 12.
Returning to step 4, when the determination is affirmative, the reverse rotation drive of the tilt motor 12 is stopped in step 138.
【0038】従って、測距ユニットは、測距許容範囲S
の下端の体軸位置PCから垂直方向に、チルトモータ1
2の正転駆動により、人物Pの頭部端PDを通過して一
旦停止した後、チルトモータ12の逆転駆動により、人
物Pの顔の中心PEを向くこととなる。撮像素子4は、
第3フレーム9上に測距ユニットに挟まれて略水平方向
に直線状に、かつ、同一方向に配置されているので、測
距ユニットが人物Pの顔の中心PEを向くことで、図6
に示すように、人物Pの顔の中心PEを中心とした画角
VAで人物Pの顔をフレーミングしている。Therefore, the distance measuring unit has the distance measuring allowable range S.
From the body axis position P C of the lower end of the
By the forward rotation drive of No. 2, the head P passes through the head P D of the person P and then stops, and then the tilt motor 12 is driven in the reverse direction to face the center P E of the face of the person P. The image sensor 4 is
Since the distance measuring unit is arranged on the third frame 9 so as to be linear and substantially horizontal in the same direction as the distance measuring unit, the distance measuring unit faces the center P E of the face of the person P. 6
As shown in, the face of the person P is framed at an angle of view V A centered on the center P E of the face of the person P.
【0039】次にステップ140では、発光LED14
を点灯させ、次のステップ142でフレーミングの完了
をホスト部へ報知するフレーミング完了信号を出力し
て、フレーミングルーチンを終了する。これにより、ホ
スト部は、撮像素子4からの画像を取り込み、上述した
ように、人物Pの顔の特徴量等のデータを抽出する画像
処理を行い、ホスト部のデータベースに蓄積された人物
Pの特徴量と一致する場合にドア33を開錠する。Next, in step 140, the light emitting LED 14
Is turned on, and in the next step 142, a framing completion signal for notifying the host unit of the completion of framing is output, and the framing routine is ended. As a result, the host unit captures the image from the image sensor 4, performs the image processing for extracting the data such as the facial feature amount of the person P, as described above, and stores the image of the person P stored in the database of the host unit. The door 33 is unlocked when it coincides with the characteristic amount.
【0040】(作用等)次に、本実施形態のカメラ1の
作用等について説明する。(Operation etc.) Next, the operation etc. of the camera 1 of this embodiment will be explained.
【0041】本実施形態のカメラ1では、パンモータ1
3によりチルト方向下端でパン動作が行われ(ステップ
104〜116)、一方向の測距が可能な測距ユニット
(発光素子5、受光素子6)による信号変化から人物P
の体軸位置PCが探し出される(ステップ118、12
0)。次いで、チルトモータ12により体軸位置P
C(チルト方向の下端)から上方に向けてチルト動作が
行われ測距ユニットによる信号変化から人物Pの頭部端
PDが探し出される(ステップ124〜132)。そし
て、チルトモータ12により、探し出された人物Pの顔
の中心PEに撮影レンズ3の撮影方向Dが向けられて人
物Pの顔の中心PEが画角VAにフレーミングされて
(ステップ134〜138)、撮像素子4で人物Pの顔
が撮影される。従って、本実施形態のカメラ1は、
(1)初期位置SOからパン方向終端位置S Eまでの正
転パン動作、(2)パン方向終端位置SEから体軸位置
PBまでの逆転パン動作、(3)体軸位置PBから頭部
端PDまでの正転チルト動作、及び、(4)頭部端PD
から人物Pの顔の中心PEまでの逆転チルト動作、の4
動作で人物Pの顔をフレーミングすることができるの
で、迅速に人物Pの顔の画像を得ることができる。従っ
て、本実施形態のカメラ1によれば、静止状態の人物P
の顔の画像を迅速に得ることができるので、ホスト部で
は、従来技術のように人物Pの顔の部分を背景等から切
り出すトリミング処理が不要なため画像処理の時間を短
縮することができると共に、トリミング処理に伴って発
生する撮像素子4の高解像度化が不要なため画素数が少
ない低コストのカメラを使用することができる。換言す
れば、本実施形態のカメラ1を使用することにより、画
像を取り込んだ後人物Pの顔を中心とするトリミング処
理が必要なく画像を取り込む時点でトリミング処理後の
画像を得ることができるので、ホスト部での処理時間の
短縮化やカメラの低コスト化を図ることができる。In the camera 1 of this embodiment, the pan motor 1
3 performs pan operation at the lower end of the tilt direction (step
104-116), ranging unit capable of unidirectional ranging
From the signal change by the (light emitting element 5 and the light receiving element 6), the person P
Body axis position PCIs found (steps 118, 12)
0). Next, the tilt motor 12 is used to move the body axis position P.
CFrom the (lower end in the tilt direction), the tilt operation is upward
From the signal change made by the distance measuring unit, the head end of the person P
PDAre searched for (steps 124 to 132). That
The face of the person P found by the tilt motor 12
Center PEWhen the shooting direction D of the shooting lens 3 is directed to the person
Center P of face of object PEIs the angle of view VAFramed by
(Steps 134 to 138), the face of the person P using the image sensor 4
Will be taken. Therefore, the camera 1 of the present embodiment is
(1) Initial position SOTo end position S in pan direction EUp to positive
Panning operation, (2) Pan direction end position SETo axial position
PBReverse pan up to (3) Body axis position PBFrom head
Edge PDForward tilt motion up to (4) Head end PD
To the center P of the face of person PEReverse tilt operation up to 4 of
You can frame the face of person P by the action
Thus, the image of the face of the person P can be quickly obtained. Obey
Therefore, according to the camera 1 of the present embodiment, the person P in the stationary state is
Since you can quickly get the image of the face of
Cuts the face portion of the person P from the background or the like as in the prior art.
Shortened image processing time because no trimming process is required
It is possible to reduce the size of the
The number of pixels is small because it is not necessary to increase the resolution of the image sensor 4
Not a low cost camera can be used. In other words
Then, by using the camera 1 of the present embodiment,
After capturing the image, the trimming process centering on the face of the person P
After the trimming process at the time of capturing the image without the need for reason
Since the image can be obtained, the processing time of the host unit
Shortening and cost reduction of the camera can be achieved.
【0042】また、本実施形態では、初期位置SOから
パン方向終端位置SEまでの正転パン動作を行うとき
に、測距ユニットの測距可能距離を床面までの距離より
短く設定した(約5m以内)ので、測距ユニットが床面
を誤って被写体と誤認することなく、人物Pの顔にフレ
ーミングすることができる。Further, in the present embodiment, when the forward pan operation from the initial position S O to the pan direction end position S E is performed, the distance measurement unit of the distance measurement unit is set shorter than the distance to the floor surface. Since it is within about 5 m, the distance measuring unit can framing the face of the person P without erroneously recognizing the floor surface as a subject.
【0043】また、殆どの場合に撮影対象となる被写体
(人物P)は、カメラ1に最も近い位置に存在するの
で、本実施形態では、人物P、P’を含む複数の被写体
が存在する場合でも、カメラ1に最も近い被写体である
人物Pの顔を撮像素子4で撮影することで、被写体の特
定を簡素化した。従って、本実施形態では、マイコン2
1をソフトウエア(プログラム)で作動させる例を示し
たが、マイコン21やソフトウエアによらずコンパレー
タ(比較器)等を含んたハードウエアで制御回路を構成
することも可能なため、より低コスト化、ダウンサイジ
ング化を図ることができる。In most cases, the subject (person P) to be photographed exists at the position closest to the camera 1. Therefore, in this embodiment, when there are a plurality of subjects including persons P and P '. However, by identifying the face of the person P, which is the subject closest to the camera 1, with the image sensor 4, the identification of the subject is simplified. Therefore, in this embodiment, the microcomputer 2
Although the example in which 1 is operated by software (program) is shown, the control circuit can be configured by hardware including a comparator (comparator) or the like regardless of the microcomputer 21 or software, so that the cost is lower. And downsizing can be achieved.
【0044】更に、本実施形態のカメラ1では、アクテ
ィブ方式の三角測距を採用している。このため、発光素
子5を赤外域で発光させることで、暗いところでも人物
P等の被写体を探し出すことができる。また、本実施形
態のカメラ1は、一旦人物Pの顔の中心を探し出した
後、赤外LED14を発光させて(ステップ140)、
撮像素子4で人物Pの顔を撮影するので、被写体の人物
Pを驚かせたり、人物Pの視力を損傷することもない。
また更に、本実施形態のカメラ1では、撮影レンズ3に
IRカットフィルタを欠く構成としたので、撮像素子4
は赤外域でも撮影が可能である。すなわち、一般に本実
施形態のような認証用のカメラ1は廊下や玄関等の比較
的暗いところに配置されるので、赤外域のアクティブ方
式を採用し、赤外LED14で被写体に投光し、更に、
IRカットフィルタを取り外した撮影レンズ3を用いる
ことで、暗い場所でも撮影可能な認証用カメラ本来の機
能を発揮させることができる。Further, the camera 1 of the present embodiment employs active type triangulation. Therefore, by causing the light emitting element 5 to emit light in the infrared region, a subject such as the person P can be searched for even in a dark place. In addition, the camera 1 of the present embodiment once searches for the center of the face of the person P, and then causes the infrared LED 14 to emit light (step 140),
Since the image of the face of the person P is taken by the image sensor 4, the person P as a subject is not surprised or the eyesight of the person P is not damaged.
Furthermore, in the camera 1 according to the present embodiment, since the taking lens 3 does not include the IR cut filter, the image sensor 4
Can be photographed in the infrared region. That is, since the authentication camera 1 as in the present embodiment is generally arranged in a relatively dark place such as a corridor or a hallway, an infrared active system is adopted, and the infrared LED 14 projects light onto a subject. ,
By using the taking lens 3 from which the IR cut filter is removed, the original function of the authentication camera capable of taking a picture even in a dark place can be exhibited.
【0045】更にまた、本実施形態のカメラ1では、光
スポット径を3mm程度とした発光素子5を用いた。光
スポット径が大き過ぎると、受光素子6からの出力での
判別が難しく人物Pの輪郭等がぼけてしまう場合があ
る。本実施形態のカメラ1では、発光素子5の光スポッ
トをぼけが生じない小径としたので、信号変化を精度よ
く把握することができ、誤差なく人物Pの顔をフレーミ
ングして撮影することができる。Furthermore, in the camera 1 of this embodiment, the light emitting element 5 having a light spot diameter of about 3 mm is used. If the light spot diameter is too large, the output from the light receiving element 6 may be difficult to determine, and the contour of the person P or the like may be blurred. In the camera 1 of the present embodiment, since the light spot of the light emitting element 5 has a small diameter that does not cause blurring, it is possible to accurately grasp the signal change and to frame the face of the person P without error. .
【0046】なお、本実施形態では、人物の顔をフレー
ミングして撮影する例を示したが、本発明はこれに限定
されることなく、物の特定の部位をフレーミングして撮
影するカメラにも適用できることは論を待たない。この
ような場合には、撮影対象となる物の形状に応じて一側
や他側及び頭部端に相当する個所を定めるようにすれば
よい。In the present embodiment, an example in which a person's face is framed and photographed has been shown, but the present invention is not limited to this, and a camera for framing and photographing a specific part of an object can be used. It can be applied without question. In such a case, the positions corresponding to one side, the other side, and the head end may be determined according to the shape of the object to be imaged.
【0047】また、本実施形態では、連続投光型の発光
LED14を例示したが、フラッシュ型の発光LEDを
用いるようにしてもよい。このようにすれば、真っ暗な
場所にカメラ1が配置されても鮮明な人物Pの顔の画像
を得ることができる。Further, in this embodiment, the continuous light emitting type LED 14 is exemplified, but a flash type light emitting LED may be used. In this way, a clear image of the face of the person P can be obtained even if the camera 1 is placed in a pitch dark place.
【0048】更に、本実施形態では、撮影レンズ3から
IRカットフィルタを除き暗い場所での適用例を示した
が、カメラ1が常時明るい場所に配置されるときには、
撮影レンズ3にIRカットフィルタを挿入することで、
撮像素子4に入る光線のうち不要となる赤外域の光線を
排除して人の目に馴染みのある画像を得るようにしても
よい。Further, in the present embodiment, the application example in the dark place excluding the IR cut filter from the taking lens 3 is shown, but when the camera 1 is always arranged in the bright place,
By inserting an IR cut filter into the taking lens 3,
An unnecessary infrared ray may be excluded from the rays entering the image pickup device 4 to obtain an image that is familiar to the human eye.
【0049】また、本実施形態では、カメラ1側に制御
回路20を設けた例を示したが、このような制御回路2
0は、カメラ1の外部や上述した図示しないホスト部側
でもソフトウエアにより同様の機能を果たさせることが
できる。このような態様では、ホスト部側とカメラ側を
接続する制御用のインターフェースを確保したり、BLUE
TOOTHに代表される無線リンクを確保するようにすれば
よい。Further, in the present embodiment, an example in which the control circuit 20 is provided on the camera 1 side is shown, but such a control circuit 2 is provided.
0 can perform the same function by software on the outside of the camera 1 or on the host unit side (not shown) described above. In such a mode, a control interface for connecting the host unit side and the camera side is secured, or the BLUE
A wireless link represented by TOOTH should be secured.
【0050】そして、本実施形態では、人物Pの顔にカ
メラ1の画角VAを向けるために、体軸位置PCから図
6の矢印B方向に(上方に)チルトモータ12をチルト
駆動させる例を示したが、測距許容範囲Sの体軸位置P
Cの上端となる体軸チルト方向終端位置SCから矢印B
方向とは反対側に(下方に)チルトモータ12をチルト
駆動させて頭部端PDの信号変化を捉えるようにしても
よい。In the present embodiment, in order to direct the angle of view VA of the camera 1 to the face of the person P, the tilt motor 12 is tilt-driven from the body axis position P C in the direction of arrow B in FIG. 6 (upward). Although the example is shown, the body axis position P within the allowable range S
From the body axis tilt direction end position S C , which is the upper end of C, to the arrow B
The tilt motor 12 may be tilt-driven to the side opposite to the direction (downward) to capture the signal change at the head end P D.
【0051】(第2実施形態)次に、本発明を、人物の
顔を自動的にフレーミングする自動フレーミングカメラ
に適用した第2の実施形態について説明する。なお、本
実施形態において、第1実施形態と同一の部材及び同一
のステップには同一の符号を付してその説明を省略し、
異なる個所のみ説明する。(Second Embodiment) Next, a second embodiment in which the present invention is applied to an automatic framing camera for automatically framing a human face will be described. In the present embodiment, the same members and steps as those of the first embodiment are designated by the same reference numerals, and the description thereof will be omitted.
Only different parts will be explained.
【0052】図7に示すように、本実施形態では、発光
素子5、撮影レンズ3及び受光素子6は、略水平方向に
直線状に配設されているが、撮影レンズ3の撮影方向C
Dは、測距ユニットの測距方向Dから所定角度θだけ下
げて設定されている。この角度θは、撮像素子4のCC
D面から人物Pまでの距離をL1とし、人物Pの顔の中
心PEから人物Pの頭部端PDまでの距離をL2(例え
ば、15cm)としたときに、tanθ=L2/L1で
与えられる。なお、図1に示すように、認証エリア34
(特に、カメラ1に向かう方向の辺)を小さくすること
で、この角度θの精度は高まり、人物Pの顔のフレーミ
ング精度を高めることができる。As shown in FIG. 7, in the present embodiment, the light emitting element 5, the taking lens 3 and the light receiving element 6 are linearly arranged in a substantially horizontal direction.
D is set so as to be lowered by a predetermined angle θ from the distance measuring direction D of the distance measuring unit. This angle θ is CC of the image sensor 4.
When the distance from the D surface to the person P is L1 and the distance from the face center P E of the person P to the head end P D of the person P is L2 (for example, 15 cm), tan θ = L2 / L1 Given. As shown in FIG. 1, the authentication area 34
By reducing (particularly, the side in the direction toward the camera 1), the accuracy of this angle θ is increased, and the framing accuracy of the face of the person P can be increased.
【0053】図8に示すように、本実施形態のカメラ1
のフレーミングルーチンでは、図5に示したステップ1
32〜ステップ136を欠いている。すなわち、本実施
形態では、図7及び図9に示すように、撮影レンズ3の
撮影方向CDが測距ユニットの測距方向Dから、人物P
の顔の中心PEから人物Pの頭部端PDまでの距離L2
に相当する角度θだけ下げて設定されているので、人物
Pの頭部端PDで信号変化が得られたときに、チルトモ
ータ12の駆動を停止すれば、その位置(方向)で撮像
素子4は人物Pの顔の中心PEを画角VAの中心に捉え
ることができる。As shown in FIG. 8, the camera 1 according to the present embodiment.
In the framing routine of step 1 shown in FIG.
32 to step 136 is missing. That is, in this embodiment, as shown in FIGS. 7 and 9, the range finding directions D of the photographing direction C D is the distance measuring unit of the taking lens 3, the person P
L2 from the center P E of the face of the person to the head end P D of the person P
Since the corresponding lowered by an angle θ is set to, when the signal change is obtained by the head end P D of the person P, when stopping the driving of the tilt motor 12, the imaging element at that position (direction) In FIG. 4, the center P E of the face of the person P can be captured as the center of the angle of view V A.
【0054】本実施形態のカメラによれば、人物Pの顔
を捉えるために、ステップ132〜ステップ136の工
程が不要となるので、すなわち、第1実施形態に則して
説明すれば、上述した(4)頭部端PDから人物Pの顔
の中心PEまでの逆転チルト動作がないので、第1実施
形態のカメラ1より更に迅速に人物の顔をフレーミング
することができる。According to the camera of the present embodiment, the steps 132 to 136 are not required to capture the face of the person P, that is, the description will be given in accordance with the first embodiment. (4) Since there is no reverse tilt operation from the head end P D to the center P E of the face of the person P, the face of the person can be framed more quickly than the camera 1 of the first embodiment.
【0055】[0055]
【発明の効果】以上説明したように、本発明の第1の態
様によれば、測距手段による距離情報の変化から人物の
体軸に次いで人物の頭の頂部が探し出され、頭の頂部か
ら所定角度分撮影方向を下げることで、人物の顔の略中
央がフレーミングされるので、迅速に人物の顔をフレー
ミングすることができ、本発明の第2の態様によれば、
撮影手段の撮影方向は測距手段の測距方向に対して所定
角度分下げて設定されているので、第1の態様のよう
に、方向変更手段により探し出した頭の頂部から所定角
度分撮影方向を下げて人物の顔の略中央部を撮影手段に
フレーミングする必要がなく、第1の態様に比べより迅
速に人物の顔をフレーミングすることができる、という
効果を得ることができる。As described above, according to the first aspect of the present invention, the top of the head of the person is searched for next to the body axis of the person from the change of the distance information by the distance measuring means, and the top of the head is searched. By lowering the shooting direction by a predetermined angle from, the substantially center of the face of the person is framed, so that the face of the person can be quickly framed. According to the second aspect of the present invention,
Since the photographing direction of the photographing means is set lower than the distance measuring direction of the distance measuring means by a predetermined angle, the photographing direction is a predetermined angle from the top of the head found by the direction changing means as in the first aspect. It is not necessary to lower the frame to frame the substantially central portion of the person's face on the photographing means, and it is possible to obtain the effect that the person's face can be framed more quickly than in the first mode.
【図1】本発明が適用可能な第1実施形態の自動フレー
ミングカメラの配置位置を模式的に示す外観斜視図であ
る。FIG. 1 is an external perspective view schematically showing an arrangement position of an automatic framing camera of a first embodiment to which the present invention can be applied.
【図2】第1実施形態の自動フレーミングカメラの外観
斜視図である。FIG. 2 is an external perspective view of the automatic framing camera of the first embodiment.
【図3】第1実施形態の自動フレーミングカメラのカメ
ラ部本体の概略構成を示す外観斜視図である。FIG. 3 is an external perspective view showing a schematic configuration of a camera body of the automatic framing camera of the first embodiment.
【図4】第1実施形態の自動フレーミングカメラの制御
回路の概略構成を示すブロック図である。FIG. 4 is a block diagram showing a schematic configuration of a control circuit of the automatic framing camera of the first embodiment.
【図5】第1実施形態の自動フレーミングカメラの制御
回路のマイコンが実行するフレーミングルーチンのフロ
ーチャートである。FIG. 5 is a flowchart of a framing routine executed by a microcomputer of a control circuit of the automatic framing camera of the first embodiment.
【図6】第1実施形態の自動フレーミングカメラの測距
方向及び測距許容範囲を模式的に示す説明図である。FIG. 6 is an explanatory diagram schematically showing a distance measuring direction and a distance measuring allowable range of the automatic framing camera of the first embodiment.
【図7】本発明が適用可能な第2実施形態の自動フレー
ミングカメラの撮影レンズと測距ユニットとの角度関係
を模式的に示す説明図である。FIG. 7 is an explanatory diagram schematically showing the angular relationship between the taking lens and the distance measuring unit of the automatic framing camera of the second embodiment to which the present invention is applicable.
【図8】第2実施形態の自動フレーミングカメラの制御
回路のマイコンが実行するフレーミングルーチンのフロ
ーチャートである。FIG. 8 is a flowchart of a framing routine executed by a microcomputer of a control circuit of the automatic framing camera of the second embodiment.
【図9】第2実施形態の自動フレーミングカメラの測距
方向、撮影方向及び測距許容範囲を模式的に示す説明図
である。FIG. 9 is an explanatory diagram schematically showing a distance measuring direction, a photographing direction, and a distance measuring allowable range of the automatic framing camera of the second embodiment.
1 自動フレーミングカメラ
3 撮影レンズ(撮影手段の一部)
4 撮像素子(撮影手段の一部)
5 発光素子(測距手段の一部)
6 受光素子(測距手段の一部)
12 チルトモータ(方向変更手段の一部)
13 パンモータ(方向変更手段の一部)
20 制御回路(測距手段の一部、方向変更手段の一
部)
22 測距デバイス(測距手段の一部)DESCRIPTION OF SYMBOLS 1 Automatic framing camera 3 Photographing lens (part of photographing means) 4 Imaging element (part of photographing means) 5 Light emitting element (part of distance measuring means) 6 Light receiving element (part of distance measuring means) 12 Tilt motor ( Part of direction changing means) 13 Pan motor (part of direction changing means) 20 Control circuit (part of distance measuring means, part of direction changing means) 22 Distance measuring device (part of distance measuring means)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G03B 15/00 H04N 5/225 C G02B 7/11 Z H04N 5/225 G03B 3/00 A ─────────────────────────────────────────────────── ─── Continued Front Page (51) Int.Cl. 7 Identification Code FI Theme Coat (Reference) G03B 15/00 H04N 5/225 C G02B 7/11 Z H04N 5/225 G03B 3/00 A
Claims (4)
方向の距離を測距する測距手段と、前記撮影手段の撮影
方向と前記測距手段の測距方向とを一体として変更する
変更手段とを備え、人物の顔をフレーミングして撮影す
る自動フレーミングカメラにおいて、前記方向変更手段
によりチルト方向下端でパン動作を行い前記測距手段に
よる距離情報の変化から前記人物の体軸を探し出し、前
記方向変更手段により前記体軸のチルト方向の下端又は
上端からチルト動作を行い前記測距手段による距離情報
の変化から前記人物の頭の頂部を探し出し、前記方向変
更手段により前記探し出した頭の頂部から予め設定され
た角度分前記撮影方向を下げることで、前記人物の顔の
略中央が前記撮影手段にフレーミングされることを特徴
とする自動フレーミングカメラ。1. A change for integrally changing a photographing means for photographing a subject, a distance measuring means for measuring a distance in one direction, and a photographing direction of the photographing means and a distance measuring direction of the distance measuring means. In the automatic framing camera including means for framing and photographing a person's face, a panning operation is performed at the lower end of the tilt direction by the direction changing means, and the body axis of the person is searched for from the change in the distance information by the distance measuring means, The direction changing means performs a tilting operation from the lower end or the upper end in the tilt direction of the body axis to find the top of the person's head from the change in the distance information by the distance measuring means, and the direction changing means to find the top of the head. The automatic framing device is characterized in that the approximate center of the face of the person is framed by the photographing means by lowering the photographing direction by a preset angle from Camera.
方向の距離を測距する測距手段と、前記撮影手段の撮影
方向と前記測距手段の測距方向とを一体として変更する
変更手段とを備え、人物の顔をフレーミングして撮影す
る自動フレーミングカメラにおいて、前記方向変更手段
によりチルト方向下端でパン動作を行い前記測距手段に
よる距離情報の変化から前記人物の体軸を探し出し、前
記方向変更手段により前記体軸のチルト方向の下端又は
上端からチルト動作を行い前記測距手段による距離情報
の変化から前記人物の頭の頂部を探し出し、前記撮影手
段の撮影方向が前記測距手段の測距方向に対して所定角
度分下げて設定されていることで、前記人物の頭の頂部
を探し出したときに前記人物の顔の略中央が前記撮影手
段にフレーミングされることを特徴とする自動フレーミ
ングカメラ。2. A change for integrally changing a photographing means for photographing a subject, a distance measuring means for measuring a distance in one direction, and a photographing direction of the photographing means and a distance measuring direction of the distance measuring means. In the automatic framing camera that includes means for framing and photographing a person's face, a panning operation is performed at the lower end of the tilt direction by the direction changing means, and the body axis of the person is searched for from the change in the distance information by the distance measuring means. The tilting operation is performed from the lower end or the upper end in the tilt direction of the body axis by the direction changing means, the top of the head of the person is searched from the change in the distance information by the distance measuring means, and the photographing direction of the photographing means is the distance measuring means. Is set to be lower by a predetermined angle with respect to the distance measuring direction, the approximate center of the person's face is framed by the photographing means when the top of the person's head is searched. An automatic framing camera that is characterized by
予め定められており、前記方向変更手段がチルト方向下
端でパン駆動を行うときに、前記測距手段の測距可能距
離が床面までの距離より短いことを特徴とする請求項1
又は請求項2に記載の自動フレーミングカメラ。3. The direction changeable range of the direction changing means is set in advance, and when the direction changing means performs a pan drive at the lower end of the tilt direction, the distance-measurable distance of the distance measuring means reaches the floor surface. The distance is less than the distance of.
Alternatively, the automatic framing camera according to claim 2.
物との距離をL1、前記人物の顔の略中央から前記人物
の頭の頂部までの距離をL2としたときに、tan−1
(L2/L1)で与えられることを特徴とする請求項2
に記載の自動フレーミングカメラ。4. The predetermined angle is tan −1 when the distance between the photographing means and the person is L1 and the distance from the approximate center of the person's face to the top of the person's head is L2.
3. It is given by (L2 / L1).
Automatic framing camera described in.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002056746A JP3691802B2 (en) | 2002-03-04 | 2002-03-04 | Automatic framing camera |
US10/230,326 US6606458B2 (en) | 2001-09-05 | 2002-08-29 | Automatic framing camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002056746A JP3691802B2 (en) | 2002-03-04 | 2002-03-04 | Automatic framing camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003259190A true JP2003259190A (en) | 2003-09-12 |
JP3691802B2 JP3691802B2 (en) | 2005-09-07 |
Family
ID=28667177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002056746A Expired - Fee Related JP3691802B2 (en) | 2001-09-05 | 2002-03-04 | Automatic framing camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3691802B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100587430B1 (en) | 2004-09-23 | 2006-06-09 | 전자부품연구원 | System and method for photographing after correcting face pose |
JP2007157115A (en) * | 2005-11-14 | 2007-06-21 | Omron Corp | Authentication apparatus and portable terminal |
US10375296B2 (en) | 2015-11-27 | 2019-08-06 | Xiaomi Inc. | Methods apparatuses, and storage mediums for adjusting camera shooting angle |
-
2002
- 2002-03-04 JP JP2002056746A patent/JP3691802B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100587430B1 (en) | 2004-09-23 | 2006-06-09 | 전자부품연구원 | System and method for photographing after correcting face pose |
JP2007157115A (en) * | 2005-11-14 | 2007-06-21 | Omron Corp | Authentication apparatus and portable terminal |
US8423785B2 (en) | 2005-11-14 | 2013-04-16 | Omron Corporation | Authentication apparatus and portable terminal |
US10375296B2 (en) | 2015-11-27 | 2019-08-06 | Xiaomi Inc. | Methods apparatuses, and storage mediums for adjusting camera shooting angle |
Also Published As
Publication number | Publication date |
---|---|
JP3691802B2 (en) | 2005-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6606458B2 (en) | Automatic framing camera | |
US7768572B2 (en) | Iris recognition camera for an iris recognition system and a method of operation for an iris recognition camera | |
US8908057B2 (en) | Composition determination device, imaging system, composition determination method, and program | |
US8681266B2 (en) | Image pickup apparatus, flash apparatus usable with image pickup apparatus, and control method of image pickup apparatus | |
KR100930160B1 (en) | An image processing apparatus and an image processing method, and a recording medium | |
KR20080027443A (en) | Imaging apparatus, control method of imaging apparatus, and computer program | |
US9876961B2 (en) | Lighting apparatus including first housing and second housing that can rotate with respect to the first housing and control method | |
TWI653581B (en) | Image tracking system and image tracking method | |
JP2009163179A (en) | Photographing device and method of controlling the same | |
US20090052881A1 (en) | Method for controlling direction controllable flash unit and imaging system using same | |
JP2003259190A (en) | Automatic framing camera | |
JP2003255219A (en) | Automatic framing camera | |
JP2007328213A (en) | Imaging apparatus, imaging apparatus control method, and computer program | |
JP3600827B2 (en) | Swing camera | |
JP4344622B2 (en) | Digital camera | |
JP2003255441A (en) | Automatic framing camera | |
JP3693604B2 (en) | Camera, camera system, control method, program, and recording medium | |
JP2002344796A (en) | System and method for remote image centering | |
JP2019133275A (en) | Face authentication device and face authentication method | |
JP3835691B2 (en) | Automatic framing camera | |
JP4681899B2 (en) | Imaging apparatus and imaging method | |
KR20110054314A (en) | Method and apparatus for improving the user recognition in digital imaging processor | |
JP4765860B2 (en) | Surveillance camera and imaging device | |
US20230308745A1 (en) | Control apparatus, image pickup apparatus, control method, and storage medium | |
JP2002107614A (en) | Electronic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050616 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |