JP5469446B2 - Object detection device - Google Patents
Object detection device Download PDFInfo
- Publication number
- JP5469446B2 JP5469446B2 JP2009291323A JP2009291323A JP5469446B2 JP 5469446 B2 JP5469446 B2 JP 5469446B2 JP 2009291323 A JP2009291323 A JP 2009291323A JP 2009291323 A JP2009291323 A JP 2009291323A JP 5469446 B2 JP5469446 B2 JP 5469446B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- light receiving
- optical system
- image sensor
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
本発明は、強度が時間経過に伴って変化する変調光を対象空間に投光し、変調光を投光してから対象空間に存在する物体での反射光が受光されるまでの時間差を計測することにより検知対象までの距離を求めることにより、対象空間について画素値が距離である距離画像を生成し、この距離画像を用いて対象空間に規定した監視領域における物体の検知を行う物体検知装置に関するものである。 The present invention projects modulated light whose intensity changes over time into the target space, and measures the time difference from when the modulated light is projected until the reflected light from the object existing in the target space is received An object detection device that generates a distance image whose pixel value is a distance in the target space by obtaining a distance to the detection target and detects an object in a monitoring area defined in the target space using the distance image It is about.
物体検知装置としては、3次元の空間領域にレーザビーム光やレーザスリット光を走査するとともに、投受光の時間差に基づいて物体までの距離を計測することにより、走査角度毎の物体までの距離を求める技術が提案されている(たとえば、特許文献1)。特許文献1には、監視すべき空間領域における物体(人を含む)の位置や動きを検知するために物体を監視する領域を3次元(ボクセル)で設定し、設定した領域に物体が侵入すると、その領域に固有な制御出力や表示出力を外部に出力することが記載されている。 As an object detection device, a laser beam light or a laser slit light is scanned in a three-dimensional space region, and the distance to the object is measured for each scanning angle by measuring the distance to the object based on the time difference between light projection and reception. The technique to request | require is proposed (for example, patent document 1). In Patent Document 1, a region for monitoring an object is detected in three dimensions (voxels) in order to detect the position and movement of an object (including a person) in a spatial region to be monitored, and the object enters the set region. In addition, it is described that the control output and display output specific to the area are output to the outside.
また、物体からの反射光を受光する受光素子としてCCDイメージセンサのような撮像素子を用い、強度が時間経過に伴って変化する変調光を撮像素子の視野全体に投光する構成も提案されている。撮像素子の各受光領域で変調光を受光したタイミングから物体までの距離を受光領域ごとに求めることにより、画素値が距離である距離画像を生成し、距離画像を用いて物体を検知する。 In addition, a configuration has been proposed in which an image sensor such as a CCD image sensor is used as a light receiving element for receiving reflected light from an object, and modulated light whose intensity changes over time is projected onto the entire field of view of the image sensor. Yes. By obtaining the distance from the timing at which modulated light is received in each light receiving area of the image sensor to the object for each light receiving area, a distance image having a pixel value as a distance is generated, and the object is detected using the distance image.
ところで、物体までの距離を測定する対象空間を広範囲にするために、投光する光を走査する構成を採用すると、モータのような可動部が必要になり、振動に伴う不規則な測定誤差が生じたり、耐久性や信頼性が低下したりするという問題が生じる。 By the way, adopting a configuration that scans the light to be projected in order to widen the target space for measuring the distance to the object requires a movable part such as a motor, and irregular measurement errors caused by vibrations occur. There arises a problem that it occurs or durability and reliability are lowered.
一方、可動部を設けずに対象空間を広げるために、撮像素子を用いて対象空間に存在する物体までの距離を一括して測定する構成を用いることが考えられるが、光を投光する範囲が広くなるから、受光強度を確保するには投光する光のエネルギを大きくする必要があり、消費電力が大きくなるという問題が生じる。 On the other hand, in order to expand the target space without providing a movable part, it may be possible to use a configuration in which the distance to an object existing in the target space is measured using an image sensor, but the range in which light is projected Therefore, in order to secure the received light intensity, it is necessary to increase the energy of the light to be projected, resulting in a problem of increased power consumption.
本発明は上記事由に鑑みて為されたものであり、その目的は、可動部を持たず耐久性や信頼性が高い上に、所要の監視領域に対して投光するのに要する消費電力の増加を抑制可能な物体検知装置を提供することにある。 The present invention has been made in view of the above-mentioned reasons, and its purpose is not to have a movable part, and has high durability and reliability, and further, power consumption required for projecting to a required monitoring area. An object of the present invention is to provide an object detection device capable of suppressing an increase.
本発明は、上記目的を達成するために、強度が時間経過に伴って変化する変調光を出力する発光源および発光源から出力された変調光を対象空間の所望の領域に投光させる投光光学系からなる投光手段と、二次元配列された複数個の受光領域を有し各受光領域ごとに受光した光の受光強度に応じた出力が得られる撮像素子および視野を規定し視野内からの光を撮像素子に入射させる受光光学系からなる受光手段と、発光源が変調光を出力してから対象空間に存在する物体による変調光の反射光を撮像素子が受光するまでの時間差から各受光領域ごとに物体までの距離を求めるとともに求めた距離を画素値とする距離画像を生成する演算処理部と、演算処理部が生成した距離画像から対象空間における物体を検知する物体検知部とを備え、投光手段は、受光光学系により規定された受光手段の視野内にスリット光とスポット光とをそれぞれ投光するスリット光形成部とスポット光形成部とを備え、スリット光とスポット光とにより設定した監視領域にそれぞれ変調光を投光する構成を採用している。 In order to achieve the above object, the present invention provides a light emitting source that outputs modulated light whose intensity changes over time, and a light projecting method that projects the modulated light output from the light emitting source to a desired region of the target space. A light projecting means comprising an optical system, a plurality of light receiving regions arranged in a two-dimensional array, an image sensor that can output in accordance with the light receiving intensity of the light received for each light receiving region, and a field of view are defined and within the field of view. Each of the light receiving means including a light receiving optical system that makes the light of the light incident on the image sensor, and the time difference from when the light emitting source outputs the modulated light until the image sensor receives the reflected light of the modulated light from the object existing in the target space. An arithmetic processing unit that obtains a distance to an object for each light receiving region and generates a distance image using the obtained distance as a pixel value; and an object detection unit that detects an object in the target space from the distance image generated by the arithmetic processing unit. Prepared and flooded Stage, and a slit light forming unit and the spot light forming unit respectively for projecting light and a slit beam and the spot light in the field of view of the defined light receiving means by the light receiving optical system, and set by the slit light and the spot light It employs a configuration in which each projecting modulated light to monitoring region.
また、受光光学系には、各監視領域の像が撮像素子の受光面のサイズに合わせて投影されるように当該像のアスペクト比を調節するアナモフィック光学系を採用することができる。 In addition, an anamorphic optical system that adjusts the aspect ratio of the image so that the image of each monitoring region is projected in accordance with the size of the light receiving surface of the image sensor can be adopted as the light receiving optical system.
受光光学系は、各監視領域の像を前記撮像素子の受光面の異なる部位にそれぞれ投影する複数個の光学要素からなる構成を採用することができ、また、受光手段の視野において低解像力の領域と高解像力の領域とを形成するように解像力の異なる複数個の光学要素を組み合わせて形成された構成を採用することができ、あるいはまた、受光手段の視野において狭角の領域と広角の領域とを形成するように視野角の異なる複数個の光学要素を組み合わせて形成された構成を採用することができる。 The light receiving optical system can employ a configuration composed of a plurality of optical elements that project images of the respective monitoring areas onto different parts of the light receiving surface of the image sensor, and a low resolution area in the field of the light receiving means. In combination with a plurality of optical elements having different resolving power so as to form a high-resolution area, or a narrow-angle area and a wide-angle area in the field of view of the light receiving means. It is possible to employ a configuration formed by combining a plurality of optical elements having different viewing angles so as to form the above.
さらに、投光手段について、各監視領域に対応付けた複数個の発光源を設け、発光源ごとに変調光を出力するタイミングを制御するタイミング制御部を付加してもよい。 Further, a plurality of light emitting sources associated with each monitoring area may be provided for the light projecting means, and a timing control unit for controlling the timing of outputting the modulated light for each light emitting source may be added.
本発明の構成によれば、発光源と投光光学系とからなる投光手段が、受光光学系により規定された受光手段の視野内にスリット光とスポット光とをそれぞれ投光するスリット光形成部とスポット光形成部とを備え、スリット光とスポット光とにより設定した監視領域にそれぞれ変調光を投光するから、所要の監視領域にのみ投光すればよく、所要の監視領域については距離画像を生成しながらも、消費電力の増加を抑制することができる。また、投光手段は発光源と投光光学系とにより構成され、可動部を設ける必要がないから耐久性や信頼性が高くなる。しかも、投光手段は監視領域ごとに投光する必要があるから、発光源と投光光学系との少なくとも一方を複数設けることになるが、すべての監視領域を視野に含むように受光手段を構成しておくことにより、受光手段はすべての監視領域で兼用されるから、構成が簡単であり、コスト増を抑制することができる。 According to the configuration of the present invention, the light projecting unit composed of the light source and the light projecting optical system projects slit light and spot light within the field of view of the light receiving unit defined by the light receiving optical system. and a parts and spot light forming unit, since each of the monitoring area set by the slit light and the spot light for projecting modulated light, may be projected light only the required monitoring area, the required monitoring area Can suppress an increase in power consumption while generating a distance image. Further, the light projecting means is composed of a light emitting source and a light projecting optical system, and since there is no need to provide a movable part, durability and reliability are improved. In addition, since it is necessary for the light projecting means to project light for each monitoring area, at least one of the light source and the light projecting optical system is provided. By configuring, the light receiving means is shared by all the monitoring areas, so that the configuration is simple and the increase in cost can be suppressed.
また、スリット光により形成されるカーテン状の監視領域で区切られた2つの領域の一方から他方への物体の移動を監視することが可能になるとともに、スポット光により形成された監視領域に存在する物体を検出することができる。つまり、2種類の監視領域を組み合わせることによって、区切られた2領域間での物体の移動と、特定領域における物体の存否とを同時に検出することが可能になる。 The presence together made from one of the two areas separated by a curtain-like surveillance region formed by slits light can be monitored movement of the object to the other, the monitoring region formed by spot light The object to be detected can be detected. That is, by combining two types of monitoring areas, it is possible to simultaneously detect the movement of the object between the two divided areas and the presence or absence of the object in the specific area.
受光光学系において、アナモフィック光学系を採用すると、広い監視領域を撮像素子の受光面の範囲内に収めることと、狭い監視領域を撮像素子の受光面の範囲に拡大して分解能を高めることとを両立することができる。 When the anamorphic optical system is adopted in the light receiving optical system, the wide monitoring area is accommodated within the range of the light receiving surface of the image sensor, and the narrow monitoring area is expanded to the range of the light receiving surface of the image sensor to increase the resolution. It can be compatible.
受光光学系として、撮像素子の受光面の異なる部位を各監視領域に対応付ける構成を採用すれば、1個の撮像素子において複数の監視領域を同時に監視することが可能になる。また、受光光学系として、低解像力の領域と高解像力の領域とを形成する構成を採用すれば、高い解像力を要する監視領域と低い解像力でよい監視領域との両方に共用することが可能になる。さらに、受光光学系として、視野角の異なる構成を採用すれば、視野内の一部の監視領域を拡大して監視することができ、注目する監視領域を詳細に監視することが可能になる。 If a configuration in which different parts of the light receiving surface of the image sensor are associated with each monitoring area is adopted as the light receiving optical system, it becomes possible to simultaneously monitor a plurality of monitoring areas with one image sensor. Further, if a configuration in which a low-resolution area and a high-resolution area are formed as the light receiving optical system, it can be shared by both a monitoring area that requires high resolution and a monitoring area that requires low resolution. . Furthermore, if a configuration with different viewing angles is adopted as the light receiving optical system, a part of the monitoring area in the field of view can be enlarged and monitored, and the monitoring area of interest can be monitored in detail.
投光手段として、監視領域ごとに設けた複数の発光源について変調光を出力するタイミングを制御する構成を採用した場合には、監視領域ごとに投光するタイミングを異ならせることにより、監視領域ごとに撮像素子の受光面の全体を利用することが可能になり、受光領域の個数が少ない撮像素子でも監視領域を詳細に監視することが可能になる。 When a configuration for controlling the timing of outputting modulated light for a plurality of light emitting sources provided for each monitoring area is adopted as the light projecting means, the timing for projecting light is varied for each monitoring area. In addition, the entire light receiving surface of the image sensor can be used, and the monitor area can be monitored in detail even with an image sensor having a small number of light receiving areas.
本実施形態で用いる物体検知装置は、画像を構成する画素の値が距離値である距離画像を用いて物体の状態(存否・移動など)を検出する構成を採用している。距離画像の生成には、物体を検知する対象空間に赤外線のような光を投光するとともに、対象空間に存在する物体(人を含む)での反射光を受光し、投光から受光までの時間差に相当する情報を用いることにより、物体までの距離を検出する飛行時間法(Time Of Flight)の原理を用いる。すなわち、投光手段から出射した光を対象空間に投光するとともに対象空間からの光を受光手段で検出し、受光手段の出力を用いて物体までの距離を検出するアクティブ型の距離センサを用いる。 The object detection apparatus used in the present embodiment employs a configuration for detecting the state (existence / non-movement / movement) of an object using a distance image in which the values of pixels constituting the image are distance values. The distance image is generated by projecting light such as infrared light into the target space where the object is detected and receiving reflected light from objects (including people) existing in the target space. By using information corresponding to the time difference, the principle of time of flight is used to detect the distance to the object. That is, an active distance sensor that projects light emitted from the light projecting unit into the target space, detects light from the target space by the light receiving unit, and detects the distance to the object using the output of the light receiving unit is used. .
投光手段からは時間経過に伴って強度が変化する変調光を出射し、物体で反射され受光手段で受光された変調光と投光した変調光との位相差を、投光から受光までの時間差に相当する情報として用いる。変調光の変調波形には、正弦波、三角波、鋸歯状波、方形波などを用いることができる。正弦波、三角波、鋸歯状波を用いる場合には変調光の周期を一定周期とする。また、方形波を用いる場合には変調光の周期を一定周期とするほか、オン期間(投光手段の投光期間)とオフ期間(投光手段の非投光期間)との比率を乱数的に変化させる技術を採用することも可能である。 The light projecting means emits modulated light whose intensity changes over time, and the phase difference between the modulated light reflected by the object and received by the light receiving means and the projected modulated light is calculated from light projection to light reception. Used as information corresponding to the time difference. As a modulation waveform of the modulated light, a sine wave, a triangular wave, a sawtooth wave, a square wave, or the like can be used. When a sine wave, a triangular wave, or a sawtooth wave is used, the period of the modulated light is set to a constant period. When square waves are used, the period of the modulated light is set to a constant period, and the ratio between the on period (light projecting period of the light projecting means) and the off period (non-light projecting period of the light projecting means) is randomized. It is also possible to adopt a technology that changes the process.
受光手段は、複数個の画素が2次元に配列された撮像素子を備える。撮像素子は、CCDイメージセンサやCMOSイメージセンサとして提供されている濃淡画像を撮像するための周知構成のものを用いることができるが、距離センサに適する構造を有するように専用に設計された撮像素子を用いることが望ましい。 The light receiving means includes an imaging device in which a plurality of pixels are arranged two-dimensionally. As the image pickup device, a well-known configuration for picking up a gray image provided as a CCD image sensor or a CMOS image sensor can be used. However, the image pickup device is designed specifically to have a structure suitable for a distance sensor. It is desirable to use
後者の撮像素子は、基本的な構造については、濃淡画像を撮像する周知構成の撮像素子と類似している。ただし、1画素について複数個の受光領域を有し、受光領域ごとの受光感度が電気信号により制御可能になっている。また、各受光領域では受光強度に応じた電荷量の電荷を生成する。受光領域の受光感度を制御するのは、変調光を受光するタイミングを制御することによって投光と受光との位相差を含む情報を検出するためである。 The latter image sensor has a basic structure similar to an image sensor having a well-known configuration for capturing gray images. However, each pixel has a plurality of light receiving areas, and the light receiving sensitivity for each light receiving area can be controlled by an electric signal. In each light receiving region, a charge having a charge amount corresponding to the received light intensity is generated. The light receiving sensitivity of the light receiving region is controlled in order to detect information including a phase difference between light projection and light reception by controlling the timing of receiving the modulated light.
この撮像素子は、各受光領域で生成された電荷を変調光の変調周期の整数倍の期間に亘って蓄積する蓄積領域を有し、さらに、受光領域で生成した電荷のうち変調光ではない環境光ないし周囲光の成分を低減させる機能を設ける場合もある。 This imaging device has an accumulation region for accumulating charges generated in each light receiving region over an integer multiple of the modulation period of the modulated light, and further, an environment that is not modulated light among the charges generated in the light receiving region. In some cases, a function of reducing light or ambient light components is provided.
以下では、理解を助けるために距離センサの一構成例として下記構成を想定して説明するが、この構成は本発明を限定する趣旨ではなく、変調光の変調波形、撮像素子の構成、撮像素子の制御などに関して、周知の種々の距離センサに提供された構成を用いることができる。 In the following, for the purpose of facilitating the understanding, the following configuration is assumed as an example of the configuration of the distance sensor, but this configuration is not intended to limit the present invention, but the modulation waveform of the modulated light, the configuration of the imaging device, the imaging device With respect to the control and the like, the configurations provided in various known distance sensors can be used.
以下の説明で用いる距離センサAは、図1に示すように、光(近赤外線を用いるのが望ましい)を出射する発光源1と、対象空間からの光を受光する撮像素子2とを備える。発光源1には、発光ダイオードやレーザダイオードのように入力の瞬時値に比例した光出力が得られる発光素子を用いる。また、発光源1から出射する光量を確保するために、発光源1は適数個の発光素子を用いて構成される。
As shown in FIG. 1, the distance sensor A used in the following description includes a light emitting source 1 that emits light (desirably using near infrared rays) and an
発光源1は、発光源1から出力された変調光を対象空間に投光する投光光学系3とともに投光手段を構成している。また、撮像素子2は、対象空間からの光を撮像素子2に入射させる受光光学系4とともに受光手段を構成している。投光光学系3と受光光学系4とは互いに近接して配置してあり、投光光学系3と受光光学系4との距離は視野に対して実質的に無視することができるものとする。
The light emitting source 1 constitutes a light projecting unit together with a light projecting
距離センサAには、発光源1を駆動するための変調信号を出力する変調信号生成部5と、変調信号生成部5から出力された変調信号に基づいて撮像素子2での受光タイミングを規定する受光タイミング信号を生成するタイミング制御部6と、撮像素子2から出力された受光信号を用いて対象空間に存在する物体までの距離を求めて距離画像を生成する演算処理部7と、演算処理部7で生成した距離画像から監視領域における物体の存否や物体の移動などの情報を抽出する物体検知部8とが設けられる。
In the distance sensor A, a modulation
変調信号生成部5は、出力電圧が一定周波数(たとえば、20MHz)の正弦波形で変化する変調信号を生成し、変調信号を発光源1に与えることにより、図2(a)(b)のように光出力が正弦波状に変化する変調光が発光源1から出射される。発光源1として発光ダイオードを用いる場合には、電流制限抵抗を介して発光ダイオードに変調信号の信号電圧を印加することにより、発光ダイオードの通電電流を変化させ変調光を出射させる。
The modulation
一方、撮像素子2は、1画素ごとに1個の受光領域を備えるものとする。この場合、電子シャッタの技術を用いることで、受光タイミング信号に同期する期間にのみ受光強度に応じた電荷を生成することが可能になる。また、受光領域で生成された電荷は、遮光された蓄積領域に転送され、蓄積領域において変調信号の複数周期(たとえば、10000周期)に相当する蓄積期間に蓄積された後、撮像素子2の外部に受光出力として取り出される。
On the other hand, the
タイミング制御部6では、変調信号に同期する受光タイミング信号を生成する。ここでは、変調信号の1周期における異なる4位相を規定し、各位相ごとに一定時間幅の受光期間を設定する4種類の受光タイミング信号を生成するとともに、蓄積期間ごとに4種類の受光タイミング信号のうちの各1種類の受光タイミング信号を撮像素子2に与える。
The
すなわち、1種類の受光タイミング信号で規定した受光期間において受光領域で生成した電荷を1回の蓄積期間において蓄積し、蓄積後の電荷を受光出力として撮像素子2の外部に取り出す処理を4回繰り返し、4回の蓄積期間で4種類の受光タイミング信号に対応する受光出力を撮像素子2の外部に取り出す。
That is, the process of accumulating the charge generated in the light receiving region in the light receiving region defined by one type of light receiving timing signal in one accumulation period, and taking out the accumulated charge as a light receiving output to the outside of the
いま、図2(c)のように、受光タイミング信号を変調信号の1周期において90度ずつ異なる位相で規定しているものとする。この場合、各受光タイミング信号に対応する受光出力(電荷量)を、それぞれA0,A1,A2,A3とするときに、位相差ψ〔rad〕は下式で表される。
ψ=(A0−A2)/(A1−A3)
変調信号の周波数をf〔Hz〕とすれば、投光から受光までの時間差Δtは位相差ψを用いて、Δt=ψ/2π・fと表されるから、光速をc〔m/s〕とすると、物体までの距離は、c・ψ/4π・fと表すことができる。
Now, as shown in FIG. 2 (c), it is assumed that the light reception timing signal is defined by a phase different by 90 degrees in one cycle of the modulation signal. In this case, when the light reception outputs (charge amounts) corresponding to the respective light reception timing signals are A0, A1, A2, and A3, the phase difference ψ [rad] is expressed by the following equation.
ψ = (A0−A2) / (A1−A3)
If the frequency of the modulation signal is f [Hz], the time difference Δt from light projection to light reception is expressed as Δt = ψ / 2π · f using the phase difference ψ, so the speed of light is c [m / s]. Then, the distance to the object can be expressed as c · ψ / 4π · f.
すなわち、4種類の受光出力(電荷量)A0〜A3により物体までの距離を求めることができる。なお、受光期間の時間幅は、受光領域において適正な受光量が得られるように、適宜に設定することができる(たとえば、変調信号の4分の1周期に相当する時間幅とすることができる)。ただし、各受光期間の時間幅は互いに等しくすることが必要である。 That is, the distance to the object can be obtained from the four types of light reception outputs (charge amounts) A0 to A3. The time width of the light receiving period can be set as appropriate so that an appropriate amount of received light can be obtained in the light receiving region (for example, a time width corresponding to a quarter period of the modulation signal can be used). ). However, the time width of each light receiving period needs to be equal to each other.
演算処理部7では、受光出力(電荷量)A0〜A3に基づいて位相差ψを求め、距離に換算する上述の処理のほか、以下に説明する処理も行うことができる。演算処理部7はコンピュータを用いて構成され、上述した処理はコンピュータでプログラムを実行することにより実現される。また、演算処理部7だけではなく、発光源1および撮像素子2を除く構成は、コンピュータを用いて実現される。
In the arithmetic processing unit 7, in addition to the above-described processing for obtaining the phase difference ψ based on the received light output (charge amount) A0 to A3 and converting it to the distance, the processing described below can also be performed. The arithmetic processing unit 7 is configured using a computer, and the above-described processing is realized by executing a program on the computer. Further, not only the arithmetic processing unit 7 but also the configuration excluding the light emission source 1 and the
なお、上述の動作例では、4種類の受光タイミング信号を用いているが、3種類の受光タイミング信号でも位相差ψを求めることができ、環境光ないし周囲光が存在しない環境下では、2種類の受光タイミング信号でも位相差ψを求めることが可能である。 In the above-described operation example, four types of light reception timing signals are used. However, the phase difference ψ can be obtained using three types of light reception timing signals, and two types of light reception timing signals can be obtained in an environment where there is no ambient light or ambient light. It is possible to obtain the phase difference ψ even with the light reception timing signal.
また、上述の動作では、1画素について1個の受光領域を用いているから、4種類の受光出力(電荷量)A0〜A3を撮像素子2から取り出すために4回の蓄積期間が必要であるが、1画素について2個の受光領域を設ければ、変調信号の1周期で2種類の受光タイミング信号に対応する電荷を生成することが可能になるから、撮像素子2から2種類の受光タイミング信号に対応した受光出力を1回で読み出すことが可能になる。同様に、1画素に4個の受光領域を設ければ、変調信号の1周期で4種類の受光タイミング信号に対応する電荷を生成し、4種類の受光タイミング信号に対応する受光出力を1回で読み出すことが可能になる。
In the above-described operation, since one light receiving region is used for one pixel, four accumulation periods are required to extract four types of light receiving outputs (charge amounts) A0 to A3 from the
上述した距離センサAは、対象空間からの光を受光するための受光素子として複数個の画素が2次元配列された撮像素子2を用いているから、各画素の画素値として距離値を求めることにより距離画像が生成されることになる。生成された距離画像はコンピュータのメモリに格納される。
Since the distance sensor A described above uses the
以下では、主として投光光学系3および受光光学系4の構成と、投光光学系3および受光光学系4の構成に関連した演算処理部7の動作とについて説明する。投光光学系3は、発光源1から出力された変調光を対象空間の所望の投光させる機能を有している。
Below, the structure of the light projection
ここでは、図3に示すように、投光光学系3を、1個の発光源1から出力された光を2経路に分岐するハーフミラーなどを用いた光分岐装置3aと、光分岐装置3aで分岐された一方の経路の光を扇形に広がるスリット光として対象空間に投光するスリット光形成部3bと、光分岐装置3aで分岐された他方の経路の光を外周が円形であるレンズを用いることにより投光パターンが円形になるスポット光として対象空間に投光するスポット光形成部3cとにより形成している。
Here, as shown in FIG. 3, the light projecting
スリット光形成部3bは、一平面内でのみ屈折力を持つシリンドリカルレンズのようなレンズを用いて入射光を扇形に広げるものであり、この種の光学系の構成は光切断法においてスリット光を投光する構成において周知のものを用いることができる。また、スリット光を投光するために、発光源1と投光光学系3とを一体化した発光装置が市場に提供されているから、この種の発光装置を用いてもよい。
The slit
ただし、光分岐装置3aを用いずに、2個の発光源1を用い、一方の発光源1をスリット光形成部3bに対応付け、他方の発光源1をスポット光形成部3cに対応付けるようにしてもよい。また、スリット光形成部3bおよびスポット光形成部3cは、レンズではなくミラーを用いて形成することも可能である。
However, two light sources 1 are used without using the
スリット光は、スリットを通した光と同様に、物体に投光したときに物体の表面に線状ないし帯状の投光パターンを形成するように配光が制御された光であり、スリット光形成部3bと投光パターンの長手方向とにより規定される平面内において扇形に広がり、当該平面に直交する方向の厚みが略一定になっている。一方、スポット光は、スポット光形成部3cを頂点とする円錐状の配光を有し、物体の表面に円形の投光パターンを形成する。
Slit light is light whose light distribution is controlled to form a linear or strip-shaped light projection pattern on the surface of the object when it is projected onto the object, similar to light that passes through the slit. In a plane defined by the
スリット光とスポット光とは、受光光学系4と撮像素子2とにより形成される受光手段の視野内に投光される。したがって、受光手段の視野内には、スリット光によるカーテン状の監視領域D1と、スポット光による円錐状の監視領域D2とが形成される。スリット光による監視領域D1は、主として監視領域D1により区切られた2つの領域の一方から他方への物体の移動を検出するのに適しており、スポット光による監視領域D2は、主として監視領域D2の中に存在する物体を検出するのに適している。
The slit light and the spot light are projected into the field of the light receiving means formed by the light receiving
このように、2種類の監視領域D1,D2を組み合わせることにより、2種類の情報を同時に取得することが可能になる。図示例では、監視領域D1,D2を重複しないように設定しているが、監視領域D1,D2は一部が重複するように設定してもよい。また、スリット光形成部3bとスポット光形成部3cとの発光源1を分けている場合には、タイミング制御部6において、各発光源1から変調光を投光するタイミングを異ならせるように制御すれば、監視領域D1,D2ごとに撮像素子2の受光面の全体を利用することが可能になり、画素数(受光領域の個数)が少ない撮像素子2でも、各監視領域D1,D2を詳細に監視することが可能になる。
As described above, by combining the two types of monitoring areas D1 and D2, two types of information can be acquired simultaneously. In the illustrated example, the monitoring areas D1 and D2 are set not to overlap, but the monitoring areas D1 and D2 may be set to partially overlap. Further, when the light source 1 is divided between the slit
上述のように、受光手段の視野内に設定した複数個の監視領域D1,D2にそれぞれ変調光を投光し、視野内であっても監視の必要がない領域には変調光を投光しないから、監視する必要のある領域に投光して物体の状態を監視しながらも、発光源1の駆動に要する電力の増加を抑制することができる。しかも、複数の監視領域D1,D2を設定しながらも、すべての監視領域D1,D2は受光手段の視野内に形成されるから、撮像素子2は1個でよく簡単な構成で複数の監視領域D1,D2の監視が可能であって、コスト増の抑制になる。また、可動部を持たないレンズやミラーなどの光学要素を用いて監視領域D1,D2を形成しているから、可動部が不要であって耐久性や信頼性の高い物体検知装置を提供することができる。
As described above, the modulated light is projected onto each of the plurality of monitoring areas D1 and D2 set within the field of view of the light receiving means, and the modulated light is not projected onto the area that does not require monitoring even within the field of view. Therefore, it is possible to suppress an increase in power required to drive the light source 1 while monitoring the state of the object by projecting light onto an area that needs to be monitored. In addition, while setting a plurality of monitoring areas D1 and D2, all the monitoring areas D1 and D2 are formed within the field of view of the light receiving means, so that only one
上述した監視領域D1,D2の設定例は一例であって、たとえば複数のスリット光を投光するように投光手段を構成したり、複数のスポット光を投光するように投光手段を構成することも可能である。また、スリット光とスポット光とを組み合わせて投光する構成のほか、スリット光あるいはスポット光のみを複数の監視領域に投光するように投光手段を構成してもよい。さらには、楕円状の投光パターンとなるように外周が楕円状であるレンズを投光光学系3に用いた投光手段を構成することも可能である。
The setting example of the monitoring areas D1 and D2 described above is an example. For example, the light projecting unit is configured to project a plurality of slit lights, or the light projecting unit is configured to project a plurality of spot lights. It is also possible to do. In addition to the configuration in which slit light and spot light are combined and projected, the light projecting means may be configured to project only slit light or spot light to a plurality of monitoring areas. Furthermore, it is also possible to constitute a light projecting unit using a lens having an elliptical outer periphery in the light projecting
ところで、上述のように、受光手段の視野に複数の監視領域D1,D2を形成しているから、撮像素子2の受光面には監視領域D1,D2に対応しない無駄な領域が生じることになる。そこで、各監視領域D1,D2の像が撮像素子2の受光面のサイズに合わせて投影されるように受光光学系4を構成すれば、撮像素子2の受光面を無駄なく利用することが可能である。とくに、スリット光のような直線状ないし帯状の投光パターンや楕円状の投光パターンが形成される場合には、撮像素子2の受光面において監視領域とは関係のない領域が生じることになる。
By the way, as described above, since the plurality of monitoring areas D1 and D2 are formed in the field of view of the light receiving means, useless areas not corresponding to the monitoring areas D1 and D2 are generated on the light receiving surface of the
いま、スリット光とスポット光とを投光する領域を監視領域D1,D2とすると、外周が円形であるレンズを受光光学系4に用いると、図4(b)に示すように、撮像素子2の受光面には、スリット光に対応する直線状の像と、スポット光に対応する円形の像とが形成される。この構成では、撮像素子2の受光面の大部分の領域には、監視領域D1,D2の像が形成されていない。したがって、撮像素子2の受光面の大部分は、監視領域D1,D2における物体の監視に利用されていないことになる。
Now, assuming that the areas where the slit light and the spot light are projected are the monitoring areas D1 and D2, when a lens having a circular outer periphery is used for the light receiving
そこで、図4(a)のように、受光光学系4に外周が楕円形であるレンズを用いる。図示例の受光光学系4は、スリット光の投光パターンの延長方向に対して、投光パターンの延長方向に直交する方向の倍率を大きくするように、監視領域D1,D2の像のアスペクト比(撮像素子2の垂直方向と水平方向との比)を調節している。
Therefore, as shown in FIG. 4A, a lens having an elliptical outer periphery is used for the light receiving
このようなアナモフィック光学系の受光光学系4を採用することにより、監視領域D1,D2の像が図の上下方向に引き延ばされ、撮像素子2の受光面において監視領域D1,D2の像が占める割合が増加する。また、撮像素子2の受光面において監視領域D1,D2の占有面積が増加し、監視領域D1,D2に対応する垂直方向の画素数が増加するから、この方向における分解能を向上させたことになる。
By adopting the light receiving
また、図4(b)のようにアスペクト比が1:1である受光光学系4を用いたときに、監視領域D1,D2の像が撮像素子2の受光面の範囲を超える場合には、アナモフィック光学系の受光光学系4を採用して、当該像を撮像素子2の受光面の幅内に縮小して収めることが可能になる。
Further, when the light receiving
すなわち、一方向に長い監視領域D1については監視領域D1の像が撮像素子2の受光面に収まるように縮小するとともに、他方向については撮像素子2の受光面を有効利用できるように監視領域D1,D2の像を拡大するように、受光光学系4にアナモフィック光学系を採用して、監視領域D1,D2のアスペクト比を調節することで、撮像素子2の受光面を有効利用することができる。
In other words, the monitoring area D1 is reduced so that the image of the monitoring area D1 is long enough to fit on the light receiving surface of the
ところで、受光光学系4としてアナモフィック光学系を採用するだけでも、受光光学系4のアスペクト比が1:1である場合よりも撮像素子2の受光面を有効に利用することになるが、撮像素子2の受光面をさらに有効に利用するために、複数の光学要素の組み合わせた受光光学系4を採用してもよい。
By the way, even if only the anamorphic optical system is adopted as the light receiving
たとえば、光学要素としてレンズを用い、図5(a)に示すように、2個のレンズ4a,4bを並置するとともに、一方のレンズ4aを監視領域D1に対応付け、他方のレンズ4bを監視領域D2に対応付ける。また、各レンズ4a,4bはそれぞれ撮像素子2の受光面の異なる部位に各監視領域D1,D2の像を形成するように設計される。
For example, using a lens as an optical element, as shown in FIG. 5A, two
この構成を採用すれば、監視領域D1,D2ごとにレンズ4a,4bを設計することができるから、図5(b)に示すように、撮像素子2の受光面を監視領域D1に対応付ける領域A1と監視領域D2に対応付ける領域A2とに分割し、受光面の各領域A1,A2に監視領域D1,D2の像が形成されるようにレンズ4a,4bを設計する。たとえば、監視領域D1の像については延長方向において縮小するとともに延長方向に直交する方向に拡大し、監視領域D2の像については領域A2の多くの部分を占めるように楕円状に変形させる。
If this configuration is adopted, the
上述のように、監視領域D1,D2ごとにレンズ4a,4bを設計(上述の例では、それぞれアナモフィック光学系で互いにアスペクト比が異なるように設計)するとともに、2つの監視領域D1,D2の像を撮像素子2の受光面の異なる領域A1,A2に形成するから、撮像素子2の受光面の各画素の大部分を監視領域D1,D2に対応付けることができ、対象空間の一部である監視領域D1,D2にのみ変調光を投光しているにもかかわらず、撮像素子2の受光面を有効に利用することが可能になる。
As described above, the
そして、撮像素子2の受光面に設けられている画素の大部分を利用することにより、監視領域D1,D2の一部については拡大して詳細に監視し、また他部については縮小して全体を監視することが可能になる。また、図5の構成を採用することにより、1個の撮像素子2を用いて複数の監視領域D1,D2を監視することが可能になる。
Then, by utilizing most of the pixels provided on the light receiving surface of the
複数の光学要素を組み合わせた受光光学系4としては、低解像力の光学要素と高解像力の光学要素とを組み合わせた構成を採用してもよい。解像力は光学要素の設計により、低解像力の領域では物体の有無を監視し、高解像力の領域では物体の形状などの詳細を監視することが可能である。上述の例では、スリット光に対応する監視領域D1で物体の通過を検出する場合には監視領域D1は低解像度でよく、スポット光に対応する監視領域D2で物体の形状を計測する場合には監視領域D2は高解像度にするのが望ましい。
As the light receiving
また、複数の光学要素を組み合わせた構成として、図6(a)に示すように、図5に示した構成に対して、スリット光により形成される監視領域D1の中央部を拡大した像を撮像素子2の受光面に形成するレンズ4cを追加した構成を採用してもよい。図示例では、撮像素子2の受光面の中央部をレンズ4cに対応付けている。すなわち、受光手段の視野の中央部に狭角の領域を形成し、受光手段の視野における当該領域の一側に広角の領域を形成し、受光手段の視野における他側にスポット光により形成される監視領域D2に対応した領域を形成する。
Further, as a configuration in which a plurality of optical elements are combined, as shown in FIG. 6A, an image obtained by enlarging the central portion of the monitoring region D1 formed by the slit light as compared with the configuration shown in FIG. You may employ | adopt the structure which added the
この構成では、光学要素としてレンズを用いる場合には、図6(a)のように、視野角の異なるレンズ4a,4cを監視領域D2用のレンズ4bとともに並べて配置した受光光学系4を用いる。図示する受光光学系4は、3枚のレンズ4a,4b,4cを上下に並べて配置してあり、中央部に配置したレンズ4cによる視野を狭角とし、下部に配置したレンズ4aによる視野を広角としてある。また、上部に配置したレンズ4bは、図5に示したレンズ4bと同様にスポット光に対応する監視領域D2の全体が視野になるように形成されている。
In this configuration, when a lens is used as an optical element, as shown in FIG. 6A, a light receiving
このような受光光学系4を用いると、図6(b)のように、撮像素子2の受光面の上部の領域A2ではスポット光が投光される監視領域D2を監視することができ、撮像素子2の下部の領域A1ではスリット光が投光される監視領域D1の全体を監視することができ、さらに、撮像素子2の受光面の中央部の領域A1′ではスリット光が投光される監視領域D1の一部を拡大した監視領域D1′を監視することが可能になる。したがって、撮像素子2の受光面の中央部の領域A1′および下部の領域A1をスリット光が投光される監視領域D1′,D1にそれぞれ対応付けておけば、スリット光が投光される監視領域D1については全体と細部とを監視することが可能になる。
When such a light receiving
複数の光学要素を組み合わせた受光光学系4を用いる場合も、監視領域D1,D2ごとに投光する複数個の発光源1を設け、タイミング制御部6によって発光源1ごとに変調光を出力するタイミングを制御してもよい。この構成では、監視領域D1,D2ごとに投光することが可能になるから、複数の監視領域D1,D2に同時に投光する場合よりも投光に要する電力を低減することが可能になる。
Also in the case of using the light receiving
上述のように構成した物体検知装置は、たとえば、駆動源により走行駆動されるドア(エレベータのドア、列車のドア、出入口の自動ドアなど)において、ドアの走行時の安全を確認するためのセンサ、工場内における立入の監視を行うセンサなどに適用することができる。 The object detection device configured as described above includes, for example, a sensor for confirming safety when the door is running in a door (elevator door, train door, entrance door, etc.) that is driven by a drive source. It can be applied to a sensor for monitoring on-site entry in a factory.
たとえば、エレベータのドアに対して上述した物体検知装置を適用する場合には、図7に示すように、エレベータ10のカゴ11に設けた出入口となる開口部12の上縁に沿って距離センサAを配置する。
For example, when the above-described object detection device is applied to an elevator door, as shown in FIG. 7, the distance sensor A along the upper edge of the
エレベータ10の開口部12を開閉するドア13では、閉状態から開動作を開始したときに人の手や持ち物がドア13に触れていると、ドア13が開口部12の袖に収納される際に、手や持ち物が開口部12の袖に引き込まれる可能性があるから、開口部12においてドア13が出入する部位を監視する必要がある(監視領域E1)。
In the
また、ドア13が閉動作を行っているときには手や持ち物がドア13に挟まれる可能性があるから、ドア13の先端付近も監視する必要がある(監視領域E2)。
Further, when the
さらに、ドア13が開状態であるときにカゴ11の外部である乗場から、人が乗り込む際にドア13が閉動作を開始すると、人がドア13に衝突するから、乗場からカゴ11に向かって移動する人を監視することも必要である(監視領域E3)。
Furthermore, when the
したがって、投光手段からは監視領域E1〜E3の個々に投光し、受光手段では個々の監視領域E1〜E3を撮像素子2の受光面に定めた領域に投影されるように、受光光学系4を複数個の光学要素で形成するのが望ましい。監視領域E1,E3はスポット光で対応することができ、監視領域E2についてはスリット光によって対応することができる。また、監視領域E3は、カゴ11の外側に向けて設定し、ドア13が開状態から閉状態に至る間にカゴ11に乗り込もうとする人の検知を行えばよい。
Therefore, the light receiving unit projects light individually from the monitoring areas E1 to E3, and the light receiving unit projects each monitoring area E1 to E3 onto a region defined on the light receiving surface of the
上述の動作からわかるように、エレベータのドア13に関する監視を行う場合には、ドア13の動作に連動させて監視領域E1〜E3を設定すればよいから、監視領域E1〜E3への変調光の投光を連続的に行う必要がなく、消費電力の一層の低減が可能になる。なお、エレベータへの使用は一例であって、上述したように、本発明の物体検知装置は各種用途に用いることができる。
As can be seen from the above-described operation, when monitoring the
1 発光源(投光手段)
2 撮像素子(受光手段)
3 投光光学系(投光手段)
3b スリット光形成部
3c スポット光形成部
4 受光光学系(受光手段)
4a〜4d レンズ(光学要素)
5 変調信号生成部
6 タイミング制御部
7 演算処理部
8 物体検知部
1 Light source (light projection means)
2 Image sensor (light receiving means)
3. Projection optical system (projection means)
3b Slit
4a to 4d lens (optical element)
5 Modulation
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009291323A JP5469446B2 (en) | 2009-12-22 | 2009-12-22 | Object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009291323A JP5469446B2 (en) | 2009-12-22 | 2009-12-22 | Object detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011133271A JP2011133271A (en) | 2011-07-07 |
JP5469446B2 true JP5469446B2 (en) | 2014-04-16 |
Family
ID=44346179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009291323A Expired - Fee Related JP5469446B2 (en) | 2009-12-22 | 2009-12-22 | Object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5469446B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6424418B2 (en) * | 2012-07-19 | 2018-11-21 | Agc株式会社 | Optical element, projection device, measurement device, and manufacturing method |
JP5668207B2 (en) * | 2013-01-25 | 2015-02-12 | 北陽電機株式会社 | Object detection device, distance measuring device, door control device, and automatic door device |
US10401498B2 (en) * | 2013-06-06 | 2019-09-03 | Ams Sensors Singapore Pte. Ltd. | Sensor system with active illumination |
JP6245901B2 (en) * | 2013-09-02 | 2017-12-13 | 株式会社メガチップス | Distance measuring device |
JP6245900B2 (en) * | 2013-09-02 | 2017-12-13 | 株式会社メガチップス | Distance measuring device |
WO2015115797A1 (en) * | 2014-01-29 | 2015-08-06 | 엘지이노텍 주식회사 | Device for extracting depth information and method thereof |
JP6584370B2 (en) * | 2016-07-04 | 2019-10-02 | オムロンオートモーティブエレクトロニクス株式会社 | Optical radar device for vehicles |
JP2020076619A (en) * | 2018-11-07 | 2020-05-21 | ソニーセミコンダクタソリューションズ株式会社 | Floodlight control system, floodlight control method |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61283805A (en) * | 1985-06-10 | 1986-12-13 | Nissan Motor Co Ltd | Apparatus for detecting two-dimensional position |
JPH10253319A (en) * | 1997-03-12 | 1998-09-25 | Hitachi Ltd | Position measuring device |
JP2001280917A (en) * | 2000-03-31 | 2001-10-10 | Minolta Co Ltd | Instrument for three-dimensional measurement |
JP3789757B2 (en) * | 2001-01-22 | 2006-06-28 | 小糸工業株式会社 | Object detection device |
ATE310268T1 (en) * | 2001-04-04 | 2005-12-15 | Instro Prec Ltd | SYSTEM FOR IMAGE ANALYSIS |
JP2004071366A (en) * | 2002-08-07 | 2004-03-04 | Omron Corp | Photoelectric sensor |
JP2004208212A (en) * | 2002-12-26 | 2004-07-22 | Canon Inc | Imaging device |
JP2005303694A (en) * | 2004-04-13 | 2005-10-27 | Konica Minolta Holdings Inc | Compound eye imaging device |
JP3107868U (en) * | 2004-07-12 | 2005-04-07 | 功 村上 | Laser distance meter |
DE102004047022A1 (en) * | 2004-09-28 | 2006-04-06 | Siemens Ag | Device for monitoring room areas |
JP2006333120A (en) * | 2005-05-26 | 2006-12-07 | Denso Corp | Image sensing module |
JP5190663B2 (en) * | 2007-03-27 | 2013-04-24 | スタンレー電気株式会社 | Distance image generator |
JP4650565B2 (en) * | 2008-12-15 | 2011-03-16 | パナソニック電工株式会社 | Human body detection sensor |
-
2009
- 2009-12-22 JP JP2009291323A patent/JP5469446B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011133271A (en) | 2011-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5469446B2 (en) | Object detection device | |
JP6854387B2 (en) | Synchronous spinning LIDAR and rolling shutter camera system | |
JP6309459B2 (en) | Time-of-flight camera with stripe lighting | |
JP6852416B2 (en) | Distance measuring device, mobile body, robot, device and 3D measuring method | |
JP5799211B2 (en) | Distance image sensor | |
JP4006577B2 (en) | Monitoring device | |
US10419741B2 (en) | Systems and methods for compression of three dimensional depth sensing | |
EP2378310B1 (en) | Time of flight camera unit and optical surveillance system | |
CN102947726B (en) | Scanning 3 D imaging instrument | |
JP6123163B2 (en) | Distance measuring device | |
US11269065B2 (en) | Muilti-detector with interleaved photodetector arrays and analog readout circuits for lidar receiver | |
JP2017005726A (en) | Camera device and use thereof | |
JP7270702B2 (en) | Depth sensing system and method | |
JP2012242189A (en) | Signal processor for scanning type distance measuring apparatus, signal processing method and scanning type distance measuring apparatus | |
JP2009236774A (en) | Three dimensional ranging device | |
KR20160147760A (en) | Device for detecting objects | |
JP2021534415A (en) | A lidar sensor for optical capture of the visual field, an actuation device or vehicle equipped with a lidar sensor, and a method for optical capture of the visual field. | |
JP2008281427A (en) | Distance measurement apparatus | |
KR20190129693A (en) | High-sensitivity low-power camera system for 3d structured light application | |
JP2005233759A (en) | Three-dimensional measuring system | |
JP7260966B2 (en) | Electromagnetic wave detector | |
JP7535394B2 (en) | Image processing device and distance measuring device | |
WO2011144458A1 (en) | Imaging device for imaging a scene using time - of - flight and thermographic measurements | |
JP2021148587A (en) | Object detector and mobile body | |
JP2016114526A (en) | Substance detection sensor, method for applying measuring beam, and substance detection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20120118 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121010 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131008 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140131 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |