JP2017151570A - Optical safety system, setting assistance device for safety scanner, and setting assistance program - Google Patents
Optical safety system, setting assistance device for safety scanner, and setting assistance program Download PDFInfo
- Publication number
- JP2017151570A JP2017151570A JP2016031510A JP2016031510A JP2017151570A JP 2017151570 A JP2017151570 A JP 2017151570A JP 2016031510 A JP2016031510 A JP 2016031510A JP 2016031510 A JP2016031510 A JP 2016031510A JP 2017151570 A JP2017151570 A JP 2017151570A
- Authority
- JP
- Japan
- Prior art keywords
- image
- scanner
- unit
- light
- safety
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Abstract
Description
本発明は、光学安全システム、安全スキャナ用の設定支援装置及び設定支援プログラムに係り、さらに詳しくは、対象物からの反射光を受光して保護エリア内の侵入物を検知する光学安全システムの改良に関する。 The present invention relates to an optical safety system, a setting support device for a safety scanner, and a setting support program, and more particularly, an improvement of an optical safety system that receives reflected light from an object and detects an intruder in a protection area. About.
エリア監視センサは、保護エリア内に侵入した侵入物、例えば、人を検知し、工作機械、産業用ロボット等を緊急停止させるための安全制御信号を出力する安全装置である(例えば、特許文献1及び2)。例えば、安全スキャナは、検出光を対象物に向けて投光する投光部と、対象物からの反射光を受光して受光信号を生成する受光部と、受光信号に基づいて、対象物までの距離を求める距離算出部と、回転軸を中心として検出光を周方向に走査させる走査部とを備えた光学式のエリア監視センサである。侵入物の検知は、対象物までの距離と検出光の走査角とから対象物の位置を特定し、保護エリアと照合することによって行われる。 An area monitoring sensor is a safety device that detects an intruder that has entered a protected area, such as a person, and outputs a safety control signal for emergency stop of a machine tool, an industrial robot, or the like (for example, Patent Document 1). And 2). For example, a safety scanner includes a light projecting unit that projects detection light toward an object, a light receiving unit that receives reflected light from the object and generates a light reception signal, and a target based on the light reception signal. It is an optical area monitoring sensor provided with the distance calculation part which calculates | requires this distance, and the scanning part which scans a detection light to the circumferential direction centering on a rotating shaft. Detection of an intruder is performed by specifying the position of the object from the distance to the object and the scanning angle of the detection light and collating it with the protection area.
従来の安全スキャナには、走査角及び距離からなる測距情報をスキャン画像として表示するものがあった。スキャン画像は、検出光を走査して得られた複数の測距情報が2次元表示された画像であり、各測距情報は、検出光のスキャン面上の測距位置として示されている。このようなスキャン画像を表示することにより、多数の測距情報を迅速に把握することができる。 Some conventional safety scanners display distance measurement information including a scanning angle and a distance as a scanned image. The scan image is an image in which a plurality of distance measurement information obtained by scanning the detection light is two-dimensionally displayed, and each distance measurement information is indicated as a distance measurement position on the scan plane of the detection light. By displaying such a scanned image, a large amount of distance measurement information can be quickly grasped.
しかしながら、スキャン画像と実空間との対応関係を把握することは容易ではなく、スキャン画像に示された測距位置が、実空間の何に対応しているのかを把握することが容易ではないという問題があった。例えば、保護エリア内の侵入物が検知された場合であっても、その侵入物が実空間の何に対応しているのかを容易に把握できない場合があった。また、スキャン画像上において保護エリアを指定する場合に、保護エリアを正しく指定することができない場合があった。 However, it is not easy to grasp the correspondence between the scanned image and the real space, and it is not easy to grasp what the distance measurement position shown in the scanned image corresponds to in the real space. There was a problem. For example, even when an intruder in a protected area is detected, there is a case where it is difficult to grasp what the intruder corresponds to in the real space. In addition, when a protection area is designated on a scanned image, the protection area may not be correctly designated.
また、従来の安全スキャナでは、検出光を走査させるスキャン面を視認することが困難である。このため、回転軸が傾いた状態で安全スキャナが設置され、床などの設置面に対し、スキャン面が傾いた状態で設置されたとしても、そのことに気づき難いという問題があった。また、従来の安全スキャナでは、検出光の走査範囲を視認することが困難である。このため、正面方向がずれた状態で安全スキャナが設置され、保護エリアを正しくカバーすることができない状態で設置されていても、そのことに気づき難いという問題もあった。 In addition, with a conventional safety scanner, it is difficult to visually recognize a scan surface on which detection light is scanned. For this reason, even if the safety scanner is installed with the rotating shaft tilted and the scanning surface is tilted with respect to the installation surface such as the floor, it is difficult to notice this. Moreover, it is difficult for the conventional safety scanner to visually recognize the scanning range of the detection light. For this reason, even if the safety scanner is installed in a state where the front direction is deviated and is installed in a state where the protection area cannot be correctly covered, there is a problem that it is difficult to notice that.
本発明は、上記事情に鑑みてなされたものであり、スキャン画像と実空間との対応関係を容易に把握することができる光学安全システム及び安全スキャナ用の設定支援装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an optical safety system and a setting support device for a safety scanner that can easily grasp the correspondence between a scanned image and a real space. To do.
また、本発明は、安全スキャナが正しく設置されているか否かを識別することができる光学安全システム及び安全スキャナ用の設定支援装置を提供することを目的とする。特に、安全スキャナの向きの誤りや、スキャン面の設置面に対する傾きを抑制することができる光学安全システム及び安全スキャナ用の設定支援装置を提供することを目的とする。 It is another object of the present invention to provide an optical safety system and a setting support device for a safety scanner that can identify whether or not the safety scanner is correctly installed. In particular, an object of the present invention is to provide an optical safety system and a setting support device for a safety scanner that can suppress an error in the orientation of the safety scanner and an inclination of the scanning surface with respect to the installation surface.
また、本発明は、保護エリアが正しく設定されたか否かを容易に識別することができる安全スキャナ用の設定支援装置を提供することを目的とする。また、本発明は、コンピュータを上述した設定支援装置として機能させることができる安全スキャナ用の設定支援プログラムを提供することを目的とする。 Another object of the present invention is to provide a setting support device for a safety scanner that can easily identify whether or not a protection area has been set correctly. It is another object of the present invention to provide a setting support program for a safety scanner that allows a computer to function as the above-described setting support device.
本発明の第1の態様による光学安全システムは、検出光を対象物に向けて投光する投光手段と、上記対象物からの反射光を受光して受光信号を生成する受光手段と、上記受光信号に基づいて、上記対象物までの距離を求める距離算出手段と、回転軸を中心として上記検出光を周方向に走査させる走査手段と、上記距離及び上記検出光の走査角からなる測距情報に基づいて、保護エリア内の侵入物を検知し、検知信号を出力する侵入検知手段と、上記保護エリアを撮影してカメラ画像を生成する撮像手段と、上記検出光を走査して得られる複数の上記測距情報が上記検出光のスキャン面上における複数の測距位置として示されたスキャン画像を生成するスキャン画像生成手段と、上記カメラ画像及び上記スキャン画像を画面内に並べて表示する画像表示手段とを備える。 An optical safety system according to a first aspect of the present invention includes: a light projecting unit that projects detection light toward an object; a light receiving unit that receives reflected light from the object and generates a light reception signal; Distance calculation means for obtaining a distance to the object based on a received light signal, scanning means for scanning the detection light in the circumferential direction around the rotation axis, and distance measurement comprising the distance and a scanning angle of the detection light Intrusion detection means for detecting an intruder in the protection area based on the information and outputting a detection signal; an imaging means for photographing the protection area to generate a camera image; and scanning the detection light Scan image generation means for generating a scan image in which a plurality of distance measurement information is indicated as a plurality of distance measurement positions on the scan plane of the detection light, and the camera image and the scan image are displayed side by side on the screen. And a image display unit.
本発明の第2の態様による安全スキャナ用の設定支援装置は、安全スキャナ用の設定支援装置であって、安全スキャナが、検出光を検出領域に向けて投光する投光手段と、上記検出領域からの反射光を受光して受光信号を生成する受光手段と、上記受光信号に基づいて、上記検出領域までの距離を求める距離算出手段と、回転軸を中心として上記検出光を周方向に走査させる走査手段と、上記距離及び上記検出光の走査角からなる測距情報に基づいて、保護エリア内の侵入物を検知し、安全制御機器を制御するための安全制御信号を出力する侵入検知手段と、上記保護エリアを撮影してカメラ画像を生成する撮像手段とを備え、上記設定支援装置が、上記安全スキャナから、上記検出光を走査して得られる複数の上記測距情報と上記カメラ画像とを取得するスキャナ情報取得手段と、上記複数の測距情報が上記検出光のスキャン面上における複数の測距位置として示されたスキャン画像と上記カメラ画像とを画面内に並べて表示するスキャナ情報表示手段とを備える。 A setting support device for a safety scanner according to a second aspect of the present invention is a setting support device for a safety scanner, in which the safety scanner projects detection light toward a detection region, and the detection A light receiving means for receiving a reflected light from the area and generating a light receiving signal; a distance calculating means for obtaining a distance to the detection area based on the light receiving signal; and the detection light in the circumferential direction about a rotation axis. Intrusion detection that detects the intruder in the protection area and outputs a safety control signal for controlling the safety control device based on the scanning means to be scanned and the distance measurement information including the distance and the scanning angle of the detection light. And a plurality of distance measurement information obtained by scanning the detection light from the safety scanner and the camera. Picture And scanner information for displaying the scan images in which the plurality of distance measurement information are indicated as the plurality of distance measurement positions on the scan plane of the detection light and the camera images side by side on the screen. Display means.
この様な構成によれば、撮像手段により撮影されるカメラ画像には保護エリアが含まれるため、保護エリア及びその周辺の様子をカメラ画像によって確認することができる。また、カメラ画像を確認することにより、安全スキャナが設置面に対して傾いているか否かを容易に識別することができる。このため、設置面に対して傾いた状態で安全スキャナが設置されるのを抑制することができる。また、カメラ画像及びスキャン画像を画面内に並べて表示するため、安全スキャナの周辺環境と検出光の走査範囲との位置関係を容易に識別することができる。 According to such a configuration, since the protection image is included in the camera image captured by the imaging unit, it is possible to check the protection area and its surroundings from the camera image. In addition, by checking the camera image, it can be easily identified whether or not the safety scanner is inclined with respect to the installation surface. For this reason, it can suppress that a safety scanner is installed in the state inclined with respect to the installation surface. Further, since the camera image and the scanned image are displayed side by side on the screen, the positional relationship between the surrounding environment of the safety scanner and the scanning range of the detection light can be easily identified.
本発明の第3の態様による安全スキャナ用の設定支援装置は、上記構成に加え、上記スキャナ情報表示手段が、上記安全スキャナの走査周期に同期して上記スキャン画像を更新し、上記スキャン画像を動画像として表示するように構成される。この様な構成によれば、スキャン画像を確認することにより、安全スキャナの周辺環境の変化をリアルタイムに識別することができる。 According to a third aspect of the present invention, in addition to the above configuration, the scanner information display unit updates the scan image in synchronization with the scan period of the safety scanner, and the scan image is displayed on the scan scanner. It is configured to display as a moving image. According to such a configuration, a change in the surrounding environment of the safety scanner can be identified in real time by checking the scan image.
本発明の第4の態様による安全スキャナ用の設定支援装置は、上記構成に加え、上記安全スキャナの上記撮像手段が、互いに向きを異ならせて配置された2以上の固定カメラにより構成され、各固定カメラが上記カメラ画像を生成し、上記スキャナ情報表示手段が、互いに異なる上記固定カメラにより撮影された少なくとも2つの上記カメラ画像を上記スキャン画像と共に表示する際に、カメラ画像内における左右方向がスキャン画像と一致するようにカメラ画像を表示するとともに、カメラ画像の配列の左右方向がスキャン画像における固定カメラの配列と一致するように各カメラ画像を配置するように構成される。 A setting support device for a safety scanner according to a fourth aspect of the present invention is configured such that, in addition to the above configuration, the imaging unit of the safety scanner includes two or more fixed cameras arranged in different directions, When the fixed camera generates the camera image and the scanner information display means displays at least two of the camera images taken by the different fixed cameras together with the scan image, the horizontal direction in the camera image is scanned. The camera image is displayed so as to match the image, and each camera image is arranged so that the left-right direction of the array of camera images matches the array of fixed cameras in the scan image.
この様な構成によれば、画像の左右方向を一致させることができるため、カメラ画像とスキャン画像とを対比した際に、左右方向の位置関係を容易に把握することができる。また、固定カメラの配列に一致させて各カメラ画像を配置することができるため、各カメラ画像における被写体の位置とスキャン画像における位置とを容易に対応づけることができる。 According to such a configuration, since the left and right directions of the images can be matched, the positional relationship in the left and right direction can be easily grasped when the camera image and the scanned image are compared. Further, since each camera image can be arranged so as to match the arrangement of the fixed cameras, the position of the subject in each camera image can be easily associated with the position in the scan image.
本発明の第5の態様による安全スキャナ用の設定支援装置は、上記構成に加え、視点切替指示を受け付ける切替指示受付手段を備え、上記スキャナ情報表示手段が、上記視点切替指示に基づいて、表示中の上記カメラ画像の左右を反転させるとともに、表示中の上記スキャン画像の上下及び左右を反転させ、カメラ画像の配列の左右方向も反転させるように構成される。 A setting support device for a safety scanner according to a fifth aspect of the present invention includes a switching instruction receiving unit that receives a viewpoint switching instruction in addition to the above-described configuration, and the scanner information display unit displays based on the viewpoint switching instruction. The left and right sides of the camera image in the image are reversed, the scan image being displayed is vertically and horizontally reversed, and the left and right direction of the camera image array is also reversed.
この様な構成によれば、安全スキャナが画面表示の奥行き方向に向けて配置される場合と、安全スキャナが画面表示の手前方向に向けて配置される場合とのいずれの場合であっても、スキャン画像における左右方向の位置関係とカメラ画像における被写体の左右方向の位置関係とを直感的に対応づけることができる。 According to such a configuration, regardless of whether the safety scanner is arranged in the depth direction of the screen display or the safety scanner is arranged in the front direction of the screen display, The positional relationship in the left-right direction in the scan image can be intuitively associated with the positional relationship in the left-right direction of the subject in the camera image.
本発明の第6の態様による安全スキャナ用の設定支援装置は、上記構成に加え、ユーザ操作に基づいて、上記スキャン画像に対し、上記保護エリアの位置を指定するエリア指定手段を備え、上記スキャナ情報表示手段が、上記保護エリアを上記カメラ画像上に表示するように構成される。 A setting support device for a safety scanner according to a sixth aspect of the present invention includes, in addition to the above configuration, area designation means for designating the position of the protection area for the scanned image based on a user operation, and the scanner An information display means is configured to display the protection area on the camera image.
この様な構成によれば、被写体と保護エリアとの位置関係をカメラ画像によって確認することができるため、保護エリアが正しく設定されたか否かを容易に識別することができる。 According to such a configuration, since the positional relationship between the subject and the protection area can be confirmed by the camera image, it can be easily identified whether or not the protection area is set correctly.
本発明の第7の態様による安全スキャナ用の設定支援装置は、上記構成に加え、表示対象の計測ユニットを選択するための表示対象選択タブを表示する選択タブ表示手段を備え、接続中の上記安全スキャナが、2以上の上記計測ユニットにより構成され、上記計測ユニットが、上記投光手段、上記受光手段、上記距離算出手段、上記走査手段及び上記撮像手段を備え、上記スキャナ情報表示手段が、上記表示対象選択タブを操作することによって選択された上記計測ユニットに対応するカメラ画像及びスキャン画像を表示するように構成される。この様な構成によれば、表示対象選択タブを操作することにより、任意の計測ユニットを表示対象として選択し、対応するカメラ画像及びスキャン画像を表示させることができる。 A setting support device for a safety scanner according to a seventh aspect of the present invention includes a selection tab display means for displaying a display target selection tab for selecting a measurement unit to be displayed, in addition to the above configuration, A safety scanner includes two or more measurement units, and the measurement unit includes the light projecting unit, the light receiving unit, the distance calculating unit, the scanning unit, and the imaging unit, and the scanner information display unit is The camera image and the scan image corresponding to the measurement unit selected by operating the display target selection tab are displayed. According to such a configuration, by operating the display target selection tab, it is possible to select an arbitrary measurement unit as a display target and display a corresponding camera image and scan image.
本発明の第8の態様による安全スキャナ用の設定支援装置は、上記構成に加え、上記スキャナ情報表示手段が、上記計測ユニットごとに上記検知信号の出力状態を表示するように構成される。この様な構成によれば、ユーザは、検知信号の出力状態を計測ユニットごとに容易に識別することができる。 The setting support device for a safety scanner according to the eighth aspect of the present invention is configured such that, in addition to the above configuration, the scanner information display means displays the output state of the detection signal for each measurement unit. According to such a configuration, the user can easily identify the output state of the detection signal for each measurement unit.
本発明の第9の態様による安全スキャナ用の設定支援装置は、上記構成に加え、上記カメラ画像に基づいて、表示用の詳細確認画像及び上記詳細確認画像よりも画質を低下させたプライバシー画像を生成する表示画像生成手段と、上記詳細確認画像及び上記プライバシー画像のいずれか一方を表示画像として選択する表示画像選択手段とを備え、上記スキャナ情報表示手段が、上記表示画像選択手段により選択された表示画像を上記カメラ画像として表示し、上記表示画像選択手段が、ユーザ認証に成功した場合に、上記詳細確認画像を表示画像として選択する一方、ユーザ認証に失敗し、或いは、未認証である場合に、上記プライバシー画像を表示画像として選択するように構成される。この様な構成によれば、プライバシー画像を表示することにより、カメラ画像に映り込んだ作業者のプライバシーを保護し、或いは、セキュリティ情報を秘匿することができる。一方、詳細確認画像を表示することにより、安全スキャナの周辺環境や被写体を詳細に分析することができる。 A setting support device for a safety scanner according to a ninth aspect of the present invention includes a detailed confirmation image for display and a privacy image with a lower image quality than the detailed confirmation image based on the camera image, in addition to the above configuration. Display image generation means for generating, and display image selection means for selecting one of the detail confirmation image and the privacy image as a display image, and the scanner information display means is selected by the display image selection means When the display image is displayed as the camera image and the display image selection unit selects the detailed confirmation image as the display image when the user authentication is successful, the user authentication fails or is not authenticated. In addition, the privacy image is selected as a display image. According to such a configuration, by displaying the privacy image, it is possible to protect the privacy of the worker reflected in the camera image or to conceal the security information. On the other hand, by displaying the detailed confirmation image, it is possible to analyze the surrounding environment of the safety scanner and the subject in detail.
本発明の第10の態様による安全スキャナ用の設定支援装置は、上記構成に加え、上記スキャナ情報表示手段が、上記検出光を走査して得られる複数の上記測距情報に対応する複数の測距位置を上記カメラ画像上に表示するように構成される。この様な構成によれば、カメラ画像上の測距位置によって検出領域の境界を容易に識別することができる。 A setting support device for a safety scanner according to a tenth aspect of the present invention, in addition to the above configuration, includes a plurality of measurement information corresponding to the plurality of distance measurement information obtained by the scanner information display means scanning the detection light. The distance position is displayed on the camera image. According to such a configuration, the boundary of the detection area can be easily identified by the distance measurement position on the camera image.
本発明の第11の態様による安全スキャナ用の設定支援装置は、上記構成に加え、上記スキャナ情報表示手段が、上記スキャン画像内の位置を指定するための座標軸に平行な2以上のグリッド線を上記カメラ画像上に表示するように構成される。この様な構成によれば、カメラ画像上の位置をスキャン画像上の位置に容易に対応づけることができる。 According to an eleventh aspect of the present invention, in addition to the above-described configuration, the safety scanner setting support apparatus includes two or more grid lines parallel to a coordinate axis for specifying the position in the scan image. It is comprised so that it may display on the said camera image. According to such a configuration, the position on the camera image can be easily associated with the position on the scan image.
本発明の第12の態様による安全スキャナ用の設定支援装置は、上記構成に加え、上記安全スキャナが、上記測距情報に基づいて、上記スキャン画像を生成するスキャン画像生成手段を備え、上記スキャナ情報取得手段が、上記スキャン画像を上記安全スキャナから取得するように構成される。この様な構成によれば、設定支援装置側の処理負荷を軽減させることができる。 A setting support apparatus for a safety scanner according to a twelfth aspect of the present invention, in addition to the above configuration, the safety scanner includes a scan image generation unit that generates the scan image based on the distance measurement information, and the scanner An information acquisition means is configured to acquire the scanned image from the safety scanner. According to such a configuration, the processing load on the setting support apparatus side can be reduced.
本発明の第13の態様による安全スキャナ用の設定支援プログラムは、安全スキャナ用の設定支援プログラムであって、上記安全スキャナが、検出光を対象物に向けて投光する投光手段と、上記対象物からの反射光を受光して受光信号を生成する受光手段と、上記受光信号に基づいて、上記対象物までの距離を求める距離算出手段と、回転軸を中心として上記検出光を周方向に走査させる走査手段と、上記距離及び上記検出光の走査角からなる測距情報に基づいて、保護エリア内の侵入物を検知し、検知信号を出力する侵入検知手段と、上記保護エリアを撮影してカメラ画像を生成する撮像手段とを備え、上記設定支援プログラムが、上記安全スキャナから、上記検出光を走査して得られる複数の上記測距情報と上記カメラ画像とを取得するスキャナ情報取得手順と、上記複数の測距情報が上記検出光のスキャン面上における複数の測距位置として示されたスキャン画像と上記カメラ画像とを画面内に並べて表示するスキャナ情報表示手順とを備える。 A setting support program for a safety scanner according to a thirteenth aspect of the present invention is a setting support program for a safety scanner, wherein the safety scanner projects detection light toward an object, and A light receiving means for receiving a reflected light from the object and generating a light reception signal, a distance calculation means for obtaining a distance to the object based on the light reception signal, and a direction of the detection light around the rotation axis Scanning means for scanning, intrusion detection means for detecting an intruder in the protection area and outputting a detection signal based on distance measurement information comprising the distance and the scanning angle of the detection light, and photographing the protection area Imaging means for generating a camera image, and the setting support program obtains the plurality of distance measurement information and the camera image obtained by scanning the detection light from the safety scanner. A canner information acquisition procedure, and a scanner information display procedure in which the plurality of distance measurement information is displayed as a plurality of distance measurement positions on the scan surface of the detection light and the camera image is displayed side by side on the screen. Prepare.
本発明によれば、カメラ画像及びスキャン画像を画面内に並べて表示するため、スキャン画像と実空間との対応関係を容易に把握することができる。また、保護エリア及びその周辺の様子をカメラ画像によって確認することができるため、安全スキャナが正しく設置されているか否かを識別することができる。特に、安全スキャナの向きの誤りや、スキャン面の設置面に対する傾きを抑制することができる。また、被写体と保護エリアとの位置関係をカメラ画像によって確認することができるため、保護エリアが正しく設定されたか否かを容易に識別することができる。 According to the present invention, since the camera image and the scanned image are displayed side by side on the screen, the correspondence between the scanned image and the real space can be easily grasped. In addition, since the protection area and the surrounding area can be confirmed by the camera image, it is possible to identify whether or not the safety scanner is correctly installed. In particular, an error in the orientation of the safety scanner and an inclination of the scan surface with respect to the installation surface can be suppressed. In addition, since the positional relationship between the subject and the protection area can be confirmed by the camera image, it can be easily identified whether or not the protection area is set correctly.
まず、本発明が前提とする光学安全システムの概略構成について、図1〜図4を用いて以下に説明する。 First, a schematic configuration of an optical safety system assumed by the present invention will be described below with reference to FIGS.
<光学安全システム1>
図1は、本発明の実施の形態による光学安全システム1の一構成例を示したシステム図である。この光学安全システム1は、保護エリア内の侵入物を検知して検知信号を出力する安全スキャナ10と、保護エリアを含む設定データを作成するための設定支援装置20とにより構成される。安全スキャナ10及び設定支援装置20は、通信ケーブル2を介して互いに接続されている。
<Optical safety system 1>
FIG. 1 is a system diagram showing a configuration example of an optical safety system 1 according to an embodiment of the present invention. The optical safety system 1 includes a
検知信号は、安全制御機器(図示せず)を制御するための安全制御信号である。安全制御機器は、工作機械、産業用ロボット等を制御する制御装置、例えば、PLC(プログラマブルロジックコントローラ)である。検知信号の出力状態をオフ状態に切り替えることにより、安全制御機器が制御対象とする機械の動作を停止させることができる。 The detection signal is a safety control signal for controlling a safety control device (not shown). The safety control device is a control device that controls a machine tool, an industrial robot, or the like, for example, a PLC (programmable logic controller). By switching the output state of the detection signal to the off state, the operation of the machine controlled by the safety control device can be stopped.
保護エリアは、侵入物検知の監視対象とするエリアである。例えば、工作機械や産業用ロボットの作業エリア、搬送車両の移動エリアなど、機械設備周辺の領域が保護エリアとして指定される。 The protection area is an area to be monitored for intrusion detection. For example, areas around machine equipment, such as work areas for machine tools and industrial robots, and movement areas for transport vehicles, are designated as protection areas.
安全スキャナ10は、保護エリア内の侵入物を光学的に検知する光走査型のセーフティセンサであり、表示ユニット11及び計測ユニット12により構成される。表示ユニット11は、ユーザ操作を受け付け、動作状態、設定データ等を表示するユーザインターフェースユニットであり、通信ケーブル2の接続口、安全制御信号の出力ポート等が設けられる。
The
計測ユニット12は、検出エリアに対し、検出光を投光し、検出エリア内の対象物からの反射光を受光して侵入物を検知するセンサヘッドユニットである。検出エリアは、計測ユニット12により検出可能な最大のエリアである。保護エリアは、検出エリア内において指定される領域である。計測ユニット12には、回転軸を中心として検出光を周方向に走査させる回転光学系、保護エリアを撮影してカメラ画像を生成するカメラ等が設けられる。
The
安全スキャナ10には、保護エリア以外に警告エリアを設定することができる。安全スキャナ10は、警告エリア内の侵入物を検知すれば、補助出力信号を出力し、表示灯の点灯等によりユーザ報知を行う。
In the
例えば、計測ユニット12は、水平な床面等に設置される。表示ユニット11は、OSSD(Output Signal Switching Device)を有し、保護エリア内に侵入物が存在していない状態では、OSSDがオン状態になり、オン状態の検知信号が出力される。一方、保護エリア内に侵入物が存在している状態では、OSSDがオフ状態になり、オフ状態の検知信号が出力される。
For example, the
設定支援装置20は、ディスプレイ21、キーボード22及びマウス23を備えた情報処理端末、例えば、パーソナルコンピュータである。例えば、設定支援装置20では、保護エリアや計測条件を指定する設定データが作成される。また、設定支援装置20では、安全スキャナ10から測距情報やカメラ画像を取得してディスプレイ21に表示する動作が行われる。
The setting
例えば、設定支援装置20は、安全スキャナ用の設定支援プログラムに基づいて、コンピュータを動作させることにより実現することができる。また、その様な設定支援プログラムは、CD−ROMなどのコンピュータ読み取り可能な記録媒体に記録して提供され、或いは、ネットワークを介して提供される。
For example, the setting
<安全スキャナ10>
図2は、図1の安全スキャナ10の構成例を示した図であり、表示ユニット11を計測ユニット12から分離させることができる分離型のセーフティセンサが示されている。図中には、安全スキャナ10を前方から見た場合が示されている。表示ユニット11及び計測ユニット12は、図示しない配線ケーブルを介して互いに接続される。この表示ユニット11には、同時に2以上の計測ユニット12を接続することができる。
<
FIG. 2 is a diagram illustrating a configuration example of the
計測ユニット12のスキャナ筐体120は、検出光を水平方向に向けて出射するとともに検出光を水平なスキャン面3に沿って走査させる回転光学系を収容する筐体であり、回転光学系の収容部には、回転光学系を保護するための保護カバー121が装着されている。スキャン面3は、回転光学系の回転軸に直交する平面である。
The
検出光には、例えば、赤外線領域の波長を有するレーザー光が用いられる。検出光は、一定の走査周期で繰返し走査される。スキャナ筐体120には、2つの固定カメラ122及び123と、検知信号の出力状態を表示するインジケータ124とが配設されている。固定カメラ122,123及びインジケータ124は、回転光学系の収容部よりも上側に配置されている。
For example, laser light having a wavelength in the infrared region is used as the detection light. The detection light is repeatedly scanned at a constant scanning cycle. The
固定カメラ122及び123は、いずれも保護エリアを撮影してカメラ画像を生成する撮像装置であり、互いに向きを異ならせて配置される。固定カメラ122は、計測ユニット12に向かう方向から見れば、インジケータ124よりも左側に配置されている。一方、固定カメラ123は、計測ユニット12に向かう方向から見れば、インジケータ124よりも右側に配置されている。つまり、固定カメラ122及び123は、回転光学系の回転軸に対し、周方向の位置を異ならせて配置され、固定カメラ122が、計測ユニット12から見て前後方向よりも右側の領域を画角内に収めるカメラであるのに対し、固定カメラ123は、計測ユニット12から見て前後方向よりも左側の領域を画角内に収めるカメラである。固定カメラ122及び123は、スキャン面3よりも上側に配置されるため、スキャン面3を俯瞰するカメラ画像を得ることができる。
Each of the fixed
固定カメラ122及び123は、好ましくは、保護エリアだけでなく保護エリアの周辺も撮影する。或いは、固定カメラ122及び123は、さらに好ましくは、警告エリアとして設定可能な領域とその周辺とを撮影する。
The fixed
インジケータ124は、検知信号の出力状態や動作状態を表示する表示灯である。このインジケータ124は、検知信号の出力状態に応じて異なる表示色で点灯する。例えば、インジケータ124は、OSSDがオフ状態である場合に赤色で点灯し、OSSDがオン状態である場合に緑色で点灯する。
The
表示ユニット11は、計測ユニット12の上面に配置される。表示ユニット11には、表示パネル111、インジケータ112、操作キー113及びケーブル接続口114が配設されている。
The
表示パネル111は、動作状態、測距情報、カメラ画像、設定データ等を画面表示する表示装置である。例えば、表示パネル111は、LCD(液晶ディスプレイ)パネルである。インジケータ112は、動作状態、検知信号の出力状態等を表示するための表示灯である。ケーブル接続口114は、通信ケーブル2が着脱可能に接続される入出力端子部である。表示ユニット11は、計測ユニット12との通信を行い、計測ユニット12から離間した位置にあっても、監視対象エリアや侵入物の検知履歴を確認することができる。
The
<計測ユニット12>
図3は、図2の計測ユニット12内の機能構成の一例を示したブロック図である。この計測ユニット12は、投光制御部30、投光光源部31、走査部32、ロータリーエンコーダ33、受光部34、距離算出部35、侵入検知部36、入出力ポート37、エリア記憶部38、スキャン画像生成部39、固定カメラ122及び123により構成される。
<
FIG. 3 is a block diagram showing an example of a functional configuration in the
投光光源部31は、LD(レーザダイオード)又はLED(発光ダイオード)などの発光素子からなり、検出光を生成する。投光制御部30は、投光光源部31を制御し、パルス状の検出光を一定の時間間隔で発生させる。走査部32は、検出光を対象物に向けて出射するとともに、回転軸を中心として検出光を周方向に走査させる回転光学系と、回転軸を中心として回転光学系を回転させる駆動部とにより構成される。例えば、走査部32の回転光学系は、検出光を対象物に向けて反射する投光ミラーと、対象物からの反射光を入射させる受光レンズと、受光レンズを透過した反射光を受光素子に向けて反射する受光ミラーとにより構成される。
The light projecting
受光部34は、PD(フォトダイオード)などの受光素子からなり、対象物からの反射光を受光して受光信号を生成する。ロータリーエンコーダ33は、回転光学系の回転を検出し、パルス繰り返し間隔が回転速度に対応するパルス信号を生成する回転検出装置である。投光制御部30は、ロータリーエンコーダ33のパルス信号に基づいて、投光光源部31を制御し、検出光の投光タイミングを調整する。例えば、走査部32の回転光学系が360°/1000だけ回転するごとに、検出光が出射される。
The
距離算出部35は、受光部34からの受光信号に基づいて、対象物までの距離を求める。この距離算出部35は、TOF(Time Of Flight:飛行時間)方式で距離計測を行う測距部であり、受光信号をロータリーエンコーダ33のパルス信号と比較し、検出光を投光したときから当該検出光に対応する反射光が受光されるまでの遅延時間を特定することにより、対象物までの距離を検出距離として算出する。
The
侵入検知部36は、距離算出部35により求められた検出距離と検出光の走査角とからなる測距情報に基づいて、保護エリア内の侵入物を検知し、検知信号を出力する。検出光の走査角は、ロータリーエンコーダ33のパルス信号に基づいて、特定される。また、侵入物が保護エリア内に存在するか否かは、検出距離と検出光の走査角とから侵入物の2次元位置を特定することによって判別される。
The
検知信号は、入出力ポート37を介して表示ユニット11へ送信される。入出力ポート37は、表示ユニット11との通信を行う通信インターフェース部であり、表示ユニット11から設定データを受信する一方、動作状態、測距情報、検知信号、スキャン画像及びカメラ画像を表示ユニット11へ送信する。エリア記憶部38には、保護エリア等の監視対象エリアの2次元位置を示す位置情報が保持される。監視対象エリアの位置情報は、入出力ポート37を介して表示ユニット11から取得される。
The detection signal is transmitted to the
スキャン画像生成部39は、反射光検出時に取得された走査角及び検出距離からなる測距情報に基づいて、スキャン画像を生成する。スキャン画像は、検出光の走査周期内において得られる複数の測距情報が2次元表示された画像であり、各測距情報は、その走査角及び検出距離によって特定されるスキャン面3上の測距位置として示されている。スキャン画像と、カメラ122及び123により撮影されたカメラ画像とは、入出力ポート37を介して表示ユニット11へ送信される。
The scan
なお、1台の表示ユニット11に対して1台の計測ユニット12が接続される安全スキャナ10の例を示したが、1台の表示ユニット11に対して複数台の計測ユニット12を接続することが可能な構成であっても良い。この場合、表示ユニット11のOSSDは、対象となる全ての計測ユニット12が、各々の保護エリアにおいてOSSDをオン状態とすべき状態と確認した場合に、OSSDがオン状態となり、その他の場合にはOSSDがオフ状態となる。スキャン画像生成部39を計測ユニット12に設けることにより、スキャン画像生成処理の負荷を分散させることができる。
Although an example of the
<表示ユニット11>
図4は、図2の表示ユニット11内の機能構成の一例を示したブロック図である。この表示ユニット11は、操作部40、制御部41、入出力ポート42、表示部43、外部通信ポート44、メモリ45及び外部出力ポート46により構成される。入出力ポート42は、計測ユニット12との通信を行う通信インターフェース部であり、設定データを計測ユニット12へ送信する一方、計測ユニット12から動作状態、測距情報、検知信号、スキャン画像及びカメラ画像を受信する。
<
FIG. 4 is a block diagram showing an example of a functional configuration in the
外部通信ポート44は、設定支援装置20との通信を行う通信インターフェース部であり、設定支援装置20から設定データを受信する一方、動作状態、測距情報、スキャン画像及びカメラ画像を設定支援装置20へ送信する。外部出力ポート46は、OSSDの出力信号(オン状態又はオフ状態)を検知信号(安全制御信号)として安全制御機器へ出力するインターフェース部である。なお、外部出力ポート46は、安全制御機器との双方向の通信によって、OSSDの出力信号(オン状態又はオフ状態)を検知信号(安全制御信号)として安全制御機器へ送信するような構成であっても良い。
The
操作部40は、操作キー113の押下操作に基づいて、操作信号を生成し、制御部41へ出力する。表示部43は、表示パネル111及びインジケータ112を駆動し、設定データ、動作状態、測距情報、スキャン画像及びカメラ画像を表示する。
The
制御部41は、計測ユニット12に対する検出光の走査制御や、カメラ画像及びスキャン画像の表示制御等を行う。メモリ45には、設定データ、測距情報、スキャン画像及びカメラ画像が保持される。なお、スキャン画像生成部39が、計測ユニット12に設けられる安全スキャナ10の例を示したが、これに代えて、スキャン画像生成部39を表示ユニット11に設けるような構成であっても良い。或いは、スキャン画像生成部39を表示ユニット11及び計測ユニット12にそれぞれ設けるような構成であっても良い。この場合、計測ユニット12と表示ユニット11との間でスキャン画像を送受信する代わりに、測距情報を送受信することになり、通信速度が遅い場合であっても、スキャン画像の表示が容易となる。
The
次に、本発明による光学安全システム1のさらに詳細な構成について、図5〜図11を用いて以下に説明する。 Next, the further detailed structure of the optical safety system 1 by this invention is demonstrated below using FIGS.
<設定支援装置20>
図5は、図1の設定支援装置20内の機能構成の一例を示したブロック図である。この設定支援装置20は、通信部201、スキャナ情報取得部202、スキャナ情報記憶部203、スキャナ情報表示部204、操作部205、切替指示受付部206、表示画像選択部207、選択タブ表示部208、エリア指定部209、エリア記憶部210及び表示画像生成部211により構成される。
<Setting
FIG. 5 is a block diagram showing an example of a functional configuration in the setting
通信部201は、安全スキャナ10の表示ユニット11との通信を行うインターフェース部であり、設定データを安全スキャナ10へ送信する一方、安全スキャナ10から動作状態、測距情報、スキャン画像及びカメラ画像を受信する。操作部205は、キーボード22及びマウス23の操作に基づいて、操作信号を生成する。
The
スキャナ情報取得部202は、安全スキャナ10から、測距情報、カメラ画像及びスキャン画像を取得し、スキャナ情報記憶部203内にスキャナ情報として格納する。測距情報は、一定の走査角ごとに算出された検出距離からなる。
The scanner
スキャナ情報表示部204は、ディスプレイ21を駆動し、スキャン画像及びカメラ画像をシステム画面内に並べて表示する。スキャン画像及びカメラ画像は、同一画面に同時に表示される。例えば、システム画面内に、互いに重複しないように第1の表示サブ領域及び第2の表示サブ領域が設けられ、第1の表示サブ領域にスキャン画像が表示され、第2の表示サブ領域にカメラ画像が表示される。また、スキャン画像及びカメラ画像を同時に表示する際には、スキャン画像に対応した位置にカメラ画像が表示される。
The scanner
スキャン画像は、検出光の走査周期に対応する一定のフレームレートで更新される動画像である。スキャナ情報表示部204は、安全スキャナ10の走査周期に同期してスキャン画像を更新することにより、スキャン画像を動画像として表示する。また、カメラ画像は、一定のフレームレートで更新される動画像である。スキャナ情報表示部204は、システム画面に表示中のカメラ画像を一定のフレームレートで更新することにより、カメラ画像を動画像として表示する。
The scanned image is a moving image that is updated at a constant frame rate corresponding to the scanning period of the detection light. The scanner
例えば、カメラ画像のフレームレートは、8フレーム/秒である。また、スキャン画像のフレームレートは、カメラ画像のフレームレートと同程度である。例えば、スキャン画像のフレームレートは、8〜20フレーム/秒である。 For example, the frame rate of the camera image is 8 frames / second. Further, the frame rate of the scanned image is approximately the same as the frame rate of the camera image. For example, the frame rate of the scanned image is 8 to 20 frames / second.
また、スキャナ情報表示部204は、互いに異なる固定カメラ122及び123により撮影された少なくとも2つのカメラ画像をスキャン画像と共にシステム画面に表示する際に、カメラ画像内における左右方向がスキャン画像と一致するようにカメラ画像を表示する。また、スキャナ情報表示部204は、カメラ画像の配列の左右方向がスキャン画像における固定カメラの配列と一致するように各カメラ画像を配置する。
In addition, when the scanner
切替指示受付部206は、操作部205からの操作信号に基づいて、視点切替指示を受け付ける。スキャナ情報表示部204は、切替指示受付部206の視点切替指示に基づいて、システム画面に表示中のカメラ画像の左右を反転させるとともに、システム画面に表示中のスキャン画像の上下及び左右を反転させ、さらに、カメラ画像の配列の左右方向も反転させる。例えば、左右が反転したカメラ画像や、上下左右が反転したスキャン画像は、視点切替指示を受け付けた時点で、表示画像として作成される。
The switching
選択タブ表示部208は、2以上の計測ユニット12が共通の表示ユニット11に接続されている場合に、表示対象の計測ユニット12を選択するための表示対象選択タブをシステム画面に表示する。スキャナ情報表示部204は、表示対象選択タブを操作することによって選択された計測ユニット12に対応するカメラ画像及びスキャン画像をシステム画面に表示する。
When two or
エリア指定部209は、ユーザ操作に基づいて、システム画面に表示中のスキャン画像に対し、監視対象エリアの位置を指定する。監視対象エリアには、侵入物を検知した場合に検知信号の出力が行われる保護エリアと、侵入物を検知した場合に検知信号の出力を行わずにユーザ報知が行われる警告エリアとがある。
The
エリア記憶部210には、エリア指定部209によって指定された監視対象エリアを示すエリア設定情報が保持される。スキャナ情報表示部204は、エリア記憶部210内のエリア設定情報に基づいて、監視対象エリアをカメラ画像上に表示する。
The
表示画像生成部211は、安全スキャナ10から取得されたカメラ画像に基づいて、表示用の詳細確認画像及びプライバシー画像を生成する。詳細確認画像は、カメラ122又は123により撮影されたカメラ画像を縮小することによって得られる表示用画像である。プライバシー画像は、作業者個人やセキュリティ情報を識別し難くした表示用画像であり、詳細確認画像よりも画質を低下させることによって得られる。
The display
プライバシー画像を得るためのフィルタ処理には、各種の画像フィルタを採用することができる。例えば、画像領域を多数の処理ブロックに分割し、処理ブロック内の各画素について、画素値を代表値に置き換えることにより、物理的解像度を低下させて画像をぼかすモザイク処理がカメラ画像に対して行われる。 Various image filters can be employed for the filter processing for obtaining the privacy image. For example, the image area is divided into a large number of processing blocks, and for each pixel in the processing block, the pixel value is replaced with a representative value, so that mosaic processing is performed on the camera image to reduce the physical resolution and blur the image. Is called.
処理ブロックの形状やサイズと、処理ブロックの配置態様は、任意に指定することができる。代表値は、処理ブロックを代表する画素値であり、処理ブロック内の画素に関する画素値の平均値、中央値又は最頻値により定められる。 The shape and size of the processing block and the arrangement mode of the processing block can be arbitrarily designated. The representative value is a pixel value that represents the processing block, and is determined by an average value, a median value, or a mode value of the pixel values regarding the pixels in the processing block.
表示画像選択部207は、詳細確認画像及びプライバシー画像のいずれか一方を表示画像として選択する。スキャナ情報表示部204は、表示画像選択部207により選択された表示画像をカメラ画像として表示する。表示画像選択部207は、ユーザ認証に成功した場合に、詳細確認画像を表示画像として選択する。一方、表示画像選択部207は、ユーザ認証に失敗し、或いは、未認証である場合に、プライバシー画像を表示画像として選択する。ユーザ認証は、安全スキャナ10から認証用の登録情報を取得し、パスワード等の入力情報と照合することによって行われる。
The display
また、スキャナ情報表示部204は、計測ユニット12ごとの安全制御信号の出力状態をシステム画面に表示する。スキャナ情報表示部204は、測距情報に基づいて、検出距離に対応する位置が走査角ごとに示された測距位置をカメラ画像上に表示する。さらに、スキャナ情報表示部204は、スキャン画像内の位置を指定するための座標軸に平行な2以上のグリッド線をカメラ画像上に表示する。
The scanner
カメラ122及び123の画角内の位置と検出光の走査角とを対応づけるパラメータは、安全スキャナ10に保持される。設定支援装置20は、安全スキャナ10からその様なパラメータを取得して、測距線をカメラ画像上に表示する。
A parameter that associates the positions of the
<システム画面4>
図6は、図5の設定支援装置20の動作の一例を示した図であり、モニター機能を選択した場合のシステム画面4が示されている。システム画面4は、安全スキャナ10の動作設定を行い、安全スキャナ10の動作状態や測距情報を表示するための画面である。このシステム画面4には、画像表示領域50が設けられ、画像表示領域50内にカメラ画像53,54及びスキャン画像58が表示されている。カメラ画像53及び54は、スキャン画像58よりも上側に配置されている。
<
FIG. 6 is a diagram showing an example of the operation of the setting
また、システム画面4には、安全スキャナ10の動作状態51、表示対象選択タブ52、OSSD状態55、バンク番号56、計測ユニットの検知状態57が表示されている。表示対象選択タブ52は、画像表示領域50よりも上側に配置されている。また、動作状態51、OSSD状態55、バンク番号56及び検知状態57は、画像表示領域50よりも左側に配置されている。
The
カメラ画像53は、計測ユニット12を上方から見て、前方よりも左側の領域に撮影方向が向けられたカメラ123により撮影された撮影画像である。一方、カメラ画像54は、計測ユニット12を上方から見て、前方よりも右側の領域に撮影方向が向けられたカメラ122により撮影された撮影画像である。
The
カメラ画像53及び54には、機械設備や建屋の壁、天井、床面等が被写体として映っている。このカメラ画像53及び54には、測距線5が重畳されている。この測距線5は、検出距離に対応する測距位置を一定の走査角ごとにプロットした多数のドットにより構成される。この様な測距線5は、検出距離と検出光の走査角とに基づいて、対象物の3次元空間内における位置を特定し、その3次元位置とカメラ122,123の画角との位置関係に基づいて、対象物のカメラ画像53及び54における2次元位置を特定することにより、表示される。カメラ画像53及び54上の測距線5によってスキャン面3の位置を容易に識別することができる。
In the
スキャン画像58は、スキャン面3に平行な平面内に測距線が描画された測距線画像である。スキャン画像58上の測距線は、検出領域の境界を示す図形であり、検出距離に対応する測距位置を一定の走査角ごとにプロットした折れ線により構成される。このスキャン画像58には、計測ユニット12を中心とし、前後方向をy軸、左右方向をx軸とする直交座標が配置され、保護エリア7を示す図形が重畳されている。
The
カメラ画像53及び54では、保護エリア7の内側と外側とで測距線5の表示態様、例えば、ドットの色が異なる。例えば、保護エリア7の内側では測距線5が赤色で表示され、保護エリア7の外側では測距線5が緑色で表示される。この様に測距線の表示態様を異ならせることにより、保護エリア7内の侵入物6を容易に識別することができる。
In the
カメラ画像53及び54は、いずれも左右方向がスキャン画像58と一致するように表示される。計測ユニット12の正面方向、すなわち、y軸の正方向をシステム画面4の上側に向けてスキャン画像58が表示されている場合、カメラ画像53及び54は、画像内の左側の領域がスキャン画像58の左側の領域に対応し、右側の領域がスキャン画像58の右側の領域に対応するように表示される。
The
また、各カメラ画像53及び54は、システム画面4内における左右の配列がスキャン画像58内における固定カメラ122及び123の配列と一致するように配置される。例えば、カメラ画像53は、スキャン画像58の左側の領域を撮影する固定カメラ123に対応し、システム画面4内の左側に配置される。一方、カメラ画像54は、スキャン画像58の右側の領域を撮影する固定カメラ122に対応し、システム画面4内の右側に配置される。
The
また、スキャン画像58に隣接させて、拡大縮小ボタン59、全画面ボタン60及び反転ボタン61が配置されている。拡大縮小ボタン59は、スキャン画像58を拡大又は縮小させるための操作アイコンである。全画面ボタン60は、スキャン画像58を画像表示領域50の全体まで拡大して表示するための操作アイコンである。反転ボタン61は、視点切替用の操作アイコンであり、反転ボタン61を操作することにより、スキャン画像58の左右及び上下が反転する。また、各カメラ画像53及び54は、反転表示されたスキャン画像58に対応してスキャン画像58の下方に配置されるとともに左右の配置が切り替わり、各カメラ画像53及び54の左右も反転する。
Further, an enlargement /
動作状態51には、通常状態、エラー状態又は起動中のいずれかが、安全スキャナ10の動作状態として表示される。表示対象選択タブ52は、表示対象の計測ユニット12を選択するための操作アイコンである。表示対象選択タブ52を操作することにより、任意の計測ユニット12を表示対象として選択し、対応するカメラ画像及びスキャン画像を表示させることができる。
In the
OSSD状態55には、検知信号の出力状態が表示される。OSSD状態55の表示により、検知信号がオン状態であるのか、或いは、オフ状態であるのかと、検知出力を遅延させるディレイ処理中であるか否かと、安全スキャナ10がインターロック中であるか否かとを容易に識別することができる。
In the
バンク番号56には、バンク機能が有効である場合に、侵入検知に用いている設定バンクを示すバンク番号が表示される。設定バンクは、保護エリア7及び走査条件を指定する設定データからなる。安全スキャナ10では、1つの計測ユニット12に対し、2以上の設定バンクを登録することができる。検知状態57には、計測ユニット12ごとの検知状態が表示される。この例では、保護エリア7内の侵入物の有無と、警告エリア内の侵入物の有無とが個別に表示されている。ユーザは、各計測ユニット12の検知信号の出力状態を容易に識別することができる。
The
画像表示領域50内には、保護エリア7をカメラ画像53及び54に重複させて表示するエリアオーバーレイ表示機能を選択するためのチェックボックス62が配置されている。チェックボックス62にチェックマークを入力することにより、システム画面4に表示中のカメラ画像53及び54に対し、保護エリア7を重複させて表示することができる。
A
この様なシステム画面4を表示することにより、保護エリア7及びその周辺の様子をカメラ画像53及び54によって確認することができる。また、カメラ画像53及び54を確認することにより、安全スキャナ10が設置面に対して傾いているか否かを容易に識別することができる。また、カメラ画像53,54及びスキャン画像58を同一画面内に同時に表示するため、安全スキャナ10の周辺環境と検出光の走査範囲との位置関係を容易に識別することができる。
By displaying such a
図7は、システム画面4に表示中のカメラ画像53を示した図であり、保護エリア7をオーバーレイ表示させる機能を選択した場合が示されている。このカメラ画像53には、保護エリア7を示す図形が重畳されている。被写体と保護エリア7との位置関係をカメラ画像53によって容易に識別することができる。
FIG. 7 is a diagram showing a
図8は、図5の設定支援装置20の動作の一例を示した図であり、表示画像を反転させる機能を選択した場合のシステム画面4が示されている。反転ボタン61を操作することにより、スキャン画像58の左右及び上下が反転し、スキャン画像58の反転に合わせて、カメラ画像53及び54の左右が反転するとともに、各カメラ画像53,54及びスキャン画像58の配列が調整される。
FIG. 8 is a diagram showing an example of the operation of the setting
このシステム画面4では、カメラ画像53及び54がスキャン画像58よりも下側に配置されている。また、スキャン画像58は、計測ユニット12の正面方向をシステム画面4の下側に向けて表示されている。カメラ画像53及び54は、画像内の左側の領域がスキャン画像58の左側の領域に対応し、右側の領域がスキャン画像58の右側の領域に対応するように表示される。
On the
さらに、カメラ画像53は、スキャン画像58の右側の領域を撮影する固定カメラ123に対応し、システム画面4内の右側に配置される。一方、カメラ画像54は、スキャン画像58の左側の領域を撮影する固定カメラ122に対応し、システム画面4内の左側に配置される。
Further, the
この様に構成することにより、画像の左右方向を一致させることができるため、カメラ画像53及び54とスキャン画像58とを対比した際に、左右の位置関係を容易に把握することができる。また、固定カメラ122及び123の配列に一致させて各カメラ画像53及び54を配置するため、カメラ画像53及び54における被写体の左右方向の位置とスキャン画像58における左右方向の位置とを容易に対応づけることができる。
By configuring in this way, the left and right directions of the images can be matched, so that when the
さらに、安全スキャナ10が設定支援装置20の画面表示の奥行き方向に向けて配置される場合と、安全スキャナ10が画面表示の手前方向に向けて配置される場合とのいずれの場合であっても、スキャン画像58における位置関係とカメラ画像53及び54における被写体の位置関係とを直感的に対応づけることができる。
Furthermore, whether the
図9及び図10は、図5の設定支援装置20の動作の一例を示した図であり、プライバシー保護機能を選択した場合が示されている。図9には、詳細確認画像531がカメラ画像53としてシステム画面4に表示される場合が示されている。図10には、プライバシー画像532がカメラ画像53としてシステム画面4に表示される場合が示されている。
FIGS. 9 and 10 are diagrams illustrating an example of the operation of the setting
プライバシー画像532は、詳細確認画像531に比べ、画質を低下させた表示画像であり、カメラ画像を低解像度化するモザイク処理によって作成される。この例では、モザイク処理が画像全体に施されている。
The
この様なプライバシー画像532を表示することにより、カメラ画像に映り込んだ作業者6のプライバシーを保護し、或いは、セキュリティ情報を秘匿することができる。一方、詳細確認画像531を表示することにより、安全スキャナ10の周辺環境や被写体を詳細に分析することができる。
By displaying such a
図11は、図5の設定支援装置20の動作の一例を示した図であり、エリア設定機能を選択した場合のシステム画面4が示されている。このシステム画面4には、画像表示領域50、表示対象選択タブ52及び作業手順表示領域63が設けられている。作業手順表示領域63には、エリア設定のための作業手順が表示される。
FIG. 11 is a diagram showing an example of the operation of the setting
画像表示領域50には、スキャン画像58が表示されている。このスキャン画像58は、画像表示領域50全体に拡大して表示されている。スキャン画像58には、計測ユニット12の位置を原点とする座標軸と、座標軸に平行な2以上のグリッド線とが描画されている。x軸に平行な2以上のグリッド線とy軸に平行な2以上のグリッド線とは、いずれも等間隔に配置されている。また、スキャン画像58には、監視対象エリア9を示す図形と、走査範囲の限界を示す領域が描画されている。
A scanned
このシステム画面4では、カメラ画像53及び54を表示するためのライブ映像画面8が画像表示領域50上に表示されている。ライブ映像画面8は、スキャン画像58に重畳させて表示される。ライブ映像画面8には、表示対象の計測ユニット12を選択するための表示対象選択タブ71と、カメラ画像53及び54を表示するための画像表示領域72とが設けられている。
On the
カメラ画像53及び54は、いずれも左右方向がスキャン画像58と一致するように表示される。また、各カメラ画像53及び54は、システム画面4内における左右の配列がスキャン画像58内における固定カメラ122及び123の配列と一致するように配置される。表示対象選択タブ71を操作することにより、表示対象の計測ユニット12を変更することができる。
The
カメラ画像54には、監視対象エリア9を示す図形が重畳されている。被写体と監視対象エリア9との位置関係をカメラ画像54によって容易に識別することができる。この様なシステム画面4を表示することにより、被写体と監視対象エリア9との位置関係をカメラ画像54によって確認することができるため、監視対象エリア9が正しく設定されたか否かを容易に識別することができる。
On the
監視対象エリア9として指定される保護エリア7と警告エリアとは、表示色を異ならせてスキャン画像58、カメラ画像53及び54に表示される。例えば、保護エリア7は、赤色の領域として表示されるのに対し、警告エリアは、黄色の領域として表示される。また、保護エリア7及び警告エリアは、背景が透けて見えるように半透明の領域としてカメラ画像53又は54上に表示される。
The
本実施の形態によれば、検出光の走査範囲を容易に識別することができ、設置面に対して傾いた状態で安全スキャナ10が設置されるのを抑制することができる。また、監視対象エリア9が正しく設定されたか否かを容易に識別することができる。
According to the present embodiment, it is possible to easily identify the scanning range of the detection light, and to prevent the
なお、本実施の形態では、2つのカメラ画像53及び54がスキャン画像58とともにシステム画面4内に表示される場合の例について説明したが、本発明は、カメラ画像の表示形態をこれに限定するものではない。例えば、3以上のカメラ画像がスキャン画像58とともにシステム画面4内に表示されるような構成であっても良い。また、画角が検出光の走査範囲をカバーする広角カメラが計測ユニットに設けられている場合は、広角カメラにより撮影された1つのカメラ画像がスキャン画像58とともにシステム画面4内に表示されるような構成であっても良い。
In the present embodiment, an example in which two
また、本実施の形態では、安全スキャナ10がスキャン画像58を生成する場合の例について説明したが、本発明は、設定支援装置20が、安全スキャナ10から取得した測距情報に基づいて、スキャン画像58を生成するような構成であっても良い。
In the present embodiment, an example in which the
1 光学安全システム
10 安全スキャナ
11 表示ユニット
111 表示パネル
112 インジケータ
113 操作キー
114 ケーブル接続口
12 計測ユニット
120 スキャナ筐体
121 保護カバー
122,123 固定カメラ
124 インジケータ
20 設定支援装置
21 ディスプレイ
22 キーボード
23 マウス
30 投光制御部
31 投光光源部
32 走査部
33 ロータリーエンコーダ
34 受光部
35 距離算出部
36 侵入検知部
37 入出力ポート
38 エリア記憶部
39 スキャン画像生成部
50 画像表示領域
52 表示対象選択タブ
53,54 カメラ画像
531 詳細確認画像
532 プライバシー画像
58 スキャン画像
201 通信部
202 スキャナ情報取得部
203 スキャナ情報記憶部
204 スキャナ情報表示部
205 操作部
206 切替指示受付部
207 表示画像選択部
208 選択タブ表示部
209 エリア指定部
210 エリア記憶部
211 表示画像生成部
2 通信ケーブル
3 スキャン面
4 システム画面
5 測距線
6 侵入物
7 保護エリア
8 ライブ映像画面
9 監視対象エリア
DESCRIPTION OF SYMBOLS 1
Claims (13)
上記対象物からの反射光を受光して受光信号を生成する受光手段と、
上記受光信号に基づいて、上記対象物までの距離を求める距離算出手段と、
回転軸を中心として上記検出光を周方向に走査させる走査手段と、
上記距離及び上記検出光の走査角からなる測距情報に基づいて、保護エリア内の侵入物を検知し、検知信号を出力する侵入検知手段と、
上記保護エリアを撮影してカメラ画像を生成する撮像手段と、
上記検出光を走査して得られる複数の上記測距情報が上記検出光のスキャン面上における複数の測距位置として示されたスキャン画像を生成するスキャン画像生成手段と、
上記カメラ画像及び上記スキャン画像を画面内に並べて表示する画像表示手段とを備えたことを特徴とする光学安全システム。 A light projecting means for projecting detection light toward an object;
A light receiving means for receiving a reflected light from the object and generating a light reception signal;
A distance calculating means for obtaining a distance to the object based on the received light signal;
Scanning means for scanning the detection light in the circumferential direction around the rotation axis;
Based on the distance measurement information consisting of the distance and the scanning angle of the detection light, intrusion detection means for detecting an intruder in the protection area and outputting a detection signal;
Imaging means for capturing the protected area and generating a camera image;
A scan image generating means for generating a scan image in which a plurality of distance measurement information obtained by scanning the detection light is indicated as a plurality of distance measurement positions on the scan surface of the detection light;
An optical safety system comprising image display means for displaying the camera image and the scanned image side by side on a screen.
上記安全スキャナが、検出光を対象物に向けて投光する投光手段と、上記対象物からの反射光を受光して受光信号を生成する受光手段と、上記受光信号に基づいて、上記対象物までの距離を求める距離算出手段と、回転軸を中心として上記検出光を周方向に走査させる走査手段と、上記距離及び上記検出光の走査角からなる測距情報に基づいて、保護エリア内の侵入物を検知し、検知信号を出力する侵入検知手段と、上記保護エリアを撮影してカメラ画像を生成する撮像手段とを備え、
上記設定支援装置は、上記安全スキャナから、上記検出光を走査して得られる複数の上記測距情報と上記カメラ画像とを取得するスキャナ情報取得手段と、
上記複数の測距情報が上記検出光のスキャン面上における複数の測距位置として示されたスキャン画像と上記カメラ画像とを画面内に並べて表示するスキャナ情報表示手段とを備えたことを特徴とする安全スキャナ用の設定支援装置。 A setting support device for a safety scanner,
The safety scanner includes a light projecting unit that projects detection light toward an object, a light receiving unit that receives reflected light from the object and generates a light reception signal, and the object based on the light reception signal. Based on the distance calculation means for obtaining the distance to the object, scanning means for scanning the detection light in the circumferential direction around the rotation axis, and distance measurement information comprising the distance and the scanning angle of the detection light, the inside of the protection area An intrusion detection means for detecting an intruding object and outputting a detection signal, and an imaging means for photographing the protection area and generating a camera image,
The setting support device includes a scanner information acquisition unit that acquires a plurality of the distance measurement information and the camera image obtained by scanning the detection light from the safety scanner;
A scanner information display means for displaying the scan image in which the plurality of distance measurement information is indicated as a plurality of distance measurement positions on the scan surface of the detection light and the camera image side by side on a screen. Setting support device for safety scanner.
上記スキャナ情報表示手段は、互いに異なる上記固定カメラにより撮影された少なくとも2つの上記カメラ画像を上記スキャン画像と共に表示する際に、カメラ画像内における左右方向がスキャン画像と一致するようにカメラ画像を表示するとともに、カメラ画像の配列の左右方向がスキャン画像における固定カメラの配列と一致するように各カメラ画像を配置することを特徴とする請求項2又は3に記載の安全スキャナ用の設定支援装置。 The imaging means of the safety scanner is composed of two or more fixed cameras arranged in different directions, and each fixed camera generates the camera image,
The scanner information display means displays the camera image so that the left-right direction in the camera image coincides with the scan image when displaying at least two of the camera images taken by the different fixed cameras together with the scan image. 4. The safety scanner setting support device according to claim 2, wherein the camera images are arranged such that the left-right direction of the arrangement of the camera images coincides with the arrangement of the fixed cameras in the scan image.
上記スキャナ情報表示手段は、上記視点切替指示に基づいて、表示中の上記カメラ画像の左右を反転させるとともに、表示中の上記スキャン画像の上下及び左右を反転させ、カメラ画像の配列の左右方向も反転させることを特徴とする請求項4に記載の安全スキャナ用の設定支援装置。 A switching instruction receiving means for receiving a viewpoint switching instruction;
The scanner information display means inverts the left and right of the camera image being displayed based on the viewpoint switching instruction, and also inverts the top and bottom and the left and right of the scan image being displayed, so that the horizontal direction of the camera image array is also changed. The setting support device for a safety scanner according to claim 4, wherein the setting support device is reversed.
上記スキャナ情報表示手段は、上記保護エリアを上記カメラ画像上に表示することを特徴とする請求項2〜5のいずれかに記載の安全スキャナ用の設定支援装置。 An area designating unit for designating a position of the protection area for the scanned image based on a user operation;
6. The safety scanner setting support apparatus according to claim 2, wherein the scanner information display means displays the protection area on the camera image.
接続中の上記安全スキャナが、2以上の上記計測ユニットにより構成され、
上記計測ユニットが、上記投光手段、上記受光手段、上記距離算出手段、上記走査手段及び上記撮像手段を備え、
上記スキャナ情報表示手段は、上記表示対象選択タブを操作することによって選択された上記計測ユニットに対応するカメラ画像及びスキャン画像を表示することを特徴とする請求項2〜6のいずれかに記載の安全スキャナ用の設定支援装置。 A selection tab display means for displaying a display target selection tab for selecting a measurement unit to be displayed;
The connected safety scanner is composed of two or more measuring units,
The measurement unit includes the light projecting unit, the light receiving unit, the distance calculating unit, the scanning unit, and the imaging unit.
7. The scanner information display unit displays a camera image and a scan image corresponding to the measurement unit selected by operating the display target selection tab. Setting support device for safety scanners.
上記詳細確認画像及び上記プライバシー画像のいずれか一方を表示画像として選択する表示画像選択手段とを備え、
上記スキャナ情報表示手段は、上記表示画像選択手段により選択された表示画像を上記カメラ画像として表示し、
上記表示画像選択手段は、ユーザ認証に成功した場合に、上記詳細確認画像を表示画像として選択する一方、ユーザ認証に失敗し、或いは、未認証である場合に、上記プライバシー画像を表示画像として選択することを特徴とする請求項2〜8のいずれかに記載の安全スキャナ用の設定支援装置。 Display image generating means for generating a display detail confirmation image and a privacy image with a lower image quality than the detail confirmation image based on the camera image;
Display image selection means for selecting either the detail confirmation image or the privacy image as a display image,
The scanner information display means displays the display image selected by the display image selection means as the camera image,
The display image selection means selects the detail confirmation image as the display image when the user authentication is successful, and selects the privacy image as the display image when the user authentication fails or is unauthenticated. The setting support device for a safety scanner according to claim 2, wherein the setting support device is a safety scanner.
上記スキャナ情報取得手段は、上記スキャン画像を上記安全スキャナから取得することを特徴とする請求項2〜11のいずれかに記載の安全スキャナ用の設定支援装置。 The safety scanner includes scan image generation means for generating the scan image based on the distance measurement information,
The safety scanner setting support apparatus according to claim 2, wherein the scanner information acquisition unit acquires the scanned image from the safety scanner.
上記安全スキャナが、検出光を対象物に向けて投光する投光手段と、上記対象物からの反射光を受光して受光信号を生成する受光手段と、上記受光信号に基づいて、上記対象物までの距離を求める距離算出手段と、回転軸を中心として上記検出光を周方向に走査させる走査手段と、上記距離及び上記検出光の走査角からなる測距情報に基づいて、保護エリア内の侵入物を検知し、検知信号を出力する侵入検知手段と、上記保護エリアを撮影してカメラ画像を生成する撮像手段とを備え、
上記設定支援プログラムは、上記安全スキャナから、上記検出光を走査して得られる複数の上記測距情報と上記カメラ画像とを取得するスキャナ情報取得手順と、
上記複数の測距情報が上記検出光のスキャン面上における複数の測距位置として示されたスキャン画像と上記カメラ画像とを画面内に並べて表示するスキャナ情報表示手順とをコンピュータに実行させることを特徴とする安全スキャナ用の設定支援プログラム。 A setting support program for a safety scanner,
The safety scanner includes a light projecting unit that projects detection light toward an object, a light receiving unit that receives reflected light from the object and generates a light reception signal, and the object based on the light reception signal. Based on the distance calculation means for obtaining the distance to the object, scanning means for scanning the detection light in the circumferential direction around the rotation axis, and distance measurement information comprising the distance and the scanning angle of the detection light, the inside of the protection area An intrusion detection means for detecting an intruding object and outputting a detection signal, and an imaging means for photographing the protection area and generating a camera image,
The setting support program includes a scanner information acquisition procedure for acquiring a plurality of the distance measurement information and the camera image obtained by scanning the detection light from the safety scanner,
Causing the computer to execute a scanner information display procedure in which the plurality of distance measurement information is displayed as a plurality of distance measurement positions on the scan plane of the detection light and the camera image is displayed side by side on the screen. Feature support program for safety scanners.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016031510A JP6689095B2 (en) | 2016-02-22 | 2016-02-22 | Optical safety system, setting support device and setting support program for safety scanner |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016031510A JP6689095B2 (en) | 2016-02-22 | 2016-02-22 | Optical safety system, setting support device and setting support program for safety scanner |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017151570A true JP2017151570A (en) | 2017-08-31 |
JP6689095B2 JP6689095B2 (en) | 2020-04-28 |
Family
ID=59738925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016031510A Active JP6689095B2 (en) | 2016-02-22 | 2016-02-22 | Optical safety system, setting support device and setting support program for safety scanner |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6689095B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020009873A1 (en) * | 2018-07-02 | 2020-01-09 | Hewlett-Packard Development Company, L.P. | Guide element for paper alignment |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60194692A (en) * | 1984-03-14 | 1985-10-03 | Fujitsu Ltd | Infrared video display device |
JPH0721477A (en) * | 1993-06-30 | 1995-01-24 | Atsumi Electron Corp Ltd | Monitoring camera |
JP2003281686A (en) * | 2002-03-20 | 2003-10-03 | Mitsubishi Heavy Ind Ltd | Distance image sensor and vehicle type distinguishing device |
JP2004212129A (en) * | 2002-12-27 | 2004-07-29 | Ishikawajima Harima Heavy Ind Co Ltd | Environmental condition grasping device |
JP2009212833A (en) * | 2008-03-04 | 2009-09-17 | Panasonic Electric Works Co Ltd | Image processing apparatus |
JP2012063866A (en) * | 2010-09-14 | 2012-03-29 | Topcon Corp | Device for processing point group position data, method for processing point group position data, system for processing point group position data, and program for processing point group position data |
JP2014171054A (en) * | 2013-03-01 | 2014-09-18 | Toa Corp | Display device, monitor system with display device, and display control program |
JP2015203600A (en) * | 2014-04-11 | 2015-11-16 | 五洋建設株式会社 | object detection system |
-
2016
- 2016-02-22 JP JP2016031510A patent/JP6689095B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60194692A (en) * | 1984-03-14 | 1985-10-03 | Fujitsu Ltd | Infrared video display device |
JPH0721477A (en) * | 1993-06-30 | 1995-01-24 | Atsumi Electron Corp Ltd | Monitoring camera |
JP2003281686A (en) * | 2002-03-20 | 2003-10-03 | Mitsubishi Heavy Ind Ltd | Distance image sensor and vehicle type distinguishing device |
JP2004212129A (en) * | 2002-12-27 | 2004-07-29 | Ishikawajima Harima Heavy Ind Co Ltd | Environmental condition grasping device |
JP2009212833A (en) * | 2008-03-04 | 2009-09-17 | Panasonic Electric Works Co Ltd | Image processing apparatus |
JP2012063866A (en) * | 2010-09-14 | 2012-03-29 | Topcon Corp | Device for processing point group position data, method for processing point group position data, system for processing point group position data, and program for processing point group position data |
JP2014171054A (en) * | 2013-03-01 | 2014-09-18 | Toa Corp | Display device, monitor system with display device, and display control program |
JP2015203600A (en) * | 2014-04-11 | 2015-11-16 | 五洋建設株式会社 | object detection system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020009873A1 (en) * | 2018-07-02 | 2020-01-09 | Hewlett-Packard Development Company, L.P. | Guide element for paper alignment |
US11323585B2 (en) | 2018-07-02 | 2022-05-03 | Hewlett-Packard Development Company, L.P. | Guide element for paper alignment |
Also Published As
Publication number | Publication date |
---|---|
JP6689095B2 (en) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6736307B2 (en) | Safety scanner, optical safety system and configuration support device for safety scanner | |
JP6367102B2 (en) | Monitoring system | |
JP6851137B2 (en) | Safety scanner | |
JP6474593B2 (en) | Area monitoring sensor | |
US9836938B2 (en) | Shovel having audio output device installed in cab | |
JP6637331B2 (en) | Safety scanner and optical safety system | |
US10436901B2 (en) | Optoelectronic sensor and method for detecting objects | |
JP6673717B2 (en) | Optical safety system | |
JP2013207415A (en) | Imaging system and imaging method | |
EP3300045A1 (en) | System and method for surveilling a scene comprising an allowed region and a restricted region | |
JP2017058141A (en) | Flatness measurement system and flatness measurement method | |
JP2018024500A (en) | Obstacle detection device | |
JP6689095B2 (en) | Optical safety system, setting support device and setting support program for safety scanner | |
JP2017034511A (en) | Moving body detection system | |
WO2020111053A1 (en) | Monitoring device, monitoring system, monitoring method, and monitoring program | |
JP6518601B2 (en) | Setting support device for optical safety sensor, setting support program, optical safety system and optical safety sensor | |
KR102257846B1 (en) | 3d model producing apparatus and method for displaying image thereof | |
JP6454524B2 (en) | Area monitoring sensor | |
JP6367100B2 (en) | Area monitoring sensor | |
JP7077379B2 (en) | Safety scanner | |
JP6690203B2 (en) | Robot safety system | |
JP6355543B2 (en) | Monitoring system | |
JP4846203B2 (en) | Image area setting apparatus and image area setting method | |
JP6454530B2 (en) | Monitoring system, area monitoring sensor and setting data creation device | |
JP2005323330A (en) | Indoor observation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180831 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200313 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200407 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6689095 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |