Nothing Special   »   [go: up one dir, main page]

JP7211622B2 - 赤外線熱画像を用いた知能型火花検出装置及び方法 - Google Patents

赤外線熱画像を用いた知能型火花検出装置及び方法 Download PDF

Info

Publication number
JP7211622B2
JP7211622B2 JP2018552240A JP2018552240A JP7211622B2 JP 7211622 B2 JP7211622 B2 JP 7211622B2 JP 2018552240 A JP2018552240 A JP 2018552240A JP 2018552240 A JP2018552240 A JP 2018552240A JP 7211622 B2 JP7211622 B2 JP 7211622B2
Authority
JP
Japan
Prior art keywords
spark
sparks
fire
infrared
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018552240A
Other languages
English (en)
Other versions
JP2020519847A (ja
Inventor
キム,スオン
Original Assignee
ハンソン エスティー(セキュリティー テクノロジー)インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハンソン エスティー(セキュリティー テクノロジー)インコーポレイテッド filed Critical ハンソン エスティー(セキュリティー テクノロジー)インコーポレイテッド
Publication of JP2020519847A publication Critical patent/JP2020519847A/ja
Application granted granted Critical
Publication of JP7211622B2 publication Critical patent/JP7211622B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0014Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation from gases, flames
    • G01J5/0018Flames, plasma or welding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/04Optical or mechanical part supplementary adjustable parts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025Living bodies
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/025Interfacing a pyrometer to an external device or network; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • G01J5/485Temperature profile
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Plasma & Fusion (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Fire Alarms (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Alarm Systems (AREA)

Description

本発明は赤外線熱画像を用いた知能型火花検出装置及び方法に関し、より詳しくは既存の火花感知センサーに赤外線熱画像カメラと赤外線熱画像処理技術を組み合わせることで、火花感知センサーから受信した火花信号が許容された火花であるか人為的な火花であるかを正確に認知することができるようにして火災警報の正確性を向上させることができる赤外線熱画像を用いた知能型火花検出装置及び方法に関する。
一般に、火災警報が鳴れば、待避するとともに火災が感知された位置を探して確認して消化作業を行うが、このときの火災警報が非火災報(Unwanted Alarm、火災による熱、煙又は火花(火炎)以外に異常要因によって火災警報が誤動作すること)であれば大きな不便とともに経済的損失が発生することがある。
特に、非火災報が自動化工場などで発生すれば、生産ラインが中断され、これによって大きな損失が発生することがある。一方、火災状況であるにもかかわらず警報器が鳴らなければもっと大きな損失をもたらすであろう。
故に、一般的な火災感知器(煙、熱など)とは違い、小さな火花も感知することができる火花感知器が使われている。この火花感知器は火災を早期に見つけて火災の初動対応に有利な利点を提供するので、主要産業施設に広く使われている。
概して、火災が発生すれば、火花で特有の燃焼特性が現れる。この燃焼特性の一つが特定電磁気波の放出であり、これを感知することが火花感知器の原理である。
すなわち、火花で特定波長帯の紫外線(185nm~260nm)とCO共鳴放射による赤外線(4.3μm~4.4μm)が放出され、これを感知して火災警報を知らせることが火花感知器の原理である。
一方、前記火花感知器(センサー)としては紫外線/赤外線感知器、3波長式赤外線感知器などが使われている。これらは、火災認識の正確性を高めるために、センサーを使用環境に合わせて組み合わせたものであり、非火災報を減らし、より精巧な火災認識を行うことができるようにする。
このような火花感知器には火花の大きさによる感度及び時間の設定によって非火災報を減らす方法が使われる。例えば、ガスライター、ガスバーナー、照明などの多様な非火災報の条件で火花の大きさと維持時間によって感知器の作動有無を設定する。
添付の図1は従来技術の一例を示すもので、現在火花感知器として多く使われるCO共鳴放射特性を用いた3波長式火花検出器(IR3方式という)を示す。
図1に示したように、前記3波長式火花検出器は、CO共鳴放射帯域である3個の波長帯(4.0μm、4.4μm、5.0μm)の赤外線を選択的に透過させる3個の赤外線光学フィルター220、220、220と、これらのそれぞれの光学フィルターを透過した赤外線を受光する3個の赤外線センサー2401、2402、2403と、それぞれの赤外線センサー240、240、240の出力のうち1~10Hzのフリッカー周波数成分のみを通過させるフィルターを持って前記周波数成分のみを選択的に増幅する3個の信号増幅部250、250、250と、各信号増幅部250、250、250から出力される信号値の大きさ又は信号値間の比率などを独自のアルゴリズムによって計算し、火花から放射されたCO共鳴放射のスペクトルピークパターンを検出した場合にだけ火災であると判断し、警報信号出力部270に火災信号を送出する火災判断部及び制御部260とを含んでなっている。
このような赤外線3波長式火花検出器は、火花に対する選択性能が非常に高く、自然光、蛍光灯、ナトリウム灯、水銀灯などの人工照明には反応しない利点があるが、例えば産業現場に存在する高温の設備、周辺の多様な電熱器、発熱照明、暖房機などを火花と誤認識することがある欠点がある。
また、近年になって熱画像カメラを用いた火災感知方法が使われているが、同様に産業現場に存在する高温の設備又は周辺の多様な電熱器、照明、暖房機などを火花と認識することがあるなど、温度のみで火花の有無を正確に判別するのには困難があるため、実際に火花検出器として使うのに限界がある。
前述したように、既存の火花感知器は赤外線センサーと紫外線センサーを単独で又は組み合わせて使用する製品であり、大別して紫外線/赤外線感知器(UV/IR)と、3波長式火花検出器(IR3)などの2種の形態が主なものである。
添付の図2は3個の赤外線センサーと4.4μm近帯域のフィルターを使って火花特性の波形を読み取って火花のみを認知するようにした3波長式火花検出器の外観を示し、添付の図3は赤外線センサーと紫外線センサーを一緒に使うことによって火花のみを認知するようにした紫外線/赤外線感知器の外観を示す。
しかし、このような既存の火花感知器は、火花はうまく検出することができるが、その火花が人為的な火であるか火災であるかを判別することはとても難しく、よって現場環境の多様な環境要素(ガスバーナー、電気暖炉、作業用熔接火花、光(ハロゲン照明、日光など))などを火災の火花と誤認識して非火災報を発生させる欠点がある。
韓国登録特許第10-0882236号公報 韓国登録特許第10-1372989号公報
本発明は前記のような従来の諸般の問題点を解決するためになされたもので、既存の火花検出器に赤外線熱画像カメラモジュールと赤外線熱画像処理技術を組み合わせ、これらの相互協力的関係によって知能型で火花の種類と危険度を正確に判別することができるようにすることにより、非火災報を画期的に減らすとともに火災警報の正確性を大きく向上させることができる、赤外線熱画像を用いた知能型火花検出装置及び方法を提供することにその目的がある。
前述した目的を達成するための本発明の一具現例は、ハウジング、前記ハウジングに装着され、監視領域内の火花を感知する火花感知センサー、前記ハウジングに装着され、前記監視領域の熱画像映像を獲得する赤外線熱画像カメラ、及び前記赤外線熱画像カメラが撮影した熱画像映像の処理と前記火花感知センサーのセンシングデータの処理により、前記監視領域内の火花が本当の火災による火花であるかそれとも予め許容された人為的な火花であるかを把握するイメージプロセッシングを行う制御ボード、を含んでなることを特徴とする、赤外線熱画像を用いた知能型火花検出装置を提供する。
好ましくは、前記火花感知センサーは紫外線又は赤外線を用いた火花感知器が採択されるとか3波長式火花検出器が採択されることを特徴とする。
特に、前記制御ボードは、火花感知センサーの火花感知信号を受信する火花感知信号受信部と、赤外線熱画像カメラが撮影した火花の熱画像映像に基づき、監視領域内の火花が本当の火災による火花であるかそれとも予め許容された人為的な火花であるかを判断するためのイメージプロセッシングを行うイメージプロセッシング部と、火花の大きさを基準値と比較して火災信号の発生可否を判定する火災判断部と、火災判断部から出力される火災発生信号に応じて火災警報信号を出力する警報信号出力部と、使用者が持っているスマート器機との通信のための通信モジュールと、を含んでなることを特徴とする。
好ましくは、前記制御ボードは、イメージプロセッシングの結果、許容された火花ではないとか、火花から発散される赤外線が許容赤外線値より大きいとか、火花から発散される紫外線が許容紫外線値より大きいとかする場合、前記赤外線熱画像カメラが監視領域内に人が存在するかを把握する撮影を行うように制御することを特徴とする。
また、前記使用者が持っているスマート器機を介して人為的な火花を入力すれば、前記通信モジュールを通じて、使用者が入力した人為的な火花が予め許容された火花として制御ボードに登録されることを特徴とする。
前記目的を達成するための本発明の他の具現例は、I)火花感知センサーで該当監視領域に存在する火花を感知する段階、II)赤外線熱画像カメラで前記監視領域の熱画像映像を獲得する段階、III)獲得された熱画像映像に基づき、制御ボードのイメージプロセッシング部で前記監視領域内の火花が本当の火災による火花であるかそれとも予め許容された人為的な火花であるかを判断するためのイメージプロセッシングを行う段階、IV)火災判断部でイメージプロセッシングによる火花の大きさを基準値と比較して火災信号の発生可否を判定する段階、及びV)火災判断部から出力される火災発生信号に応じて、警報信号出力部から火災警報信号を出力する段階、を含んでなることを特徴とする。
好ましくは、前記イメージプロセッシングを行う段階に先立ち、使用者が持っているスマート器機を介して人為的な火花を入力し、通信モジュールを介して、使用者が入力した人為的な火花を予め許容された火花として制御ボードに登録する段階を行うことを特徴とする。
特に、前記III)段階でのイメージプロセッシング遂行段階は、監視領域の火花の有無を確認する段階、監視領域内に火花が存在すれば、火花の座標及び大きさを確認した後、確認された火花が本当の火災による火花であるかそれとも予め許容された人為的な火花であるかを判断する段階、及び許容された火花と判定されれば、非火災信号を出力する段階、を含んでなることを特徴とする。
好ましくは、前記非火災信号を出力する段階と同時に、現在火花感知センサーから伝送される赤外線又は紫外線値を背景値に転換し、その後に火花感知センサーから伝送される赤外線又は紫外線の値が転換された背景値以上であれば、前記イメージプロセッシングを始めから再び行うことを特徴とする。
また、前記イメージプロセッシング遂行の結果、許容された火花ではないと判定された場合、又は現在赤外線値が許容赤外線値より大きい場合、又は現在紫外線値が許容赤外線値より大きい場合、赤外線熱画像カメラで監視領域内に人が存在するかを確認する段階を行うことを特徴とする。
また、前記監視領域に人が存在すると確認されれば、イメージプロセッシング部で人の座標を確認して人と火花の隣接性の把握とともに火花の大きさの変化を常時監視する段階を行い、その後に火花の大きさが基準値より増加すれば、火災判断部で火災警報のための火災信号を出力することを特徴とする。
好ましくは、前記監視領域内の人の存在有無に関係なく、前記イメージプロセッシングの結果、監視領域内の火花の大きさと基準値を比較し、火花の大きさが基準値より増加すれば、火災判断部から火災警報のための火災信号を出力することを特徴とする。
前述した課題の解決手段によって本発明は次のような効果を提供する。
一つ目、火花の種類を判断するとき、人為的に使用する火花は火災警報状況から除外させることができる火花と認識するようにすることにより、現在認識される火花が火災発生可能な火花であるか又は人為的な火花であるかを正確に認知することができ、それによって火災警報の正確性を向上させることができる。
すなわち、多様な火花監視空間(例えば、事務室、産業現場など)に存在する電灯、ガスバーナー、暖炉、電熱器などの日常的な火花は使用者がスマート器機に予め設定することによって例外処理することができ、非火災報を画期的に減らすことができる。
二つ目、作業者が使用する火花である熔接火花、トーチなどは人の認識と共に作業火花と認識して非火災報を画期的に減らすことができる。
三つ目、火花の種類を判断するときに許容火花の領域を決定することができるので、火を使用する特殊な現場で一定領域を例外領域として処理することができるので、非火災報を無くすとともに火災警報の正確度をもっと高めることができる。
四つめ、既存の火花検出器の欠点である非火災報率を画期的に減らすことができるので、それによって経済的損失を大きく減らすことができる(例えば、火災警報時の工場ラインの中断による莫大な経済的損失を減らすことができる)。
従来技術の一例として、3波長式火花検出器を示した構成図である。 既存の3波長式火花検出器の外観を示したイメージである。 既存の紫外線/赤外線感知器の外観を示すイメージである。 本発明の一実施例による赤外線熱画像を用いた知能型火花検出器を示した図である。 本発明の他の実施例による赤外線熱画像を用いた知能型火花検出器を示した図である。 本発明による赤外線熱画像を用いた知能型火花検出装置の制御構成図である。 本発明による赤外線熱画像を用いた知能型火花検出方法を示したフローチャートである。 許容された火花の一例として炭火の熱画像画面を示したイメージである。 許容された火花の他の例としてガスバーナーの熱画像画面を示したイメージである。 許容された火花ではないが、人が辺りにあるとともに火花の大きさが基準値を超えない状態を示した熱画像イメージである。 許容された火花ではないが、人が辺りにあるとともに火花の大きさが基準値を超えない状態を示した熱画像イメージである。 許容された火花ではないが、人が辺りにあるとともに火花の大きさが基準値を超えない状態を示した熱画像イメージである。 赤外線熱画像カメラを用いた人検出過程を示した熱画像イメージである。 赤外線熱画像カメラを用いた人検出過程を示した熱画像イメージである。 作業者の不注意によって火花が床に拡散した状態を示した熱画像イメージである。 火花がもっと大きく拡散し、作業者が現場を離れた状況を示した熱画像イメージである。 監視領域内に許容された火花の他に新しい火花が生成し、徐々に火花の大きさ(領域)が基準値より大きくなる過程を順に示した熱画像イメージである。 監視領域内に許容された火花の他に新しい火花が生成し、徐々に火花の大きさ(領域)が基準値より大きくなる過程を順に示した熱画像イメージである。 監視領域内に許容された火花の他に新しい火花が生成し、徐々に火花の大きさ(領域)が基準値より大きくなる過程を順に示した熱画像イメージである。
以下、本発明の好適な実施例を添付図面に基づいて詳細に説明する。
添付の図4は本発明による赤外線熱画像を用いた知能型火花検出器の一実施例を示す。
図4に示すように、本発明の一実施例による知能型火花検出器10はハウジング12に火花感知センサー14と赤外線熱画像カメラ16が同一線上に位置するように装着された構造に構成され、火花感知センサー14と赤外線熱画像カメラ16が同じ監視角で火花を感知することになる。
ここで、本発明の一実施例において、火花感知センサー14は紫外線又は赤外線(UV/IR)感知器、すなわち紫外線又は赤外線を用いた火花感知センサーが採択される。
添付の図5は本発明による赤外線熱画像を用いた知能型火花検出器の他の実施例を示す。
図5に示すように、本発明の他の実施例による知能型火花検出器10もハウジング12に火花感知センサー14と赤外線熱画像カメラ16が同一線上に位置するように装着された構造で構成され、火花感知センサー14と赤外線熱画像カメラ16が同じ監視角で火花を感知することになる。
ここで、本発明の他の実施例において、火花感知センサー14は3波長式火花検出器(IR3)が採択され、その他に多様な種類の赤外線センサータイプを装着して使うことができる。
一方、前述した本発明の各実施例による知能型火花検出器は、ハウジング12の内部に内蔵される制御ボード20を含む。
特に、前記制御ボード20は赤外線熱画像カメラで撮影した熱画像の映像処理と火花感知センサーのセンシングデータなどの処理のためのプロセッサ及びメモリなどを搭載して、前記監視領域内の火花が本当の火災による火花であるか、それとも予め許容された人為的な火花であるかを把握するイメージプロセッシングを遂行する。
このために、前記制御ボード20は、添付の図6に示すように、火花感知センサー14の火花感知信号を受信する火花感知信号受信部21と、赤外線熱画像カメラ16で撮影した火花に対する熱画像映像に基づいて監視領域内の火花が本当の火災による火花であるか、それとも予め許容された人為的な火花であるかを判断するためのイメージプロセッシングを行うイメージプロセッシング部22と、イメージプロセッシングの結果による火花の大きさ(領域)などを基準値と比較して火災信号発生可否を判定する火災判断部23と、火災判断部23から出力される火災発生信号に応じて火災警報信号を出力する警報信号出力部24とを含んでなる。
また、前記制御ボード20には、使用者が持っているスマート器機(スマートフォン、タブレットPC、ノートブック型PCなど)との通信のために、ワイファイ又はブルートゥース(登録商標)(Wifi/Bluetooth(登録商標))などの通信モジュール25が搭載される。
ここで、本発明の知能型火花検出器に含まれた構成の役割及び機能を説明すると次のようである。
前記火花感知センサー14は、該当監視領域に火花が存在すれば、一次的に火花を感知し、感知された信号を制御ボード20の火花感知受信部21に伝送する。
前記赤外線熱画像カメラ16は、火花感知受信部21から火花が感知されたことを伝達されて前記監視領域の熱画像映像を獲得し始める。
すなわち、前記赤外線熱画像カメラ16は、火花感知センサー14で感知した火花感知信号が火花感知受信部21に伝送されれば、制御ボード20の信号に応じて前記監視領域の映像を獲得し始める。
前記制御ボード20のイメージプロセッシング部22は、赤外線熱画像カメラ16で撮影した映像に基づき、本当の火災による火花であるかそれとも予め許容された火花(人為的な火花)であるかを把握するイメージプロセッシングを遂行する。
ここで、前記イメージプロセッシング部22でイメージプロセッシングを遂行した結果、許容された火花でないとか、火花から発散される赤外線が許容赤外線値より大きいとか、火花から発散される紫外線が許容紫外線値より大きい場合、前記制御ボード20は赤外線熱画像カメラ16が監視領域内に人が存在するかを把握する撮影を開始するように制御する。
前記制御ボード20の通信モジュール25は使用者が持っているスマート器機(スマートフォン、タブレットPC、ノートブック型PCなど)との通信のためのものであり、これを介して使用者がスマート器機を操作して制御ボード20の制御設定を行うことができる。
前記火災判断部23は、火花の大きさ(領域)などを基準値と比較した後、火花の大きさ(領域)が基準値より増加するときに火災信号を発生する役割をし、前記警報信号出力部24は火災判断部23の火災発生信号に応じて警報信号を出力する役割をする。
ここで、前述した構成に基づいて行われる本発明の赤外線熱画像を用いた知能型火花検出装置の作動流れを説明すると次のようである。
添付の図6は本発明による赤外線熱画像を用いた知能型火花検出装置の制御構成図、図7は本発明による赤外線熱画像を用いた知能型火花検出方法を示したフローチャートである。
まず、前記火花感知センサー14は、該当監視領域に火花が存在すれば、一次的に火花を感知し、感知された信号を制御ボード20の火花感知受信部21に伝送する。
ついで、前記赤外線熱画像カメラ16で制御ボード20の信号に応じて前記監視領域の熱画像映像を獲得し始め、獲得した熱画像映像に基づいてイメージプロセッシング部22で所定のイメージプロセッシングを遂行する。
特に、前記イメージプロセッシング部22によるイメージプロセッシング遂行段階の第1段階として、まず監視領域の火花の有無を確認し(S101)、火花が存在すれば、火花の座標及び大きさを確認した後(S102)、確認した火花が許容された火花であるかを判断する(S103)。
ここで、前記許容された火花は、火災による本当の火花ではなくて予め許容された人為的な火花(例えば、産業現場の作業用火花、ハロゲン照明、ガスライター、ガスバーナー、高温の設備、周辺の多様な電熱器、発熱照明、暖房機など)を意味する。
このような人為的な火花は使用者がスマート器機(スマートフォン、タブレットPC、ノートブック型PCなど)を介して制御ボード20のメモリなどに許容された火花であり、前記のようなイメージプロセッシング前のある時点で予め登録することができる。
すなわち、前記使用者が持っているスマート器機を介して人為的な火花を入力すれば、前記通信モジュール25を介して、使用者が入力した人為的な火花が予め許容された火花として制御ボードに登録される。
より詳細に説明すると、使用者がスマート器機アプリを介して、所定の火災監視領域で発生可能な人為的な火花を入力すれば(S104)、通信モジュール25を介して、制御ボード20のメモリなどに使用者が入力した人為的な火花が許容された火花として予め登録される(S105)。
したがって、前記イメージプロセッシング部22は、赤外線熱画像カメラ16が撮影した映像に基づいて本当の火災による火花であるかそれとも予め許容された火花(人為的な火花)であるかを把握するイメージプロセッシングを遂行した結果(S106)、例えば図8に示した炭火熱画像画面又は図9に示したガスバーナー熱画像画面のように許容された火花と判定されれば非火災信号を出力する(S107)。
同時に、前記イメージプロセッシング部22は、現在火花感知センサー14から伝送される赤外線又は紫外線値を熱画像イメージの背景値に転換し、その後に火花感知センサー14から伝送される赤外線又は紫外線値が転換された背景値以上の値であれば、前述した同じイメージプロセッシングを始めから再び遂行する。
一方、前記段階S106を遂行した結果、許容された火花ではないと判定された場合、又は現在赤外線値が許容赤外線値より大きい場合、又は現在紫外線値が許容赤外線値より大きい場合、すぐ火災有無判断を行わず、監視領域内に人が存在するか否かを認識する段階に進む(S108)。
これにより、前記赤外線熱画像カメラ16は監視領域内に人の存在有無を把握するための撮影を行う(S109)。
ついで、前記赤外線熱画像カメラ16の熱画像撮影信号に基づいてイメージプロセッシング部22が監視領域に人の存在を確認すれば(S110)、イメージプロセッシング部22が人の座標を確認し、人と火花の隣接性の把握とともに火花の大きさ(領域)の変化を常に監視する(S111)。
例えば、添付の図10~図12の熱画像イメージで示すように、前記段階S111で許容された火花ではないが、人が辺りにあるとともに火花の大きさが増加しない作業用火花と判断するなどの常時監視を行う。
このように、前記監視領域に存在する火花が許容された火花ではない場合であっても人が存在するか否かを確認する理由は、監視領域内に存在する火花の判定、すなわち人為的な火花である作業用火花であるか、人が正当に使っている火花であるか、それとも人がいない状況で発生した本当の火災の火花であるかを認識するためであり、また火災が人のいる状況(例えば、放火)で発生したかを確認するためである。
一方、特定映像から人を認識する技術は関連の研究分野でもとても難しい技術として分類され、代表的な技術として可視映像を使う技術を用いているが、これは大部分が歩行者の検出が主なものなので、多様なポーズ及び行動を取っている人に対しては認識ができないと言え、また検出プロセスが複雑であって時間が長くかかる欠点があり、影、周辺色相、外部環境(光条件など)などの影響のため誤探率が高いという欠点がある。
これに対し、本発明は赤外線熱画像を用いて人の検出を正確に具現することができる。
例えば、前述した段階S111で、イメージプロセッシング部22による人の座標を確認するに際して、添付の図13に示すように、赤外線熱画像カメラ16が撮影した熱画像内に特定の温度帯域(34~37℃)をフィルタリングして人を検出するとともに人の座標を獲得することができる。
好ましくは、本発明は、距離による人の温度分布特性が違うので、赤外線熱画像を用いた人検出技術の基準温度の算定のために、距離別温度を添付の図14に示したように測定及び分析して、赤外線熱画像カメラ16が撮影した熱画像内の人検出温度として顔領域を基準として最大値36.5℃、平均値32.7℃を適正値として選定して使用する。
このように、本発明で使われる赤外線熱画像を用いた人検出技術は体温によって人であることを認識するので、照明などによる影の影響を受けなく、粉じん、霧、煙などの外部環境でも人の検出が容易であり、また人の検出のための最小要求解像度が縦6ピクセルであって低解像度の赤外線熱画像カメラでも広い監視領域での人の検出が容易であり、撮影された映像を速かに処理することができ、既存の技術とは違い、温度に基づく閾値を使って背景処理を使うので、人検出プロセスを簡単で早く行うことができる。
一方、前記監視領域内の人の存在有無に関係なく、前記イメージプロセッシング部22が火花の大きさ(領域)をずっと監視し(S112)、前記火災判断部23が火花の大きさ(領域)を基準値(臨界値)とずっと比較する(S113)。
比較結果、前記監視領域内に人が存在しても、火花の大きさ(領域)が基準値より増加するとか、あるいは前記監視領域内に人が存在しない状態で火花の大きさ(領域)が基準値より増加すれば、火災信号を発生することになる(S114)。
すなわち、前記火災判断部23から出力される火災発生信号に応じて、前記警報信号出力部24から警報信号を出力することになる。
例えば、添付の図15の熱画像イメージで示すように、作業者の不注意によって火花が床に拡散した状態であるとか、図16の熱画像イメージで示すように火花がもっと大きく拡散し、作業者が現場を離れた状況であれば、前記火災判断部23が作業用火花の外に新しい火花が現れるとともに火花の大きさ(領域)が基準値より大きくなったと判断して、前記警報信号出力部24から火災警報信号を出力することになる。
ここで、前記火花感知センサーの感知値と赤外線熱画像イメージプロセッシング間の相関関係の一例を説明すると、添付の図15及び図16においてFlame_01は使用者が予め設定した許容火花を指示し、この許容された火花Flame_01のみが監視領域に存在すれば、前記火花感知センサー14が感知した火花の赤外線又は紫外線の値(大きさ)は背景値になり、一般的な非火災状態と判定する。
一方、前記火花感知センサーの感知値と赤外線熱画像イメージプロセッシングの相関関係の他の例を説明すると、添付の図15及び図16においてFlame_02は新しい火花を指示し、この新しい火花Flame_02が生成すれば、火花感知センサーは背景値以上の赤外線又は紫外線の値を認識して再び火花を感知したことを知らせることになり、赤外線熱画像では許容された火花以外の火花と判断してその大きさ(領域)を観察することになり、観察結果、火花の大きさ(領域)が基準値より大きくなれば、警報信号出力部24から火災警報信号を出力することになる。
例えば、添付の図17~図19を順に参照すると、赤外線熱画像で許容された火花(Flame_01)の外に新しい火花(Flame_02)が生成し、火花の大きさ(領域)が徐々に増加するとともに火花の大きさ(領域)が基準値より大きくなったと判定すれば、警報信号出力部24から火災警報信号を出力することになる。
以上で説明したように、本発明によれば、火災監視領域内に存在する人為的な使用火花は火災警報状況から除外させることができる許容された火花と認識することができるようにすることにより、現在認識される火花が火災発生可能な火花であるかあるいは人為的な火花であるかを正確に認知することができ、それによって非火災報を画期的に減らすことができ、火災警報の正確性を向上させることができる。
10 知能型火花検出器
12 ハウジング
14 火花感知センサー
16 赤外線熱画像カメラ
20 制御ボード
21 火花感知信号受信部
22 イメージプロセッシング部
23 火災判断部
24 警報信号出力部
25 通信モジュール

Claims (6)

  1. ハウジング、
    前記ハウジングに装着され、監視領域内の火花を感知する火花感知センサー、
    前記ハウジングに装着され、前記監視領域の熱画像映像を獲得する赤外線熱画像カメラ、及び、
    前記赤外線熱画像カメラが撮影した熱画像映像の処理と前記火花感知センサーのセンシングデータの処理により、前記監視領域内の火花が本当の火災による火花であるか、それとも予め許容された人為的な火花であるかを把握するイメージプロセッシングを行う制御ボード、
    を含み、
    前記制御ボードは、
    火花感知センサーの火花感知信号を受信する火花感知信号受信部と、
    赤外線熱画像カメラが撮影した火花の熱画像映像に基づき、監視領域内の火花が本当の火災による火花であるか、それとも予め許容された人為的な火花であるかを判断するためのイメージプロセッシングを行うイメージプロセッシング部と、
    火花の領域の大きさを基準値と比較して火災信号の発生可否を判定する火災判断部と、
    火災判断部から出力される火災発生信号に応じて火災警報信号を出力する警報信号出力部と、
    使用者が持っているスマート器機との通信のための通信モジュールと、を含み、
    前記制御ボードは、イメージプロセッシングの結果、許容された火花ではないとか、火花から発散される赤外線が許容赤外線値より大きいとか、火花から発散される紫外線が許容紫外線値より大きいとかする場合、前記赤外線熱画像カメラが監視領域内に人が存在するかを把握する撮影を行うように制御し、
    前記赤外線熱画像カメラの熱画像撮影信号に基づいてイメージプロセッシング部が監視領域に人の存在を確認すると、前記イメージプロセッシング部が人の座標を確認し、人と火花の隣接性の把握とともに火花の領域の大きさの変化を常に監視し、前記監視領域内に人が存在し、火花の領域の大きさが前記基準値より増加した場合、火災が発生したと判断し、
    前記監視領域内に人が存在しない場合、火花の領域の大きさが前記基準値より増加すると火災が発生したと判断する、ことを特徴とする、赤外線熱画像を用いた知能型火花検出装置。
  2. 前記火花感知センサーは紫外線又は赤外線を用いた火花感知器が採択されるとか3波長式火花検出器が採択されることを特徴とする、請求項1に記載の赤外線熱画像を用いた知能型火花検出装置。
  3. 前記使用者が持っているスマート器機を介して人為的な火花を入力すれば、前記通信モジュールを通じて、使用者が入力した人為的な火花が予め許容された火花として制御ボードに登録されることを特徴とする、請求項1に記載の赤外線熱画像を用いた知能型火花検出装置。
  4. 請求項1に記載の赤外線熱画像を用いた知能型火花検出装置による、知能型火花検出方法であって、
    I)火花感知センサーで該当監視領域に存在する火花を感知する段階、
    II)赤外線熱画像カメラで前記監視領域の熱画像映像を獲得する段階、
    III)獲得された熱画像映像に基づき、制御ボードのイメージプロセッシング部で前記監視領域内の火花が本当の火災による火花であるか、それとも予め許容された人為的な火花であるかを判断するためのイメージプロセッシングを行う段階、
    IV)火災判断部でイメージプロセッシングによる火花の領域の大きさを基準値と比較して火災信号の発生可否を判定する段階、及び
    V)火災判断部から出力される火災発生信号に応じて、警報信号出力部から火災警報信号を出力する段階、
    を含み、
    前記イメージプロセッシングを行う段階に先立ち、使用者が持っているスマート器機を介して人為的な火花を入力し、通信モジュールを介して、使用者が入力した人為的な火花を予め許容された火花として制御ボードに登録する段階を行い、
    前記III)段階でのイメージプロセッシング遂行段階は、
    監視領域の火花の有無を確認する段階、
    監視領域内に火花が存在すれば、火花の座標及び火花の領域の大きさを確認した後、確認された火花が本当の火災による火花であるか、それとも予め許容された人為的な火花であるかを判断する段階、及び、
    許容された火花と判定されれば、非火災信号を出力する段階、を含み、
    前記イメージプロセッシング遂行の結果、許容された火花ではないと判定された場合、又は現在赤外線値が許容赤外線値より大きい場合、又は現在紫外線値が許容紫外線値より大きい場合、赤外線熱画像カメラで監視領域内に人が存在するかを確認する段階を行い、
    前記監視領域に人が存在すると確認されれば、イメージプロセッシング部で人の座標を確認して人と火花の隣接性の把握とともに火花の領域の大きさの変化を常時監視する段階を行い、その後に火花の領域の大きさが前記基準値より増加すれば、火災判断部で火災警報のための火災信号を出力し、
    前記監視領域内に人が存在しない場合、前記イメージプロセッシングの結果、監視領域内の火花の領域の大きさと前記基準値を比較し、火花の領域の大きさが前記基準値より増加すれば、火災判断部から火災警報のための火災信号を出力することを特徴とする、赤外線熱画像を用いた知能型火花検出方法。
  5. 前記非火災信号を出力する段階と同時に、現在火花感知センサーから伝送される赤外線又は紫外線値を背景値に転換し、その後に火花感知センサーから伝送される赤外線又は紫外線の値が転換された背景値以上であれば、前記イメージプロセッシングを始めから再び行うことを特徴とする、請求項4に記載の赤外線熱画像を用いた知能型火花検出方法。
  6. 前記監視領域内に人が存在するかを確認する段階は、赤外線熱画像カメラで撮影した熱画像内の特定の温度帯域をフィルタリングして人を検出するとともに人の座標を獲得することを含むことを特徴とする、請求項4に記載の赤外線熱画像を用いた知能型火花検出方法。
JP2018552240A 2017-04-11 2017-09-18 赤外線熱画像を用いた知能型火花検出装置及び方法 Active JP7211622B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170046652A KR101767980B1 (ko) 2017-04-11 2017-04-11 적외선 열화상을 이용한 지능형 불꽃 검출 장치 및 방법
KR10-2017-0046652 2017-04-11
PCT/KR2017/010195 WO2018190478A1 (ko) 2017-04-11 2017-09-18 적외선 열화상을 이용한 지능형 불꽃 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2020519847A JP2020519847A (ja) 2020-07-02
JP7211622B2 true JP7211622B2 (ja) 2023-01-24

Family

ID=60142369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018552240A Active JP7211622B2 (ja) 2017-04-11 2017-09-18 赤外線熱画像を用いた知能型火花検出装置及び方法

Country Status (6)

Country Link
US (1) US11326955B2 (ja)
EP (1) EP3407034B1 (ja)
JP (1) JP7211622B2 (ja)
KR (1) KR101767980B1 (ja)
CN (1) CN109073453B (ja)
WO (1) WO2018190478A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101993660B1 (ko) * 2017-11-21 2019-06-27 (주)도요테크놀러지 화재감지 및 화재상황 모니터링 시스템
KR102052825B1 (ko) * 2018-05-11 2019-12-05 삼삼기업주식회사 건물의 화재감지 시스템
FI3891711T3 (fi) 2018-12-07 2024-04-26 Carrier Corp Menetelmä liekinilmaisimen optista kohdistamista ja näkökentän eheyden tarkistamista varten sekä järjestelmä
WO2020219694A1 (en) * 2019-04-23 2020-10-29 Apple Inc. Systems and methods for resolving hidden features in a field of view
US11080990B2 (en) 2019-08-05 2021-08-03 Factory Mutual Insurance Company Portable 360-degree video-based fire and smoke detector and wireless alerting system
KR102236939B1 (ko) * 2019-08-20 2021-04-07 주식회사인텍 화재 사전 감지 장치
CN110910604B (zh) * 2019-11-21 2022-10-04 北京都是科技有限公司 用于火灾报警的监控方法、系统以及装置
CA3098859A1 (en) * 2019-11-22 2021-05-22 Carrier Corporation Systems and methods of detecting flame or gas
CN111243219B (zh) * 2020-01-13 2021-11-19 云南凌翔建筑工程有限公司 一种用于智能建筑的防火警报系统
CN111258251B (zh) * 2020-01-19 2021-05-04 江苏启泰工程咨询有限公司 一种面向智能建筑的消防系统
CN111854961B (zh) * 2020-06-01 2022-04-08 浙江双视红外科技股份有限公司 基于目标环境中高温物体的红外监测方法、装置及系统
KR102507540B1 (ko) * 2020-10-30 2023-03-08 주식회사 브라이튼 인공지능 기반의 통합 화재 감시 시스템
US11403930B2 (en) * 2020-12-22 2022-08-02 Honeywell International Inc. Methods, apparatuses, and systems for configuring a flame detection apparatus using flame detecting components
WO2023286248A1 (ja) * 2021-07-15 2023-01-19 三菱電機株式会社 熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラム
KR20230076597A (ko) 2021-11-24 2023-05-31 한국전자통신연구원 화염 감지 시스템 및 방법
EP4353073A1 (en) * 2022-10-12 2024-04-17 CNH Industrial Belgium N.V. Fire risk detection system for an agricultural harvester
JP7217908B1 (ja) * 2022-12-06 2023-02-06 株式会社センシンロボティクス 情報処理システム、情報処理方法及びプログラム
KR20240104613A (ko) 2022-12-28 2024-07-05 주식회사 교림정보통신 화재감지장치의 점검 프로세스를 실행하고, 실화상 및 열화상을 이용하여 화재를 감지하는 방법 및 이를 위한 화재감지시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000318272A (ja) 1999-05-13 2000-11-21 Canon Inc 印刷装置、印刷モード制御方法及び記憶媒体
JP2007067792A (ja) 2005-08-31 2007-03-15 Nikon Corp 撮像装置
JP2010262422A (ja) 2009-05-01 2010-11-18 Nippon Ceramic Co Ltd 赤外線異常検知装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04287300A (ja) * 1991-03-18 1992-10-12 Matsushita Electric Ind Co Ltd 火災報知装置
JPH0546886A (ja) * 1991-08-19 1993-02-26 Mitsubishi Electric Corp トンネル内防災システム
TWI264684B (en) * 2004-11-16 2006-10-21 Univ Nat Kaohsiung Applied Sci Fire detection method and system applying with image acquisition
US20080036593A1 (en) * 2006-08-04 2008-02-14 The Government Of The Us, As Represented By The Secretary Of The Navy Volume sensor: data fusion-based, multi-sensor system for advanced damage control
KR100882236B1 (ko) 2007-11-08 2009-02-09 주식회사 창성에이스산업 불꽃감지기
KR100996730B1 (ko) 2008-05-27 2010-11-25 에프엔엔(주) 화재 경보장치
US20110085030A1 (en) * 2009-10-07 2011-04-14 John Zink Company, Llc Image sensing system, software, apparatus and method for controlling combustion equipment
EP2511679A1 (en) 2009-12-09 2012-10-17 Panasonic Corporation Infrared flame detector
DE102010023166B4 (de) * 2010-06-07 2016-01-21 Dräger Safety AG & Co. KGaA Wärmebildkamera
KR20130119752A (ko) 2012-04-24 2013-11-01 삼우에레코 주식회사 화재 감시 시스템 및 그 감시 방법
KR20120138715A (ko) * 2012-09-10 2012-12-26 김은종 다기능 화재 감지기
KR101546933B1 (ko) * 2013-12-30 2015-08-25 (주)케이엠에스 화재 감지 장치
KR20140097055A (ko) 2014-06-17 2014-08-06 김은종 다기능 화재 감지기
KR20160061614A (ko) 2014-11-24 2016-06-01 멀티펠스 주식회사 화재 감지 시스템
CN204884040U (zh) * 2015-07-07 2015-12-16 黄艺 一种森林防火定位预警监测系统
CN205080704U (zh) * 2015-09-16 2016-03-09 深圳市特力康科技有限公司 紫外山火探测一体机
CN206003267U (zh) * 2016-07-29 2017-03-08 云南英科瑞电力电子有限公司 一种红外热成像火灾报警系统
US11516436B2 (en) * 2016-10-25 2022-11-29 Johnson Controls Tyco IP Holdings LLP Method and system for object location notification in a fire alarm system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000318272A (ja) 1999-05-13 2000-11-21 Canon Inc 印刷装置、印刷モード制御方法及び記憶媒体
JP2007067792A (ja) 2005-08-31 2007-03-15 Nikon Corp 撮像装置
JP2010262422A (ja) 2009-05-01 2010-11-18 Nippon Ceramic Co Ltd 赤外線異常検知装置

Also Published As

Publication number Publication date
US20210208001A1 (en) 2021-07-08
CN109073453A (zh) 2018-12-21
JP2020519847A (ja) 2020-07-02
WO2018190478A1 (ko) 2018-10-18
US11326955B2 (en) 2022-05-10
EP3407034A1 (en) 2018-11-28
EP3407034B1 (en) 2022-06-01
KR101767980B1 (ko) 2017-08-14
EP3407034A4 (en) 2018-11-28
CN109073453B (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
JP7211622B2 (ja) 赤外線熱画像を用いた知能型火花検出装置及び方法
KR100901784B1 (ko) 화재 발생 감지시스템 및 그 방법
KR101148799B1 (ko) 적외선 열영상 화재감지기 및 이를 이용한 화재 감지방법
US7710280B2 (en) Flame detection device and method of detecting flame
KR101066900B1 (ko) 씨씨티브이 카메라 영상에서의 특정 움직임 감지 장치
KR101816769B1 (ko) Ip 카메라와 화염 감지부가 결합된 화재감지기 및 그의 화재감지 방법
CN109155097A (zh) 具有用于感测环境光的光电二极管以基于其来加速发出潜在火警报的火检测器
GB2472728A (en) Fire detector device and method for fire detection
CA2588254A1 (en) Flame detection device and method of detecting flame
WO2005010842A1 (fr) Procede et dispositif de detection de sources d'infrarouge
JPS61222391A (ja) 危険を伴う物理的現象を即時に感知するための装置
KR101447528B1 (ko) Cctv를 이용한 화재 경보 제어 장치 및 시스템
CN111986437A (zh) 一种火源探测及定位方法、系统
JP2008097222A (ja) カメラを用いた火災検出装置、火災検知方法、火災報知システム、及び遠隔火災監視システム
KR20120138715A (ko) 다기능 화재 감지기
WO2019044898A1 (ja) ガス検知システム
TWI765720B (zh) 用於偵測輸送帶系統的溫度的方法及系統
JP3263311B2 (ja) 対象検知装置および対象検知方法および対象監視システム
JP5351073B2 (ja) 警報器
US9449485B2 (en) Flame detector having visible light related processing circuits and infrared related circuits respectively coupled to photodiodes to establish instantaneous dc related signal changes and peak-to-peak ac signals over a predetermined time interval
JP3150191U (ja) 警報器
KR102619678B1 (ko) 복합센서 기반 지능형 화재위험 감지 방법
JP2004294423A (ja) 火炎監視システム
KR102286478B1 (ko) 복합형 화재감지기
CN111784960A (zh) 一种火源探测系统及探测方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190205

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230104

R150 Certificate of patent or registration of utility model

Ref document number: 7211622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150