JP7288218B2

JP7288218B2 - 異常音判定システム、異常音判定装置、及びプログラム

Info

Publication number: JP7288218B2
Application number: JP2022019218A
Authority: JP
Inventors: 正樹北村; 真司宮下; 成一米倉
Original assignee: Daikin Industries Ltd
Current assignee: Daikin Industries Ltd
Priority date: 2021-02-15
Filing date: 2022-02-10
Publication date: 2023-06-07
Anticipated expiration: 2042-02-10
Also published as: JP2022124477A; CN116848390A; WO2022173041A1

Description

本開示は、異常音判定システム、異常音判定装置、及びプログラムに関する。

取得された音から生成された信号である音響信号に基づいて、取得された音が異常音であるか否かを判定する異常音検出部と、取得された音が棄却対象音であるか否かの判定を行い、その判定結果から、異常音検出部で検出された異常音を棄却するか否かを判定する棄却部と、取得された音が異常音であると異常音検出部が判定し、かつ、棄却部が異常音を棄却しないと判定した場合に、異常が発生したと判定する異常判定部と、を備えた情報処理装置は従来から知られている（例えば特許文献１参照）。

また、対象物の固有の運動から得られる時間変化の波形データを用いて、自己符号化器による学習を実施し、波形データについて値方向での閾値の変化に応じた連結成分の数の変化を算出するパーシステントホモロジ変換を実行し、波形データによる自己符号化器の出力と、パーシステントホモロジ変換の出力とを入力し、波形データと異常についての機械学習が行われた学習器の判別結果に基づき、異常を判断する異常判別装置は従来から知られている（例えば特許文献２参照）。

国際公開第２０２０／０８４６８０号特開２０２０－３６６３３号公報

例えば生産ラインなどで行われる製品の動作音の異常音検査では、突発的に発生する音や周期的に発生する音など、周囲で発生した周囲音の影響により、製品の動作音の判定結果にばらつきが生じる場合があった。

本開示は、製品の動作音の判定を行う場合に、判定結果のばらつきを抑制できる異常音判定システム、異常音判定装置、及びプログラムを提供することを目的とする。

本開示の異常音判定システムは、製品の動作音データを取得する動作音データ取得手段と、周囲音データを取得する周囲音データ取得手段と、前記動作音データから前記周囲音データを修正する修正手段と、前記周囲音データを修正した前記動作音データで前記製品の動作音を判定する判定手段と、を備える。

本開示によれば、製品の動作音の判定を行う場合に、製品の動作音データから周囲の周囲音データを修正し、周囲音データを修正した動作音データで製品の動作音を判定することができるため、周囲音データの影響による判定結果のばらつきを抑制できる。

前記動作音データ取得手段は、防音ボックス内に設置された製品の動作音をマイクで収音することを特徴としてもよい。

前記周囲音データ取得手段は、防音ボックス外で発生している周囲音をマイクで収音することを特徴としてもよい。

前記判定手段は、複数の機械学習モデルを用いることを特徴としてもよい。

前記修正手段は、前記周囲音データに従って前記動作音データを修正することを特徴としてもよい。

本開示によれば、製品の動作音データから周囲の周囲音データを除去するように、周囲音データに従って動作音データを修正できる。

前記判定手段は、前記製品の正常音データを学習し、前記製品の正常音データからの前記製品の動作音のずれ値を予測する第１機械学習モデルと、前記第１機械学習モデルにより予測した前記製品の正常音データの前記ずれ値のずれの程度を学習し、前記製品の動作音の前記ずれ値のずれの程度がしきい値より大きい場合に、前記製品の動作音を異常と予測する第２機械学習モデルと、で構成される判定アルゴリズムを利用することを特徴としてもよい。

本開示によれば、製品の正常音データからの動作音のずれ値を予測する第１機械学習モデルと、製品の動作音のずれ値のずれの程度から、製品の動作音の異常を予測する第２機械学習モデルと、で構成される判定アルゴリズムにより、異常音判定を自動化することができる。また、本開示によれば、判定アルゴリズムを利用することで、異常音判定における判定基準を統一化できる。

前記第１機械学習モデルは、自己符号化器（オートエンコーダ）を用いることを特徴としてもよい。

本開示によれば、第１機械学習モデルに、正常音データで学習した自己符号化器を用いることで、正常音データからの製品の動作音のずれ値を予測できる。

前記第２機械学習モデルは、局所外れ値因子法（Local Outlier Factor ：ＬＯＦ）を用いることを特徴としてもよい。

本開示によれば、第２機械学習モデルに、局所外れ値因子法を用いることで、第１機械学習モデルにより予測した製品の正常音データのずれ値のずれの程度を学習し、製品の動作音のずれ値のずれの程度がしきい値より大きい場合に、製品の動作音を異常と判定できる。

本開示の異常音判定装置は、製品の動作音データを取得する動作音データ取得手段と、周囲音データを取得する周囲音データ取得手段と、前記動作音データから前記周囲音データを修正する修正手段と、前記周囲音データを修正した前記動作音データで前記製品の動作音を判定する判定手段と、を備える。

本開示のプログラムは、コンピュータに、製品の動作音データを取得する動作音データ取得ステップ、周囲音データを取得する周囲音データ取得ステップ、前記動作音データから前記周囲音データを修正する修正ステップ、前記周囲音データを修正した前記動作音データで前記製品の動作音を判定する判定ステップ、を実行させる。

本実施形態に係る異常音判定システムの一例の構成図である。本実施形態に係るコンピュータの一例のハードウェア構成図である。本実施形態に係る異常音判定装置の一例の機能ブロック図である。周囲音除去部の処理の一例のイメージ図である。判定アルゴリズム部が行う異常音判定処理の一例のイメージ図である。本実施形態に係る異常音判定装置における機械学習処理の一例のフローチャートである。本実施形態に係る異常音判定装置における機械学習処理の一例のイメージ図である。本実施形態に係る異常音判定装置における異常音判定処理の一例のフローチャートである。本実施形態に係る異常音判定装置における異常音判定処理の一例のイメージ図である。本実施形態に係る異常音判定装置における異常音判定処理の一例のイメージ図である。

次に、本発明の実施形態について詳細に説明する。
［第１の実施形態］
＜システム構成＞
図１は、本実施形態に係る異常音判定システムの一例の構成図である。異常音判定システム１は、異常音判定装置１０、検査装置１２の内に置かれた製品１６の動作音が含まれる動作音データを取得（収音）するマイク１４Ａ、及び検査装置１２の外の音（周囲音）が含まれる周囲音データを取得（収音）するマイク１４Ｂを有している。製品１６の動作音は、製品１６から発せられている音である。動作音は、空調機のモータ、圧縮機、室内機、又は室外機などから発せられる音である。周囲音は、検査装置１２の外側で発生している音である。周囲音は、生産ラインで稼働している設備、又はフォークリフトなどから発せられている音である。

検査装置１２は動作音を取得する製品１６が置かれる箱である。マイク１４Ａは検査装置１２に置かれた製品１６の動作音が含まれる動作音データを測定できる。マイク１４Ａが取得する動作音データは検査装置１２内に侵入した周囲音を含む場合がある。例えば正常な製品１６を検査装置１２の中に置くことで、マイク１４Ａは正常な製品の動作音を含む動作音データを測定できる。以下では、正常な製品１６の動作音データを正常音データと呼ぶ場合がある。また、例えば異常音判定対象の製品１６を検査装置１２の中に置くことで、マイク１４Ａは異常音判定対象の製品１６の動作音を含む動作音データを測定できる。マイク１４Ｂは検査装置１２の外側で発生している周囲音を含む周囲音データを取得する。マイク１４Ｂが取得する周囲音データには検査装置１２に置かれた製品１６の動作音が含まれない。なお、正常な製品１６の動作音データを測定する場合は、検査装置１２に遮音性能の高い防音ＢＯＸ（防音ボックス）を用いることで、周囲音データの影響の無い正常音データを測定することもできる。

異常音判定装置１０は、マイク１４Ａが取得した製品１６の動作音データ及びマイク１４Ｂが取得した周囲音データを受信する。異常音判定装置１０は後述するような学習アルゴリズムが製品１６の正常音データを学習し、異常音判定対象の製品１６の動作音データの正常音データからのずれ値を予測する機械学習モデル（第１機械学習モデルの一例）を作成する。また、異常音判定装置１０は後述するような学習アルゴリズムが製品１６の正常音データから予測したずれ値のずれの程度を学習し、異常音判定対象の製品１６の動作音データから予測したずれ値のずれの程度から異常音であるか否かを予測する機械学習モデル（第２の機械学習モデルの一例）を作成する。以下では、製品１６の正常音データを学習し、異常音判定対象の製品１６の動作音データの正常音データからのずれ値を予測する機械学習モデルを「正常データからのずれ値を予測する機械学習モデル」と呼ぶことがある。また、製品１６の正常音データから予測したずれ値のずれの程度を学習し、異常音判定対象の製品１６の動作音データから予測したずれ値のずれの程度から異常音であるか否かを予測する機械学習モデルを「ずれの程度を予測する機械学習モデル」と呼ぶことがある。

異常音判定装置１０は、後述するような判定アルゴリズムが、正常データからのずれ値を予測する機械学習モデル及びずれの程度を予測する機械学習モデルを利用して、異常音判定対象の製品１６の異常音を判定できる。また、異常音判定装置１０は、マイク１４Ａが取得した製品１６の動作音データから周囲音データを修正する（周囲音データの影響が減少するように周囲音データに従って動作音データを修正する）周囲音修正機能を有している。

なお、異常音判定装置１０の名称は一例であって、他の名称であってもよい。異常音判定装置１０とマイク１４Ａ及び１４Ｂとの通信のための接続は、有線接続であっても無線接続であってもよい。また、異常音判定装置１０は、ＰＣ、スマートフォン、タブレット端末などの情報処理端末である。

図１の異常音判定システム１の構成は一例であって、例えば異常音判定装置１０は１台以上の情報処理端末（コンピュータ）により実現されてもよい。例えば異常音判定装置１０は学習アルゴリズムの処理を実行するコンピュータと、判定アルゴリズムの処理を実行するコンピュータと、を分けた構成であってもよい。このように、図１の異常音判定システム１の構成は一例であって、用途や目的に応じて様々なシステム構成例があることは言うまでもない。

＜ハードウェア構成＞
図１の異常音判定装置１０は、例えば図２に示すハードウェア構成のコンピュータ５００により実現する。

図２は、本実施形態に係るコンピュータの一例のハードウェア構成図である。図２のコンピュータ５００は、入力装置５０１、表示装置５０２、外部Ｉ／Ｆ５０３、ＲＡＭ５０４、ＲＯＭ５０５、ＣＰＵ５０６、通信Ｉ／Ｆ５０７、及びＨＤＤ５０８などを備えており、それぞれがバスＢで相互に接続されている。なお、入力装置５０１及び表示装置５０２は必要なときに接続して利用する形態であってもよい。

入力装置５０１は、作業者が各種信号を入力するのに用いるタッチパネル、操作キーやボタン、キーボードやマウスなどである。表示装置５０２は、画面を表示する液晶や有機ＥＬなどのディスプレイ、音声や音楽などの音データを出力するスピーカ等で構成されている。通信Ｉ／Ｆ５０７は、コンピュータ５００がネットワークを介してデータ通信を行うためのインターフェースである。

また、ＨＤＤ５０８は、プログラムやデータを格納している不揮発性の記憶装置の一例である。格納されるプログラムやデータには、コンピュータ５００全体を制御する基本ソフトウェアであるＯＳ、及びＯＳ上において各種機能を提供するアプリケーションなどがある。なお、コンピュータ５００はＨＤＤ５０８に替えて、記憶媒体としてフラッシュメモリを用いるドライブ装置（例えばソリッドステートドライブ：ＳＳＤなど）を利用するものであってもよい。

外部Ｉ／Ｆ５０３は、外部装置とのインターフェースである。外部装置には、記録媒体５０３ａなどがある。これにより、コンピュータ５００は外部Ｉ／Ｆ５０３を介して記録媒体５０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体５０３ａにはフレキシブルディスク、ＣＤ、ＤＶＤ、ＳＤメモリカード、ＵＳＢメモリなどがある。

ＲＯＭ５０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）の一例である。ＲＯＭ５０５にはコンピュータ５００の起動時に実行されるＢＩＯＳ、ＯＳ設定、及びネットワーク設定などのプログラムやデータが格納されている。ＲＡＭ５０４はプログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）の一例である。

ＣＰＵ５０６は、ＲＯＭ５０５やＨＤＤ５０８などの記憶装置からプログラムやデータをＲＡＭ５０４上に読み出し、処理を実行することで、コンピュータ５００全体の制御や機能を実現する演算装置である。本実施形態に係る異常音判定装置１０は、後述するような各種機能ブロックを実現できる。

＜ソフトウェア構成＞
《機能ブロック》
本実施形態に係る異常音判定システム１の異常音判定装置１０の機能ブロックについて説明する。図３は本実施形態に係る異常音判定装置の一例の機能ブロック図である。異常音判定装置１０はプログラムを実行することで、動作音データ取得部５０、周囲音データ取得部５２、周囲音除去部５４、異常音判定部５６、及び表示制御部５８を実現する。

動作音データ取得部５０は、マイク１４Ａが測定した正常な製品１６又は異常音判定対象の製品１６の動作音データを受信する。周囲音データ取得部５２はマイク１４Ｂが測定した周囲音データを受信する。

動作音データ取得部５０は取得した製品１６の動作音データを周囲音除去部５４及び異常音判定部５６に送信する。また、周囲音データ取得部５２は取得した周囲音データを周囲音除去部５４及び異常音判定部５６に送信する。

周囲音除去部５４は動作音データ取得部５０から受信した製品１６の動作音データ及び周囲音データ取得部５２から受信した周囲音データを用いて、周囲音データの影響が減少するように、例えば図４に示すように動作音データから周囲音データの影響を除去するなどの修正を行う。なお、以下では「動作音データからの周囲音データの除去」と記載している場合があるが、周囲音データの影響を完全に除去するものに限定するものでなく、一部の影響が残ってもよい。

図４は周囲音除去部の処理の一例のイメージ図である。図４（Ａ）は製品１６の動作音データの強度の時間変化の波形を示している。また、図４（Ｂ）は周囲音データの強度の時間変化の波形を示している。図４（Ｃ）に示したように、製品の動作音データからの周囲音データの除去は、図４（Ｂ）の周囲音データに基づいた図４（Ａ）の動作音データの異常箇所を、強度を小さく修正することで行う。図４（Ｃ）に示したデータ修正後の波形は図４（Ａ）の動作音データの異常箇所が修正された波形となる。周囲音除去部５４は周囲音データの影響を除去した動作音データを異常音判定部５６に送信する。

異常音判定部５６は、後述の機械学習処理と異常音判定処理とを行う。異常音判定部５６は、学習アルゴリズム部６０及び判定アルゴリズム部６２を有する。学習アルゴリズム部６０は、周囲音データの影響の無い製品１６の正常音データを学習し、正常データからのずれ値を予測する機械学習モデル（ＡＩ）と、及びずれの程度を予測する機械学習モデル（ＡＩ）と、を作成する。

判定アルゴリズム部６２は学習アルゴリズム部６０が作成した、正常データからのずれ値を予測する機械学習モデルと、及びずれの程度を予測する機械学習モデルとを利用することで、異常音判定対象の製品１６の動作音が異常音であるか否かを判定する。判定アルゴリズム部６２が行う異常音判定処理は、例えば図５に示すように行われる。図５は判定アルゴリズム部が行う異常音判定処理の一例のイメージ図である。

図５に示すように、正常データからのずれ値を予測する機械学習モデルは、オートエンコーダを用いることができる。オートエンコーダを用いた機械学習モデルは、学習アルゴリズム部６０により製品１６の正常音データを上手く復元できるような圧縮方法を学習済みである。オートエンコーダを用いた機械学習モデルは、異常音判定対象の製品１６の動作音データを入力され、学習済みの圧縮方法で圧縮した後で復元する。

判定アルゴリズム部６２は、オートエンコーダを用いた機械学習モデルに入力された動作音データと、オートエンコーダを用いた機械学習モデルにより復元された動作音データとの差分（ずれ値）を、正常音データからの異常音判定対象の製品１６の動作音データのずれ値として予測する。

また、ずれの程度を予測する機械学習モデルは、局所外れ値因子法（ＬＯＦ）を用いることができる。ＬＯＦを用いた機械学習モデルは、正常音データのずれ値の特徴の分布を学習済みである。ＬＯＦを用いた機械学習モデルは、後述するように、正常音データのずれ値の特徴の分布と、異常音判定対象の製品１６の動作音データのずれ値の特徴と、の関係から、異常音判定対象の製品１６の動作音が正常であるか異常であるかを予測できる。

例えば図５に示すように、判定アルゴリズム部６２は、動作音データのずれ値の「特徴１」及び「特徴２」を表すグラフ上において、異常音判定対象の製品１６の動作音データのずれ値の特徴を表すプロットと、正常音データのずれ値の特徴を表すプロットの分布とを比較する。正常音データのずれ値の特徴を表すプロットの分布に、異常音判定対象の製品１６の動作音データのずれ値の特徴を表すプロットが含まれていれば、判定アルゴリズム部６２は、異常音判定対象の製品１６の動作音を正常と予測する。また、正常音データのずれ値の特徴を表すプロットの分布に、異常音判定対象の製品１６の動作音データのずれ値の特徴を表すプロットが含まれていなければ、判定アルゴリズム部６２は、異常音判定対象の製品１６の動作音を異常と予測する。なお、学習アルゴリズム部６０及び判定アルゴリズム部６２の処理の詳細については後述する。

図３に戻り、表示制御部５８は作業者に提示する必要のある情報を表示装置５０２に表示する。例えば表示制御部５８は、異常音判定部５６が予測した異常音判定対象の製品１６の動作音が正常であるか否かの判定結果を表示装置５０２に表示する。表示制御部５８は表示装置５０２の表示に限らず、ブザーやサイレンによる出力、ランプやライトの点灯等により、作業者に情報を提示してもよい。

なお、図３の機能ブロック図は本実施形態に係る異常音判定システム１の説明に不要な機能について適宜省略している。

＜処理＞
図６は本実施形態に係る異常音判定装置における機械学習処理の一例のフローチャートである。図７は本実施形態に係る異常音判定装置における機械学習処理の一例のイメージ図である。

ステップＳ１０において、異常音判定装置１０は製品１６の正常音データをマイク１４Ａから取得する。ステップＳ１２において、異常音判定装置１０は正常音データを短時間フーリエ変換（ＳＴＦＴ）することで、例えば図７に示すような、正常音データの周波数領域表現の特徴量を得る。異常音判定装置１０は短時間フーリエ変換する前に、必要に応じて前処理（正規化、標準化、正則化）を行ってもよい。

ステップＳ１４において、異常音判定装置１０はオートエンコーダを用いた機械学習モデルに、製品１６の正常音データを上手く復元できるような圧縮方法を学習させる。学習が終了すると、ステップＳ１６からステップＳ１８の処理に進み、異常音判定装置１０はオートエンコーダを用いた学習済みの機械学習モデルに、正常音データの周波数領域表現の特徴量を入力する。

オートエンコーダを用いた学習済みの機械学習モデルは、入力された正常音データの周波数領域表現の特徴量（以下、正常音入力データと呼ぶ）を学習済みの圧縮方法で圧縮したあとで復元する。オートエンコーダを用いた学習済みの機械学習モデルは、例えば図７に示すような復元した正常音データの周波数領域表現の特徴量（以下、正常音復元データと呼ぶ）を出力する。

ステップＳ２０において、異常音判定装置１０は正常音入力データと正常音復元データとの図７に示すような差分データを取得する。ステップＳ２２において、異常音判定装置１０は例えば図７に示すように差分データを時間方向及び周波数方向のそれぞれで平均をとり、時間方向の平均値及び周波数方向の平均値を算出する。

ステップＳ２４～Ｓ３０において、異常音判定装置１０は算出した時間方向の平均値に対する処理を行う。また、ステップＳ３２～Ｓ３８において、異常音判定装置１０は算出した周波数方向の平均値に対する処理を行う。

ステップＳ２４において、異常音判定装置１０は算出した時間方向の平均値で、ＬＯＦを用いた機械学習モデルに学習させる。学習が終了すると、ステップＳ２６からステップＳ２８の処理に進み、異常音判定装置１０はＬＯＦを用いた学習済みの機械学習モデルに時間方向の平均値を入力してスコア（異常度）を出力する。ステップＳ３０において、異常音判定装置１０はスコアの分布をとり、３σの位置を示すスコアの値を、異常判定の閾値（閾値１）に決定する。

また、ステップＳ３２において、異常音判定装置１０は算出した周波数方向の平均値でＬＯＦを用いた機械学習モデルに学習させる。学習が終了すると、ステップＳ３４からステップＳ３６の処理に進み、異常音判定装置１０はＬＯＦを用いた学習済みの機械学習モデルに周波数方向の平均値を入力してスコア（異常度）を出力する。ステップＳ３８において、異常音判定装置１０はスコアの分布をとり、３σの位置を示すスコアの値を、異常判定の閾値（閾値２）に決定する。

異常音判定装置１０は図６及び図７を用いた機械学習処理の後、図８～図１０に示すような異常音判定処理を行う。図８は本実施形態に係る異常音判定装置における異常音判定処理の一例のフローチャートである。図９及び図１０は本実施形態に係る異常音判定装置における異常音判定処理の一例のイメージ図である。

ステップＳ５０において、異常音判定装置１０は、異常音判定対象の製品１６の動作音データをマイク１４Ａから取得する。ステップＳ５２において、異常音判定装置１０は異常音判定対象の製品１６の動作音データを短時間フーリエ変換することで、異常音判定対象の製品１６の動作音データの周波数領域表現の特徴量を得る。

ステップＳ５４において、異常音判定装置１０は図６及び図７を用いて説明した機械学習処理により学習済みのオートエンコーダを用いた機械学習モデルに、異常音判定対象の製品１６の動作音データの周波数領域表現の特徴量を入力する。

オートエンコーダを用いた学習済みの機械学習モデルは、入力された異常音判定対象の製品１６の動作音データの周波数領域表現の特徴量（以下、動作音入力データと呼ぶ）を学習済みの圧縮方法で圧縮したあとで復元する。また、オートエンコーダを用いた学習済みの機械学習モデルは、復元した動作音データの周波数領域表現の特徴量（以下、動作音復元データと呼ぶ）を出力する。

ステップＳ５６において、異常音判定装置１０は動作音入力データと動作音復元データとの差分データを取得する。ステップＳ５８において、異常音判定装置１０は差分データを時間方向及び周波数方向のそれぞれで平均をとり、時間方向の平均値及び周波数方向の平均値を算出する。時間方向の平均値は、断続的に発生しうる異常音を検知する処理に利用する。また、周波数方向の平均値は、定常的に発生しうる異常音を検知する処理に利用する。

ステップＳ６０において、異常音判定装置１０はＬＯＦを用いた学習済みの機械学習モデルに時間方向の平均値を入力してスコア（ｓｃｏｒｅ１）を出力する。ステップＳ６２において、異常音判定装置１０はステップＳ６０で出力したスコア（ｓｃｏｒｅ１）と機械学習処理で決定した異常判定の閾値（閾値１）とを比較する。

ステップＳ６０で出力したスコア（ｓｃｏｒｅ１）が機械学習処理で決定した異常判定の閾値（閾値１）より大きければ、異常音判定装置１０は周囲音の影響を除去した後で動作音の判定を行うステップＳ６４～Ｓ６８の処理を行う。ステップＳ６４において、異常音判定装置１０はマイク１４Ｂから取得した周囲音データを確認する。異常音判定装置１０は周囲音データを短時間フーリエ変換することで、例えば図９に示す周囲音データの周波数領域表現の特徴量を得る。また、異常音判定装置１０は例えば図９に示すように前処理により、時間方向の平均値を算出する。

ステップＳ６６において、異常音判定装置１０はステップＳ５８で算出した時間方向の平均値とステップＳ６４で算出した周囲音データの時間方向の平均値とを比較する。異常音判定装置１０は、図９に示すように、閾値を超えるピーク値の一致部分が小さくなるように、ステップＳ５８で算出した時間方向の平均値を修正する。ステップＳ６６の処理により、異常音判定装置１０は突発的に周囲で発生した強い音（例えばフォークリフトのクラクションや打撃音など）があれば、その音の影響を除去できる。ステップＳ６８において、異常音判定装置１０はステップＳ６６で修正された時間方向の平均値を、ＬＯＦを用いた学習済みの機械学習モデルに入力してスコア（ｓｃｏｒｅ１）を出力する。ステップＳ７０において、異常音判定装置１０はステップＳ６８で出力したスコア（ｓｃｏｒｅ１）と機械学習処理で決定した異常判定の閾値（閾値１）とを比較する。

ステップＳ６８で出力したスコア（ｓｃｏｒｅ１）が機械学習処理で決定した異常判定の閾値（閾値１）より大きければ、異常音判定装置１０はステップＳ８４において、異常音判定対象の製品１６の動作が異常と判定する。

ステップＳ６０で出力したスコア（ｓｃｏｒｅ１）が機械学習処理で決定した異常判定の閾値（閾値１）より大きくないか、又はステップＳ６８で出力したスコア（ｓｃｏｒｅ１）が機械学習処理で決定した異常判定の閾値（閾値１）より大きくなければ、異常音判定装置１０はステップＳ７２の処理を行う。

ステップＳ７２において、異常音判定装置１０はＬＯＦを用いた学習済みの機械学習モデルに周波数方向の平均値を入力してスコア（ｓｃｏｒｅ２）を出力する。ステップＳ７４において、異常音判定装置１０はステップＳ７２で出力したスコア（ｓｃｏｒｅ２）と機械学習処理で決定した異常判定の閾値（閾値２）とを比較する。

ステップＳ７２で出力したスコア（ｓｃｏｒｅ２）が機械学習処理で決定した異常判定の閾値（閾値２）より大きければ、異常音判定装置１０は周囲音の影響を除去した後で動産音の判定を行うステップＳ７６～Ｓ８０の処理を行う。ステップＳ７６において、異常音判定装置１０はマイク１４Ｂから取得した周囲音データを確認する。異常音判定装置１０は周囲音データを短時間フーリエ変換することで、例えば図１０に示す周囲音データの周波数領域表現の特徴量を得る。また、異常音判定装置１０は例えば図１０に示すように前処理により、周波数方向の平均値を算出する。

ステップＳ７８において、異常音判定装置１０はステップＳ７２で算出した周波数方向の平均値とステップＳ７６で算出した周囲音データの周波数方向の平均値とを比較し、図１０に示すように、ピーク値の一致部分が小さくなるように、ステップＳ７２で算出した周波数方向の平均値を修正する。ステップＳ７８の処理により、異常音判定装置１０は周期的に周囲で発生する音（例えばサイレン、他設備の動作音など）があれば、その音の影響を除去できる。

ステップＳ８０において、異常音判定装置１０はステップＳ７８で修正された周波数方向の平均値を、ＬＯＦを用いた学習済みの機械学習モデルに入力してスコア（ｓｃｏｒｅ２）を出力する。ステップＳ８２において、異常音判定装置１０はステップＳ８０で出力したスコア（ｓｃｏｒｅ２）と機械学習処理で決定した異常判定の閾値（閾値２）とを比較する。

ステップＳ８０で出力したスコア（ｓｃｏｒｅ２）が機械学習処理で決定した異常判定の閾値（閾値２）より大きければ、異常音判定装置１０はステップＳ８４において、異常音判定対象の製品１６の動作が異常と判定する。

ステップＳ７２で出力したスコア（ｓｃｏｒｅ２）が機械学習処理で決定した異常判定の閾値（閾値２）より大きくないか、又はステップＳ８０で出力したスコア（ｓｃｏｒｅ２）が機械学習処理で決定した異常判定の閾値（閾値２）より大きくなければ、異常音判定装置１０はステップＳ８６の処理を行う。ステップＳ８６の処理において、異常音判定装置１０は異常音判定対象の製品１６の動作が正常と判定する。

上記した本実施形態に係る異常音判定システム１は、例えば生産ラインの異常音検査に適用できる。生産ラインの異常音検査では、部品干渉などによって発生する異常音を作業者が聞いて判断する場合もある。しかしながら、作業者による異常音の判断基準は作業者の判断に依存している。このため、作業者による異常音検査では作業者によって製品１６の動作音の判定結果にばらつきが生じる場合があった。

本実施形態に係る異常音判定システム１では、正常な製品１６の動作音データ（正常音データ）で機械学習モデルを学習し、正常音データの特徴と異常音判定対象の製品１６の動作音データの特徴とのずれの程度から、異常音判定対象の製品１６の動作音の異常を自動で判定できる。

したがって、本実施形態に係る異常音判定システム１では、製品１６の異常音検査を自動化することができ、異常音検査要員を省人化できる。

以上、本実施形態について説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

例えば上記の実施形態では、ＬＯＦを用いた機械学習モデルに対して、時間方向の平均値を用いた学習と周波数方向の平均値を用いた学習との両方を行っているが、片方だけ行うようにしてもよい。また、上記の実施形態では、動作音が正常でないときに周囲音の影響を除去する処理を行っているが、予め周囲音の影響を動作音データから除去するようにしてもよい。

例えば異常音判定装置１０が取得する情報は、マイク１４Ａ及び１４Ｂによる音圧に限定されず、振動センサにより測定されるデータ、電流電圧波形、その他の時系列データであってもよい。

オートエンコーダを用いた機械学習モデルは一例であって、例えばＶＡＥ（variational autoencoder）やＧＡＮ（generative adversarial networks）など、その他のディープラーニングの手法を用いた機械学習モデルであってもよい。

また、周波数方向、時間方向の平均値の算出は、差分データの生成後に求めるのではなく、オートエンコーダの入力前に各平均値を算出し、学習させてもよい。差分データの生成後、ＬＯＦを用いた機械学習モデルに入力するデータは平均値に限らず、その他の統計量（分散、最大、最小など）を用いても良い。また、平均値を主成分分析などで次元圧縮しても良い。

また、ＬＯＦを用いた機械学習モデルは一例であって、ＬＯＦに限らず、マハラノビス距離やｏｎｅ－ｃｌａｓｓＳＶＭ、ｉｓｏｌａｔｉｏｎｆｏｒｅｓｔなど、その他の機械学習の手法を用いても良い。あるいはオートエンコーダと並列に、これら機械学習の手法を用いてアンサンブル学習を行っても良い。また、動作音の判定結果は、異常度を示すスコア以外に、正常／異常を示す０／１のラベルでもよい。正常／異常を決定する閾値は、現場の作業者が必要に応じて変更しても良い。また、本実施形態に係る異常音判定システム１は、十分静寂な環境である場合、周囲音除去部５４の機能をオフ（OFF）できるようにしてもよい。

１異常音判定システム
１０異常音判定装置
１２検査装置
１４Ａ、１４Ｂマイク
１６製品
５０動作音データ取得部
５２周囲音データ取得部
５４周囲音除去部
５６異常音判定部
５８表示制御部
６０学習アルゴリズム部
６２判定アルゴリズム部

Claims

製品の動作音データを取得する動作音データ取得手段と、
周囲音データを取得する周囲音データ取得手段と、
前記周囲音データの影響を減少させるように前記動作音データを修正する修正手段と、
前記周囲音データを修正した前記動作音データで前記製品の動作音を機械学習モデルを用いて判定する判定手段と、
を備え、
前記判定手段は、前記製品の正常音データを学習し、前記製品の正常音データからの前記製品の動作音のずれ値を予測する第１機械学習モデルと、前記第１機械学習モデルにより予測した前記製品の正常音データの前記ずれ値のずれの程度を学習し、前記製品の動作音の前記ずれ値のずれの程度がしきい値より大きい場合に、前記製品の動作音を異常と予測する第２機械学習モデルと、で構成される判定アルゴリズムを利用する
異常音判定システム。
前記動作音データ取得手段は、防音ボックス内に設置された製品の動作音をマイクで収音すること
を特徴とする請求項１記載の異常音判定システム。
前記周囲音データ取得手段は、防音ボックス外で発生している周囲音をマイクで収音すること
を特徴とする請求項１記載の異常音判定システム。
前記修正手段は、前記周囲音データに従って前記動作音データを修正すること
を特徴とする請求項１乃至３の何れか一項に記載の異常音判定システム。
前記判定手段は、前記製品の正常音データを時間方向及び周波数方向のそれぞれで学習し、前記製品の正常音データからの前記製品の動作音のずれ値を時間方向及び周波数方向のそれぞれで予測する第１機械学習モデルと、前記第１機械学習モデルにより予測した前記製品の正常音データの時間方向及び周波数方向のそれぞれで前記ずれ値のずれの程度を学習し、前記製品の動作音の前記ずれ値のずれの程度が時間方向及び周波数方向の何れかでしきい値より大きい場合に、前記製品の動作音を異常と予測する第２機械学習モデルと、で構成される判定アルゴリズムを利用する
請求項１乃至４の何れか一項に記載の異常音判定システム。
前記第１機械学習モデルは、自己符号化器（オートエンコーダ）を用いること
を特徴とする請求項１乃至５の何れか一項に記載の異常音判定システム。
前記第２機械学習モデルは、局所外れ値因子法（Local Outlier Factor ：ＬＯＦ）を用いること
を特徴とする請求項１乃至６の何れか一項に記載の異常音判定システム。
製品の動作音データを取得する動作音データ取得手段と、
周囲音データを取得する周囲音データ取得手段と、
前記周囲音データの影響を減少させるように前記動作音データを修正する修正手段と、
前記周囲音データを修正した前記動作音データで前記製品の動作音を機械学習モデルを用いて判定する判定手段と、
を備え、
前記判定手段は、前記製品の正常音データを学習し、前記製品の正常音データからの前記製品の動作音のずれ値を予測する第１機械学習モデルと、前記第１機械学習モデルにより予測した前記製品の正常音データの前記ずれ値のずれの程度を学習し、前記製品の動作音の前記ずれ値のずれの程度がしきい値より大きい場合に、前記製品の動作音を異常と予測する第２機械学習モデルと、で構成される判定アルゴリズムを利用する
異常音判定装置。
コンピュータに、
製品の動作音データを取得する動作音データ取得ステップ、
周囲音データを取得する周囲音データ取得ステップ、
前記周囲音データの影響を減少させるように前記動作音データを修正する修正ステップ、
前記周囲音データを修正した前記動作音データで前記製品の動作音を機械学習モデルを用いて判定する判定ステップ、
を実行させ、
前記判定ステップは、前記製品の正常音データを学習し、前記製品の正常音データからの前記製品の動作音のずれ値を予測する第１機械学習モデルと、前記第１機械学習モデルにより予測した前記製品の正常音データの前記ずれ値のずれの程度を学習し、前記製品の動作音の前記ずれ値のずれの程度がしきい値より大きい場合に、前記製品の動作音を異常と予測する第２機械学習モデルと、で構成される判定アルゴリズムを利用する
プログラム。