JP2021105684A

JP2021105684A - 騒音内音声認識装置及び騒音内音声認識システム

Info

Publication number: JP2021105684A
Application number: JP2019237523A
Authority: JP
Inventors: 田村　修一; Shuichi Tamura; 修一田村
Original assignee: Toyota Motor Kyushu Inc
Current assignee: Toyota Motor Kyushu Inc
Priority date: 2019-12-26
Filing date: 2019-12-26
Publication date: 2021-07-26

Abstract

【課題】工場の生産ライン内の騒音の中から発声音を抽出してその波形データを騒音内音声認装置やサーバーの記憶領域に記憶する騒音内音声認識装置及び騒音内音声認識システムを提供する。【解決手段】騒音内音声認識装置は、音声データ入力手段と、前記音声データ入力手段から入力された音声波形を切り出す手段と、切り出した音声波形から騒音を除去する手段と、騒音を除去した音声波形から特定の周波数帯域に分類される特徴量を抽出する手段と、抽出した特徴量に基づき音声波形のデータを生成する手段と、生成された音声波形のデータを記憶領域に保存する記憶手段およびＬＡＮに接続されて音声波形のデータを保存するサーバーとから構成する。【選択図】図１

Description

この発明は、例えば、工場内の騒音環境下においてデータの読み取り音声を認識し、データ保存を行う騒音内音声認識装置及び騒音内音声認識システムに関する。

従来、例えば、自動車部品等の被測定物の測定作業は、測定作業者が測定を行い、測定したデータを測定器から読み取り、その測定データを発声して記録作業者に伝え、それを記録作業者が耳で聞いて、その聞いた測定データを手書きし、事務所に戻ってパソコンに入力することによって、測定データの保存、管理を行っていた。

しかし、従来の測定作業、記録作業及びパソコン入力作業では２人以上の作業者を必要とし、さらに、測定データの聞き間違いや、測定データの手書き段階及びパソコン入力段階において誤りが発生する虞があった。

そこで、上記問題を解消するために従来の手書き作業に代わって、測定者が発生する測定データの音声情報を自動的に認識してパソコンなどに電子データとして保存する次のような技術が開示されている。

特許文献１には、工場の生産ライン内での不具合を音声入力できるように構成した音声認識装置について記載されている。具体的には、音声入力手段と、前記音声入力手段から入力された一連の音声から予め定められた特徴部分を抽出し、前記特徴部分の前後で前記一連の音声を区切る処理手段と、前記処理手段で区切られた音声をそれぞれ音声データベースと照合することで音声情報を認識する認識手段と、を有し、特徴部分をアルファベットと数字からなる部分で構成したことを特徴とする音声認識装置についての技術が開示されている。

また、特許文献２には、最適な音声認識処理について記載されている。具体的には、周囲環境及び使用状況に応じて、入力した信号から特徴量を抽出し、その特徴量に応じて認識語彙を選択し、さらにその特徴量に応じて文法を選択する。そして、これらの選択した認識語彙及び文法を用いて、パターンマッチングによる音声認識を行う構成についての技術が開示されている。

特開２００３−２２３１８４号公報特開２００４−００４１８２号公報

しかし、工場の生産ライン内では騒音が大きく、測定作業者の測定データの発生音と工場内の騒音とが入り混じった音声情報から作業者の発声音を抽出し、測定データとして記録することが必要になる。しかるに、特許文献１及び特許文献２には、人の発声音と騒音が入り混じっている音声情報から人の発声音を抽出して測定データを認識する技術については、開示されておらず、このような問題点を解決することはできない。

本発明は、かかる問題点を解決するためになされたものであり、測定作業者の測定データの発声音と工場内の騒音が入り混じった音声情報から人の発声音を抽出し、抽出した音声データを騒音内音声認識装置やサーバーの記憶領域に記憶する騒音内音声認識装置及び騒音内音声認識システムを提供することを目的とする。

本発明の騒音内音声認識装置は、音声データ入力手段と、前記音声データ入力手段から入力された音声波形を切り出す手段と、切り出した音声波形から騒音を除去する手段と、騒音を除去した音声波形から音声波形のデータを生成する手段と、生成された音声波形のデータを記憶領域に保存する記憶手段と、から構成されたことを特徴とする。

前記騒音を除去した音声波形から音声波形のデータを生成する手段は、騒音を除去した音声波形から特定の周波数帯域に分類される特徴量を抽出する手段と、予め音節の特徴量の音声マスタを記憶しておく音声マスタ記憶手段と、前記抽出した特徴量と予め記憶している音声マスタの特徴量とを照合し、前記抽出した特徴量に最も近い音声マスタを抽出する手段と、前記抽出した音声マスタを音声波形のデータとする手段と、から構成されたことを特徴とする。

前記騒音を除去した音声波形から音声波形のデータを生成する手段は、予め音節の音声波形の波形マス目マスタを記憶しておく波形マス目マスタ記憶手段と、切り出された音声波形をマス目テーブル上に配列し、当該配列された波形マス目パターンとを照合し、前記波形マス目パターンに最も近い波形マス目マスタを抽出する手段と、抽出した波形マス目マスタを音声波形のデータとする手段と、から構成されたことにより音声波形のデータを抽出することを特徴とする。

前記騒音を除去した音声波形から音声波形のデータを生成する手段は、騒音を除去した音声波形から特定の周波数帯域に分類される特徴量を抽出する手段と、予め音節の特徴量の音声マスタを記憶しておく音声マスタ記憶手段と、前記抽出した特徴量と予め記憶している音声マスタの特徴量とを照合し、前記抽出した特徴量に最も近い音声マスタを抽出する手段と、前記抽出した音声マスタを音声波形のデータとする手段と、前記抽出した特徴量に近い音声マスタに記憶されている特徴量が複数ある場合は、予め音節の音声波形の波形マス目マスタを記憶しておく波形マス目マスタ記憶手段と、切り出された音声波形をマス目テーブル上に配列し、当該配列された波形マス目パターンとを照合し、前記波形マス目パターンに最も近い波形マス目マスタを抽出する手段と、抽出した波形マス目マスタを音声波形のデータとする手段と、から音声波形のデータを抽出するよう構成されたことを特徴とする。

本発明の騒音内音声認識システムは、前記騒音内音声認識装置と、前記騒音内音声認識装置に音声信号を入力する音声入力装置と、前記騒音内音声認識装置に備えた通信手段により前記記憶手段の音声波形のデータを送信し、当該音声波形のデータを受信して記憶領域に保存するサーバーと、から構成されたことを特徴とする。

請求項１に記載の発明によれば、本発明の騒音内音声認識装置は、音声データ入力手段と、前記音声データ入力手段から入力された音声波形を切り出す手段と、切り出した音声波形から騒音を除去する手段と、騒音を除去した音声波形から音声波形のデータを生成する手段と、生成された音声波形のデータを記憶領域に保存する記憶手段と、から構成されているため、例えば、タブレット端末などのハードウェア資源を使ってソフトウェアで実現することができ、持ち運びが簡単で、工場内の作業現場に一人で手軽に持ち運んで測定及びデータの記録をすることができるなど、利便性に優れている。

また、人の音声と騒音が入り混じっている音声波形の中から人の発声音を抽出して測定データを認識し、この波形データを当該タブレット端末の記憶領域に保存することにより、工場内の騒音環境下において音声認識を行うことができると共に、測定データを電子データとして保存及び管理することができる。

また、従来２人で行っていた作業を１人ですることができ、さらに、測定データの転記ミスや入力ミスを防止することができる。

請求項２に記載の発明によれば、前記騒音を除去した音声波形から音声波形のデータを生成する手段は、騒音を除去した音声波形から特定の周波数帯域に分類される特徴量を抽出する手段と、予め音節の特徴量の音声マスタを記憶しておく音声マスタ記憶手段と、前記抽出した特徴量と予め記憶している音声マスタの特徴量とを照合し、前記抽出した特徴量に最も近い音声マスタを抽出する手段と、前記抽出した音声マスタを音声波形のデータとする手段と、から構成されているため、抽出した特徴量と、音声マスタ記憶手段に記憶されている音声マスタとの照合によって最も近い音声マスタを抽出することができ、構成が簡単で、かつ、処理速度を速くすることができる。

請求項３に記載の発明によれば、前記騒音を除去した音声波形から音声波形のデータを生成する手段は、予め音節の音声波形の波形マス目マスタを記憶しておく波形マス目マスタ記憶手段と、切り出された音声波形をマス目テーブル上に配列し、当該配列された波形マス目パターンとを照合し、前記波形マス目パターンに最も近い波形マス目マスタを抽出する手段と、抽出した波形マス目マスタを音声波形のデータとする手段と、から構成されているため、構成が簡単で分かり易く、波形マスタの記憶データを変更することで照合の微調整も容易にすることができる。

請求項４に記載の発明によれば、前記騒音を除去した音声波形から音声波形のデータを生成する手段は、騒音を除去した音声波形から特定の周波数帯域に分類される特徴量を抽出する手段と、予め音節の特徴量の音声マスタを記憶しておく音声マスタ記憶手段と、前記抽出した特徴量と予め記憶している音声マスタの特徴量とを照合し、前記抽出した特徴量に最も近い音声マスタを抽出する手段と、前記抽出した音声マスタを音声波形のデータとする手段と、前記抽出した特徴量に近い音声マスタに記憶されている特徴量が複数ある場合は、予め音節の音声波形の波形マス目マスタを記憶しておく波形マス目マスタ記憶手段と、切り出された音声波形をマス目テーブル上に配列し、当該配列された波形マス目パターンとを照合し、前記波形マス目パターンに最も近い波形マス目マスタを抽出する手段と、抽出した波形マス目マスタを音声波形のデータとする手段と、から音声波形のデータを抽出するよう構成されているため、抽出した特徴量と、音声マスタ記憶手段に記憶されている音声マスタとの照合によっては音声マスタを抽出することの判定ができない場合でも、切り出された音声波形をマス目テーブル上に配列し、波形マス目マスタと照合することによって、配列した波形マス目パターンに最も近い波形マス目マスタを抽出することができ、より正確に音声波形のデータを生成することができる。

請求項５に記載の発明によれば、本発明の騒音内音声認識システムは、前記騒音内音声認識装置と、前記騒音内音声認識装置に音声信号を入力する音声入力装置と、前記騒音内音声認識装置に備えた通信手段により前記記憶手段の音声波形のデータを送信し、当該音声波形のデータを受信して記憶領域に保存するサーバーとから構成されている。したがって、工場現場で日々行われている試験、検査などの測定データを手書き作業やパソコン入力作業を経ることなく、リアルタイムにサーバーに収集し、音声解析をすることができるため、騒音の大きな工場現場における測定作業の省力化とデータ処理の迅速化を図ることができる。

本発明に係る騒音内音声認識システムの構成図である。本発明に係る騒音内音声認識装置のブロック図である。本発明に係る騒音内音声認識装置及び騒音内音声認識システムの処理フローチャートである。波形切り出し処理の説明図である。波形切り出しと波形認識とを並列で処理する説明図である。抽出した特徴量と音声マスタとの照合処理の説明図である。マス目テーブル上に配列した波形マス目パターンと、波形マス目マスタとの照合処理の説明図である。

本発明の要旨は、人の音声と騒音が入り混じった音の中から音声波形を切り出して、切り出した音声波形から騒音を除去し、騒音を除去した音声波形データから特定の周波数帯域に分類される特徴量を抽出し、抽出した特徴量に基づき音声波形のデータを生成し、又は／及び音声波形をマス目テーブル上に配列した波形マス目パターンと、波形マス目マスタとの照合処理を行い、照合結果により音声波形のデータを生成し、当該生成された音声波形のデータを記憶部に記憶すると共に、工場内のＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）などの通信回線を介して収集して、サーバーの記憶領域に保存し、音声解析を行うことができるよう構成することにより、騒音の大きな工場現場における測定作業の省力化とデータ処理の迅速化を図るものである。

以下、本発明の実施の形態について図面により説明する。ただし、図面は模式的なものであり、各部の配置や寸法の比率等は現実のものとは必ずしも一致するものではない。

図１は、本発明に係る騒音内音声認識システム１００の構成図である。本図において、本発明の実施形態に係る騒音内音声認識システム１００は、前記騒音内音声認識装置１と、前記騒音内音声認識装置１に音声信号を入力するマイクロフォン５と、前記騒音内音声認識装置１に備えた通信部１６により送信した音声波形のデータを送受信する無線ルータ６と、無線ルータ６が送信した当該音声波形のデータを受信して記憶領域に保存するサーバー８と、無線ルータ６とサーバー８を接続するＬＡＮ７とから構成されている。

騒音内音声認識装置１は、本発明に係る騒音内音声認識システム１００の中核をなす構成機器であり、図２のブロック図に示すように構成されている。すなわち、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０は、騒音内音声認識装置１の動作を統括的に制御するプロセッサである。ＣＰＵ１０は、システムコントローラ１１を介して騒音内音声認識装置１の各部を制御する。ＣＰＵ１０は、プログラム記憶部１７に予め書き込まれているオペレーティングシステムや各種のアプリケーションプログラムをＲＡＭ（ＲａｎｄａｍＡｃｃｅｓｓＭｅｍｏｒｙ）１８にロードし、ロードされたプログラムに従って処理を実行することにより、騒音内音声認識装置１の各部の制御機能を実現する。

また、入力された音声データから特徴量を演算処理により抽出し、抽出した特徴量に基づき音声波形のデータを演算処理により生成し、生成された音声波形のデータを音声波形データ記憶部２２に記憶し、通信部１６、無線ルータ６及びＬＡＮ７を介してサーバー８に送信し、サーバー８の記憶部８１に保存する。

プログラム記憶部１７は、不揮発性メモリから構成されており、ＣＰＵ１０が制御動作を行うためのオペレーティングシステム、音声認識処理を行うアプリケーションプログラム及びプログラムの実行に必要な各種データなどが予め書き込まれている。また、アプリケーションプログラムなどのバージョンアップ等のときは、この内容を書き換えることもできる。

ＲＡＭ１８は、本装置のメインメモリであり、前記プログラム記憶部１７に予め書き込まれているオペレーティングシステムをインストールし、各種のアプリケーションプログラムをロードする。ＣＰＵ１０は、ＲＡＭ１８上にロードされたアプリケーションプログラムである音声処理プログラムを実行する。また、演算処理において発生するデータの一時的な記憶装置としても使用される。

システムコントローラ１１は、プログラム記憶部１７及びＲＡＭ１８に対するアクセス制御を行う。また、システムコントローラ１１は、グラフィックコントローラ１２、タッチパネルコントローラ１４及びサーバー８とのデータのやりとりを行う通信部１６を制御する。
また、システムコントローラ１１は、音声入力部２３に入力された測定作業者の音声信号や、操作部２５が受け付けた測定作業者の操作情報を入力する。また、スピーカ部２４から音声信号を出力する。

また、システムコントローラ１１は、ＣＰＵ１０の演算処理に必要な音声マスタ記憶部２０、波形マス目マスタ記憶部２１、及び演算処理結果を記憶する音声波形データ記憶部２２の読み出し書き込み制御を行う。

音声入力部２３は、具体的には、マイクロフォン５が収音した音声及び音声と一体となった工場内の騒音を電気信号に変換するとともに、ＣＰＵ１０やシステムコントローラ１１が処理し得るよう内蔵のＡ／Ｄ変換回路（ＡｎａｌｏｇｔｏＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ）によりデジタル信号に変換したデータを音声波形としてシステムコントローラ１１に出力する。

スピーカ部２４は、測定作業者が音声入力した内容をＣＰＵ１０が処理し、その結果を音声で測定作業者に知らせる。また、音声の識別ができなかった場合や発声誤りなどがあったときも、その旨測定作業者に知らせて再発声を促す。

グラフィックコントローラ（ＧｒａｐｈｉｃｓＣｏｎｔｒｏｌｌｅｒ）１２は、ディスプレイ１３に表示する画像を制御する画像表示用のコントローラである。

ディスプレイ１３は、測定作業者が音声入力した内容をＣＰＵ１０が処理し、その入力内容を前記ディスプレイ１３の画面に文字で表示して測定作業者に知らせる。また、ディスプレイ１３は表示すると共に、スピーカ部２４からも音声で知らせることもできる。また、測定作業者が発声した音声の識別ができなかった場合や入力ミスなどがあったときは、その旨画面上に表示して測定作業者に知らせて再発声を促す。
また、測定作業者に対して作業手順を表示して、作業指示書の役割を果たすよう構成することもできる。

ディスプレイ１３は、例えば、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）や有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを用いて構成される。ディスプレイ１３は、モノクロ画面でもよいが、カラー画面が望ましい。

タッチパネルコントローラ１４は、ディスプレイ１３の画面上に配設されたタッチパネル１５の操作信号入力の制御を行うコントローラである。測定作業者が操作したタッチ位置から操作画面上の座標データをタッチパネル１５から読み取り、システムコントローラ１１へ出力する。

発声による測定データの入力が終わり、ディスプレイ１３に画面表示された音声入力の内容が正しいときは、測定作業者は、次の測定データの入力に移り、当該次の測定データを発声する。もし、ディスプレイ１３の画面に表示された内容が正しくないときは、測定作業者は、その表示内容をタッチパネル１５の操作により取り消して、再度発声による入力を行う。
ＣＰＵ１０は、システムコントローラ１１からのタッチパネル１５の操作信号に基づき処理を行う。

騒音内音声認識装置１は、上述のように構成されている。
次に、騒音内音声認識装置１の入力された音声信号の演算処理について詳しく説明する。

図３は、本発明に係る騒音内音声認識装置１及び騒音内音声認識システム１００の処理フローチャートである。以下、図３の処理フローチャートに基づき説明する。

本発明に係る騒音内音声認識システム１００は、工場現場で日々行われている試験、検査などの測定データを音声入力し、入力された音声データから音声波形４１を所定の時間幅で切り出して、切り出した音声波形４２から騒音に該当する音声データを除去し、騒音を除去した音声波形６１から特定の周波数帯域に分類される特徴量６３を抽出し、抽出した特徴量６３と音声マスタ６４との照合を行い音声波形のデータを生成し、又は／及び音声波形をマス目テーブル上に配列した波形マス目パターン７１と、波形マス目マスタ７３との照合処理を行い、音声波形のデータを生成し、当該生成された音声波形のデータを記憶部に記憶すると共に、工場内のＬＡＮ７などの通信回線を介してサーバー８にまとめて収集し、音声解析を行うことができるよう構成されたものである。

具体的な用途としては、例えば、自動車部品である鉄タンクなどの被測定物３の耐チッピング塗装（Ａｎｔｉ−ＣｈｉｐｐｉｎｇＣｏａｔｉｎｇ）の膜厚を測定する場合に使用することができる。なお、耐チッピング塗装とは、自動車のボディのフロア下面、ホイールハウス内などに、石跳ねなどによる塗膜のダメージを防ぐために塗られる耐チッピング性能を向上させた塗装のことをいう。

以上のことを前提に、処理ステップについて説明する。まず、測定作業者は、膜厚測定器４を使用して所定の作業手順に従って被測定物３の所定の個所の膜厚を測定する。そして、作業者は、計測データをその場で発声する。騒音内音声認識装置１の音声入力部２３は、マイクロフォン５を介して入力された測定作業者の発声音と工場内の騒音とが入り混じった音声情報データを、システムコントローラ１１を介してＣＰＵ１０に入力する（Ｓ１０１）。

ＣＰＵ１０は、測定作業者の発声音と工場内の騒音とが入り混じった音声情報データから騒音成分だけを除去するために、「波形切り出しスレッド」により、入力された音声波形４１を図４（ａ）に示すような間隔で、音声波形４１ａ〜４１ｄ・・・のように切り出す。切り出し幅は０．３ｍｓｅｃ乃至０．７ｍｓｅｃである。
図４（ｂ）に示すように、切り出された音声波形４２ａ〜４２ｃ・・・は、ＲＡＭ１８上のプール領域に格納される。ここで、「スレッド」とは、アプリケーションを処理する単位のことをいう（Ｓ１０２）。

次に、「波形認識処理スレッド」は、切り出した音声波形４２ａ〜４２ｃ・・・について音声認識処理を行う。波形認識処理スレッドは、前記プール領域を常時監視しており、プール領域に格納された音声波形４２ａ〜４２ｃ・・・を先入れ先出し、すなわち、先に格納した順に取り出して音声認識処理を行う。

ここで音声認識処理とは、プール領域に格納され、切り出された音声波形４２ａ〜４２ｃ・・・のうち、音声を含んだ波形と、音声を含んでいない単なる騒音とに切り分ける処理のことである。すなわち、測定作業者は常に連続的に発生しているわけではなく、通常、測定したときにのみ、その測定値を発声することになる。一方、ＣＰＵ１０は、測定作業者の音声と工場内の騒音とが入り混じった音声情報を常時入力しているため、そのほとんどが、測定作業者の音声を含んでいない工場内の騒音となる。そこで、「波形認識処理スレッド」は、工場内の騒音のみの音声波形を廃棄する。

「波形認識処理スレッド」の処理と、前記「波形切り出しスレッド」の処理とは、図５（ａ）、（ｂ）に示すように、直列、並列のいずれでも処理することができる。本実施形態では、図５（ａ）に示すように、直列に行うのではなく、図５（ｂ）に示すように、並列に行うことで、直列処理と比較して理論値で約３２％、高速に処理を行うことができる（Ｓ１０３）。

次に、波形認識処理スレッドで処理された音声波形からさらに騒音を除去する。具体的には、次のような場合は、騒音と判断する。
（１）振幅が大きい音声波形は騒音と判断し、廃棄する。
（２）周波数が人間の声の４５０Ｈｚから１０５０Ｈｚの範囲に収まらない音声波形は騒音と判断し、廃棄する（Ｓ１０４）。

次に、図６に示すように、特徴量によるパターン照合を次の手順で行う。
（１）図６（ａ）の左図は、上記により騒音をある程度除去した音声波形６１を示す。図中、縦軸は音声の振幅すなわち音の大きさを示し、横軸は時間を示している。ＣＰＵ１０は、音声波形６１についてフーリエ変換を行い、振幅と時間軸の音声波形６１を、波形音圧と周波数軸の波形６２に変換する。フーリエ変換を行うことによって、図６（ａ）の右図に示すように、音声波形６１を、周波数に対する音圧の大きさとの関係である波形６２に変換することができる（Ｓ１０５）。
なお、フーリエ変換そのものは公知技術であるので、説明は省略する。
（２）フーリエ変換を行った結果の波形６２について、以下の特徴量演算式により１２次の近似曲線より特徴量を求める。
特徴量＝（変換係数）×ｌｎ｛（周波数÷レート）＋１｝
上記演算式で求めた特徴量６３を図６（ｂ）の表に示す（Ｓ１０６）。

なお、本発明における「特徴量」とは、あるものを識別するために、そのモノの大きさ、重さ、長さ、形状といった特徴の組合せのことを指している。例えば、人、車、動物、文字、音や顔などを識別するには、それぞれの「もの」について最適な特徴量の値を決定してゆくことが重要である。この技術は画像認識領域の業界で最も採用されており公知技術であるため、特徴量の値の決定や演算式についての説明は省略する。

図６（ｃ）は、音声マスタ６４を示している。音声マスタ６４には、例えば、「あいうえお・・・」の各音順に５０音分等の特徴量が、音声マスタ記憶部２０に予め記憶されている。ＣＰＵ１０は、当該音声マスタ６４を音声マスタ記憶部２０から読み出し、前記演算式で求めた図６（ｂ）に示す特徴量６３と照合する。

例えば、特徴量６３は、図６（ｂ）の特徴量６３と、図６（ｃ）の音声マスタ６４に予め記憶されている特徴量とを順番に照合してゆくと、「あ」の音と一致していることがわかる。したがって、ＣＰＵ１０は、図６（ａ）の音声波形６１を「あ」の音であると判断する（Ｓ１０７）。

ここにおいて、ＣＰＵ１０は、図７（ｃ）に示すように、後述する波形マス目マスタ記憶部２１に記憶された波形マスタ７２から「あ」の音の波形マス目マスタ７３を読み出すことにより「あ」の音声波形を生成する。

上記例では、特徴量６３が「あ」の音に完全に一致した場合について説明したが、照合結果が完全に一致しなかった場合には、当該音の特徴量６３に近いものが音声マスタ６４に予め記憶されている特徴量の中にあり、かつ、照合の結果、当該音の特徴量６３に近いものが他に存在しない場合には、その特徴量６３に近い音声マスタ６４の当該特徴量が当該音声波形６１であると判断する（Ｓ１０８）。そして、波形マス目マスタ記憶部２１に記憶された波形マスタ７２から当該音声波形６１の波形マス目マスタ７３を読み出すことにより当該音声波形６１の音声波形のデータを生成する（Ｓ１０９）。

なお、音声波形のデータの生成は、波形マス目マスタ記憶部２１に記憶された「あ」の音の波形マス目マスタ７３を読み出すことでなし得るが、これに限定されるものではなく、別途、例えば、「あいうえお・・・」の各音順に５０音分等のマスタ音声波形記憶部を設けて、そこから音声波形を読み出して生成するよう構成してもよい。又は音声波形をキャラクタデータに変換して、キャラクタデータで読み出すよう構成してもよい（Ｓ１０９）。

ＣＰＵ１０は、上記演算処理により生成された音声波形のデータを、音声波形データ記憶部２２に記憶する（Ｓ１１０）。
また、ＣＰＵ１０は、通信部１６、無線ルータ６及びＬＡＮ７を介してサーバー８に送信し、サーバー８の記憶部８１に記憶する（Ｓ１１１）。
また、サーバー８は、前記音声波形のデータに基づき音声解析を行う（Ｓ１１２）。

以上の例では、特段の問題なく音声波形の切り出し、騒音の除去、特徴量による照合が行われ、照合結果が一音に絞れた場合について説明した。

しかし、現実には工場現場の騒音が大きかったり、測定作業者の声が小さかったり、発音が不明瞭である場合があり、このような場合には、両者の特徴量が一致せず、近似する特徴量が複数存在する場合があり得る（Ｓ１１３）。このような場合には、さらに、先述の波形マス目マスタ７３を用いて波形パターンの照合を行う。

図７は、マス目テーブル上に配列した波形マス目パターン７１と、波形マス目マスタ７３との照合処理の説明図である。ＣＰＵ１０は、図６（ａ）に示す音声波形６１を波形マス目パターン７１として、図７（ａ）に示すように、例えば、横軸に（２^１６−１＝６５５３５）ビット、横軸に（２^１６−１＝６５５３５）ビットで構成された２次元のマス目テーブル上に、配列する。

一方、図７（ｃ）に示すように、波形マス目マスタ記憶部２１には、例えば、「あいうえお・・・」の各音順に５０音分等の波形マスタ７２が予め記憶されている。ＣＰＵ１０は、当該波形マスタ７２に予め記憶されている図７（ｂ）に示す波形マス目マスタ７３を順番に波形マスタ７２から読み出し、前記マス目テーブル上に配列した図７（ａ）に示す波形マス目パターン７１と順次照合する。
すなわち、音声波形の傾き、振幅の大きさ、周期、波形全体の長さにより波形を正確に認識するために、視覚的手法により波形のパターン認識を行うものである（Ｓ１１４）。

照合は座標ごとに順次行い、照合が一致する座標をスコアとして集計する。そして、集計したスコアが一番高い波形マス目マスタ７３を当該音の波形マス目マスタ７３とする。すなわち、集計したスコアが一番高い波形マス目マスタ７３が「あ」の音である場合は、図７（ａ）に示す当該波形マス目パターン７１の音は、「あ」であると判断して、波形マスタ７２から当該「あ」の音の波形マス目マスタ７３を読み出すことにより当該音の音声波形を生成する（Ｓ１０９）。

ＣＰＵ１０は、上記演算処理により生成された音声波形のデータを、音声波形データ記憶部２２に記憶する（Ｓ１１０）。
また、ＣＰＵ１０は、当該音声波形のデータを通信部１６、無線ルータ６及びＬＡＮ７を介してサーバー８に送信し、サーバー８は、当該音声波形のデータを記憶部８１に記憶する（Ｓ１１１）。

サーバー８は、記憶部８１に記憶された当該音声波形のデータに基づき音声解析を行い、音声解析結果をもとに測定作業者の測定データを検査成績書等のデータとしてまとめる。そして、そのデータをサーバー８の記憶部８１に記憶すると共に、生産ライン上の当該製品の出荷判定や品質統計等に使用する（Ｓ１１２）。

音声波形データ記憶部２２及びサーバー８の記憶部８１に記憶された当該音声波形のデータは、当該音の波形マス目マスタ７３のデータそのものであるため、クリアな音声波形として記憶される。すなわち、当該記憶された音声波形のデータは騒音成分を一切含んでいないため、サーバー８で行う音声解析処理において音声認識精度を向上させることができる。

本発明に係る騒音内音声認識装置１及び騒音内音声認識システム１００は以上のように構成されているために、次のような顕著な効果を奏する。
例えば、工場内の騒音内音声認識装置１は、タブレット端末などのハードウェア資源を使ってソフトウェアで実現することができるため、持ち運びが簡単で、工場内の作業現場に一人で手軽に持ち運んで測定及びデータの記録をすることができ、利便性に優れている。

また、人の発声音と騒音が入り混じっている騒音波形の中から人の発声音を抽出して測定データを認識し、この音声波形のデータを当該タブレット端末の記憶領域に保存することにより、工場内の騒音環境下において正しい音声認識が行えると共に、測定データを電子データとして保存、管理することができる。

また、抽出した特徴量６３と、音声マスタ記憶部２０に記憶されている音声マスタ６４の特徴量との照合によって最も近い音声マスタを抽出するものであるため、構成が簡単で、かつ、処理速度を速くすることができる。

また、切り出された音声波形６１をマス目テーブル上に配列し、波形マス目マスタ７３と照合することによって、配列した波形マス目パターン７１に最も近い波形マス目マスタ７３を抽出することができるため、構成が簡単で分かり易く、波形マスタ７２の記憶データを調整することで照合精度の微調整も容易にすることができる。

また、抽出した特徴量６３と、音声マスタ記憶部２０に記憶されている音声マスタ６４の特徴量とを照合した結果、複数の候補が存在するために音声マスタ６４の特徴量を抽出する判定ができない場合でも、切り出された音声波形６１をマス目テーブル上に配列し、波形マス目マスタ７３と照合することによって、配列した波形マス目パターン７１に最も近い波形マス目マスタ７３を抽出することができるため、より正確に音声波形のデータを生成することができる。

また、工場現場で日々行われている試験、検査などの測定データを手書き作業やパソコン入力作業を経ることなく、リアルタイムにサーバーに収集し、音声解析をすることができるため、騒音の大きな工場現場における測定作業の省力化とデータ処理の迅速化を図ることができる。

また、音声波形データ記憶部２２及びサーバー８の記憶部８１に記憶された当該音声波形のデータは、当該音の波形マス目マスタ７３のデータそのものであるため、クリアな音声波形として記憶される。すなわち、当該記憶された音声波形のデータは騒音成分を一切含んでいないため、サーバー８で行う音声解析処理において音声認識精度を向上させることができる。

以上の実施形態において説明した本発明に係る騒音内音声認識装置１及び騒音内音声認識システムは、上述した実施形態に限られず、上述した実施形態の中で開示した各構成を相互に置換したり組み合わせを変更した構成、公知発明及び上述した実施形態の中で開示した各構成を相互に置換したり組み合わせを変更した構成等も含まれる。また、本発明の技術的範囲は上述した実施形態に限定されず、特許請求の範囲に記載された事項とその均等物にまで及ぶものである。

例えば、本発明に係る騒音内音声認識装置１の実施形態としては、タブレット端末の他に携帯用パソコンを使用してもよい。また、携帯電話機やスマートフォンを使用してもよい。また専用のコンピュータであってもよい。要は、本発明を実現することができるハードウェア資源を有するものであれば、何を使用しても差し支えない。

また、音声波形６１の照合処理の他の実施の形態としては、音声波形６１から算出した特徴量６３と、音声マスタ６４の特徴量との照合処理のみとしてもよい。
また、音声波形６１をマス目テーブル上に配列した波形マス目パターン７１と、波形マス目マスタ７３との照合処理のみとしてもよい。
また、先に音声波形６１をマス目テーブル上に配列した波形マス目パターン７１と、波形マスタ７２に予め記憶された波形マス目マスタ７３との照合処理を行い、その照合結果が複数ある場合は、音声波形６１から算出した特徴量６３と、音声マスタ６４に予め記憶された特徴量との照合処理を行うように構成してもよい。
要するに、特徴量６３による照合処理と、波形マス目パターン７１による照合処理とのいずれか一方のみの処理としてもよいし、両方の処理をしてもよい。また、両方の処理を行う場合は、どちらを先にしてもよい。

また、マス目テーブルは、縦軸、横軸とも（２^１６−１＝６５５３５）ビットであるとして説明したが、（２^８−１＝２５５）ビットで構成しても差し支えない。つまり、マス目テーブルの縦軸、横軸のビット数は、測定データの精度に応じて任意の値に決定することができる。

また、本発明に係る騒音内音声認識システム１００は、無線ルータ６を介して騒音内音声認識装置１とサーバー８を接続する例について説明したが、直接インターネットの有線の回線を介して接続してもよい。

また、本発明に係る騒音内音声認識システム１００は、自動車工場における自動車部品の測定作業を例にとって説明したが、本発明の用途は自動車工場に限られず、他の製造業や騒音の大きな建設現場などに幅広く応用することができることはいうまでもない。

１騒音内音声認識装置
３被測定物
４膜厚測定器
５マイクロフォン
６無線ルータ
７ＬＡＮ
８サーバー
１０ＣＰＵ
１１システムコントローラ
１２グラフィックコントローラ
１３ディスプレイ
１４タッチパネルコントローラ
１５タッチパネル
１６通信部
１７プログラム記憶部
１８ＲＡＭ
２０音声マスタ記憶部
２１波形マス目マスタ記憶部
２２音声波形データ記憶部
２３音声入力部
２４スピーカ部
２５操作部
６１音声波形
６３特徴量
６４音声マスタ
７１波形マス目パターン
７２波形マスタ
７３波形マス目マスタ
８１記憶部
１００騒音内音声認識システム

Claims

音声データ入力手段と、
前記音声データ入力手段から入力された音声波形を切り出す手段と、
切り出した音声波形から騒音を除去する手段と、
騒音を除去した音声波形から音声波形のデータを生成する手段と、
生成された音声波形のデータを記憶領域に保存する記憶手段と、
から構成されたことを特徴とする騒音内音声認識装置。
前記騒音を除去した音声波形から音声波形のデータを生成する手段は、
騒音を除去した音声波形から特定の周波数帯域に分類される特徴量を抽出する手段と、
予め音節の特徴量の音声マスタを記憶しておく音声マスタ記憶手段と、
前記抽出した特徴量と予め記憶している音声マスタの特徴量とを照合し、前記抽出した特徴量に最も近い音声マスタを抽出する手段と、
前記抽出した音声マスタを音声波形のデータとする手段と、
から構成されたことを特徴とする請求項１に記載の騒音内音声認識装置。
前記騒音を除去した音声波形から音声波形のデータを生成する手段は、
予め音節の音声波形の波形マス目マスタを記憶しておく波形マス目マスタ記憶手段と、
切り出された音声波形をマス目テーブル上に配列し、当該配列された波形マス目パターンとを照合し、前記波形マス目パターンに最も近い波形マス目マスタを抽出する手段と、
抽出した波形マス目マスタを音声波形のデータとする手段と、
から構成されたことを特徴とする請求項１に記載の騒音内音声認識装置。
前記騒音を除去した音声波形から音声波形のデータを生成する手段は、
騒音を除去した音声波形から特定の周波数帯域に分類される特徴量を抽出する手段と、
予め音節の特徴量の音声マスタを記憶しておく音声マスタ記憶手段と、
前記抽出した特徴量と予め記憶している音声マスタの特徴量とを照合し、前記抽出した特徴量に最も近い音声マスタを抽出する手段と、
前記抽出した音声マスタを音声波形のデータとする手段と、
前記抽出した特徴量に近い音声マスタに記憶されている特徴量が複数ある場合は、
予め音節の音声波形の波形マス目マスタを記憶しておく波形マス目マスタ記憶手段と、
切り出された音声波形をマス目テーブル上に配列し、当該配列された波形マス目パターンとを照合し、前記波形マス目パターンに最も近い波形マス目マスタを抽出する手段と、
抽出した波形マス目マスタを音声波形のデータとする手段と、
から音声波形のデータを抽出するよう構成されたことを特徴とする請求項１に記載の騒音内音声認識装置。
本発明の騒音内音声認識システムは、前記騒音内音声認識装置と、
前記騒音内音声認識装置に音声信号を入力する音声入力装置と、
前記騒音内音声認識装置に備えた通信手段により前記記憶手段の音声波形のデータを送信し、当該音声波形のデータを受信して記憶領域に保存するサーバーと、
から構成されたことを特徴とする騒音内音声認識システム。