Nothing Special   »   [go: up one dir, main page]

JP5238395B2 - 言語モデル作成装置および言語モデル作成方法 - Google Patents

言語モデル作成装置および言語モデル作成方法 Download PDF

Info

Publication number
JP5238395B2
JP5238395B2 JP2008198451A JP2008198451A JP5238395B2 JP 5238395 B2 JP5238395 B2 JP 5238395B2 JP 2008198451 A JP2008198451 A JP 2008198451A JP 2008198451 A JP2008198451 A JP 2008198451A JP 5238395 B2 JP5238395 B2 JP 5238395B2
Authority
JP
Japan
Prior art keywords
word
model
language model
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008198451A
Other languages
English (en)
Other versions
JP2010039539A (ja
Inventor
悠輔 中島
志鵬 張
信彦 仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2008198451A priority Critical patent/JP5238395B2/ja
Publication of JP2010039539A publication Critical patent/JP2010039539A/ja
Application granted granted Critical
Publication of JP5238395B2 publication Critical patent/JP5238395B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)

Description

本発明は、言語モデルを作成する言語モデル作成装置および言語モデル作成方法に関する。なお、対象単語は、多くの場合未知語であることが考えられるが、未知語でなくてもよい。「未知語」とは、予め用意されている言語モデル保持部に登録されていない単語をいう。ただし、ここでの「言語モデル保持部」は、言語モデルのみを保持するものに限定されるものではなく、単語を登録し保持しておくもの全般を意味し、後述する発明の実施形態における言語モデル保持部282および辞書保存部283に相当する。また、言語モデル保持部に登録される「言語モデル」には、複数の単語の接続に関する接続確率が含まれる。
言語モデルは音声認識装置による音声認識などに用いられ、音声認識装置に入力された音声に未知語が含まれている場合、当該音声に対する音声認識の結果に認識誤りが生じるなどの問題がある。
下記の特許文献1には、確率的言語モデルに未知語を追加する機能を有する連続音声認識装置が記載されている。この連続音声認識装置は、言語モデルに登録されている既知語およびパラメータを単語クラスごとに分類し、予め定めた演算式にしたがってパラメータを取得する。単語クラスとして実施例には品詞が挙げられている。
特許第3907880号公報
しかしながら、特許文献1の技術のように、分類する単位を単語クラスごとにすると、未知語に近い有効なパラメータを必ずしも取得できるとは限らない。
そこで、本発明は、より有効な言語モデルを作成することができる言語モデル作成装置および言語モデル作成方法を提供することを目的とする。
上述の課題を解決するために、本発明の言語モデル作成装置は、(1)対象単語の前に隣接する単語と前記対象単語の後ろに隣接する単語の両方または片方を含む隣接単語と、前記対象単語と、を含む単語列の単語情報を抽出する単語列抽出手段と、(2)前記単語列抽出手段により抽出された単語列の単語情報に基づいて、言語モデル保持部から、前記単語列の単語情報を含むモデルを抽出するモデル抽出手段と、(3)前記モデル抽出手段により抽出されたモデルから、前記対象単語に対応するモデルを作成するモデル作成手段と、を備え、前記モデル抽出手段は、前記単語列抽出手段により抽出された単語列の単語情報に基づいて、前記言語モデル保持部から、前記対象単語候補を抽出し、前記対象単語候補に基づいて、前記言語モデル保持部から、モデルを抽出する、ことを特徴とする。
上記の言語モデル作成装置では、単語列抽出手段が、対象単語の前に隣接する単語と対象単語の後ろに隣接する単語の両方または片方を含む隣接単語と、当該対象単語と、を含む単語列の単語情報を抽出し、モデル抽出手段が、上記抽出された単語列の単語情報に基づいて、言語モデル保持部から、単語列の単語情報を含むモデルを抽出し、また、モデル作成手段が、上記抽出されたモデルから、対象単語に対応するモデルを作成し、さらに、モデル抽出手段は、単語列抽出手段により抽出された単語列の単語情報に基づいて、言語モデル保持部から、対象単語の候補を抽出し、対象単語の候補に基づいて、言語モデル保持部から、モデルを抽出する。
また、本発明の言語モデル作成装置では、モデル抽出手段は、前記単語列に含まれた対象単語に関する品詞、係り受け、読み、表記および単語クラスのうち少なくとも1つを含む単語情報、および、前記単語列に含まれた隣接単語に関する品詞、係り受け、読み、表記および単語クラスのうち少なくとも1つを含む単語情報を参照して、前記単語列を含むモデルを抽出することが望ましい。
また、本発明の言語モデル作成装置では、モデル抽出手段は、前記単語列に含まれた隣接単語に関する信頼度をさらに参照して、前記単語列を含むモデルを抽出することが望ましい。
また、本発明の言語モデル作成装置では、単語列抽出手段は、対象単語の前に隣接する単語に関する信頼度および前記対象単語の後ろに隣接する単語に関する信頼度を参照して、前記単語列を抽出することが望ましい。
また、本発明の言語モデル作成装置は、モデル作成手段により作成された前記対象単語に対応するモデルを、前記言語モデル保持部に登録する言語モデル登録手段、をさらに具備することが望ましい。
また、本発明の言語モデル作成装置では、言語モデル登録手段は、前記作成された前記対象単語に対応するモデルが前記言語モデル保持部に既に登録されている場合、前記作成された前記対象単語に対応するモデルをもって、既に登録されているモデルを更新することが望ましい。
ところで、本発明は、言語モデル作成方法に係る発明として、以下のように記述することができ、言語モデル作成装置に係る発明と同様の効果を奏する。
本発明の言語モデル作成方法は、言語モデル作成装置により実行される言語モデル作成方法であって、対象単語の前に隣接する単語と前記対象単語の後ろに隣接する単語の両方または片方を含む隣接単語と、前記対象単語と、を含む単語列の単語情報を抽出する単語列抽出ステップと、前記単語列抽出ステップにて抽出された単語列の単語情報に基づいて、言語モデル保持部から、前記単語列の単語情報を含むモデルを抽出するモデル抽出ステップと、前記モデル抽出ステップにて抽出されたモデルから、前記対象単語に対応するモデルを作成するモデル作成ステップと、を備え、前記モデル抽出ステップにて、前記言語モデル作成装置は、前記単語列抽出ステップにより抽出された単語列の単語情報に基づいて、前記言語モデル保持部から、前記対象単語候補を抽出し、前記対象単語候補に基づいて、前記言語モデル保持部から、モデルを抽出する、ことを特徴とする。
本発明によれば、より有効な対象単語の言語モデルを作成することができる。
添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
[本実施形態におけるシステム構成]
図1は、本実施形態のクライアント装置110と、クライアント装置110から送信された音声を認識しその認識結果をクライアント装置110に返信するサーバ装置120と、を備える通信システムのシステム構成図である。本実施形態では、クライアント装置110は、例えば携帯電話などの携帯端末であって、ユーザが発声した音声を入力し、入力した音声を無線ネットワーク経由でサーバ装置120に送信し、サーバ装置120からの返信である認識結果を無線ネットワーク経由で受信する構成とされている。
サーバ装置120は、図示しない音声認識部を備え、入力された音声に対し、音響モデル、言語モデルなどのデータベースを用いて音声認識を行い、その認識結果をクライアント装置110に返信する構成とされている。
次に、このクライアント装置110の構成について説明する。図2は、クライアント装置110の機能ブロック図である。このクライアント装置110は、特徴量算出部210、特徴量圧縮部220、送信部225、特徴量保存部230、受信部235、操作部236、結果保存部237、ユーザ入力検出部238、誤り区間指定部240、誤り区間前後コンテキスト指定部250、誤り区間特徴量抽出部260、未知語処理部300、訂正部270、統合部280、音響モデル保持部281、言語モデル保持部282、辞書保持部283、および、表示部290を含んで構成されている。また、図2に示すように、言語モデル作成装置305は、誤り区間前後コンテキスト指定部250および未知語処理部300を含んで構成される。
図3は、クライアント装置110のハードウェア構成図である。図2に示されるクライアント装置110は、物理的には、図3に示すように、CPU11、主記憶装置であるRAM12およびROM13、入力デバイスであるキーボードおよびマウスまたはタッチパネル等の入力装置14、ディスプレイ等の出力装置15、ネットワークカード等のデータ送受信デバイスである通信モジュール16、ハードディスク等の補助記憶装置17などを含むコンピュータシステムとして構成されている。図2において説明した各機能は、図3に示すCPU11、RAM12等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU11の制御のもとで入力装置14、出力装置15、通信モジュール16を動作させるとともに、RAM12や補助記憶装置17におけるデータの読み出しおよび書き込みを行うことで実現される。
以下、図2に示す機能ブロック図に基づいて、各機能ブロックの機能を説明する。
特徴量算出部210は、マイク(図示せず)から入力されたユーザの声を入力し、当該入力された声から音声認識スペクトルであって、音響特徴を示す特徴量データを算出する部分である。例えば、特徴量算出部210は、MFCC(Mel Frequency Cepstrum Coefficient)のような周波数で表される音響特徴を示す特徴量データを算出する。
特徴量圧縮部220は、特徴量算出部210において算出された特徴量データを圧縮する部分である。
送信部225は、特徴量圧縮部220において圧縮された圧縮特徴量データを図1のサーバ装置120に送信する部分である。この送信部225は、HTTP(Hyper Text Transfer Protocol)、MRCP(Media Resource Control Protocol)、SIP(Session Initiation Protocol)などを用いて送信処理を行う。また、このサーバ装置120では、これらプロトコルを用いて受信処理を行い、また返信処理を行う。さらに、このサーバ装置120では、圧縮特徴量データを解凍することができ、特徴量データを用いて音声認識処理を行うことができる。この特徴量圧縮部220は、通信トラフィックを軽減するためにデータ圧縮するためのものであることから、データ圧縮は必須の処理ではなく、そのため、送信部225は、圧縮されていない特徴量データをそのまま送信することも可能とされている。
特徴量保存部230は、特徴量算出部210において算出された特徴量データを一時的に記憶する部分である。
受信部235は、サーバ装置120から返信された音声認識結果を受信する部分である。この音声認識結果には、テキストデータ、と単語情報が含まれている。単語情報には、単語区切り、表記、読み、品詞情報、時間情報、係り受け情報、および信頼度情報が含まれており、時間情報はテキストデータの一認識単位ごとの経過時間を示し、信頼度情報は、その認識結果における正当確度を示す情報である。
例えば、認識結果として、図4に示される情報が受信される。図4では、発声内容、認識結果、音声区間、および信頼度が対応付けて記載され、発声内容と認識結果の各々では、各単語の品詞および品詞詳細が記載されている。ただし、図4における発声内容は、実際には受信情報に含まれていない。
図4において、音声区間で示されている数字は、フレームのインデックスを示すものであり、その認識単位の最初のフレームのインデックスが示されている。ここで1フレームは10msec程度である。また、信頼度は、サーバ装置120において認識された音声認識結果の一認識単位ごとの信頼度を示すものであり、どの程度正しいかを示す数値である。これは、認識結果に対して確率などを用いて生成されたものであり、サーバ装置120において、認識された単語単位に付加されたものである。例えば、信頼度の生成方法として、以下の参考文献に記載されている。
参考文献:李晃伸、河原達也、鹿野清宏、「2パス探索アルゴリズムにおける高速な単語事後確率に基づく信頼度算出法」、情報処理学会研究報告、2003-SLP-49-48、2003-12.
図4では、例えば、認識結果である「いる」は、58フレームから71フレームまでで構成され、その品詞は非自立の動詞で、その信頼度は0.52であることが示されている。
単語情報には、他に、係り受け情報や、単語クラスなどの情報を含んでよい。
また、品詞などの単語情報がない場合は、音声認識結果を形態素解析することで生成してもよい。形態素解析は、MeCabやChaSenなどの形態素解析ツールをもちいて実施することができる。品詞の情報が品詞番号など別の形式で送られてくる場合、その形式と品詞の情報形式の対応表を予め用意して、変換してもよい。
図2に戻り、図2の操作部236は、ユーザ入力を受け付ける部分である。ユーザは表示部290に表示されている認識結果を確認しながら、誤り区間を指定することができる。操作部236は、その指定を受け付けることができる。
結果保存部237は、受信部235により受信された音声認識結果を保存する部分である。保存した音声認識結果は、ユーザが視認することができるように表示部290に表示される。
ユーザ入力検出部238は、操作部236により受け付けられたユーザ入力を検出する部分であり、入力された誤り区間を誤り区間指定部240に出力する。
誤り区間指定部240は、ユーザ入力検出部238から入力された誤り区間にしたがってその区間を指定する部分である。この誤り区間指定部240は、例えば、サーバ装置120から送信された音声認識結果に含まれている信頼度情報に基づいて誤り区間を指定することができる。
誤り区間前後コンテキスト指定部250は、誤り区間指定部240において指定された誤り区間に基づいて、当該誤り区間の前後において認識された一認識単位(誤り区間前後コンテキスト)を指定する部分である。図5(a)に、誤り区間の前後において認識された一認識単位(誤り区間前後コンテキスト)を指定した場合の概念図を示す。図5(a)に示すように、認識結果の誤り区間の前に、誤り区間前の所定数の単語の音声区間を指定し、認識結果の誤り区間の後に、誤り区間後の所定数の単語の音声区間を指定する。本実施形態では、誤り区間前後コンテキスト指定部250は、誤り区間の前の単語W1aとその前(誤り区間の2つ前)の単語W1bから成る単語群W1、および、誤り区間の後の単語W2aとその後(誤り区間の2つ後)の単語W2bから成る単語群W2を指定し、入力された音声から単語群W1、W2を取り出す。これは、後述する図8のステップS501の処理に相当する。
未知語処理部300は、誤り区間前後コンテキスト指定部250により指定された誤り区間の前の単語W1a、誤り区間の後の単語W2aを検索語とし、当該検索語が言語モデル保存部282または辞書保存部283に含まれているか否かを判定することで検索語が未知語か否かを判定する。検索語が未知語であった場合は、当該未知語の単語情報と、上記単語群W1、W2における未知語の前後の単語の単語情報をもとに、言語モデル保存部282または辞書保存部283から、未知語に類似する単語やNグラムの接続確率を抽出し、未知語に関連するNグラムの接続確率を作成する。これらの処理は後に詳述する。
なお、検索語が未知語でない場合でも、その検索後に関連するNグラムを作成してもよい。また、検索語が未知語か否かの判定自体を行わなくてもよい。また、上記単語群W1、W2における検索語の前後の単語の信頼度を参照し、当該信頼度に応じて検索語の前後の単語を参照するかしないかを判断してもよい。
ここで、さらに具体的な例を示す。図9には、未知語処理部300の機能ブロック図を示す。図9に示すように、未知語処理部300は、未知語候補単語抽出部310と、候補Nグラム抽出部320と、接続確率作成部330と、言語モデル登録部340とを含んで構成される。以下、各部の機能を説明する。
未知語候補単語抽出部310は、誤り区間の前後の少なくとも一つの単語を検索語とし未知語の判定を行い、未知語の場合は類似する単語の候補を出力する。判定の結果、未知語でない場合も単語の候補を出力してよい。これらは、後述する図8のステップS502〜S505の処理に相当する。未知語の判定は、単語が言語モデル保持部282や辞書保存部283に含まれるか検索することで実施してもよい。特に、検索語が未知語と判定された場合(但し、検索語が未知語でないと判定された場合を含んでもよいが)、図10(a)に示すように、検索語と同一または類似の品詞(図10(a)の品詞A)と、検索単語の前または後ろの1つまたは複数の単語(図10(a)の単語W1b)がつながる単語列(図10(a)では、単語W1bと品詞A)を検索キー列として、言語モデル保持部282から当該検索キー列が含まれるか判定し、含まれると判定された場合は当該品詞(図10(a)の品詞A)の単語(図10(a)の単語A1、単語A2)を類似単語候補とする。品詞のほかの単語情報、例えば、単語クラス、係り受け情報、話者情報などを用いてもよい。
また、未知語候補単語抽出部310は、図5(c)に示すように、未知語の1つ前W(u−1)や1つ後W(u+1)、2つ前W(u−2)や2つ後W(u+2)の単語情報を入手してもよい。また、単語情報の中から、信頼できる情報(例えば品詞や係り受け)を適宜選択することで、未知語の単語属性を限定してもよい。また、未知語やその前後の単語の単語情報(例えば、品詞)を用いなくてもよい。例えば、単語W(u−1)と、それに後続する単語(未知語に相当)がある単語列、を検索キー列として、言語モデル保持部282から当該検索キー列が含まれるか判定し、含まれると判定された場合は未知語に相当する部分の単語を類似単語候補とする。
また、未知語候補単語抽出部310は、図5(c)に示す未知語の前後の単語のうち、信頼できる単語のみを参照してもよい。例えば、ユーザが誤り区間を指定する場合は、誤り区間より前の単語および誤り区間の後の単語は、正解の可能性(信頼度)が高く、誤り区間内の単語は正解の可能性(信頼度)が低いと推定される。そこで、信頼度が高い単語の単語情報を、信頼度が低い単語の単語情報よりも大きい重み付けで活用することで、未知語により近い単語が言語モデルから抽出できる。
候補Nグラム抽出部320は、類似単語候補のいずれかを含むNグラムと接続確率を、言語モデル保存部282から抽出する。例えば、図10(b)に示すように、抽出された類似単語候補のいずれか(単語A1、単語A2)を含むNグラムと接続確率を、言語モデルから抽出する。これは、後述する図8のステップS506の処理に相当する。例えば、単語A1に単語Y1が後接するバイグラムの接続確率P(Y1|A1)=0.4、単語X1に単語A1が後接しさらに単語Y2が後接するトライグラム接続確率P(Y2|X1,A1)=0.6を示す。この例に限らず、接続確率はモノグラムや、4グラム、5グラムなどのマルチグラムの接続確率を含んでよい。また、類似単語候補も単語A1、単語A2だけでなく、単語A3、単語A4とさらに多くてもよい。
接続確率作成部330は、抽出したNグラムと接続確率において、Nグラムの未知語品詞部分を未知語に置換することで、未知語のNグラムと接続確率を作成する。これは、後述する図8のステップS507の処理に相当する。例えば、単語A1部分を未知語Wに置換して、単語Wに単語Y1が後接するバイグラムの接続確率P(Y1|W)=0.4、単語X1に単語Wが後接しさらに単語Y2が後接するトライグラムの接続確率P(Y2|X1,W)=0.6を示す。また、接続確率P(Y1|A1)=0.4と同様に、接続確率P(Y1|A2)=0.7などと、未知語品詞部分A1やA2の後に同じ単語Y1が来て、未知語品詞部分の前後の単語列が類似する場合に、それら複数の接続確率の平均や重み付けをしなおして、新たに接続確率P(W|Y1)=0.4などと作成してもよい。また、接続確率の作成方法はこの方法に限らない。
言語モデル登録部340は、作成された未知語のNグラムと接続確率を言語モデル保存部282に登録する。これは、後述する図8のステップS508の処理に相当する。また、言語モデル登録部340は、拘束条件として適用するために、上記未知語のNグラムと接続確率を訂正部270に入力する。また、上記未知語のNグラムと接続確率は、言語モデル保存部282に登録しなくてもよく、言語モデル保存部282に登録せずに拘束条件として利用してもよい。また、拘束条件として利用した後に、破棄してもよい。
なお、本実施形態では、未知語のみにNグラムを作成する例を、図8に基づき後述するが、未知語だけでなく、すでにNグラムを作成し言語モデルに登録されている単語についても、改めてNグラムを作成してもよい。未知語の前後の単語によって、未知語の単語情報も変わるため、同じ未知語でも異なるモデルが作成される。すでに登録されたモデルと、新たに作成されたモデルをもとに、差分のみを追加登録したり、接続確率を更新したりすることができる。言語モデル保存部282に登録されていない単語列の接続確率(例えば、単語Z1とそれに前接する未知語Wとの接続確率P(Z1|W)=0.8)が新たに作成されれば、言語モデル保存部282に追加登録してもよい。また、登録済みの単語(例えば、Y1)と未知語(例えば、W)との接続確率が新たに作成された場合(例えば、P(Y1|W)=0.8)、登録済みの接続確率(例えば、P(Y1|W)=0.4)と差替えて更新しなおしたり(例えば、P(Y1|W)=0.8)、登録済みの接続確率(例えば、P(Y1|W)=0.4)のままにしたり、登録済みの接続確率と平滑化や平均や重み付けをしなおして接続確率(例えば、P(Y1|W)=0.6)や係数(例えば、バックオフ係数)を更新してもよい。
また、本実施形態では、2段階に検索することで、未知語の汎用的なモデルを作成しているが、1段階で検索してもよい。第一段階目で、未知語の品詞と、未知語の前または後ろの1つまたは複数の単語情報を利用して、モデルを抽出し、当該未知語に該当する部分を、当該未知語で置換し当該未知語のモデルを作成することができる。これにより、当該単語列と同様の環境に限定した当該未知語のモデルを作成することができる。例えば、2つ前の単語W1bと、それに後接する未知語の品詞Aの単語(例えば、単語A1、単語A2)の単語列を含むモデル(例えば、P(Z2|W1b,A1)、P(A2|Z3,W1b))を言語モデル保存部282から抽出し、当該未知語Wに該当する部分を置換し当該未知語のモデル(例えば、P(Z2|W1b,W)、P(W|Z3,W1b))を作成することができる。
また、未知語のモデルの作成を中断してもよい。2段階に検索する過程で、検索条件に該当する候補が言語モデル保存部282や辞書保持部283にない場合は、未知語の適切なモデルが作成できない可能性が高く、当該未知語のモデルを作成しない選択がよい場合がある。
さて、図2に戻り、図2の誤り区間特徴量抽出部260は、誤り区間前後コンテキスト指定部250により指定された誤り区間(前後の少なくとも一認識単位を含む)の特徴量データを、特徴量保存部230から抽出する部分である。
誤り区間前後の未知語の適切なモデルを作成しない場合や、誤り区間前後の音響的な情報が拘束条件の適用に必要ない場合は、図2の誤り区間特徴量抽出部260は、誤り区間前後コンテキスト指定部250により指定された誤り区間(誤り区間の前または後または両方の認識単位を含まなくてもよい)の特徴量データを、特徴量保存部230から抽出してもよい。
訂正部270は、誤り区間特徴量抽出部260により抽出された特徴量データを再度音声認識する部分である。この訂正部270は、音響モデル保持部281、言語モデル保持部282、および辞書保持部283を用いて音声認識を行う。さらに、この訂正部270は、誤り区間前後コンテキスト指定部250により指定された前後の音声区間で示される単語(前後コンテキスト)を拘束条件として音声認識を行う。前後コンテキストが未知語であった場合は、拘束条件を適用する前に、未知語処理部300で未知語のNグラムと接続確率を作成し、言語モデル保持部282に登録しておくことができる。図5(b)に、誤り区間前後コンテキスト指定部250により指定された単語に基づいて認識処理を行うときの概念図を示す。図5(b)に示すように、誤り区間の前の区間の単語W1aと後の区間の単語W2aとを拘束条件とした場合、認識候補は限られたものとなる。よって、認識の精度を向上させることができる。図5(b)の例では、認識候補としてA〜Zに絞り込むことができ、この絞り込まれた後方の中から適切な候補を選択することができ、効率的に認識処理を行うことができる。
拘束条件を設定する際に、単語群W1と単語群W2の単語情報、例えば品詞や係り受けなどの単語情報を利用することで、拘束条件とすることができる。
音響モデル保持部281は、音素とそのスペクトルを対応付けて記憶するデータベースである。言語モデル保持部282は、単語、文字などの接続確率を示す統計的情報を記憶する部分である。辞書保持部283は、音素とテキストとのデータベースを保持するものであり、例えばHMM(Hidden Marcov Model)を記憶する部分である。
統合部280は、受信部235において受信された音声認識結果のうち、誤り区間外のテキストデータと、訂正部270において再認識されたテキストデータとを統合する部分である。この統合部280は、訂正部270において再認識されたテキストデータを統合する位置を示す誤り区間(時間情報)にしたがって、統合する。
表示部290は、統合部280において統合されて得られたテキストデータを表示する部分である。なお、表示部290は、サーバ装置120において認識された認識結果を表示する構成とされていることが好ましい。また、訂正部270において再認識された結果と、誤り区間におけるサーバ装置120において認識された認識結果とが同じである場合は、その認識結果の表示を回避するように構成することが好ましく、またその場合には、認識不可である旨を表示するようにしてもよい。さらに、訂正部270において再認識して得られた認識結果と、サーバ装置120において認識されて得られた認識結果との間で時間情報がずれていた場合も、誤っている可能性があるため、認識結果の表示を回避し、認識不可である旨を表示することが好ましい。
[クライアント装置110の動作]
上記のように構成されたクライアント装置110の動作について説明する。図6は、クライアント装置110の動作を示すフローチャートである。マイクを介して入力された音声は、特徴量算出部210によりその特徴量データが抽出される(S101)。そして、抽出された特徴量データは特徴量保存部230に保存される(S102)。次に、特徴量圧縮部220により特徴量データは圧縮される(S103)。圧縮された特徴量データは、送信部225によりサーバ装置120に送信される(S104)。
次に、サーバ装置120において、圧縮された特徴量データを伸張した後、特徴量データに基づく音声認識が行われ、その認識結果がサーバ装置120からクライアント装置110へ送信され、クライアント装置110の受信部235により認識結果が受信される(S105)。そして、誤り区間指定部240により認識結果から誤り区間が指定される(S106)。
そして、誤り区間前後コンテキスト指定部250および未知語処理部300により、以下のような未知語処理が実行される(S106a)。即ち、誤り区間前後コンテキスト指定部250により上記指定された誤り区間に基づいて前後コンテキストが指定され、未知語処理部300により上記の前後コンテキストに未知語が含まれるか否かが判定される。ここで、未知語が含まれる場合、未知語処理部300により、その未知語のNグラムおよび接続確率が作成され、作成された未知語のNグラムおよび接続確率が言語モデルに登録される。このようなS106aの未知語処理については、後に詳述する。
そして、この前後コンテキストを含んだ誤り区間に基づいて、誤り区間特徴量抽出部260により特徴量データが特徴量保存部230から抽出される(S107)。ここで抽出された特徴量データに基づいて訂正部270により音声認識が再度行われ、誤り区間におけるテキストデータが生成される(S108)。そして、統合部280により、誤り区間におけるテキストデータと、受信部235において受信されたテキストデータとが統合され、正しく認識されて得られたテキストデータが表示部290に表示される(S109)。
以下、上述のS106aにおける未知語処理について詳細に説明する。図7は、その詳細な処理を示すフローチャートである。以下、図5(b)を適宜参照しながら説明する。
誤り区間前後コンテキスト指定部250は、図5(b)に示す、誤り区間の前の単語W1aとその前(誤り区間の2つ前)の単語W1bから成る単語群W1を指定し、未知語処理部300は、後述する図8の処理により、上記の単語W1aとその品詞、および、その前の単語W1bを保存する(S401)。同様に、S402では、誤り区間前後コンテキスト指定部250は、図5(b)に示す、誤り区間の後の単語W2aとその後(誤り区間の2つ後)の単語W2bから成る単語群W2を指定し、未知語処理部300は、後述する図8の処理により、上記の単語W2aとその品詞、および、その後の単語W2bを保存する。
次に、誤り区間前後コンテキスト指定部250により、この単語W1aの開始時間T1(図5(b))が指定されて保存され(S403)、同様に、単語W2aの終了時間T2(図5(b))が指定されて保存される(S404)。
このようにして、誤り区間にさらにその前後一単語ずつ加えて得られた誤り区間、即ち、開始時間T1から終了時間T2までの区間、についての特徴量データが、誤り区間特徴量抽出部260により抽出される(S405)。そして、単語W1aを始点とし、単語W2aを終点とする拘束条件の設定が、訂正部270により行われる(S406)。さらに、この拘束条件にしたがって、訂正部270により、特徴量データに対する認識処理が行われ、訂正処理が実行される(S407)。
以下では、上述のS401およびS402における処理についてさらに詳細に説明する。図8は、その詳細な処理を示すフローチャートである。適宜、図10(a)と図10(b)を参照しながら説明する。
図8のS501では、コンテキスト指定部250は、単語群(S401では誤り区間の前の単語W1aとその前の単語W1bから成る単語群W1、S402では誤り区間の後の単語W2aとその後の単語W2bから成る単語群W2)を指定し、入力された音声から上記単語群を取り出す。このとき、コンテキスト指定部250は、上記単語群を成す各単語の単語情報を抽出し、上記単語群および各単語の単語情報を未知語候補単語抽出部310に渡す。
次に、S502では、未知語候補単語抽出部310は、誤り区間に近接する単語(即ち、誤り区間の前後の単語であり、S401では単語W1a、S402では単語W2a)を検索語とし、当該検索語が言語モデル保持部282または辞書保存部283に含まれるか否かを検索することで、検索語が未知語であるか否かを判定する。ここで、検索語が未知語でないと判定されれば、図8の処理を終了する。認識結果などに付随した情報の一部として、未知語という識別子がついている場合は、その識別子を参照して、検索語が未知語であるか否かを判定してもよい。また、検索語が未知語と判定されても図8の処理を終了せずに、S503の処理に進んでもよい。その場合、以降、当該検索語に対して未知語と同様の処理を行ってよい。また、検索語が未知語かどうかを判定するS502のステップがなくてもよい。
一方、検索語が未知語であると判定されれば、S503において、未知語候補単語抽出部310は、誤り区間に近接する単語の品詞と、次に近接する単語(即ち、S401では単語W1b、S402では単語W2b)の単語情報を抽出する。この抽出は、S501でコンテキスト指定部250から渡された情報から抽出すればよい。ただし、抽出すべき情報が、コンテキスト指定部250から渡された情報に含まれていない場合は、未知語候補単語抽出部310は、抽出すべき情報を言語モデル保持部282または辞書保存部283から抽出したり、形態素解析を実施し単語情報を生成したり、サーバ装置120に単語情報の送信を要求してもよい。
次に、S504では、未知語候補単語抽出部310は、誤り区間に近接する単語の品詞と次に近接する単語の単語情報とを含むNグラムを、言語モデル保持部282から抽出する。例えば、誤り区間の前の単語の品詞が「品詞A」で、誤り区間の2つ前の単語の単語情報が「単語W1b」を特定する情報であった場合、図10(a)に示すように、単語W1bとその後につながる品詞Aの単語とを含むNグラムとして、「単語W1bと単語A1のつながり」および「単語W1bと単語A2のつながり」が抽出される。
仮に、誤り区間の前の単語の品詞である「品詞A」だけをキーとして抽出を行う場合は、品詞Aの単語として、単語A1、A2、A3…の多数の単語が抽出されてしまい、絞込みが困難である。しかし、上記のように、誤り区間の前の単語の品詞とともに、誤り区間の2つ前の単語の単語情報もキーとして、Nグラムの抽出を行うことで、「単語W1bと単語A1のつながり」および「単語W1bと単語A2のつながり」の2つに、効率よく絞り込むことができる。
次に、S505では、未知語候補単語抽出部310は、抽出されたNグラム中の未知語部分の単語を抽出する。図10(a)の例では、「単語A1」、「単語A2」が抽出される。抽出後、未知語候補単語抽出部310は、抽出された未知語部分の単語(即ち、未知語の類似単語候補)を候補Nグラム抽出部320へ渡す。
次に、S506では、候補Nグラム抽出部320は、抽出された未知語部分の単語を含むNグラムおよび接続確率を、言語モデル保持部282から抽出し、接続確率作成部330に渡す。例えば、図10(b)に示すように、未知語部分の単語(単語A1、A2)を含むNグラムおよび接続確率として、6組のNグラムおよび接続確率が抽出される。
次に、S507では、接続確率作成部330は、抽出されたNグラムおよび接続確率において、Nグラムの未知語品詞部分を未知語に置換することで、未知語のNグラムおよび接続確率を作成し、言語モデル登録部340へ渡す。
次に、S508では、言語モデル登録部340は、作成された未知語のNグラムおよび接続確率を言語モデル保存部282に登録する。また、言語モデル登録部340は、拘束条件として適用するために、上記未知語のNグラムおよび接続確率を訂正部270に入力する。
本実施形態では、上記のように2段階に検索することで、未知語の汎用的なモデルを作成することができる。
第1段階目で未知語の品詞と、未知語の前または後の1つまたは複数の単語情報を利用して絞り込むことにより、当該未知語と単語連接傾向の近い単語が1つまたは複数抽出できる。
そして、未知語の単語の候補を抽出した後、第2段階目で、当該単語候補のNグラムと接続確率を言語モデルから1つまたは複数抽出し、未知語のNグラムと接続確率を作成することで、当該未知語の汎用的なモデル(Nグラムおよび接続確率)を作成できるという優れた効果が得られる。
以下、本実施形態のクライアント装置110における作用効果について説明する。このクライアント装置110において、特徴量算出部210が入力された音声の特徴量データを算出し、特徴量圧縮部220が、特徴量データを圧縮して、音声認識装置であるサーバ装置120に送信する。一方、特徴量保存部230は、特徴量データを保存する。そして、サーバ装置120において認識処理を行い、受信部235は認識結果をサーバ装置120から受信する。誤り区間指定部240は、受信された認識結果において、認識誤りが発生している誤り区間を指定する。この誤り区間指定部240は、信頼度に基づいて判断することができる。そして、誤り区間特徴量抽出部260は、誤り区間の特徴量データを抽出し、訂正部270は、抽出された誤り区間における認識結果に対し、再認識処理を行うことにより訂正処理を行う。すなわち、統合部280において、再認識された結果と、受信部235において受信された認識結果とを統合することにより、訂正処理が行われ、表示部290は訂正された認識結果を表示することができる。
これにより、認識した結果のうち必要な部分を訂正するため、簡易に音声認識の誤りを訂正することができ、正しい認識結果を得ることができる。なお、信頼度は、サーバ装置120から受信してもよいし、クライアント装置120において計算してもよい。
さらに、このクライアント装置110は、誤り区間前後コンテキスト指定部250を用いて、拘束条件に従った訂正処理(再認識処理)を行うことができる。すなわち、誤り区間の前後の単語を固定しておき、この固定した単語に従った認識処理を行うことでより精度のよい認識結果を得ることができる。
さらに、このクライアント装置110は、未知語処理部300を用いて、未知語の言語モデルを作成することができる。また、未知語の前後の単語の単語情報を利用することで、未知語により近い単語を言語モデル保持部282から抽出することができる。また、抽出した未知語に近い単語をもとにNグラムと接続確率を言語モデル保持部282から抽出することで、未知語に近い単語のより汎用的な接続確率を得ることができる。
また、単語情報に品詞情報などを含めることで、より適切な単語を言語モデル保持部282から抽出することができる。また、未知語であっても、単語情報を用いることで候補の絞込みができる。
また、未知語の前後の単語の信頼度の情報を用いることで、言語モデル保持部282から関連するモデルを抽出する精度を向上することができる。
また、モデル抽出手段を2段階にすることで、対象単語の類似単語を抽出した上で、類似単語の一般的なモデルを作成でき、対象単語の一般的なモデルを作成することができる。
また、作成された未知語のモデルを言語モデル保持部282に登録することで、未知語を含んだ言語処理が可能になり、例えば、音声認識、形態素解析にも利用することができる。また、日本語仮名漢字変換の辞書など別の辞書にも登録することで、音声認識以外の言語処理に利用することができる。
また、すでに言語モデルに登録された単語に関しても同様にモデルを作成し、言語モデル保持部282に登録されたモデルを更新することで、より当該単語に近いモデルが言語モデル保持部282に登録されることになり、登録された言語モデルをより使われやすい条件に近づけることができる。
なお、本実施形態において、1回目の認識処理をサーバ装置120で行っているが、これに限定するものではなく、1回目の認識処理をクライアント装置110において行い、2回目の認識処理をサーバ装置120において行うようにしてもよい。その際、当然に誤り区間の指定処理等はサーバ装置120において行われる。例えば、その場合には、クライアント装置110は、特徴量算出部210において算出された特徴量データに基づいて認識処理を行う認識処理部を備え、また送信部225は、ここでの認識結果と特徴量データとをサーバ装置120に送信する。
サーバ装置120では、クライアント装置110における誤り区間指定部240、誤り区間前後コンテキスト指定部250、特徴量保存部230、誤り区間特徴量抽出部260、訂正部270に相当する各部を備えており、クライアント装置110から送信された特徴量データは、特徴量保存部に記憶させ、認識結果に基づいて誤り区間の指定、誤り区間前後コンテキストの指定が行われ、これらに基づいて、先に保存した特徴量データの訂正処理(認識処理)が行われる。このように処理された認識結果はクライアント装置110に送信される。
また、誤り区間前後コンテキスト指定部250により定められた拘束条件を用いて再認識(訂正処理)を行っているが、このような拘束条件を用いることなく、再認識処理を行うようにしてもよい。未知語の言語モデルを適切に設定できないと見込まれる場合は、拘束条件を用いないことで認識率を向上することができる。
また、サーバ装置120において認識方法と、本実施形態における認識方法を変えるようにすることが好ましい。すなわち、サーバ装置120において、不特定多数のユーザの音声を認識する必要があるため、汎用的である必要がある。例えば、サーバ装置120において用いられる音響モデル保持部、言語モデル保持部、辞書保持部における各モデル数、辞書数を大容量のものとし、音響モデルにおいては音素の数を多くし、言語モデルにおいては単語の数を大きくするなど、各モデル数、辞書数を大容量のものとしあらゆるユーザに対応できるようにする。
一方、クライアント装置110における訂正部270は、あらゆるユーザに対応させる必要はなく、そのクライアント装置110のユーザの音声に合致した音響モデル、言語モデル、辞書を用いるようにする。そのため、このクライアント装置110は、訂正処理、認識処理、またメール作成時における文字入力処理を参考に、適宜各モデル、辞書を更新することが必要となる。
本実施形態における通信システムのシステム構成図である。 クライアント装置110の機能ブロック図である。 クライアント装置110のハードウェア構成図である。 発声内容、認識結果、音声区間、信頼度の各種情報の具体例を示す図である。 誤り区間前後コンテキストを説明するための図である。 クライアント装置110の動作を示すフローチャートである。 図6のS106aにおける未知語処理を示すフローチャートである。 図7のS401およびS402における処理を示すフローチャートである。 未知語処理部300の機能ブロック図である。 未知語処理の内容を説明するための図である。
符号の説明
11…CPU、12…RAM、13…ROM、14…入力装置、15…出力装置、16…通信モジュール、17…補助記憶装置、110…クライアント装置、120…サーバ装置、210…特徴量算出部、220…特徴量圧縮部、225…送信部、230…特徴量保存部、235…受信部、236…操作部、237…結果保存部、238…ユーザ入力検出部、240…誤り区間指定部、250…誤り区間前後コンテキスト指定部、260…誤り区間特徴量抽出部、270…訂正部、280…統合部、281…音響モデル保持部、282…言語モデル保持部、283…辞書保持部、290…表示部、300…未知語処理部、305…言語モデル作成装置、310…未知語候補単語抽出部、320…候補Nグラム抽出部、330…接続確率作成部、340…言語モデル登録部。

Claims (7)

  1. 対象単語の前に隣接する単語と前記対象単語の後ろに隣接する単語の両方または片方を含む隣接単語と、前記対象単語と、を含む単語列の単語情報を抽出する単語列抽出手段と、
    前記単語列抽出手段により抽出された単語列の単語情報に基づいて、言語モデル保持部から、前記単語列の単語情報を含むモデルを抽出するモデル抽出手段と、
    前記モデル抽出手段により抽出されたモデルから、前記対象単語に対応するモデルを作成するモデル作成手段と、
    を備え、
    前記モデル抽出手段は、
    前記単語列抽出手段により抽出された単語列の単語情報に基づいて、前記言語モデル保持部から、前記対象単語候補を抽出し、
    前記対象単語候補に基づいて、前記言語モデル保持部から、モデルを抽出する、
    ことを特徴とする言語モデル作成装置。
  2. 前記モデル抽出手段は、
    前記単語列に含まれた対象単語に関する品詞、係り受け、読み、表記および単語クラスのうち少なくとも1つを含む単語情報、および、前記単語列に含まれた隣接単語に関する品詞、係り受け、読み、表記および単語クラスのうち少なくとも1つを含む単語情報を参照して、前記単語列を含むモデルを抽出する、
    ことを特徴とする請求項1に記載の言語モデル作成装置。
  3. 前記モデル抽出手段は、
    前記単語列に含まれた隣接単語に関する信頼度をさらに参照して、前記単語列を含むモデルを抽出する、
    ことを特徴とする請求項1または2に記載の言語モデル作成装置。
  4. 前記単語列抽出手段は、
    対象単語の前に隣接する単語に関する信頼度および前記対象単語の後ろに隣接する単語に関する信頼度を参照して、前記単語列を抽出する、
    ことを特徴とする請求項1乃至3のいずれか1項に記載の言語モデル作成装置。
  5. 前記モデル作成手段により作成された前記対象単語に対応するモデルを、前記言語モデル保持部に登録する言語モデル登録手段、をさらに具備することを特徴とする請求項1乃至のいずれか1項に記載の言語モデル作成装置。
  6. 前記言語モデル登録手段は、
    前記作成された前記対象単語に対応するモデルが前記言語モデル保持部に既に登録されている場合、前記作成された前記対象単語に対応するモデルをもって、既に登録されているモデルを更新する、
    ことを特徴とする請求項1乃至のいずれか1項に記載の言語モデル作成装置。
  7. 言語モデル作成装置により実行される言語モデル作成方法であって、
    対象単語の前に隣接する単語と前記対象単語の後ろに隣接する単語の両方または片方を含む隣接単語と、前記対象単語と、を含む単語列の単語情報を抽出する単語列抽出ステップと、
    前記単語列抽出ステップにて抽出された単語列の単語情報に基づいて、言語モデル保持部から、前記単語列の単語情報を含むモデルを抽出するモデル抽出ステップと、
    前記モデル抽出ステップにて抽出されたモデルから、前記対象単語に対応するモデルを作成するモデル作成ステップと、
    を備え、
    前記モデル抽出ステップにて、前記言語モデル作成装置は、
    前記単語列抽出ステップにより抽出された単語列の単語情報に基づいて、前記言語モデル保持部から、前記対象単語候補を抽出し、
    前記対象単語候補に基づいて、前記言語モデル保持部から、モデルを抽出する、
    ことを特徴とする言語モデル作成方法。
JP2008198451A 2008-07-31 2008-07-31 言語モデル作成装置および言語モデル作成方法 Active JP5238395B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008198451A JP5238395B2 (ja) 2008-07-31 2008-07-31 言語モデル作成装置および言語モデル作成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008198451A JP5238395B2 (ja) 2008-07-31 2008-07-31 言語モデル作成装置および言語モデル作成方法

Publications (2)

Publication Number Publication Date
JP2010039539A JP2010039539A (ja) 2010-02-18
JP5238395B2 true JP5238395B2 (ja) 2013-07-17

Family

ID=42012062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008198451A Active JP5238395B2 (ja) 2008-07-31 2008-07-31 言語モデル作成装置および言語モデル作成方法

Country Status (1)

Country Link
JP (1) JP5238395B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4941495B2 (ja) * 2009-03-31 2012-05-30 日本電気株式会社 ユーザ辞書作成システム、方法、及び、プログラム
JP6150268B2 (ja) * 2012-08-31 2017-06-21 国立研究開発法人情報通信研究機構 単語登録装置及びそのためのコンピュータプログラム
JP7512288B2 (ja) 2019-08-06 2024-07-08 株式会社Nttドコモ 単語重み計算システム
JP7479249B2 (ja) * 2020-09-02 2024-05-08 株式会社日立ソリューションズ・テクノロジー 未知語検出方法及び未知語検出装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000356997A (ja) * 1999-06-15 2000-12-26 Atr Interpreting Telecommunications Res Lab 統計的言語モデル生成装置及び音声認識装置
JP2002358097A (ja) * 2001-06-01 2002-12-13 Mitsubishi Electric Corp 音声認識装置
JP2005275348A (ja) * 2004-02-23 2005-10-06 Nippon Telegr & Teleph Corp <Ntt> 音声認識方法、この方法を実施する装置、プログラムおよび記録媒体

Also Published As

Publication number Publication date
JP2010039539A (ja) 2010-02-18

Similar Documents

Publication Publication Date Title
JP4709887B2 (ja) 音声認識結果訂正装置および音声認識結果訂正方法、ならびに音声認識結果訂正システム
JP5480760B2 (ja) 端末装置、音声認識方法および音声認識プログラム
US6910012B2 (en) Method and system for speech recognition using phonetically similar word alternatives
CN106663424B (zh) 意图理解装置以及方法
US8275618B2 (en) Mobile dictation correction user interface
US9020819B2 (en) Recognition dictionary system and recognition dictionary system updating method
US8126714B2 (en) Voice search device
WO2013154010A1 (ja) 音声認識サーバ統合装置および音声認識サーバ統合方法
WO2008069139A1 (ja) 音声認識システム及び音声認識システム用プログラム
KR100769029B1 (ko) 다언어의 이름들의 음성 인식을 위한 방법 및 시스템
JP2010020102A (ja) 音声認識装置、音声認識方法及びコンピュータプログラム
JP5238395B2 (ja) 言語モデル作成装置および言語モデル作成方法
JP5396530B2 (ja) 音声認識装置および音声認識方法
JP4089861B2 (ja) 音声認識文章入力装置
JP5160594B2 (ja) 音声認識装置および音声認識方法
JP6233867B2 (ja) 音声認識用辞書登録システム、音声認識システム、音声認識サービスシステム、方法およびプログラム
JP2010048890A (ja) クライアント装置、認識結果フィードバック方法、認識結果フィードバックプログラム、サーバ装置、音声認識のモデル更新方法、音声認識のモデル更新プログラム、音声認識システム、音声認識方法、音声認識プログラム
JP5054711B2 (ja) 音声認識装置および音声認識プログラム
JP4845955B2 (ja) 音声認識結果訂正装置および音声認識結果訂正方法
JP4230142B2 (ja) 悪環境下でのキーパッド/音声を用いたハイブリッドな東洋文字認識技術
JP3911178B2 (ja) 音声認識辞書作成装置および音声認識辞書作成方法、音声認識装置、携帯端末器、音声認識システム、音声認識辞書作成プログラム、並びに、プログラム記録媒体
JP2000056795A (ja) 音声認識装置
JP2011039468A (ja) 電子辞書で音声認識を用いた単語探索装置及びその方法
CN113096667A (zh) 一种错别字识别检测方法和系统
JP5474723B2 (ja) 音声認識装置およびその制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130401

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5238395

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250