JP4574313B2 - 画像処理装置および方法 - Google Patents

Description

本発明は、光学的に文書原稿を読み取って得られた画像データを処理する画像処理装置及び方法に関する。

従来、紙の文書原稿をスキャナで読み込んで画像データを取得し、その画像データを文字認識してテキストファイルを作成し、更に、該テキストファイルと画像データを対応付けて格納することが提案されている（例えば特許文献１参照）。このようにすることにより、所望の画像を文字で検索することができるようにしている。
特開平０８−０６３５８３号公報

一方、近年、異なる言語を用いる人が同じ製品を使用することも多くなっているし、また、製品が世界中に出荷されることも多くなっているので、製造コストを低減するためにも、１つの製品で各国語に対応することが必要となっている。

しかしながら、上述したような特許文献１では、異なる言語に対してどのように対応するかについては考慮されていなかった。

そこで、本発明では、使用する言語に対応した文字認識処理を適切且つ容易に使用できるようにする。

本発明の画像処理装置は、ユーザからの指示を設定するためのユーザインターフェースを有し、前記ユーザインターフェースの表示画面で使用される言語のタイプを切り替えることができる画像処理装置であって、原稿を光学的に読み取ることで得られる画像データを読み込む画像読み込み手段と、前記ユーザインターフェースの表示画面で使用されている言語タイプを判断し、前記画像読み込み手段で読み込んだ画像データに含まれる文字画像に対して当該判断された言語タイプの原稿を認識するのに適した文字認識処理を実行することにより、テキストデータを生成する文字認識手段と、前記文字認識手段で生成したテキストデータと前記画像データとが対応付けられたファイルを生成するファイル生成手段と、を有することを特徴とする。

本発明によれば、文字認識処理の設定を適切且つ容易に行なうことができる。特にスキャナを有する画像処理装置が有する、該画像処理装置に読み込み指示などを与えるためのユーザインターフェースの言語に基づいて、文字認識処理で利用する言語の設定を行なうようにしたので、文字認識処理の設定を適切且つ容易に行なうことができる。

（実施例１）
図１は本発明の画像処理装置の構成を示すブロック図である。本実施例では、画像処理装置として複写機（複合機）を用いた場合について説明する。

入力部３（例えばスキャナ）で読み込んだ画像データは、ＲＡＭ２などのメモリ領域に展開される。同様にＨＤＤやＲＯＭなどの外部記憶装置４に記憶されている、本実施例を実現するための処理プログラムや辞書データも同様にＲＡＭ２に展開され、ＣＰＵ１によって実行される。

該処理プログラムがＣＰＵ１によって実行されると、入力部３から入力された画像データを処理する。処理された画像データは出力部５からネットワークを介して外部装置に送信することができるし、また、外部記憶装置４に保存することも可能である。また、出力部５はプリンタ部も有し、コピーを行なう際は、スキャナで読み込んだ原稿画像をプリンタ部で印刷する。

また、ユーザインターフェース（ＵＩ）６は、ユーザが本画像処理装置に対して各種指示を与えるためのものであり、本実施例では、タッチパネルで構成されているものとする。なお、このユーザインターフェースはタッチパネルに限るものではなく、表示画面と機械的なボタンというような組合せで構成されるようにしても構わない。このユーザインターフェース６は、複数の言語に対応しており、設定に応じてユーザインターフェースの言語を切り替えて表示することが可能である。

例えば、図３及び図９はユーザインターフェースの例で、図３は日本語でユーザインターフェースを表示するように設定されている場合であり、図９は英語でユーザインターフェースを表示するように設定されている場合である。

図３を用いて各ボタンやタグについて説明する。例えば、３１のコピー機能のタグをユーザが選択すると、コピー機能に関する各種設定を行なうための画面が表示され、例えば、拡大／縮小コピーとそれぞれの倍率を設定したり、両面コピーの設定やコピー部数の設定などが行なえる。

図３では、３２の送信機能タグがユーザにより選択された時のユーザインターフェースの図であり、スキャナなどで読み込んだ原稿を外部に送信する際に使用する送信情報を設定することができる。

３３の送信先にはメールアドレスや送信するホストのパスなどを指定する。

３４の保存形式は出力ファイルをどのような画像フォーマットで送信するか指定することができる。例えば、ＴＩＦＦ形式やＰＤＦ形式やサーチャブルＰＤＦ（ＳＰＤＦ）形式などを指定することができる。なお、本実施例において、サーチャブルＰＤＦ形式とは、画像データをＰＤＦファイルに格納するとともに、該画像データを文字認識して得た文字コードを該ＰＤＦファイルに透明文字として埋め込んだフォーマットのことを指すものとする。したがって、サーチャブルＰＤＦ形式のファイルでは、見た目は画像データであるが、文字コードが画像データ内の文字画像と対応付けられて埋め込まれているので、文字で検索を行なうことが可能になる。

３５の解像度では画像データの解像度を設定することができる。

３６の方向判別ボタンが選択されると、画像データの天地方向を自動的に判別して、その方向に画像データの方向を補正する方向判別処理を実行する。

３７の開始ボタンが選択されると、画像データを読み込み、３３〜３６で設定した設定項目に基づく画像処理が実行される。

３８の中止ボタンが選択されると、前述した設定内容を無効にしたり、既に３７が押下され画像処理が開始されていれば該処理を中止する。

本実施例では、送信機能が選択され、送信先アドレスは「＊＊＊＠ｘｘｘ．ｘｘｘ．ｊｐ」、保存形式は「サーチャブルＰＤＦ形式」、入力画像解像度は「３００ｄｐｉ」が設定されたものとし、次に図２のフローチャートを元に本実施例における処理手順を説明する。

図２のＳ１０１は読み込んだオリジナル画像データを２値化し、更に該２値画像データに対してノイズ除去処理を施して文字認識用の画像データを作成する。

ノイズ除去の方法としては孤立点除去を用いて実行される。図４に示すように注目した黒点に隣接する黒点情報が存在しない場合はノイズと判定して黒点除去を行う。すなわち図４の注目画素ｐ（ｘ、ｙ）に対して（ｘ、ｙ−１）、（ｘ、ｙ＋１）、（ｘ−１、ｙ−１）、（ｘ−１、ｙ）、（ｘ−１、ｙ＋１）、（ｘ＋１、ｙ−１）（、ｘ＋１、ｙ）、（ｘ＋１、ｙ＋１）の全ての画素情報が黒点（ＯＮ）で無い場合は、該注目画素は孤立点であるので、ノイズであるとして画素情報を白（ＯＦＦ）にする。

次にＳ１０２の領域分割処理を行う。領域分割処理では、該２値画像に対して属性毎の領域（例えば、文字領域や画像領域など）に分割して、それぞれの領域の構造を解析し、領域ごとに位置情報および領域属性を付与する。

領域分割処理（Ｓ１０２）は、既存の領域分割処理を利用可能であるので、ここでは簡単に説明する。領域分割処理では入力された画像データに対して縮小処理を行い、該縮小画像においてまとまった画素をひとつの画像領域として取り出す。図５は画像データを縮小し、まとまった画素の画像領域を取り出したときの例である。このようにして取り出した画像領域の大きさや並びや大きさの均一性などを元にテキスト領域や画像領域を決定する。図６は、領域分割処理によって分割された各領域を点線で示し、各領域の領域属性をｐ１〜ｐ１０で示している。領域分割処理ではある程度まとまった領域にタイトル、テキスト、図、テーブルといった属性とそれぞれの画像領域の位置情報と大きさを結果として得ることが出来る。また、同時に図７のように画像データのレイアウトを解析して、各領域がどのような論理構造になっているかを得ることができる。

次に、Ｓ１０３において、前記領域分割した画像に対して文字認識処理を行う。図８は本実施例における文字認識処理のフローチャートである。

Ｓ２０１では、現在のユーザインターフェース６において使用されている言語がどの言語であるか判断し、該判断した言語を文字認識するのに適した言語辞書を選択する。

図３のユーザインターフェースは日本語で表示されている状態であるので、日本語の文字を認識するのに適した辞書データ（例えばＪＩＳで定義されている文字に関する特徴が格納されている辞書データ）を選択する。一方、図９のユーザインターフェースのように、英語で表示されている場合は、英語の文字を認識するのに適した辞書データ（例えばＬａｔｉｎ１で定義されている文字に関する特徴が格納されている辞書データ）を選択する。

また、ハンガリー語、スロベニア語などの東欧の言語でユーザインターフェースが記述されていた場合はＬａｔｉｎ２で定義されている文字の特徴を記憶した辞書データを選択する。バルト語などの北欧系の言語でユーザインターフェースが記述されていた場合はＬａｔｉｎ４で定義されている文字の特徴を記憶した辞書データを選択する。

以上のように、該画像処理装置に対して、コピー指示やスキャン指示、送信指示などの各種設定を行なうためのユーザインターフェースを表示する際に使用されている言語に基づいて辞書データを選択する。

Ｓ２０２では、最初の処理対象領域を取得する。

Ｓ２０３では、当該処理対象領域が、テキスト属性あるいはタイトル属性、文字を含むテーブルなどの文字属性であるかどうかを判定（文字画像を含む領域かどうか判定）し、文字画像を含む領域であればＳ２０４に進み、非文字であればＳ２０９へスキップする。

Ｓ２０４では、該領域から文字画像を取り出す。

Ｓ２０５では当該取り出した文字画像の特徴を抽出する。図１０は文字の特徴を取得する例である。文字画像の矩形領域を細分し、細分した画像の画素成分の特徴を算出する。細分したすべての画像の特徴に基づいて、該文字画像の特徴を決定する。

Ｓ２０６ではＳ２０５で得られた文字画像の特徴と、Ｓ２０１で選択された辞書データに格納されている文字の特徴量とを比較し、該文字画像の特徴と辞書に格納されている各文字の特徴との類似度を表す距離値を計算する。そして図１１のような距離値に基づいて文字画像「文」に最も類似する文字を文字認識結果の候補として決定する。なお、Ｓ２０５〜Ｓ２０６は、各文字画像に対する文字認識結果の候補を求める手法は、上記手法に限るものではなく、文字画像と辞書に格納されているパターンのパターンマッチングを取って文字認識結果を得るなど、様々な手法を適用することが可能である。

Ｓ２０７では領域内の全文字画像に対して文字候補（文字コード）の決定処理が行なわれたかどうか判定し、すべての文字に対して処理が終わったならばＳ２０９に進み、領域内に未処理の文字画像がある場合はＳ２０８に進んで次の文字画像を取得する。

Ｓ２０９では、領域分割で得られたすべての領域に対して処理が終わったかどうか判定し、未処理の領域がある場合にはＳ２１０に進んで未処理の次の領域を取得してＳ２０３からの処理を繰り返す。すべての領域の処理が終わっていたら文字認識処理を終了する。

以上のように図８の文字認識処理で得られた文字コードは各文字画像の位置情報と対応付けて記憶する。

Ｓ１０４では、読み込んだオリジナルの画像データの解像度を前記ユーザインターフェースで指定された解像度にする。更に本実施例では、ＪＰＥＧ等の圧縮を行なうものとする。なお、ＪＰＥＧ等の圧縮処理を行わずにビットマップ画像として次の処理に進むようにしてもよい。

Ｓ１０５では、Ｓ１０３の文字認識処理で得た文字コードを前記位置情報に基づいて、Ｓ１０４で得た画像データにリンクして（透明文字として埋め込んで）、サーチャブルＰＤＦ形式のファイルとして出力する。出力されたファイルは指定されたアドレスに送信される。

以上、説明したように本実施例によれば、スキャンなどで得られた画像データに対して、文字認識処理を行い、文字画像の位置情報と関連付けたテキスト情報を該画像データにもたせたファイル形式のファイルを作成することにより、文字で検索可能な画像ファイルを作り出すことができる。したがって、検索が容易になるので、画像データの加工や再利用が容易になり、複写機などのスキャナを有する画像処理装置の利用付加価値を高めることができる。また、文字認識処理を行う際、該画像処理装置のユーザインターフェースで使用するように設定された言語に基づいて、該言語の文字画像を認識するのに適した文字認識処理を自動的に行なうので、ユーザが言語情報を設定するわずらわしさを解消することができる。

なお、上述した実施例では、プリンタ部を有する複写機（複合機）を例にして説明したが、出力部５がプリンタ部を有さず、ネットワーク等を介して外部装置に送信するようなスキャン装置であっても構わない。

（実施例２）
更に、上述した実施例１のユーザインターフェースにおいて、図３のような日本語のユーザインターフェースと図９の英語のユーザインターフェースを、該画像処理装置を使用するユーザに応じて自動的に選択するような機構を設けてもよい。その場合、例えば、該画像処理装置の使用時にログイン画面を設け、ログインユーザに応じて自動的にユーザインターフェースを選択するような機構にすることができる。

（実施例３）
更に、実施例１における図３や図９のユーザインターフェースにおいて、ユーザが原稿の言語タイプを指定するためのオプション画面を設けてもよい。その場合、Ｓ２０１において、まず、オプション画面でユーザにより原稿画像の言語タイプが指定されたかどうか判断し、指定されたと判断した時は、当該指定されている言語タイプの原稿を文字認識するのに適した辞書を選択し、Ｓ２０２以降の処理を行なう。一方、オプション画面でユーザにより原稿画像の言語タイプが指定されていないと判断した場合は、実施例１と同様に、現在のユーザインターフェースの表示に使用されている言語がどの言語であるか判断し、当該判断された言語を文字認識するのに適した辞書を選択し、Ｓ２０２以降の処理を行う。

このように構成すれば、実施例１の効果に加え、ユーザが外国語の原稿を読み込ませるような場合があったとしても、その言語に適した文字認識処理を行うようにすることが可能となる。

本発明の情報処理装置の構成図 本発明のフローチャート 本発明のユーザインターフェース 孤立点除去によるノイズ除去 領域分割処理説明図 領域分割処理結果（レイアウト情報） 領域分割処理結果（論理構造） 文字認識処理フローチャート 本発明のユーザインターフェース（英語） 文字特徴抽出 文字特徴量比較

Claims (8)

1. ユーザからの指示を設定するためのユーザインターフェースを有し、前記ユーザインターフェースの表示画面で使用される言語のタイプを切り替えることができる画像処理装置であって、
   原稿を光学的に読み取ることで得られる画像データを読み込む画像読み込み手段と、
   前記ユーザインターフェースの表示画面で使用されている言語タイプを判断し、前記画像読み込み手段で読み込んだ画像データに含まれる文字画像に対して当該判断された言語タイプの原稿を認識するのに適した文字認識処理を実行することにより、テキストデータを生成する文字認識手段と、
   前記文字認識手段で生成したテキストデータと前記画像データとが対応付けられたファイルを生成するファイル生成手段と、
   を有することを特徴とする画像処理装置。
2. 更に、前記画像読み込み手段で読み込んだ画像データを２値化する２値化手段を有する画像処理装置であって、
   前記文字認識手段は、前記２値化手段で２値化された画像データに含まれる文字画像に対して前記文字認識処理を施すことを特徴とする請求項１に記載の画像処理装置。
3. 前記ファイル生成手段は、前記テキストデータの各文字を、前記画像データ内の認識対象となった各文字画像の位置に対応付けて前記ファイルを生成することを特徴とする請求項１に記載の画像処理装置。
4. 更に、前記ユーザインターフェースは、前記画像読み込み手段で読み込む画像データの言語タイプをユーザの指定に基づいて設定する設定手段を有し、
   前記文字認識手段は、前記設定手段でユーザの指定に基づいて前記言語タイプを設定したか否か判断し、ユーザの指定に基づいて前記言語タイプを設定したと判断した場合は当該指定された言語タイプの言語を認識するのに適した文字認識処理を施し、一方、ユーザの指定に基づいて前記言語タイプを設定していないと判断した場合は、前記ユーザインターフェースの表示画面で使用されている言語タイプを判断して当該判断された言語タイプの原稿を認識するのに適した文字認識処理を施すことを特徴とする請求項１に記載の画像処理装置。
5. 前記ユーザインターフェースは、該画像処理装置を使用するユーザに応じて表示する言語のタイプを変更することを特徴とする請求項１に記載の画像処理装置。
6. ユーザからの指示を設定するためのユーザインターフェースを有する画像処理装置を制御するための画像処理方法であって、
   文字認識手段が、前記ユーザインターフェースの表示画面で使用されている言語タイプを判断し、原稿を光学的に読み取ることで得られる画像データに含まれる文字画像に対して、当該判断された言語タイプの原稿を認識するのに適した文字認識処理を実行することにより、テキストデータを生成する文字認識ステップと、
   ファイル生成手段が、前記文字認識ステップで生成したテキストデータと前記画像データとが対応付けられたファイルを生成するファイル生成ステップと、
   を有することを特徴とする画像処理方法。
7. ユーザからの指示を設定するためのユーザインターフェースを有し、該ユーザインターフェースの表示画面で使用される言語を切り替えることができる画像処理装置が備えるコンピュータに、
   前記ユーザインターフェースの表示画面で使用されている言語タイプを判断し、当該判断された言語タイプの原稿を認識するのに適した文字認識処理を、原稿を光学的に読み取ることで得られる画像データに含まれる文字画像に対して施すことにより、テキストデータを生成する文字認識ステップ、
   前記文字認識ステップで生成したテキストデータと前記画像データとが対応付けられたファイルを生成するファイル生成ステップ、
   を実行させるためのプログラム。
8. 請求項７に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images