JP3113827B2 - 矩形オブジェクトの認識方法及び認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、画像処理方法に関す
るものであり、より詳しくは、文字認識プログラムの設
計に際し、入力されたビットマップ・イメージの帳票に
含まれる枠の位置情報をオペレータの入力した位置情報
に基づいて認識する方法に関する。

【０００２】

【従来の技術】新たに作成されたＯＣＲ用帳票を文字認
識プログラムに認識させるＯＣＲの帳票定義作業を行う
に際し、従来は、帳票のサイズ、ページマーク／位置補
正マーク（タイミングマークまたはリファレンスマーク
とも呼ばれる）／文字フィールド／文字の相対的な位置
とサイズなどを物差しを使って測定し、その数値を入力
せねばならず、帳票定義作業は、プログラマにとって手
間のかかるものであった。特に、ドロップアウトの帳票
（ＯＣＲ用に特別に作成された帳票で、ＯＣＲに認識さ
れない色彩の文字や文字枠を印刷した帳票）では、この
方式が本願出願時においてもまだ主流であり、新たなド
ロップアウト帳票を使用したＯＣＲ用プログラムを設計
するには多大な時間を費やす必要があった。

【０００３】このような従来技術の問題点を解決するた
めに、現在いくつかの技術が提案されている。一例をあ
げると、メディア・ドライブ社の「ＷｉｎＲｅａｄｅｒ
Ｈａｎｄ ｖ１．５ ユーザーズ・マニュアル、フィ
ールドの設定（ｐ１９，２０）」（「ＷｉｎＲｅａｄｅ
ｒ Ｈａｎｄ」はメディア・ドライブ社の商標）に記載
されたような、黒枠の帳票では未記入の帳票イメージを
スキャナーで取り込みディスプレイ上に表示し、全ての
黒い縦線と横線を自動検出し、オペレータが直線が正し
く検出されたことを確認してから文字認識フィールドを
設定する方式がある。

【０００４】上記の方式は、物差しを使っていた方式に
比べれば、プログラマの行う作業も少なく、はるかにフ
ィールドの定義が簡単になっている。この前述の従来の
文字認識プログラムにおいては、属性の設定するフィー
ルドを指定するために、全ての直線の認識を行った後、
以下の方式によって、属性を設定すべきフィールドの位
置とサイズを定義している。 １．設定対象となるはしご枠の内部（複数の文字枠のう
ちの何れか一つの内部）をマウスでクリックする。この
場合、連続する文字枠の全てが定義され、はしご枠の一
部といった定義はできない。 ２．設定対象となるはしご枠（複数の連続する文字枠か
らなるはしご状のオブジェクト）の左上コーナーをマウ
スでクリックし、そのままドラッグして右下のコーナー
までもっていきマウスボタンを離す。この場合も、連続
する文字枠の全てが定義され、はしご枠の一部といった
定義はできない。 ３．設定対象となるはしご枠に含まれる何れか一つの文
字枠の内部をマウスでクリックし、そのままドラッグし
て、はしご枠に含まれる他の文字枠の内部までもってい
きマウスボタンを離す。この方式では、はしご枠の一部
を定義できる。

【０００５】この直線認識自体においても、スキャンし
た帳票が傾いて（スキューして）いたり、黒枠の線が細
い場合や、スキャナの感度やノイズが原因で枠線がかす
れた場合には、全ての黒い直線が正しく検出されないこ
ともある。この場合、印刷の薄い個所を鉛筆やスキャナ
に認識可能なペンで丁寧に上書きしたり、スキャナの感
度を調整したり、また、スキューが発生しないように帳
票を丁寧にセットし、再度スキャンしなければならない
という不都合が存在していた。さらに黒直線の検出が前
提であるので、ＯＣＲのスキャナが認識できない色彩で
印刷されているドロップアウトの帳票の枠に適用すると
なると、認識させたい文字枠の全てをスキャナで認識可
能なペンや鉛筆で上書きしなければならないという不都
合も存在していた。

【０００６】この従来の文字認識プログラムにおけるフ
ィールド定義方法は、フィールドの定義と直線の認識を
別々に行っており、スキャナーで取り込まれた帳票イメ
ージに存在する全ての黒い縦線と横線を、各図形（オブ
ジェクト）の認識の必要性の有無にかかわらず、自動検
出していたため、認識の必要の無い図形に関しては無駄
な図形認識処理が行われており、処理の高速化を妨げる
原因となっていた。また、この自動検出に際しては、ペ
ージマーク、位置補正マーク等の文字枠以外のオブジェ
クトと文字枠とを区別することができなかった。

【０００７】さらに、上述の第２番目の方法では、小さ
なディスプレイを使用した場合や、小さな文字枠に対す
る設定を行う場合には、ドラッグは誰にも簡単なオペレ
ーションではないため、オペレータのポイント＆ドラッ
グによって形成される長方形に設定しようとする文字枠
全部が入らなかったり、他の文字枠まで入ってしまう可
能性もあり、マウス・ポインタの操作にある程度の習熟
が必要となる場合もあった。このため、帳票の各フィー
ルドに対する属性設定時においても、もっとオペレータ
が容易にフィールドの指定ができ、高速に作業を行うこ
とのできる方式が望まれていた。

【０００８】この一方、従来の文字認識プログラムにお
いては、帳票の読み取り時の認識を高めるため、文字フ
ィールドの属性に関する情報を使用している。このフィ
ールドの属性に関する情報には、イメージカットのみか
認識実行かの判別や文字種の設定等の情報がある。ここ
で、「イメージカットのみ」とは、文字認識を行わず、
イメージを取得するのみのフィールドを意味する。これ
に対し「認識実行」とは、実際に文字認識を適用するフ
ィールドを意味する。また「文字種」には「手書き」か
「印字」かの選択や「大文字」か「小文字」かの選択
や、「記号」、「数字」、「カタカナ」、「ひらが
な」、「英字」、「漢字」の設定等の情報がある。

【０００９】このフィールドの属性を設定すると数字項
目中の数字の「０」を誤って英字の「Ｏ」と認識するこ
とを避けることができ、また、対比する集合が少なくな
るため、高速に認識を行うことができるというメリット
がある。特に手書き文字認識では、数字の「０」と英字
の「Ｏ」等判別が困難な文字も存在するため、これらの
情報は必須で、あらかじめ帳票の種類ごとに上記の定義
を行う必要がある。このような属性の定義と直線の検出
が一連の走査で行うことができれば、オペレータはスム
ーズかつ迅速に帳票の定義を行うことができる。

【００１０】なお、本願発明に関連する技術として、特
開平７−１６０８１１号公報、特開平７−２２５８０９
号公報、特開平７−５７０４９号公報が存在する、しか
し、特開平７−１６０８１１号公報は、表示された２値
画像情報をポインティングデバイスにより領域を選択
し、その領域を拡大または縮小することによって、修正
作業を行う技術に関し、特開平７−２２５８０９号公報
は、表示された文書に対し、指示手段で左上の１点を指
示することにより、読み取りを行うべき読み取り枠を生
成する技術に関し、特開平７−５７０４９号公報は、文
字領域、表領域、写真領域等の各領域の読み取りの順番
を、マウス等を使用して変更する技術に関するものであ
る。したがって、本願発明のような、入力されたビット
マップ・イメージに含まれる一部の矩形枠の位置情報を
高速かつ迅速に認識することはできなかった。

【００１１】

【発明が解決しようとする課題】本発明の目的は、簡単
なユーザーインターフェースでかつ高速である画像処理
システムを提供することにある。また、本発明の一態様
によれば、ＯＣＲ用の帳票定義に際し、スキャンの多少
の傾きや、不適切なスキャナの濃度（感度）設定や、ノ
イズによる黒枠を形成する線のかすれにも対応できる文
字認識処理システムを提供することにある。さらに、本
発明の他の一態様によれば、ページマーク、位置補正マ
ークも簡単に半自動定義可能であり、ドロップアウトの
帳票も簡単に定義できる文字認識処理システムを提供す
ることにある。

【００１２】

【課題を解決するための手段】黒枠を含む帳票のスキャ
ンしたイメージをディスプレイ上に表示し、認識フィー
ルドごとに左端の文字枠内をマウスでクリックし次に同
一フィールドの右端の文字枠内をクリックすることによ
り自動的にフィールドの指定を行う。このとき、フィー
ルド位置／サイズ決定プログラムはクリックされた２点
から左右上下にイメージを走査し黒枠内壁を検出し、さ
らに２つの文字枠間に長方形を設定してヒストグラムを
とり、フィールド内の文字枠数や文字枠間の黒線の太さ
等を自動検出する。また、ページマークや位置補正マー
クのある帳票では、マークの内部をマウスでクリックす
るだけで、近傍が黒であることとそのマークの高さから
何マークであるかなどが自動検出される。

【００１３】本発明の一態様においては、ビットマップ
・イメージの内の第１の入力点が特定されたことを認識
し、第１の入力点の近傍を第１の方向に通過する直線上
に存在し、特定の値を有する画素であって、第１の入力
点に対し対称方向に各々存在する第１の画素と第２の画
素に各々対応する第１の点と第２の点を探索することに
よって第１の点と第２の点の位置情報を導出する段階
と、第１の入力点の近傍を第１の方向とほぼ垂直の方向
である第二の方向に通過する直線上に存在し、特定の値
を有する画素であって、第１の入力点に対し対称方向に
各々存在する第３の画素と第４の画素に各々対応する第
３の点と第４の点を探索することによって第３の点と第
４の点の位置情報を導出する段階と、第１の点と、第２
の点と、第３の点と、第４の点の位置情報から矩形オブ
ジェクトの位置情報を導出する段階と、矩形オブジェク
トに関連付けられる属性情報の入力を受領する段階と、
入力された属性情報を矩形オブジェクトの位置情報と関
連付けて格納する段階とを含む入力されたビットマップ
・イメージに含まれる矩形オブジェクトの位置情報及び
属性情報を認識する方法が提供される。なお、ここでい
う「特定の値」とは、文字枠を構成すると判断される画
素の値のみならず、ページマークや位置補正マークの認
識における「地」を構成すると判断される画素の値等を
含む概念である。また、「第１の入力点の近傍」とは、
第１の入力点の入力された地点も含む概念である。

【００１４】本発明の他の一態様においては、ビットマ
ップ・イメージを矩形オブジェクトとともに、表示画面
上に表示する段階と、ポインティングデバイスによって
矩形オブジェクト上の第１の入力点が特定されたことを
認識する段階と、第１の入力点の近傍を第１の方向に通
過する直線上に存在し、特定の値を有する画素であって
第１の入力点に対し対称方向に各々存在する第１の画素
と第２の画素に各々対応する第１の点と第２の点を探索
することによって第１の点と第２の点の位置情報を導出
する段階と、第１の入力点の近傍を第１の方向とほぼ垂
直の方向である第二の方向に通過する直線上に存在し、
特定の値を有する画素であって、第１の入力点に対し対
称方向に各々存在する第３の画素と第４の画素に各々対
応する第３の点と第４の点を探索することによって第３
の点と第４の点の位置情報を導出する段階と、第１の点
と、第２の点と、第３の点と、第４の点の位置情報から
矩形オブジェクトの位置情報を導出する段階と、矩形オ
ブジェクトの位置情報に基づいて、表示画面に表示され
た矩形オブジェクトを識別可能に変更表示する段階とを
含む表示装置及び、表示装置の表示画面上の位置情報を
入力するためのポインティングデバイスを含む画像処理
システムにおいて、入力されたビットマップ・イメージ
に含まれる矩形オブジェクトの位置情報を認識する方法
が提供される。

【００１５】本発明の他の一態様においては、ビットマ
ップ・イメージ内の第１の入力点が特定されたことを認
識する段階と、第１の入力点の近傍を第１の方向に通過
する直線上に存在し、特定の値を有する画素であって、
第１の入力点に対し対称方向に各々存在する第１の画素
と第２の画素に各々対応する第１の点と第２の点を探索
することによって第１の点と第２の点の位置情報を導出
する段階と、第１の入力点の近傍を第１の方向とほぼ垂
直の方向である第二の方向に通過する直線上に存在し、
特定の値を有する画素であって、第１の入力点に対し対
称方向に各々存在する第３の画素と第４の画素に各々対
応する第３の点と第４の点を探索することによって第３
の点と第４の点の位置情報を導出する段階と、第１の点
と、第２の点と、第３の点と、第４の点の位置情報から
矩形オブジェクトの位置情報を導出する段階とを含む入
力されたビットマップ・イメージに含まれる矩形オブジ
ェクトの位置情報を認識する方法が提供される。

【００１６】本発明の他の一態様においては、ビットマ
ップ・イメージ内で第１の入力点が特定されたことを認
識する段階と、第１の入力点の近傍を第１の方向に通過
する直線上に存在し、特定の値を有する画素であって、
第１の入力点に対し対称方向に各々存在する第１の画素
と第２の画素に各々対応する第１の点と第２の点を探索
することによって第１の点と第２の点の位置情報を導出
する段階と、第１の入力点の近傍を第１の方向とほぼ垂
直の方向である第二の方向に通過する直線上に存在し、
特定の値を有する画素であって、第１の入力点に対し第
２の入力点と対称方向に存在する第３の画素に対応する
第３の点を探索することによって第３の点の位置情報を
導出する段階と、第２の入力点の近傍を通過し、第２の
方向にほぼ平行平行な直線上に存在し、特定の値を有す
る画素であって、第１の入力点と第２の入力点の間に位
置する第４の画素に対応する第４の点と、第２の方向に
ほぼ平行平行な直線上に存在し、特定の値を有する画素
であって、第２の入力点に対し第１の入力点の対称方向
に存在するする第５の画素に対応する第５の点を探索す
ることによって第４の点と第５の点の位置情報を導出す
る段階と、第１の点と、第２の点と、第３の点と、第４
の点と、第５の点の位置情報から複数の矩形オブジェク
トの位置情報を導出する段階と、複数の矩形オブジェク
トに関連付けられる属性情報の入力を受領する段階と、
入力された属性情報を複数の矩形オブジェクトと関連付
けて格納する段階とを含む入力されたビットマップ・イ
メージに含まれる複数の矩形オブジェクトの位置情報及
び属性情報をオペレータの入力した第１の入力点と第２
の入力点の情報に基づいて認識する方法が提供される。

【００１７】本発明の他の一態様においては、ビットマ
ップ・イメージ内で第１の入力点が特定されたことを認
識する段階と、第１の入力点の近傍を第１の方向に通過
する直線上に存在し、特定の値を有する画素であって、
第１の入力点に対し対称方向に各々存在する第１の画素
と第２の画素に各々対応する第１の点と第２の点を探索
することによって第１の点と第２の点の位置情報を導出
する段階と、第１の入力点の近傍を第１の方向とほぼ垂
直の方向である第二の方向に通過する直線上に存在し、
特定の値を有する画素であって、第１の入力点に対し第
２の入力点と対称方向に存在する第３の画素に対応する
第３の点を探索することによって第３の点の位置情報を
導出する段階と、オペレータに、複数の矩形オブジェク
トの認識する数を入力することを要求する表示を行う段
階と、オペレータから入力された、複数の矩形オブジェ
クトの認識する数を受領する段階と、第１の点と、第２
の点と、第３の点と、第４の点の位置情報と、複数の矩
形オブジェクトの認識する数の情報から複数の矩形オブ
ジェクトの位置情報を導出する段階とを含む入力された
ビットマップ・イメージに含まれる複数の矩形オブジェ
クトの位置情報をオペレータの入力した第１の入力点の
情報に基づいて認識する方法が提供される。

【００１８】本発明の他の一態様においては、ビットマ
ップ・イメージ内で第１の入力点が特定されたことを認
識する段階と、第１の入力点の近傍を第１の方向に通過
する直線上に存在し、特定の値を有する画素であって、
第１の入力点に対し対称方向に各々存在する第１の画素
と第２の画素に各々対応する第１の点と第２の点を探索
することによって第１の点と第２の点の位置情報を導出
する段階と、第１の入力点の近傍を第１の方向とほぼ垂
直の方向である第二の方向に通過する直線上に存在し、
特定の値を有する画素であって、第１の入力点に対し第
２の入力点と対称方向に存在する第３の画素に対応する
第３の点を探索することによって第３の点の位置情報を
導出する段階と、第２の入力点の近傍を通過し、第２の
方向にほぼ平行平行な直線上に存在し、特定の値を有す
る画素であって、第１の入力点と第２の入力点の間に位
置する第４の画素に対応する第４の点と、第２の方向に
ほぼ平行平行な直線上に存在し、特定の値を有する画素
であって、第２の入力点に対し第１の入力点の対称方向
に存在するする第５の画素に対応する第５の点を探索す
ることによって第４の点と第５の点の位置情報を導出す
る段階と、第１の点と、第２の点と、第３の点と、第４
の点と、第５の点の位置情報から複数の矩形オブジェク
トの位置情報を導出する段階とを含む入力されたビット
マップ・イメージに含まれる複数の矩形オブジェクトの
位置情報をオペレータの入力した第１の入力点と第２の
入力点の情報に基づいて認識する方法が提供される。

【００１９】本発明の他の一態様においては、ビットマ
ップの帳票イメージを保持する画像入力部と、ビットマ
ップの帳票イメージを表示画面上に表示すする画像表示
部と、ビットマップの帳票イメージ内の第１の入力点が
特定されたことを認識する入力部と、第１の入力点の近
傍を第１の方向に通過する直線上に存在し、特定の値を
有する画素であって、第１の入力点に対し対称方向に各
々存在する第１の画素と第２の画素に各々対応する第１
の点と第２の点を探索することによって第１の点と第２
の点の位置情報を導出し、第１の入力点の近傍を第１の
方向とほぼ垂直の方向である第二の方向に通過する直線
上に存在し、特定の値を有する画素であって、第１の入
力点に対し対称方向に各々存在する第３の画素と第４の
画素に各々対応する第３の点と第４の点を探索すること
によって第３の点と第４の点の位置情報を導出し、第１
の点と、第２の点と、第３の点と、第４の点の位置情報
から矩形オブジェクトの位置情報を導出する画像解析部
とを含む表示画面と、表示画面上の位置を指示するポイ
ンティングデバイスとを含み、ポインティングデバイス
によって入力された位置情報に基づいて、スキャナ装置
から入力されたビットマップの帳票イメージに含まれる
矩形オブジェクトの位置情報を認識する装置が提供され
る。

【００２０】本発明の他の一態様においては、ビットマ
ップ・イメージ内の第１の入力点が特定されたことを認
識することをコンピュータに指示するプログラムコード
手段と、第１の入力点の近傍を第１の方向に通過する直
線上に存在し、特定の値を有する画素であって、第１の
入力点に対し対称方向に各々存在する第１の画素と第２
の画素に各々対応する第１の点と第２の点を探索するこ
とによって第１の点と第２の点の位置情報を導出するこ
とをコンピュータに指示するプログラムコード手段と、
第１の入力点の近傍を第１の方向とほぼ垂直の方向であ
る第二の方向に通過する直線上に存在し、特定の値を有
する画素であって、第１の入力点に対し対称方向に各々
存在する第３の画素と第４の画素に各々対応する第３の
点と第４の点を探索することによって第３の点と第４の
点の位置情報を導出することをコンピュータに指示する
プログラムコード手段と、第１の点と、第２の点と、第
３の点と、第４の点の位置情報から矩形オブジェクトの
位置情報を導出することをコンピュータに指示するプロ
グラムコード手段とを含む、入力されたビットマップ・
イメージに含まれる矩形オブジェクトの位置情報を認識
するためのプログラムを格納するコンピュータによって
読み取り可能な記憶媒体が提供される。この「プログラ
ムコード手段」には、コンピュータが直接認識できるオ
ブジェクトコードのみならずソースコード等の何らかの
変換を加えた後、コンピュータが認識できる命令群等も
含む概念である。

【００２１】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図１を参照すると、本発明の画像処理システムを
実施するためのハードウェア構成の概観図が示されてい
る。画像処理システム１００は、中央処理装置（ＣＰ
Ｕ）１とメモリ４とを含んでいる。ＣＰＵ１とメモリ４
は、バス２を介して、補助記憶装置としてのハードディ
スク装置１３とを接続してある。フロッピーディスク装
置（またはＭＯ、ＣＤ−ＲＯＭ等の媒体駆動装置）２０
はフロッピーディスクコントローラ１９を介してバス２
へ接続されている。

【００２２】フロッピーディスク装置（またはＭＯ、Ｃ
Ｄ−ＲＯＭ等の媒体駆動装置）２０には、フロッピーデ
ィスク２４（またはＭＯ、ＣＤ−ＲＯＭ等の媒体）が挿
入され、このフロッピーディスク等やハードディスク装
置１３、ＲＯＭ１４には、オペレーティングシステムと
協働してＣＰＵ等に命令を与え、本発明を実施するため
のコンピュータ・プログラムのコードを記録することが
でき、メモリ４にロードされることによって実行され
る。このコンピュータ・プログラムのコードは圧縮し、
または、複数に分割して、複数の媒体にまたがって記録
することもできる。

【００２３】画像処理システム１００は更に、ユーザ・
インターフェース・ハードウェアを備えたシステムとす
ることができ、ユーザ・インターフェース・ハードウェ
アとしては、例えば、画面位置情報を入力をするための
ポインティング・デバイス（マウス、ジョイスティッ
ク、トラックボール等）７またはキーボード６や、画像
データをユーザに提示するためのディスプレイ１２があ
る。また、スピーカ２３は、オーディオ・コントローラ
２１から音声信号を、アンプ２２を介して受領し、音声
として出力する。

【００２４】本発明の画像処理システム１００の入力と
なる画像データは、好適にはスキャナ２６によって作成
され、パラレルポート２５を介して本画像処理システム
１００に入力される。ただし、スキャナ２６によって作
成された画像データは、パラレルポート２５ではなくＳ
ＣＳＩインターフェースや他のインターフェースを介し
て本画像処理システム１００に入力されてもよい。ま
た、シリアルポート１５およびモデムまたは、トークン
リングや通信アダプタ１８等を介して他のコンピュータ
等と通信を行い、画像データを受領することや、フロッ
ピーディスク装置等の他の入力手段からも可能である。

【００２５】このように、本発明は、通常のパーソナル
コンピュータ（ＰＣ）やワークステーションやＯＣＲ、
又はこれらの組合せによって実施可能であることを容易
に理解できるであろう。ただし、これらの構成要素は例
示であり、その全ての構成成要素が本発明の必須の構成
要素となるわけではない。特に、本発明は、オペレータ
を視覚的にサポートするものであるため、シリアルポー
ト１５、通信アダプタカード１８、オーディオ・コント
ローラ２１、アンプ２２、スピーカ２３等の構成要素は
必須ではない。

【００２６】オペレーティング・システムとしては、Ｗ
ｉｎｄｏｗｓ（マイクロソフトの商標）、ＯＳ／２（Ｉ
ＢＭの商標）、ＡＩＸ（ＩＢＭの商標）上のＸ−ＷＩＮ
ＤＯＷシステム（ＭＩＴの商標）などの、標準でＧＵＩ
マルチウインドウ環境をサポートするものが望ましい
が、特定のオペレーティング・システム環境に限定され
るものではない。

【００２７】また、図１は、スタンド・アロン環境のシ
ステムを示しているが、クライアント／サーバ・システ
ムとして本発明を実現し、クライアント・マシンは、サ
ーバ・マシンに対して、イーサネット、トークン・リン
グなどでＬＡＮ接続し、クライアント・マシン側には、
後述するユーザ入力部と、画像表示部と、画像入力部の
みを配置し、その他の機能をサーバ・マシン側に配置し
てもよい。このように、サーバ・マシン側とクライアン
ト・マシン側にどのような機能を配置するかは設計に際
し自由に変更できる事項であり、複数のマシンを組合
せ、それらにどのような機能を配分し、実施するか等の
種々の変更は本発明の思想に包含される概念である。

【００２８】Ｂ．システム構成 次に、図２のブロック図を参照して、本発明のシステム
構成について説明する。本発明の好適な実施例において
は、画像処理システム１００は、ユーザ入力部１０１、
制御部１０３、画像解析部１０５、画像表示部１０７、
属性情報入力制御部１０９、画像入力部１１１、及び、
フィールド位置／属性情報格納部１１３によって構成さ
れる。

【００２９】このユーザ入力部１０１は、処理の開始・
終了の命令の入力や、ポインティングデバイスを使用し
た画面上の座標値の入力、属性情報の入力をユーザより
受領し、制御部１０３へ伝達する機能を有する。画像入
力部１１１は、スキャナ等から入力された帳票の画像情
報を保持し、その画像情報を制御部１０３に伝達する。
画像解析部１０５は、画像入力部１１１で保持された画
像情報を解析し、座標値等を導出し、制御部１０３に返
す。画像表示部１０７は、画像入力部の保持する帳票の
画像情報や、フィールド位置／属性情報格納部１１３に
格納された、フィールドの位置情報や、属性情報を表示
画面上に表示する。属性情報制御部１０９は、フィール
ド位置／属性情報格納部１１３に格納された属性情報を
表示するための変換、加工等を行う。以上説明した各機
能ブロックの詳しい機能については後に詳述する。

【００３０】以上図２に示す各機能ブロックを説明した
が、これらの機能ブロックは、論理的機能ブロックであ
り、各々１つのまとまりを持ったハードウエアやソフト
ウエアによって実現されることを意味するのではなく、
複合し、または共通したハードウエアやソフトウエアに
よって実現可能である。

【００３１】次に、本発明の好適な実施例において、ど
のようにデータの受渡しが行われているかを説明する。

【００３２】図３は、スキャナで入力された帳票のイメ
ージデータである。入力された画像データは、画像入力
部１１１に一時的に保持され、制御部１０３を介して、
画像表示部１０７に送られる。画像表示部１０７は、表
示装置１１にこのデータを画像として表示する。本発明
の好適な実施例においては、表示装置１１に表示された
この画像情報に、オペレータが操作をする形式で実施さ
れる。この画像データは、図４に示すような実際に各フ
ィールドに記入された帳票が入力された場合、どのよう
な位置に、どのようなサイズで、どのような属性の文字
や記号が入力され、どのような方法で認識を行うのかを
決定するために、設計段階で入力されるものである。

【００３３】図５は、本発明の好適な実施例における処
理手順を示すフローチャートである。まず、処理はブロ
ック４０１において開始される。この状態において、ス
キャナで入力された帳票のイメージデータが、表示装置
１１に表示されている。本発明の好適な実施例における
画像処理システム１００は、オペレータ入力を検出する
まで待機する。

【００３４】オペレータが表示装置１１の表示画面上の
位置を指示するため、ポインティングデバイスを使用し
て、画像処理システムに位置情報を入力する。本発明の
好適な実施例においては、オペレータは、マウスの左ボ
タンをクリックすることによって、位置情報を入力す
る。このマウスによる位置情報の入力は、トラックボー
ルやタッチパネル、スタイラスペン、ジョイスティック
等の他のポインティングデバイスで代替可能である。ま
た、左ボタンのシングル・クリックだけではなく、右ボ
タンを使用したり、ダブルクリック等システムに認識可
能なイベントを発生させるもので代替可能である。

【００３５】このユーザによる位置情報を検出すると、
画像処理システム１００は、入力された位置情報の座標
値に対応する位置にある、画像入力部１１１に保持され
ている画像データの画素及びその近傍に位置する画素の
値を検査する（ブロック４０３）。本発明の好適な実施
例においては、スキャナから入力され、画像入力部１１
１で保持されている画像データは、２値のビットマップ
形式であり、画素の値が１であれば黒、０であれば白を
示している。ただし、本発明は２値の画像データのみを
処理することに限定される技術ではなく、例えば、各画
素が複数ビットによって構成されるカラーデータのビッ
トマップ・イメージにも適用可能であり、かかる場合、
画素の値が一定の範囲の値を示す場合には、枠またはペ
ージマーク等を構成する画素と認識し、その他の場合に
は枠等を構成しない「地」の部分を構成する画素である
と認識することも可能である。

【００３６】オペレータの入力した座標値に対応する画
素のみではなく、その近傍に位置する画素の値をも検査
するのは、図３に示した入力された画像データにノイズ
が乗っている可能性があるためである。このノイズは、
スキャナによって入力する際に付着した塵や埃等のさま
ざまな原因によって生ずる可能性がある。このため、オ
ペレータの入力した座標値に対応する画素のみではな
く、その近傍に位置する画素（例えば、座標値に対応す
る画素を囲む８つの画素）の値をも検査した方が誤った
認識を行う可能性が低下する。かかる場合、例えば、９
つの画素の内７以上が「黒」であった場合に、オペレー
タが「黒」の場所をクリックしたと判断し、７以上が
「白」であった場合に、「白」の場所をクリックしたと
判断することができる。また、このいずれにも該当しな
い場合はには、入力エラーとして処理し、オペレータに
再度の入力を促すことも可能である。ただし、入力点に
加えその近傍に存在する画素をも検査することは本発明
を実施するための必須の条件とはならない。ノイズの影
響による誤認識の危険性は高まるが、入力点またはその
近傍に位置する少なくとも１つの画素を検査すれば本発
明は実施可能である。

【００３７】ブロック４０３で、「白」がクリックされ
たと判断された場合は、画像処理装置１００は、左端の
文字枠がクリックされたと判断し、ブロック４０５にお
いて、左端の文字枠の検出処理を行う。図６は、この左
端の文字枠の検出処理を詳細に説明するための図であ
る。本発明の好適な実施例においては、ブロック４０２
で検出された座標値に対応する点（画像入力部で保持さ
れている画像データとポインティングデバイスで入力で
きる解像度が異なる場合には、ポインティングデバイス
で入力された座標値に最も近い画素がこれに対応する点
として選択される）を基準として、上下左右に走査し、
黒に出会い白に変化する点を細い長方形のヒストグラム
で検出する。

【００３８】この文字枠５００の大きさは、現在市場に
流通しているＯＣＲの一つを一例に挙げると、このＯＣ
Ｒでは、横幅３．９ｍｍ〜９．０ｍｍ、高さ５．０ｍｍ
〜９．０ｍｍ、線幅０．４ｍｍ〜０．８ｍｍで設計され
るように規格化されており、ヒストグラムのための長方
形の大きさは、横方向の長方形、縦方向の長方形共に長
さ１９．６ｍｍ（最大横幅又は最大高さ９．０ｍｍと最
大線幅０．８ｍｍを加算した値の２倍）よりも多少大き
めに設定することが好ましい。

【００３９】長方形の幅（短辺）は、広過ぎると枠のす
ぐ近くをクリックされた場合、長方形の中に枠を構成す
る画素を拾ってしまう可能性があり、また、狭過ぎる
と、ノイズの影響が相対的に大きくなるという問題があ
る。本発明の好適な実施例においては、長方形の幅は、
１〜２ｍｍ程度に設定されている。

【００４０】本発明の好適な実施例においては、クリッ
クされた点（第１の入力点）を中心とした長方形を上下
左右に走査して、ヒストグラムを作成する。横方向のヒ
ストグラム５５１を参照すると、長方形の幅方向全域に
わたって「黒」が検出された５３５、５４５や、ノイズ
によって一部「黒」を「白」と判別した５３３、５４３
や、白と黒の境界部分であるために、「白」か「黒」か
が不明な部分５３１、５３７、５４１、５４７等が存在
する。これらのノイズは、前述した塵や埃の他、帳票の
スキューやスキャナの性能、濃度の誤った設定等が影響
する。本発明の好適な実施例においては、これらのノイ
ズを除去するために、閾値を設け、例えば、長方形の幅
の９割を「黒」と検出した場合、文字枠を構成する画素
であると判断している。

【００４１】このような走査によって、文字枠の内側及
び外側の矩形の各辺のｘ座標、または、ｙ座標を得るこ
とができ、文字枠を構成する２つの矩形オブジェクト
（文字枠の内側を構成する矩形と外側を構成する矩形）
の位置情報を得ることができる。また、上下左右の各方
向における枠の太さの情報も得ることができる。これら
の座標値は、白（又は黒）から黒（又は白）に変化した
点に対応する座標値であっても、白（又は黒）から黒
（又は白）に変化するときの最も入力点から離れた白
（又は黒）の点に対応する座標値であってもよい。本発
明の好適な実施例においては、内側の矩形オブジェクト
に対して左右方向の走査によって得られた２つのｘ座標
値（図６の参照番号５３５と５４３を検出したｘ座標
値：ｘ５３５、ｘ５４３）から矩形オブジェクトの幅
を、上下方向の走査によって得られた２つのｙ座標値
（図６の参照番号５６５と５７３を検出したｙ座標値：
ｙ５６５、ｙ５７３）から矩形オブジェクトの高さ計算
し、また、ｘ５３５とｙ５６５から矩形オブジェクトを
定義する開始点５２１を計算し、これらの値を保持する
ことによって矩形オブジェクトを定義している。外側の
矩形オブジェクトについては、枠の太さを保持すること
によって定義している。

【００４２】ただし、矩形オブジェクトを定義する方法
は種々存在し、例えば、矩形の４つの頂点のいずれを開
始点として定義してもよく、また、高さ、幅の何れか一
方と２つの頂点のｘ座標またはｙ座標によって定義する
方法や、対角線上にある２つの頂点の座標値を保持する
こと等によっても矩形オブジェクトを定義することが可
能であり、これらは全て本発明の思想に包含される概念
である。また、座標値の単位も、ｍｍ等の単位だけでは
なく、入力されたビットマップイメージの何ドット目と
いった単位でもよい。

【００４３】なお、文字枠の検出に際して、文字枠の大
きさが小さい場合、隣接する文字枠の画素を拾ってしま
う可能性があるが、かかる場合、クリックされた点と最
も近い点を判別したり、文字枠の幅や高さが閾値以下で
検出された場合は、「白」と判別された何れかの点に、
入力点をシフトして再度スキャンを行ったり、閾値以下
の太さの文字枠を排除したり、また、入力エラーとして
オペレータに再度の入力を促すことも可能である。

【００４４】また、前述の一定の幅をスキャンする方法
は、長方形の細い幅より少し小さめ（８割〜９割程度）
に閾値を設定することによりノイズの影響を除去するた
めであり、ノイズの影響を受ける可能性はあるが、直線
上に存在する画素を走査することによっても本発明を実
施することはできる。

【００４５】この文字枠の定義情報は、画像解析部１０
６から制御部１０３に返され、フィールド位置／属性情
報格納部１１３に格納される。本発明の好適な実施例に
おいては、この格納処理は、ブロック４１９の終了処理
として実行される。図７は、フィールド位置／属性情報
格納部１１３に格納されたフィールド位置情報の一実施
例である。図に示すフィールド位置情報レコード７００
に含まれる連番７０１は、オペレータが定義した順番に
制御部１０３が自動的に付ける番号である。この例で
は、開始点ｘ座標７０３、開始点ｙ座標７０５、幅７０
７、高さ７０９、枠の太さ７１１は、夫々０．１ｍｍ単
位で格納されている。なお、矩形枠のサイズが常に固定
されているシステムにおいては、この幅７０７、高さ７
０９、枠の太さ７１１は、特に管理する必要はない。

【００４６】再び、図５を参照すると、本発明の好適な
実施例においては、この左端の文字枠検出処理（ブロッ
ク４０５）が終了した後、オペレータが定義を欲するフ
ィールドの最右端の枠のクリックを待機する（ブロック
４０７）。次のクリックがされた点が左端の文字枠のエ
リア内に有る場合は、文字枠数が１であると判断し、図
７に示すフィールド位置情報レコード７００の文字枠の
数７１３のエリアに００１を格納する。

【００４７】クリックがされた点が左端の文字枠のエリ
ア内にない場合は、左端の文字枠と同様の走査を行い右
端の文字枠を検出する（ブロック４０９）。ただし、右
端の文字枠の検出を行った後、左右の文字枠がほぼ同一
の場合は一文字枠とみなすこともできる。ただし、右端
の文字枠の検出を行う処理は、帳票イメージのスキュー
を検出したり、左右だけでなく、上下方向に存在する複
数の文字枠を１回の定義で１つのフィールドと認識する
ために必要な処理であり、これらの処理を行わないので
あれば、ｙ座標を左端の文字枠と同じとみなして処理を
行い、また、ｘ座標については、後に説明する第１の入
力点（左端の文字枠でオペレータがクリックした点）か
ら第２の入力点（右端の文字枠でオペレータがクリック
した点）にわたるヒストグラムで検出したり、単に右端
の文字枠について第２の入力点から右側に走査して右方
向の枠を検出したり、また、オペレータに枠数を数えさ
せ、入力を促すことによって、枠数の情報を得ることが
できる。

【００４８】なお、スキャンした帳票にスキューがあっ
たと判断された場合、左端の枠のｘ座標とｙ座標、及び
右端の枠のｘ座標とｙ座標からスキューした角度を計算
できるため、各フィールドを補正し、完全な水平線と垂
直線から構成されるものとして定義登録することができ
る。認識実行時には実際に検出された水平線（ほぼ水平
線）が定義上の理想の水平線とマッチングされフィール
ドが特定される。

【００４９】図８は、文字枠の数を検出するために左右
端の文字枠間に渡った走査を行う処理を説明するための
図である。図８においては、長方形をフィールドの外枠
より長辺が広めで短辺が小さめに設定しその垂直の射影
によるヒストグラムをとっている。ヒストグラムの作成
と評価は、左端の文字枠において説明した処理と同様に
行われる。ただし、左端の文字枠のｘ座標値はすでに入
手しているので、左から２番目の文字枠の右側の枠から
検出できるように走査してもよい。また、左端の文字枠
の幅の値が既に判っているため、第２の入力点の右側の
走査は、第２の入力点から枠の幅に相当する長さを走査
すればよい。これにより文字枠間の分離線の数と幅が検
出でき文字数も決定される。この導出された文字枠の幅
や枠の太さから平均をとり、左端の文字枠で導出された
値を補正してもよい。さらに、このヒストグラム作成用
長方形の高さは、第１の入力点のｙ座標値、第２の入力
点のｙ座標値、第１の入力点と第２の入力点のｙ座標値
の平均、または左端の文字枠の平均高さを基準としても
よく、また、第１の入力点と第２の入力点を結んだ直線
を基準としてもよい。

【００５０】本発明の好適な実施例においては、この複
数の文字枠にわたるヒストグラムにおいて、文字枠の１
つでも閾値（左端の文字枠の幅を基準として１０％程度
の幅で設定される）の範囲に入らない場合にはカウント
不能フィールドと判断される（ブロック４１３）。この
ように判断が行われた場合、画像処理システム１００
は、オペレータに対し、表示画面上に文字枠数の入力を
促すための表示及び入力のためのエントリを表示する
（ブロック４１５）。

【００５１】この処理は、特にドロップアウトの帳票の
定義を行う際に便利である。ドロップアウトの帳票の場
合、オペレータは、あらかじめ各フィールドの左と右端
の文字枠を黒く塗っておく（右端の文字枠は右側だけで
もよい）ことにより同様の処理でフィールドの位置とサ
イズが定義できる。このとき文字枠数をオペレータが入
力すれば個別文字枠（各文字枠同士が分離している形式
の文字枠）の場合でも文字枠間ギャップを計算できる。

【００５２】従来技術で説明した全ての黒い縦線と横線
を自動検出して文字枠を検出する方法では、認識させた
い文字枠の全てをスキャナで認識可能なペンや鉛筆で上
書きしなければならなかったが、これに比べ、オペレー
タの作業も格段に軽減されることとなる。

【００５３】以上説明した処理によって、図７に示す全
ての項目の情報が得られ、フィールドの位置及びサイズ
特定するに十分な情報を得たことになる。このフィール
ドの位置及びサイズ情報が確定すると、本発明の好適な
実施例においては、そのフィールドが特定されたことを
示すように文字枠の色（例えば赤や黄色）を変化させ
る。なお、文字枠の色の変化ではなく、輝度の変更やブ
リンク表示する、文字枠内部の色を変化させる、さらに
カラーの枠をかぶせる等その枠が認識されたことをオペ
レータに認識されるためのフィールドの変更表示がされ
る。

【００５４】その後、本発明の好適な実施例において
は、図１０に示すような、その特定されたフィールドに
関連付けられる属性入力ウインドウ９３０が表示され
る。図１０においては、ウインドウ９１０の帳票イメー
ジの一番上に位置する数字フィールドが選択され、青い
色の枠が黒の枠に被さるように表示されている。

【００５５】各入力エントリ９３１乃至９８９にはデフ
ォルトの値がセットされており、また位置及びサイズ情
報９４１〜９４７には、前述された処理によって導出さ
れた枠の位置及びサイズ情報が表示されている。この数
値はユーザ入力によって変更可能であり、その変更入力
された値から前述の青の文字枠を調整してウインドウ９
１０に表示させることもできる。また、ウインドウ９１
０に表示されている青の文字枠をポインティングデバイ
スでドラッグすることによって位置及びサイズ情報９４
１〜９４７を変更させることができる。

【００５６】ここで、ウインドウ９３０に示す各属性を
説明すると、文字認識フィールド９３１とイメージフィ
ールド９３３は、文字認識を行わず、イメージを取得す
るのみのフィールドか、実際に文字認識を適用するフィ
ールドかを選択することができる。

【００５７】フィールド名９３５はこの特定されたフィ
ールドに付けられる名称である。目視チェックの指定９
３７は、ＯＣＲで文字認識処理中に、認識された文字を
ＯＣＲの表示画面に出力するか否かの判断を行うための
項目である。選択されるフォントには、手書き、スタン
プ、プリントの３種類があり、この属性により、文字認
識の方法を変更し認識率を向上させることができる。

【００５８】文字種類９６１〜９７３は、そのフィール
ドに入力される可能性のある文字を示すものである。認
識レベル９８１〜９８５は、誤って認識された可能性の
高い文字をとりあえず結果として扱うか、エラーとして
排除するかを選択することができる。また、出力コード
は、認識結果の出力時にＤＢＣＳで出力するか、ＳＢＣ
Ｓで出力するかを選択するためのエントリである。

【００５９】ただし、ここに表示した属性情報は、単な
る例示であり、例えば、知識処理の必要の有無等も含む
ことが可能であり、かかる場合、住所のフィールド中、
数字と数字に挟まれた「−」は、長音（ー）や漢字の１
（一）ではなく、ハイフン（−）であるとすることがで
きる。このような特定のフィールドに関連付けられる種
々の情報は、本願特許請求の範囲に記載した「属性情
報」の範疇に包含されるものである。

【００６０】これらの属性情報が入力、又は変更され、
ＯＫボタンがクリックされると、図９に示す属性情報レ
コード８００が作成され、位置情報／属性情報格納部１
１３に格納される。本発明の好適な実施例において、属
性レコードは、フィールド位置情報レコード７００に対
応した連番８０１が付けられいる。項目８０３乃至８２
１は、図１０のウインドウ９３０に示した属性に対応す
る値である。ただし、両レコードを１レコードとして作
成すれば、連番は必要なく、各属性情報がフィールドの
位置情報に関連付けられていれば、どのような形式で格
納しても本発明を実施できる。

【００６１】次に、本願の好適な実施例の１つである、
ページマーク、位置補正マーク等の他の矩形オブジェク
トの認識方法について説明する。再び図５を参照する
と、ブロック４０３において、周囲が「白」でないと判
断された場合、画像認識システム１００は、オペレータ
によって、ページマークまたは位置補正マークがクリッ
クされたと判断する。前述のように、一定の条件の場合
には、入力エラーとして処理し、オペレータに再度の入
力を促すことも可能である。

【００６２】そして、枠の検出と同様に、クリックした
点から左右上下に走査し、位置情報に加え黒い長方形の
高さ幅を検出する。ページマーク２０１、２０３の大き
さは、現在市場に流通しているＯＣＲ用帳票を一例に挙
げると、その帳票では、横幅６．０ｍｍ〜１０．０ｍ
ｍ、高さ１．０ｍｍ〜６．０ｍｍで設計されるように規
格化されている。したがって、ヒストグラム作成用の長
方形の大きさは、横方向の長方形は長さ２０．０ｍｍ
（最大横幅１０．０ｍｍの２倍）、縦方向の長方形は長
さ１２．０ｍｍ（最大高さ６．０ｍｍの２倍）よりもや
や大きめに設定することが好ましい。ここで、少し大き
めに設定するのは、たとえ６．０ｍｍの枠であっても、
スキャナの設定等の影響で、６．０ｍｍ以上の大きさで
入力される可能性もあり、かかる場合にも対応可能にす
るためである。このページマークは、帳票の上端から４
０．０ｍｍ以内に存在し、この領域には位置補正マーク
が存在しないことから、オペレータのクリックした点の
ｙ座標値から両者を判別することができる。

【００６３】この一方、位置補正マーク２１１〜２１
７、２２１〜２２７の大きさは、前述のＯＣＲ用帳票に
おいて、横幅（図の水平方向）３．０ｍｍ〜１０．０ｍ
ｍ、高さ１．０ｍｍで設計されるように規格化されてい
るので、長方形の大きさは、横方向の長方形は長さ２
０．０ｍｍ（最大横幅１０．０ｍｍの倍）、縦方向の長
方形は長さ２．０ｍｍ（最大高さ１．０ｍｍの倍）より
も多少大きめであることが好ましい。

【００６４】本発明の好適な実施例においては、ページ
マークや位置補正マークの場合も、文字枠の場合と同様
に、クリックされた点（第１の入力点）を中心とした長
方形を上下左右に走査して、ヒストグラムを作成する。
ページマークや位置補正マークの場合も、本発明の好適
な実施例においては、ノイズを除去するために、閾値を
設け、例えば、長方形の幅の９割を「白」と検出した場
合、地を構成する画素であると判断している。このよう
な走査によって、ページマークや位置補正マークの各辺
（最も外側の画素またはページマークや位置補正マーク
に隣接する最初に「地」の画素と判断された位置）のｘ
座標、ｙ座標を得ることができ、ページマークや位置補
正マークを構成する矩形オブジェクトの位置情報を得る
ことができる。

【００６５】なお、位置補正マークは、高さ１．０ｍｍ
程度とオペレータにとって正確にクリックすることが難
しい。このため、本発明の好適な実施例の一態様におい
ては、図５のブロック４０５の左端の文字枠の検出で文
字枠の検出に失敗した場合、位置補正マークの検出の処
理（ブロック４２７）を行う。この場合において、前述
の縦方向のヒストグラム作成用長方形は長さ２．０ｍｍ
ではなく、６．０ｍｍ（オペレータの入力誤差を２．０
ｍｍと考えた場合）よりも多少大きめに設定する。そし
て、約０．９ｍｍ以上の高さ（高さ１．０ｍｍの約９０
％）を持つ黒点の塊を位置補正マークとして認識する。

【００６６】そして、このページマークの検出に失敗し
た場合、および、位置補正マークの検出に失敗した場合
には、オペレータに対して入力エラーを示す表示または
音声を出力し、再度の入力を促す。

【００６７】本発明の好適な実施例においては、矩形オ
ブジェクトに対して左右方向の走査によって得られた２
つのｘ座標値から矩形オブジェクトの幅を、上下方向の
走査によって得られた２つのｙ座標値から矩形オブジェ
クトの高さ計算し、また、文字枠の場合と同様に開始点
の座標を計算し、これらの値を保持することによって矩
形オブジェクトを定義している。

【００６８】ただし、矩形オブジェクトを定義する方法
は種々存在し、例えば、矩形の４つの頂点のいずれを開
始点として定義してもよく、また、高さ、幅をの何れか
一方と２つの頂点のｘ座標またはｙ座標をによって定義
する方法や、４つの頂点の座標値を保持すること等によ
っても矩形オブジェクトを定義することが可能であり、
これらは全て本発明の思想に包含される概念である。

【００６９】また、前述の一定の幅をスキャンする方法
は、長方形の細い幅より少し小さめ（８割〜９割程度）
に閾値を設定することによりノイズの影響を除去するた
めであり、ノイズの影響を受ける可能性はあるが、直線
上に存在する画素を走査することによっても本発明を実
施することはできる。この定義情報は、画像解析部１０
６から制御部１０３に返され、ページマークか位置補正
マークかの種類とともに、フィールド位置／属性情報格
納部１１３に格納される。

【００７０】ドロップアウト帳票の場合ページマークや
位置補正マークの存在が望ましく（帳票のエッジがスキ
ャナーにより検出できる場合はこれを使用することによ
りマークは無くてもよい）、それらは上記の方法で検出
定義される。また、図８に示した複数枠の検出方法と同
様の手法を用いることにより（複数の位置補正マークを
縦方向にスキャンし、ヒストグラムを作成する）、３個
以上の位置補正マークが等間隔で帳票の片側にある場
合、一番上と下の位置補正マークをクリックすることに
より全てのマークを定義することができる。

【００７１】また、上述の文字枠の検出に先立って、ペ
ージマークの検出を行い、帳票イメージ全体のスキュー
を計算しておき、入力された画像データをスキューを補
正する変換をかけることも可能であり、かかる処理を行
うことにより、右枠のｙ座標を左枠のｙ座標と同じ値を
セットすることにより、処理の高速化を図ることもでき
る。さらに、この計算されたスキューの値に基づいて補
正した方向で、第１の方向（入力された帳票イメージの
ほぼ垂直方向または、ほぼ水平方向）のスキャンと第２
の方向（入力された帳票イメージのほぼ水平方向また
は、ほぼ垂直方向）のスキャンを行ってもよい。

【００７２】

【発明の効果】以上説明したように、本発明によれば、
文字枠、ページマーク、位置補正マーク等の矩形オブジ
ェクトをマウスのクリックのみで自動的に決定すること
ができる。また、本発明によれば、簡単なユーザーイン
ターフェースでかつ高速である画像処理システムを提供
することができる。さらに、本発明の一態様によれば、
ＯＣＲ用の帳票定義に際し、スキャンの多少の傾きや、
不適切な濃度調整、ノイズによる黒枠のかすれにも対応
できる文字認識処理システムを提供することができる。
そして、本発明の他の一態様によれば、ページマーク、
位置補正マークも簡単に半自動定義可能であり、ドロッ
プアウトの帳票も簡単に定義できる文字認識処理システ
ムを提供することができる。

【００７３】

【図面の簡単な説明】

【図１】 ハードウェア構成を示すブロック図である。

【図２】 処理要素のブロック図である。

【図３】 スキャナで入力された帳票のイメージを示し
た図である。

【図４】 実際に各フィールドに記入された帳票が入力
された場合の、帳票のイメージを示した図である。

【図５】 本発明の好適な実施例における処理手順を示
すフローチャートである。

【図６】 単一の文字枠の検出処理手順を示す図であ
る。

【図７】 フィールド位置情報の一実施例を示す図であ
る。

【図８】 複数の文字枠に渡った走査を行う処理の処理
手順を示す図である。

【図９】 属性情報の一実施例を示す図である。

【図１０】 本発明のユーザインターフェースの一実施
例を示す図である。

【００７４】

【符号の説明】

１００ 画像処理システム １０１ ユーザ入力部 １０３ 制御部 １０５ 画像解析部 １０７ 画像表示部 １０９ 属性情報入力制御部 １１１ 画像入力部 １１３ 枠情報・属性情報格納部 ２００ ＯＣＲ帳票イメージ ２０１、２０３ ページ・マーク ２１１〜２２７ 位置補正マーク（タイミング・マーク
／リファレンス・マーク）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 有馬 俊道 神奈川県大和市下鶴間1623番地14 日本 アイ・ビー・エム株式会社 大和事業所 内 (56)参考文献 特開 昭63−37487（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/20 G06T 7/00 - 7/60

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】入力されたビットマップ・イメージに含ま
   れる複数の文字枠オブジェクトの位置情報をオペレータ
   の入力した第１の入力点と第２の入力点の情報に基づい
   て認識する方法であって、 （ａ）前記ビットマップ・イメージ内で前記第１の入力
   点が特定されたことを認識する段階と、 （ｂ）前記第１の入力点の近傍を上下方向に通過する直
   線上に存在し、前記第１の入力点から見て白から黒に変
   化する場所に対応する画素であって、前記第１の入力点
   の上方向に存在する第１の画素と下方向に存在する第２
   の画素に各々対応する第１の点と第２の点と、前記第１
   の入力点の近傍を上下方向に通過する直線上に存在し、
   前記第１の入力点から見て黒から白に変化する場所に対
   応する画素であって、前記第１の入力点の上方向に存在
   する第３の画素と下方向に存在する第４の画素に各々対
   応する第３の点と第４の点を探索することによって前記
   第１乃至第４の点の位置情報を導出する段階と、 （ｃ）前記第１の入力点の近傍を左右方向に通過する直
   線上に存在し、前記第１の入力点から見て白から黒に変
   化する場所に対応する画素であって、前記第１の入力点
   の左方向に存在する第５の画素と右方向に存在する第６
   の画素に各々対応する第５の点と第６の点と、前記第１
   の入力点の近傍を左右方向に通過する直線上に存在し、
   前記第１の入力点から見て黒から白に変化する場所に対
   応する画素であって、前記第１の入力点の左方向に存在
   する第７の画素と右方向に存在する第８の画素に各々対
   応する第７の点と第８の点を探索することによって前記
   第５乃至第８の点の位置情報を導出する段階と、 （ｄ）前記第１の入力点または第２の入力点の近傍を通
   過する左右方向の直線上に存在し、前記第１の入力点か
   ら見て白から黒に変化する場所に対応する画素であっ
   て、前記第１の入力点と前記第２の入力点の間に位置す
   る第９の画素に対応する第９の点と、前記第１の入力点
   または第２の入力点の近傍を通過する左右方向の直線上
   に存在し、前記第２の入力点から見て黒から白に変化す
   る場所に対応する画素であって、前記第２の入力点の右
   方向に存在するする第１０の画素に対応する第１０の点
   を探索することによって前記第９の点と前記第１０の点
   の位置情報を導出する段階と、 （ｅ）前記第１乃至第１０の点の位置情報から前記複数
   の文字枠オブジェクトの位置情報及び文字枠の太さの情
   報を導出する段階と、 を含む認識方法。
2. 【請求項２】（ｆ）前記第１の入力点の近傍に対応する
   画素群に黒に対応する画素が何個あるかを検査する段階
   と、 （ｇ）検査の結果、前記画素群の中に黒に対応する画素
   が所定の値よりも大きいとき判断されたときは、前記第
   １の入力点の近傍を上下方向に通過する直線上に存在
   し、前記第１の入力点から見て黒から白に変化する場所
   に対応する画素であって、前記第１の入力点の上方向に
   存在する第１１の画素と下方向に存在する第１２の画素
   に各々対応する第１１の点と第１２の点を探索すること
   によって前記第１１及び第１２の点の位置情報を導出す
   る段階と、 （ｈ）前記第１の入力点の近傍を左右方向に通過する直
   線上に存在し、前記第１の入力点から見て黒から白変化
   する場所に対応する画素であって、前記第１の入力点の
   左方向に存在する第１３の画素と右方向に存在する第１
   ４の画素に各々対応する第１３の点と第１４の点を探索
   することによって前記第１３及び第１４の点の位置情報
   を導出する段階と、 （ｉ）前記第１１乃至第１４の点
   の位置情報からページマークまたはタイミングマークの
   位置情報を導出する段階と、 をさらに含む請求項１に記載の認識方法。
3. 【請求項３】入力されたビットマップ・イメージに含ま
   れる複数の矩形オブジェクトの位置情報をオペレータの
   入力した第１の入力点と第２の入力点の情報に基づいて
   認識する方法であって、 （ａ）前記ビットマップ・イメージ内で前記第１の入力
   点が特定されたことを認識する段階と、 （ｂ）前記第１の入力点の近傍を第１の方向に通過する
   直線上に存在し、特定の値を有する画素であって、前記
   第１の入力点を挟んで両方向に各々存在する第１の画素
   と第２の画素に各々対応する第１の点と第２の点を探索
   することによって前記第１の点と前記第２の点の位置情
   報を導出する段階と、 （ｃ）前記第１の入力点の近傍を前記第１の方向とほぼ
   垂直の方向である第二の方向に通過する直線上に存在
   し、前記特定の値を有する画素であって、前記第１の入
   力点に対し前記第２の入力点と逆方向に存在する第３の
   画素に対応する第３の点を探索することによって前記第
   ３の点の位置情報を導出する段階と、 （ｄ）前記第２の入力点の近傍を通過し、前記第２の方
   向にほぼ平行な直線上に存在し、特定の値を有する画素
   であって、前記第１の入力点と前記第２の入力点の間に
   位置する第４の画素に対応する第４の点と、前記第２の
   方向にほぼ平行な直線上に存在し、前記特定の値を有す
   る画素であって、前記第２の入力点に対し前記第１の入
   力点の逆方向に存在するする第５の画素に対応する第５
   の点を探索することによって前記第４の点と前記第５の
   点の位置情報を導出する段階と、 （ｅ）前記第１の点と、前記第２の点と、前記第３の点
   と、前記第４の点と、前記第５の点の位置情報から前記
   複数の矩形オブジェクトの位置情報を導出する段階と、 を含む認識方法。
4. 【請求項４】入力されたビットマップ・イメージに含ま
   れる複数の黒色の文字枠オブジェクトの位置情報をオペ
   レータの入力した第１の入力点と第２の入力点の情報に
   基づいて認識する方法であって、 （ａ）前記ビットマップ・イメージ内で前記第１の入力
   点が特定されたことを認識する段階と、 （ｂ）前記第１の入力点の近傍に対応する画素郡の領域
   が白であるか黒であるか判断することにより第１の入力
   点の色が白に対応するか黒に対応するかを判断する段階
   と、 （ｃ）前記段階（ｂ）において、前記第１の入力点の色
   が黒に対応すると判断された場合、前記第１の入力点の
   近傍を上下方向に通過する直線上に存在し、前記第１の
   入力点から見て第１の入力点の色でなくなる最も近い場
   所にある画素であって、前記第１の入力点の上方向に存
   在する画素Ｄｍ１と下方向に存在する画素Ｄｍ２に各々
   対応する点Ｐｍ１と点Ｐｍ２を探索して点Ｐｍ１と点Ｐ
   ｍ２の位置情報を導出する段階と、 （ｄ）前記第１の入力点の近傍を左右方向に通過する直
   線上に存在し、前記第１の入力点から見て第１の入力点
   の色でなくなる最も近い場所にある画素であって、前記
   第１の入力点の左方向に存在する画素Ｄｍ３と右方向に
   存在する画素Ｄｍ４に各々対応する点Ｐｍ３と点Ｐｍ４
   を探索して点Ｐｍ３と点Ｐｍ４の位置情報を導出する段
   階と、 （ｅ）前記点Ｐｍ１と点Ｐｍ２の距離が予め登録された
   条件に一致するか否かを判断する段階と、 （ｆ）前記点Ｐｍ１と点Ｐｍ２の距離が予め登録された
   条件に一致する場合には、前記ビットマップ・イメージ
   内で入力された第２の入力点の近傍に対応する画素郡の
   領域が白であるか黒であるか判断することにより前記第
   １の入力点の色と同じ色に対応するか否かを判断し、も
   し同じ色に対応しなければ前記第２の入力点の再入力を
   オペレータに要求し、もし同じ色に対応すれば、前記第
   2の入力点の位置情報を取得する段階と、 （ｇ）前記第１の入力点の近傍と前記第２の入力点の近
   傍を通る直線上にあって、前記第１の入力点と前記第２
   の入力点の間にあり、第１の入力点または第２の入力点
   からみて白から黒または黒から白に変化する場所にある
   複数の画素と前記点Ｐｍ１乃至Ｐｍ４の位置情報から複
   数の矩形オブジェクトの位置情報を導出する段階と、 （ｈ）前記段階（ｂ）において、前記第１の入力点の色
   が白に対応すると判断された場合、前記第１の入力点の
   近傍を上下方向に通過する直線上に存在し、前記第１の
   入力点から見て第１の入力点の色でなくなる最も近い場
   所にある画素であって、前記第１の入力点の上方向に存
   在する第１の画素と下方向に存在する第２の画素に各々
   対応する第１の点と第２の点を探索して第１の点と第２
   の点の位置情報を導出する段階と、 （ｉ）前記第１の入力点の近傍を左右方向に通過する直
   線上に存在し、前記第１の入力点から見て第１の入力点
   の色でなくなる最も近い場所にある画素であって、前記
   第１の入力点の左方向に存在する第３の画素と右方向に
   存在する第４の画素に各々対応する第３の点と第４の点
   を探索して第３の点と第４の点の位置情報を導出する段
   階と、 （ｊ）前記第１の入力点の近傍を上下方向に通過する直
   線上に存在し、第１の入力点から見て前記第１の点もし
   くは第２の点より外側にあり第１の入力点の色に再び戻
   る最も近い場所に対応する画素または前記第１の入力点
   の近傍を左右方向に通過する直線上に存在し、第１の入
   力点から見て前記第３の点もしくは第４の点より外側に
   あり第１の入力点の色に再び戻る最も近い場所に対応す
   る画素に対応する第５の点を探索することにより、前記
   文字枠の太さを導出する段階と、 （ｋ）前記ビットマップ・イメージ内で前記第２の入力
   点が特定されたことを認識する段階と、 （ｌ）前記第２の入力点の近傍に対応する画素郡の領域
   が白であるか黒であるか判断することにより前記第１の
   入力点の色と同じ色に対応するか否かを判断し、もし同
   じ色に対応しなければ前記第２の入力点の再入力をオペ
   レータに要求し、もし同じ色に対応すれば、前記第2の
   入力点の位置情報を取得する段階と、 （ｍ）前記第２の入力点の近傍を上下方向に通過する直
   線上に存在し、前記第２の入力点から見て第２の入力点
   の色でなくなる最も近い場所にあり、前記第２の入力点
   の上方向または下方向に存在する第６の画素に対応する
   第６の点を探索することによって前記第６点の位置情報
   を導出する段階と、 （ｎ）前記第２の入力点の近傍を左右方向に通過する直
   線上に存在し、前記第２の入力点から見て第２の入力点
   の色でなくなる最も近い場所にある画素であって、前記
   第２の入力点の左方向または右方向に存在する第７の画
   素に対応する第７の点を探索することによって前記第７
   の点の位置情報を導出する段階と、 （ｏ）前記第１の入力点の近傍と前記第２の入力点の近
   傍を通る直線上にあって、前記第１の入力点と前記第２
   の入力点の間にあり、第１の入力点または第２の入力点
   からみて最初に白から黒または黒から白に変化する場所
   にある画素である第８の画素と2番目に白から黒または
   黒から白に変化する場所にある画素である第９の画素に
   夫々対応する第８の点と第９の点の位置情報を導出する
   段階と、 （ｐ）前記第８の点と第９の点の間隔が前記第３の点と
   前記第４の点から算出される間隔と同等でなかった場
   合、表示画面上に文字枠数を入力するためのエントリを
   表示する段階と、 （ｑ）前記第１乃至第４の点と前記第６及び第７の点の
   位置情報、およびエントリされた文字枠数から前記複数
   の文字枠オブジェクトの位置情報を導出する段階と、 （ｒ）前記第８の点と第９の点の間隔が前記第３の点と
   前記第４の点から算出される間隔と同等であった場合、
   前記第１の入力点の近傍と前記第２の入力点の近傍を通
   る直線上にあって、前記第１の入力点と前記第２の入力
   点の間にあり、第１の入力点または第２の入力点からみ
   て白から黒または黒から白に変化する場所にある複数の
   画素と前記第１乃至第４の点と前記第６の点の位置情報
   と前記文字枠の太さから前記複数の文字枠オブジェクト
   の位置情報を導出する段階と、 を含む認識方法。
5. 【請求項５】入力されたビットマップ・イメージに含ま
   れる複数の矩形オブジェクトの位置情報をオペレータの
   入力した第１の入力点の情報に基づいて認識する方法で
   あって、 （ａ）前記ビットマップ・イメージ内で前記第１の入力
   点が特定されたことを認識する段階と、 （ｂ）前記第１の入力点の近傍を第１の方向に通過する
   直線上に存在し、特定の値を有する画素であって、前記
   第１の入力点を挟んで両方向に各々存在する第１の画素
   と第２の画素に各々対応する第１の点と第２の点を探索
   することによって前記第１の点と前記第２の点の位置情
   報を導出する段階と、 （ｃ）前記第１の入力点の近傍を前記第１の方向とほぼ
   垂直の方向である第二の方向に通過する直線上に存在
   し、前記特定の値を有する画素であって、前記第１の入
   力点を挟んで両方向に各々存在する第３の画素と第４の
   画素に各々対応する第３の点と第４の点を探索すること
   によって前記第３の点と前記第４の点の位置情報を導出
   する段階と、 （ｄ）前記オペレータに、前記複数の矩形オブジェクト
   の認識する数を入力することを要求する表示を行う段階
   と、 （ｅ）前記オペレータから入力された、前記複数の矩形
   オブジェクトの認識する数を受領する段階と、 （ｆ）前記第１の点と、前記第２の点と、前記第３の点
   と、前記第４の点の位置情報と、前記複数の矩形オブジ
   ェクトの認識する数の情報から前記複数の矩形オブジェ
   クトの位置情報を導出する段階と、 を含む認識方法。
6. 【請求項６】入力されたビットマップ・イメージに含ま
   れる複数の矩形オブジェクトの位置情報をオペレータの
   入力した第１の入力点と第２の入力点の情報に基づいて
   認識する方法であって、 （ａ）前記ビットマップ・イメージ内で前記第１の入力
   点が特定されたことを認識する段階と、 （ｂ）前記第１の入力点の近傍を第１の方向に通過する
   直線上に存在し、特定の値を有する画素であって、前記
   第１の入力点を挟んで両方向に各々存在する第１の画素
   と第２の画素に各々対応する第１の点と第２の点を探索
   することによって前記第１の点と前記第２の点の位置情
   報を導出する段階と、 （ｃ）前記第２の入力点の近傍を通過し、前記第１の方
   向とほぼ垂直の方向である第２の方向にほぼ平行な直線
   上に存在し、特定の値を有する画素であって、前記第１
   の入力点に対し前記第２の入力点と逆方向に存在する第
   ３の画素に対応する第３の点と、前記第２の方向にほぼ
   平行な直線上に存在し、特定の値を有する画素であっ
   て、前記第１の入力点と前記第２の入力点との間に存在
   する第４の画素に対応する第４の点と、前記第２の入力
   点に対し前記第１の入力点と逆方向に存在する第５の画
   素に対応する第５の点とを探索することによって前記第
   ３乃至第５の点の位置情報を導出する段階と、 （ｄ）前記第１の点と、前記第２の点と、前記第３の点
   と、前記第４の点と、前記第５の点の位置情報から前記
   複数の矩形オブジェクトの位置情報を導出する段階と、 を含む認識方法。
7. 【請求項７】前記矩形オブジェクトに関連付けられる属
   性情報の入力を受領する段階と、前記入力された属性情
   報を前記矩形オブジェクトの位置情報と関連付けて格納
   する段階とをさらに含む請求項１乃至６の何れかの認識
   方法。
8. 【請求項８】前記矩形オブジェクトの位置情報に基づい
   て、前記矩形オブジェクトが認識されたことをオペレー
   タに認識させるための変更表示を行なう段階をさらに含
   む請求項１乃至７の何れかの認識方法。
9. 【請求項９】表示画面と、前記表示画面上の位置を指示
   するポインティングデバイスとを含み、前記ポインティ
   ングデバイスによって入力された位置情報に基づいて、
   スキャナ装置から入力されたビットマップの帳票イメー
   ジに含まれる矩形オブジェクトの位置情報を認識する装
   置であって、 （ａ）前記ビットマップの帳票イメージを保持する画像
   入力部と、 （ｂ）前記ビットマップの帳票イメージを前記表示画面
   上に表示すする画像表示部と、 （ｃ）前記ビットマップの帳票イメージ内の第１の入力
   点が特定されたことを認識する入力部と、 （ｄ１）前記第１の入力点の近傍を第１の方向に通過す
   る直線上に存在し、特定の値を有する画素であって、前
   記第１の入力点を挟んで両方向に各々存在する第１の画
   素と第２の画素に各々対応する第１の点と第２の点を探
   索することによって前記第１の点と前記第２の点の位置
   情報を導出し、 （ｄ２）前記第１の入力点の近傍を前記第１の方向とほ
   ぼ垂直の方向である第二の方向に通過する直線上に存在
   し、前記特定の値を有する画素であって、前記第１の入
   力点に対し前記第２の入力点と逆方向に存在する第３の
   画素に対応する第３の点を探索することによって前記第
   ３の点の位置情報を導出し、 （ｄ３）前記第２の入力点の近傍を通過し、前記第２の
   方向にほぼ平行な直線上に存在し、特定の値を有する画
   素であって、前記第１の入力点と前記第２の入力点の間
   に位置する第４の画素に対応する第４の点と、前記第２
   の方向にほぼ平行な直線上に存在し、前記特定の値を有
   する画素であって、前記第２の入力点に対し前記第１の
   入力点の逆方向に存在するする第５の画素に対応する第
   ５の点を探索することによって前記第４の点と前記第５
   の点の位置情報を導出し、 （ｄ４）前記第１の点と、前記第２の点と、前記第３の
   点と、前記第４の点と、前記第５の点の位置情報から前
   記複数の矩形オブジェクトの位置情報を導出する画像解
   析部と、 を含む認識装置。
10. 【請求項１０】表示画面と、前記表示画面上の位置を指
    示するポインティングデバイスとを含み、前記ポインテ
    ィングデバイスによって入力された位置情報に基づい
    て、スキャナ装置から入力されたビットマップの帳票イ
    メージに含まれる矩形オブジェクトの位置情報を認識す
    る装置であって、 （ａ）前記ビットマップの帳票イメージを保持する画像
    入力部と、 （ｂ）前記ビットマップの帳票イメージを前記表示画面
    上に表示すする画像表示部と、 （ｃ）前記ビットマップの帳票イメージ内の第１の入力
    点が特定されたことを認識する入力部と、 （ｄ１）前記第１の入力点の近傍を第１の方向に通過す
    る直線上に存在し、特定の値を有する画素であって、前
    記第１の入力点を挟んで両方向に各々存在する第１の画
    素と第２の画素に各々対応する第１の点と第２の点を探
    索することによって前記第１の点と前記第２の点の位置
    情報を導出し、 （ｄ２）前記第１の入力点の近傍を前記第１の方向とほ
    ぼ垂直の方向である第二の方向に通過する直線上に存在
    し、前記特定の値を有する画素であって、前記第１の入
    力点を挟んで両方向に各々存在する第３の画素と第４の
    画素に各々対応する第３の点と第４の点を探索すること
    によって前記第３の点と前記第４の点の位置情報を導出
    する画像解析部とを含み、 （ｂ２）前記画像表示部はさらに、オペレータに、前記
    複数の矩形オブジェクトの認識する数を入力することを
    要求する表示を行い、 （ｃ２）前記入力部は、該オペレータから入力された、
    前記複数の矩形オブジェクトの認識する数を受領し、 （ｄ３）前記画像解析部は、前記第１の点と、前記第２
    の点と、前記第３の点と、前記第４の点の位置情報と、
    前記複数の矩形オブジェクトの認識する数の情報から前
    記複数の矩形オブジェクトの位置情報を導出する認識装
    置。