JPS62165284A

JPS62165284A - 文字列抽出方式

Info

Publication number: JPS62165284A
Application number: JP61006412A
Authority: JP
Inventors: Koji Fukuda; 浩至福田; Masatoshi Hino; 樋野　匡利; Kuniaki Tabata; 邦晃田畑
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1986-01-17
Filing date: 1986-01-17
Publication date: 1987-07-21

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、文書画像の処理方式に係り、特に文書中の文
字行の抽出方式に関する。

〔従来の技術〕

文書画像中の文字列を抽出する従来の方式には、黒画素
の連結成分の外接矩形を利用するものとして、同一行に
含まれる矩形間の行方向距離（縦書の場合には縦方向、
横書の場合には横方向）が近いことに着目する方法があ
る。例えば「新聞記事の本文を構成する文字の切りだし
ノと題する情報処理学会第２４回（昭和５７年前期）全
国大会予稿集第６９５頁〜６９６頁の報告では、本文領
域中の任意の２つの矩形間の行方向距離がある閾値以下
であれば、これらの２つの矩形を囲む最小矩形を元の２
つの矩形と置きかえてゆき、この処理を新たに矩形が生
成されなくなるまで繰り返し、その時点で得られている
矩形を文字列とする手法が述べられている。

しかしながら、上記方式では、図あるいはグラフを含ん
だ画像や、句読点などにより外接矩形の間隔が広くなる
場合の文字列抽出については考慮していない。

〔発明が解決しようとする問題点〕

上記従来技術は、同一の文字行内の矩形が成る閾値内で
隣接していることに着目して文字行を抽出している。し
かしながら、文書には文字以外に図形、線分１句読点、
ノイズなど性質の異なったデータが存在するため、黒画
素連結成分の外接矩形の間隔は一定ではない。このため
、閾値の設定次第、で次のような不具合が生しる。

（ｉ）文字矩形間の距離を基準として閾値を設定する場
合：句読点と文字との間の距離は、文字と文字との距離より
大きいため、句読点の位置で２つの矩形を統合する外接
矩形への置き換え処理が停止する場合がある。つまり、
同一の文字行に含まれるべきデータが別々の文字行要素
として抽出される。

（１１）句読点と文字矩形間の距離を基準として閾値を
設定する場合：（ｉ）の問題は解消できるが、周囲に存在するノイズを
文字列に組み込む可能性が大きい。また、図形、グラフ
等を含んだ文書では、文字の外接矩形と図形の外接矩形
に対して同様の閾値で処理が行なわれるので、文字と図
形との距離が成る閾値内に含まれる場合、これらが同一
文字行として抽出されてしまう。

本発明の目的は、これらの問題点を解消し、図形、ある
いはグラフを含んだ文書画像から文字列を確実に抽出で
きるようにした文字列抽出方式を提供することにある。

〔問題点を解決するための手段〕

上記目的は、文書中に含まれる文字２句読点。

図、グラフなどの性質ごとに外接矩形を分類し、同一文
字行とみなすための条件をこれらの分類毎に設定するこ
とにより達成される。例えば、文書中から抽出される最
も頻度の高い矩形は文字であり、これに比べて大きい矩
形は図形、これより小さい矩形はノイズあるいは記号で
あると推定できる。このように外接矩形を大きさで分類
し、分類ごとに矩形内容を識別することにより、文字行
の抽出を確実にすることができる。

〔作用〕

図またはグラフを含む画像や１分離文字、半角文字の挿
入により文字間のピッチが不揃いの文書に対しても、黒
画素連続成分の外接矩形の性質に着目して処理条件を可
変とすることにより、正確に文字行を抽出できる。

〔実施例〕

以下、本発明の実施例を図面を参照して説明する。第１
図は本発明による文字行抽出を概略的に示した図であり
、入力画像ｌより黒画素連結成分の外接矩形を抽出しく
ステップ２）、縦書きか横書きかの判定（ステップ３）
と、行用形の抽出処理（ステップ４）を行なうことによ
り、結果５を得る。黒画素連結成分の外接矩形の抽出方
式としては、連結成分の境界を追跡する方式（例えば、
゛′ディジタル画像処理；　Ｒｏｓｅｎｆｅｌｄ、　Ｋ
ｏＫ著。

長尾真監訳、近代科学社　ｐｐ、　３５３〜３６１参照
）など、公知の手法を適用できる。また、縦書きと横書
きの判定処理３には、例えば各矩形の最も近い矩形まで
の距離を求めて判定する方式を採用できる。

第２図は上記行抽出を行なうためのハード構成を示す。

文書画像はスキャナ９により入力され、フレームメモリ
６にシステムバス】２を介して格納される。入力画像中
の黒画素連続成分の外接矩形の抽出処理２．縦書・横書
の判定処理３はマイクロプロセッサ（ＭＰＵ）３により
行なわれ、この結果は一時的にメインメモリ８に蓄積さ
れる。

ＭＰＵ３は、これらのデータに対して更に行用形の抽出
処理４を行ない、処理結果５をプロッタｌＯまたはディ
スプレイ１１に出力する。

以下、本発明の主要部となる行用形の抽出処理４の実施
例について詳細な説明する。

この実施例では、隣接する２つの外接矩形を比較して同
一の行に含まれる矩形か否かを判定し、同一行に入ると
判定された場合には、これら２つの矩形を順次統合して
ゆく。この処理を全ての矩形の組合せについて行なうと
、最終的に行用形だけが残る。この場合、文書中には通
常の文字以外に図形、仕切線、印刷ノイズ、特殊な記号
など、互いに性質の異なる要素を示す黒画素が存在する
ため、文書画像中の全ての黒画素連結成分の外接矩形に
対して同一の矩形統合条件を画一的に適用することは困
難である。

そこで、本発明においては、第３図に示すように、黒画
素連結成分に外接する矩形を縦、横の寸法によりａ−１
に分類し、矩形の大きさく分￥ｉ）により行統合条件を
変えて処理することを特徴としている。図中、横軸は、
矩形の幅（Ｗｉｄｔｈ　：　Ｗ）、縦軸は、矩形の高さ
くＨｉｇｈｔ、：Ｈ）である。各矩形がどの分類に該当
するかを求めるためには外接矩形の大きさを示す情報が
必要である。外接矩形の表現形式は多種あるが、この実
施例では、第４図に示すように、各矩形を対角点の座標
で表現する形式を採用した場合について説明する。

対角点の座標をそれぞれ（Ｘｍ工。＋’／ｍ１ｎＬ（Ｘ
　ｍ　ａ　Ｘ　＋　ｙｍ　ａ　Ｘ）とすると、横書きの
場合のＷとＨの値はｗ＝ｘｍａＸ　　Ｘｍｌ　ｎ　　　　　　”・（１）Ｈ
＝ｙｍａｘ　　Ｙｍａｘ　　　　　　・・・（２）で表
わされる。このＷとＨを用い、この矩形が第３図に示す
分類のどこに該当するかを判定することができる。分類
結果は、対角点座標と共に各矩形毎に第４図に示すテー
ブル形式でメインメモリ８に記憶される。

第３図の分類で、閾値となるＷｌ、Ｗ２．Ｈｌ。

Ｈ２の値は、例えば次のようにして決められる。

先ず、各矩形について行方向で最も近い位置にある矩形
とのＨの比を求め、その値が１／２〜２以内となる矩形
を抽出し、抽出した矩形の中での最大頻度となる矩形の
サイズＨ，Ｗを代表値に選び、それぞれの値をＭＨ（Ｍ
ｅａｎ　Ｈｉｇｈｊ）　＋Ｍ　Ｗ　（Ｍｅａｎ　Ｗｉｄ
ｔｈ）とおくと、Ｗｌ、Ｗ２゜Ｈｌ、Ｈ２は次式で示さ
れる。

Ｈ１＝１／２ｘＭＨ・・・（３）Ｈ２＝４ＸＭＨ・・・（４）Ｗ１＝１／２ＸＭＷ　　　　　　　・・・（５）Ｗ２＝
４ＸＭＷ　　　　　　　　　・・・（６）このようにし
てＭＨ，ＭＷを代表値として分類の閾値を設定すると、
文書画像中に含まれる図形。

線分１句読点などを通常の文字と区別して行抽出処理を
行なうことができる。各分類に含まれる矩形は、次のよ
うに推定できる。

分類ａ：ノイズ９句読点２文字の一部分類り：横長の記号、アングライン分類Ｃ：支切線（横長）、アングライン分類ｄ：縦長の
記号９文字の一部分類ｅ：文字分類ｆ：図、接触文字分類ｇ：仕切線（縦長）分類り、ｉ：図本発明では、このようにして求めた分類表を利用し、各
矩形が同一の文字行に含まれる文字あるいは記号などの
矩形に該当するか否かを判断しながら外接矩形を次々と
、統合してゆく。

外接矩形の統合は、例えば次のようにして行なう。今、
第４図の矩形４１と４２とが同一行に含まれる矩形と判
断されて、１つの矩形に統合処理される場合を考える。

この場合は、ｘｍｔｎα”ｍ　ｉ　ｎ　（Ｘｍ　ｉ　ｎα＋　ｘｒｎ
　ｉ　１．β）　　・−（７）Ｙｍｔｎα＝ｍｔｎ（／
ｍｔｎα＋Ｙｍｉｎβ）　・・・（８）ＸｍａＸα：ｍ
ａｘ　（ｘｍａｘα＋ｙｍａＸβ）　・・・（９）”／
　ｍ　ａ　ｘα＝　ｍ　ａ　ｘ　（Ｖ　ｍ　ａ　ｘα＋
　ｙｍａＸβ）　　・・・（１０）として、矩形４２が
消去される。ここで求められた座標（Ｘｍｌｎα＋Ｙｍ
ｉｎα）＋（ＸｍａＸα。

Ｙｍａｘα）を対角線とする新たな矩形は統合後の矩形
である。つまり、統合処理で生成される矩形は、比較し
た２つの矩形の外接矩形となる。

第５図、第６図により統合条件の一例を説明する。

第５図では、２つの矩形の重心位置により統合の規則を
設ける方法を示している。重心の座標（ｇ　Ｘ　＋　ｇ
　７　）は、矩形の対角点の座標よりｇ　ｘ”　　　（
Ｘｍ　ｔ　ｎ＋Ｘｍ　ａ　ｘ）　　　　・−（ＩＩ）ｇ
ｙ”　　　（ｙｍ　ｌｎ＋ｙｍａｘ）　　　　−（１２
）で表現できる。この場合、■ｎ心のｙ　ＰＰ、標が、
統合対象となる２つの矩形の！／ｍｔｎ以上、ｙｍａｘ
以下であること（以下、この状態を重心のオーバ−ラン
プ条件を満たしているという）を条件としている。例え
ば、第５図の矩形５１と矩形５２を比較した場合、矩形
５１の重心（Ｅｍｌの行方向への延長線は、矩形５２を
通過しており、上述した重心のオーバラップ条件を満た
している。逆に、矩形５２の重心Ｇｍ２と矩形５１の関
係も同様である。これに対し、矩形５２と矩形５３の関
係をみると、矩形５３の重心Ｇｍ３は矩形５２とオーバ
ラップしているが、矩形５２の重心Ｇｍ、＋は矩形５３
に対してオーバラップしていない。

第６図は、矩形間の距離に注目した判定条件を示す。矩
形６２の両側を行方向にＱだけ拡大した場合、統合対象
となる矩形が拡大矩形とオーバラップするかどうかを判
定する。このオーバラップ判定には、次式の関係をみる
。今、矩形６２を拡大して、矩形６１を評価する場合を
例にとると。

判定式は次のようになる。

［ｍａｘ（Ｘｍ１ｎｎｌ　　Ｑ＋　Ｘｍ１ｎｎｌ）＜ｙ
ｙＢ　ｎ（ｘｍＢｙｃｎ２＋Ｄ、ｘｍａｘｎｌ））−ａ
ｎｄ−（ｍａｘ（ｙｍ　ｉ　ｎｎ　２＋　　ｙｍ　ｔ　
ｎｎ　１）＜ｍ　ｉ　ｎ　（）’　ｍ　ａ　Ｘ　ｎ　２
　＋　　ｙｍ　ａ　Ｘ　ｎ　ｌ）　］この条件を満足す
ることを、以下、距離のオーバラップ条件を満足すると
いう。

以上の２つの条件を、パラメータを対象矩形の分類ごと
に定義して、文字行矩形を抽出した処理例を第７図に示
す。

第７図で（Ａ）〜（Ｅ）は矩形の統合過程を示しており
、（Ａ）は黒画素の連結成分の外接矩形の抽出と分類処
理の終了した時点の状態を示す。外接矩形７１〜８３に
対して以下の処理をする。

（Ｂ）分類ｅの矩形間の統合処理：距離のオーバラップ条件のパラメータＱ　（矩形の拡張
幅）＝０１として、相互の矩形に対して重心のオーバラ
ップ条件を満たしていれば統合処理をする。

（Ｃ）分類ｅと分＠ｄ、ｂ間の統合処理：距離のオーバ
ラップ条件のパラメータＱ＝Ｑ２とし、どちらか一方向
の重心のオーバラップ条件を満たしていることを条件と
して統合処理をする。

両方向の重心についてオーバラップ条件を評価すると、
例えば、分離文字に相当する矩形７８と７９が統合され
ないことになる。

（Ｄ）分類ｅと分類８間の統合処理：距離のオーバラップ条件のパラメータＱ＝Ｑ　３とし、
重心のオーバラップ条件は評価しない。

（Ｅ）分類６間の統合処理：距離のオーバラップ条件のパラメータＱ＝２４として、
相互の矩形に対して重心のオーバラップ条件を満たして
いれば統合処理をする。

第１図に示した処理結果５は、各パラメータを統合対象
矩形の高さＨから、Ｑ工＝２ＸＨ。

Ｑ２＝ｌＸＨ，Ｑ３＝ＩＸＨ，ｕ４＝２ｘＨとして統合
処理した場合を示している。

〔発明の効果〕

本発明によれば、外接矩形の大きさにより統合条件を変
えたことにより、図形や写真などを含んだ画像中で文字
行の抽出を正確にできる。また、外接矩形を大きさによ
り分類しているため、文字行の抽出処理のみでなく、タ
イトルの抽出、アングラインの抽出１図の抽出など多く
の文書構造の抽出処理に利用できる。

【図面の簡単な説明】

第１図は本発明による画像処理の概要を示すブロック図
、第２図は本発明を実施する装置のハード構成図、第３
図は外接矩形の分類についての説明図、第４図は外接矩
形の座標と分類との関係を説明するための図、第５図は
矩形の重心を利用した統合条件についての説明図、第６
図は矩形の位置を利用した統合条件についての説明図、
第７図は本発明による文字行抽出処理の段階的な統合結
果を説明するための図。 ■・・・入力文書例、２・・・黒画素連続成分の外接矩
形抽出処理、３・・・縦書横書の判定処理、４・・・文
字行抽出処理、５・・・処理結果例、６・・フレームメ
モリ、７・・・マイクロプロセッサ、８・・・メインメ
モリ、９・・・スキャナ、１０・・・プロッタ、１１・
・・ディスプレイ、１２・・・システムバス、４１．４
２・・・黒画素連続成分の外接矩形、４３・・・矩形テ
ーブル。冷　３１！１第　５　　凶第　６　　図

Claims

【特許請求の範囲】

１、ディジタル化された文書画像を処理する方式におい
て、連結成分の外接矩形を用いて文字列を抽出する場合
に外接矩形を大きさにより分類し、分類ごとに異なる条
件で処理することを特徴とする文字列の抽出方式。