JP2001282785A - 文書画像処理装置およびそのための方法、ならびに文書画像処理プログラムを記録したコンピュータで読取可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 文書画像中の任意文字列に対応して、手書き
線分を引くことで体裁良くして該任意文字列の画像を修
飾できる。 【解決手段】 表示部２に表示された文書画像中の線を
引きたい任意の文字列の画像に対応して、線入力部３を
介して手書きで線分を引くだけで、曲線修正部５および
透過処理部７１により、該任意文字列の画像に重ねて、
かつ該任意文字列画像が該直線を透過して表示されるよ
うにして直線として引かれる。このように、ユーザは、
所望する任意文字列に対応して手書きで線分を引くだけ
で、該任意文字列の視認性を損なわず、該手書き線分を
体裁よく直線として引くことができる。それゆえに、該
任意文字列に対して蛍光ペンで定規を用いて直線を上書
きしたのと同様の効果を、簡単に得ることが出来る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は文字を含む文書の
画像に対して手書きで入力された線分を表示する文書画
像処理装置および文書画像処理方法、ならびに文書画像
処理プログラムを記録したコンピュータで読取可能な記
録媒体に関し、特に、所望される文字列に対応して手書
き入力された線分を処理して表示する文書画像処理装置
および文書画像処理方法、ならびに文書画像処理プログ
ラムを記録したコンピュータで読取可能な記録媒体に関
する。

【０００２】

【従来の技術および発明が解決しようとする課題】読込
まれた文書画像の所望部分にアンダーラインを付加する
ような編集機能を有した装置として特開昭６１−２７３
０７０号公報記載の画像処理装置がある。この画像処理
装置は、表示部を有して、読込まれた文書の画像は表示
部に表示される。ユーザは表示される文書画像中の所望
される文字列に沿ってアンダーラインを引くときは、ま
ず、この所望文字列をマウスなどで指定し、次に「アン
ダーラインを引く」という予め準備された編集コマンド
を入力する。その結果、所望文字列に対してアンダーラ
インが引かれる。

【０００３】また、ドットイメージに展開された文字列
の画像にアンダーラインを付加する装置として特開平８
−３０２５０号公報記載の文書処理装置がある。この文
書処理装置では、文字の大きさや種類がばらばらの１行
分の文字列全体に沿ってアンダーラインを引くときに
は、該文字列の各文字を囲む矩形領域と該文字列全体を
囲む矩形領域とに関する情報が用いられて、この文字列
全体を囲む矩形領域から任意の距離だけ離れた所望の位
置にアンダーラインが引かれる。

【０００４】従来は、紙に印刷された文章において、ユ
ーザが文章中の所望文字列に対して、特別に注意を払う
ために、透過性の水性の蛍光顔料をインクに用いたペン
（以下、蛍光ペンと呼ぶ）を用いて、該所望文字列を塗
りつぶす場合がある。このようにして、インクで塗りつ
ぶされた所望文字列であっても、塗布されたインクを透
過して確認することができる。

【０００５】しかし、従来は、せいぜい、読込まれた文
書画像において所望文字列画像について注目のために修
飾する方法としては、上述のようにアンダーラインを付
すものにとどまっており、例えば、上述の蛍光ペンを用
いて塗りつぶしたのと同様の効果を奏するなど多様な体
裁で、所望文字列に対して手書き線分で注目のための修
飾をするような装置は提案されていなかった。

【０００６】それゆえに、この発明の目的は、文書画像
中の任意文字列に対応して、手書き線分を引くことで体
裁良くして該任意文字列の画像を修飾できる文書画像処
理装置および方法、ならびに文書画像処理プログラムを
記録したコンピュータで読取可能な記録媒体を提供する
ことである。

【０００７】

【課題を解決するための手段】上述の目的を達成するた
めにこの発明のある局面に従えば、文書画像処理装置は
次のように構成される。つまり文書画像処理装置は、文
書の画像を表示する表示部と、前記表示部に表示された
文書画像における任意の文字列の画像に対応するように
手書きされた線分を入力する線分入力部と、前記線分入
力部により入力された手書き線分を処理する処理部とを
備え、前記処理部は、前記手書き線分の方向を判別する
方向判別手段と、前記方向判別手段により判別された方
向と前記文書画像における１つ以上の文字画像とに基づ
いて、前記文書画像の領域において、前記任意文字列の
画像を含む行の領域を抽出する行抽出手段と、前記手書
き線分を、前記行抽出手段で抽出された前記行の領域に
重ねて引かれる直線に修正する線分修正手段と、前記線
分修正手段による修正により得られた前記直線が重ねて
引かれる前記任意の文字列の画像を、該直線を透過して
前記表示部に表示されるように処理する透過手段とを有
する。

【０００８】したがって、文書画像中の線を引きたい任
意の文字列の画像に対応して、線入力手段を介して手書
きで線分を引くだけで、線分修正手段および透過手段に
より、該任意文字列の画像に重ねて、かつ該任意文字列
画像が該直線を透過して表示されるようにして直線とし
て引かれる。このように、ユーザは、所望する任意文字
列に対応して手書きで線分を引くだけで、該任意文字列
の視認性を損なわず、該手書き線分を体裁よく直線とし
て引くことができる。それゆえに、該任意文字列に蛍光
ペンで定規を用いて直線を上書きしたのと同様の効果を
簡単に得ることが出来る。

【０００９】上述した文書画像処理装置において、処理
部は、手書き線分を、行抽出手段で抽出された行の領域
における任意文字列の画像を囲む矩形の直線に修正し
て、表示部に表示する矩形修正手段をさらに有してもよ
い。

【００１０】したがって、文書画像中の矩形で囲みたい
任意の文字列の画像に対応して、線入力手段を介して手
書きで線分を引くだけで、矩形修正手段により、該任意
文字列の画像を囲むようにして直線の矩形に修正されて
表示される。このように、ユーザは、所望する任意文字
列に対応して手書きで線分を引くだけで、該任意文字列
の視認性を損なわず、該手書き線分を該任意文字列を囲
む直線として引くことができる。

【００１１】上述の文書画像処理装置では、前述の直線
は、任意に設定された一定線幅を有している。したがっ
て、手書き入力した線分は、その線幅を指定して直線に
修正できるから、任意文字列の画像に対して、所望する
線幅で重ねて直線を引いたり、所望する線幅の矩形にて
囲んだりすることが出来て、所望する体裁で任意文字列
の画像を修飾できる。

【００１２】上述の文書画像処理装置では、前述の直線
が有する一定線幅は、行の領域における任意文字列の画
像の大きさに応じて設定されるようにしてもよい。した
がって、手書き入力した線分は、任意文字列の画像に応
じた線幅を有した直線に修正できるから、任意文字列の
画像に対して、該任意文字列画像の大きさに応じた線幅
で重ねて直線を引いたり、該任意文字列画像の大きさに
応じた線幅の矩形にて囲んだりすることが出来て、視認
性が損なわれることなく、かつ体裁良くして任意文字列
の画像を修飾できる。

【００１３】この発明の他の局面に係る文書画像処理装
置は、次のように構成される。文書の画像を表示する表
示手段と、表示手段に表示された文書画像における任意
の文字列の画像を囲むように手書きされた線分を入力す
る線分入力手段と、線分入力手段により入力された手書
き線分を処理する処理手段とを備える。そして、処理手
段は、手書き線分の方向を判別する方向判別手段と、方
向判別手段により判別された方向と文書画像における１
つ以上の文字画像とに基づいて、文書画像の領域におい
て、任意文字列の画像を含む行の領域を抽出する行抽出
手段と、手書き線分を、行抽出手段で抽出された行の領
域の任意文字列の画像を囲む直線に修正して、表示部に
表示する線分修正表示手段とを有する。

【００１４】したがって、文書画像中の矩形で囲みたい
任意の文字列の画像に対応して、線入力手段を介して手
書きで線分を引くだけで、矩形修正手段により、該任意
文字列の画像を囲むようにして直線の矩形に修正されて
表示される。このように、ユーザは、所望する任意文字
列に対応して手書きで線分を引くだけで、該任意文字列
の視認性を損なわず、該手書き線分を該任意文字列を囲
む直線として引くことができる。

【００１５】上述した文書画像処理装置において処理手
段は、文書画像の領域において手書き線分を処理するた
めの処理領域を指定する処理領域指定手段をさらに有し
てもよい。

【００１６】したがって、処理領域指定手段が備えられ
るから、文書画像に対して、予め処理領域を指定するな
どのユーザ側の操作は不要となり、操作性は向上する。
また、文書画像の全領域が処理対象とされるのでなく
て、指定された処理領域のみが処理の対象とされるか
ら、処理手段においては処理が正確、かつ高速に実行さ
れる。

【００１７】上述の画像処理装置の行抽出手段は、候補
領域抽出手段と行領域判別手段とを有して構成されても
よい。候補領域抽出手段では、方向判別手段により判別
された方向と、文書画像の領域における１つ以上の文字
の画像の領域とに基づいて、行の領域の候補となる１つ
以上の候補領域が抽出される。行領域判別手段では、抽
出された１つ以上の候補領域において、任意文字列を含
む行の領域が判別される。

【００１８】したがって、候補領域抽出部により領域が
複数個、抽出されたとしても、行領域判別部により、複
数の候補領域中のいずれの領域に対して、手書き線分が
引かれたかが判別される。したがって、手書き線分を引
いた任意文字列を含む行の領域を指定するようなユーザ
の操作は不要となり、操作性は向上する。

【００１９】上述の文書画像処理装置の線分修正手段
は、調整手段を有する。この調整手段は、行抽出手段に
より抽出された行の領域における１つ以上文字の領域に
基づいて、規定の線分の長さが最適となるよう調整す
る。

【００２０】したがって、抽出された行の領域における
１つ以上の文字領域を利用して、すなわち任意文字列の
領域のに従って、直線の長さは最適となるように調整さ
れて、より見栄えのよい文書画像が得られる。

【００２１】上述の文書画像処理装置における線分修正
手段は、行抽出手段により抽出された行の領域につい
て、既に１つ以上の直線が引かれている場合には、直線
位置修正部が適用される。直線位置修正部では、手書き
線分に対する直線は、対応する行の領域において既に引
かれた１つ以上の直線と連続して引かれるように、その
位置が修正されるようにしてもよい。

【００２２】したがって、任意文字列が含まれる同一の
行領域において、直線が既に引かれている場合には、新
たに入力された手書き線分による直線は、既に引かれた
直線と連なるように修正されて表示されるから、より見
栄えのよい文書画像が得られる。

【００２３】上述の文書画像処理装置において、線分修
正手段は、行抽出手段により抽出された行の領域につい
て、１つ以上の手書き線分が入力された場合には、手書
き線分位置修正手段が適用される。手書き線分位置修正
手段は、１つ以上の手書き線分のそれぞれに対応の直線
を、位置調整して、連続した１つの直線に修正する。

【００２４】したがって、同一の行領域に、複数の手書
き線分が入力された場合に、これら手書き線分に対応の
複数の直線は、１本に連なる直線に修正されて表示され
るので、より見栄えのよい文書画像が得られる。

【００２５】上述の文書画像処理装置において、線分修
正手段は、行抽出手段により抽出された行の領域がルビ
の行に対応するものであることを識別するルビ行識別手
段を有する。そして、ルビ行識別手段により行の領域が
ルビの行に対応するものであると識別されたときは、手
書き線分をルビの行に沿って引かれる直線に修正する。

【００２６】したがって、任意の文字列がルビの行に対
応するものであっても、適正に直線を引くことができ、
見栄えのよい文書画像が得られる。

【００２７】この発明のさらなる他の局面に従えば、文
書画像処理方法は、文書画像を表示する表示ステップ
と、表示された文書画像における任意の文字列の画像に
対応して、手書きされた線分を入力する線分入力ステッ
プと、入力された手書き線分を処理する処理ステップと
を備えて構成される。処理ステップは、手書き線分の方
向を判別する方向判別ステップと、判別された方向と、
文書画像における１つ以上の文字の画像とに基づいて、
文書画像の領域において、任意文字列を含む行の領域を
抽出する行抽出ステップと、手書き線分を、抽出された
行の領域に重ねて引かれる直線に修正する線分修正ステ
ップと、線分修正ステップによる修正により得られた直
線が重ねて引かれる任意の文字列の画像を、該直線を透
過して表示されるように処理する透過ステップとを有す
る。

【００２８】この発明のさらなる他の局面によれば、文
書画像処理方法は、文書の画像を表示する表示ステップ
と、表示ステップにより表示された文書画像における任
意の文字列の画像を囲むように手書きされた線分を入力
する線分入力ステップと、線分入力ステップにより入力
された手書き線分を処理する処理ステップとを備える。
そして、処理ステップは、手書き線分の方向を判別する
方向判別ステップと、方向判別ステップにより判別され
た方向と文書画像における１つ以上の文字画像とに基づ
いて、文書画像の領域において、任意文字列の画像を含
む行の領域を抽出する行抽出ステップと、手書き線分
を、行抽出手段で抽出された行の領域の任意文字列の画
像を囲む直線に修正して、表示部に表示する線分修正表
示ステップとを有するこの発明のさらなる他の局面に従
えば、上述の文書画像処理方法のそれぞれをコンピュー
タに実行させるための文書画像プログラムを記録したコ
ンピュータで読取可能な記録媒体がそれぞれ提供され
る。

【００２９】

【発明の実施の形態】以下、この発明の各実施の形態に
ついて図面を参照して詳細に説明する。

【００３０】（第１実施の形態）図１（Ａ）と（Ｂ）に
は、この発明の各実施の形態による文書画像処理装置の
機能構成とハードウェア構成とがそれぞれ示される。図
１（Ａ）において文書画像処理装置は、文字を含む文書
の画像データを入力するための画像入力部１、表示部
２、線入力部３、行抽出部４、幅設定部６１を有したお
よび曲線修正部５および透過処理部７１を含む。行抽出
部４および曲線修正部５は、後述する各実施の形態で
は、行抽出部４Ａおよび曲線修正部５Ａとして参照され
る。また、曲線修正部５は第１実施の形態で説明される
調整部５３、後述する第２実施の形態で説明されるルビ
行認識部５０、修正データ有無判定部５４および位置修
正部５５、ならびに後述する第３実施の形態で示される
複数自由曲線有無判定部５６および複数線位置修正部５
７をさらに含む。

【００３１】図１（Ｂ）において文書画像処理装置は該
装置自体を集中的に監視および制御するためのＣＰＵ
（中央処理装置の略）３０を含み、ＣＰＵ３０には画像
入力部１の一例であるスキャナ１Ａ、表示部２、線入力
部３の一例であるタブレット３Ａ、各種プログラムを記
憶するためのプログラム記憶部３１Ｐおよび各種データ
を記憶するためのデータ記憶部３１Ｄを含む記憶部３
１、通信ネットワーク３３を接続するための通信Ｉ／Ｆ
（インタフェースの略）３２、ならびに各種プログラム
および各種データが格納される外部記憶媒体３５がセッ
トされて、これをアクセスするための外部記憶媒体ドラ
イバ３４が接続される。通信ネットワーク３３は、例え
ばインターネットのようなあらゆる通信ネットワークを
適用できる。

【００３２】図１（Ｂ）には、第１実施の形態によるデ
ータ記憶部３１Ｄの記憶内容例が示される。その詳細は
後述する。

【００３３】図１（Ａ）の文書画像処理装置の動作にお
いて、画像入力部１により入力された文書の画像データ
は表示部２においてビットマップフォントに展開されて
表示されるとともに、データ記憶部３１Ｄにおいて画像
データ３６Ｄとして格納される。ユーザは、表示された
文書画像を見ながら、線入力部３を操作してフリーハン
ドの手書きによる線分（以下、自由曲線という）を文書
画像の所望位置の文字列に重ねて入力する。自由曲線に
は、傾いていない直線や傾いた直線、折れ線なども含ま
れる。入力された自由曲線のデータは入力データ３６Ａ
として逐次、データ記憶部３１Ｄに格納される。次に、
行抽出部４により、画像データ３６Ｄと入力データ３６
Ａとを利用して判別行領域データ３６Ｂが抽出されて、
曲線修正部５に与えられる。判別行領域データ３６Ｂ
は、画像データ３６Ｄで示される文書において自由曲線
が引かれた行の領域を示す情報である。曲線修正部５で
は、与えられた判別行領域データ３６Ｂと入力データ３
６Ａとを利用して、入力データ３６Ａを後述するように
修正して、修正データ３６Ｃとしてデータ記憶部３１Ｄ
に格納する。

【００３４】透過処理部７１は、画像入力部１によって
入力された画像データ３６Ｄと曲線修正部５により得ら
れた修正データ３６Ｃから、修正データ３６Ｃによる線
分が重ねて引かれる画像を、該線分から透過して表示さ
れるように処理（以下、透過処理という）を行ない、処
理後の画像データを表示部２に渡して、表示部２により
表示させる。なお、入力データ３６Ａおよび修正データ
３６Ｃは、以降の各実施の形態では入力データ３６ＡＡ
および修正データ３６ＣＣとして参照される。

【００３５】画像入力部１としては、ここではＯＣＲ
（光学的文字読取装置）、複写機、電子カメラなどの画
像読取装置であるスキャナ１Ａが示されるが、これに限
定されない。つまり、予め原稿を読取って得られた画像
が格納されたＣＤ−ＲＯＭ，ハードディスク、フレキシ
ブルディスク、光磁気ディスクなどの記録媒体読取装置
や、半導体メモリであってもよい。また、文書画像デー
タの入力は、画像入力部１に代替して、通信ネットワー
ク３３を介して受信する方式であってもよい。

【００３６】表示部２は、図示されない表示制御部と出
力部とを備える。出力部は、たとえばＣＲＴ（陰極線
管）やＬＣＤ（液晶ディスプレイ）などの画像表示装置
でよい。動作において、表示部２は、まず画像入力部１
から送られてきた画像データ３６Ｄよる文書画像を表示
し、次に線入力部３から与えられる入力データ３６Ａに
よる自由曲線を文書画像に重ねて表示する。そして、自
由曲線修正処理の後、入力データ３６Ａによる自由曲線
の表示を消去し、曲線修正部５から与えられる修正後の
入力データ３６Ａに従う、すなわち修正データ３６Ｃに
従う線分が表示部２の文書画像に重ねて表示される。

【００３７】ここで、線入力部３はタブレット３Ａに限
定されない。たとえば、マウス、カーソルおよびジョイ
スティックなどのポインティングデバイスであってもよ
い。線入力部３により入力された自由曲線の入力データ
３６Ａは表示部２、行抽出部４および曲線修正部５にそ
れぞれ与えられる。

【００３８】行抽出部４と曲線修正部５は、ＣＰＵ３０
と記憶部３１とを含んで構成される。

【００３９】次に図２を参照してこの発明に係る文書画
像処理装置の全体の処理の流れを説明する。ステップＳ
１（図２中では、Ｓ１と略される）では、画像入力部１
から画像データ３６Ｄを入力する。以下の説明ではビッ
トマップに展開された画像データ３６Ｄの領域の水平方
向をＸ方向、垂直方向をＹ方向、左上端を原点とする。
ステップＳ２では、ユーザは表示部２により表示された
画像データ３６Ｄを見ながら、線入力部３から手書きに
より自由曲線を所望文字列に重ねて入力する。自由曲線
の入力データ３６Ａは、たとえばタブレット３の主面上
の（ｘ（ｉ），ｙ（ｉ））（ｉ＝１〜ｎ）のように、時
系列のｎ個の座標値の集合で規定される。ここでは、自
由曲線の入力成分が小さい順に入力データ３６Ａに設定
される。ステップＳ３では、画像データ３６Ｄの領域に
対して、後述する各種の処理が実行されるべき処理領域
が指定されて、以降の処理は、この処理領域内で行なわ
れる。画像データ３６Ｄの全領域を処理の対象とするよ
りも、このように部分的な領域を指定して、この部分領
域に対してのみ処理をする方が処理速度が向上するので
望ましい。

【００４０】次にステップＳ４では、以降の処理を、画
像データ３６Ｄの文書が縦書きである場合の行（Ｘ方
向）、横書きである場合の列（Ｙ方向）のどちらに対し
て実行するかを決定するために、自由曲線が水平方向
（行方向、Ｘ方向）に対して入力されたか判別される。
ステップＳ５では、自由曲線が水平方向に入力されたと
判断されると、ステップＳ６以降の処理が実行される
が、水平方向に入力されたのではないと判断されると、
ステップＳ５の処理が実行されて、ステップＳ６以降の
処理において行と列が入換えられる。

【００４１】ステップＳ６では、処理領域において、後
述するようにして文字の領域情報が検出される。ステッ
プＳ７では、検出された文字の領域情報と入力データ３
６Ａで示される自由曲線の方向とにより、対応する行の
領域情報が抽出される。ステップＳ８では、抽出された
行の領域情報により、入力データ３６Ａの自由曲線は、
いずれの行に対して引かれたかが判別される。ステップ
Ｓ９では、判別された行に重ねて自由曲線が引かれるよ
うに、後述するようにして入力データ３６Ａが修正さ
れ、修正データ３６Ｃが得られる。ステップＳ１０で
は、画像データ３６Ｄの文書中の所望文字列が表示部２
にて、修正により得られた修正データ３６Ｃに基づく線
分を透過して表示されるように透過処理が行なわれる。
Ｓ１１では、透過処理後のデータと画像データ３６Ｄが
表示部２に表示される。ここでは、図１Ａの画像入力部
１がステップＳ１、表示部２がステップＳ１０、線入力
部３がステップＳ２、行抽出部４がステップＳ３〜Ｓ
８、曲線修正部５がステップ９、透過処理部７１がステ
ップＳ１０の処理機能をそれぞれ有する。

【００４２】次に図１Ａの行抽出部４について説明す
る。図３には行抽出部４の構成が示される。図３におい
て行抽出部４は処理領域指定部６、方向判別部７、文字
領域検出部８、行領域抽出部９および行判別部１０を含
む。処理領域指定部６、方向判別部７および行判別部１
０は、後述する実施の形態では、処理領域指定部６Ａ、
方向判別部７Ａおよび行判別部１０Ａとして参照され
る。

【００４３】処理領域指定部６は、画像データ３６Ｄの
領域において、入力データ３６Ａで示される自由曲線か
ら離れた領域が、後述する文字領域検出や行抽出の処理
に影響されないようにする。つまり、文字領域検出や行
領域抽出の処理が施される処理領域は、自由曲線の入力
データ３６Ａで示される位置から一定範囲に指定され
る。図４（Ａ）を参照して、以下に具体的に説明する。

【００４４】図４（Ａ）には、画像入力部１から取得し
た画像データ３６Ｄに対応の文書が表示部２に表示され
ている様子が示される。図４（Ａ）ではＸ方向の画像デ
ータ３６Ｄの幅ＷＤとＹ方向の画像データ３６Ｄの高さ
ＨＴがそれぞれ示される。図４（Ｂ）には、表示された
画像データ３６Ｄに対して自由曲線のデータ（入力デー
タ３６Ａ）が入力されて、処理領域ＰＥ（図の点線で囲
まれた部分）が指定されている様子が示される。自由曲
線の入力データ３６Ａ（ｘ（ｉ），ｙ（ｉ））（ｉ＝１
〜ｎ）の始点の座標データ（ｘ（１），ｙ（１））と終
点の座標データ（ｘ（ｎ），ｙ（ｎ））とにより、処理
領域ＰＥは矩形領域のデータ（ｘ（１）−Ｗ，ｙ（１）
−Ｈ），（ｘ（ｎ）＋Ｗ１，ｙ（ｎ）＋Ｈ１）で指定さ
れる。ただし（ｘ（１）−Ｗ，ｙ（１）−Ｈ）は矩形領
域の左上端の座標値を示し（ｘ（ｎ）＋Ｗ１，ｙ（ｎ）
＋Ｈ１）は矩形領域の右下端の座標値を示す。また、こ
こで変数Ｗ，Ｈ，Ｗ１およびＨ１はそれぞれ任意の定数
であり文書の画像データ３６Ｄにおける行間隔や文字間
隔の定数倍の値を持つように設定されると、入力した画
像データ３６Ｄに応じた処理領域ＰＥを指定することが
できる。なお、本実施の形態では処理領域ＰＥを自由曲
線の入力データ３６Ａで示される位置情報に基づいて自
動設定されるが、これに限定されない。つまり、必要に
応じてタブレット３などで処理領域ＰＥを指定するよう
にしてもよい。

【００４５】方向判別部７により、自由曲線がＸ方向お
よびＹ方向のいずれに入力されたかが判別される。この
方向判別処理について図５のフローチャートを参照し説
明する。まず、ステップＳ２１では、自由曲線の入力デ
ータ３６Ａ（ｘ（ｉ），ｙ（ｉ））（ｉ＝１〜ｎ）の始
点座標（ｘ（１），ｙ（１））と終点の座標（ｘ
（ｎ），ｙ（ｎ））との、Ｘ方向の差の絶対値｜ｘ
（１）−ｘ（ｎ）｜とＹ方向の差の絶対値｜ｙ（１）−
ｙ（ｎ）｜とが比較されて、前者が大きい場合にはステ
ップＳ２２において、Ｘ方向に自由曲線が引かれたと判
別される。逆に後者が大きい場合には、ステップＳ２３
において、自由曲線はＹ方向に引かれたと判別される。

【００４６】図６に、図５の処理の具体例が示される。
自由曲線Ｌの一方の端点の座標（２３，３４）と他方端
点の座標（３１，３５）のＸ方向の差の絶対値は８（＝
｜２３−３１｜）、Ｙ方向の差の絶対値は１（＝｜３４
−３５｜）であり、前者の値が大きい。よって、文書の
画像データ３６Ｄに対して手書きによる自由曲線Ｌの入
力データ３６ＡはＸ方向に引かれたと判定される。

【００４７】文字領域検出部８は、処理領域ＰＥ内の画
像データ３６Ｄについて、自由曲線の入力データ３６Ａ
の方向に基づき文字領域を検出する。文字領域の検出方
法の一例として、ＸおよびＹの各方向のそれぞれへの投
影法が採用される。この投影法とは、画像データ３６Ｄ
は文字部分と空白部分との濃淡レベルのデータを有して
いて、この濃淡レベルデータを指定された方向に投影す
るものである。つまり、画像データ３６ＤのＹ方向（あ
るいはＸ方向）への投影図がとられて、処理領域ＰＥは
候補とされる１つ以上の行領域（あるいは候補とされる
１つ以上の列領域）と、そうでない領域とに分けられ
る。そして、候補とされる１つ以上の行領域（あるいは
列領域）について、同様にしてＸ方向（あるいはＹ方
向）への投影図がとられることにより、処理領域ＰＥは
文字の候補とされる１つ以上の領域とそうでない領域と
に分けられる。さらに、文字の候補領域のそれぞれにつ
いて、同様にしてＹ方向（あるいはＸ方向）への投影図
がとられて、１つ以上の文字領域が検出される。これ
を、図７（Ａ）〜（Ｆ）を参照して説明する。

【００４８】たとえば自由曲線ＬがＸ方向に入力された
場合に（図７（Ａ）参照）、自由曲線Ｌが入力される前
の画像データ３６Ｄについて、まず処理領域ＰＥのＹ方
向（図中、点線矢印方向）への投影図ＹＳＤがとられる
（図７（Ｂ）参照）。そして、処理領域ＰＥは複数の候
補となる行領域ＬＥとそうでない領域（図中、斜線部）
とに分けられる（図７（Ｃ）参照）。次に、候補となる
行領域ＬＥのそれぞれに対してＸ方向（図中、点線矢印
方向）の投影図ＸＳＤがとられると（図７（Ｄ）参
照）、処理領域ＰＥは１つ以上の候補となる文字領域Ｃ
Ｅとそうでない領域とに分けられる。図７（Ｄ）におい
て、文字「川」や文字「い」は１つの文字であるのに、
これらの文字領域は、複数の候補となる文字領域ＣＥに
分けられている。したがって、このような文字に対して
も正しく文字領域ＣＥの検出ができるようにするために
は、それぞれの文字領域ＣＥのＸ方向の距離が、あるし
きい値Ｖ以下であれば、それら文字領域ＣＥを１つの文
字領域ＣＥに統合するという方法が採用される（図７
（Ｅ）参照）。ただし、しきい値Ｖは任意の定数であ
り、画像データ３６Ｄの文書における文字間隔の定数倍
の値に設定されると、画像データ３６Ｄに応じた処理を
行なうこともできる。さらに、それぞれの文字領域ＣＥ
に対してＹ方向への投影図ＹＳＤが採られると、各文字
についての文字領域ＣＥ１が最終的に検出される（図７
（Ｆ）参照）。

【００４９】行領域抽出部９は、処理領域ＰＥにおける
画像データ３６Ｄに対する自由曲線Ｌの入力データ３６
Ａの方向に基づき、行領域の抽出を行なう。行領域抽出
方法の一例として、各文字領域ＣＥ１のＸおよびＹ方向
への投影図ＸＳＤおよびＹＳＤを用いる方法がある。こ
の方法は、各文字領域ＣＥ１の情報について入力データ
３６Ａの方向と直交する方向に投影図をとることによ
り、行領域（あるいは列領域）を抽出するものである。
具体的には、たとえば、図８（Ａ）のように予め複数の
文字領域ＣＥ１の情報が検出されているとする。自由曲
線ＬはＸ方向に引かれていることが判別されているの
で、Ｙ方向への投影図ＹＳＤが採られると（図８（Ｂ）
参照）、行領域ＬＥ１を抽出することができる（図８
（Ｃ）参照）。また複数の文字領域ＣＥ１の情報を用い
ずに、行領域ＬＥ１を抽出する方法がある。たとえば、
図７（Ｄ）でＸ方向への投影図ＸＳＤにおいて、その両
端部分の情報を切取れば、１つ以上の行領域ＬＥ１が抽
出される。

【００５０】抽出された行領域ＬＥ１のそれぞれは、矩
形領域のデータ（（ｓ（ｊ），ｔ（ｊ）），（ｕ
（ｊ），ｖ（ｊ）））（ｊ＝１〜ｍ）で規定されるとす
る。ただし、変数ｍは抽出された行領域ＬＥ１の総個数
を示し、変数（ｓ（ｊ）、ｔ（ｊ））は矩形領域の左上
端の座標値を示し、変数（ｕ（ｊ），ｖ（ｊ））は矩形
領域の右下端の座標値を示す。このようにして抽出され
た１つ以上の行領域ＬＥ１の情報は、ＣＰＵ３０の図示
されない内部メモリに一時格納される。

【００５１】行判別部１０は、自由曲線Ｌが画像データ
３６Ｄの文書中のいずれの行に対して引かれたかを判別
する。この行を判別するために、１つ以上の行領域ＬＥ
１のデータ（（Ｓ（ｊ），ｔ（ｊ）），（ｕ（ｊ），ｖ
（ｊ）））（ｊ＝１〜ｍ）と自由曲線Ｌの入力データ３
６Ａ（ｘ（ｉ），ｙ（ｉ））（ｉ＝１〜ｎ）とが用いら
れる。具体的には、自由曲線ＬがＸ方向に入力された場
合には、自由曲線Ｌの入力データ３６Ａのｙ座標の平均
値ＭＹ（＝（ｙ（１）＋ｙ（２）＋…＋ｙ（ｎ））／
ｎ）と行領域ＬＥ１の情報におけるＹ方向の平均値ＭＹ
（ｊ）（＝（ｔ（ｊ）＋ｖ（ｊ））／２）（ｊ＝１〜
ｍ）とが比較されて、自由曲線Ｌが引かれた行が決定さ
れる。

【００５２】図９のフローチャートを用いて、行判別部
１０による処理を、自由曲線ＬがＸ方向に入力された場
合について説明する。ステップＳ３１では、行領域ＬＥ
１のデータ（（ｓ（ｊ），ｔ（ｊ）），（ｕ（ｊ）、ｖ
（ｊ）））（ｊ＝１〜ｍ）と自由曲線Ｌの入力データ３
６Ａ（ｘ（ｉ），ｙ（ｉ））（ｉ＝１〜ｎ）とがＣＰＵ
３０の図示されない内部メモリおよびデータ記憶部３１
Ｄから読出される。ステップＳ３２では、１つ以上の行
領域ＬＥ１が行領域抽出部９によって抽出されているか
どうかが判定される。行領域ＬＥ１が抽出されていない
場合には、自由曲線Ｌの付近に文字が存在しないという
ことが想定されるため、すべての処理は終了し、自由曲
線Ｌの入力データ３６Ａについての曲線修正部５による
修正は行なわれない。

【００５３】一方、行領域抽出部９により予め行領域Ｌ
Ｅ１が抽出されていれば、ステップＳ３３では、自由曲
線Ｌの入力データ３６Ａのｙ座標値の平均値ＭＹが求め
られる。ステップＳ３４では、変数ｊに１が設定され
て、１つ目の行領域ＬＥ１のデータが指定される。ステ
ップＳ３５で、平均値ＭＹが行領域のＹ方向の最小値ｔ
（ｊ）と最大値ｖ（ｊ）の間に含まれるか否かを判定す
るために、ｖ（ｊ）＞ＭＹ＞ｔ（ｊ）が成立するか否か
を判定して、成立するならステップＳ３８に進み、成立
しないならステップＳ３９に進む。

【００５４】ステップＳ３８では、変数ＬＮＥに“ｊ”
が設定されて、ステップＳ３９では、次の行領域ＬＥ１
のデータが指定されて、その後、ステップＳ４０に進
む。なお、変数ＬＮＥは自由曲線Ｌが引かれた行領域Ｌ
Ｅ１を特定するための値が設定される変数である。

【００５５】ステップＳ４０では、ステップＳ３１で読
出されたすべての行領域ＬＥ１のデータに対して処理が
なされたか判定される。処理がなされていなければ、ス
テップＳ３５に戻るが、処理がなされたと判定されれ
ば、一連の処理は終了して、変数ＬＮＥの値で示される
行領域ＬＥ１は、自由曲線Ｌが引かれた行として判定さ
れる。以下、これを、判別行という。

【００５６】判別行は、矩形の領域データ（（ｓ，
ｔ），（ｕ，ｖ））として規定される判別行領域データ
３６Ｂとして、データ記憶部３１Ｄにストアされる。た
だし、変数（ｓ，ｔ）は矩形領域の左上端の座標値、変
数（ｕ，ｖ）は矩形領域の右下端の座標値をそれぞれ示
す。自由曲線ＬがＹ方向に入力された場合には図９の処
理において、ステップＳ３３とＳ３５でＭＹをＭＸに、
ｔをｓに、ｖをｕにそれぞれ置換えればよい。

【００５７】ここで自由曲線ＬがＸ方向に入力された場
合の具体的な処理を、図１０（Ａ）〜（Ｄ）を参照し説
明する。図１０（Ａ）では、表示部２において文書の画
像に対して自由曲線Ｌが手書き入力された様子が示され
る。図１０（Ｂ）では、処理領域指定部６により指定さ
れた処理領域ＰＥ内で文字領域検出部８により、文字領
域の検出が行なわれた結果が示される。図１０（Ｃ）で
は、検出された各文字領域に関する情報と方向判別部７
により判別された自由曲線Ｌの入力データ３６Ａで示さ
れる方向とから、行領域抽出部９により１つ以上の行領
域ＬＥ１の抽出が行なわれた結果が示される。図１０
（Ｄ）では、行判別部１０により、自由曲線Ｌが、検出
された１つ以上の行領域ＬＥ１のうちのいずれの領域の
行に対して引かれたものかが判別された結果が示され
る。これらの処理の結果は、画面上に逐次表示されなく
てもよいが、処理が適切に実行されていることをユーザ
が容易に判別できるようにするために、ここでは表示さ
れるものとする。

【００５８】次に、図１の曲線修正部５について説明す
る。曲線修正部５は、行抽出部４で得られた判別行に対
して自由曲線Ｌをどのように修正して、どの位置に引く
かを決定する。自由曲線Ｌの修正処理には、判別行の領
域データ（（ｓ，ｔ），（ｕ，ｖ））と自由曲線Ｌの入
力データ３６Ａ（ｘ（ｉ）、ｙ（ｉ））（ｉ＝１〜ｎ）
との位置に関する情報が用いられる。通常は、自由曲線
Ｌは所定の線幅を有した直線に修正される。ここでは、
自由曲線ＬがＸ方向に入力された場合、判別行領域デー
タ３６Ｂの判別行領域に重ねて、自由曲線Ｌによる直線
が引かれるように、入力データ３６Ａが修正される場合
について説明する。

【００５９】図１１を参照して、自由曲線ＬがＸ方向に
入力された場合の曲線修正処理について説明する。ステ
ップＳ４１ではデータ記憶部３１Ｄから判別行領域デー
タ３６Ｂ（（ｓ，ｔ），（ｕ，ｖ））と自由曲線Ｌの入
力データ３６Ａ（ｘ（ｉ），ｙ（ｉ））（ｉ＝１〜ｎ）
とが読出される。ステップＳ４２では、変数ｉに１が設
定されて、入力データ３６Ａにおける１つ目の座標のデ
ータが指定される。ステップＳ４３では、入力データ３
６Ａのｘ座標のデータはそのままにして、かつｙ座標の
データは、判別行領域のＹ方向の中間位置（（ｔ＋ｖ）
／２）の値とされる。結果として、入力データ３６Ａは
修正データ３６Ｃ（ｘｃ（ｉ）、ｙｃ（ｉ））に変換さ
れる。ステップＳ４４では、入力データ３６Ａの次の座
標のデータが指定される。ステップＳ４５では、入力デ
ータ３６Ａのすべての座標のデータに対して処理がなさ
れたか判定される。なされていなければ、ステップＳ４
３に戻るが、なされていれば、ステップＳ４６で、幅設
定部７１から幅データｔｈを得る。その後、曲線修正の
処理は終了し、修正データ３６Ｃ（ｘｃ（ｉ）、ｙｃ
（ｉ））（ｉ＝１〜ｎ）と幅データｔｈが得られてデー
タ記憶部３１Ｄに格納される。

【００６０】なお、修正データ３６Ｃは座標（ｘｃ
（１），ｙｃ（１））と座標（ｘｃ（ｎ）、ｙｃ
（ｎ））とを結ぶ幅データｔｈの幅を有した直線として
規定されてもよい。左上の座標を（ｘ（１）、ｔ）、右
下の座標を（ｘ（ｎ）、ｖ）とするような矩形領域とし
ても良い。上述した自由曲線ＬがＸ方向に入力された場
合の具体的な修正処理の様子が後述の図１３（Ａ）と
（Ｂ）で示される。

【００６１】ここで、自由曲線の入力データがＸ方向に
入力された場合の曲線修正処理に含まれる幅設定処理に
ついて、図１２のフローチャートを用いて説明する。

【００６２】ステップＳ５１で、判別行領域データ３６
Ｂの情報（（ｓ、ｔ）、（ｕ、ｖ））を読出す。ステッ
プＳ５２で、ユーザにより線幅が指定されているか否か
判別し、指定されている場合には、ステップＳ５３で、
ユーザにより指定された線幅の値を幅データｔｈに設定
する。ユーザが線幅を指定していない場合には、ステッ
プＳ５４で判別行領域のＹ方向の幅（ｖ−ｔ）＋１を幅
データｔｈとして、判別行の文字列のＹ方向の大きさに
応じた幅の線を、該文字列に重ねて引くことができる。
幅設定処理を終えると、前述の曲線修正処理に幅データ
ｔｈを与える。

【００６３】なお自由曲線ＬがＹ方向に手書き入力され
た場合には、図１１のフローチャートのステップＳ４３
で示される式を、ｘｃ（ｉ）＝（ｓ＋ｕ）／２，ｙｃ
（ｉ）＝ｙ（ｉ）と変更し、図１２のフローチャートで
ステップＳ５４のＹをＸに、ｔをｓに、ｖをｕに変更す
ればよい。これにより判別行領域の中間位置において幅
データｔｈの幅を有する直線が引かれるように、自由曲
線Ｌの入力データ３６Ａが修正されて、修正データ３６
Ｃが得られる。

【００６４】また、修正データ３６Ｃで示される線分の
端点の座標値については、各文字領域ＣＥ１の情報を利
用して、修正データ３６Ｃで示される線分を見やすくす
るため、調整部５３により修正データ３６Ｃで示される
線分の長さが修正されてもよい。たとえば、図１４
（Ａ）で示されるように文字「木」、文字「川」のそれ
ぞれの文字領域ＣＥ１では、該文字領域ＣＥ１の途中か
ら自由曲線Ｌが引かれている。このような場合には、調
整部５３により自由曲線Ｌが判別行の各文字領域ＣＥ１
に対して自由曲線Ｌの方向において所定しきい値Ｔ以上
の長さで引かれているかどうかが判断されて、修正デー
タ３６Ｃが修正される。ただし、しきい値Ｔは任意の定
数であり、画像データ３６Ｄの文章の文字間隔の定数倍
の値が設定されると、画像データ３６Ｄに応じた修正デ
ータ３６Ｃの修正処理を行なうことができる。各文字領
域ＣＥ１に対して、自由曲線Ｌの方向において、自由曲
線Ｌがしきい値Ｔ以上の長さで引かれている場合には、
該文字領域ＣＥ１の文字に対して自由曲線が引かれたと
判断されて、その文字領域ＣＥ１のＸ方向のすべての範
囲について直線が引かれるように修正データ３６Ｃが修
正される（図１４（Ｂ）参照）。また、ある文字領域Ｃ
Ｅ１とこれに隣接する文字領域ＣＥ１との間に直線の端
点が位置するように、修正データ３６Ｃが修正される
（図１４（Ｃ）参照）。このように、自由曲線Ｌに対応
の判別行の文字領域ＣＥ１の情報を利用して、自由曲線
Ｌの修正データ３６Ｃで示される直線の長さを修正でき
る。

【００６５】曲線修正部５は、ルビ行認識部５０を有す
る。ルビ行認識部５０は、行判別部４により判別された
行領域ＬＥ１（あるいは列領域）が、そのＹ方向（ある
いはＸ方向）の幅が他の行領域ＬＥ１（あるいは列領
域）の幅と比べて、所定しきい値Ｕ以下である場合に
は、漢字などにふられたルビの行であると認識する。た
だし、しきい値Ｕは、任意定数であり、画像データ３６
Ｄの文書における文字間隔や行間隔の定数倍の値が設定
されることにより、画像データ３６Ｄに応じたルビ行認
識の処理を行なうことができる。

【００６６】図１５には、ルビ付文字が含まれる文字列
に対して、ルビ行に線分が引かれた場合の、曲線修正の
処理が示される。ここでは、次の（１）〜（３）に示さ
れるような処理のいずれかが選択されて、自由曲線Ｌが
修正される。

【００６７】（１） ルビの行を含んだ線幅にて線を引
く処理（図１５の矢印（１）参照）。

【００６８】（２） ルビの行を無視して、再度、行判
別処理を行なって、新たな判別行を決定し、決定された
判別行に基づいて線を引く処理（図１５の矢印（２）参
照）。詳述すると、このように新たに決定された判別行
は、ルビがふられている文字のみからなる行となる。そ
して新たな判別行について線幅を有した線分が引かれ
る。

【００６９】（３） 上述の（２）の処理と同様に、再
度、行判別処理が行なわれて、新たな判別行が決定され
て、決定された判別行に基づいて所定の幅を有した線を
引く処理（図１５の矢印（３）参照）。詳述すると、新
たに決定された判別行において、ルビのある文字に対し
てはルビの行と新たな判別行とを含んだ線幅にて線を引
き、ルビのない文字に対しては新たな判別行のみを含ん
だ線幅を有して線を引く。

【００７０】次に、透過処理部７１について説明する。
図１６は、図１の透過処理部７１の処理フローチャート
である。透過処理部７１は、修正データ３６Ｃおよび幅
データｔｈに従う線分が引かれる位置に対応の画像デー
タを該線分から透過して表示されるように透過処理を行
なう。この透過処理には、画像入力部１で取得した画像
データ３６Ｄ（Ｉｘ（ｗ）（ｊ），Ｉｙ（ｈ）（ｊ））
（ｗ＝１〜ＷＤ，ｈ＝１〜ＨＴ，ｊ＝１〜ｐ）と修正デ
ータ３６Ｃ（ｘｃ（ｉ），ｙｃ（ｉ））（ｉ＝１〜
ｎ）、自由曲線データの色データｃ（ｊ）（ｊ＝１〜
ｐ）、透過率αが用いられる。ただし、ｐは画像データ
３６Ｄを構成するプレーン数であり、モノクロ画像のと
きは１、カラー画像のときは３であることが多い。ま
た、通常は、ｃ（ｊ）とαはユーザから予め指定され
る。ｃ（ｊ）は、２値画像の場合は０≦ｃ（ｊ）≦１、
グレー画像またはカラー画像の場合は０≦ｃ（ｊ）≦２
５５の整数であることが多く、αは０≦α≦１の任意の
定数であり、１に近づくほど修正データ３６Ｃによる線
分の表示が薄く画像データ３６Ｄによる画像が該線分を
介して透過するように表示される。また、０に近づくほ
ど修正データ３６Ｃによる線分の表示が濃く、画像デー
タ３６Ｄによる画像が該線分を介して透過しにくくなる
ように表示されるとする。

【００７１】次に、透過処理について、図１６のフロー
チャートを参照し説明する。ステップＳ６１で、画像デ
ータ３６Ｄ（Ｉｘ（ｗ）（ｊ），Ｉｙ（ｈ）（ｊ））
（ｗ＝１〜ＷＤ、ｈ＝１〜ＨＴ、ｊ＝１〜ｐ）、修正デ
ータ３６Ｃ（ｘｃ（ｉ）、ｙｃ（ｉ））（ｉ＝１〜
ｎ）、自由曲線データの色データｃ（ｊ）（ｊ＝１〜
ｐ）、透過率αをデータ記憶部３１Ｄから読出す。

【００７２】次のステップＳ６２で、修正データ３６Ｃ
の１つ目の座標データ（ｉ＝１）が指定される。ステッ
プＳ６３では、画像データ３６Ｄが修正データ３６Ｃに
よる線分を透過して表示されるように画像データ３６Ｄ
が処理される。具体的には、画像データ３６Ｄの各値を
画像データ３６Ｄの各値に透過率αを掛けたものと、自
由曲線データの色データｃ（ｊ）に１−透過率αを掛け
たものとを、足したものとして処理する。

【００７３】次のステップＳ６４で、修正データ３６Ｃ
の次の座標データが指定される。ステップＳ６５で、自
由曲線データのすべての座標データに対して処理がなさ
れたか判定される。なされていなければ、ステップＳ６
３に戻るが処理がなされていれば、一連の透過処理は終
了する。

【００７４】なお、ここでは、元の画像データ３６Ｄに
対して、透過処理後の画像データ３６Ｄを書き加えてい
るが、元の画像データ３６Ｄがコピーされた別の領域を
データ記憶部３１Ｄに準備し、そこに対して透過処理後
の画像データ３６Ｄを書き加えるように処理してもよ
い。

【００７５】（第２実施の形態）次に、第２実施の形態
について説明する。上述した第１実施の形態では、自由
曲線Ｌが１つ手書き入力完了すると、直ちに図２のステ
ップＳ３以降の処理が行なわれるという逐次処理が採用
されている。なお、自由曲線Ｌの入力完了は、周知の技
術で検知される。つまり、図示されないタイマを用い
て、自由曲線Ｌ入力後、所定時間経過が計測されて、所
定時間経過後も、次の自由曲線Ｌのデータが得られなか
ったことに応じて、自由曲線Ｌの入力完了が検出され
る。

【００７６】第２実施の形態では、第１実施の形態で示
される方法により得られた修正データ３６Ｃと、画像デ
ータ３６Ｄとがデータ記憶部３１Ｄに既に格納されて表
示部２に表示されている状態において、さらに同一の画
像データ３６Ｄについて新たな自由曲線Ｌが入力された
場合の処理が示される。

【００７７】本実施の形態の装置構成は、第１実施の形
態のそれと同様であるが、機能構成においては次のよう
に相違する。つまり、図１（Ａ）に示されるように曲線
修正部５は、第２実施の形態に関して修正データ有無判
定部５４および位置修正部５５を含む。

【００７８】修正データ有無判定部５４は、判別行領域
データ３６Ｂ（（ｓ，ｔ），（ｕ，ｖ））で示される判
別行について自由曲線Ｌが入力された場合に、該判別行
に対して既に修正された自由曲線が引かれているか否か
を判断する。修正データ有無判定部５４により、該判別
行に対して既に修正された自由曲線が引かれていると判
断された場合には、位置修正部５５により、現在入力さ
れた自由曲線Ｌは、該判別行に既に引かれた修正後の自
由曲線と連続するように位置修正される。

【００７９】現在、自由曲線Ｌが入力された判別行に対
応した１つ以上の修正データ３６Ｃが、データ記憶部３
１Ｄに既に登録されているか否かを判断する修正データ
有無判定部５４による処理を、該判別行について自由曲
線ＬがＸ方向に入力された場合について、図１７のフロ
ーチャートを参照して説明する。なお、ここではデータ
記憶部３１Ｄ中に、既に１つ以上の修正データ３６Ｃが
登録されているものと想定する。

【００８０】図１７のステップＳ７１では、今回、手書
き入力された自由曲線Ｌの入力データ３６Ａ（ｘ
（ｉ），ｙ（ｉ））（ｉ＝１〜ｎ）と、１つ以上の修正
データ３６Ｃ（ｘ（ｉ）（ｊ），ｙ（ｋ）（ｊ））（ｋ
＝１〜ｒ）（ｊ＝１〜ｎ（ｋ））（ただし、変数ｎ
（ｋ）は、修正データ３６Ｃを構成する座標データの総
個数）とがデータ記憶部３１Ｄから読出される。

【００８１】ステップＳ７２では、変数ｋに１が設定さ
れて、読出された１つ以上の修正データ３６Ｃのうち、
１つ目の修正データ３６Ｃが指定される。ステップＳ７
３で入力データのｙ座標の平均値ＭＹを求める。ステッ
プＳ７４では、｜ＭＹ―ｙ（ｋ）（１）｜が、あるしき
い値Ｒより小さければ、ステップＳ７７に進み、自由曲
線Ｌは指定された修正データ３６Ｃで示される線分と同
一行に引かれていると判断されて、処理は終了する。そ
うでなければ、ステップＳ７５において変数ｋが１イン
クリメントされて、次の修正データ３６Ｃが指定され
る。

【００８２】ただし、しきい値Ｒは任意定数であり、画
像データ３６Ｄで示される文書における文字間隔や行間
隔の定数倍の値が設定されると、画像データ３６Ｄに応
じた処理を行なうことができる。

【００８３】ステップＳ７６では、ステップＳ７４の条
件を満たすような修正データ３６Ｃを検出するために、
ステップＳ７１で読出されたすべての修正データ３６Ｃ
について処理が行なわれたか否か、すなわちｋ＞ｒが成
立するか否かが判定される。ステップＳ７４の条件を満
たすような修正データ３６Ｃが検出されない場合には、
ステップＳ７８において、自由曲線Ｌと同一行に対して
既に引かれた線分は存在しないと判断されて、処理は終
了する。

【００８４】なお、自由曲線ＬがＹ方向に入力された場
合には、図１７のステップＳ７３とＳ７４において、変
数ｙを変数ｘに、変数Ｙを変数Ｘにそれぞれ置換えて、
同様に処理すればよい。

【００８５】次に、データ記憶部３１Ｄ中の修正データ
３６Ｃに基づいて既に線分が引かれた行と同一の行に対
して、自由曲線Ｌが引かれた場合の表示処理を、図１８
（Ａ）〜（Ｅ）を用いて説明する。

【００８６】表示部２に予め表示された画像データ３６
Ｄの文書に対して、線入力部３からユーザによる自由曲
線Ｌが手書き入力されると（図１８（Ａ）参照）、処理
領域ＰＥが指定されて、１つ以上の文字領域ＣＥ１が検
出されて（図１８（Ｂ）参照）、行領域ＬＥ１が抽出さ
れる（図１８（Ｃ）参照）。抽出された行領域ＬＥ１で
示される判別行に重ねて幅ｔｈ１の直線を引くように、
自由曲線Ｌについて曲線修正処理が行なわれる（図１８
（Ｄ）参照）。このとき、修正データ有無判定部５４に
より、該判別行に修正データ３６Ｃによる線分Ｌ２が既
に引かれていると判断されるため、線分Ｌ１とＬ２とが
連続した１つの線分Ｌ３となるように、自由曲線Ｌの修
正データ３６Ｃが位置修正部５５により修正される（図
１８（Ｅ））。ここで、線分Ｌ１とＬ２は、幅データｔ
ｈ０とｔｈ１をそれぞれ有すると想定する。具体的に
は、文字列に重ねて引かれるようにするために、それぞ
れの修正データ３６Ｃのｙ座標Ｙ０とＹ１および幅デー
タｔｈ０とｔｈ１から、Ｙ方向の最小値Ｙ０−ｔｈ０／
２とＹ１−ｔｈ１／２および最大値Ｙ０＋ｔｈ０／２と
Ｙ１＋ｔｈ１／２を求めて、これらの最大値と最小値と
を用いて、線分Ｌ１とＬ２は（最大値＋最小値）／２を
中心として、最大値−最小値＋１を線幅とする線分Ｌ３
を示す修正データ３６Ｃに修正される。その結果、該判
別行に対して重ねて引かれた異なる線分Ｌ１とＬ２が位
置修正されて、線分Ｌ３が引かれることになる（図１８
（Ｅ）参照）。

【００８７】（第３実施の形態）上述の第１実施の形態
と第２実施の形態では、自由曲線Ｌが逐次手書き入力さ
れて処理される場合について説明したが、第３実施の形
態では、複数の自由曲線Ｌが入力されると、これらを一
括して処理する手順が説明される。第３実施の形態で
は、自由曲線Ｌの入力モードとして、ユーザにより一括
処理が選択される場合には、任意に複数の自由曲線Ｌが
手書き入力されると、線入力部３の図示されない一括処
理ボタンなどが操作されて、以下の処理が行なわれる。

【００８８】第３実施の形態による文書画像処理装置の
構成は、第１実施の形態のそれと同様であるが、機能構
成において以下の機能を新たに有する。つまり、線入力
部３からｑ本の自由曲線Ｌが入力されると、各自由曲線
Ｌについての入力データ３６Ａは、（ｘ（ｋ）（ｉ），
ｙ（ｋ）（ｉ））（ｋ＝１〜ｑ）（ｉ＝１〜ｎ（ｋ））
（ただし、変数ｎ（ｋ）はｋ番目の自由曲線Ｌを構成す
る座標の総個数）のように規定される。そして、入力デ
ータ３６Ａには、対応する自由曲線Ｌの入力方向の成分
が小さい順に設定されているとする。

【００８９】行抽出部４では、ｑ本の自由曲線Ｌのそれ
ぞれについて処理が行なわれるので、それぞれの自由曲
線Ｌについての判別行領域データ３６Ｂ（（ｓ（ｋ），
ｔ（ｋ）），（ｕ（ｋ），ｖ（ｋ）））（ｋ＝１〜ｑ）
が得られて、データ記憶部３１Ｄに格納される。このよ
うなデータ記憶部３１Ｄの内容例が図２１に示される。
ただし、変数（ｓ（ｋ），ｔ（ｋ））は対応する判別行
領域（矩形領域）の左上端の座標値を、変数（ｕ
（ｋ），ｖ（ｋ））は対応する判別行領域（矩形領域）
の右下端の座標値を示す。行判別部１０において得られ
た判別行のそれぞれに対応の判別行領域データ３６Ｂに
ついては、図２１に示されるようにデータ記憶部３１Ｄ
において該データを一意に特定するラベル値Ｌ（ｋ）＝
ｋ（ｋ＝１〜ｑ）が割当てられる。

【００９０】曲線修正部５は、第３実施の形態に関し
て、複数自由曲線有無判定部５６および複数線位置修正
部５７を有する。複数自由曲線有無判定部５６は、同一
の判別行、すなわち同一の判別行領域データ３６Ｂ
（（ｓ（ｋ）、ｔ（ｋ）），（ｕ（ｋ），ｖ（ｋ）））
（ｋ＝１〜ｑ）に対して複数の自由曲線Ｌが引かれてい
るかどうかを判断する。複数線位置修正部５７は、複数
自由曲線有無判定部５６により、同一判別行に複数の自
由曲線Ｌが引かれていると判断された場合に、同一判別
行に対して引かれている複数の自由曲線Ｌに対応の複数
の修正データ３６Ｃを、連続性を有するように修正す
る。

【００９１】ここで、複数自由曲線有無判定部５６につ
いて、複数の自由曲線ＬがＸ方向に手書き入力された場
合について、図１９のフローチャートを用いて説明す
る。

【００９２】まず、ステップＳ８１では、複数の自由曲
線Ｌについての複数の入力データ３６Ａ（ｘ（ｋ）
（ｉ），ｙ（ｋ）（ｉ））およびラベル値Ｌ（ｋ）（ｋ
＝１〜ｑ）（ｉ＝１〜ｎ（ｋ））が、データ記憶部３１
Ｄから読出される。ステップＳ８２では、変数ｋに１が
設定されて、読出された複数の入力データ３６Ａのう
ち、１つ目の入力データ３６Ａが指定される。次のステ
ップＳ８３では、変数ｊにｋ＋１が設定されて、次の入
力データ３６Ａが指定される。ステップＳ８４では、ｋ
番目の入力データ３６Ａのｙ座標値の平均値Ｙ（ｋ）
（＝（ｙ（ｋ）（１）＋ｙ（ｋ）（２）＋…＋ｙ（ｋ）
（ｎ（ｋ））／ｎ（ｋ））と、ｊ番目の入力データ３６
Ａのｙ座標値の平均値Ｙ（ｊ）（＝（ｙ（ｊ）（１）＋
ｙ（ｊ）（２）＋…＋ｙ（ｊ）（ｎ（ｊ））／ｎ
（ｊ））とが求められる。

【００９３】ステップＳ８５では、｜Ｙ（ｋ）−Ｙ
（ｊ）｜の値が、所定しきい値Ｒより小さいと判定され
れば、ステップＳ８６でラベル値Ｌ（ｋ）とラベル値Ｌ
（ｊ）とが比較されて、その比較結果に基づいて、ステ
ップＳ８７およびＳ８８のそれぞれにおいて、大きい方
のラベル値は小さい方のラベル値に変更されるよう処理
される。

【００９４】ただし、しきい値Ｒは任意定数であり、画
像データ３６Ｄの文書における文字間隔や行間隔の定数
倍の値が設定されるようにすれば、画像データ３６Ｄに
応じた処理を行なうことができる。

【００９５】ステップＳ８９では、変数ｊは１インクリ
メントされて、次の入力データ３６Ａが指定される。ス
テップＳ９０では、ｊ＞ｑが成立するか判定されて、成
立するまでステップＳ８４〜ステップＳ８９の処理が繰
返される。一方、成立すればステップＳ９１で、変数ｋ
が１インクリメントされて、次の入力データ３６Ａが指
定される。そして、ステップＳ９２にてｋ＞ｑと判定さ
れるまで、ステップＳ８３〜Ｓ９１の処理が繰返され
る。

【００９６】このようにしてｑ本の自由曲線Ｌについて
のすべての組合せに対して処理がなされると、同一判別
行に対応の全ての自由曲線Ｌのそれぞれについての判別
行領域データ３６Ｂは、同じラベル値Ｌ（ｋ）を有する
ことになる。

【００９７】なお、自由曲線ＬがＹ方向に入力された場
合には、図１９のＳ８４およびＳ８５の変数ｙを変数ｘ
に、変数Ｙを変数Ｘにそれぞれ置換えて、同様に処理す
ればよい。

【００９８】以上の処理結果、図２１のデータ記憶部３
１Ｄにおいて、同じラベル値Ｌ（ｋ）を有する複数の判
別行領域データ３６Ｂが登録されている場合には、つま
り、同一判別行に複数の自由曲線Ｌが引かれたと判断さ
れた場合には、図２０（Ａ）〜（Ｅ）で示されるよう
に、複数線位置修正部５７により、複数の自由曲線Ｌの
修正データ３６Ｃが修正されて、次のように表示され
る。

【００９９】つまり、線入力部３から２本の自由曲線Ｌ
（１）とＬ（２）とが手書き入力されると（図２０
（Ａ）参照）、処理領域ＰＥ（１）とＰＥ（２）が指定
されて、各処理領域について１つ以上の文字領域ＣＥ１
の検出が行なわれて（図２０（Ｂ）参照）、その結果、
行領域ＬＥ１（１）とＬＥ１（２）とが判別行として抽
出される（図２０（Ｃ）参照）。

【０１００】そして、曲線修正部５により、各判別行に
重ねて、幅データｔｈ０とｔｈ１の線幅を有する直線Ｌ
１とＬ２とが引かれるように、自由曲線Ｌ（１）とＬ
（２）の修正データ３６Ｃについて修正する処理が行な
われる（図２０（Ｄ）参照）。このとき、複数自由曲線
有無判別部５６により同一の判別行について自由曲線Ｌ
（１）とＬ（２）とが引かれていると判断されるので、
複数線位置修正部５７により、これら２つの自由曲線が
連続性を持つように、対応する２つの修正データ３６Ｃ
が修正される。

【０１０１】つまり、所望文字列に重ねて線分が引かれ
るようにするために、それぞれの修正データ３６Ｃのｙ
座標Ｙ０とＹ１および幅データｔｈ０とｔｈ１から、Ｙ
方向の最小値Ｙ０−ｔｈ０／２とＹ１−ｔｈ１／２およ
び最大値Ｙ０＋ｔｈ０／２とＹ１＋ｔｈ１／２を求め
て、これらの最大値と最小値を用いて、（最大値＋最小
値）／２を中心として、最大値−最小値＋１を線幅とす
る直線を示すような修正データ３６Ｃに修正される（図
２０（Ｅ）参照）。

【０１０２】なお、上述した各実施の形態においては、
表示部２に表示された文書に手書き入力された線分によ
るデータは、データ記憶部３１Ｄに示されるように、画
像データ３６Ｄに対応した別のデータとして保存され
る。

【０１０３】（第４実施の形態）上述した各実施の形態
では、手書きの線分を判別行に重ねた直線に修正する場
合について説明したが、本実施の形態のように、文字列
の周囲を囲む線分に修正するようにしてもよい。本実施
の形態では、文章画像の文字列の周囲に沿って囲むよう
に入力された手書きの線分は、文字列の周囲を囲む直線
からなる矩形に修正される。

【０１０４】本実施の形態の装置構成と、図１のそれと
比較し異なる点は、図１の行抽出部４および曲線修正部
５に代替して、行抽出部４Ａおよび曲線修正部５Ａが設
けられた点にある。その他の各部は、図１のそれと同様
であり、説明は省略する。行抽出部４Ａと図３の行抽出
部４とを比較し異なる点は、図３の処理領域指定部６、
方向判別部７および行判別部１０が、処理領域指定部６
Ａ、方向判別部７Ａおよび行判別部１０Ａのそれぞれで
代替された点にある。行抽出部４Ａの他の各部は、図３
のそれと同様であり説明は省略する。

【０１０５】まず、処理領域指定部６Ａについて説明す
る。図２２（Ａ）と（Ｂ）は、第４実施の形態による処
理領域指定部６Ａの処理手順を説明する図である。処理
領域指定部６Ａは、画像データ３６Ｄの領域において、
入力データ３６ＡＡで示される自由曲線から離れた領域
が、後述する文字領域検出や行抽出の処理に影響されな
いようにする。つまり、文字領域検出や行領域抽出の処
理が施される処理領域は、自由曲線の入力データ３６Ａ
Ａで示される位置から一定範囲に指定される。図２２
（Ａ）と（Ｂ）を参照して、以下に具体的に説明する。

【０１０６】図２２（Ａ）には、画像入力部１から取得
した画像データ３６Ｄに対応の文章が表示部２に表示さ
れている様子が示される。図２２（Ａ）ではＸ方向の画
像データ３６Ｄの幅ＷＤとＹ方向の画像データ３６Ｄの
高さＨＴがそれぞれ示される。図２２（Ｂ）には、表示
された画像データ３６Ｄに対して自由曲線ＬＬのデータ
（入力データ３６ＡＡ）が入力されて、処理領域ＰＥ
（図の点線で囲まれた部分）が指定されている様子が示
される。自由曲線ＬＬの入力データ３６Ａ（ｘ（ｉ），
ｙ（ｉ））（ｉ＝１〜ｎ）がＸ方向の最小座標データｍ
ｉｎ（ｘ（ｉ））と最大座標データｍａｘ（ｘ（ｉ））
ならびにＹ方向の最小座標データｍｉｎ（ｙ（ｉ））と
最大座標データｍａｘ（ｙ（ｉ））とにより、処理領域
ＰＥは矩形領域のデータ（ｍｉｎ（ｘ（ｉ））−Ｗ，ｍ
ｉｎ（ｙ（ｉ））−Ｈ），（ｍａｘ（ｘ（ｉ））＋Ｗ
１，ｍａｘ（ｙ（ｉ））＋Ｈ１）で指定される。ただし
（ｍｉｎ（ｘ（ｉ））−Ｗ，ｍｉｎ（ｙ（ｉ））−Ｈ）
は矩形領域の左上端の座標値を示し、（ｍａｘ（ｘ
（ｉ））＋Ｗ１，ｍａｘ（ｙ（ｉ））＋Ｈ１）は矩形領
域の右下端の座標値を示す。

【０１０７】また、ここで変数Ｗ，Ｈ，Ｗ１およびＨ１
はそれぞれ任意の定数であり、文章の画像データ３６Ｄ
における行間隔，文字間隔の定数倍の値を持つように設
定されると、入力した画像データ３６Ｄに応じた処理領
域ＰＥを指定することができる。なお、本実施の形態で
は処理領域ＰＥを自由曲線の入力データ３６ＡＡで示さ
れる位置情報に基づいて自動設定されるが、これに限定
されない。つまり、必要に応じてタブレット３などで処
理領域ＰＥを指定するようにしてもよい。

【０１０８】次に、方向判別部７Ａについて説明する。
方向判別部７Ａは文字列の周囲に沿って囲むように手書
き入力された自由曲線がＸ方向かＹ方向のいずれに入力
されたかを判別する。この判別処理について図２３のフ
ローチャートを参照し説明する。

【０１０９】まず、ステップＳ１０１では、自由曲線の
入力データ３６ＡＡについて、Ｘ方向の最大値と最小値
の差の絶対値｜ｍａｘ（ｘ（ｉ））−ｍｉｎ（ｘ
（ｉ））｜とＹ方向の最大値と最小値の差の絶対値｜ｍ
ａｘ（ｙ（ｉ））−ｍｉｎ（ｙ）（ｉ））｜とが比較さ
れて、前者が大きい場合にはステップＳ１０２におい
て、Ｘ方向に自由曲線ＬＬが引かれたと判別される。逆
に後者が大きい場合には、ステップＳ１０３において自
由曲線ＬＬがＹ方向に引かれたと判別される。

【０１１０】図２４に、図２３の処理の具体例が示され
る。自由曲線ＬＬがＸ方向の最小および最大座標値は２
１および５１、Ｙ方向の最小および最大座標値は２３お
よび４３である場合、Ｘ方向の差の絶対値は３０（＝｜
５１−２１｜）、Ｙ方向の差の絶対値は２０（＝｜４３
−２３｜）であり、前者の値が大きい。よって、文章の
画像データ３６Ｄに対して手書きによる自由曲線ＬＬの
入力データ３６ＡＡはＸ方向に引かれたと判定される。

【０１１１】次に、行判別部１０Ａについて説明する。
図２５は、第４実施の形態による行判別部１０Ａの処理
フローチャートである。行判別部１０Ａは、自由曲線Ｌ
Ｌが画像データ３６Ｄの文書中のいずれの行に対して引
かれたかを判別する。この行を判別するために、１つ以
上の行領域ＬＥ１のデータ（（ｓ（ｊ），ｔ（ｊ）），
（ｕ（ｊ），ｖ（ｊ））（ｊ＝１〜ｍ）と自由曲線ＬＬ
の入力データ３６ＡＡ（ｘ（ｉ），ｙ（ｉ））（ｉ＝１
〜ｎ）とが用いられる。具体的には自由曲線ＬＬが入力
された場合には、自由曲線ＬＬの入力データ３６ＡＡが
ｙ座標の最小値ｍｉｎ（ｙ（ｉ））と最大値ｍａｘ（ｙ
（ｉ））との間に、行領域ＬＥ１のＹ方向の最小値ｔ
（ｊ）と最大値ｖ（ｊ）がともに収まるかを比較判定し
て自由曲線ＬＬが引かれた行が決定される。

【０１１２】図２５のフローチャートを用いて、行判別
部１０Ａによる処理を、自由曲線ＬＬがｘ方向に入力さ
れた場合について説明する。ステップＳ１１１では、行
領域ＬＥ１のデータ（（ｓ（ｊ），ｔ（ｊ）），（ｕ
（ｊ），ｖ（ｊ）））（ｊ＝１〜ｍ）、自由曲線ＬＬの
入力データ３６ＡＡ（ｘ（ｉ），ｙ（ｉ））（ｉ＝１〜
ｎ）とがＣＰＵ３０の図示されない内部メモリおよびデ
ータ記憶部３１Ｄから読出される。ステップＳ１１２で
は、１つ以上の行領域ＬＥ１が行領域抽出部９によって
抽出されているかどうかが判定される。行領域ＬＥ１が
抽出されていない場合には自由曲線ＬＬの付近に文字は
存在しないということが想定されるため、すべての処理
を終了し、自由曲線ＬＬの入力データ３６ＡＡについて
の曲線修正部５Ａによる処理は行なわれない。

【０１１３】一方、行領域抽出部９により予め行領域Ｌ
Ｅ１が抽出されていれば、ステップＳ１１３では、自由
曲線ＬＬの入力データ３６ＡＡについてｙ座標値の最小
値ｍｉｎ（ｙ（ｉ））と最大値（ｍａｘ（ｙ（ｉ））と
が求められる。ステップＳ１１４では、変数ｊに１が設
定されて、１つめの行領域ＬＥ１のデータが指定され
る。

【０１１４】ステップＳ１１５では、対象の行領域ＬＥ
１の最小値ｔ（ｊ）が、自由曲線ＬＬの入力データ３６
ＡＡの最小値と最大値の間に存在するかを判定するため
にｍａｘ（ｙ（ｉ））＞ｔ（ｊ）＞ｍｉｎ（ｙ（ｉ））
が判定され、成立すればステップＳ１１６に進み、成立
しなければステップＳ１１８に進んで、次の行領域ＬＥ
１が指定される。

【０１１５】ステップＳ１１６では、ステップＳ１１５
の条件を満たす行領域ＬＥ１のうち対象の行領域ＬＥ１
の最大値ｖ（ｊ）が、自由曲線ＬＬの入力データ３６Ａ
Ａの最小値と最大値の間に存在するかどうかを判定する
ためにｍａｘ（ｙ（ｉ））＞ｖ（ｊ）＞ｍｉｎ（ｙ
（ｉ））が成立するか否か判定し、成立するならばステ
ップＳ１１７に進み、成立しなければステップＳ１１８
に進む。

【０１１６】ステップＳ１１７では、変数ＬＮＥに
“ｊ”が設定され、ステップＳ１１８では、次の行領域
ＬＥ１のデータが指定される。その後、ステップＳ１１
９に進む。なお、変数ＬＮＥは自由曲線ＬＬが引かれた
行領域ＬＥ１を特定するための値が設定される変数であ
る。

【０１１７】ステップＳ１１９では、ステップＳ１１１
で読出されたすべての行領域ＬＥ１のデータに対して処
理がなされたか判定される。処理がなされていなけれ
ば、ステップＳ１１５に戻るが、処理がなされたと判定
されれば、一連の処理は終了して、変数ＬＮＥの値で示
される行領域ＬＥ１は、自由曲線ＬＬが引かれた行とし
て判定される。以下、これを判別行という。

【０１１８】判別行は、矩形の領域データ（（ｓ，
ｔ），（ｕ，ｖ））として規定される判別行領域データ
３６Ｂとして、データ記憶部３１Ｄにストアされる。た
だし、変数（ｓ，ｔ）は矩形領域の左上端の座標値、変
数（ｕ，ｖ）は矩形領域の右下端の座標値をそれぞれ示
す。自由曲線ＬＬがＹ方向に入力された場合には、図２
５の処理において、変数ｙを変数ｘに、変数ｔを変数ｓ
に、変数ｖを変数ｕにとそれぞれ置換えればよい。

【０１１９】ここで、自由曲線ＬＬがＸ方向に入力され
た場合の具体的な処理を、図２６（Ａ）〜（Ｄ）を参照
し説明する。図２６（Ａ）では、表示部２において文章
の画像に対して自由曲線ＬＬが手書き入力された様子が
示される。図２６（Ｂ）では処理領域指定部６Ａにより
指定された処理領域ＰＥ内で文字領域検出部８により、
文字領域の検出が行なわれた結果が示される。ここで検
出される矩形の文字領域は曲線修正処理の際に利用され
るもので、矩形（ｅ（ｚ），ｆ（ｚ）），（ｇ（ｚ），
ｈ（ｚ））（ｚ＝１〜ｗ）で表わされるものと想定す
る。ただし、ｗは、検出された矩形の個数とする。

【０１２０】図２６（Ｃ）では、検出された各文字領域
に関する情報と方向判別部７Ａにより判別された自由曲
線ＬＬの入力データ３６ＡＡで示される方向とから、行
領域抽出部９により１つ以上の行領域ＬＥ１の抽出が行
なわれた結果が示される。図２６（Ｄ）では、行判別部
１０Ａにより、自由曲線ＬＬが、検出された１つ以上の
行領域ＬＥ１のうちのいずれの領域の行に対して引かれ
たものかが判別された結果が示される。これらの処理の
結果は、画面上に逐次表示されなくてもよいが、処理が
適切に実行されていることをユーザが容易に把握できる
ようにするために、ここでは表示されるものとする。

【０１２１】次に曲線修正部５Ａについて説明する。図
２７は、第４実施の形態による曲線修正部５Ａの処理フ
ローチャートである。曲線修正部５Ａは、行抽出部４Ａ
で得られた判別行に対して自由曲線ＬＬをどのように修
正して、どの位置に引くかを決定する。自由曲線ＬＬの
修正処理には、判別行の領域で得た（（ｓ，ｔ），
（ｕ，ｖ））と自由曲線ＬＬの入力データ３６ＡＡ（ｘ
（ｉ），ｙ（ｉ））（ｉ＝１〜ｎ）との位置に関する情
報が用いられる。通常は、自由曲線ＬＬは所定の線幅を
有した直線に修正される。ここでは、自由曲線ＬＬがＸ
方向に入力された場合に、判別行領域データ３６Ｂの判
別行領域に対して自由曲線ＬＬによる直線の矩形が引か
れるように、入力データ３６ＡＡが修正される場合につ
いて説明する。

【０１２２】図２７のフローチャートを用いて、自由曲
線ＬＬの入力データ３６ＡＡがＸ方向に入力された場合
の曲線修正処理について説明する。

【０１２３】ステップＳ１２１で、データ記憶部３１Ｄ
から判別行領域データ３６Ｂ（（ｓ，ｔ），（ｕ，
ｖ））と文字領域データ（（ｅ（ｚ），ｆ（ｚ）），
（ｇ（ｚ），ｈ（ｚ）））（ｚ＝１〜ｗ）、自由曲線Ｌ
Ｌの入力データ３６ＡＡ（ｘ（ｉ），ｙ（ｉ））（ｉ＝
１〜ｎ）の情報が読出される。

【０１２４】ステップＳ１２２で、幅設定部６１から幅
データｔｈを得る。ステップＳ１２３では、自由曲線Ｌ
Ｌの入力データ３６ＡＡの１つ目の座標データ（ｉ＝
１）が指定される。ステップＳ１２４では、自由曲線Ｌ
Ｌの入力データ３６ＡＡのＸ方向の最小値ｍｉｎ（ｘ
（ｉ））、最大値ｍａｘ（ｘ（ｉ））、Ｙ方向の最小値
ｍｉｎ（ｙ（ｉ））、最大値ｍａｘ（ｙ（ｉ））を端点
とする矩形（（ｍｉｎ（ｘ（ｉ）），ｍｉｎ（ｙ
（ｉ）），ｍａｘ（ｘ（ｉ）），ｍａｘ（ｙ（ｉ）））
を想定して、これを自由曲線最大領域と呼ぶことにす
る。

【０１２５】自由曲線最大領域内にすっぽり納まる１つ
以上の文字領域ＣＥ１のうち、Ｘ方向に最小の位置にあ
る自由曲線ＬＬの入力データ３６ＡＡのｘ座標をｘ０、
Ｘ方向に最大の位置にある自由曲線ＬＬの入力データ３
６ＡＡのｘ座標をｘ１とする。

【０１２６】ステップＳ１２５では、自由曲線ＬＬの入
力データ３６ＡＡのｘ座標を、次のように処理する。つ
まり、（１）ｘ０より小さいときはｘ０からｔｈ／２を
引く、（２）ｘ１より大きいときはｘ１にｔｈ／２を足
す、（３）ｘ０とｘ１の間にあるときにはそのままの値
とする。また、ｙ座標については次のように処理する。
つまり、（１）判別行領域ＬＥ１の最小値ｔより小さい
ときは最小値ｔからｔｈ／２を引く、（２）判別行領域
ＬＥ１の最大値ｖより大きいときは最大値ｖにｔｈ／２
を足す、（３）判別行領域の最小値ｔと最大値ｖの間に
あるときにはそのままの値とする。このようにして得ら
れたデータを、修正データ３６ＣＣ（ｘｃｃ（ｉ），ｙ
ｃｃ（ｉ））とする。

【０１２７】ステップＳ１２６では、自由曲線ＬＬの入
力データ３６ＡＡの次の座標点が指定される。ステップ
Ｓ１２７では、自由曲線ＬＬの入力データ３６ＡＡのす
べての座標点に対して処理がなされたか判定される。な
されていなければステップＳ１２５に戻る。すべての点
に対して処理がなされたと判定されると、曲線修正処理
は終了し、修正データ３６ＣＣ（ｘｃｃ（ｉ），ｙｃｃ
（ｉ））（ｉ＝１〜ｎ）および幅データｔｈが得られ
る。

【０１２８】なお、修正データ３６ＣＣは、左上の座標
を（ｘｃｃ（１），ｙｃｃ（１））、右下の座標を（ｘ
ｃｃ（ｎ），ｙｃｃ（ｎ））および幅データｔｈで示さ
れる線幅を持つ矩形を示すデータとしてもよい。上述の
自由曲線ＬＬの入力データ３６ＡＡがＸ方向に入力され
た場合の具体的な曲線修正処理の様子が、図２９（Ａ）
と（Ｂ）に示される。

【０１２９】ここで、自由曲線ＬＬの入力データ３６Ａ
ＡがＸ方向に入力された場合の曲線修正処理に含まれる
幅設定処理について、図２８のフローチャートを参照し
説明する。

【０１３０】ステップＳ１３１では、判別行領域ＬＥ１
の情報（（ｓ，ｔ），（ｕ，ｖ））が読出される。ステ
ップＳ１３２では、ユーザが幅データｔｈを指定してい
るかどうかが判定される。ユーザが幅データｔｈを指定
している場合には、ステップＳ１３３で、ユーザ指定の
幅データｔｈが取込まれる。ユーザが幅データｔｈを指
定していない場合には、ステップＳ１３４において、任
意の定数が幅データｔｈに設定される。この場合、画像
データ３６Ｄによる文章の行間隔や文字間隔の定数倍の
値を持つように幅データｔｈを設定すると、画像データ
３６Ｄに応じた線分の幅を指定することができる。幅設
定処理を終了すると、曲線修正処理に幅データｔｈが与
えられる。

【０１３１】自由曲線ＬＬの入力データ３６ＡＡがＹ方
向に入力された場合には、図２７のフローチャートのス
テップＳ１２４で、Ｘ方向ではなくＹ方向の最小値ｙ０
と最大値ｙ１とを求め、ステップＳ１２５の修正式にお
いて自由曲線ＬＬの入力データ３６ＡＡのｘ座標を次の
ように修正すればよい。

【０１３２】つまり、（１）判別行領域ＬＥ１の最小値
ｓより小さいときは最小値ｓからｔｈ／２を引く（ｘｃ
ｃ（ｉ））＝（ｓ−ｔｈ／２）、（２）判別行領域ＬＥ
１の最大値ｕより大きいときは最大値ｕにｔｈ／２を足
す（ｘｃｃ（ｉ））＝ｕ＋ｔｈ／２）、（３）判別行領
域ＬＥ１の最小値ｓと最大値ｕの間にあるときにはその
ままの値とする（ｘｃｃ（ｉ）＝ｘ（ｉ））。また、ｙ
座標については、次のように修正すればよい。（１）ｙ
０より小さいときはｙ０からｔｈ／２を引く（ｙｃｃ
（ｉ）＝ｙ０−ｔｈ／２）、（２）ｙ１より大きいとき
はｙ１にｔｈ／２を足す（ｙｃｃ（ｉ）＝ｙ１＋ｔｈ／
２）、（３）ｙ０とｙ１の間にあるときはそのままの値
とする（ｙｃｃ（ｉ）＝ｙ（ｉ））。

【０１３３】また、このようにして得られた修正データ
３６ＣＣの端点の値については、行領域ＬＥ１の情報や
文字領域ＣＥ１の情報を利用して見やすくするよう修正
されてもよい。たとえば、図３０（Ａ）と（Ｂ）に示さ
れるように行領域ＬＥ１と隣の行領域ＬＥ１との間や、
文字領域ＣＥ１と隣の文字領域ＣＥ１との間から引くな
ど、文字領域ＣＥ１の情報を利用して自由曲線ＬＬのデ
ータを修正することもできる。

【０１３４】また、ここでは、自由曲線ＬＬを入力する
前に、適用される曲線修正部が第１の実施の形態で説明
されたものか、本実施の形態で説明されたもののいずれ
であるかを設定してから、自由曲線ＬＬを入力すること
を前提としていたが、自由曲線ＬＬの入力データが、囲
むように入力されたかどうかを自動で判別する機能を準
備すれば、入力された自由曲線の入力データから、第１
の実施の形態による曲線修正を行なうか、本実施の形態
による曲線修正を行なうかを、自動的に判断して修正を
行なうことが可能になる。

【０１３５】また、ユーザによる操作をわかりやすく説
明するために、本実施の形態では、文字列を囲むように
自由曲線ＬＬの入力データ３６ＡＡが入力されることを
前提として説明したが、第１〜第３の実施の形態と同様
にすなわち文字列を囲むようにではなく、文字列と重ね
て入力された線分に対しても本実施の形態と同様に行な
われることは明らかである。

【０１３６】（第５実施の形態）上述した各実施の形態
で説明されたフローチャートに従う処理を含む各種処理
は、プログラム記憶部３１Ｐに予めストアされた文書画
像処理プログラムがＣＰＵ３０により読出されて実行さ
れることによって実現される。これらのプログラムはプ
ログラム記憶部３１ＰのようなＣＰＵ３０により読取可
能な記録媒体に格納されている。この記録媒体として、
外部記憶媒体３５を用いてもよい。その場合には、外部
記憶媒体３５が外部記憶媒体ドライバ３４にセットされ
ることで、外部記憶媒体３５から読取られたプログラム
は、内部のプログラム記憶部３１Ｐを含む所定のエリア
にロードされて、その後、ＣＰＵ３０により読出されて
実行されるようにしてもよい。このロード用のプログラ
ムは、予め装置本体の図示されない記憶領域に格納され
ているものとする。

【０１３７】なおプログラム記憶媒体は、装置本体と分
離可能に構成される記録媒体であってもよい。つまり、
磁気テープやカセットテープなどのテープ系、フレキシ
ブルディスクやハードディスクなどの磁気ディスクおよ
びＣＤ−ＲＯＭ，ＭＯ，ＭＤおよびＤＶＤなどの光ディ
スクを含むディスク系、ＩＣカード（メモリカードを含
む）や光カードなどのカード系、あるいはマスクＲＯ
Ｍ、ＥＰＲＯＭ、ＥＥＰＲＯＭおよびフラッシュＲＯＭ
などによる半導体メモリを含む記録媒体であってもよ
い。

【０１３８】また、図１（Ｂ）に示されるように文書画
像処理装置は、インターネットを含む通信ネットワーク
３３と接続可能な構成を有するから、通信ネットワーク
３３から文書画像処理プログラムを画像処理装置にダウ
ンロードするために、画像処理プログラムを担持する媒
体であってもよい。

【０１３９】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【図面の簡単な説明】

【図１】 （Ａ）と（Ｂ）は、この発明に係る文書画像
処理装置の構成を示すブロック図である。

【図２】 この発明に係る文書画像処理装置の概略処理
フローチャートである。

【図３】 図１の行抽出部の構成を示すブロック図であ
る。

【図４】 （Ａ）と（Ｂ）は、図３の処理領域指定部を
説明するための図である。

【図５】 図３の方向判別部による自由曲線の方向判別
処理のフローチャートである。

【図６】 図３の方向判別部について説明するための図
である。

【図７】 （Ａ）〜（Ｆ）は、図３の文字領域検出部に
ついて説明するための図である。

【図８】 （Ａ）〜（Ｃ）は、図３の行領域抽出部につ
いて説明するための図である。

【図９】 図３の行判別部の処理フローチャートであ
る。

【図１０】 （Ａ）〜（Ｄ）は、この発明の第１実施の
形態に係る具体的な処理を説明するための図である。

【図１１】 図１の曲線修正部による自由曲線を修正す
るための処理フローチャートである。

【図１２】 図１の幅設定部の処理フローチャートであ
る。

【図１３】 （Ａ）と（Ｂ）は、図１２の処理フローチ
ャートに従う処理を説明するための図である。

【図１４】 （Ａ）〜（Ｃ）は、文字領域を利用して修
正データを修正する処理を説明するための図である。

【図１５】 図１の曲線修正部において、ルビ付き文字
を含んだ文書画像に自由曲線が入力された場合の処理を
説明するための図である。

【図１６】 図１の透過処理部による処理フローチャー
トである。

【図１７】 図１の修正データ有無判定部による処理フ
ローチャートである。

【図１８】 （Ａ）〜（Ｅ）は、図１の複数線位置修正
部による処理の一例を説明する図である。

【図１９】 図１の複数自由曲線有無判定部による処理
フローチャートである。

【図２０】 （Ａ）〜（Ｅ）は、図１の複数線位置修正
部による処理の他の例を説明する図である。

【図２１】 この発明の第３実施の形態に適用されるデ
ータ記憶部３１Ｄの内容例を示す図である。

【図２２】 （Ａ）と（Ｂ）は、第４実施の形態による
処理領域指定部の処理手順を説明する図である。

【図２３】 第４実施の形態による方向判別部の処理フ
ローチャートである。

【図２４】 図２３の処理の具体例を説明する図であ
る。

【図２５】 第４実施の形態による行判別部の処理フロ
ーチャートである。

【図２６】 （Ａ）〜（Ｄ）は、第４実施の形態による
自由曲線がＸ方向に入力された場合の具体的な処理手順
を説明する図である。

【図２７】 第４実施の形態による曲線修正部の処理フ
ローチャートである。

【図２８】 第４実施の形態による幅設定処理のフロー
チャートである。

【図２９】 （Ａ）と（Ｂ）は第４実施の形態による自
由曲線修正処理の具体的手順を説明する図である。

【図３０】 （Ａ）と（Ｂ）は第４実施の形態による
自由曲線修正処理の他の手順を説明する図である。

【符号の説明】 １ 画像入力部、２ 表示部、３ 線入力部、４，４Ａ
行抽出部、５，５Ａ曲線修正部、６１ 幅設定部、７
１ 透過処理部、Ｌ，ＬＬ 自由曲線。

Claims (11)

【特許請求の範囲】
1. 【請求項１】 文書の画像を表示する表示手段と、 前記表示手段により表示された文書画像における任意の
   文字列の画像に対応するように手書きされた線分を入力
   する線分入力手段と、 前記線分入力手段により入力された手書き線分を処理す
   る処理手段とを備え、 前記処理手段は、 前記手書き線分の方向を判別する方向判別手段と、 前記方向判別手段により判別された方向と前記文書画像
   における１つ以上の文字画像とに基づいて、前記文書画
   像の領域において、前記任意文字列の画像を含む行の領
   域を抽出する行抽出手段と、 前記手書き線分を、前記行抽出手段で抽出された前記行
   の領域に重ねて引かれる直線に修正する線分修正手段
   と、 前記線分修正手段による修正により得られた前記直線が
   重ねて引かれる前記任意の文字列の画像を、該直線を透
   過して前記表示部に表示されるように処理する透過手段
   とを有する、文書画像処理装置。
2. 【請求項２】 前記処理手段は、 前記手書き線分を、前記行抽出手段で抽出された前記行
   の領域における前記任意文字列の画像を囲む矩形の直線
   に修正して、前記表示部に表示する矩形修正手段をさら
   に有する、請求項１に記載の文書画像処理装置。
3. 【請求項３】 前記直線は、任意に設定された一定線幅
   を有していることを特徴とする、請求項１または２に記
   載の文書画像処理装置。
4. 【請求項４】 前記一定線幅は、前記行の領域における
   前記任意文字列の画像の大きさに応じて設定されること
   を特徴とする、請求項３に記載の文書画像処理装置。
5. 【請求項５】 前記線分修正手段は、 前記行抽出手段により抽出された前記行の領域における
   １つ以上の文字の領域に基づいて、前記直線の長さを最
   適に調整する調整手段を有する、請求項１ないし４のい
   ずれかに記載の文書画像処理装置。
6. 【請求項６】 前記線分修正手段は、前記行抽出手段に
   より抽出された前記行の領域について、既に１つ以上の
   前記直線が引かれている場合に、 前記手書き線分に対応の前記直線の位置を、前記行の領
   域に既に引かれた１つ以上の前記直線と連続して引かれ
   るように修正する直線位置修正手段を有する、請求項１
   ないし５のいずれかに記載の文書画像処理装置。
7. 【請求項７】 前記線分修正手段は、 前記行抽出手段により抽出された前記行の領域につい
   て、１つ以上の前記手書き線分が入力された場合に、 １つ以上の前記手書き線分のそれぞれに対応の前記直線
   を、位置調整して、連続した１つの直線に修正する手書
   き線分位置修正手段を有する、請求項１ないし６のいず
   れかに記載の文書画像処理装置。
8. 【請求項８】 前記線分修正手段は、 前記行抽出手段により抽出された前記行の領域が、ルビ
   の行に対応するものであることを識別するルビ行識別手
   段を有し、 前記ルビ行識別手段により前記行の領域が前記ルビの行
   に対応するものであると識別されたときは、前記手書き
   線分を前記ルビの行の領域に沿って引かれる前記直線に
   修正する、請求項１ないし７のいずれかに記載の文書画
   像処理装置。
9. 【請求項９】 文書の画像を表示する表示手段と、 前記表示手段に表示された文書画像における任意の文字
   列の画像を囲むように手書きされた線分を入力する線分
   入力手段と、 前記線分入力手段により入力された手書き線分を処理す
   る処理手段とを備え、 前記処理手段は、 前記手書き線分の方向を判別する方向判別手段と、 前記方向判別手段により判別された方向と前記文書画像
   における１つ以上の文字画像とに基づいて、前記文書画
   像の領域において、前記任意文字列の画像を含む行の領
   域を抽出する行抽出手段と、 前記手書き線分を、前記行抽出手段で抽出された前記行
   の領域の前記任意文字列の画像を囲む直線に修正して、
   前記表示部に表示する線分修正表示手段とを有する、文
   書画像処理装置。
10. 【請求項１０】 文書画像を表示する表示ステップと、 前記表示ステップにより表示された前記文書画像におけ
    る任意の文字列の画像に対応して、手書きされた線分を
    入力する線分入力ステップと、 前記線分入力ステップにより入力された手書き線分を処
    理する処理ステップとを備え、 前記処理ステップは、 前記手書き線分の方向を判別する方向判別ステップと、 前記方向判別ステップにより判別された方向と、前記文
    書画像における１つ以上の文字の画像とに基づいて、前
    記文書画像の領域において、前記任意文字列を含む行の
    領域を抽出する行抽出ステップと、 前記手書き線分を、前記行抽出ステップで抽出された前
    記行の領域に重ねて引かれる直線に修正する線分修正ス
    テップと、 前記線分修正ステップによる修正により得られた前記直
    線が重ねて引かれる前記任意の文字列の画像を、該直線
    を透過して表示されるように処理する透過ステップとを
    有する、文書画像処理方法。
11. 【請求項１１】 文書画像処理方法をコンピュータに実
    行させるための文書画像処理プログラムを記録したコン
    ピュータで読取可能な記録媒体であって、 前記文書画像処理方法は、 文書画像を表示する表示ステップと、 前記表示ステップにより表示された前記文書画像におけ
    る任意の文字列の画像に対応して、手書きされた線分を
    入力する線分入力ステップと、 前記線分入力ステップにより入力された手書き線分を処
    理する処理ステップとを備え、 前記処理ステップは、 前記手書き線分の方向を判別する方向判別ステップと、 前記方向判別ステップにより判別された方向と、前記文
    書画像における１つ以上の文字の画像とに基づいて、前
    記文書画像の領域において、前記任意文字列を含む行の
    領域を抽出する行抽出ステップと、 前記手書き線分を、前記行抽出ステップで抽出された前
    記行の領域に重ねて引かれる直線に修正する線分修正ス
    テップと、 前記線分修正ステップによる修正により得られた前記直
    線が重ねて引かれる前記任意の文字列の画像を、該直線
    を透過して表示されるように処理する透過ステップとを
    有する、文書画像処理プログラムを記録したコンピュー
    タで読取可能な記録媒体。