JP3747737B2

JP3747737B2 - 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体

Info

Publication number: JP3747737B2
Application number: JP2000142299A
Authority: JP
Inventors: 昇中島
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2000-05-10
Filing date: 2000-05-10
Publication date: 2006-02-22
Anticipated expiration: 2020-05-10
Also published as: JP2001320579A; US7227557B2; US6633303B2; US20010043229A1; US20040046768A1

Description

【０００１】
【発明の属する技術分野】
本発明は、原稿などの対象物を複数の領域に分割して撮像し、それらの画像を合成することにより、広域かつ高解像度な画像を生成する広域精細画像生成方法及びシステムの改良に関する。
【０００２】
【従来の技術】
既存のビデオカメラ等では、文書全体を文字認識に十分な解像度で入力するには画素数が足りないため、文書を幾つかの領域に分割して撮像し、それらの画像を合成する手法が一般に採用されている。この種の広域精細画像生成方法の従来技術の一例が、特開平１０−２１０２７２号公報（以下、文献１と称す）に記載されている。文献１に記載された従来技術では、以下のようにして広域精細画像を生成する。
【０００３】
先ず、カメラにより対象物である原稿を撮像し、原稿の全体画像を得る。次に、予め指定された解像度の画像を生成するには全体画像を幾つの部分領域に分割すれば良いかを決定し、部分領域を撮像する際のズーム量および分割数を決定する。次に、ズーム調整したカメラにより原稿の各部分領域の画像をその周辺部を含めて撮像し、各部分領域毎の部分画像を得る。次に、隣接する部分画像毎に、双方の画像情報（輝度値、あるいは線分などの構造）を利用して、２つの部分画像を接合していき、原稿全体の広域精細画像を生成する。
【０００４】
類似する技術は『アクティブカメラをもちいた文書画像の高精細入力と認識応用』（１９９９年９月、電子情報通信学会、パターン認識・メディア理解研究開技術研究報告、ｐ９１−９６）（以下、文献２と称す）にも記載されている。但し、文献２では、隣接する部分画像の接合に、双方の部分画像を構造解析して得た構造情報（文字、文字列、段組等の階層的なレイアウト構造）を利用することにより、高精度な接合を少ない計算コストで実現している。
【０００５】
【発明が解決しようとする課題】
原稿中に広い空白領域があると、原画像を複数の領域に分割して撮像した部分画像の中には、全ての領域が空白になるものや、周辺部が空白になるものが出てくる。上述した従来技術では、隣接する部分画像同士を順次に接合することにより全体画像の広域精細画像を生成しているため、このように全体が空白か周辺部が空白の部分画像も隣接する部分画像と接合しなければ全体画像が得られない。しかし、隣接する部分画像どうしの接合部分が空白であると、位置合わせに使う線分や文字などの構造が存在しないため、２つの部分画像を接合することができない。つまり、従来技術では、原画像中に比較的大きな空白部分が存在する場合、広域精細画像の生成が困難である。
【０００６】
また、接合する２つの部分画像は同じ解像度でなければならないため、隣接する部分画像同士を順次に接合することにより全体画像を生成する従来技術では、全ての部分画像を同じ解像度にしなければならない。このため、文字認識にかける等の理由により高解像度が要求されるテキスト（文字列）が含まれる原稿の場合、たとえテキスト部分が全体のほんの一部分であっても、そのテキスト部分に要求される解像度に従って全体画像の分割数が決定され、部分画像の数が増大し、接合すべき部分画像の個数が増大して膨大な処理時間が必要になる。
【０００７】
本発明はこのような事情に鑑みて提案されたものであり、その目的は、原画像中に比較的大きな空白部分が存在する場合であっても、広域精細な全体画像を生成することができるようにすることにある。
【０００８】
また本発明の別の目的は、複数種の解像度の画像が混在した広域精細画像を生成することができるようにすることにある。
【０００９】
さらに本発明の他の目的は、原画像中に高解像度が要求されない空白領域等が存在する場合には、接合すべき部分画像の個数を低減して処理時間を短縮できるようにすることにある。
【００１０】
【課題を解決するための手段】
本発明は上記の目的を達成するために、先ず、広域精細画像を生成する対象物を撮像装置により撮像して、前記対象物の全体画像を取得し、これを解析して、前記対象物上に配置されている文字列または図を含み且つ大きな空白領域によって囲まれた閉領域である構成要素毎の位置情報を求める。次に、前記構成要素の内の少なくとも１つの構成要素について、その構成要素が存在する領域を撮像する１以上の部分領域および解像度を決定し、該決定した部分領域毎に、前記決定した解像度で前記撮像装置により前記対象物を撮像して、部分領域毎の部分画像を取得する。そして、前記構成要素の内、部分領域毎の部分画像が得られた構成要素については当該部分領域毎の部分画像を接合して生成した画像を、それ以外の構成要素については前記全体画像から抽出した当該構成要素の画像を、それぞれ合成対象画像として、各構成要素の相対的な位置関係が前記対象物上に配置されている構成要素毎の位置情報で表される相対的な位置関係と等しくなるように前記合成対象画像を合成して、前記対象物の広域精細画像を生成する。
【００１１】
【発明の実施の形態】
次に本発明の実施の形態の例について図面を参照して詳細に説明する。
【００１２】
図１を参照すると、本発明の第１の実施の形態にかかる広域精細画像生成システム１は、広域精細画像を生成する対象物である原稿２を撮像する撮像装置３と、処理装置４と、キーボード等の如き入力装置５と、ディスプレイやプリンタ等の如き出力装置６とから構成される。
【００１３】
撮像装置３は、撮像倍率を処理装置４からの制御信号によって調整可能なアクティブカメラ等で構成され、例えば机上に置かれた原稿２を上方から望む所定の場所に機構部７を介して取り付けられている。機構部７は、互いに直交する２方向（水平方向のＸ軸と垂直方向のＺ軸）に対して撮像装置３の光学中心を回転中心として撮像装置３を回動させる機構である。撮像装置３の撮像方向は、Ｘ軸からの変位角θｘとＺ軸からの変位角θｚで表現される。
【００１４】
処理装置４は、撮像装置３、機構部７、入力装置５および出力装置６とそれぞれ信号線８、９、１０、１１により接続されており、撮像装置３および機構部７を制御して原稿２の画像の撮像位置および撮像倍率を適宜に調整して原稿２の画像を取得し、得られた画像に基づいて原稿２全体の広域精細画像を生成して出力装置６から出力する。本例の処理装置４は、入力部２１、出力部２２、画像取得制御部２３、構造解析部２４、制御情報生成部２５、画像接合部２６、判定部２７、画像再構成部２８および制御部２９といった機能部と、第１の画像記憶部３０、第２の画像記憶部３１、構造情報記憶部３２および制御情報記憶部３３といった記憶部とを備えている。
【００１５】
なお、処理装置４は、パーソナルコンピュータ等のコンピュータと、ＣＤ−ＲＯＭ、半導体メモリあるいは磁気ディスク装置等の機械読み取り可能な記録媒体Ｍとで実現することができる。この場合、記憶媒体Ｍに記憶された広域精細画像生成用プログラムは、処理装置４を構成するコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に、図１に示した入力部２１、出力部２２、画像取得制御部２３、構造解析部２４、制御情報生成部２５、画像接合部２６、判定部２７、画像再構成部２８および制御部２９といった機能部と、第１の画像記憶部３０、第２の画像記憶部３１、構造情報記憶部３２および制御情報記憶部３３といった記憶部とを実現する。
【００１６】
図２は処理装置４で実行される処理の一例を示すフローチャートである。以下、各図を参照して本実施の形態の動作を各部の詳細な機能とともに説明する。
【００１７】
○ステップＳ１；全体画像の取得
原稿２の広域精細な画像の生成は、例えば入力装置５から撮像開始の指示が入力されたときに開始される。制御部２９は、入力部２１を通じて撮像開始の指示を受けると、画像取得制御部２３に対して、原稿２の全体画像を取得するよう指示を出す。画像取得制御部２３は、先ず、信号線９を通じて機構部７に制御信号を送出して撮像装置３の撮像方向を調整すると共に、信号線８を通じて撮像装置３の撮像倍率を調整し、原稿２の全体が撮像できるような撮像倍率および撮像方向を決定する。これは、たとえば撮像装置３から得られる撮像信号を画像解析して、原稿２の四隅のエッジがほぼ撮像エリアの四隅に来るように制御する等で可能である。そして、決定した撮像倍率および撮像方向で原稿２全体の画像を撮像装置３によって撮像し、得られた画像に対して二値化等の所定の前処理を施し、撮像倍率および撮像方向の情報と共に第１の画像記憶部３０に記憶する。
【００１８】
図３に原稿２の全体画像の例を示す。この例の原稿２は、複数の段組を持ち、テキストと図（イメージ）とが比較的大きなスペースを空けてレイアウトされている。
【００１９】
○ステップＳ２；画像構造解析
制御部２９は、第１の画像記憶部３０に記憶された原稿２の全体画像を構造解析部２４に入力し、解析を行わせる。構造解析部２４は、原稿２の全体画像から、原稿２上に配置（レイアウト）されている構成要素を検出し、各構成要素毎の位置情報および属性を求める。構成要素とは、原稿２上に配置されている写真、テキスト、図形などを意味する。属性とは、その構成要素が文字列であるか、図であるかといった構成要素の種別を意味する。構成要素の位置情報は、例えば机上面と平行なＸＹ座標系におけるＸＹ座標値を使って、構成要素の例えば左上隅のＸＹ座標値および縦横のサイズで示される。構造解析部２４で求められた各構成要素毎の位置情報と属性は、制御部２９を通じて構造情報記憶部３２に記憶される。
【００２０】
図４に構成要素の位置情報の定義例を示す。図４におけるＸＹ座標の原点Ｏは、例えば、撮像装置３の撮像倍率を基準倍率Δ０にし、その撮像方向を垂直方向（θｘ＝θｘ０、θｚ＝０）にしたときに得られる撮像エリア４１の重心（撮像方向）と一致する点に設定される。撮像装置３と原稿２が載置された机上面との距離は固定値であり、また原稿２の全体画像を撮像したときの撮像倍率、撮像方法（θｘ、θｚ）は既知なので、原稿２の全体画像を撮像したときの撮像エリア４２のＸＹ座標系における位置と縦横のサイズとは一意に定まる。従って、原稿２の全体画像４３に含まれる或る構成要素４４の位置（左上隅のＸＹ座標値および縦横のサイズ）を求めることができる。
【００２１】
構造解析部２４による解析は、文献２において各部分画像に対して実施していた構造解析（レイアウト解析）をそのまま適用することができる。簡単に説明すると、解析手法として、高速に動作する再帰的領域分割である拡張スプリット検出法を原稿２の全体画像に適用し、原稿２の全体画像を、全体画像を示すルートノードから、文字を示すリーフノードへ、再帰的に領域分割する。結果として、写真、文、罫線、大きな空白領域によって囲まれた閉領域が抽出される。また、写真、図、罫線領域の抽出にはテクスチャ特徴を抽出し、３層パーセプトロンによりその属性を識別することで行う。
【００２２】
図５に図３の文書画像に対して構造解析された結果をイメージ的に示す。この例では、合計５つの構成要素の位置情報と属性とが求められている。図５では文字列の属性を持つ部分には破線の矩形を描き、図（イメージ）の属性を持つ部分には斜線を引いてある。
【００２３】
○ステップＳ３；制御情報の生成
制御部２９は、構造情報記憶部３２に記憶された構造解析結果を制御情報生成部２５に入力し、部分領域の撮像に必要な制御情報を作成させる。制御情報生成部２５は、先ず、構成要素の内、全体画像の解像度より高解像度が要求される属性を持つ構成要素を全て選択する。全体画像の解像度より高解像度が要求される属性は、予め入力装置５を通じてユーザから指定されているか、或いはシステムに事前に設定されている。例えば、全体画像の解像度より高解像度が要求される属性が文字列のみであった場合、図５の例においては、構成要素５１、５２、５３、５５が選択され、構成要素５４は選択されない。
【００２４】
次に制御情報生成部２５は、各構成要素を部分領域毎に分割して撮像する際の撮像倍率を決定する。この決定方法としては、例えば原稿２の全体画像の撮像に用いた倍率から、規定値分だけ上げた倍率（例えば２倍）とする方法などが使用できる。
【００２５】
次に制御情報生成部２５は、前記選択した各構成要素毎に、前記決定した撮像倍率で当該構成要素全体を撮像するには、当該構成要素を幾つの部分領域に分割すれば良いかを計算し、各部分領域毎の撮像方向と撮像順序を決定する。例えば或る１つの構成要素を図６（ａ）の構成要素６１とすると、撮像倍率が既知なので撮像エリアのサイズは求まる。若し、撮像エリアのサイズが図６（ａ）の破線で示すようなサイズであった場合、図示の例では構成要素を３つの部分領域６２、６３、６４に分割する必要があるため、部分領域６２、６３、６４それぞれを撮像するために必要な撮像方向を決定し、且つ、撮像順序として、例えば部分領域６２→部分領域６３→部分領域６４を求める。また、図６（ｂ）の構成要素６５のように、縦のサイズが撮像エリアの縦サイズより大きい場合には、２段、３段等の複数段に分割し、それぞれの部分領域を撮像するために必要な撮像方向と撮像順序とを決定する。ここで、隣接する部分領域どうしは一部重複するように設定する。また、制御情報生成部２５は、構成要素の撮像順序も決定する。こうして生成した制御情報は、制御部２９を通じて制御情報記憶部３３に記憶される。
【００２６】
制御情報生成部２５が図５の構成要素５１、５２、５３、５５に対して生成した制御情報の例を図７に示す。この例では、構成要素５１はｍ個の部分領域に、構成要素５２はｎ個の部分領域に、構成要素５３はｐ個の部分領域に、構成要素５５はｑ個の部分領域にそれぞれ分割され、それらの撮像方向が撮像順に記憶されている。また、構成要素５４は属性が図であるため、分割撮像の対象から除外されている。なお、図７では各構成要素毎に撮像倍率を記憶するようにしている。
【００２７】
○ステップＳ４〜Ｓ７
この処理は、全体画像の解像度より高解像度が必要となった構成要素毎に、制御情報生成部２５が生成した制御情報に基づき、当該構成要素を複数の領域に分割して撮像し、それらの画像を接合することにより、構成要素毎の高解像度の画像を生成する処理である。個々の構成要素単位で見れば、その構成要素に対して行われる処理は、文献１や文献２において全体画像に対して行われる処理をそのまま適用することができる。以下、図７の制御情報を例に各ステップＳ４〜Ｓ７の処理を簡単に説明する。
【００２８】
○ステップＳ４；１つの構成要素に注目
制御部２９は、制御情報記憶部３３に記憶された図７の制御情報中の先頭の構成要素５１に注目する。
【００２９】
○ステップＳ５；部分画像取得
制御部２９は、制御情報から現注目中の構成要素５１に対応する撮像倍率および第１の部分領域の撮像方向を取り出し、それらを画像取得制御部２３に通知して部分画像を取得するよう指示を出す。画像取得制御部２３は、信号線９を通じて機構部７に制御信号を送出して撮像装置３の撮像方向を指定された撮像方向に調整すると共に、信号線８を通じて撮像装置３の撮像倍率を指定された倍率に調整し、その状態で原稿２の部分画像を撮像装置３によって撮像する。そして、得られた画像に対して二値化等の所定の前処理を施し、撮像倍率および撮像方向の情報と共に第１の画像記憶部３０に記憶する。制御部２９は、構成要素５１について第１の部分領域の撮像が完了すると、次に、第２の部分領域についても同様の制御を行う。以下、第ｍの部分領域まで同様の制御を繰り返す。これにより、第１の画像記憶部３０には、構成要素５１の第１から第ｍまでの部分領域毎の部分画像が記憶される。
【００３０】
○ステップＳ６；画像接合
制御部２９は、第１の画像記憶部３０に記憶された構成要素５１の第１から第ｍまでの部分領域毎の部分画像を画像接合部２６に入力し、画像接合処理を行わせる。画像接合部２６は、隣接する部分画像毎に、双方の画像情報を利用して、２つの部分画像を接合していき、構成要素５１全体の広域精細画像を生成する。文献２における接合方法を用いる場合、画像接合部２６は、制御部２９を通じて構造解析部２４を利用することで、各部分画像に含まれる各文字、各文字列などの位置を求め、隣接する部分画像の接合時に、先ず、双方の部分画像に共通に出現する文字列の対応をとって大まかな位置合わせを行い、次いで、双方の部分画像に共通に出現する同一文字をサブピクセルの精度で位置合わせする。接合により生成された構成要素５１全体の精細画像は、制御部２９を通じて、第２の画像記憶部３１に記憶される。
【００３１】
○ステップＳ７；全構成要素終了？
制御部２９は、構成要素５１についての処理を終えると、構成要素５１の次の構成要素が図７の制御情報中に残っているか否かを調べる。残っている場合には、ステップＳ４に戻って上述した処理を繰り返す。従って、図７の制御情報の場合、構成要素５１の次に構成要素５２が処理され、以下、構成要素５３、５５と処理される。構成要素５５の処理が終了した時点で、第２の画像記憶部３１には、構成要素５１、５２、５３、５５の精細画像が記憶されていることになる。
【００３２】
○ステップＳ８；より高解像度で走査必要な構成要素の判定
制御部２９は、判定部２７を起動して、第２の画像記憶部３１に精細画像が記憶された構成要素毎に、適切な解像度以上の解像度が得られているか否かを判定させる。判定部２７は、例えば属性が文字列である構成要素の場合、その構成要素に含まれる文字の例えば過半数の文字が事前にユーザ又はシステムで定められた画素密度（例えば６０画素×６０画素）以上となっている場合には、適切な解像度が得られている、そうでない場合には適切な解像度が得られていないといった判定を下す。また、過半数の文字でなく、最小サイズの文字が前記画素密度以上となっているか否かによって判定しても良い。構成要素に含まれる文字の現在の画素密度は、第２の画像記憶部３１に記憶された接合画像から各文字を切り出して求めることができる。また、ステップＳ６の画像接合において部分画像を構造解析して得た構造情報を利用する文献２の方式を用いる場合、構造解析時に文字の抽出を行っているので、その時点で画素密度を求めておいて接合画像と共に第２の画像記憶部３１に記録し、それを判定部２７が参照するようにしても良い。
【００３３】
ここでは説明の便宜上、図５の構成要素のうち構成要素５１、５３については適切な解像度以上の解像度が得られており、構成要素５２、５３だけが未だ不十分な解像度であると判定されたものと仮定して、残りの処理を説明する。
【００３４】
○ステップＳ９；制御情報の再生成
制御部２９は、未だ解像度が不十分と判定された構成要素５２、５３にかかる構造解析結果を構造情報記憶部３２から取り出して制御情報生成部２５に入力し、部分領域の撮像に必要な制御情報の再生成を命ずる。制御情報生成部２５は、先ず、各構成要素５２、５３を部分領域毎に分割して撮像する際の撮像倍率を決定する。この決定方法としては、例えば最新の撮像倍率から、規定値分だけ上げた倍率（例えば２倍）とする方法が使用できる。最新の撮像倍率は図７に示した制御情報記憶部３３に記憶されているので、それを参照する。他の方法として、判定部２７において、適切な解像度が得られていない構成要素毎に、その中に含まれる解像度が不十分な文字の幾つかについて、その画素密度の平均を求め、解像度を何倍にすれば適切な解像度になるかを判定結果と共に制御部２９に通知し、制御部２９がそれを制御情報生成部２５に通知する方法でも良い。
【００３５】
次に制御情報生成部２５は、各構成要素５２、５３毎に、前記決定した撮像倍率で当該構成要素全体を撮像するには、当該構成要素を幾つの部分領域に分割すれば良いかを計算し、各部分領域毎の撮像方向と撮像順序を決定する。また、構成要素５２と構成要素５３の撮像順序も決定する。こうして生成される制御情報は、図７に示した構成要素５２、５３に対応する制御情報と基本的には同じである。但し、撮像倍率が大きくなっているため、各構成要素５２、５３の分割領域の個数はｎ、ｐより多くなっている。構成要素５２、５３について生成された制御情報は制御部２９に通知され、制御部２９はこれを２回目の制御情報として制御情報記憶部３３に記憶する。
【００３６】
○ステップＳ１０〜Ｓ１３；
この処理は、より高解像度が必要となった構成要素５２、５３毎に、制御情報生成部２５が再生成した制御情報に基づき、当該構成要素を複数の領域に分割して撮像し、それらの画像を接合することにより、構成要素毎のより高解像度な画像を生成する処理である。つまり、制御部２９は、制御情報記憶部３３に記憶された２回目の制御情報中の先頭の構成要素５２に注目し（ステップＳ１０）、ステップＳ５と同様な処理によって構成要素５２の各部分領域毎の部分画像を撮像して第１の画像記憶部３０に記憶し（ステップＳ１１）、ステップＳ６と同様な処理によって構成要素５２全体の広域精細画像を生成し、第２の画像記憶部３１に記憶された構成要素５２全体の前回の広域精細画像と置き換える（ステップＳ１２）。構成要素５２についての処理を終えると、構成要素５２の次の構成要素が２回目の制御情報中に残っているか否かを調べ（ステップＳ１３）、残っている場合には、ステップＳ１０に戻って上述した処理を繰り返す。従って、次に構成要素５３が処理され、その精細画像が第２の画像記憶部３１に記憶される。
【００３７】
制御部２９は、２回目の制御情報に基づく制御を終えると、判定部２７を起動して、第２の画像記憶部３１に２回目の精細画像が記憶された構成要素５２、５３毎に、適切な解像度以上の解像度が得られているか否かを判定させる（ステップＳ８）。若し、未だ解像度が不十分な構成要素があれば、十分な解像度が得られるまで、再び前述した処理を繰り返す。また、全ての構成要素について十分な解像度が得られていた場合、ステップＳ１４へと進む。
【００３８】
○ステップＳ１４；画像の再構成
この処理では、原稿２の各構成要素の画像をその相対位置を保った状態で合成することにより、原稿２全体の画像を再構成する。具体的には、制御部２９は、構造情報記憶部３２から原稿２の構造解析結果を読み出して画像再構成部２８に入力すると共に、その構造解析結果に含まれる各構成要素毎に、その構成要素に対応する精細画像が第２の画像記憶部３１に記憶されていればそれを読み出して画像再構成部２８に入力し、記憶されていなければ、ステップＳ１で取得されて第１の画像記憶部３０に記憶されている原稿２の全体画像中から当該構成要素の画像部分を抜き出して画像再構成部２８に入力する。画像再構成部２８は、構造解析結果中の各構成要素毎の位置情報から、原稿２における各構成要素の相対位置を認識し、その相対位置を保った状態で、各構成要素の画像を貼り合わせることで原稿２全体の画像を生成する。そして、生成した画像を出力装置６から出力する。なお、出力装置６に出力する代わりに、図示しない記憶装置に記憶させたり、文字認識プログラムに入力するようにしても良い。
【００３９】
従って、前述した構成要素５１〜５５の例の場合、ステップＳ１で取得された全体画像中から抜き出した構成要素５４の低解像度な画像と、ステップＳ６における画像接合で生成された構成要素５１、５５の精細画像と、ステップＳ１２における画像接合で生成された構成要素５２、５３の精細画像とが、それらの相対位置が原稿２上における相対位置を同じになるように合成された画像が生成される。ここで、解像度が相違すると構成要素の相対的な画像サイズも相違するため、構成要素５１〜５５の内の最も解像度の高い構成要素の解像度をＰとすると、解像度Ｑの構成要素の画像をＰ／Ｑ倍に拡大することで、各構成要素の相対的なサイズを原稿２と同じにすることができる。
【００４０】
以上の例では、属性が文字である構成要素については、その構成要素に含まれる文字の画素密度が所定の値以上となるようにその構成要素の撮像倍率を自動調整したが、各構成要素の属性毎に最終的な撮像倍率や解像度（例えば、文字属性の構成要素については４００ｄｐｉ、写真属性の構成要素については１００ｄｐｉなど）を入力装置５を通じてユーザが指定するようにしても良い。この場合、図２のステップＳ３において、各構成要素毎に、ステップＳ１で撮像した際の撮像倍率や解像度がユーザから指定された撮像倍率や解像度より小さいか否かを調べ、若し、小さければユーザが指定した撮像倍率や解像度に従って制御情報の生成処理を実施し、ステップＳ７において全構成要素の処理終了と判定すると、ステップＳ１４の処理を実施する。
【００４１】
またステップＳ１では、原稿２全体を１フレームで撮像して原稿２の全体画像を取得したが、例えば２フレーム乃至４フレーム程度の高々数フレームに分割して撮像し、それを画像接合部２６で画像接合して原稿２の全体画像を生成するようにしても良い。
【００４２】
さらに撮像装置３としては、机上に置かれた原稿２を上方から望む場所に機構部７を介して取り付けられたアクティブカメラに限定されず、据置き型スキャナなど他の種類の撮像装置を使用することも可能である。また、対象物も原稿には限られない。
【００４３】
次に本発明の第２の実施の形態について図面を参照して詳細に説明する。図８を参照すると、本発明の第２の実施の形態にかかる広域精細画像生成システム１Ａは、撮像装置３Ａの撮像倍率および撮像方向を利用者自身が手動で調整するようにした点で、図１に示した第１の実施の形態にかかる広域精細画像生成システム１と相違する。
【００４４】
撮像装置３Ａは、撮像倍率用の調整ツマミ８１を有し、利用者がこの調整ツマミ８１を操作することにより撮像装置３Ａの撮像倍率を任意に設定できるようになっている。撮像装置３Ａは、第１の実施の形態と同様に例えば机上に置かれた原稿２を上方から望む所定の場所に機構部７Ａを介して取り付けられている。機構部７Ａは、互いに直交する２方向（水平方向のＸ軸と垂直方向のＺ軸）に対して撮像装置３Ａの光学中心を回転中心として撮像装置３Ａを回動させる機構であるが、第１の実施形態における機構部７と異なり手動タイプである。つまり、撮像装置３Ａの撮像方向は利用者自身が機構部７Ａを操作することで調整する。機構部７Ａに取り付けられている撮像方向指示器８２は、撮像装置３Ａの現在の撮像方向を、Ｘ軸からの変位角θｘと、Ｚ軸からの変位角θｚで検出する分度器等の機構である。また、画像取得制御部２３Ａには表示装置８３が接続されており、この表示装置８３に利用者に対する撮像方向や撮像倍率の指示メッセージが表示される。
【００４５】
本実施形態にかかる広域精細画像生成システム１Ａの動作は、撮像装置３Ａの撮像倍率および撮像方法を利用者自身が手動で調整する点を除いて、第１の実施形態と同様である。以下、相違点を中心に本実施形態の動作を説明する。
【００４６】
図２のステップＳ１における原稿２の全体画像の取得に際しては、例えば「原稿２全体が１フレーム内に収まるように撮像方向および撮像倍率を調整して下さい」といったメッセージを画像取得制御部２３Ａが表示装置８３に出す。利用者が、調整ツマミ８１によって撮像装置３Ａの倍率を調整し、また機構部７Ａによって撮像装置３Ａの撮像方向を調整して、原稿２の全体が１フレームに収まるようにした後、入力装置５から撮像を開始して良い旨と、そのときの撮像倍率および撮像方向指示器８２が示す撮像方向を入力すると、それらが入力部２１、制御部２９を通じて画像取得制御部２３Ａに伝達され、画像取得制御部２３Ａはその時点の撮像装置３Ａの画像を原稿２の全体画像として、撮像倍率および撮像方向と共に第１の画像記憶部３０に記憶する。以降、ステップＳ２における画像構造解析、ステップＳ３における制御情報生成が第１の実施の形態と同様に実施される。
【００４７】
次に、ステップＳ５における原稿２上の個々の構成要素の撮像時においては、各分割領域の撮像時毎に、図７の制御情報の内容に従って、例えば「撮像倍率を○○倍に、撮像方向をＸ軸＝○△度、Ｚ軸＝△○度に調整して下さい」といったメッセージを画像取得制御部２３Ａが表示装置８３に出す。利用者が、調整ツマミ８１によって撮像装置３Ａの倍率を指定された値に調整し、また機構部７Ａによって撮像装置３Ａの撮像方向を指定された向きに調整して、入力装置５から撮像を開始して良い旨を入力すると、それが入力部２１、制御部２９を通じて画像取得制御部２３Ａに伝達され、画像取得制御部２３Ａはその時点の撮像装置３の撮像画像を当該部分領域の部分画像として取得し、第１の画像記憶部３０へ格納する。ステップＳ１１における撮像時も同様である。
【００４８】
なお、図８において、ＭＡはＣＤ−ＲＯＭ、半導体メモリあるいは磁気ディスク装置等の機械読み取り可能な記録媒体である。この記録媒体ＭＡに記憶された広域精細画像生成用プログラムは、処理装置４を構成するコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に、図８に示した入力部２１、出力部２２、画像取得制御部２３Ａ、構造解析部２４、制御情報生成部２５、画像接合部２６、判定部２７、画像再構成部２８および制御部２９といった機能部と、第１の画像記憶部３０、第２の画像記憶部３１、構造情報記憶部３２および制御情報記憶部３３といった記憶部とを実現する。
【００４９】
次に、第１および第２の実施の形態にかかる広域精細画像生成システムにおいて、幾何変形を推定して画像接合を行う場合に好適な実施例（第３の実施例）を説明する。
【００５０】
一般にピンホールカメラモデルで、原稿２が平面であると仮定すると、視点と原稿面の相対的な位置関係の変化による全ての可能な変形は、射影（ホモグラフィックな）変換で記述できる。
ｘ’＝（Ａｘ＋ｂ）／（ｃ^Tｘ＋１）
隣り合うフレーム画像間で幾何歪みが小さいとして、歪みを測定する。フレーム画像Ｅ内の全画素が上式に従って変移するので、オプティカルフローの拘束式において隣り合うフレーム間での動きベクトルをｘ’−ｘとし、
〔｛（Ａｘ＋ｂ）／（ｃ^Tｘ＋１）｝−ｘ〕^TＥ_X−Ｅ_t＝０
これに、最小二乗法を適用すると、
（ΣＯＯ^T）［Ａ｜ｂ｜ｃ］^T＝Σ（ｘ^TＥ_X−Ｅ_t）Ｏ
となる。ここで、（・）_Xと（・）_t は、それぞれ空間および時間に関する偏微分で、観測値Ｏは、
Ｏ＝［Ｅ_X（ｘ，ｙ，ｌ），Ｅ_y（ｘ，ｙ，ｌ），ｘ^T（Ｅ_t−ｘＥ_X−ｙＥ_y）］^Tである。変形パラメータリストａ＝［Ａ｜ｂ｜ｃ］^Tについて解くと、
ａ＝（ΣＯＯ^T）^-1・Σ（ｘ^TＥ_X−Ｅ_t ）Ｏ
となる。この変形パラメータを用いた射影変換を画像に適用することで、フレーム間の幾何歪みを再現することが可能である。
【００５１】
ここで、変形推定の具体的な方法としては、1995年にIEEE Transactions on Image Processing Vol.6 No.9に掲載されたS.Mannらの”Video orbits of the projective group; A simple approach to featureless estimation of parameters ”で提案されている。但し、この手法を原稿２全体の画像に対して適用すると、少なくとも原稿２の画像の画素数の定数倍オーダーの計算量が必要となる。
【００５２】
そこで本実施例では、変形推定に利用する画素を制約することで、計算効率を向上させる。つまり、図２のステップＳ６およびステップＳ１２における各構成要素毎の部分画像の接合時、接合する部分画像間の幾何変形を推定し、その幾何変形パラメータを局所的幾何変形パラメータとして保存しておく。また、このステップＳ６およびステップＳ１２の段階では、複数の部分画像を実際に物理的に接合するのではなく、複数の部分画像を後で接合できるように、位置合わせ情報を保存しておくにとどめる。次に、ステップＳ１４における画像の再構成時、それまでに求められた局所的幾何変形パラメータに基づいて、例えば平均をとる等して、原稿２全体の幾何変形パラメータを推定する。そして、画像の再構成に使う個々の構成要素毎に、原稿２全体の幾何変形パラメータを考慮して、部分画像間を最終的に接合する。
【００５３】
このように本実施例によれば、幾何変形推定の計算を、原稿２上の余白を除いた部分、つまり各構成要素の画像部分に対してのみ実施することで、計算量の低減が可能となる。
【００５４】
【発明の効果】
以上説明したように本発明によれば以下のような効果が得られる。
【００５５】
原画像中に比較的大きな空白部分が存在する場合であっても、広域精細な全体画像を生成することができる。その理由は、テキスト部分や図などといった構成要素毎に分割画像を撮像するので、全体または周辺部が空白となる部分画像が存在せず、従って各構成要素毎の画像接合を支障なく実施できるからである。また、構成要素の内、部分領域毎の部分画像が得られた構成要素については当該部分領域毎の部分画像を接合して生成した画像を、それ以外の構成要素については全体画像から抽出した当該構成要素の画像を、それぞれ合成対象画像として、各構成要素の相対的な位置関係が対象物上に配置されている構成要素毎の位置情報で表される相対的な位置関係と等しくなるように合成して、対象物全体の広域精細画像を生成しているからである。
【００５６】
複数種の解像度の画像が混在した広域精細画像を生成することができる。その理由は、互いに接合する部分画像は同じ構成要素の部分画像に限られ、異なる構成要素に属する部分画像同士を画像接合しないので、構成要素間で解像度が相違しても支障はなく、解像度を各構成要素単位に独立にできるからである。
【００５７】
原画像中に高解像度が要求されない空白領域等が存在する場合には、接合すべき部分画像の個数を低減して処理時間を短縮できる。その理由は、空白領域等、高解像度が要求されない領域に対しては、部分画像を撮像しないためである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態にかかる広域精細画像生成システムのブロック図である。
【図２】処理装置で実行される処理の一例を示すフローチャートである。
【図３】原稿の全体画像の例を示す図である。
【図４】構成要素の位置情報の定義例を示す図である。
【図５】文書画像に対して構造解析された結果をイメージ的に示す図である。
【図６】制御情報生成部の処理の説明図である。
【図７】制御情報生成部が生成した制御情報の例を示す図である。
【図８】本発明の第２の実施の形態にかかる広域精細画像生成システムのブロック図である。
【符号の説明】
１、１Ａ…広域精細画像生成システム
２…原稿
３、３Ａ…撮像装置
４…処理装置
５…入力装置
６…出力装置
７、７Ａ…機構部
８〜１１…信号線

Claims

下記のステップを含む広域精細画像生成方法。
（ａ）広域精細画像を生成する対象物を撮像装置により撮像して、前記対象物の全体画像を得るステップ。
（ｂ）前記対象物の全体画像を解析して、前記対象物上に配置されている文字列または図を含み且つ大きな空白領域によって囲まれた閉領域である構成要素毎の位置情報を求めるステップ。
（ｃ）前記構成要素の内の少なくとも１つの構成要素について、その構成要素が存在する領域を撮像する１以上の部分領域および解像度を決定し、該決定した部分領域毎に、前記決定した解像度で前記撮像装置により前記対象物を撮像して、部分領域毎の部分画像を得るステップ。
（ｄ）前記構成要素の内、部分領域毎の部分画像が得られた構成要素については当該部分領域毎の部分画像を接合して生成した画像を、それ以外の構成要素については前記全体画像から抽出した当該構成要素の画像を、それぞれ合成対象画像として、各構成要素の相対的な位置関係が前記対象物上に配置されている構成要素毎の位置情報で表される相対的な位置関係と等しくなるように前記合成対象画像を合成して、前記対象物の広域精細画像を生成するステップ。
下記のステップを含む広域精細画像生成方法。
（ａ）広域精細画像を生成する対象物を撮像装置により撮像して、前記対象物の全体画像を得るステップ。
（ｂ）前記対象物の全体画像を解析して、前記対象物上に配置されている文字列または図を含み且つ大きな空白領域によって囲まれた閉領域である構成要素毎の位置情報および属性を求めるステップ。
（ｃ）前記構成要素の内、高解像度が要求される属性を持つ構成要素毎に、その構成要素が存在する領域を撮像する１以上の部分領域および解像度を決定し、該決定した部分領域毎に、前記決定した解像度で前記撮像装置により前記対象物を撮像して、部分領域毎の部分画像を得るステップ。
（ｄ）前記構成要素の内、高解像度が要求される構成要素については当該構成要素に関して撮像された部分領域毎の前記部分画像を接合して生成した画像を、それ以外の構成要素については前記全体画像から抽出した当該構成要素の画像を、それぞれ合成対象画像として、各構成要素の相対的な位置関係が前記対象物上に配置されている構成要素毎の位置情報で表される相対的な位置関係と等しくなるように前記合成対象画像を合成して、前記対象物の広域精細画像を生成するステップ。
下記のステップを含む広域精細画像生成方法。
（ａ）広域精細画像を生成する対象物を撮像装置により撮像して、前記対象物の全体画像を得るステップ。
（ｂ）前記対象物の全体画像を解析して、前記対象物上に配置されている文字列または図を含み且つ大きな空白領域によって囲まれた閉領域である構成要素毎の位置情報および属性を求めるステップ。
（ｃ）前記構成要素の内、高解像度が要求される属性を持つ構成要素毎に、その構成要素が存在する領域を撮像する１以上の部分領域および解像度を決定し、該決定した部分領域毎に、前記決定した解像度で前記撮像装置により前記対象物を撮像して、部分領域毎の部分画像を得るステップ。
（ｄ）ステップｃで部分領域毎の部分画像が得られた構成要素毎に、その構成要素の属性毎に予め定められた解像度以上の解像度が得られているか否かを判定し、予め定められた解像度以上の解像度が得られていない構成要素については、その構成要素が存在する領域を撮像する１以上の部分領域および解像度を再度決定し、該決定した部分領域毎に、前記決定した解像度で前記撮像装置により前記対象物を撮像して、部分領域毎のより高解像度の部分画像を得る処理を、予め定められた解像度以上の解像度が得られるまで繰り返すステップ。
（ｅ）前記構成要素の内、高解像度が要求される構成要素については当該構成要素に関して最終的に撮像された部分領域毎の前記部分画像を接合して生成した画像を、それ以外の構成要素については前記全体画像から抽出した当該構成要素の画像を、それぞれ合成対象画像として、各構成要素の相対的な位置関係が前記対象物上に配置されている構成要素毎の位置情報で表される相対的な位置関係と等しくなるように前記合成対象画像を合成して、前記対象物の広域精細画像を生成するステップ。
各構成要素の部分画像の接合時に、接合する部分画像間の幾何変形を局所的幾何変形として推定し、該推定した局所的幾何変形から画像全体の幾何変形を推定し、該推定した画像全体の幾何変形を考慮して、部分画像間の接合を行う請求項１、２または３記載の広域精細画像生成方法。
撮像方向および撮像倍率を調整可能な撮像装置と、該撮像装置に接続された処理装置とから構成され、
前記処理装置は、
広域精細画像を生成する対象物を撮像装置により撮像して、前記対象物の全体画像を得る手段と、
前記対象物の全体画像を解析して、前記対象物上に配置されている文字列または図を含み且つ大きな空白領域によって囲まれた閉領域である構成要素毎の位置情報を求める手段と、
前記構成要素の内の少なくとも１つの構成要素について、その構成要素が存在する領域を撮像する１以上の部分領域および解像度を決定し、該決定した部分領域毎に、前記決定した解像度で前記撮像装置により前記対象物を撮像して、部分領域毎の部分画像を得る手段と、
前記構成要素の内、部分領域毎の部分画像が得られた構成要素については当該部分領域毎の部分画像を接合して生成した画像を、それ以外の構成要素については前記全体画像から抽出した当該構成要素の画像を、それぞれ合成対象画像として、各構成要素の相対的な位置関係が前記対象物上に配置されている構成要素毎の位置情報で表される相対的な位置関係と等しくなるように前記合成対象画像を合成して、前記対象物の広域精細画像を生成する手段とを含むことを特徴とする広域精細画像生成システム。
撮像方向および撮像倍率を調整可能な撮像装置と、該撮像装置に接続された処理装置とから構成され、
前記処理装置は、
広域精細画像を生成する対象物を撮像装置により撮像して、前記対象物の全体画像を得る手段と、
前記対象物の全体画像を解析して、前記対象物上に配置されている文字列または図を含み且つ大きな空白領域によって囲まれた閉領域である構成要素毎の位置情報および属性を求める手段と、
前記構成要素の内、高解像度が要求される属性を持つ構成要素毎に、その構成要素が存在する領域を撮像する１以上の部分領域および解像度を決定し、該決定した部分領域毎に、前記決定した解像度で前記撮像装置により前記対象物を撮像して、部分領域毎の部分画像を得る手段と、
前記構成要素の内、高解像度が要求される構成要素については当該構成要素に関して撮像された部分領域毎の前記部分画像を接合して生成した画像を、それ以外の構成要素については前記全体画像から抽出した当該構成要素の画像を、それぞれ合成対象画像として、各構成要素の相対的な位置関係が前記対象物上に配置されている構成要素毎の位置情報で表される相対的な位置関係と等しくなるように前記合成対象画像を合成して、前記対象物の広域精細画像を生成する手段とを含むことを特徴とする広域精細画像生成システム。
撮像方向および撮像倍率を調整可能な撮像装置と、該撮像装置に接続された処理装置とから構成され、
前記処理装置は、
広域精細画像を生成する対象物を撮像装置により撮像して、前記対象物の全体画像を得る手段と、
前記対象物の全体画像を解析して、前記対象物上に配置されている文字列または図を含み且つ大きな空白領域によって囲まれた閉領域である構成要素毎の位置情報および属性を求める手段と、
前記構成要素の内、高解像度が要求される属性を持つ構成要素毎に、その構成要素が存在する領域を撮像する１以上の部分領域および解像度を決定し、該決定した部分領域毎に、前記決定した解像度で前記撮像装置により前記対象物を撮像して、部分領域毎の部分画像を得る手段と、
部分領域毎の部分画像が得られた構成要素毎に、その構成要素の属性毎に予め定められた解像度以上の解像度が得られているか否かを判定し、予め定められた解像度以上の解像度が得られていない構成要素については、その構成要素が存在する領域を撮像する１以上の部分領域および解像度を再度決定し、該決定した部分領域毎に、前記決定した解像度で前記撮像装置により前記対象物を撮像して、部分領域毎のより高解像度の部分画像を得る処理を、予め定められた解像度以上の解像度が得られるまで繰り返す手段と、
前記構成要素の内、高解像度が要求される構成要素については当該構成要素に関して最終的に撮像された部分領域毎の前記部分画像を接合して生成した画像を、それ以外の構成要素については前記全体画像から抽出した当該構成要素の画像を、それぞれ合成対象画像として、各構成要素の相対的な位置関係が前記対象物上に配置されている構成要素毎の位置情報で表される相対的な位置関係と等しくなるように前記合成対象画像を合成して、前記対象物の広域精細画像を生成する手段とを含むことを特徴とする広域精細画像生成システム。
各構成要素の部分画像の接合時に、接合する部分画像間の幾何変形を局所的幾何変形として推定し、該推定した局所的幾何変形から画像全体の幾何変形を推定し、該推定した画像全体の幾何変形を考慮して、部分画像間の接合を行う請求項５、６または７記載の広域精細画像生成システム。
コンピュータに下記のステップを実行させるプログラムを記録したコンピュータ可読記録媒体。
（ａ）広域精細画像を生成する対象物を撮像装置により撮像して、前記対象物の全体画像を得るステップ。
（ｂ）前記対象物の全体画像を解析して、前記対象物上に配置されている文字列または図を含み且つ大きな空白領域によって囲まれた閉領域である構成要素毎の位置情報を求めるステップ。
（ｃ）前記構成要素の内の少なくとも１つの構成要素について、その構成要素が存在する領域を撮像する１以上の部分領域および解像度を決定し、該決定した部分領域毎に、前記決定した解像度で前記撮像装置により前記対象物を撮像して、部分領域毎の部分画像を得るステップ。
（ｄ）前記構成要素の内、部分領域毎の部分画像が得られた構成要素については当該部分領域毎の部分画像を接合して生成した画像を、それ以外の構成要素については前記全体画像から抽出した当該構成要素の画像を、それぞれ合成対象画像として、各構成要素の相対的な位置関係が前記対象物上に配置されている構成要素毎の位置情報で表される相対的な位置関係と等しくなるように前記合成対象画像を合成して、前記対象物の広域精細画像を生成するステップ。