JP2012203458A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】２つの画像間において、ユーザが指定した一部分同士の比較を可能とすること。
【解決手段】本発明に係る画像処理装置１００は、第１画像と第２画像を受け付ける画像受付手段と、ユーザが前記第１画像に対し第１指定領域を指定する第１指定領域指定手段と、前記第１指定領域に基づいて前記第１画像に対し第１比較領域を設定する第１比較領域設定手段と、前記第２画像に対し第２比較領域を設定する第２比較領域設定手段と、前記第１比較領域中の第１比較画像と前記第２比較領域中の第２比較画像の幾何学的関係を補正する幾何学的関係補正手段と、前記第１比較画像に前記第２比較画像を重畳した画像または、前記第１比較画像と前記第２比較画像との差分画像を出力する画像出力手段と、を有する。
【選択図】図１

Description

本発明は、画像処理装置及びプログラムに関する。

特許文献１には、電子文書を紙へ出力した後に手書きの加筆が重畳した状態の加筆重畳画像から加筆画像を抽出する加筆画像抽出装置において、電子文書の原稿画像において文字画像領域と文字画像領域以外の領域を識別し、それぞれの領域について位置ズレを補正して差分処理を行うことが記載されている。

特開２００４−２８７６８２号公報

本発明の解決しようとする課題は、２つの画像間において、ユーザが指定した一部分同士の比較を可能とすることである。

上記課題を解決するために、本発明の請求項１に記載の画像処理装置は、第１画像と第２画像を受け付ける画像受付手段と、ユーザが前記第１画像に対し第１指定領域を指定する第１指定領域指定手段と、前記第１指定領域に基づいて前記第１画像に対し第１比較領域を設定する第１比較領域設定手段と、前記第２画像に対し第２比較領域を設定する第２比較領域設定手段と、前記第１比較領域中の第１比較画像と前記第２比較領域中の第２比較画像の幾何学的関係を補正する幾何学的関係補正手段と、前記第１比較画像に前記第２比較画像を重畳した画像または、前記第１比較画像と前記第２比較画像との差分画像を出力する画像出力手段と、を有する。

また、本発明の請求項２に記載の画像処理装置は、請求項１記載の画像処理装置であって、前記第１比較領域設定手段は、前記第１指定領域に含まれる第１指定画像に基づいて前記第１比較領域を設定する。

また、本発明の請求項３に記載の画像処理装置は、請求項１又は２記載の画像処理装置であって、ユーザが前記第２画像に対し第２指定領域を指定する第２指定領域指定手段を有し、前記第２比較領域設定手段は、前記第２指定領域に基づいて前記第２画像に対し前記第２比較領域を設定する。

また、本発明の請求項４に記載の画像処理装置は、請求項３記載の画像処理装置であって、前記第２比較領域設定手段は、前記第２指定領域に含まれる第２指定画像に基づいて前記第２比較領域を設定する。

また、本発明の請求項５に記載の画像処理装置は、請求項３又は４記載の画像処理装置であって、前記第２比較領域設定手段は、前記第１指定領域および前記第２指定領域の両方に基づいて前記第１比較領域および前記第２比較領域を設定する。

また、本発明の請求項６に記載の画像処理装置は、請求項３乃至５のいずれかに記載の画像処理装置であって、前記幾何学的関係補正手段は、前記第１比較領域及び前記第２比較領域の両方に基づいて前記第１比較画像と前記第２比較画像の幾何学的関係を補正する。

また、本発明の請求項７に記載の画像処理装置は、請求項３乃至６のいずれかに記載の画像処理装置であって、前記幾何学的関係補正手段は、前記第１比較画像及び前記第２比較画像の両方に基づいて前記第１比較画像と前記第２比較画像の幾何学的関係を補正する。

また、本発明の請求項８に記載の画像処理装置は、請求項３乃至７のいずれかに記載の画像処理装置であって、ユーザが前記第１画像に対し第１基準点を指定する第１基準点指定手段と、ユーザが前記第２画像に対し第２基準点を指定する第２基準点指定手段と、を有し、前記幾何学的関係補正手段は、前記第１基準点および前記第２基準点に基づいて前記第１比較画像と前記第２比較画像の幾何学的関係を補正する。

また、本発明の請求項９に記載の画像処理装置は、請求項１又は２記載の画像処理装置であって、前記第２比較領域設定手段は、前記第１指定領域または前記第１比較領域に含まれる画像を、前記第２画像から検索することにより前記第２比較領域を設定する。

また、本発明の請求項１０に記載の画像処理装置は、請求項９記載の画像処理装置であって、前記第２比較領域設定手段は、前記検索により複数の第２比較領域候補が得られた場合に、前記複数の第２比較領域候補のいずれかをユーザに指定させることにより前記第２比較領域を設定する。

また、本発明の請求項１１に記載のプログラムは、コンピュータを、第１画像と第２画像を受け付ける画像受付手段と、ユーザが前記第１画像に対し第１指定領域を指定する第１指定領域指定手段と、前記第１指定領域に基づいて前記第１画像に対し第１比較領域を設定する第１比較領域設定手段と、前記第２画像に対し第２比較領域を設定する第２比較領域設定手段と、前記第１比較領域中の第１比較画像と前記第２比較領域中の第２比較画像の幾何学的関係を補正する幾何学的関係補正手段と、前記第１比較画像に前記第２比較画像を重畳した画像または、前記第１比較画像と前記第２比較画像との差分画像を出力する画像出力手段と、を有する画像処理装置として動作させる。

上記請求項１に記載の画像処理装置によれば、２つの画像間において、ユーザが指定した一部分同士の比較が可能となる。

また、上記請求項２に記載の画像処理装置によれば、比較すべき一部分として第１画像についてユーザが指定した領域が不正確なものであっても、第１画像の内容に応じて比較対象となる領域を正確なものに補正できる。

また、上記請求項３に記載の画像処理装置によれば、第１画像の一部分と比較すべき第２画像の一部分をユーザが指定できる。

また、上記請求項４に記載の画像処理装置によれば、比較すべき一部分として第２画像についてユーザが指定した領域が不正確なものであっても、第２画像の内容に応じて比較対象となる領域を正確なものに補正できる。

また、上記請求項５に記載の画像処理装置によれば、比較すべき一部分として第１画像及び第２画像についてユーザが指定した領域が不正確なものであっても、それぞれの画像について指定された領域の両方に基づいてそれぞれの画像についての比較対象となる領域を正確なものに補正できる。

また、上記請求項６に記載の画像処理装置によれば、かかる構成を有しない画像処理装置に比して、第１画像と第２画像の比較すべき一部分の位置や歪みを高速に補正できる。

また、上記請求項７に記載の画像処理装置によれば、かかる構成を有しない画像処理装置に比して、第１画像と第２画像の比較すべき一部分の位置や歪みを正確に補正できる。

また、上記請求項８に記載の画像処理装置によれば、ユーザの意図を反映して第１画像と第２画像の比較すべき一部分の位置を補正できる。

また、上記請求項９に記載の画像処理装置によれば、ユーザが第２画像について領域を指定することなく、２つの画像間における一部分同士の比較が可能となる。

また、上記請求項１０に記載の画像処理装置によれば、ユーザが第２画像について領域を指定することなく、なおかつ、ユーザの意図を反映して２つの画像間における一部分同士の比較が可能となる。

また、上記請求項１１に記載の画像処理装置によれば、コンピュータを、２つの画像間において、ユーザが指定した一部分同士の比較を可能とする画像処理装置として機能させることができる。

本発明の第１の実施形態に係る画像処理装置の機能ブロック図である。 一般的なコンピュータにより実現された画像処理装置のハードウェア構成図である。 第１指定領域と第１指定画像との関係に基づいて第１比較領域を設定するものを説明する図である。 第１画像の一部分を示す図である。 第２画像の一部分を示す図である。 第１比較領域設定部の動作のアルゴリズムを示すフロー図である。 概略補正を行ってから第１比較領域及び第２比較領域を設定する場合における、第１の実施形態の変形例に係る画像処理装置の機能ブロック図である。 第１の実施形態に係る画像処理装置の処理を具体的に例示して説明する図である。 第１の実施形態に係る画像処理装置の処理を具体的に例示して説明する図である。 第１の実施形態に係る画像処理装置の処理を具体的に例示して説明する図である。 第１の実施形態に係る画像処理装置の処理を具体的に例示して説明する図である。 第１の実施形態に係る画像処理装置の処理を具体的に例示して説明する図である。 本発明の第２の実施形態に係る画像処理装置の機能ブロック図である。 第２の実施形態に係る画像処理装置の処理を具体的に例示して説明する図である。 第２の実施形態に係る画像処理装置の処理を具体的に例示して説明する図である。 第２の実施形態に係る画像処理装置の処理を具体的に例示して説明する図である。 本発明の第３の実施形態に係る画像処理装置の機能ブロック図である。 第３の実施形態に係る画像処理装置の処理を具体的に例示して説明する図である。

図１は、本発明の第１の実施形態に係る画像処理装置１００の機能ブロック図である。

画像処理装置１００は、物理的には汎用の情報処理装置である、一般的なコンピュータを用いて実現される。図２は、一般的なコンピュータにより実現された画像処理装置１００のハードウェア構成図である。同図に示すように、画像処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２、外部記憶装置３、ＧＣ（Ｇｒａｐｈｉｃｓ Ｃｏｎｔｒｏｌｌｅｒ）４、入力デバイス５及びＩ／Ｏ（Ｉｎｐｕｒ／Ｏｕｔｐｕｔ）６がデータバス７により相互に電気信号のやり取りができるよう接続されている。ここで、外部記憶装置３はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の静的に情報を記録できる装置である。またＧＣ４からの信号はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やいわゆるフラットパネルディスプレイ等の、使用者が視覚的に画像を認識するモニタ８に出力され、画像として表示される。入力デバイス５はキーボードやマウス、タッチパネル等の、使用者が情報を入力するための機器であり、Ｉ／Ｏ６は画像処理装置１００が外部の機器やコンピュータと情報をやり取りするためのインタフェースである。そして、かかるコンピュータ上で、コンピュータを画像処理装置１００として動作させるためのコンピュータプログラムを実行することにより、画像処理装置１００は仮想的に実現される。コンピュータを画像処理装置１００として動作させるためのコンピュータプログラムは、たとえばＤＶＤ−ＲＯＭ（ＤＶＤ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の任意の情報記録媒体に記録して提供しても、インターネットに代表される公衆回線等の電気通信回線を介して、コンピュータ読み取り可能な電気信号として提供してもよい。なお、図２は画像処理装置１００を実現するにあたり用いる情報処理装置としての一般的なコンピュータの一例を示したものであり、同図に示した構成に限定するものではない。一般的なコンピュータ以外にも、マイクロコントローラやＤＳＰ（デジタルシグナルプロセッサ）等を用いた専用の装置として画像処理装置１００を実現してもよい。また、画像処理装置１００は、単独で動作可能な機器として構成しても、コピー機やファクシミリ等の事務機器に実装あるいは追加されるモジュールとして構成してもよい。

また、図１に示した画像処理装置１００の機能ブロックは、コンピュータプログラムにより実現される画像処理装置１００を、その機能に着目して説明の便宜上示したものであり、必ずしも各機能ブロックが物理的に存在する必要はない。

画像受付手段として機能する画像受付部１０は、比較の対象となる第１画像と第２画像を電子データとして外部より受け付けるインタフェースである。ここで第１画像と第２画像は、紙あるいはマイクロフィルム等の物理的な媒体上に記録されたものであっても、電子データとして記録されたものであってもよい。そして、画像受付部１０は、画像を電子データとして受け付けるものであればどのようなものであってもよく、例えば、コンピュータ上で実行されているプロセス間で情報の入出力を行う、いわゆるソケットであっても、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の公衆回線を含むＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に接続された電気通信回線、任意の情報記録媒体読取装置等であってもよいし、紙あるいはマイクロフィルム等の媒体上の画像情報を電子化して読み取るスキャナなどの装置であってもよく、これらの複数を備えていてもよい。これらの例について図２に即して説明すれば、物理的には電気通信回線としてのＩ／Ｏ６や、Ｉ／Ｏ６に接続された情報記録媒体読取装置あるいはスキャナが画像受付部１０に相当することになる。画像受付部１０がソケットである場合には、画像受付部１０はソフトウェアにより仮想的に実現されており、物理的実体は存在しないことになる。また、受け付けられる電子データの形式はどのようなものであってもよく、ＤＸＦ（Ｄｒａｗｉｎｇ Ｅｘｃｈａｎｇｅ Ｆｏｒｍａｔ）等のベクトルデータフォーマットであっても、ＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）等のページ記述言語を用いたものやＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）等のマークアップ言語を用いたもの等のメタデータを有する形式のデータであっても、単なるラスタデータであってもよい。電子データの形式がラスタデータ以外のものである場合には、以降の処理の都合により、ラスタデータに展開してもよいが、必須のものではない。

また、第１画像と第２画像は、どのようなものであってもよく特に限定はされないが、ユーザがそれぞれの画像の少なくとも一部分同士の比較を望むものである。このようなものの例としては、例えば、図面において、ある部品の一部分や形状を変更した場合における変更前の図面と変更後の図面や、ある図面の一部分を他の図面に流用した場合等がある。もちろん、第１画像と第２画像は図面に限られるものではない。

画像受付部１０に受け付けられた第１画像及び第２画像は、画像補正手段として機能する画像補正部１１に受け渡される。画像補正手段は、第１画像と第２画像の属性を一致させるべく補正する手段である。ここで、画像の属性とは、画像に含まれるデータ如何にかかわらず、画像自体が有する特徴を指しており、例えば、画像の大きさ、解像度、モノクロ／カラーの別、等が含まれる。画像の大きさは、例えば、Ａ３、Ａ２など用紙の大きさを示す情報によって指定しても、画像の寸法や画素数によって指定してもよい。通常、画像の外形は矩形であるので、寸法や画素数によって画像の大きさを指定する場合には、画像の縦横の寸法或いは画素数を指定すればよい。画像補正部１１は、第１画像と第２画像のこれら属性が不一致である場合には、この属性をいずれか片方の画像の属性に一致するよう、あるいは両画像ともにその属性が予め定められた属性となるように第１画像と第２画像を補正する。この補正はどのように行ってもよいが、より情報量の多い側の属性に一致するよう補正することが望ましい。例えば、画像の大きさであればより大きい方に、解像度であればより高解像度の方に一致させる。モノクロ／カラーの別であれば、カラーの側に一致させてよいが、色の差を比較する必要がない場合には、モノクロに一致させるようにしてよい。この場合、後の情報処理の負荷の軽減のため、各画像を二値化して、白黒二色のみからなる画像に変換しておいてもよい。

補正後の第１画像は続く第１比較領域設定手段として機能する第１比較領域設定部１２に、補正後の第２画像は第２比較領域設定手段として機能する第２比較領域設定部１３にそれぞれ受け渡される。第１比較領域設定手段は、後述する第１指定領域指定手段により指定された第１指定領域に基づいて第１画像に対し第１比較領域を設定する手段である。また、第２比較領域設定手段は、第２画像に対し第２比較領域を設定する手段である。本実施形態では、第２比較領域設定部１３である第２比較領域設定手段は、後述する第２指定領域指定手段により指定された第２指定領域に基づいて第２画像に対し第２比較領域を設定する手段であるが、第２比較領域設定手段は、必ずしも第２指定領域に基づいて第２比較領域を設定するものとは限らない。これら第１比較領域設定部１２および第２比較領域設定部１３については後述する。

なお、本明細書で、比較領域とは、画像処理装置１００上において実際に比較の対象として抜きだされる画像の一部分である閉領域を指している。また、指定領域とは、ユーザが比較の対象としたい画像の一部分を指示するために、画像処理装置１００を操作し、入力した領域を指している。指定領域と比較領域とは一致していてもよいが、すなわち、単純に指定領域を比較領域としてもよいが、ユーザの操作は必ずしも正確なものではなく、そのためにユーザが意図したとおりの画像の一部分同士の比較が行われない場合がある。本実施形態では、より正確にユーザが意図したとおりに画像の一部分同士を比較すべく、後述する処理を行い、比較領域を得ている。そのため、指定領域と比較領域は必ずしも一致しない。また、指定領域中に含まれる画像を指定画像、比較領域中に含まれる画像を比較画像と称する。

第１指定領域指定手段として機能する第１指定領域指定部１４は、第１画像に対する指定領域である第１指定領域の指定をユーザから受け、第１比較領域設定部１２に受け渡す。場合によっては、第１指定領域は第２比較領域設定部１３にも受け渡される（図中破線で示した）。第１指定領域指定手段は、ユーザが前記第１画像に対し第１指定領域を指定する手段である。第１指定領域指定部１４の具体的な構成は特に限定されず、種々のもので良い。例えば、モニタ８（図２参照）上に表示された第１画像上の所望の領域を、マウスあるいはタッチパネル等の入力デバイス５（図２参照）により指定させる構成であっても、あらかじめ第１画像に含まれる図形にラベリング処理を施しておき、任意の入力デバイス５によりそれらの図形の一又は複数を指定させる構成であっても、第１画像が記録された紙媒体上に予めユーザがマーカペンなどで所望の領域を囲む線を描画しておき、画像受付部１０により読み込まれた第１画像からかかる線を認識することにより指定させるものであってもよい。このとき、ユーザが指定した領域が閉領域を示すものであれば特に問題はないが、第１指定領域指定部１４の構成によっては、ユーザが所望の領域を指定するものとして入力した境界線が閉でない場合があり得る。その場合には、第１指定領域指定部１４は、ユーザが入力した境界線の凸包、或いは外接矩形を取ることにより第１指定領域を指定するとよい。ユーザが図形を指定した場合も同様である。本実施形態では、ユーザがモニタ８（図２参照）上に表示された第１画像上の所望の位置を示す矩形を、マウスによるドラッグ操作により矩形枠の対向する頂点を指定することにより行うものとする。したがって、本実施形態では得られる第１指定領域は常に矩形の閉領域となる。しかしながら、これに限定されるものではなく、例えば、マウスあるいはタッチパネル等の入力デバイスにより自由曲線を描かせるようにしても、多角形の頂点を順に指定させるようにしても何ら差し支えない。

また、第２指定領域指定手段として機能する第２指定領域指定部１５は、本実施形態では、第２の画像についての指定領域である第２指定領域をユーザに指定させ、第２比較領域設定部１３に受け渡すという点を除き、第１指定領域指定部１４と全く同じであるから、その説明は省略する。なお、第１指定領域指定部１４同様に、第２指定領域指定部１５は場合によっては第１比較領域設定部１２にも第２指定領域を受け渡す。また、第２指定領域指定手段は、ユーザが前記第２画像に対し第２指定領域を指定する手段である。

第１比較領域設定部１２は、前述のとおり、ユーザによる不完全な第１指定領域の指定を補正し、前記第１比較領域を設定するものであるが、その方法には種々のものがあり、以下説明するもののいずれか、あるいは複数を採用してよく、また、その他の方法を採用しても差し支えない。また、どの方法を用いるかユーザに選択させるように構成しておいてもよい。この方法は大別して、第１指定領域（第１指定画像を含む）のみに基づいて第１比較領域を設定するものと、第１指定領域と第２指定領域の両方に基づいて第１比較領域を設定するものとがある。

まず、前者のもの、すなわち、第１指定領域（第１指定画像を含む）のみに基づいて第１比較領域を設定するものとして、次のものがある。
・単純に第１指定領域を第１比較領域とする。
・第１指定領域に含まれる第１指定画像に基づいて第１比較領域を設定する。この場合にも種々の方法があり、一つは単純に第１指定画像を含む閉領域を第１比較領域とするもので、第１指定画像の外接矩形や、凸包を第１比較領域とする。もう一つは、第１指定領域と第１指定画像との関係に基づいて第１比較領域を設定するものである。

この第１指定領域と第１指定画像との関係に基づいて第１比較領域を設定するものについて図３を参照してより詳しく説明する。図３は第１画像の一部分であって、図形１０１Ａ、１０１Ｂ、１０１Ｃ及び１０１Ｄが示されている。そして、第１指定領域指定部１４により、第１指定領域１０２が指定されたものとする（図中では、その外形を破線で示した）。このとき、第１比較領域設定部１２は、まず、第１指定領域１０２に含まれる画像である第１指定画像を起点としてラベリングを行い、図形１０１Ａ乃至１０１Ｄを識別する。そして、以下のいずれかの方法により第１比較領域を設定する。
（１）第１指定領域１０２に完全に包含される図形の外接矩形又は凸包を第１比較領域とする。ここであげた例では、第１指定領域１０２に完全に包含される図形は図形１０１Ａ及び１０１Ｂであるから、これらの外接矩形である第１比較領域１０３Ａが設定される。なお、図示は省略したが、第１比較領域１０３Ａを図形１０１Ａ及び１０１Ｂの外接矩形ではなく凸包としてもよい。
（２）第１指定領域１０２に一部分が包含される図形の外接矩形又は凸包を第１比較領域とする。ここであげた例では、図形１０１Ａ乃至１０１Ｄはいずれも第１指定領域１０２に部分的に包含されるため、これらの外接矩形である第１比較領域１０３Ｂが設定されることになる。この場合においても、第１比較領域１０３Ｂを外接矩形ではなく凸包としてもよい。
（３）第１指定領域１０２に完全に包含される図形及び、第１指定領域１０２に主として包含される図形の外接矩形又は凸包を第１比較領域とする。ここで、主として包含されるとは、例えば操作ミスによりある図形の一部分が第１指定領域１０２の外側に位置するものの、その図形自体は第１指定領域１０２に含まれるべきものと認識される状態を指す。逆にいえば、操作ミス等によりある図形の一部分が第１指定領域１０２の内側に位置するものの、その図形自体は第１指定領域の外側にあるべきものと認識される場合には、その図形は主として包含されるとは言えない。画像処理装置１００において、ある図形が第１指定領域１０２に主として包含されるか否かの判別は、種々の方法を用いて行ってよく、例えば、ある図形の外接矩形の中心位置が第１指定領域１０２に含まれるとき、その図形は第１指定領域１０２に主として包含されると判断する方法がある。他にも、中心位置に替え、ある図形を構成する有色画素の重心の位置によりその図形が第１指定領域１０２に主として包含されるか否かを判断してもよいし、ある図形を構成する有色画素が第１指定領域１０２に含まれる割合、例えば、８０％以上の有色画素が第１指定領域１０２に含まれる場合に主として包含されると判断してもよい。これらの方法は、任意のものを選択しても、また、ユーザに選択させるようにしてもよく、また、最後に挙げた方法では、判断のしきい値となる割合をユーザが設定するようにしてもよい。

図３に挙げた例では、第１指定領域１０２に図形１０１Ａ及び１０１Ｂは完全に包含されている。そして、図形１０１Ｃ及び１０１Ｄは第１指定領域１０２に部分的に包含されているため、図形１０１Ｃ及び１０１Ｄについては、主として包含されているか否かの判断がなされる。ここで、図形１０１Ｃの中心位置１０４Ｃは、第１指定領域１０２に含まれているため、図形１０１Ｃは第１指定領域１０２に主として包含されると判断される。一方、図形１０１Ｄの中心位置１０４Ｄは、第１指定領域１０２に含まれないため、図形１０１Ｄは第１指定領域１０２には主として包含されない。その結果、図形１０１Ａ、１０１Ｂ及び１０１Ｃの外接矩形である第１比較領域１０３Ｃが設定される。

また、後者のもの、すなわち、第１指定領域と第２指定領域の両方に基づいて第１比較領域を設定するものとして、次のものがある。
・第１指定領域の形状に関する情報と第２指定領域の形状に関する情報に基づいて、第１比較領域を設定する。形状に関する情報は、例えば、それぞれの指定領域の横幅及び縦幅である。すなわち、第１比較領域の横幅及び縦幅をそれぞれ、第１指定領域及び第２指定領域の横幅の小さい方又は大きい方に一致させるように設定する。第１指定領域が矩形である場合には、第１比較領域を設定された横幅及び縦幅の矩形とすればよく、第１指定領域が矩形でない場合には、その横幅及び縦幅が設定された値となるよう拡縮したものを第１比較領域とすればよい。この際、第１比較領域の位置は、第１指定領域と予め定められた関係となるように定める。それぞれの中心の位置を一致させたり、特定の基準となる点、例えば、左上隅の点の位置を一致させたりする等である。
・第１指定領域と第２指定領域を論理演算することにより第１比較領域を設定する。ここで論理演算は、和又は積算であり、第１比較領域は、第１指定領域と第２指定領域の和集合又は積集合となる。論理演算をする際の第１指定領域と第２指定領域との位置合わせは、第１指定領域と第２指定領域とが予め定められた関係となるように定める。すなわち、特定の基準となる点、例えば、それぞれの中心の位置を一致させたり、左上隅の点の位置を一致させたりする等である。このとき、特定の基準となる点を定めるにあたり、第１指定画像及び第２指定画像を参照してかかる基準となる点を定めてもよい。

この第１指定画像及び第２指定画像を参照してかかる基準となる点を定める方法についてより詳しく説明する。この方法は、第１指定画像と第２指定画像の任意の特徴点を抽出し、かかる特徴点に基づいて特定の基準となる点を定めるものであるが、その特徴点には種々のものがある。ここで、特徴点とは、画像から抽出され、画像の何らかの特徴を示す点を指す。例えば、特徴点として、両指定画像の重心（すなわち、指定画像に含まれる有色画素全体の重心。ここで、有色とは、画像の背景色でない色を意味しており、例えば背景色が白であれば、黒を含む白以外の色は有色である）を用いたり、両指定画像の外接矩形の中心やいずれかの頂点を用いたりして良い。あるいは、次に説明するように、指定画像と指定領域との関係より特徴点を求めてもよい。

図４Ａ乃至Ｃは、指定画像と指定領域との関係より特徴点を求める方法を説明する例である。図４Ａは、第１画像の一部分であって、図形１０５Ａ及び１０５Ｂが示されており、第１指定領域指定部１４により、第１指定領域１０６が指定されている様子を示している。

まず、第１指定領域１０６の外周を構成する４辺それぞれに注目し、各辺に図形が交差しているか否か、すなわち、各辺上に有色画素が存在するか否かを判別し、図形が交差していない辺には値として１を、交差している辺には０を割り当てる（図中、丸で囲った数字で示した）。この例では、第１指定領域１０６の上辺及び左辺は図形と交差していないため１が割り当てられ、下辺は図形１０５Ｂと交差しているため０が、また右辺は図形１０５Ａ及び１０５Ｂの両方と交差しているため同様に０が割り当てられる。

続いて、第１指定領域１０６の外周の頂点それぞれに注目し、各頂点に接する辺に割り当てられた値を合計し、注目した頂点に割り当てられる値を求める。例えば、左上の頂点であれば、上辺及び左辺に割り当てられた値を合計する等である。この例では、左上の頂点は２、右上及び左下の頂点は１、右下の頂点は０が割り当てられることになる（図中、四角で囲った数字で示した）。そして、最も大きい値が割り当てられた頂点に最も近い第１指定画像中の特徴点を基準となる点とする。ここで用いる特徴点には、例えば、図形に含まれる交点や、外接矩形の頂点等がある。この例では、図形に含まれる交点を使用することとする。そうすると、最も大きい値である２が割り当てられた第１指定領域１０６の左上の頂点から最も近い図形１０５Ａの交点１０７が、基準となる点として求められる。

なお、もっとも大きい値が割り当てられた第１指定領域１０６の外周の頂点が複数ある場合には、そのうちのいずれかに最も近い指定画像の特徴点を基準とする点として良く、また、全ての頂点に割り当てられた値が等しい（このことは、第１指定領域１０６の外周に全く図形が交差していないか、全ての辺に図形が交差していることを示している）場合には、前述したように、指定画像の重心や外接矩形の中心を基準となる点とすればよい。

図４Ｂは、第２画像の一部分であって、図形１０８Ｃ及び１０８Ｄが示されており、第２指定領域指定部１５により、第２指定領域１０９が指定されている様子を示している。このとき、先に図４Ａで説明したとおり、第１画像に対し第１指定領域１０６の左上の頂点に最も近い第１指定画像の特徴点を基準となる点とすることが得られているので、第２画像に対しても、第２指定領域１０９の対応する頂点、すなわち、左上の頂点に最も近い第２指定画像の特徴点である交点１１０が基準となる点とされる。

その後、基準となる点である交点１０７及び交点１１０が一致するように第１指定領域及び第２指定領域のいずれかまたは両方を平行移動させ、両者の論理和又は論理積を取ることにより第１比較領域を得る。

なお、以上の説明では、第１指定領域１０６の外周の各辺と図形との交差状態に基づいて基準となる点を求めたが、これに替え、第２指定領域１０９の外周の各辺と図形との交差状態に基づいて基準となる点を求めるようにしてもよい。さらに、第１指定領域１０６の各辺と図形との交差状態に基づいて基準となる点を求めることができなかった場合に、第２指定領域１０９の外周の各辺と図形との交差状態に基づいて基準となる点を求めるようにしてもよい。この場合の第１比較領域設定部１２の動作のアルゴリズムを、図４Ｃに示したフロー図により説明する。

まず、ステップＳ１において、第１指定領域の各辺と第１指定画像中の図形との交差状態に基づいて基準となる点を求めうるか否かを判断する。このとき、第１指定領域の各辺と第１指定画像中の図形との交差状態に基づいて基準となる点を求めうる場合とは、第１指定領域の一部の辺と第１指定画像中の図形とが交差している状態であり、第１指定領域が矩形の場合には、１乃至３辺において図形と交差している状態を指す。一方、第１指定領域の各辺と第１指定画像中の図形との交差状態に基づいて基準となる点を求められない場合とは、第１指定領域の全ての辺において図形と交差していないか、又は交差している状態を指す。

第１指定領域の各辺と第１指定画像中の図形との交差状態に基づいて基準となる点を求めうる場合には、ステップＳ２へと進み、第１指定領域と第１指定画像から基準となる点を求める。この方法は、図４Ａを用いて説明したとおりである。続いて、ステップＳ３へと進み、第２指定領域と第２指定画像から基準となる点を求める。この方法は、図４Ｂを用いて説明したとおりである。そして、第１指定領域と第２指定領域の両方について基準となる点が求められたので、ステップＳ８へと進む。

一方、ステップＳ１において第１指定領域の各辺と第１指定画像中の図形との交差状態に基づいて基準となる点を求められない場合にはステップＳ４へと進み、第２指定領域の各辺と第２指定画像中の図形との交差状態に基づいて基準となる点を求めうるか否かを判断する。第２指定領域の各辺と第２指定画像中の図形との交差状態に基づいて基準となる点を求めうる場合には、ステップＳ５へと進み、第２指定領域と第２指定画像から基準となる点を求める。この方法は、図４Ａを用いて説明した方法を、第２指定領域と第２指定画像に対し行えばよい。続いて、ステップＳ６へと進み、第１指定領域と第１指定画像から基準となる点を求める。この方法は、図４Ｂを用いて説明した方法を第１指定領域と第１指定画像に対し行えばよい。そして、第１指定領域と第２指定領域の両方について基準となる点が求められたので、ステップＳ８へと進む。

さらに、ステップＳ４において第２指定領域の各辺と第２指定画像中の図形との交差状態に基づいて基準となる点を求められない場合にはステップＳ７へと進み、第１指定画像と第２指定画像のそれぞれの重心又は外接矩形の中心を求め基準となる点とする。その後ステップＳ８へと進む。

ステップＳ８では、第１指定領域と第２指定領域それぞれの基準となる点が一致するよう位置合わせを行い、続くステップＳ９において第１指定領域と第２指定領域の論理和又は論理積を行い、両者の和集合又は積集合を求め、第１比較領域とする。

なお、ここで示したアルゴリズムは、指定画像と指定領域との関係より特徴点を求める方法の一例である。ここでの基本的な考え方は、第１指定領域１０６（又は第２指定領域１０９）の外周に交差している図形や、外周に交差している部分は、第２画像（又は第１画像）に対し追記あるいは削除がなされたり、ユーザが比較しようとしている部分と無関係であったりする可能性が高いので、それら交差している部分から離れた位置を基準とする点とすることである。従って、上記示したものと異なっていても、同様に、指定領域の外周と図形が交差している部分から離れた位置に基準とする点を設けるアルゴリズムであればどのようなものを採用してもよい。

図１に戻り、第２比較領域設定部１３は、第２比較領域を設定するものであるが、この設定方法には種々のものがあり、第１比較領域設定部１２がどのように第１比較領域を設定するかによりその動作は異なる。

まず、第１比較領域設定部１２が第１指定領域（第１指定画像を含む）のみに基づいて第１比較領域を設定するものである場合には、第２比較領域設定部１３もまた、第２指定領域（第２指定画像を含む）のみに基づいて第２比較領域を設定するものであってよい。このときの第２比較領域の設定方法については、第１画像に適用するものとして第１比較領域設定部１２の説明においてしたものを第２画像に適用すれば良いので、重複する説明は省略する。通常は、第１指定領域設定部１２において採用された方法と同じ方法を第２指定領域設定部１３においても採用することが好ましい。

次に、第１比較領域設定部１２が第１指定領域と第２指定領域の両方に基づいて第１比較領域を設定するものである場合、第２比較領域は、第１比較領域と同形状とすることが好ましい。もちろん、第１比較領域設定部１２で行う処理と同様の処理を改めて第２比較領域設定部１３で行ってもよいが、その結果は通常同じものが得られるため、第１比較領域設定部１２で得られた結果である第１比較領域の形状を第２比較領域として用いると、情報処理の負荷が軽減される（この場合の情報のやり取りについては、図１中破線で示した）。このときの第２比較領域の位置については、第１比較領域を設定する際に基準とした第１画像における点に対応する第２画像における点を基準として定めるとよい。たとえば、第１比較領域を設定する際に第１比較画像の重心或いは外接矩形の中心又は任意の頂点を参照しているならば、同様に、第２比較画像の重心或いは外接矩形の中心又は任意の頂点を基準に第１比較領域の形状を適用して第２比較領域を設定する。また、第１比較領域を設定する際に、第２画像についても基準となる点を求めている場合には、かかる点を基準として第１比較領域の形状を適用して第２比較領域を設定するとよい。

以上の第１画像、第２画像、第１比較領域及び第２比較領域は、続く幾何学的関係補正手段として機能する幾何学的関係補正部１６に受け渡される。幾何学的関係補正手段は、第１比較領域中の第１比較画像と第２比較領域中の第２比較画像の幾何学的関係を補正する手段である。ここで、第１画像と第２画像中においてユーザが比較したいと望む一部分は、必ずしもその縮尺や傾き等の幾何学的関係が一致するとは限らない。なぜなら、第１画像と第２画像が紙媒体上に記録されたものをスキャンしたものであれば、その傾きは厳密には一致しないし、また、第１画像と第２画像が出力された状況が異なれば若干縮尺に変化が生じることもある。また、第１画像中の一部分を他の画像である第２画像に流用した場合には、その一部分の画像中における位置は当然に両者で異なるからである。なお、ここでいう幾何学的関係とは、第１画像の第１比較領域に含まれる部分である第１比較画像と、第２画像の第２比較領域に含まれる部分である第２比較画像とは、そもそも両者を比較しようとするものである以上共通する部分をもっており、その共通部分についての位置、傾き及び縮尺のことを指している。また、幾何学的関係の補正とは、第１の画像の第１比較画像と第２の画像の第２比較画像の幾何学的関係を一致させることである。この補正は、第１の比較画像に第２比較画像の幾何学的関係を一致させるようにしてもよいし、その逆であってもよい。また、この幾何学的関係の補正は、公知の座標変換、例えば、アフィン変換によって行ってよい。

幾何学的関係補正部１６は、概略補正部１７と、詳細補正部１８を含んでいる。概略補正部１７は、第１比較画像と第２比較画像の幾何学的関係を大まかに一致させるものであり（以下、概略補正という）、詳細補正部１８は、第１比較画像と第２比較画像の幾何学的関係を概略補正部１７より詳細に一致させるものである（以下、詳細補正という）。

概略補正部１７は、続く詳細補正部１８において第１比較画像と第２比較画像の幾何学的関係の詳細補正を行うために、あらかじめ概略補正を行うものである。このように幾何学的関係補正部１６を概略補正部１７と詳細補正部１８の二段階に分割する理由は、概略補正部１７による概略補正をしない状態で直ちに詳細補正を行うこととすると、概略補正をする場合に比して情報処理の負荷が大きく、処理速度の低下を招き、また画像処理装置１００の計算リソースの利用効率が低くなるためである。

概略補正部１７による概略補正の方法には種々のものがあり、以下説明するもののいずれか、あるいは複数を採用してよく、また、その他の方法を採用しても差し支えない。また、どの方法を用いるかユーザに選択させるように構成しておいてもよい。

まず、第１比較領域及び第２比較領域の両方に基づいて第１比較画像と第２比較画像の幾何学的関係を概略補正する方法を挙げる。この方法は、換言するならば、第１比較領域と第２比較領域に含まれる第１比較画像と第２比較画像を参照することなく、第１比較領域と第２比較領域の特徴のみを用いて行う概略補正方法である。この方法には、次のようなものが含まれる。
・第１比較領域と第２比較領域の外接矩形の任意の頂点、例えば左上の頂点、の位置を一致させる。第１比較領域及び第２比較領域の形状がそもそも矩形である場合には、その任意の頂点位置を一致させればよい。
・第１比較領域と第２比較領域の中心の位置を一致させる。第１比較領域及び第２比較領域の形状が矩形でない場合には、外接矩形の中心位置をそれぞれの比較領域の中心位置として用いればよい。
・第１比較領域と第２比較領域の重心の位置を一致させる。第１比較領域及び第２比較領域の形状が矩形である場合には、この重心の位置は上述の中心の位置と一致する。

これらの方法は情報処理の負荷が非常に少なく高速である半面、第１比較領域と第２比較領域の位置の概略補正を行うにとどまり、回転や縮尺の補正はできない。

続いて、第１比較画像及び第２比較画像の両方に基づいて第１比較画像と第２比較画像の幾何学的関係を概略補正する方法を挙げる。この方法は、換言するならば、第１比較領域と第２比較領域に含まれる第１比較画像と第２比較画像を参照して、第１比較領域と第２比較領域を概略補正する方法である。この方法には、次のようなものが含まれる。
・第１比較画像と第２比較画像の特徴量を用いて概略補正をする。特徴量は、画像から抽出され、画像の何らかの特徴を示す値（ベクトル値を含む）であり、前述の特徴点は、特徴量の一つである。例えば、特徴量として特徴点を用いる場合には、両比較画像の重心（すなわち、比較画像に含まれる有色画素全体の重心）を用い、両者の重心を一致させるべく平行移動する。或いは、比較領域の任意の頂点に最も近い比較画像の位置を用い、両者を一致させるべく平行移動する。例えば、比較領域の左上の頂点（比較領域が矩形であるとして）に最も近い比較画像上の点（これは比較画像に含まれる有色画素のうち最も左上に位置する点となる）を一致させるように第１比較画像と第２比較画像を平行移動させる。或いは、先の第１比較領域設定部１２及び第２比較領域設定部１３が、第１比較領域及び第２比較領域を設定する際に基準となる点をそれぞれ定めるものである場合には、かかる基準となる点を特徴点として、両者を一致させるように第１比較画像と第２比較画像を平行移動させる。更には、第１比較画像と第２比較画像に含まれる最も長い直線を抽出し、その直線の位置、長さ及び傾きを一致させるように写像を行ってもよい。この場合、直線の抽出は、例えば、ハフ変換を用いて行ってよい。また、写像は前述のとおりアフィン変換を用いて行ってよい。また、特徴量を抽出する対象は、少なくとも第１比較画像又は第２比較画像を含んでいれば良い。すなわち、例えば第１比較画像に対し前述のハフ変換を行う場合に、第１比較画像のみをハフ変換の対象としても、第１比較領域を含む予め定められた範囲の画像、或いは、第１画像全体をハフ変換の対象としてもよい。比較画像のみを特徴量抽出の対象とした場合には、情報処理の負荷が小さく高速な処理が期待される一方、より広い範囲を特徴点抽出の対象とした場合には情報処理の負荷が大きくなる反面より正確な概略補正が期待される。
・第１比較画像と第２比較画像の外接矩形を用いて概略補正をする。位置の補正については、外接矩形の任意の頂点あるいは中心位置を一致させるように平行移動すればよい。また、第１比較画像と第２比較画像の外接矩形のアスペクト比（縦横の長さの比）が一致するか又は概ね等しい（プラスマイナス５％以内など、予め定められた誤差の範囲内である場合）には、第１比較画像と第２比較画像との間に、画像自体の大きさを変える変更が加えられなかったものとして、外接矩形の大きさを一致させるように第１比較画像または第２比較画像を拡大または縮小してよい。これらの平行移動及び拡縮は、アフィン変換を用いて良い。
・第１比較画像と第２比較画像とのパターンマッチングを行い、両者の概略補正をする。このとき、単純にパターンマッチングを行うと情報処理の負荷が大きいため、第１比較画像と第２比較画像のそれぞれについて、解像度を下げる、画像中の閉領域に対しては塗りつぶし処理を行う、などの前処理を行ってからパターンマッチングを行うことが好ましい。

これらの方法は、先の第１比較領域及び第２比較領域の両方に基づいて第１比較画像と第２比較画像の幾何学的関係を概略補正する方法に比べれば情報処理の負荷が大きいものとなるが、第１比較画像と第２比較画像自体を参照することから、より精度の高い概略補正がなされる。

概略補正がなされた第１比較画像と第２比較画像はさらに、詳細補正部１８に受け渡される。詳細補正部１８では、第１比較画像と第２比較画像との幾何学的関係を詳細補正する。詳細補正の方法は公知の任意の方法によってよく、例えば、第１比較画像と第２比較画像の任意の特徴量を用いて行ってもよいし、パターンマッチングを用いて行ってもよい。

詳細補正がなされた第１比較画像と第２比較画像は、差分抽出部１９に受け渡される。差分抽出部１９は、第１比較画像と第２比較画像の差分を抽出する。すなわち、第１比較画像に存在するが第２比較画像に存在しない有色画素（以降便宜的に削除画素と呼ぶ）及び、第１比較画像に存在しないが第２比較画像に存在する有色画素（以降便宜的に追加画素と呼ぶ）を差分として抽出する。

抽出された差分及び、第１画像、第２画像は、画像出力手段として機能する画像出力部２０に受け渡される。画像出力手段は、第１比較画像に第２比較画像を重畳した画像または、第１比較画像と第２比較画像との差分画像を出力する手段であり、本実施形態の場合は、第１比較画像と第２比較画像との差分画像を出力する手段となっている。画像出力部２０は、本実施形態の場合、有色画素を薄い色に加工した（いわゆるグレーアウト）第１画像上に削除画素、追加画素を識別できるように重畳し、また、第１比較画像及び第２比較画像間で変化のない有色画素はそのままの色で出力するようになっている。画像出力部２０は、物理的にはユーザに視覚的に差分を含む画像（差分画像）を提示し得るものであればどのようなものであってもよい。例えば、モニタ８（図２参照）上に光学的な画像として出力してもよいし、印刷機により印刷しても、任意のファイル形式で他のコンピュータやＨＤＤ等任意の情報記録媒体に出力し記録してもよい。

なお、本実施形態に係る画像処理装置１００では、画像出力部２０は差分画像を出力するものであるが、これに替え、単に第１比較画像と第２比較画像を重畳して出力するものであってもよい。この場合には、差分抽出部１９は不要であるので省略して差し支えない。また、第１比較画像と第２比較画像を重畳する際には、両者の区別がつくように第１比較画像と第２比較画像の色を変えるなどするとよい。また、第１比較画像と第２比較画像の差分画像あるいは重畳画像を出力する際には、必ずしも第１画像又は第２画像全体を併せて提示しなくともよく、第１比較画像と第２比較画像のみ、或いは、その予め定められた範囲の周辺部分を含めた一部分のみを出力するようにしてもよい。

なお、本実施形態では、第１比較領域設定部１２と第２比較領域設定部１３、第１指定領域指定部１４と第２指定領域指定部１５を、それぞれ第１画像と第２画像に対し処理をする別個のものとして説明しているが、これは説明の便宜上区分したものであり、両者を同一のものとしてもよい。すなわち、第１比較領域設定部１２と第２比較領域設定部１３又は第１指定領域指定部１４と第２指定領域指定部１５が、入力される画像が異なるのみでその機能は同一である場合には、これらを同一のものとして、第１画像を入力すれば第１比較領域設定部１２又は第１指定領域指定部１４として、第２画像を入力すれば第２比較領域設定部１３又は第２指定領域指定部１５として機能させるようにしてもよい。

なお、ここまで説明した本実施形態の画像処理装置１００においては、第１比較領域及び第２比較領域を設定してから概略補正するものとしたが、この順番を入れ替え、概略補正を行ってから第１比較領域及び第２比較領域を設定するようにしてもよい。

図５は、概略補正を行ってから第１比較領域及び第２比較領域を設定する場合における、本実施形態の変形例に係る画像処理装置１００の機能ブロック図である。この場合には、図示のように、概略補正部１７が、第１比較領域設定部１２及び第２比較領域設定部１３の前段に配置される。また、第１指定領域及び第２指定領域が概略補正部１７により参照されるよう、第１指定領域指定部１４及び第２指定領域指定部１５から概略補正部１７への情報の受け渡しがなされるようになっている。

この変形例においても、概略補正部１７、第１比較領域設定部１２及び第２比較領域設定部１３の機能は上記説明したものと同様である。ただし、この場合には、概略補正部１７が第１比較領域及び第１比較画像並びに第２比較領域及び第２比較画像を利用できないため、これらに替え、第１指定領域及び第１指定画像並びに第２指定領域及び第２指定画像を利用するものとする。また、第１比較領域設定部１２が第１指定領域と第２指定領域の論理演算を行うものである場合に、第１指定領域と第２指定領域との位置合わせは概略補正部１７による概略補正をもってなされたものとしてもよい。もちろん、各領域の基準となる点は、前述した方法を用いて別途求め、独立に位置合わせを行っても差し支えない。

次に、図１及び図６乃至図１０を参照し、本実施形態に係る画像処理装置１００の処理を具体的に例示して説明する。なお、以下の説明は、図１を参照して説明した例による画像処理装置１００に依拠したものであり、図５を参照して説明した変形例に依拠するものではない。

図６中、符号１１１は第１画像、符号１１２は第２画像である。そして、第１指定領域指定部１４により第１指定領域１１３（破線で示した）が、第２指定領域指定部１５により第２指定領域１１４（破線で示した）がそれぞれ指定されたものとする。

なお、この例では、第１指定領域指定部１４及び第２指定領域指定部１５はユーザに矩形を指定させるものであり、また、第１比較領域設定部１２及び第２比較領域設定部１３は、第１指定画像及び第２指定画像のそれぞれの外接矩形を第１比較領域及び第２比較領域として設定するものとされている。したがって、続く図７に示すように、第１比較領域１１５（一点鎖線で示した）及び第２比較領域１１６（二点鎖線で示した）がそれぞれ第１指定画像及び第２指定画像の外接矩形となるように設定される。

そして、図８に示すように、概略補正部１７により、この例では、第１比較画像及び第２比較画像の重心の位置が一致するように概略補正がなされることにより、両者の大まかな位置合わせがなされる。

続いて、図９に示すように、詳細補正部１８により、詳細な位置合わせがなされる。この例では、パターンマッチングによる位置合わせを行っているため、第１比較画像及び第２比較画像に共通に含まれている同心円の部分が重なり合うように位置合わせがされることになる。

そして、第１比較画像及び第２比較画像の差分が差分抽出部１９により抽出され、かかる差分は図１０に示すように画像出力部２０により出力される。この例では、差分として抽出された部分は太線で、比較対象となった部分（すなわち、第１比較画像及び第２比較画像）において共通する部分は実線で、その他の第１の画像の部分はグレーアウトされて（図中では点線で示した）モニタ８上に表示される。なお、各部分の明示方法はどのようなものでもよく、前述のとおり色や輝度を変えたり、点滅させたりしてもよい。また、比較対象となった部分のみ、すなわち、図１０中太線及び実線で示した部分のみを出力するようにしてもよい。

続いて、本発明の第２の実施形態を説明する。図１１は、本発明の第２の実施形態に係る画像処理装置２００の機能ブロック図である。本実施形態の画像処理装置２００は、第
１の実施形態に係る画像処理装置１００に比して、第１基準点指定部２１及び第２基準点指定部２２が追加されている点が異なっている。

画像処理装置２００において、画像受付部１０、画像補正部１１、第１指定領域指定部１４及び第２指定領域指定部１５の機能は第１の実施形態に係る画像処理装置１００と同様である。そして、第１基準点指定手段として機能する第１基準点指定部２１は、第１の画像に対してユーザが指定する第１基準点の入力を受け付ける。ここで、第１基準点指定手段は、ユーザが第１画像に対し第１基準点を指定する手段である。また、第２基準点指定手段として機能する第２基準点指定部２２は、第２の画像に対してユーザが指定する第２基準点の入力を受け付ける手段である。ここで、第２基準点指定手段は、ユーザが第２画像に対し第２基準点を指定する手段である。

第１基準点及び第２基準点の意味は、ユーザが比較しようとする第１画像と第２画像の一部分同士を比較する上で、それぞれどの位置が対応しているかをユーザが明示的に指定するものである。すなわち、第１基準点が指し示す第１画像上の位置と、第２基準点が指し示す第２画像上の位置が一致するように第１画像と第２画像を平行移動させたときに、ユーザが比較したい第１画像と第２画像の一部分同士の位置が概ね一致すると考えられる。

第１基準点指定部２１と第２基準点指定部２２の具体的な構成は、ユーザが第１基準点及び第２基準点を入力するものであればどのようなものであってもよい。例えば、モニタ８（図２参照）上に表示された第１画像又は第２画像上の所望の位置を、マウスあるいはタッチパネル等の入力デバイス５（図２参照）により指定させる構成であっても、第１画像又は第２画像が記録された紙媒体上に予めユーザがマーカペンなどで所望の位置を記しておき、画像受付部１０により読み込まれた第１画像又は第２画像からかかる位置を認識することにより指定させるものであってもよい。

第１基準点及び第２基準点により明示された第１画像と第２画像の一部分同士の対応関係を後段の処理にどのように用いるかには種々の方法があり、以下説明するもののいずれか、あるいは複数を採用してよく、また、その他の方法を採用しても差し支えない。また、どの方法を用いるかユーザに選択させるように構成しておいてもよい。
・第１比較領域設定部１２が第１指定領域と第２指定領域との論理演算を行い第１比較領域を求めるものである場合、第１指定領域と第２指定領域との位置合わせを行う際の基準となる点として、第１基準点及び第２基準点を用いる。
・概略補正部１７において、概略補正をする際に特徴量として特徴点を用いる場合には、第１基準点及び第２基準点をそれぞれ第１画像及び第２画像における特徴点として用いて概略補正をする。

また、本実施形態のように、第２画像についてユーザに第２基準点を指定させるものである場合、第２指定領域指定部１５と第２基準点指定部２２を兼用したものとしてもよい。この場合、第２基準点指定部２２により第２基準点を指定するのみで第２指定領域が同時に指定されることになる。すなわち、第１指定領域指定部１４を用い指定された第１指定領域と、第１基準点指定部２１を用い指定された第１基準点を利用して、第２基準点に基づいて第２指定領域を求めるのである。具体的には、第２基準点に対し、第１基準点に対する第１指定領域の位置及び形状と同等の関係となる位置及び形状の領域を第２指定領域として設定する。このようにした場合には、第２指定領域を指定するユーザの負担は軽減される。

以降、第１比較領域設定部１２及び第２比較領域設定部１３、概略補正部１７、詳細補正部１８、差分抽出部１９並びに画像出力部２０の構成及び機能は先の第１の実施形態に係る画像処理装置１００と同様であり、画像出力部２０により第１比較画像に第２比較画像を重畳した画像または、第１比較画像と第２比較画像との差分画像が出力される。

次に、図１１乃至１４を参照し、本実施形態に係る画像処理装置２００の処理を具体的に例示して説明する。

図１２中、符号２０１は第１画像、符号２０２は第２画像である。そして、第１指定領域指定部１４により第１指定領域２０３（破線で示した）が指定され、第１基準点指定部２１により第１基準点２０４が指定されたものとする。また、第２指定領域指定部１５により第２指定領域２０５（破線で示した）が指定され、第２基準点指定部２２により第２基準点２０６が指定されたものとする。

続く図１３に示すように、第１比較領域設定部１２は、第１基準点２０４及び第２基準点２０６が一致するように第１指定領域２０３及び第２指定領域２０５を重ね合わせ、それらの論理演算、この場合、論理和を取ることにより、第１画像２０１上に第１比較領域２０７（一点鎖線で示した）を設定する。そして、第２比較領域設定部１３は、第２基準点２０６の位置に基づいて、第１比較領域２０７と同形の第２比較領域２０８を第２画像２０２上に設定する。

そして、図１４に示すように、概略補正部１７により、この例では、第１基準点２０４及び第２基準点２０６の位置が一致するように概略補正がなされることにより、両者の大まかな位置合わせがなされる。

続く詳細補正部１８、差分抽出部１９及び画像出力部２０における処理は、第１の実施形態の具体例において、図９及び１０を用いて説明したと同様であるから、重複する説明についてはこれを省略する。

さらに、本発明の第３の実施形態を説明する。図１５は、本発明の第３の実施形態に係る画像処理装置３００の機能ブロック図である。本実施形態の画像処理装置３００は、第
１の実施形態に係る画像処理装置１００に比して、第２指定領域指定部１５がない点が異なっている。

画像処理装置３００において、画像受付部１０、画像補正部１１、第１指定領域指定部１４、第１比較領域設定部１２の機能は第１の実施形態に係る画像処理装置１００と同様である。そして、本実施形態に係る画像処理装置３００では、前述のとおり、第２指定領域指定部が設けられていない。そのため、第２比較領域は、ユーザに指定された第２指定領域によってではなく、第１指定領域または第１比較領域に基づいて設定される。

具体的には、本実施形態における第２比較領域設定部１３は、第１指定領域又は第１比較領域に含まれる画像（すなわち、第１指定画像又は第１比較画像）に対応する画像を第２画像中より検索することにより、第２画像中における当該第１指定領域又は第１比較領域に対応する領域を求め、第２比較領域を設定する。例えば、第１比較画像を用いる場合には、第１比較画像に類似した画像を第２画像中から検索する。なお、この検索には種々の方法を用いてよく、本実施形態では、パターンマッチングの手法により類似する画像の検索を行っている。その他にも、例えば、第１指定領域又は第１比較領域、並びに第２画像に含まれる図形にラベリングの処理を施した後、各図形の特徴量、例えば、外接矩形の縦横の長さの比や大きさ、有色画素の数、交点の数や配置を比較することにより類似する図形を求め、それによって類似する画像を検索するようにしてもよい。そして、検索の結果発見された画像に基づいて、第２比較領域を設定する。この場合、第２比較領域は、発見された画像に対する位置及び形状が、第１比較画像に対する第１比較領域の位置及び形状と同等の関係となるように設定するとよい。或いは、第１指定画像を用いる場合には、発見された画像に基づいて設定される領域を第２比較領域とするか、先の実施形態における第１指定領域として用いて第１比較領域及び第２比較領域をそれぞれ設定するようにして良い。

なお、検索を行った結果、第２画像中に類似した画像の候補が複数発見された場合には、それらの画像の候補の類似の度合い、例えば、共通する有色画素の割合等、が最も大きいものを用いてもよいが、それら複数の画像の候補のいずれかをユーザに指定させるようにしてもよい。この場合には、複数の第２比較領域候補が得られた場合に、複数の第２比較領域候補のいずれかをユーザに指定させることにより第２比較領域を設定することになる。この指定は、例えば、モニタ８（図２参照）上に第２画像を表示し、第２画像中の候補となる画像の部分を明示、例えば、当該部分をハイライト或いは点滅表示したり、当該部分に基づいて設定されるであろう第２比較領域の外縁を表示したりしてユーザに候補となる部分を知らせ、その後任意の入力デバイス５（図２参照）により一の候補を選択させるようにするとよい。

このとき、画像の候補をどの程度ユーザに通知し選択させるかは任意に設定してよい。例えば、表示する画像の候補の数の上限を定めておき（例えば５など）、画像の候補の類似の度合いが大きいものから順に、上限数までの候補を表示し選択させるようにしたり、画像の候補の類似の度合いにしきい値を設けておき、かかるしきい値を上回る類似の度合いを有する画像の候補を表示し選択させるようにしてもよい。かかるしきい値は、予め定めた値としておいても、ユーザにより任意に設定されるようにしてもよい。また、かかるしきい値に到達する類似の度合いを有する画像の候補が得られない場合には、第１の実施形態に係る画像処理装置１００又は第２の実施形態に係る画像処理装置２００のように、改めてユーザに第２指定領域を指定させるようにしてもよい。

以降、概略補正部１７、詳細補正部１８、差分抽出部１９並びに画像出力部２０の構成及び機能は先の第１の実施形態に係る画像処理装置１００と同様であり、画像出力部２０により第１比較画像に第２比較画像を重畳した画像または、第１比較画像と第２比較画像との差分画像が出力される。

次に、図１５及び１６を参照し、本実施形態に係る画像処理装置３００の処理を具体的に例示して説明する。

図１６中、符号３０１は第１画像、符号３０２は第２画像である。そして、第１指定領域指定部１４により第１指定領域３０３（破線で示した）が指定されたものとする。

このとき、同図右側に示す第２画像３０２に示すように、第２比較領域設定部１３は、第１指定領域３０３に含まれる指定画像と第２画像３０２との間でパターンマッチングを行い、画像の候補３０４Ａ及び３０４Ｂを発見する。そして、図示したように発見された画像の候補３０４Ａ及び３０４Ｂを、例えば太線にしたり、色を変えたりハイライト表示するなどしてユーザに明示し、入力デバイス５（図２参照）によりいずれかの候補を選択させ、選択された画像の候補に基づいて第２比較領域を設定する。

その他の処理、例えば、第１比較領域設定部１２、幾何学的関係補正部１６、差分抽出部１９及び画像出力部２０における処理は、第１の実施形態の具体例において、図７乃至１０を用いて説明したと同様であるから、重複する説明についてはこれを省略する。

以上説明した実施形態において示した機能ブロックは、それぞれの実施形態を実施する上での一例であり、機能ブロックの構成や配置を例示したものに限定するものではない。また、フロー図については、実施形態の機能を実現するアルゴリズムの一例を示すものであり、これに限定されることなく、同様の機能を実現するアルゴリズムであればいかなるものを用いてもよい。さらに、具体例として例示したものは説明のための一例であって、かかる例に具現化された具体的構成に本発明を限定するものではない。

１ ＣＰＵ、２ ＲＡＭ、３ 外部記憶装置、４ ＧＣ、５ 入力デバイス、６ Ｉ／Ｏ、７ データバス、８ モニタ、１０ 画像受付部、１１ 画像補正部、１２ 第１比較領域設定部、１３ 第２比較領域設定部、１４ 第１指定領域指定部、１５ 第２指定領域指定部、１６ 幾何学的関係補正部、１７ 概略補正部、１８ 詳細補正部、１９ 差分抽出部、２０ 画像出力部、２１ 第１基準点指定部、２２ 第２基準点指定部、１００ 画像処理装置、１０１Ａ，１０１Ｂ，１０１Ｃ，１０１Ｄ 画像、１０２ 第１指定領域、１０３Ａ，１０３Ｂ，１０３Ｃ 第１比較領域、１０４Ｃ，１０４Ｄ 中心位置、１０５Ａ，１０５Ｂ 図形、１０６ 第１指定領域、１０７ 交点、１０８Ｃ，１０８Ｄ 図形、１０９ 第２指定領域、１１０ 交点、１１１ 第１画像、１１２ 第２画像、１１３ 第１指定領域、１１４ 第２指定領域、１１５ 第１比較領域、１１６ 第２比較領域、２００ 画像処理装置、２０１ 第１画像、２０２ 第２画像、２０３ 第１指定領域、２０４ 第１基準点、２０５ 第２指定領域、２０６ 第２基準点、２０７ 第１比較領域、２０８ 第２比較領域、３００ 画像処理装置、３０１ 第１画像、３０２ 第２画像、３０３ 第１指定領域、３０４Ａ，３０４Ｂ 画像の候補。

Claims (11)

1. 第１画像と第２画像を受け付ける画像受付手段と、
   ユーザが前記第１画像に対し第１指定領域を指定する第１指定領域指定手段と、
   前記第１指定領域に基づいて前記第１画像に対し第１比較領域を設定する第１比較領域設定手段と、
   前記第２画像に対し第２比較領域を設定する第２比較領域設定手段と、
   前記第１比較領域中の第１比較画像と前記第２比較領域中の第２比較画像の幾何学的関係を補正する幾何学的関係補正手段と、
   前記第１比較画像に前記第２比較画像を重畳した画像または、前記第１比較画像と前記第２比較画像との差分画像を出力する画像出力手段と、
   を有する画像処理装置。
2. 前記第１比較領域設定手段は、前記第１指定領域に含まれる第１指定画像に基づいて前記第１比較領域を設定する請求項１記載の画像処理装置。
3. ユーザが前記第２画像に対し第２指定領域を指定する第２指定領域指定手段を有し、
   前記第２比較領域設定手段は、前記第２指定領域に基づいて前記第２画像に対し前記第２比較領域を設定する請求項１又は２記載の画像処理装置。
4. 前記第２比較領域設定手段は、前記第２指定領域に含まれる第２指定画像に基づいて前記第２比較領域を設定する請求項３記載の画像処理装置。
5. 前記第２比較領域設定手段は、前記第１指定領域および前記第２指定領域の両方に基づいて前記第１比較領域および前記第２比較領域を設定する請求項３又は４記載の画像処理装置。
6. 前記幾何学的関係補正手段は、前記第１比較領域及び前記第２比較領域の両方に基づいて前記第１比較画像と前記第２比較画像の幾何学的関係を補正する請求項３乃至５のいずれかに記載の画像処理装置。
7. 前記幾何学的関係補正手段は、前記第１比較画像及び前記第２比較画像の両方に基づいて前記第１比較画像と前記第２比較画像の幾何学的関係を補正する請求項３乃至６のいずれかに記載の画像処理装置。
8. ユーザが前記第１画像に対し第１基準点を指定する第１基準点指定手段と、
   ユーザが前記第２画像に対し第２基準点を指定する第２基準点指定手段と、
   を有し、
   前記幾何学的関係補正手段は、前記第１基準点および前記第２基準点に基づいて前記第１比較画像と前記第２比較画像の幾何学的関係を補正する請求項３乃至７のいずれかに記載の画像処理装置。
9. 前記第２比較領域設定手段は、前記第１指定領域または前記第１比較領域に含まれる画像を、前記第２画像から検索することにより前記第２比較領域を設定する請求項１又は２記載の画像処理装置。
10. 前記第２比較領域設定手段は、前記検索により複数の第２比較領域候補が得られた場合に、前記複数の第２比較領域候補のいずれかをユーザに指定させることにより前記第２比較領域を設定する請求項９記載の画像処理装置。
11. コンピュータを、
    第１画像と第２画像を受け付ける画像受付手段と、
    ユーザが前記第１画像に対し第１指定領域を指定する第１指定領域指定手段と、
    前記第１指定領域に基づいて前記第１画像に対し第１比較領域を設定する第１比較領域設定手段と、
    前記第２画像に対し第２比較領域を設定する第２比較領域設定手段と、
    前記第１比較領域中の第１比較画像と前記第２比較領域中の第２比較画像の幾何学的関係を補正する幾何学的関係補正手段と、
    前記第１比較画像に前記第２比較画像を重畳した画像または、前記第１比較画像と前記第２比較画像との差分画像を出力する画像出力手段と、
    を有する画像処理装置として動作させるためのプログラム。

Images