JP2006148663A - 画像処理システム - Google Patents

Abstract

【課題】 再利用可能な電子ファイルを使用した場合に、その使用状況に応じて最適かつ柔軟な使用料金の課金を行なうことが可能な画像処理システムを提供する事。
【解決手段】 電子ファイルの使用料金に関する情報を設定する使用料金情報設定手段と、電子ファイル自体と該電子ファイルの使用料金情報とを関連付けて記憶する記憶手段と、前記記憶手段に記憶されている使用料金情報をもとに電子ファイルの使用料金を決定する使用料金決定手段と、前記特定手段で特定された電子ファイルを使用するかどうかを選択する選択手段と、該電子ファイルを使用した場合に、前記使用料金決定手段の決定した使用料金にもとづいて課金する課金手段を設ける。
【選択図】 図１

Description

本願発明は、複写機などの画像処理装置で読み取った画像データを、いわゆる文書作成アプリケーションソフトで再利用可能なベクトルデータに変換する画像処理システムに関する。

近年、環境問題が叫ばれる中、オフィスでのペーパーレス化が急速に進んでいる。即ち、従来からバインダー等で蓄積された紙文書をスキャナで読み取りポータブル・ドキュメント・フォーマット（以降ＰＤＦと記す）に変換して画像記憶装置にデータベースとして蓄積し、文書管理システムを構築出来る。一方、機能が拡張されたデジタル複写機などのマルチ・ファンクション・ペリフェラル（以降ＭＦＰと記す）では、予め画像を記録する際に、該画像ファイルが存在する画像記憶装置内のポインター情報を該文書の表紙或いは記載情報中に付加情報として記録しておき、再度、該文書を複写等で再利用する際に、このポインター情報からオリジナル電子ファイルの格納場所を検出し、該電子ファイルの元情報を直接用いる事で、紙文書全体の保存を削減する。しかしながら、前者は紙文書がコンパクトな情報量のＰＤＦファイルとして文書の保存が可能であるが、ファイル自体がイメージ情報であるので、該文書の一部のオブジェクトを再利用する事は出来ない。従って再利用する場合は、図、表等は新たにアプリケーションソフトを用いて再度作成しなければ成らない。又、後者は自部門で作成した電子ファイルは直接元ファイルをアクセスできる為、容易に再利用出来るが、外部から入手した文書、あるいはオリジナルファイルの所在が不明な古い紙文書には対応が出来ない。そこで、いかなる紙文書に対しても再利用可能な電子ファイルとして扱える画像処理システムが提案されている。

ただこのシステムでは、再利用可能な電子ファイルを使用した場合に、そのファイルの使用料金としての課金を行なっていないため、例えば、読み取りイメージを使用して行なう単なる複写コピーの場合と、単なる複写コピーよりきれいなプリントが可能なオリジナルの電子ファイルを使用してのオリジナルプリントの場合とで、料金が同じであるという不公平感が生じていた。

また、もし再利用可能な電子ファイルが使用できるのであれば、より高い使用料金を支払ってでも使いたいという潜在的なニーズに、対応できていなかった（特許文献１参照）。
特開2002-32671号公報

本発明は前記のような課題を解決するものであり、従って本発明は、上記従来例の欠点を解決して、再利用可能な電子ファイルを使用した場合に、その使用状況に応じて最適かつ柔軟な使用料金の課金を行なうことが可能な画像処理システムを提供する事を目的とする。

前記目的を達成するために、
請求項１記載の画像処理システムは、原稿文書を読み込む原稿読み取り手段と、前記原稿読み取り手段で得られたイメージ情報から該原稿の電子ファイルを特定する特定手段と、電子ファイルの使用料金に関する情報を設定する使用料金情報設定手段と、電子ファイル自体と該電子ファイルの使用料金情報とを関連付けて記憶する記憶手段と、前記記憶手段に記憶されている使用料金情報をもとに電子ファイルの使用料金を決定する使用料金決定手段と、前記特定手段で特定された電子ファイルを使用するかどうかを選択する選択手段と、該電子ファイルを使用した場合に、前記使用料金決定手段の決定した使用料金にもとづいて課金する課金手段と、を有する。

以上のように、本発明によれば、もし再利用可能な電子ファイルが使用できるのであれば、より高い使用料金を支払ってでも使いたいというユーザニーズに対応できる。

さらに本発明によれば、状況に応じて、オリジナル電子ファイルを使用するかどうかをユーザは自由に選択が可能であるため、原稿をスキャンして、電子ファイルとして保存したりＥメールに添付して送信したりする際に、高い料金を払ってでもきれいな印刷を行ないたい、より高い使用料金を支払ってでも再利用しやすい電子ファイルを入手したい、というユーザニーズにも応えられるし、高品質でなくても構わないから少しでも安く利用したい、というユーザニーズにも応えられる、という効果がある。

あるいは、本発明によれば、使用料金をもらえるのであれば、電子ファイルを提供しても良い、というユーザのニーズも満たすことができる。

（実施例１）
以下、添付図面を参照して本発明の実施形態を詳細に説明する。

図１は、本発明のデジタル複写機システムの一実施例の構成を示すブロック図である。

図１に示すように、ネットワークインタフェースを有するデジタル複写機１は、ＬＡＮ等のネットワーク５を介して、ユーザＰＣ２、ユーザＰＣ３、ユーザＰＣ４とに接続された構成になっている。ここで、ユーザＰＣは３台で表示してあるが、台数はこの例に限るものではなく、必要な台数がネットワーク５を介して接続できる。

ユーザＰＣ２、ユーザＰＣ３、ユーザＰＣ４は、ＣＲＴディスプレイ装置およびキーボードを有し、インテリジェント機能によって複数のソフトウェア処理を選択実行でき、また、ネットワーク５を介してデジタル複写機１と通信できるものである。また、デジタル複写機１にはスキャナが付いており、原稿をスキャンしたデータをデジタル複写機内の記憶装置またはネットワーク５を介した文書管理サーバ６に格納できるものである。あるいは、スキャンしたデータをメールに添付して、ユーザに送ることもできる。

７は機器管理サーバで、ＬＡＮ等のネットワーク５で接続された各機器の管理や、ユーザ管理、課金情報などのデータの管理などを行なう。機器管理サーバ７は、不図示のデータベースを持っている。

図２は、本発明のデジタル複写機の構成を示すブロック図である。図２においてオートドキュメントフィーダー（以降ＡＤＦと記す）を含む画像読み取り部２０は束状のあるいは１枚の原稿画像を図示しない光源で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読み取り信号を６００ＤＰＩの密度のイメージ情報として得る。通常の複写機能はこの画像信号をデータ処理部２５で記録信号へ画像処理し、複数枚複写の場合は記憶装置２１に一旦１ページ分の記録データを記憶保持した後、記録装置２２に順次出力して紙上に画像を形成する。

一方、ユーザＰＣ１、ユーザＰＣ２、ユーザＰＣ３から出力されるプリントデータはネットワーク５からネットワークＩＦ２４を経てデータ処理装置２５で記録可能なラスタデータに変換した後、前記記録装置２２で紙上に記録画像として形成される。

デジタル複写機１への操作者の指示はデジタル複写機１に装備されたキー操作部などの入力装置２３から行なわれ、これら一連の動作はデータ処理装置２５内の図示しない制御部で制御される。

また、操作入力の状態表示および処理中の画像データの表示は表示装置２６で行われる。

（処理概要）
次に本発明による画像処理全体の概要を図３のフローチャートを用いて説明する。

まず、操作者がデジタル複写機１に原稿をセットする（５０１）。そして、操作部で本人のユーザＩＤおよびパスワードを入力する（５０２）。なお、ユーザＰＣより印刷命令を行なう場合には、ユーザＰＣから通信によりデジタル複写機１に対して、ユーザＩＤおよびパスワードを送信するようにしても良い。このユーザＩＤおよびパスワードは、課金管理を行なうため、あらかじめ管理者が機器管理サーバ７に登録してあり、各種のユーザ情報を引き出すためのものである。

このようにして、操作者がプリントを行なうにあたって、操作部からユーザＩＤとパスワードが入力されると、機器管理サーバ７にネットワーク５を介して問い合わせが行なわれる（５０３）。次に、機器管理サーバ７では、各機器からの問い合わせに対して、登録リストとの比較を行ない、登録ユーザかどうかの判断を行ない（５０４）、登録されていないと判断した場合には、管理者を通して登録を行なうよう操作部に表示し、操作者に知らせる。

次に、入力されたユーザＩＤとパスワードが正しいと判定した場合には、画像読み取り装置２０を動作させ1枚の原稿をラスタ状に走査し、イメージ情報入力処理５０５で600DPI-8ビットの画像信号を得る。該画像信号をデータ処理装置２５で前処理を施し記憶装置２１に1ページ分の画像データとして保存する。該格納された画像信号から先ず、文字/線画部分とハーフトーンの画像部分とに領域を分離し、文字部は更に段落で塊として纏まっているブロック毎に、或いは、線で構成された表、図形に分離し各々セグメント化する。一方ハーフトーンで表現される画像部分は、矩形に分離されたブロックの画像部分、背景部等いわゆるブロック毎に独立したオブジェクトに分割する（５０６）。

このとき原稿画像中に付加情報として記録された２次元バーコード、或いはURLに該当するオブジェクトを検出しURLはOCRで文字認識し、或いは２次元バーコードなら該マークを解読して（５０７）該原稿のオリジナル電子ファイルが格納されている記憶装置内のポインター情報を検出する（５０８）。尚、ポインター情報を付加する手段は他に文字と文字の間隔に情報を埋め込む方法、ハーフトーンの画像に埋め込む方法等直接可視化されないいわゆる電子透かしによる方法も有る。

ステップ５０９において、ポインター情報が検出されたかどうかによって、分岐する。すなわち、ポインター情報が検出された場合、ステップ５１０に分岐し、ポインターで示されたアドレスから元の電子ファイルを検索する。電子ファイルは図１においてユーザＰＣ内のハードディスク内、或いはネットワークに接続された文書管理サーバ６内のデータベース内、或いはデジタル複写機１自体が有する記憶装置２１のいずれかに格納されており、ステップ５０８で得られたアドレス情報に従ってこれらの記憶装置内を検索する。

ステップ５１０で電子ファイルが見つからなかった場合、見つかったがＰＤＦあるいはtiffに代表されるいわゆるイメージファイルであった場合、或いはポインター情報自体が存在しなかった場合はステップ５１３に分岐する。それ以外の場合には、ステップ５１１に分岐する。

ステップ５１１では、オリジナルの電子ファイルを使用して各種操作を行なうかどうかを、操作部を介してユーザに選択させ、その選択結果により、オリジナルの電子ファイルを使用しない場合、ステップ５１２に分岐する。そして、ステップ５０５で入力したイメージデータを用いて、例えば文書の加工、蓄積、伝送、記録など操作者の所望の動作（ラスタでの各種処理）を行なう。なおこの場合、オリジナルの電子ファイルを使用しないので、特に電子ファイルの使用料としての課金は発生しない。

一方、ステップ５１１でオリジナルの電子ファイルを使用する場合、後述の５２１に分岐する。

また、ステップ５１０などで有効なオリジナルの電子ファイルが見つからなかった場合に進むステップ５１３はいわゆる文書検索処理ルーチンである。

まずステップ５０７で各文字ブロックに対して行ったOCRの結果から単語を抽出して全文検索、或いは各オブジェクトの配列と各オブジェクトの属性からいわゆるレイアウト検索を行う。検索の結果 類似度の高い電子ファイルが見つかった場合、サムネイル等を表示（５１４）し、複数の中から操作者の選択が必要なら操作者の入力操作よってファイルの特定を行う。尚、候補が１ファイルの場合、自動的にステップ５１５に分岐する。

ステップ５１３の検索処理で電子ファイルが見つからなかった場合、或いは、見つかったがＰＤＦあるいはtiffに代表されるいわゆるイメージファイルであった場合、ステップ５１６に分岐する。

ステップ５１６はイメージデータからベクトルデータへの変換処理部であり、オリジナル電子ファイルに近い電子ファイルに変換する。先ずステップ５０７でOCRされた文字ブロックに対しては、更に文字のサイズ、スタイル、字体を認識し、原稿を走査して得られた文字に可視的に忠実なフォントデータに変換する。一方線で構成される表、図形ブロックに対してはアウトライン化する。画像ブロックに対してはイメージデータとして個別のJPEGファイルとして処理する。これらのベクトル化処理は各オブジェクト毎に行い、更に各オブジェクトのレイアウト情報を保存して例えば、rtfに変換（５１７）して電子ファイルとして記憶装置２１に格納(５１８)する。

今ベクトル化した原稿画像は以降同様の処理を行う際に直接電子ファイルとして使用できるので、ステップ５１９で使用料金を設定する。すなわち、操作者に対して、操作部からこの電子ファイルの使用料をいくらにするかの入力を促す。

そして、以降同様の処理を行う際に直接電子ファイルとして検索出来るように、ステップ５２０において検索の為のインデックス情報を生成して検索用インデックスファイルに追加する。更に、ステップ５２２で今、操作者が行いたい処理が記録であると判断されれば、ステップ５２３に分岐し、ポインター情報をイメージデータとしてファイルに付加する。検索処理で電子ファイルが特定できた場合も同様に以降からは直接電子ファイルを特定する為にステップ５１５からステップ５２１に分岐し、格納アドレスを操作者に通知すると共に、今紙に記録する場合は、同様にポインター情報を電子ファイルに付加する。尚、ステップ５１０でポインター情報から電子ファイルが特定でき、かつ、ステップ５１１でオリジナルを使用することになった場合、検索処理で電子ファイルが特定でき、かつ、かつ、ステップ５１１でオリジナルを使用することになった場合、ベクトル化により電子ファイルに変換した場合は、ステップ５２１において、該電子ファイルの格納アドレスを操作者に通知する。

尚、以上本発明によって得られた電子ファイル自体を用いて、例えば文書の加工、蓄積、伝送、記録をステップ５２４で行う事が可能になる。これらの処理はイメージデータを用いる場合に比べて、情報量が削減され、蓄積効率が高まり、伝送時間が短縮され、又記録表示する際には高品位なデータとして非常に優位となる。

そして、オリジナルの電子ファイルを用いて処理を行なった場合には、電子ファイルの使用料金としての課金分を機器管理サーバ７に通知して（５２５）、処理を終了する。

以下、各処理ブロックに対して詳細に説明する。

先ずステップ４０６で示すブロックセレクション処理について説明する。

（ブロックセレクション（ＢＳ）処理）
ブロックセレクション処理を、図４と図５を用いて説明する。

ブロックセレクション処理とは、ステップ５０５で読み取った一頁のイメージデータ（図４の左）を、図４の右に示す様に、各オブジェクト毎の塊として認識し、該ブロック各々を文字／図画／写真／線／表等の属性に判定し、異なる属性を持つ領域に分割する処理である。

ブロックセレクション処理の実施例を以下に説明する。

先ず、入力画像を白黒に二値化し、輪郭線追跡をおこなって黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡をおこない白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。

このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる属性を持つ領域へ分類していく。たとえば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字領域、扁平な画素塊を線領域、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域、不定形の画素塊が散在している領域を写真領域、それ以外の任意形状の画素塊を図画領域、などとする。

ブロックセレクション処理で得られた各ブロックに対するブロック情報を図５に示す。

これらのブロック毎の情報は以降に説明するベクトル化、或いは検索の為の情報として用いる。

（ポインター情報の検出）
次に、ステップ５０７で示すファイルの格納位置をイメージ情報から抽出する為のOCR/OMR処理について説明する。

図６は原稿画像中に付加された２次元バーコード(QRコードシンボル)を復号して、データ文字列を出力する過程を示すフローチャートである。２次元バーコードの付加された原稿７０００の一例を図７に示す。

まず、データ処理装置２５内のページメモリに格納された原稿７０００を表すイメージ画像をCPU(不図示)で走査して、先に説明したブロックセレクション処理の結果から所定の２次元バーコードシンボル７００１の位置を検出する。QRコードの位置検出パターンは、シンボルの4隅のうちの3隅に配置される同一の位置検出要素パターンから構成される(３００)。

次に、位置検出パターンに隣接する形式情報を復元し、シンボルに適用されている誤り訂正レベルおよびマスクパターンを得る(３０１)。

シンボルの型番を決定した(３０２)後、形式情報で得られたマスクパターンを使って符号化領域ビットパターンをXOR演算することによってマスク処理を解除する(３０３)。

尚、モデルに対応する配置規則に従い、シンボルキャラクタを読取り、メッセージのデータ及び誤り訂正コード語を復元する(３０４)。

復元されたコード上に、誤りがあるかどうかの検出を行い(３０５)、誤りが検出された場合、ステップ３０６に分岐し、これを訂正する。

誤り訂正されたデータより、モード指示子および文字数指示子に基づいて、データコード語をセグメントに分割する(３０７)。

最後に、仕様モードに基づいてデータ文字を復号し、結果を出力する(３０８)。

尚、２次元バーコード内に組み込まれたデータは、対応するファイルのアドレス情報を表しており、例えばファイルサーバ名およびファイル名からなるパス情報で構成される。或いは、対応するファイルへのURLで構成される。

本実施例ではポインター情報が２次元バーコードを用いて付与された原稿７０００について説明したが、直接文字列でポインター情報が記録される場合は所定のルールに従った文字列のブロックを先のブロックセレクション処理で検出し、該ポインター情報を示す文字列の各文字を文字認識する事で、直接元ファイルのアドレス情報を得る事が可能である。

又或いは図７の文書７０００の文字ブロック７００２、或いは７００３の文字列に対して隣接する文字と文字の間隔等に視認し難い程度の変調を加え、該文字間隔に情報を埋め込むことでもポインター情報を付与できる。該いわゆる透かし情報は、後述する文字認識処理を行う際に各文字の間隔を検出すれば、ポインター情報が得られる。又、自然画７００４の中に電子透かしとしてポインター情報を付加する事も可能である。

（ポインター情報によるファイル検索）
次に、図３で先に説明したステップ５１０およびステップ５１５で示す、ポインター情報からの電子ファイルの検索について図８のフローチャートを使用して説明する。

ここで一般的に、「ファイルサーバに蓄積されたファイルは全て自由にアクセスでき、ファイル全体、或いはその一部のオブジェクトは全て再利用が可能」な事を前提にする場合もあるが、我々が扱う文書ファイルの中には第三者による再利用を制限すべき物があるため、本実施例では、ポインター情報からファイルを検索した際に、検索の結果特定できたファイルにアクセス権の制限が有る場合の例を示す。

まず、ポインター情報に含まれるアドレスに基づいて，ファイルサーバを特定する(４００)。ここでファイルサーバとは、ユーザＰＣ２〜４や、データベースを内蔵する文書管理サーバ６や、記憶装置２１を内蔵するデジタル複写機１を指す。また、ここでアドレスとは、URLや、サーバ名とファイル名からなるパス情報である。

ファイルサーバが特定できたら、ファイルサーバに対してアドレスを転送する(４０１)。ファイルサーバはアドレスを受信すると、該当するファイルを検索する(４０２)。ファイルが存在しない場合(４０３-N)には、デジタル複写機１に対してその旨通知する。

ファイルが存在した場合(４０３-Y)には、ファイルサーバはそのファイルのアクセス権情報を調べ、アクセス制限がある場合（４０４）には、デジタル複写機１に対してパスワードの送信を要求する（４０５）。

デジタル複写機１は操作者に対してパスワードの入力を促し、入力されたパスワードをファイルサーバに送信する（４０６）。

ファイルサーバは送信されたパスワードを照合し、一致した場合（４０７―Ｙ）には、使用料金をデジタル複写機１に通知する（４０８）。デジタル複写機１は操作者に対して使用料金を表示した上、そのファイルを使用するかどうかの選択を促し、その結果をファイルサーバに送信する。

ファイルを使用する場合（４０９−Ｙ）には、図３で説明した様に、ファイルのアドレスを通知（図３のステップ５２１）すると共に、ユーザの希望する処理が画像ファイルデータの取得であれば、デジタル複写機１に対してファイルを転送する（４１０）。

尚、アクセス権の制御を行う為の認証の方法は、ステップ４０５、４０６に示したパスワードによる方法に限定されず、例えば指紋認証等の一般に広く用いられている生体認証、カードによる認証等全ての認証手段を用いる事が出来る。

又、本実施例では紙文書に付加的に付与されたポインター情報によりファイルを特定した場合の実施例を示したが、図３のステップ４１３〜４１５で示すいわゆる検索処理でファイルを特定した場合においても同様の制御が可能である。

一方、ファイルサーバ内からファイルを特定出来なかった場合、即ち図３のステップ４１６〜４２０で説明したベクトル化処理に対しても、制限を加える事が出来る。即ち紙文書を走査して得られたイメージ情報から該文書に対してのアクセス権の制限の存在を検出した場合には、認証確認が取れた場合のみベクトル化処理を行う事で、機密性の高い文書の使用に制限をかける事ができる。

（ファイル検索処理）
次に、図３のステップ５１３で示すファイル検索処理の詳細について図５、図９を使用して説明を行う。

ステップ５１３の処理は、前述したように、ステップ５０９で入力原稿（入力ファイル）にポインター情報が存在しなかった場合、または、ポインター情報は在るが電子ファイルが見つからなかった場合、或いは電子ファイルがイメージファイルであった場合に行われる。

ここでは、ステップ５０７の結果、抽出された各ブロック及び入力ファイルが、図５に示す情報（ブロック情報、入力ファイル情報）を備えるものとする。情報内容として、属性、座標位置、幅と高さのサイズ、OCR情報有無を例としてあげる。属性は、文字、線、写真、絵、表その他に分類する。また簡単に説明を行うため、ブロックは座標Xの小さい順、即ち（例、X1 < X2 < X3 < X4< X5< X6）にブロック1、ブロック2、ブロック3、ブロック4、ブロック5,ブロック6と名前をつけている。ブロック総数は、入力ファイル中の全ブロック数であり、図９の場合は、ブロック総数は6である。

以下、これらの情報を使用して、データベース内から、入力ファイルに類似したファイルのレイアウト検索を行うフローチャートを図９に示す。ここで、データベースファイルは、図５と同様の情報を備えることを前提とする。

フローチャートの流れは、入力ファイルとデータベース中のファイルを順次比較するものである。まず、ステップ５０００にて、後述する類似率などの初期化を行う。次に、ステップ５００１にてブロック総数の比較を行い、ここで、真の場合、さらにファイル内のブロックの情報を順次比較する。ブロックの情報比較では、ステップ５００３、５００５、５００８にて、属性類似率、サイズ類似率、OCR類似率をそれぞれ算出し、ステップ５０１２にてそれらをもとに総合類似率を算出する。各類似率の算出方法については、公知の技術が用いられるので説明を省略する。ステップ５０１３にて総合類似率が、予め設定された閾値Thより高ければステップ５０１４にてそのファイルを類似候補としてあげる。但し、図中のN、W、Hは、入力ファイルのブロック総数、各ブロック幅、各ブロック高さとし、ΔN、ΔW、ΔHは、入力ファイルのブロック情報を基準として誤差を考慮したものである。n、w、hは、データベースファイルのブロック総数、各ブロック幅、各ブロック高さとする。また、不図示ではあるが、ステップ514にてサイズ比較時に、位置情報XYの比較などを行ってもよい。

以上、検索の結果、類似度が閾値Thより高く、候補として保存されたデータベースファイル（５０１４）をサムネイル等で表示（図３のステップ５１４）する。複数の中から操作者の選択が必要なら操作者の入力操作よってファイルの特定を行う。

（ベクトル化処理）
ファイルサーバに元ファイルが存在しない場合は、図４に示すイメージデータを各ブロック毎にベクトル化する。次に図３のステップ５１６で示されるベクトル化について詳説する。まず、文字ブロックに対しては各文字に対して文字認識処理を行う。

（文字認識）
文字認識部では、文字単位で切り出された画像に対し、パターンマッチの一手法を用いて認識を行い、対応する文字コードを得る。この認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルと比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。

ブロックセレクション（５０６）で抽出された文字領域に対して文字認識を行う場合は、まず該当領域に対し横書き、縦書きの判定をおこない、各々対応する方向に行を切り出し、その後文字を切り出して文字画像を得る。横書き、縦書きの判定は、該当領域内で画素値に対する水平/垂直の射影を取り、水平射影の分散が大きい場合は横書き領域、垂直射影の分散が大きい場合は縦書き領域と判断すればよい。文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことでおこなう。縦書きの文字領域に対しては、水平と垂直を逆にすればよい。尚、この時文字のサイズが検出出来る。

（フォント認識）
文字認識の際に用いる、字種数ぶんの辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意し、マッチングの際に文字コードとともにフォント種を出力することで、文字のフォントが認識出来る。

（文字のベクトル化）
前記文字認識およびフォント認識よって得られた、文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトラインデータを用いて、文字部分の情報をベクトルデータに変換する。なお、元原稿がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。

以上の処理により、文字ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトルデータに変換出来る。

『文字以外の部分のベクトル化』
ブロックセレクション処理（５０６）で、図画あるいは線、表領域とされた領域を対象に、中で抽出された画素塊の輪郭をベクトルデータに変換する。具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。角とは曲率が極大となる点であり、曲率が極大となる点は、図１０に図示するように、任意点Piに対し左右k個の離れた点Pi-k,Pi+kの間に弦を引いたとき、この弦とPiの距離が極大となる点として求められる。さらに、Pi-k,Pi+k間の弦の長さ/弧の長さをRとし、Rの値が閾値以下である点を角とみなすことができる。角によって分割された後の各区間は、直線は点列に対する最小二乗法など、曲線は3次スプライン関数などを用いてベクトル化することができる。

また、対象が内輪郭を持つ場合、ブロックセレクションで抽出した白画素輪郭の点列を用いて、同様に部分的直線あるいは曲線で近似する。

以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。

さらに、図１１に示す様に、ある区間で外輪郭と、内輪郭あるいは別の外輪郭が近接している場合、2つの輪郭線をひとまとめにし、太さを持った線として表現することができる。具体的には、ある輪郭の各点Piから別輪郭上で最短距離となる点Qiまで線を引き、各距離PQiが平均的に一定長以下の場合、注目区間はPQi中点を点列として直線あるいは曲線で近似し、その太さはPQiの平均値とする。線や線の集合体である表罫線は、前記のような太さを持つ線の集合として効率よくベクトル表現することができる。

尚、先に文字ブロックに対する文字認識処理を用いたベクトル化を説明したが、該文字認識処理の結果、辞書からの距離が最も近い文字を認識結果として用いるが、この距離が所定値以上の場合は、必ずしも本来の文字に一致せず、形状が類似する文字に誤認識している場合が多い。従って、本発明では、この様な文字に対しては、上記した様に、一般的な線画と同じに扱い、該文字をアウトライン化する。即ち、従来、文字認識処理で誤認識を起こす文字に対しても、誤った文字にベクトル化されず、可視的にイメージデータに忠実なアウトライン化によるベクトル化が行える。

又、写真と判定されたブロックに対しては本発明では、ベクトル化出来ない為、イメージデータのままとする。

（図形認識）
上述したように任意形状の図形のアウトラインをベクトル化した後、これらベクトル化された区分線を図形オブジェクト毎にグループ化する処理について説明する。

図１２は、ベクトルデータを図形オブジェクト毎にグループ化するまでのフローチャートを示している。

まず、各ベクトルデータの始点、終点を算出する（７００）。次に各ベクトルの始点、終点情報を用いて、図形要素を検出する（７０１）。図形要素の検出とは、区分線が構成している閉図形を検出することである。検出に際しては、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用し、検出を行う。次に図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする（７０３）。また、図形要素内に他の図形要素、区分線が存在しない場合は図形要素を図形オブジェクトとする。

図１３は、図形要素を検出するフローチャートを示している。

先ず、ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形構成ベクトルを抽出する（７１０）。次に閉図形構成ベクトルの中から該ベクトルの始点を開始点とし、時計回りに順にベクトルを追っていく。開始点に戻るまで行い、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する（７１１）。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。最後に、ステップ７１０で除去された不要ベクトルのうち、ステップ７１１で閉図形としてグループ化されたベクトルに接合しているものを検出し一つの図形要素としてグループ化する（７１２）。

以上によって、図形ブロックを、個別に再利用可能な個別の図形オブジェクトとして扱う事が可能になる。

（アプリデータへの変換処理）
ところで、一頁分のイメージデータをブロックセレクション処理（図３のステップ５０６）し、ベクトル化処理（ステップ５１６）した結果は図１４に示す様な中間データ形式のファイルとして変換されているが、このようなデータ形式はドキュメント・アナリシス・アウトプット・フォーマット（ＤＡＯＦ）と呼ばれる。

図１４はＤＡＯＦのデータ構造を示す図である。

図１４において、７９１はHeaderであり、処理対象の文書画像データに関する情報が保持される。レイアウト記述データ部７９２では、文書画像データ中のTEXT（文字）、TITLE（タイトル）、CAPTION（キャプション）、LINEART（線画）、ＥPICTURE（自然画）、FRAME（枠）、TABLE（表）等の属性毎に認識された各ブロックの属性情報とその矩形アドレス情報を保持する。文字認識記述データ部７９３では、TEXT、TITLE、CAPTION等のTEXTブロックを文字認識して得られる文字認識結果を保持する。表記述データ部７９４では、TABLEブロックの構造の詳細を格納する。画像記述データ部７９５は、PICTUREやLINEART等のブロックのイメージデータを文書画像データから切り出して保持する。

このようなＤＡＯＦは、中間データとしてのみならず、それ自体がファイル化されて保存される場合もあるが、このファイルの状態では、いわゆる一般の文書作成アプリケーションで個々のオブジェクトを再利用する事は出来ない。そこで、次に、このＤＡＯＦからアプリデータに変換する処理（図３のステップ５１７）について詳説する。

図１５は、全体の概略フローである。

ステップ１５００１は、ＤＡＯＦデータの入力を行う。

１５００２は、アプリデータの元となる文書構造ツリー生成を行う。

１５００３は、文書構造ツリーを元に、ＤＡＯＦ内の実データを流し込み、実際のアプリデータを生成する。

図１６は、１５００２文書構造ツリー生成部の詳細フロー、図１７は、文書構造ツリーの説明図である。全体制御の基本ルールとして、処理の流れはミクロブロック（単一ブロック）からマクロブロック（ブロックの集合体）へ移行する。

以後ブロックとは、ミクロブロック、及びマクロブロック全体を指す。

ステップ１６００１は、ブロック単位で縦方向の関連性を元に再グループ化する。スタート直後はミクロブロック単位での判定となる。

ここで、関連性とは、距離が近い、ブロック幅（横方向の場合は高さ）がほぼ同一であることなどで定義することができる。

また、距離、幅、高さなどの情報はGAOFを参照し、抽出する。

図１７(a)は実際のページ構成、(b)はその文書構造ツリーである。ステップ１６００１の結果、T3,T4,T5が一つのグループV1、T6,T7が一つのグループV2が同じ階層のグループとしてまず生成される。

ステップ１６００２は、縦方向のセパレータの有無をチェックする。セパレータは、例えば物理的にはＤＡＯＦ中でライン属性を持つオブジェクトである。また論理的な意味としては、アプリ中で明示的にブロックを分割する要素である。ここでセパレータを検出した場合は、同じ階層で再分割する。

１６００３は、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。

ここで、縦方向のグループ長がページ高さとなっている場合は、文書構造ツリー生成は終了する。

図１７の場合は、セパレータもなく、グループ高さはページ高さではないので、ステップ１６００４に進む。

ステップ１６００４は、ブロック単位で横方向の関連性を元に再グループ化する。ここもスタート直後の第一回目はミクロブロック単位で判定を行うことになる。

関連性、及びその判定情報の定義は、縦方向の場合と同じである。

図１７の場合は、T1,T2でH1、V1,V2でH2、がV1,V2の1つ上の同じ階層のグループとして生成される。

ステップ１６００５は、横方向セパレータの有無をチェックする。

図１７では、Ｓ1があるので、これをツリーに登録し、H1,S1,H2という階層が生成される。

ステップ１６００６は、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。

ここで、横方向のグループ長がページ幅となっている場合は、文書構造ツリー生成は終了する。

そうでない場合は、ステップ１６００２に戻り、再びもう一段上の階層で、縦方向の関連性チェックから繰り返す。

図１７の場合は、分割幅がページ幅になっているので、ここで終了し、最後にページ全体を表す最上位階層のＶ0が文書構造ツリーに付加される。

文書構造ツリーが完成した後、その情報を元にステップ１５００３においてアプリデータの生成を行う。

図１７の場合は、具体的には、以下のようになる。

すなわち、H1は横方向に2つのブロックT1とT2があるので、2カラムとし、T1の内部情報（ＤＡＯＦを参照、文字認識結果の文章、画像など）を出力後、カラムを変え、T2の内部情報出力、その後S1を出力となる。

H2は横方向に2つのブロックV1とV2があるので、2カラムとして出力、V1はT3,T4,T5の順にその内部情報を出力、その後カラムを変え、V2のT6,T7の内部情報を出力する。

以上により例えばマイクロソフト社のMs-Word等のアプリケーションソフトウェアで利用可能なアプリデータへの変換処理が行える。

（ポインター情報の付加）
次に、図３のステップ５２３で示す、ポインター情報付加処理について説明する。

今、処理すべき文書が検索処理で特定された場合、あるいはベクトル化によって元ファイルが再生できた場合において、該文書を記録処理する場合においては、紙への記録の際にポインター情報を付与する事で、この文書を用いて再度各種処理を行う場合に簡単に元ファイルデータを取得できる。

図１８はポインター情報としてのデータ文字列を２次元バーコード(QRコードシンボル：JIS X0510)７００１にて符号化して画像中に付加する過程を示すフローチャートである。

２次元バーコード内に組み込むデータは、対応するファイルのアドレス情報を表しており、例えばファイルサーバ名およびファイル名からなるパス情報で構成される。或いは、対応するファイルへのURLや、対応するファイルの格納されているデータベース内あるいはデジタル複写機１自体が有する記憶装置内で管理されるファイルID等で構成される。

まず、符号化する種種の異なる文字を識別するため、入力データ列を分析する。また、誤り検出及び誤り訂正レベルを選択し、入力データが収容できる最小型番を選択する（９００）。

次に、入力データ列を所定のビット列に変換し、必要に応じてデータのモード(数字、英数字、8ビットバイト、漢字等)を表す指示子や、終端パターンを付加する。さらに所定のビットコード語に変換する（９０１）。

この時、誤り訂正を行うため、コード語列を型番および誤り訂正レベルに応じて所定のブロック数に分割し、各ブロック毎に誤り訂正コード語を生成し、データコード語列の後に付加する（９０２）。

該ステップ９０２で得られた各ブロックのデータコード語を接続し、各ブロックの誤り訂正コード語、必要に応じて剰余コード語を後続する（９０３）。

次に、マトリクスに位置検出パターン、分離パターン、タイミングパターンおよび位置合わせパターン等とともにコード語モジュールを配置する（９０４）。

更に、シンボルの符号化領域に対して最適なマスクパターンを選択して、マスク処理パターンをステップ904で得られたモジュールにXOR演算により変換する（９０５）。

最後に、ステップ９０５で得られたモジュールに形式情報および型番情報を生成して、２次元コードシンボルを完成する（９０６）。

上記に説明した、アドレス情報の組み込まれた２次元バーコードは、例えば、ユーザＰＣ２〜４から電子ファイルをプリントデータとして記録装置２２に紙上に記録画像として形成する場合に、データ処理装置２５内で記録可能なラスタデータに変換された後にラスタデータ上の所定の個所に付加されて画像形成される。ここで画像形成された紙を配布されたユーザは、画像読取装置２０で読み取ることにより、前述したステップ５０８にてポインター情報からオリジナル電子ファイルの格納場所を検出することができる。

尚、同様の目的で付加情報を付与する手段は、本実施例で説明した２次元バーコードの他に、例えば、ポインター情報を直接文字列で文書に付加する方法、文書内の文字列、特に文字と文字の間隔を変調して情報を埋め込む方法、文書中の中間調画像中に埋め込む方法等、一般に電子透かしと呼ばれる方法が適用出来る。

以上説明したように、原稿をスキャンしてその原稿の電子ファイルを特定し、あらかじめ設定されているその電子ファイルの使用料金を表示した上で、実際に電子ファイルを使用するかどうかをユーザに選択するよう動作するので、ユーザは状況に応じて再利用可能な電子ファイルを使用するかどうかを判断し、所望の結果を得ることが可能となる。

（その他の実施例）
以上の実施例では、特に明示しなかったが、使用料金は使用する部数に従って変化しても構わない。例えば、プリントアウトをする場合に、２部目以降の使用料金は１部目の使用料金の５０％、というようにしても構わない。

以上の実施例では、特に明示しなかったが、電子ファイルを使用する場合に使用内容によって使用料金が異なっていても構わない。

例えば、ある電子ファイルの場合、
・オリジナル電子ファイルプリントの場合の使用料金＝一部あたり２０円
・オリジナル電子ファイルの送信の場合の使用料金＝一部あたり５００円
これは、前者のオリジナルプリントの場合には、電子ファイルを使用することはするが、電子ファイル自体をユーザが入手するわけではないため、後者のオリジナル電子ファイルを送信し電子ファイル自体をユーザが入手／再利用が可能である場合より、使用料金が安く設定されている。

さらに、各電子ファイルと各ユーザＩＤのユーザのこれまでの使用回数とを関連付けて記憶しておき、これまでの使用回数に応じて次回使用する場合の使用料金を変化させても構わない。例えば、使用回数が１１回目以降の場合は、使用料金は当初の１０％になる、など、使用回数の多いいわばお得意さんを優遇することが可能となる。

また、以上の実施例では、特に明示しなかったが、ページ数や用紙サイズなど用紙の使用量や、各色毎のトナーの使用量に応じた消耗品代の課金は、電子ファイルの使用料金の課金とは別途で、あるいは、組合わせて行なっても構わない。

本発明の画像処理システムの一実施例の構成を示すブロック図である。 本発明のデジタル複写機装置の構成を示すブロック図である。 本発明による画像処理システムの動作の流れを示すフローチャートである。 ブロックセレクション処理の概念図である。 ブロックセレクション処理で得られた各ブロックに対するブロック情報である。 原稿画像中に付加された２次元バーコードを復号して、データ文字列を出力する過程を示すフローチャートである。 ２次元バーコードの付加された原稿の一例である。 ポインター情報から電子ファイルを検索する処理のフローチャートである。 電子ファイル検索処理の詳細なフローチャートである。 文字以外の部分のベクトル化を説明する図である。 文字以外の部分のベクトル化を説明する図である。 ベクトルデータを図形オブジェクト毎にグループ化するフローチャートである。 図形要素を検出するフローチャートである。 ＤＡＯＦのデータ構造を示す図である。 ＤＡＯＦからアプリデータに変換する処理の流れを示すフローチャートである。 文書構造ツリー生成部の詳細なフローチャートである。 文書構造ツリーの説明図である。 ポインター情報としてのデータ文字列を２次元バーコードにて符号化して画像中に付加する過程を示すフローチャートである。

符号の説明

１ デジタル複写機
２ ユーザＰＣ
３ ユーザＰＣ
４ ユーザＰＣ
５ ネットワーク
６ 文書管理サーバ
７ 機器管理サーバ

Claims (14)

1. 原稿文書を読み込む原稿読み取り手段と、
   前記原稿読み取り手段で得られたイメージ情報から該原稿の電子ファイルを特定する特定手段と、
   電子ファイルの使用料金に関する情報を設定する使用料金情報設定手段と、
   電子ファイル自体と該電子ファイルの使用料金情報とを関連付けて記憶する記憶手段と、
   前記記憶手段に記憶されている使用料金情報をもとに電子ファイルの使用料金を決定する使用料金決定手段と、
   前記特定手段で特定された電子ファイルを使用するかどうかを選択する選択手段と、
   該電子ファイルを使用した場合に、前記使用料金決定手段の決定した使用料金にもとづいて課金する課金手段と、
   を有する画像処理システム。
2. 前記電子ファイルの使用料金情報は電子ファイルに対する使用内容の種類毎にそれぞれ使用料金が設けられており、
   前記使用料金決定手段は、使用した電子ファイルの使用料金情報と電子ファイルに対する使用内容とをもとに使用料金を決定することを特徴とする請求項１記載の画像処理システム。
3. 前記使用料金決定手段は、電子ファイルを使用して複数部数の印刷を行なった場合に、二部目以降の使用料金を一部目の使用料金より低くなるよう決定することを特徴とする請求項１乃至２記載の画像処理システム。
4. 前記使用料金決定手段は、同一ユーザが同一の電子ファイルを複数回使用した場合の使用料金を、該電子ファイルの使用料金情報の使用料金より低くなるよう決定することを特徴とする請求項１乃至３記載の画像処理システム。
5. 前記記憶手段は、前記使用料金情報設定手段により使用料金に関する情報が設定されていない場合には、該電子ファイルの使用料金は０であると記憶することを特徴とする請求項１乃至４記載の画像処理システム。
6. 前記特定手段は原稿に付加的に記録された電子ファイルの格納場所を認識する手段を含む事を特徴とする請求項１乃至５記載の画像処理システム。
7. 前記特定手段は原稿中に記載された特定の情報を記憶手段で格納された電子ファイルの中から検索する手段を有する事を特徴とする請求項１乃至６記載の画像処理システム。
8. 前記特定手段で該原稿の電子ファイルが特定できない場合に、該イメージ情報をベクトルデータに変換するベクトル化手段をさらに備えることを特徴とする請求項１乃至７記載の画像処理システム。
9. 前記記憶手段は、前記ベクトル化手段でベクトル化されたベクトルデータも電子ファイルとして記憶し、
   電子ファイルを格納する格納場所を付加情報として該電子ファイルに付加する情報付加手段をさらに備える事を特徴とする請求項８記載の画像処理システム。
10. 前記ベクトル化手段は原稿中の文字をＯＣＲするＯＣＲ手段を含む事を特徴とする請求項８乃至９記載の画像処理システム。
11. 前記ベクトル化手段は原稿を複数のオブジェクトに分割し、各オブジェクトに対して独立にベクトル化する事を特徴とする請求項８乃至１０記載の画像処理システム。
12. 前記ベクトル化手段はベクトル化されたオブジェクトを既存の文書作成ソフトウェアで扱える既定フォーマットに変換するフォーマット変換手段を含む事を特徴とする請求項８乃至１１記載の画像処理システム。
13. 前記特定手段で得られた該原稿の電子ファイルがオブジェクト単位で既存の文書作成ソフトウェアで扱えない場合、
    前記画像読み取り手段で得られるイメージ情報を前記ベクトル化手段でベクトルデータに変換する事を特徴とする請求項８乃至１２記載の画像処理システム。
14. 前記ファイル特定手段は、前記原稿読み取り手段で得られる該原稿の電子ファイルから、原稿中に記載された特定の情報が検索して得られる場合に限って該電子ファイルに特定する事を特徴とする請求項１乃至１３記載の画像処理システム。

Images