JP3804012B2 - 文書画像の改ざん判定方法及びシステム、並びにその制御用プログラム - Google Patents
文書画像の改ざん判定方法及びシステム、並びにその制御用プログラム Download PDFInfo
- Publication number
- JP3804012B2 JP3804012B2 JP2002062934A JP2002062934A JP3804012B2 JP 3804012 B2 JP3804012 B2 JP 3804012B2 JP 2002062934 A JP2002062934 A JP 2002062934A JP 2002062934 A JP2002062934 A JP 2002062934A JP 3804012 B2 JP3804012 B2 JP 3804012B2
- Authority
- JP
- Japan
- Prior art keywords
- document
- information
- document image
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09C—CIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
- G09C5/00—Ciphering apparatus or methods not provided for in the preceding groups, e.g. involving the concealment or deformation of graphic data such as designs, written or printed messages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
- H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0051—Embedding of the watermark in the spatial domain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0061—Embedding of the watermark in each block of the image, e.g. segmented watermarking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
- Accessory Devices And Overall Control Thereof (AREA)
- Record Information Processing For Printing (AREA)
Description
【発明の属する技術分野】
本発明は、文書が改ざんされているか否かを判定するための文書画像出力方法及び装置、改ざん判定方法及びシステムに関するものである。
【0002】
【従来の技術】
従来、公開情報画像が印刷される印刷媒体に機密情報を記録するための手法として、例えば次のようなものがあった。
[1]特開平9−154007号「機密情報記録方法」
この文献に開示されている技術は、記録使用とする機密情報を二値化し、ドット化されたドット化公開情報データ中に二値化機密情報データを所定の暗号キー情報に従って画素単位で埋め込んで印刷データを作成するようにしたものである。
【0003】
[2]特開平9−179494号「機密情報記録方法」
この文献に開示されている技術は、記録使用とする機密情報を二値化してブロック化し、その各ブロックの内容を十進数化することにより機密情報ブロックB1,B2,B3,B4を作成する。一方、公開情報画像を二値化してこれに基準点マークR1〜R4を示すコードDR1を埋め込んだ基準情報データDS1を用意する。そして、一つまたは複数の機密情報ブロックと基準点マークとを対応させ、機密情報ブロックの内容に従う1次元または2次元距離だけその対応する基準点マークから離れた位置に所定の、または機密情報ブロックの内容に従う位置判別マークD1〜D4が印刷されるよう位置判別マークのコードを基準情報データDS1に埋め込み、印刷データを作成するようにしたものである。
【0004】
【発明が解決しようとする課題】
ところで、印刷された内容が住民票や印鑑証明書、領収書などであって、印刷媒体が普通紙であるような場合、例えば、氏名や住所、金額、日付等の文字領域を修正液等で消去して印刷物と同じフォントの文字で上書きしたり、あるいは手書きされた金額等に文字を書き加えて、正式な書類として提出するような不正行為が考えられる。
しかしながら、上記従来の技術では、印刷物上に機密情報を埋め込むことが目的であって、公開情報そのものに対する保護はできなかった。即ち、印刷物に対して改ざんを行った場合には、このような改ざんの検出は困難であった。
また、印刷物に埋め込む情報と公開情報の内容を一致させた場合、もしくは埋め込む情報と公開情報の内容を関連付けるなどした場合には内容の改ざんチェックを行うことはできる。しかしながら、このようなチェックを自動的に行うには公開情報の内容を機械が認識する機構(例えばOCR等)を改ざんチェック側で必要とし、システムとして大規模になってしまうという問題点を有していた。
【0005】
【課題を解決するための手段】
本発明は、前述の課題を解決するため次の構成を採用する。
〈構成1〉
文書画像データに基づいて文書画像を印刷した文書の前記文書画像の改ざんの有無を判定する方法であって、前記文書画像データを複数のブロックに分割し、各ブロック毎に画像特徴情報を求めるステップと、前記各画像特徴情報を入力パラメータとする暗号式に基づいて暗号鍵を生成するステップと、前記暗号鍵を用いて任意に選定可能な隠し情報を暗号化して暗号化情報を生成するステップと、該暗号化情報を光学的に読み取り可能な印刷データに変換し、前記文書上に暗号印刷部を前記文書画像と共に印刷するステップと、印刷の終了した前記文書上の文書画像を光学的に読み取って複数のブロックに分割し、各ブロック毎に画像特徴情報を求めるステップと、該各画像特徴情報を前記暗号式に入力して復号用の暗号鍵を生成するステップと、印刷の終了した前記文書上の前記暗号印刷部を光学的に読み取って暗号化情報に復元するステップと、該復元した暗号化情報から前記復号用の暗号鍵を用いて隠し情報を復号可能か否かを判定するステップと、を含むことを特徴とする文書画像の改ざん判定方法。
【0006】
〈構成2〉
文書画像データに基づいて文書上に文書画像を印刷出力する文書画像出力装置と、前記文書上の文書画像の改ざんの有無を判定する改ざん判定装置とを備える改ざん判定システムにおいて、前記文書画像出力装置は、前記文書画像データを複数のブロックに分割し、各ブロック毎に画像特徴情報を抽出する画像特徴情報抽出部と、前記各画像特徴情報を入力パラメータとする暗号式に基づいて暗号鍵を生成する暗号鍵生成部と、前記暗号鍵を用いて任意に選定可能な隠し情報を暗号化して暗号化情報を生成する隠し情報暗号化部と、前記暗号化情報及び文書画像データを光学的に読み取り可能な印刷データに変換し、文書上に暗号印刷部及び文書画像を印刷して出力する文書画像出力部と、を含み、前記改ざん判定装置は、前記文書上の文書画像を光学的に読み取った文書画像データを複数のブロックに分割し、各ブロック毎に画像特徴情報を抽出する画像特徴情報抽出部と、前記各画像特徴情報を前記暗号式に入力して復号用の暗号鍵を生成する暗号鍵生成部と、前記文書上の暗号印刷部を光学的に読み取って暗号化情報に復元する暗号化情報抽出部と、該復元した暗号化情報から前記復号用の暗号鍵を用いて隠し情報を復号する隠し情報復号部と、を含むことを特徴とする改ざん判定システム。
【0007】
〈構成3〉
文書画像データに基づいて文書上に文書画像を印刷出力する文書画像出力装置と、前記文書上の文書画像の改ざんの有無を判定する改ざん判定装置とを備える改ざん判定システムの制御用プログラムであって、前記文書画像出力装置に、前記文書画像データを複数のブロックに分割し、各ブロック毎に画像特徴情報を抽出する機能と、前記各画像特徴情報を入力パラメータとする暗号式に基づいて暗号鍵を生成する機能と、前記暗号鍵を用いて任意に選定可能な隠し情報を暗号化して暗号化情報を生成する機能と、前記暗号化情報及び文書画像データを光学的に読み取り可能な印刷データに変換し、文書上に暗号印刷部及び文書画像を印刷して出力する機能と、を保持させ、前記改ざん判定装置に、前記文書上の文書画像を光学的に読み取った文書画像データを複数のブロックに分割し、各ブロック毎に画像特徴情報を抽出する機能と、前記各画像特徴情報を前記暗号式に入力して復号用の暗号鍵を生成する機能と、前記文書上の暗号印刷部を光学的に読み取って暗号化情報に復元する機能と、該復元した暗号化情報から前記復号用の暗号鍵を用いて隠し情報を復号する機能と、を保持させたことを特徴とする改ざん判定システムの制御用プログラム。
【0021】
【発明の実施の形態】
以下、本発明の実施の形態を具体例を用いて詳細に説明する。
《具体例1》
〈構成〉
図1は、本発明の改ざん判定システムの具体例1を示す構成図である。
図示の改ざん判定システムは、文書画像出力装置100と改ざん判定装置200からなる。文書画像出力装置100は、文書の画像特徴情報をデータ化し、このデータを文書の正当な画像情報である元画像特徴情報として文書に付与し、これらを一体に出力する機能を有する装置である。改ざん判定装置200は、文書画像出力装置100から出力された印刷文書1のように、判定対象文書中に元画像特徴情報が付与された文書に対して、その判定対象文書の画像特徴情報を抽出し、この画像特徴情報と、元画像特徴情報とを比較することにより、その文書に対する改ざんの有無を判定する機能を有している。これらの装置は、次のように構成されている。
【0022】
文書画像出力装置100は、文書画像格納部101、画像特徴情報抽出部102、画像特徴情報埋め込み部103、文書画像出力部104からなる。
文書画像格納部101は、文書画像出力装置100にて印刷出力するための文書画像を格納する機能部であり、磁気記憶装置や半導体メモリといった記憶装置上に実現されている。また、格納されている文書は、印刷イメージ(紙の上に印刷された状態の画像、背景は白画素、文字は黒画素で構成されている)として記憶装置上に展開されているとする。画像特徴情報抽出部102は、文書画像の周波数スペクトル等に基づいて画像の特徴情報(元画像特徴情報)を抽出する機能部である。尚、この抽出の詳細については後述する。画像特徴情報埋め込み部103は、画像特徴情報抽出部102で抽出された元画像特徴情報を数値化し、バーコードのような光学的にデータを読取可能な形式で文書画像の空白部分に挿入し、一体の文書画像データとして出力する機能部である。文書画像出力部104は、画像特徴情報埋め込み部103で作成した文書画像データを印刷するプリンタであり、印刷文書1は、この文書画像出力部104で出力された文書である。
【0023】
改ざん判定装置200は、文書画像読み取り部201、埋め込み情報抽出部202、画像特徴情報抽出部203、判定部204からなる。文書画像読み取り部201は、判定対象文書の画像を光学的に読み取って画像データとして出力するスキャナ等を備えたものであり、読み取った画像に対して回転などの補正や雑音除去といった処理を行う機能や、判定対象文書の画像から元画像特徴情報部分をを切り出すといった機能も有している。埋め込み情報抽出部202は、文書画像読み取り部201で切り出された元画像特徴情報部分の画像データからバーコードなどの形式で挿入されている元画像特徴情報を復元する機能を有している。画像特徴情報抽出部203は、文書画像読み取り部201で出力された画像データから元画像特徴情報部分を消去した上で、画像データの画像特徴情報を抽出する機能部であり、これは画像特徴情報抽出部102と同様の機能により実現されている。判定部204は、埋め込み情報抽出部202で抽出された情報(元画像特徴情報)と、画像特徴情報抽出部203で新たに抽出した画像特徴情報とを比較して特徴に相違が存在するかを判定し、その判定結果に基づいて印刷文書1に改ざんがあったか否かを判定する機能部である。
【0024】
尚、上記文書画像出力装置100および改ざん判定装置200はコンピュータで実現され、文書画像出力装置100における画像特徴情報抽出部102および画像特徴情報埋め込み部103と、改ざん判定装置200における文書画像読み取り部201〜判定部204は、それぞれ対応するソフトウェアと、これらのソフトウェアを実行するためのプロセッサやメモリ等のハードウェアからなるものである。
【0025】
〈動作〉
図2は、文書画像出力装置100の動作を示すフローチャートである。
先ず、文書画像格納部101に格納されている文書画像が画像特徴情報抽出部102に入力される(ステップS101)。
図3は、文書画像の一例を示す説明図である。
画像特徴情報抽出部102では、文書画像をn個の小ブロック画像に分割する(ステップS102)。
図4は、文書画像を分割した状態の説明図である。
このように、文書画像を複数のブロック画像に分割するのは印刷文書に対して改ざんが行われた場合に、文書中のどの部分が改ざんされているかを特定できるようにするためであり、多くのブロック画像に分割するほど位置の特定が詳細となる。尚、各ブロック画像の大きさは固定でも良いし、画像中の場所によって変動させてもよいが、ここでは固定の大きさとする。
【0026】
次に、画像特徴情報抽出部102は、各ブロック画像の特徴を抽出し(ステップS103)、更に抽出した特徴量を符号化し、印刷できるように視覚化する(ステップS104)。このステップS104における画像の特徴抽出方法としては例えば次のようなものがある。
(1)ブロック画像を周波数変換し、周波数スペクトルをサンプリングしたもの。
(2)ブロック画像に対して、フィルタリング処理(帯域通過フィルタや任意のパターンのテンプレートなどによるフィルタリング処理)を行って得られる値。
(3)ブロック画像中の白い画素(背景領域)と、黒画素(文字領域)の面積の比。
等がある。本具体例では、周波数スペクトルをサンプリングしたものを画像の特徴情報として以下の説明を行う。
【0027】
図5は、上記ステップS102で分割されたブロック画像の一つを表す説明図である。
図6は、図5のブロックに対して二次元フーリエ変換を行った結果を示す説明図である。
図6は、周波数スペクトルを表しており、色が薄いほど値が大きいものとする。中心部分は直流成分とし、画像の端に近いほど高い周波数成分のスペクトルを表す。
このように表される周波数特性を符号化するために、画像特徴情報抽出部102は、図6の特定の周波数領域のスペクトル値を数値化する。
図7は、特定の周波数領域の選択の一例を示す説明図である。
図中の、破線で示した円が選択した周波数領域を表し、ここでは四つの周波数領域を選択した例を示している。選択する周波数領域は、文書画像中の文字領域が持つ周波数特性をよく表し、かつ、印刷とスキャンにより生じる雑音成分により影響されないようなものを予め定めておく。又、周波数スペクトルの数値化は、対応する領域の平均スペクトル値を量子化することによって行う。図7の例では、一例として8段階(0〜7)にサンプリングしている。
【0028】
図8は、ブロックの画像的特徴から視覚的なパターンを生成する処理の説明図である。
即ち、図8のブロック番号情報801に示すように、ブロックの番号を符号化し、かつ、ブロック画像特徴情報802に示すように画像特徴を符号化し、パターンブロック803のような視覚的なパターンを生成している。ここでは、ブロック番号と画像特徴の情報を20ビットの符号化を行う例を示している。図7では、四つの特徴量をそれぞれ8段階(3ビット)で表しているため、画像特徴は3×4=12ビットとなり、残りの8ビットでブロック番号を表している。尚、ここでは符号長を20ビットとしているが、任意の長さが選択可能である。また、符号を暗号化してもよいし、任意のハッシュ関数により圧縮してもよい。図8のパターンブロック803は5行4列の行列であり、行列中の要素が黒ならば0を、白ならば1を表すものとする。尚、パターンブロックのこのような行列で表わすことに限らず、一般のバーコードで表現してもよい。
以上で、画像特徴情報抽出部102によるステップS103,S104の処理が終了する。
【0029】
次に、画像特徴情報埋め込み部103により、文書画像中に、ステップS104で作成したパターンブロック(入力文書画像から生成される全てのブロック画像に対するパターンブロック)を文書画像中に挿入する(ステップS105)。そして、文書画像出力部104により、このような文書画像を印刷する(ステップS106)。
図9は、印刷された文書の説明図である。
図示のように、パターンブロック(元画像特徴情報部分)は入力文書画像の文字のない領域(背景領域)に挿入する。
【0030】
次に、改ざん判定装置200の動作を説明する。
図10は、改ざん判定装置200の動作を示すフローチャートである。
改ざん判定装置200では、先ず、印刷文書1のような判定対象文書を文書画像読み取り部201によって画像として読み取って、コンピュータ上のメモリに展開する(ステップS201)。また、文書画像読み取り部201は、読み取った画像に対して回転補正や拡大縮小や雑音除去を行い、更に、元画像特徴情報であるパターンブロック部分を切り出す。
次に、埋め込み情報抽出部202は、文書画像読み取り部201で切り出されたパターンブロックにおける各ブロック画像に対する特徴量を復号する(ステップS202)。即ち、埋め込み情報抽出部202は、上述した画像特徴情報抽出部102によるパターンブロックの生成処理の逆の処理を行うことによって各ブロック画像の特徴量の復号を行うものである。
【0031】
一方、画像特徴情報抽出部203は、文書画像読み取り部201で切り出したパターンブロック部分を背景領域でマスクし、その画像に対して、上記の文書画像出力装置100におけるステップS102およびS103の処理と同様の処理を行う(ステップS203)。次に、判定部204は、埋め込み情報抽出部202が抽出した埋め込み情報と、画像特徴情報抽出部203で得た各ブロック画像の画像特徴情報とをブロック毎に比較し(ステップS204)、これらの値の差が所定範囲内に収まっているかにより改ざん判定を行う(ステップS205)。
【0032】
次に、改ざんが行われた文書の例を説明する。
図11は、印刷文書に対する改ざんが行われた文書の説明図である。
図12は、改ざん箇所のブロックを示す説明図である。
図13は、改ざん箇所のブロックの画像特徴を抽出した結果の説明図である。
図11に示すように、印刷文書に対して改ざんが行われたとする。図12は、その改ざん箇所のブロックであり、図5に対応するものである。また、図13は、図12のブロックの周波数スペクトルと選択された領域の説明図であり、図7に対応するものである。
【0033】
改ざん判定装置200において、埋め込み情報抽出部202で復号したパターンブロックのブロック番号Nに対する画像特徴A〜Dの各値を、P(N,A)、P(N,B)、P(N,C)、P(N,D)とし、画像特徴情報抽出部203で抽出したブロック番号Nに対する画像特徴A〜Dの各値をQ(N,A)、Q(N,B)、Q(N,C)、Q(N,D)とする。また、同じブロック番号をもつブロック画像間の特徴量の差分D(N)を例えば、
D(N)=ABS(P(N,A),Q(N,A))+ABS(P(N,B),Q(N,B))+ABS(P(N,C),Q(N,C))+ABS(P(N,D),Q(N,D))と定義する。ここで、ABS(X,Y)はXとYの差の絶対値である。
【0034】
本具体例では、図7より、P(N,A)=4、P(N,B)=2、P(N,C)=6、P(N,D)=3である。また、図13より、Q(N,A)=1、Q(N,B)=7、Q(N,C)=3、Q(N,D)=2である。従って、D(N)は、|4−1|+|2−7|+|6−3|+|3−2|=12となる。
ここで、改ざん検出のための閾値Tを予め定めておき、D(N)がTより大きければ、判定部204は、ブロック番号Nのブロックに対して改ざんが行われたと判定する。
【0035】
〈効果〉
以上のように、具体例1によれば、文書画像の画像的特徴を文書中に印刷するので、その文書をスキャナ等で読み取って処理するだけで、改ざんの有無を判定することができる。即ち、OCR等によりその文書の内容がどのようなものであるかを認識するといった処理は一切必要なく、文書画像の処理のみで改ざんの有無を検出することができ、大規模なシステムを必要としない効果がある。また、複数のブロックに分割するようにすれば、改ざんが行われた場合の位置の特定も可能であり、かつ、分割数を選択することによって位置特定の精度も自由に選択することができるという効果がある。
【0036】
《具体例2》
具体例2は、文書画像の画像特徴情報を暗号鍵として用い、この暗号鍵を用いて隠し情報を暗号化して文書画像への埋め込み情報としたものである。
【0037】
〈構成〉
図14は、具体例2の構成図である。
図のシステムは、文書画像出力装置100aと改ざん判定装置200aからなる。
文書画像出力装置100aは、文書画像格納部101、画像特徴情報抽出部102、隠し情報格納部110、暗号鍵生成部111、隠し情報暗号化部112、暗号ブロック埋め込み部113、文書画像出力部114からなる。
文書画像格納部101および画像特徴情報抽出部102は、具体例1と同様の機能を有するものである。隠し情報格納部110は、文書画像出力装置100aから出力される印刷文書1に暗号化されて付与される隠し情報を格納する機能部であり、磁気記憶装置や半導体メモリといった記憶装置上に実現されている。また、本具体例では隠し情報として、その文書に対する署名情報といった情報を用いている。暗号鍵生成部111は、画像特徴情報抽出部102で抽出された画像特徴情報から暗号鍵を生成する機能部である。隠し情報暗号化部112は、暗号鍵生成部111で生成された暗号鍵を用いて隠し情報格納部110に格納されている隠し情報を暗号化して、文書画像中に埋め込む処理を行う機能部である。文書画像出力部114は、暗号ブロック埋め込み部113から出力された文書画像データを印刷出力するプリンタ等の機能部である。
【0038】
改ざん判定装置200aは、文書画像読み取り部201、画像特徴情報抽出部203、暗号鍵生成部210、暗号化情報抽出部211、隠し情報復号部212からなる。ここで、文書画像読み取り部201および画像特徴情報抽出部203は、具体例1と同様の構成であるため、ここでの説明は省略する。
暗号鍵生成部210は、画像特徴情報抽出部203で抽出された画像特徴情報に基づいて暗号鍵を生成する機能部であり、文書画像出力装置100aにおける暗号鍵生成部111と同様の機能を有している。暗号化情報抽出部211は、文書画像読み取り部201で切り出された暗号化情報部分から暗号化情報を抽出する機能部である。隠し情報復号部212は、暗号鍵生成部210で生成した暗号鍵を用いて、暗号化情報抽出部211で抽出した暗号化情報を復号する機能部である。即ち、その文書に改ざんが行われていない場合は、正当な暗号鍵によって復号されるため、文書画像出力装置100aで付与した隠し情報が取り出せることによって、改ざんの有無を判定するものである。
【0039】
〈動作〉
図15は、文書画像出力装置100aの動作を示すフローチャートである。
図において、ステップS301〜ステップS303は、具体例1における図2のステップS101〜ステップS103と同様であるため、ここでの説明は省略する。
次に、暗号鍵生成部111は、ステップS303で抽出された各ブロックの特徴から暗号鍵を生成する。即ち、各ブロックからは部分鍵を生成し、全ての、または一部のブロックから生成される部分鍵を統合して最終的な暗号鍵とする。ここでは、その一例として、画像特徴を図7で示したように四つの周波数領域のスペクトル平均とする。また、ブロック番号Nに対する画像特徴A〜Dの各値をP(N,A)、P(N,B)、P(N,C)、P(N,D)とする。このブロックから生成される部分鍵を、K(N)=H(P(N,A)、P(N,B)、P(N,C)、P(N,D))とする。ここで、H(A,B,C,D)は、A〜Dの値を入力パラメータとする関数であり、ハッシュ関数などでも良い。
また、最終的な暗号鍵を、CK=F(K(1),K(2),…,K(n−1),K(n))(nはブロックの数)で表す。Fは部分鍵K(1)〜K(n)を入力パラメータとする関数である。
【0040】
次に、隠し情報暗号化部112は、隠し情報格納部110から所定の隠し情報を入力し(ステップS305)、暗号鍵生成部111がステップS304で生成した暗号鍵を用いて隠し情報を暗号化する(ステップS306)。尚、ここでは、暗号化と復号で同じ鍵を用いる対称暗号を用いるが、一般の共通鍵暗号でも良いし、ドットパターンの区切り位置を分からなくするようなものであっても良い。
隠し情報暗号化部112で、隠し情報の暗号化が行われると、暗号ブロック埋め込み部113は、その暗号文をバーコードや具体例1で説明したパターンブロックなどによって視覚的に表現し、文書画像の空白部分に挿入する(ステップS307)。そして、文書画像出力部114は、これを印刷出力する(ステップS308)。ここで印刷された印刷文書1aは、図9に示した例と視覚的には同様のものとなる。
【0041】
次に、改ざん判定装置200aの動作を説明する。
図16は、改ざん判定装置200の動作を示すフローチャートである。
改ざん判定装置200aでは、先ず、判定対象文書である印刷文書1aを文書画像読み取り部201によって画像として読み取って、コンピュータ上のメモリに展開する(ステップS401)。このステップS401の処理は、具体例1のステップS201の動作と同様である。
次に、暗号化情報抽出部211は、文書画像読み取り部201で切り出した暗号化情報部分から暗号文を復元する。ここでは、ステップS303でパターンブロックを生成したときと逆の処理を行うことによって、暗号文を復元することができる。
【0042】
また、画像特徴情報抽出部203では、暗号化情報部分を背景領域でマスクした画像に対して、先ず、画像特徴情報抽出部102が行うステップS302、S303と同様の処理を行って画像特徴情報を検出する(ステップS403)。次に、暗号鍵生成部210は、暗号鍵生成部111と同様の処理を行って、暗号鍵を生成する(ステップS404)。
そして、隠し情報復号部212は、暗号化情報抽出部211で抽出した暗号文に対して暗号鍵生成部210で生成した暗号鍵を用いて暗号文を復号する(ステップS406)。このとき、印刷文書1aに対して改ざんなどの不正が行われた場合は、ステップS403で抽出した画像特徴情報と、図15のステップS303で抽出した画像特徴情報に差が生じ、これにより、ステップS404において、正しい暗号鍵が生成されないことになる。その結果、ステップS405において暗号文が正しく復号できないことになる。従って、隠し情報が意味のない(内容を理解できない)ものとなってしまう。即ち、復号された隠し情報が意味のあるものであるかどうかによって、印刷文書1aに対して改ざんが行われたか否かをチェックする。
【0043】
〈効果〉
以上のように、具体例2によれば、署名情報等の隠し情報を印刷文書の画像的特徴による暗号鍵を用いて暗号化し文書に埋め込むようにしたため、印刷文書に対して改ざんなどの不正が行われない場合にのみ埋め込んだ情報を確認することができる。従って、署名の確認と印刷内容の確認を同時に行うことができる。
【0044】
尚、上記各具体例では、元画像特徴情報や暗号化情報を文書上に視覚的に印刷するようにしたが、これ以外にも、例えば印刷文書1(1a)上に磁気ストライプ部を設け、この磁気ストライプに磁気データとして記録するといった構成であってもよい。また、このような場合は、改ざん判定装置200(200a)側でも磁気データの読み取り手段を設けることが必要である。
【図面の簡単な説明】
【図1】本発明の改ざん判定システムの具体例1を示す構成図である。
【図2】具体例1の文書画像出力装置の動作を示すフローチャートである。
【図3】文書画像の一例を示す説明図である。
【図4】文書画像を分割した状態の説明図である。
【図5】分割されたブロック画像の一つを表す説明図である。
【図6】図5のブロックに対して二次元フーリエ変換を行った結果を示す説明図である。
【図7】特定の周波数領域の選択の一例を示す説明図である。
【図8】ブロックの画像的特徴から視覚的なパターンを生成する処理の説明図である。
【図9】印刷された文書の説明図である。
【図10】具体例1の改ざん判定装置の動作を示すフローチャートである。
【図11】印刷文書に対する改ざんが行われた文書の説明図である。
【図12】改ざん箇所のブロックを示す説明図である。
【図13】改ざん箇所のブロックの画像特徴を抽出した結果の説明図である。
【図14】具体例2の構成図である。
【図15】具体例2の文書画像出力装置の動作を示すフローチャートである。
【図16】具体例2の改ざん判定装置の動作を示すフローチャートである。
【符号の説明】
1、1a 印刷文書
100、100a 文書画像出力装置
102、203 画像特徴情報抽出部
103 画像特徴情報埋め込み部
104、114 文書画像出力部
111、210 暗号鍵生成部
112 隠し情報暗号化部
113 暗号ブロック埋め込み部
200、200a 改ざん判定装置
202 埋め込み情報抽出部
204 判定部
211 暗号化情報抽出部
212 隠し情報復号部
Claims (3)
- 文書画像データに基づいて文書画像を印刷した文書の前記文書画像の改ざんの有無を判定する方法であって、
前記文書画像データを複数のブロックに分割し、各ブロック毎に画像特徴情報を求めるステップと、
前記各画像特徴情報を入力パラメータとする暗号式に基づいて暗号鍵を生成するステップと、
前記暗号鍵を用いて任意に選定可能な隠し情報を暗号化して暗号化情報を生成するステップと、
該暗号化情報を光学的に読み取り可能な印刷データに変換し、前記文書上に暗号印刷部を前記文書画像と共に印刷するステップと、
印刷の終了した前記文書上の文書画像を光学的に読み取って複数のブロックに分割し、各ブロック毎に画像特徴情報を求めるステップと、
該各画像特徴情報を前記暗号式に入力して復号用の暗号鍵を生成するステップと、
印刷の終了した前記文書上の前記暗号印刷部を光学的に読み取って暗号化情報に復元するステップと、
該復元した暗号化情報から前記復号用の暗号鍵を用いて隠し情報を復号可能か否かを判定するステップと、
を含むことを特徴とする文書画像の改ざん判定方法。 - 文書画像データに基づいて文書上に文書画像を印刷出力する文書画像出力装置と、前記文書上の文書画像の改ざんの有無を判定する改ざん判定装置とを備える改ざん判定システムにおいて、
前記文書画像出力装置は、
前記文書画像データを複数のブロックに分割し、各ブロック毎に画像特徴情報を抽出する画像特徴情報抽出部と、
前記各画像特徴情報を入力パラメータとする暗号式に基づいて暗号鍵を生成する暗号鍵生成部と、
前記暗号鍵を用いて任意に選定可能な隠し情報を暗号化して暗号化情報を生成する隠し情報暗号化部と、
前記暗号化情報及び文書画像データを光学的に読み取り可能な印刷データに変換し、文書上に暗号印刷部及び文書画像を印刷して出力する文書画像出力部と、を含み、
前記改ざん判定装置は、
前記文書上の文書画像を光学的に読み取った文書画像データを複数のブロックに分割し、各ブロック毎に画像特徴情報を抽出する画像特徴情報抽出部と、
前記各画像特徴情報を前記暗号式に入力して復号用の暗号鍵を生成する暗号鍵生成部と、
前記文書上の暗号印刷部を光学的に読み取って暗号化情報に復元する暗号化情報抽出部と、
該復元した暗号化情報から前記復号用の暗号鍵を用いて隠し情報を復号する隠し情報復号部と、
を含むことを特徴とする改ざん判定システム。 - 文書画像データに基づいて文書上に文書画像を印刷出力する文書画像出力装置と、前記文書上の文書画像の改ざんの有無を判定する改ざん判定装置とを備える改ざん判定システムの制御用プログラムであって、
前記文書画像出力装置に、
前記文書画像データを複数のブロックに分割し、各ブロック毎に画像特徴情報を抽出する機能と、
前記各画像特徴情報を入力パラメータとする暗号式に基づいて暗号鍵を生成する機能と、
前記暗号鍵を用いて任意に選定可能な隠し情報を暗号化して暗号化情報を生成する機能と、
前記暗号化情報及び文書画像データを光学的に読み取り可能な印刷データに変換し、文書上に暗号印刷部及び文書画像を印刷して出力する機能と、を保持させ、
前記改ざん判定装置に、
前記文書上の文書画像を光学的に読み取った文書画像データを複数のブロックに分割し、各ブロック毎に画像特徴情報を抽出する機能と、
前記各画像特徴情報を前記暗号式に入力して復号用の暗号鍵を生成する機能と、
前記文書上の暗号印刷部を光学的に読み取って暗号化情報に復元する機能と、
該復元した暗号化情報から前記復号用の暗号鍵を用いて隠し情報を復号する機能と、
を保持させたことを特徴とする改ざん判定システムの制御用プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002062934A JP3804012B2 (ja) | 2002-03-08 | 2002-03-08 | 文書画像の改ざん判定方法及びシステム、並びにその制御用プログラム |
US10/303,911 US7440143B2 (en) | 2002-03-08 | 2002-11-26 | Tampering judgement system, encrypting system for judgement of tampering and tampering judgement method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002062934A JP3804012B2 (ja) | 2002-03-08 | 2002-03-08 | 文書画像の改ざん判定方法及びシステム、並びにその制御用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003264685A JP2003264685A (ja) | 2003-09-19 |
JP3804012B2 true JP3804012B2 (ja) | 2006-08-02 |
Family
ID=27784912
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002062934A Expired - Fee Related JP3804012B2 (ja) | 2002-03-08 | 2002-03-08 | 文書画像の改ざん判定方法及びシステム、並びにその制御用プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7440143B2 (ja) |
JP (1) | JP3804012B2 (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7798417B2 (en) | 2000-01-03 | 2010-09-21 | Snyder David M | Method for data interchange |
US7070103B2 (en) | 2000-01-03 | 2006-07-04 | Tripletail Ventures, Inc. | Method and apparatus for bar code data interchange |
US7942328B2 (en) | 2000-01-03 | 2011-05-17 | Roelesis Wireless Llc | Method for data interchange |
US6764009B2 (en) * | 2001-05-30 | 2004-07-20 | Lightwaves Systems, Inc. | Method for tagged bar code data interchange |
CN1269343C (zh) * | 2002-12-19 | 2006-08-09 | 株式会社理光 | 图像处理方法及其装置,窜改检查方法及其装置 |
GB2397272B (en) * | 2003-01-15 | 2006-11-15 | Hewlett Packard Co | Secure physical documents and methods and apparatus for publishing and reading them |
US7328847B1 (en) * | 2003-07-30 | 2008-02-12 | Hewlett-Packard Development Company, L.P. | Barcode data communication methods, barcode embedding methods, and barcode systems |
US20050053236A1 (en) * | 2003-09-08 | 2005-03-10 | Samii Mohammad M. | Printed material verification |
JP2005236442A (ja) * | 2004-02-17 | 2005-09-02 | Sanyo Electric Co Ltd | 電子透かし埋め込み装置と方法ならびに電子透かし抽出装置と方法 |
JP2005236843A (ja) * | 2004-02-23 | 2005-09-02 | Oki Electric Ind Co Ltd | 文書処理方法およびシステム |
JP3999778B2 (ja) * | 2004-09-29 | 2007-10-31 | 沖電気工業株式会社 | 画像処理方法および画像処理装置 |
JP2006157831A (ja) * | 2004-12-01 | 2006-06-15 | Oki Electric Ind Co Ltd | 改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法 |
JP4319157B2 (ja) * | 2005-03-03 | 2009-08-26 | 株式会社リコー | 画像処理方法、改ざん検出方法、画像処理装置、改ざん検出装置 |
JP4591230B2 (ja) | 2005-06-23 | 2010-12-01 | 富士ゼロックス株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
EP1744287B1 (en) * | 2005-07-13 | 2008-04-30 | Neopost S.A. | Methods and systems for signing physical documents and for authenticating signatures on physical documents |
JP2007028529A (ja) * | 2005-07-21 | 2007-02-01 | Fuji Xerox Co Ltd | 情報記録システム、情報再生システム、および情報記録再生システム |
JP2007110448A (ja) * | 2005-10-13 | 2007-04-26 | Fujitsu Ltd | エンコード装置、デコード装置、エンコード方法、エンコードプログラムおよびこれらによって生成された印刷物 |
JP2007194850A (ja) * | 2006-01-18 | 2007-08-02 | Sharp Corp | 画像処理方法、画像処理装置、画像形成装置、及びコンピュータプログラム |
AU2006252223B2 (en) | 2006-12-22 | 2010-07-01 | Canon Kabushiki Kaisha | Tamper Detection of Documents using Encoded Dots |
JP5011233B2 (ja) | 2008-08-25 | 2012-08-29 | 株式会社Pfu | 改竄検出用情報出力システム、方法およびプログラム |
JP5347646B2 (ja) * | 2009-03-30 | 2013-11-20 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
JP5343659B2 (ja) * | 2009-03-30 | 2013-11-13 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
JP2010246027A (ja) | 2009-04-09 | 2010-10-28 | Canon Inc | 画像形成装置、画像形成方法、及びコンピュータプログラム |
JP5268861B2 (ja) * | 2009-10-28 | 2013-08-21 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
AU2009243403B2 (en) * | 2009-11-27 | 2012-04-26 | Canon Kabushiki Kaisha | Improving anti-tamper using barcode degradation |
JP5600973B2 (ja) * | 2010-03-11 | 2014-10-08 | 株式会社リコー | 画像処理装置、及び、画像処理方法 |
JP5435142B2 (ja) * | 2010-09-30 | 2014-03-05 | 富士通株式会社 | 画像暗号化システムおよび画像復号システム |
US20150379321A1 (en) | 2012-03-01 | 2015-12-31 | Sys-Tech Solutions, Inc. | Methods and a system for verifying the authenticity of a mark |
US20150169928A1 (en) | 2012-03-01 | 2015-06-18 | Sys-Tech Solutions, Inc. | Methods and a system for verifying the identity of a printed item |
PT2820592T (pt) | 2012-03-01 | 2018-03-22 | Sys Tech Solutions Inc | Resumo |
US9922389B2 (en) * | 2014-06-10 | 2018-03-20 | Sam Houston State University | Rich feature mining to combat anti-forensics and detect JPEG down-recompression and inpainting forgery on the same quantization |
US9940572B2 (en) | 2015-02-17 | 2018-04-10 | Sys-Tech Solutions, Inc. | Methods and a computing device for determining whether a mark is genuine |
CN107851201B (zh) | 2015-06-16 | 2021-04-20 | 系统科技解决方案公司 | 用于确定标记是否真实的方法和计算装置 |
EP3414684A4 (en) | 2016-03-14 | 2019-04-03 | SYS-Tech Solutions, Inc. | METHODS AND COMPUTER DEVICE FOR DETERMINING THE AUTHENTICITY OF A BRAND |
US10586238B2 (en) * | 2016-06-22 | 2020-03-10 | Microsoft Technology Licensing, Llc | Automation of image validation |
TWI601406B (zh) * | 2016-07-06 | 2017-10-01 | 虹光精密工業股份有限公司 | 產生代次資訊的影像處理裝置、複印設備及複印方法 |
US10332243B2 (en) * | 2016-12-12 | 2019-06-25 | International Business Machines Corporation | Tampering detection for digital images |
US11652941B1 (en) * | 2022-04-11 | 2023-05-16 | Xerox Corporation | Methods and systems for securing confidential content of a document while printing and/or generating a copy of the document |
US11954931B1 (en) * | 2022-10-04 | 2024-04-09 | Xerox Corporation | Methods and systems for detecting tampering of an IR security mark |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6345104B1 (en) * | 1994-03-17 | 2002-02-05 | Digimarc Corporation | Digital watermarks and methods for security documents |
US7171016B1 (en) * | 1993-11-18 | 2007-01-30 | Digimarc Corporation | Method for monitoring internet dissemination of image, video and/or audio files |
JPH09154007A (ja) | 1995-09-30 | 1997-06-10 | Intec:Kk | 機密情報記録方法 |
JP3881733B2 (ja) | 1995-09-30 | 2007-02-14 | インテック・ウェブ・アンド・ゲノム・インフォマティクス株式会社 | 機密情報記録方法 |
US6085323A (en) * | 1996-04-15 | 2000-07-04 | Kabushiki Kaisha Toshiba | Information processing system having function of securely protecting confidential information |
JPH1011509A (ja) * | 1996-06-26 | 1998-01-16 | Wacom Co Ltd | 電子書類セキュリティシステム、電子押印セキュリティシステムおよび電子署名セキュリティシステム |
JP3104676B2 (ja) | 1998-05-13 | 2000-10-30 | 日本電気株式会社 | 電子透かしシステム及びその電子透かし挿入・検出方法並びにその制御プログラムを記録した記録媒体 |
JP3528700B2 (ja) | 1999-09-06 | 2004-05-17 | セイコーエプソン株式会社 | デジタルカメラおよび画像改竄検出システム |
JP2001275115A (ja) * | 2000-03-23 | 2001-10-05 | Nec Corp | 電子すかしデータ挿入装置および検出装置 |
JP3872933B2 (ja) | 2000-04-26 | 2007-01-24 | 株式会社エヌ・ティ・ティ・データ | 書類認証方法、システム、書類作成装置、書類認証装置及び記録媒体 |
JP4220661B2 (ja) | 2000-07-21 | 2009-02-04 | 興和株式会社 | 電子文書改竄検出方法及びその装置 |
US6859545B1 (en) * | 2000-08-10 | 2005-02-22 | Chung Shan Institute Of Science And Technology | Information hiding method with reduced fuzziness |
US6813367B1 (en) * | 2000-09-11 | 2004-11-02 | Seiko Epson Corporation | Method and apparatus for site selection for data embedding |
US20020051577A1 (en) * | 2000-10-20 | 2002-05-02 | Naoto Kinjo | Method of preventing falsification of image |
US7159177B2 (en) * | 2001-08-29 | 2007-01-02 | Digeo, Inc. | System and method for focused navigation within a user interface |
-
2002
- 2002-03-08 JP JP2002062934A patent/JP3804012B2/ja not_active Expired - Fee Related
- 2002-11-26 US US10/303,911 patent/US7440143B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20030169456A1 (en) | 2003-09-11 |
US7440143B2 (en) | 2008-10-21 |
JP2003264685A (ja) | 2003-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3804012B2 (ja) | 文書画像の改ざん判定方法及びシステム、並びにその制御用プログラム | |
KR100335308B1 (ko) | 워터마크를 이용한 인간 지각가능 데이터 세트의 배포와 인증 방법 및 그 장치 | |
JP4603079B2 (ja) | デジタル透かしをテキスト文書に埋め込むためのおよびそのデジタル透かしを検出するための方法およびデバイス | |
US7028902B2 (en) | Barcode having enhanced visual quality and systems and methods thereof | |
Rey et al. | A survey of watermarking algorithms for image authentication | |
CN1209730C (zh) | 一种数字防伪方法 | |
EP1360640B1 (en) | Document printed with graphical symbols which encode information | |
EP2154878A1 (en) | Image encyption device, image decyption device, method, and program | |
US20120278627A1 (en) | Security based on subliminal and supraliminal channels for data objects | |
US7072488B2 (en) | Data processing method and apparatus | |
EP1291819A2 (en) | Digital watermark embeddig | |
CN106951943B (zh) | 可信的电子合同打印成纸件合同及再复原电子合同的方法 | |
US6831990B2 (en) | System and method for image tamper detection via thumbnail hiding | |
CN115114598A (zh) | 水印生成、水印用于文件追溯的方法及装置 | |
JP3468608B2 (ja) | 印刷物の検証装置 | |
JP4103689B2 (ja) | 秘密情報処理システム,秘密情報埋め込み装置,秘密情報検出装置,秘密情報埋め込み方法,および秘密情報検出方法 | |
JP3499294B2 (ja) | 書類機密管理方法及び画像処理装置 | |
JP2003533919A (ja) | 音符のセット内に秘密情報を一体化するための方法 | |
JP4260076B2 (ja) | 文書作成装置、文書検証装置、文書作成方法、文書検証方法、文書作成プログラム、文書検証プログラム、文書作成プログラムを格納した記録媒体、および文書検証プログラムを格納した記録媒体 | |
JP4047271B2 (ja) | 改ざん検証用画像生成装置、および、改ざん検証用画像生成装置の制御方法、および、改ざん検証用画像情報生成装置のプログラム、および、記録媒体 | |
JP4297040B2 (ja) | 電子透かし入り文書取扱装置、電子透かし入り文書取扱システムおよび電子透かし入り文書取扱方法 | |
JP4178757B2 (ja) | 画像処理システム | |
Afrizal et al. | Printing Document Security Based on Bit Mapping Technique on Character American Standard Code For Information Interchange (ASCII) | |
JP2007318257A (ja) | 情報埋め込み装置、情報復元装置、情報埋め込み方法、情報復元方法、制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体、印刷物 | |
CN117879823A (zh) | 基于非对称加密的网页明暗水印处理及泄露溯源方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060427 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140519 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |