JP4227048B2 - 画像処理システム - Google Patents

Description

本発明は、たとえば、可視状態の主画像情報（人物の顔画像など）に対して別の付加的な副情報（セキュリティ情報など）を不可視状態で埋め込み合成して合成画像情報を作成し、この作成した合成画像情報を記録媒体上に記録したり、その記録した合成画像情報からその中に埋込まれた副情報を復元したりする画像処理システム、および、この画像処理システムに用いられる画像処理装置および画像処理方法に関する。

近年、情報の電子化やインターネットの普及に伴って、画像の偽造や変造防止のために電子透かし、電子署名などの技術が重要視されるようになってきた。特に、主画像情報に付加的な副情報（副画像情報）を不可視状態で埋め込む電子透かし技術は、ＩＤカードなどの個人認証媒体や著作権情報を埋め込んだ写真に対する不正コピー、偽造、改竄対策として提案されている。

たとえば、印刷物へ出力される画像データに対して、人間が感知しにくい高い空間周波数成分および色差成分の特性を利用してデータを埋め込む電子透かし挿入方法が知られている（たとえば、特許文献１参照）。
また、光学フィルタで確認できる電子透かしの印刷装置が知られている（たとえば、特許文献２参照）。

記録装置の観点からは、従来、免許証などの各種身分証明書、会員証などに代表される個人認証媒体における個人認証用の顔画像を記録する際には、昇華型熱転写記録方式を用いるのが一般的である。
一般的に、昇華型熱転写記録方式は、昇華性材料で染色できる材料が限られていて、限られた記録媒体にしか適応できないといった欠点がある。このため、個人認証媒体における個人認証用の顔画像を記録する記録媒体の選択の自由度が低く、結果的に入手し易いものを選択せねばならないため、セキュリティ性が低下することが多い。また、一般的に昇華性染料は、耐光性、耐溶剤性などの画像耐久性が劣っている。

一方、溶融型熱転写記録方式は、着色材料を一般的に耐光性の良いといわれるものを選択することが可能になる。また、記録媒体の選択の自由度が高く、特殊性の高い記録媒体を用いてセキュリティ性を高めることができる。しかし、溶融型熱転写記録方式では、転写したドットのサイズを変化させて階調記録を行なうドット面積階調法を用いるため、昇華型熱転写記録並みの階調性能をだすのが困難である。
その対策として、たとえば、転写ドットの配列をいわゆる千鳥状に並べて記録する方法（以後、これを交互駆動記録方式と称す）が知られている（たとえば、特許文献３参照）。
特開平９−２４８９３５号公報 特開２００１−２６８３４６号公報 特公平６−５９７３９号公報

上記したように、個人認証媒体における個人認証用の顔画像の記録などに電子透かし技術を適用して、顔画像自体のセキュリティ性を高めることが最近要求されてきているが、電子透かし技術は基本的にデジタルデータを扱うことを前提にしているため、画像記録装置（カラープリンタなど）での記録時において、階調性能が高く、記録時の影響で透かし情報を壊してしまったり改変してしまうことが無いことが要求される。

前記特許文献３では、溶融型熱転写記録方式において階調記録性能を向上させるための記録方法を開示しているが、電子透かし技術を用いて透かし情報を埋め込んだ顔画像情報を記録すると、千鳥状にデータが間引かれて、その部分の情報が消失してしまうため、電子透かし情報が破壊されてしまう欠点がある。

また、印刷に対応した電子透かし技術には、副情報の埋め込みから復元までの過程中に必ずデジタル−アナログ変換およびアナログ−デジタル変換を含むため、画像の劣化を避けることができないという本質的な課題がある。したがって、副情報を復元する際に劣化の影響を抑制する技術が必須となる。
この課題に対し、特許文献１では、あらかじめ劣化の度合を予測し、その度合に応じて埋め込みの強さを大きくする方法に関する記述があるが、この方法には副情報が暴露される危険性を増大させてしまうという問題がある。

そこで、本発明は、記録媒体に出力するようなアナログデータを対象として、主画像情報に対し別の付加的な副情報を不可視状態で埋め込んだ合成画像情報を作成でき、記録後も記録した合成画像情報内の電子透かし情報が維持できる画像処理システムを提供することを目的とする。

また、本発明は、溶融型熱転写記録方式において、高階調性能を維持したまま記録画像への電子透かし技術が適用可能で、その透かし情報（副情報）は記録後も壊れないで保存され、復元可能である画像処理システムを提供することを目的とする。
また、本発明は、画像情報の劣化などに対して耐性を持つ電子透かしの復元処理が可能となる画像処理システムを提供することを目的とする。

本発明の画像処理システムは、人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録するための第１の画像処理装置と、この第１の画像処理装置により記録媒体に記録された前記合成画像情報からそれに埋め込まれた前記副情報を復元する第２の画像処理装置とから構成される画像処理システムであって、前記第１の画像処理装置は、当該第１の画像処理装置における画像記録の画素形成処理に対応して前記主画像情報を間引く処理を行なう第１の前処理手段と、この第１の前処理手段により間引き処理された主画像情報をあらかじめ設定した角度に回転させた後、当該主画像情報の間引いた部分を取り除き主画像情報の有効部分を圧縮して再構成する幾何学的変換を行なう第２の前処理手段と、この第２の前処理手段により変換処理された主画像情報および前記副情報および当該副情報を復元する際に用いる鍵情報を用いて色差変調方式を用いた電子透かし埋め込み処理を行なうことにより副情報を不可視状態で主画像情報に埋め込み、合成画像情報を作成する埋め込み手段と、この埋め込み手段により作成された合成画像情報に対して前記第２の前処理手段における変換処理の逆変換処理を行なう逆変換手段と、この逆変換手段により逆変換処理された合成画像情報を、記録デバイスの主走査方向の偶数番目の画素と奇数番目の画素を記録ラインごとに交互に形成する交互駆動記録方式により記録媒体上に記録する記録手段とを有して構成され、前記第２の画像処理装置は、前記第１の画像処理装置の記録手段により記録媒体に記録された前記合成画像情報を当該記録媒体から読取り入力する画像入力手段と、この画像入力手段により入力された合成画像情報から前記鍵情報に固有の空間周波数成分を抽出する周波数成分抽出手段と、この周波数成分抽出手段により抽出された空間周波数成分から前記副情報を再構成する再構成手段とを有して構成されていることを特徴とする。

本発明によれば、記録媒体に出力するようなアナログデータを対象として、主画像情報に対し別の付加的な副情報を不可視状態で埋め込んだ合成画像情報を作成でき、記録後も記録した合成画像情報内の電子透かし情報が維持できる画像処理システムを提供できる。

また、本発明によれば、溶融型熱転写記録方式において、高階調性能を維持したまま記録画像への電子透かし技術が適用可能で、その透かし情報（副情報）は記録後も壊れないで保存され、復元可能である画像処理システムを提供できる。
また、本発明によれば、画像情報の劣化などに対して耐性を持つ電子透かしの復元処理が可能となる画像処理システムを提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る画像処理システムの全体の構成を概略的に示すものである。この画像処理システムは、たとえば、ＩＤカードなどの個人認証媒体における個人認証用の顔画像の処理に適用した場合を示しており、人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報（副画像情報）を埋め込むことによって作成した合成画像情報を記録媒体Ｍ上に可視状態で記録するための第１の画像処理装置１００と、この第１の画像処理装置１００により記録媒体Ｍに記録された合成画像情報からそれに埋め込まれた副情報を復元する第２の画像処理装置１１０とから構成されている。

第１の画像処理装置１００は、個人認証媒体の所持者本人の顔画像を取込み、デジタル画像情報に変換する画像入力手段としての主画像入力部１０１、主画像入力部１０１で取込まれた顔画像情報（以下、主画像情報とも称す）を後述する記録部１０６の画素形成処理に適した形状へ変換する第１の前処理手段としての第１の前処理部１０２、第１の前処理部１０２で変換された画像情報を電子透かし埋め込み処理に適した形状へ変換する第２の前処理手段としての第２の前処理部１０３、第２の前処理部１０３にて変換された画像情報へ鍵情報を用いて電子透かし情報を埋め込む埋め込み手段としての電子透かし埋め込み処理部１０４、電子透かしが埋め込まれた画像情報に対し第２の前処理部１０３の逆の処理を行ない、後述する記録部１０６の画素形成処理に適した形状へ戻す逆変換手段としての後処理部１０５、および、後処理部１０５にて変換された画像情報に基いて記録媒体Ｍへ電子透かしが埋め込まれた合成画像情報を印刷記録する記録手段としての記録部１０６により構成されており、以下、各部の機能について詳細に説明する。

主画像入力部１０１は、個人認証媒体の所持者本人の顔画像をカメラにより入力したり、あるいは、顔写真をスキャナなどの画像入力装置で取込むことにより、個人の顔画像情報をデジタル化する。この時点での主画像情報（顔画像情報）は、Ｒ（赤），Ｇ（緑），Ｂ（青）の３プレーンから構成されている。

第１の前処理部１０２から後処理部１０５は、主画像情報への電子透かしの埋め込み、および、記録部１０６の画素形成処理に適した形状への変換を行なう。以下、これらの処理の流れを図２に示すフローチャートを参照して説明する。

まず、第１の前処理部１０２にて、主画像入力部１０１で取込まれた主画像情報に対して、記録部１０６の画素形成処理に対応した第１の前処理を行ない、第１の前処理済み主画像情報を作成する（ステップＳ２０１）。ここでは、第１の前処理は主画像情報に対して間引き（無効化）処理を行なう。

次に、第２の前処理部１０３にて、ステップＳ２０１で作成された第１の前処理済み主画像情報に対して幾何学変処理を行ない、被埋め込み画像情報を作成する（ステップＳ２０２）。ここでは、第１の前処理済み主画像情報に対して、回転処理を行ない、さらに第１の前処理で間引きした画素部分を取り除いて有効画像サイズを圧縮することを行なう。

次に、電子透かし埋め込み処理部１０４にて、ステップＳ２０２で作成された被埋め込み画像情報（第２の前処理済み主画像情報）に対して、電子透かし埋め込み処理を行なう（ステップＳ２０３）。ここでは、被埋め込み画像情報に対し副情報を人間の視覚に感知できないように不可視状態で埋め込んだ合成画像情報が作成される。

次に、後処理部１０５にて、ステップＳ２０３で作成された合成画像情報に対して後処理を行なうことにより、記録画像情報を作成する（ステップＳ２０４）。ここでは、合成画像情報に対して逆回転処理を行ない、さらにステップＳ２０２の第２の前処理で取り除いた画素部分を付加して有効画像サイズの伸長を行なう。

なお、電子透かしの埋め込み処理は、Ｒ（赤），Ｇ（緑），Ｂ（青）のデータに限定されるものではなく、後述の色変換を先に行なっておき、Ｃ（シアン），Ｍ（マゼンタ），Ｙ（イエロー）の３プレーンのデータに対して埋め込み処理を行なう形であっても構わない。

記録部１０６は、後処理部１０５にて作成された記録画像情報を個人認証媒体となる記録媒体Ｍ上に印刷記録することにより、個人認証媒体が作成される。具体的には、まず記録画像情報の各画素のＲ（赤），Ｇ（緑），Ｂ（青）を記録用のＣ（シアン），Ｍ（マゼンタ），Ｙ（イエロー）へ色変換する。色変換の方法としては、記録デバイスの特性に合わせて、３×３や３×９の色変換マトリクスないしはＬＵＴ（ルック・アップ・テーブル）を使用する。次に、Ｃ，Ｍ，Ｙの画像情報から、記録デバイスを制御する駆動信号を生成する。たとえば、溶融型熱転写記録方式の場合は、サーマルヘッドの駆動電圧制御信号や駆動パルス信号などを生成する。また、サーマルヘッドの熱制御などもここで行なわれる。最後に、記録媒体Ｍへ、サーマルヘッドに代表される記録デバイスの主走査方向の偶数番目の画素と奇数番目の画素を記録ラインごとに交互に形成することにより、合成画像情報を記録する。

記録媒体Ｍ上に形成されるドットの配列は図３に示すようになる。図３中のＡ−Ａ’ラインを見ると、ドットは１ドット置きではなく、ピッチｄ（サーマルヘッドの発熱体のピッチの１／√２）で隣接した状態で、４５°方向へ一列に並んでいることがわかる。

図４は、記録部１０６により作成されたＩＤカードなどの個人認証媒体４０１の一例を示す。個人認証媒体４０１には、持ち主の個人認証用顔画像４０２が記録されているが、この顔画像４０２は図２で説明した処理によって作成され印刷記録されたものである。また、識別番号（Ｎｏ．）、氏名、生年月日、有効期限などの個人管理情報４０３も記録されている。これらの個人管理情報４０３を、図２におけるステップＳ２０３の電子透かし埋め込み処理の副情報として用いることにより、個人認証媒体４０１の認証用顔画像４０２と個人管理情報４０３とが関連付けられるため、個人認証媒体４０１の一部を改竄したり、偽造することが困難になり、セキュリティ性を高めることが可能になる。

第２の画像処理装置１１０は、たとえば、図４の個人認証媒体４０１に記録されている合成画像情報４０３を読取り入力し、デジタルの画像情報に変換する画像入力手段としての記録画像入力部１１１、記録画像入力部１１１で取り込まれた合成画像情報から電子透かし情報（副情報）を復元する復元手段としての復元部１１５、および、復元部１１５で復元された電子透かし情報に基いて当該個人認証媒体の真偽性を判定する判定手段としての判定部１１４により構成されており、以下、各部の機能について詳細に説明する。

記録画像入力部１１１は、個人認証媒体４０１に記録されている合成画像情報４０３をカメラなどの画像入力装置で取込み、デジタルの合成画像情報に変換する。この時点での画像情報は、主画像入力部１０１の場合と同様に、Ｒ（赤），Ｇ（緑），Ｂ（青）の３プレーンから構成されている。

復元部１１５は、記録画像入力部１１１で取り込まれた合成画像情報から鍵情報の空間周波数成分を抽出する周波数成分抽出手段としての周波数成分抽出部１１２、および、周波数成分抽出部１１２で抽出された空間周波数成分から電子透かし情報（副情報）を再構成する再構成手段としての再構成部１１３により構成されている。

周波数成分抽出部１１２は、記録画像入力部１１１で取り込まれた合成画像情報に対して周波数フィルタリングを行ない、埋め込まれている鍵情報の周波数成分について、その振幅（＝強度）情報と位相情報とを取り出す。

再構成部１１３は、周波数成分抽出部１１２で抽出された空間周波数成分の振幅情報および位相情報に対して集計処理および空間フィルタリングを行ない、鍵情報に対する変調成分すなわち副情報を再構成する。

判定部１１４は、復元部１１５で復元された副情報（個人管理情報）と、記録画像入力部１１１で取り込まれた個人認証媒体４０１上の個人管理情報４０３とを照合し、当該個人認証媒体４０１の真偽性を判定する。

次に、本発明に係る交互駆動記録方式、詳しくはドットを千鳥状に配列させて記録する溶融型熱転写記録方式について説明する。ドットの有無で画像を形成するような溶融型熱転写記録方式では、多階調画像を表現する場合、ドットの面積を変化させる面積変調処理を行なうことにより、見かけの濃度を制御している。このため、ドットのサイズを正確に変調することが求められ、そのためには交互駆動記録方式が望ましい。

交互駆動記録方式は、記録ヘッド（ライン型サーマルヘッド）の奇数ラインの奇数番目の発熱体と偶数ラインの偶数番目の発熱体を記録ラインごとに交互に駆動する方式である。このように駆動した場合、記録するべき画像情報が図５（ａ）に示すように格子状に配列されて格納されているのが、実際の記録時には図５（ｂ）に示すように千鳥状に配列されて画像が形成される。したがって、記録するべき画像情報の奇数ラインの偶数番目の情報および偶数ラインの奇数番目の情報が欠落することになる。

このことは、単純に記録したい画像情報に電子透かし処理を用いて副情報を不可視状態で埋め込んでも、元の画像情報の１／２の面積しか有効にならず、その他の情報が欠落してしまうために、電子透かしが破壊されるか改変されてしまうことを意味する。一般的に、これだけ電子透かしが破壊された場合、副情報を復元することは非常に困難であり、セキュリティ性を保つことができなくなる。

そこで、本発明では、ステップＳ２０３の電子透かし埋め込み処理を行なう際に、ステップＳ２０１の第１の前処理およびステップＳ２０２の第２の前処理を行ない、さらに、ステップＳ２０３の電子透かし埋め込み処理後にステップＳ２０４の後処理を行なうことにより、交互駆動記録時の電子透かしの破壊を防ぐものである。

第１の前処理（ステップＳ２０１）では、交互駆動記録方式のときにエネルギを印加されない画素に対応する画像情報を間引く。図６（ａ）は、記録するべき画像情報全体の配列を示していて、黒い部分６０１は記録される画素（間引かれない情報）に対応し、白い部分６０２は記録されない画素（間引かれる情報）に対応している。

第２の前処理（ステップＳ２０２）では、第１の前処理を行なった画像情報の配列に対して、たとえば、４５°の回転処理および間引いた情報を取り除く処理を行ない、有効な画像情報サイズの圧縮処理を行なう。図６（ｂ）に示すように、図６（ａ）の画像情報配列を４５°回転させると黒い部分６０１（間引かれない情報）が整列に並ぶ。そこで、白い部分６０２（間引かれる部分）を取り除き、再配列させることにより、交互駆動記録方式の影響がない画像情報だけの配列が作成される。

さらに、図７に示す具体例をあげて第１の前処理および第２の前処理の説明を行なうと、図７（ａ）は記録したい画像情報の配列を示していて、最初の段階では、ａｉｊ（ｉ＝１〜４、ｊ＝１〜４）の情報が格納されている。第１の前処理により間引き処理を行ない、画像情報の配列の奇数ラインの偶数番目の情報および偶数ラインの奇数番目の情報が間引かれて、図７（ｂ）に示す×印の付いた配列要素が削除される。

次に、第２の前処理で４５°回転処理が行なわれ、図７（ｃ）に示す状態になる。さらに、×印の部分を除去した後に、有効な画像情報の要素を再配列すると、図７（ｄ）に示す状態になる。空いた隙間の配列要素には記録しない意味の情報（この場合は「０」）を格納しておく。

図７（ａ）と図７（ｄ）とでは、実際に記録される、あるいは、交互駆動記録の影響を受けない画像情報の配列サイズは減少している（図７（ｄ）の太枠部分）。この図７（ｄ）の太枠部分に副情報が収まるように、電子透かし埋め込み処理を行なうことによって、副情報は完全に保持される。

後処理（ステップＳ２０４）に関しては、上記の全く逆の処理を行なうことになる。

なお、本実施の形態では、溶融型熱転写記録方式を一例として示したが、記録画素のドット面積変調により階調表現を行なう記録方式に対しては、どの方式においても本実施の形態の画像処理は適応可能である。

図８は、今まで説明した手順を模式的に示したものである。
図８において、主画像情報８０１は、たとえば、個人認証用の顔画像情報、副情報８０２は、たとえば、主画像情報８０１のセキュリティ性を高める情報（今回は数字の「１７４」）で、氏名や誕生日などをコード化して画像としたものや会社のロゴマークなどの図形を用いる。鍵情報８０３は、電子透かし埋め込み処理によって不可視状態で埋め込まれた副情報を後で復元するための鍵となる情報である。

最初に、主画像情報８０１に対し第１の前処理および第２の前処理を行なうことにより、被埋め込み画像情報８０４を作成する。次に、被埋め込み画像情報８０４と副情報８０２と鍵情報８０３とを用いて電子透かし埋め込み処理８０５を行ない、電子透かし入り画像情報８０６を作成する。そして、第１の前処理と第２の前処理の逆変換処理を行なう後処理を行なうことにより、合成画像情報８０７を作成する。最後に、作成した合成画像情報８０７を記録（印刷）処理８０８することにより、個人認証媒体８０９が完成する。

次に、電子透かし埋め込み処理について説明する。本実施の形態では、電子透かしの手法一般に適用可能であるが、特に副情報と主画像情報とを重畳処理することによって埋め込みを行なう手法と相性がよい。

この電子透かし埋め込み処理手法の詳細は、たとえば、特開平１１−１６８６１６号公報や特開２００１−２６８３４６号公報などに記述されており、これらを適用することが可能である。これらの手法は、基本的に主画像情報がカラー（フルカラー）画像であることを前提に記述されているが、これらに対し更に例えば特開平１１−３５５５５４号公報に記述されている技術を加えて応用することにより、白黒画像に対しても副情報（副画像情報）を不可視状態で埋め込むことが可能である。
もし、個人認証媒体の顔画像の真偽判定が必要になった場合は、上記公報などに記載されている復元処理を鍵情報を利用して行なうことによって、不可視状態で記録されていた副情報が復元される。

図９に、特開平１１−１６８６１６号公報に記述されている色差変調方式を用いた電子透かし埋め込み処理の流れ図を示し、本実施の形態への適用例を説明する。この方式では、
(1) 人間の視覚特性を利用
・画像の周波数が高くなるほど階調識別能力が低下
・輝度情報よりも色差情報の方が判別困難
(2) 補色の関係 例…赤色＋シアン色＝無彩色（白）（加法混色の場合）
(3) 高周波キャリアパターン画像に補色の関係および色差情報を適用（色差変調処
理）
を用いることにより、画質劣化を招くことなく、主画像情報に副情報を不可視状態で埋め込むことが可能になっている。

上記(2)の例でいえば、赤色とシアン色（＝緑色＋青色）は、加法混色の場合、補色の関係にあり、赤色とシアン色とが隣り合っていても人間の目には判別しにくく無彩色に見える。

上記(3)の例のように、高周波キャリアパターン画像を用いることで、赤色リッチな画素とシアン色リッチな画素とが繰り返し配置されているため、人間の目ではこれらの細かな色差の違いを識別できず、色差量はプラスマイナス「０」と判断してしまう人間の視覚特性を利用している。この方式で作成した合成画像情報（電子透かし入り画像）は、格納する画像フォーマットに依存しないので、現在流通しているＢＭＰやＴＩＦＦ、ＪＰＥＧなどの画像フォーマットだけでなく、将来新しい画像フォーマットに変更されても全く問題ない。

ここで、図９に示した特開平１１−１６８６１６号公報の電子透かし埋め込み処理の流れについて簡単に説明しておく。なお、詳細については特開平１１−１６８６１６号公報の記述内容を参照されたい。

被埋め込み画像情報（主画像情報）９０１は、埋め込み情報が埋め込まれる画像情報で、個人認証媒体では所有者の顔写真（顔画像）に相当する。これは、１画素当たり２４ビット（Ｒ，Ｇ，Ｂ各８ビット）の情報を持っている。埋め込み画像情報（副情報）９０２は、埋め込む情報を２値画像に変換したもので、個人認証媒体では例えば識別番号などに相当する。これは、１画素あたり１ビットの情報を持っている。マスク画像情報（鍵情報）９０３は、合成処理時および埋め込み画像情報の復元（再生）時に用いる画像情報で、１画素あたり１ビットの情報を持っている。

最初に、平滑化処理ステップ９０４において、埋め込み画像情報９０２の黒画素を「１」、白画素を「０」として平滑化処理を行なう。ここでは、ｘ方向について注目画素の両端の画素を３×１画素の領域を切り出して、重み平均を取る。次に、位相変調処理ステップ９０５において、平滑化処理ステップ９０４における平滑化処理の結果を基にマスク画像情報９０３に対し位相変調を行なう。

次に、色差変調処理ステップ９０７において、位相変調処理ステップ９０５における位相変調結果を基に、色差量ΔＣｄを用いて色差変調処理を行なう。この場合、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３成分を別々に計算する。次に、重畳処理ステップ９０８において、色差変調処理ステップ９０７における色差変調結果と被埋込み画像情報９０１とから、重畳処理を行なうことにより、合成画像情報９０９を作成する。

以上の説明からも明らかなように、図９の被埋め込み画像情報９０１と埋め込み画像情報９０２とマスク画像情報９０３は、図８で説明した本実施の形態における主画像情報８０１と副情報８０２と鍵情報８０３と全く同じものである。したがって、基本的には図９に示した電子透かし埋め込み処理方式を本実施の形態に適用可能であることは明らかである。

ただし、本実施の形態では、第１の前処理および第２の前処理を主画像情報に対してあらかじめ行なうために、有効な画像情報の配列サイズが図７（ｄ）の太線枠で示したように、主画像情報の本来のサイズよりも小さくなっている。したがって、図９の電子透かし埋め込み処理のように、被埋め込み画像情報９０１’と色差変調処理の結果得られた重畳用画像情報９１０とを重畳処理することによって合成画像情報９０９を作成する場合は、重畳用画像情報９１０の有効部分（この場合は「１７４」）の領域が被埋め込み画像情報９０１’のハッチング部分に完全に入っている必要がある。

重畳処理に関しては、被埋め込み画像情報９０１’、重畳用画像情報９１０、合成画像情報９０９を下記のように定義すると、
被埋め込み画像情報： ＳＲＣ_C（ｘ，ｙ） （Ａ−１）
重畳用画像情報 ： ＳＴＬ_C（ｘ，ｙ） （Ａ−２）
合成画像情報 ： ＤＥＳ_C（ｘ，ｙ） （Ａ−３）
ｘ，ｙは画像の座標値
Ｃ＝｛Ｒ（赤）、Ｇ（緑）、Ｂ（青）｝プレーンを示す
それぞれの値は２４ビットカラー演算の場合、０〜２５５の整数値
次式で表わされる。
ＤＥＳ_R（ｘ，ｙ）＝ＳＲＣ_R（ｘ，ｙ）
＋ＳＴＬ_R（ｘ，ｙ） （Ｂ−１）
ＤＥＳ_G（ｘ，ｙ）＝ＳＲＣ_G（ｘ，ｙ）
＋ＳＴＬ_G（ｘ，ｙ） （Ｂ−２）
ＤＥＳ_B（ｘ，ｙ）＝ＳＲＣ_B（ｘ，ｙ）
＋ＳＴＬ_B（ｘ，ｙ） （Ｂ−３）
本実施の形態では、加法混色での演算として色の基本原色にＲ（赤）、Ｇ（緑）、Ｂ（青）を用いたが、減法混色での演算では色の基本原色にＣ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）を用いても本質的には変わらない。

次に、上述した特開平１１−１６８６１６号公報の電子透かし埋め込み処理にて作成された合成画像情報に対する副情報の復元処理について説明する。副情報の復元は、埋め込み処理の際に用いた鍵情報に基いて特定の空間周波数成分を合成画像情報から抽出し、その空間周波数成分から副情報を再構成することにより行なう。

鍵情報としては、幾何学模様などで構成された２値（白黒）の画像情報を利用できる。たとえば、１×２画素を単位矩形とする白黒の市松模様や、あらかじめ定めておいたシードを元に作成した擬似乱数パターンなどである。

鍵情報に基いて特定の空間周波数成分を抽出する方法としては、空間周波数フィルタを用いることができる。鍵情報に対応する空間周波数フィルタの係数は、以下の(1)〜(4)の手順にて計算する。なお、係数の計算はあらかじめ行なって結果を格納しておいてもよいし、抽出処理を行なう前、あるいは、その都度、計算して用いてもかまわない。
(1) 鍵情報のサイズを、主画像情報の解像度と、記録媒体上に記録されている合成
画像情報の解像度と、記録画像入力部１１１の読取り解像度とを基にして伸縮す
る。
(2) フーリエ変換を行ない、周波数領域に展開する。なお、変換は整数で行なって
もよいし、実数や複素数に拡張してもよい。
(3) 展開された値を参照し、フィルタの通過域を調整する。
(4) 調整後の値に対してフーリエ逆変換を行ない、得られた値を周波数フィルタ係
数とする。

上記(1)については、たとえば、図１０（ａ）に示す鍵情報を用いて埋め込みを行なった場合に、主画像情報の解像度が２００ｄｐｉ、合成画像情報の印刷解像度と記録画像入力部１１１の読取り解像度が４００ｄｐｉであったとすると、記録画像入力部１１１により取込まれる合成画像情報は図１０（ｂ）に示すようになる。

図１０（ａ）において、白丸１００１は白、黒丸１００２は黒を表わし、１００３は主走査方向の基本周波数波形、１００４は副走査方向の基本周波数波形を表わしている。図１０（ｂ）において、白丸１００５は主色リッチ、黒丸１００６は補色リッチなドットを表わしている。この場合、主色が赤（Ｒ）の場合では、補色はシアン（Ｃ）になる。また、１００７は主走査方向の基本周波数波形、１００８は副走査方向の基本周波数波形を表わしている。

埋め込まれた鍵情報は、図１０（ｂ）に示す形状１００９へ変換されており、その基本周波数は鍵情報のサイズを読取り解像度と印刷解像度との比の分だけ伸長した場合の周波数と同等になっている。したがって、フィルタ係数を計算する際には、あらかじめ記録、読取りにおける解像度の変化を繰り入れておく。

上記(2)〜(4)にて、合成画像情報から鍵情報の空間周波数成分を抽出する周波数フィルタを設計するが、鍵情報はもともと２値であるため、エッジ（＝白画素と黒画素とが接する境界）の傾きが急峻であるという特徴を持っている。空間領域においてエッジが急峻であればあるほど、周波数領域においては高調波を多く含むことになるため、急峻なエッジが多い画像情報をそのまま用いて計算された周波数フィルタ係数を使うと、高調波側に載ったノイズが素通しになり、Ｓ／Ｎ比が悪化して副情報の復元に支障をきたす。

このため、上記(3)に示す調整作業が必要となるが、この内容は個々の鍵情報およびシステムの運用環境に依存する。一般的には、ノイズを抑制するために高調波を阻止し、基本周波数に近い周波数のみを通過させるが、ノイズが少ない環境では、高調波も通過させることで鍵情報の複雑性を積極的に利用し、セキュリティ性を高めるというアプローチもある。

記録画像入力部１１１にて取込まれた合成画像情報から、上記方法にてあらかじめ計算された周波数フィルタ係数を用い鍵情報の空間周波数成分を抽出するには、以下に示す数１による畳み込み積分を行なう。

ここで、Ｉは記録画像入力部１１１で取込まれた合成画像情報、ｇは周波数フィルタ係数、Ｋは抽出された鍵情報の空間周波数成分である。

なお、特定の空間周波数成分を抽出する方法は、上記した空間周波数フィルタを用いる方法に限定されるものではなく、周知のフーリエ変換やウェーブレット変換などを利用し、一旦別空間へ写像して処理を施した後、逆に写像することで抽出する方法を用いても構わない。

次に、上記のようにして抽出された空間周波数成分から副情報を再構成する処理について説明する。再構成処理は以下の(1)〜(3)の手順にて行なう。
(1) 抽出された空間周波数成分からゼロクロス点（符号が変化するポイント）を抽
出する。
(2) ゼロクロス点を射影し、空間周波数成分の基準位相を求める。
(3) 空間周波数成分の各座標について基準位相からのずれを計算し、所定の閾値以
上ずれている座標の画素値を黒、そうでないものを白に置き換える。

図１１〜図１３は、再構成処理の各過程における模式図を示している。図１１は、抽出された鍵情報の空間周波数成分の振幅を表わし、白部分１１０１が＋側、黒部分１１０２が−側を意味している。図１２は、＋−の符号が変わる点（ゼロクロス点）の座標を射影してその数を集計した結果を表わし、所定の閾値ＴＨ以上の数がある座標を基準位相のゼロクロス点として抽出している。図１３は、各座標における空間周波数成分について基準位相からのずれを計算し、ずれ量に応じて画素値を置き換えた結果を表わしている。

以上のような処理を行なうことにより、合成画像情報から副情報を白黒２値の画像情報として復元することができる。

なお、前記特開２００１−２６８３４６号公報に開示されている方法にて合成画像情報を作成した場合には、副情報（副画像情報）の復元は以下の手順にて行なう。
(1) 所定の鍵情報Ｋｉ（１≦ｉ≦Ｎ）に基づいて特定の空間周波数成分Ｆｉを抽出
する。ここで、Ｎは副情報（副画像情報）の埋め込みに使用した鍵情報Ｋｉの総
数である。

(2) 抽出結果Ｆｉに対し、鍵情報Ｋｉに対応する所定の閾値ＴＨｉにて２値化処理
を行なう。

(3) 上記(1)〜(2)の手順を復元に必要なＮｄ個（Ｎｄ≦Ｎ）の鍵情報について行な
い、所定の手順に基づいて結果を合成する。

前記特開２００１−２６８３４６号公報に開示されている方法は、副情報（副画像情報）の埋め込みの際に複数の鍵情報を用いることができ、さらに、副情報（副画像情報）の復元の際に必要となる鍵情報の組合わせを任意に選択できるという特徴を有している。

したがって、当該方法を用いて作成された合成画像情報から副情報（副画像情報）を復元する際には、鍵情報に対応する空間周波数成分の抽出、および、副情報（副画像情報）の断片の２値化による再構成という手順を所定回数行ない、それら断片を合成するという手順を実施する。

復元の際に必要となる鍵情報、閾値、合成方法については、あらかじめ埋め込みの際にそれぞれ決定しておく。Ｎｄ個の鍵情報Ｋｉについては、埋め込みの際に使用したもの全て（Ｎ個の鍵情報全て）を必要とするようにしてもよいし、それらのうちから所定の手順またはランダムに選択したいくつかのもの（Ｎｄ≦ＮであるＮｄ個）に限ってもよい。

閾値ＴＨｉについては、全ての鍵情報Ｋｉ（ｉ＝１，…，Ｎ）で共通の値であってもよいし、それぞれの鍵情報Ｋｉについて個別の値であってもよい。副情報（副画像情報）の断片の合成については、それぞれの断片を上下左右に連結する方法であってもよいし、断片同志を加算や排他的論理和などで合成する方法であってもよいし、それら連結、合成などの演算が混在する方法であってもよい。また、演算前にそれぞれの断片に所定の重みを掛けてあってもよい。

以上説明したような画像処理システムを用いることにより、電子透かしを埋め込んだ個人認証媒体を作成し確認することができ、従来よりもセキュリティ性の高いシステムを実現できる。

以上説明したように、上記第１の実施の形態によれば、個人認証媒体に出力するようなアナログデータを対象として、主画像情報に別の付加的な副情報（副画像情報）を不可視状態で埋め込んだ合成画像情報を作成でき、記録後も記録した合成画像情報内の電子透かし情報が維持できる。
また、溶融型熱転写記録方式を用いた画像記録装置において、高階調性能を維持したまま、記録画像への電子透かし技術が適用可能で、その電子透かし情報（副情報）は記録後も壊れないで保存され、復元可能である。
次に、第２の実施の形態について説明する。
図１４は、第２の実施の形態に係る第２の画像処理装置１１０の構成を示すものである。この第２の画像処理装置１１０は、画像入力手段としての画像入力部１１、色成分情報格納手段としての色成分情報格納部１２、色成分抽出手段としての色成分抽出部１３、周波数成分抽出手段としての周波数成分抽出部１４、再構成手段としての再構成部１５、および、出力手段としての表示部１６により構成されており、以下、各部の機能について詳細に説明する。

画像入力部１１は、たとえば、図４の個人認証媒体４０１に記録されている合成画像情報４０３をカメラなどの画像入力装置で取込み、デジタルの合成画像情報に変換する。この画像情報はＲ，Ｇ，Ｂの３プレーンから構成されている。
色成分情報格納部１２は、電子透かしの復元に使用する色成分の情報を格納する。色成分抽出部１３は、色成分情報格納部１２から読出した色成分情報に基づいて、画像入力部１１により入力された画像情報から電子透かしの復元に使用する色成分を抽出する。

周波数成分抽出部１０４は、色成分抽出部１３により抽出された色成分に対して周波数フィルタリングを行ない、埋め込まれている鍵情報の空間周波数成分について、その振幅（＝強度）情報と位相情報とを取出す。
再構成部１５は、周波数成分抽出部１４で抽出された空間周波数成分の振幅情報ないしは位相情報に対し集計処理および空間フィルタリングを行ない、鍵情報に対する変調成分すなわち副情報を再構成する。
表示部１６は、再構成部１５により再構成された副情報を表示する（もしくは、入力された画像情報と副情報とを同時に表示してもよい）。

色成分情報格納部１２には、あらかじめ最も階調性の高い色成分に関する情報、たとえば、Ｃ，Ｍ，Ｙなど印刷に用いるインクの色や、Ｒ，Ｇ，Ｂなど画像取込みの際に用いる光学フィルタの色などのうち、最も階調性の高い色成分がどの色であるかを特定できる情報を格納する。この情報は、色名などの文字列であってもよいし、その色に対応する電磁波の波長などの数値や、色成分情報格納部１２内での管理のために付与した番号やアドレスなどであってもよい。

以下、階調性の高い色成分について、プリンタのインクを例として説明する。一般に、プリンタのインクは組成が色ごとに異なるため、インクが示す物理的特性も色ごとに異なる。階調性は物理的特性に依存するため、結果として階調性もインクの色ごとに異なる。

たとえば、昇華型のような、印加エネルギを制御することにより印刷対象へ付着するインクの濃度を変化させる方式のプリンタでは、印加エネルギと濃度との関係は図１５に示すような特性を示す。一般的に、印加エネルギが小さい領域と大きい領域では濃度はあまり変化せず、その中間の領域では印加エネルギに応じた濃度となる。階調性はインクの濃度の制御性および実現可能な濃度範囲によって決まり、前者については印加エネルギとそれに対応する濃度とをプロットしたときに傾きが緩やかなほど、後者については最小濃度と最大濃度との差が大きいほど、良好な階調性を示す。
たとえば、図１５では、３種類のインクの印加エネルギ濃度特性が示されているが、インク１（特性Ａ）は実現可能な濃度範囲が狭く、インク３（特性Ｃ）は制御性が低いため、この中ではインク２（特性Ｂ）が最も良好な階調性を示す。

以上で説明した階調性については、例として挙げた方式のみに特有のものではなく、たとえば、溶融型のように濃度ではなく、画点の面積を変化させる方式などであっても、インクごとの物理的特性の違いによって階調性に差がでるという点は同様である。
また、以上ではプリンタのインクを例として説明したが、画像取込みの際に用いる光学フィルタについても、それぞれ通過帯域幅や減衰率が異なるなど物理的特性に違いがあるため、階調性に差がでるという点は同様である。

次に、電子透かしの復元と階調性との関係について説明する。色差変調処理を行なうことによって埋め込まれた電子透かしの復元は、色成分抽出→空間周波数成分抽出→副情報再構成という処理過程を経ることによって行なうことができる。処理の詳細については既に述べてあるため、概略のみを記述すると、色成分抽出処理および空間周波数成分抽出処理にて、取込んだ画像から色差を抽出し、副情報再構成処理において色差をそれに対応する情報、たとえば、ビットのオン・オフなどに変換することで電子透かしを復元する。

一方、色差によって表現可能な情報は階調性に依存する。すなわち、階調性が低いと表現可能な情報は少なくなり、高いと多くなる。階調性はデジタル情報をアナログ情報へ変換する際、または、その逆の変換を行なう際に、それぞれの色成分ごとに変化する。したがって、最も階調性の高い色成分を用いることによって、色差によって表現される情報量の劣化を抑制することことができ、電子透かしの復元性を向上させることができる。

このように、デジタルとアナログとの変換の際に劣化が少ない色成分を用いることにより、埋め込まれた副情報の復元性を向上させることができる。

次に、第３の実施の形態について説明する。
図１６は、第３の実施の形態に係る第２の画像処理装置１１０の構成を示すものである。この第２の画像処理装置１１０は、画像入力手段としての画像入力部２１、領域抽出手段としての領域抽出部２２、色特徴量抽出手段としての色特徴量抽出部２３、色合成手段としての色合成部２４、周波数成分抽出手段としての周波数成分抽出部２５、再構成手段としての再構成部２６、および、出力手段としての表示部２７により構成されており、以下、各部の機能について詳細に説明する。

画像入力部２１は、たとえば、図４の個人認証媒体４０１に記録されている合成画像情報４０３をカメラなどの画像入力装置で取込み、デジタルの合成画像情報に変換する。この画像情報はＲ，Ｇ，Ｂの３プレーンから構成されている。
領域抽出部２２は、画像入力部２１により入力された画像情報上に所定のサイズを有する領域を設定する。設定する領域のサイズとしては、埋め込みの際に使用した鍵情報の空間周波数成分の基本波長に相当する画素数を用いる。

色特徴量抽出部２３は、Ｒ，Ｇ，Ｂの各プレーンについて、領域抽出部２２により設定された領域内に存在する画素の値を集計し、色の特徴量を計算する。色合成部２４は、色特徴量抽出部２３の集計結果に基いてＲ，Ｇ，Ｂ各プレーンの合成時の重みを算出し、さらに合成処理を行なう。

周波数成分抽出部２５は、色合成部２４により合成された色成分に対して周波数フィルタリングを行ない、埋め込まれている鍵情報の空間周波数成分について、その振幅（＝強度）情報と位相情報とを取出す。
再構成部２６は、周波数成分抽出部２５で抽出された空間周波数成分の振幅情報ないしは位相情報に対し集計処理および空間フィルタリングを行ない、鍵情報に対する変調成分すなわち副情報を再構成する。表示部２７は、再構成部２６により再構成された副情報を表示する（もしくは、入力された画像情報と副情報とを同時に表示してもよい）。

領域抽出部２２、色特徴量抽出部２３および色合成部２４における処理の流れの概略を図１７に示す。領域抽出部２２では、まず、画像入力部２１にて取込まれたデジタルの画像情報上に、注目画素を中心とした色特徴量の抽出対象領域Ｓを設定する（ステップ３１）。

本実施の形態では、領域Ｓのサイズとして、埋め込みの際に使用した鍵情報の空間周波数成分の基本波長に相当する画素数、すなわち、基本波長に対し記録および読取りにおける解像度の変化を繰り入れた値を用いる。たとえば、基本波長が２画素、主画像および記録時の解像度が２００ｄｐｉ、読取り解像度が４００ｄｐｉであったとすると、領域Ｓのサイズは４画素となる。注目画素は、画像の左から右および下から上へ順次移動してゆくものとし、その移動量は領域のサイズの分とする。
なお、最初の注目画素の位置は、画像入力時における個人認証媒体の置き位置と、個人認証媒体内における顔画像の記録位置とから、あらかじめ計算しておく。

次に、各プレーンごとに領域内部の画素の値を用いて、領域Ｓごとの色特徴量を求める（ステップ３２）。色特徴量は、その領域内の色を代表する数値である。本実施の形態では、色特徴量として、各プレーンごとの領域内部の画素の輝度平均値を用いる。たとえば、ｍ×ｎ画素の領域ＳにおけるＲ，Ｇ，Ｂの各プレーンでの画素の値をそれぞれＲ_ij，Ｇ_ij，Ｂ_ij（ｉ＝１…ｍ，ｊ＝１…ｎ）とすると、色特徴量Ｒ_F，Ｇ_F，Ｂ_Fは下記数２のようになる。

色合成部２４では、各プレーンごとの色特徴量に対応する色合成パラメータＰ_Cを決定し（ステップ３３）、その色合成パラメータＰ_Cに基づいて、領域内の各画素に対して色合成処理を行なう（ステップ３４）。本実施の形態では、色特徴量から色合成パラメータＰ_Cを決定する際に、色特徴量をインデクスとして色合成パラメータＰ_Cを格納した３次元配列を用いる。

たとえば、ｍ×ｎ画素の領域ＳにおけるＲ，Ｇ，Ｂの各プレーンでの画素の値をそれぞれＲ_ij，Ｇ_ij，Ｂ_ij（ｉ＝１…ｍ，ｊ＝１…ｎ）とし、色特徴量をそれぞれＲ_F，Ｇ_F，Ｂ_Fとすると、色合成パラメータＰ_R，Ｐ_G，Ｐ_Bは以下のように決定する。
Ｐ_C＝Ａ_C［Ｒ_F，Ｇ_F，Ｂ_F］ （Ｃ＝Ｒ，Ｇ，Ｂ）
ここで、Ａ_C（Ｃ＝Ｒ，Ｇ，Ｂ）は３次元配列であり、各プレーンに対応する色合成パラメータを格納する。たとえば、Ａ_RはＲプレーンの色合成パラメータＰ_Rを格納する。

色合成パラメータＰ_C（Ｃ＝Ｒ，Ｇ，Ｂ）の値は、以下の処理によりあらかじめ決定しておくものとする。
(1) パラメータを決定するための色パッチを作成する。色パッチは、所定の面積の領域を単一の色で塗り潰した印刷物であり、さらに当該領域には電子透かし埋め込み処理を施してあるものとする。
(2) 色パッチを画像入力部２１または同等の性能を有する画像入力手段にて取込み、Ｒ，Ｇ，Ｂの各プレーンの色特徴量を算出する。
(3) Ｒ，Ｇ，Ｂの各プレーンのそれぞれから電子透かしを復元し、復元した信号の振幅の平均値を算出する。この際には色合成は行なわない。
(4) 上記(2)で算出した色特徴量に対応する色合成パラメータを、上記(3)で算出した値から決定する。たとえば、あるプレーンの振幅平均値が所定の閾値εよりも大きければ、そのプレーンの色合成パラメータを「１」、他プレーンのそれを「０」とする。逆に、全てのプレーンの振幅平均値が閾値εよりも小さい場合は、全プレーンの色合成パラメータを１／３とする。

次に、上記にて決定した色合成パラメータを用いて、領域内の画素それぞれに対し色合成演算を行なう。本実施例では、色合成演算として、各プレーンの画素値にそれぞれ対応する色合成パラメータを重みとして乗じ加算した線形和を用いる。たとえば、ｍ×ｎ画素の領域ＳにおけるＲ，Ｇ，Ｂの各プレーンでの画素の値をそれぞれＲ_ij，Ｇ_ij，Ｂ_ij（ｉ＝１…ｍ，ｊ＝１…ｎ）とし、その領域Ｓにおける色合成パラメータをそれぞれＰ_R，Ｐ_G，Ｐ_Bとすると、色合成の結果の値 Ｔ_ijは以下のように計算する。
Ｔ_ij＝Ｐ_RＲ_ij＋Ｐ_GＧ_ij＋Ｐ_BＢ_ij （ｉ＝１…ｍ，ｊ＝１…ｎ）
以上の処理を入力画像全体に対して施して色合成画像Ｔを得る。以下、周波数成分抽出部２５にて、色合成画像Ｔから電子透かし埋め込み処理の際に用いた鍵情報に基いて特定の空間周波数成分を抽出し、再構成部２６にて副情報を再構成する。

なお、上記した説明では、最初の注目画素の位置を決定する際に、個人認証媒体の置き位置と顔画像の記録位置とを用いたが、この方法のみに限定されるものではなく、たとえば、顔画像内または周辺に特定のパターンをあらかじめ記録しておき、そのパターンの位置を検出した結果を用いて決定してもよい。
この他、鍵情報の空間周波数成分のサイズが顔画像のサイズに対して充分に小さい場合は、領域分割を行なわず、注目画素を中心とした所定の範囲から色特徴量を計算するようにしてもよい。

また、上記した説明では、色特徴量として領域内の画素の輝度平均を用いているが、これのみに限定されるものではなく、たとえば、中央値、最頻値などであってもよいし、これらへ分布形状を示す値、たとえば、標準偏差や分散などを重みとして修正を加えたものであってもよい。あるいは、所定の関数ないしアルゴリズムを適用した結果の値などであってもよい。

また、上記した説明では、色合成パラメータを決定する際に３次元配列を用いたが、この方法のみに限定されるものではなく、たとえば、下記のような関数に基づいて決定する方法でもよい。
Ｐ_C＝ｆ_C（Ｒ_F，Ｇ_F，Ｂ_F） （Ｃ＝Ｒ，Ｇ，Ｂ）
ここで、ｆ_C（Ｃ＝Ｒ，Ｇ，Ｂ）は、色特徴量から色合成パラメータを決定する色演算関数を表わしている。色演算関数ｆ_C（Ｃ＝Ｒ，Ｇ，Ｂ）としては、た とえば、Ｒ_F，Ｇ_F，Ｂ_Fにそれぞれ所定の重みを乗じた線形和Ｐ_C＝Ｗ_C1Ｒ_F＋Ｗ_C2Ｇ_F＋Ｗ_C3Ｂ_F（Ｃ＝Ｒ，Ｇ，Ｂ）であってもよいし、Ｒ_F ²のような高次項や、Ｒ_FＧ_Fのような交差項を有する多項式であってもよい。あるいは、Ｒ_F′＝ｌｏｇ（Ｒ_F）のように、対数変換してから計算してもよい。

また、上記した説明では、色合成演算の際に重み付き線形和を用いたが、この方法のみに限定されるものではなく、たとえば、Ｒ_ij ²のような高次項やＲ_ijＧ_ijのような交差項を有する多項式であってもよいし、Ｒ_ij′＝ｌｏｇ（Ｒ_ij）の ように、それぞれを対数変換してから計算してもよい。あるいは、色特徴量および色合成パラメータををインデクスとして色合成値を格納した６次元配列Ａ_Tを 用いて＝Ｔ_ij［Ｒ_ij，Ｇ_ij，Ｂ_ij，Ｐ_R，Ｐ_G，Ｐ_B］としてもよい。

このように、入力された画像情報の色成分を合成して劣化の影響を軽減することにより、埋め込まれた副情報の復元性を向上させることができる。

次に、第４の実施の形態について説明する。
図１８は、第４の実施の形態に係る第２の画像処理装置１１０の構成を示すものである。この第２の画像処理装置１１０は、画像入力手段としての画像入力部４１、領域抽出手段としての領域抽出部４２、色特徴量抽出手段としての色特徴量抽出部４３、再構成パラメータ決定手段としての増幅係数決定部４４、周波数成分抽出手段としての周波数成分抽出部４５、増幅手段としての抽出信号増幅部４６、再構成手段としての再構成部４７、および、出力手段としての表示部４８により構成されており、以下、各部の機能について詳細に説明する。

画像入力部４１は、たとえば、図４の個人認証媒体４０１に記録されている合成画像情報４０３をカメラなどの画像入力装置で取込み、デジタルの合成画像情報に変換する。この画像情報はＲ，Ｇ，Ｂの３プレーンから構成されている。
領域抽出部４２は、画像入力部４１により入力された画像情報上に所定のサイズを有する領域を設定する。設定する領域のサイズとしては、埋め込みの際に使用した鍵情報の空間周波数成分の基本波長に相当する画素数を用いる。

色特徴量抽出部４３は、Ｒ，Ｇ，Ｂの各プレーンについて、領域抽出部４２により設定された領域内に存在する画素の値を集計し、色の特徴量を計算する。増幅係数決定部４４は、色特徴量抽出部４３の集計結果に基いて復元結果の再構成時の増幅係数を決定する。

周波数成分抽出部４５は、画像入力部４１により入力された画像情報に対して周波数フィルタリングを行ない、埋め込まれている鍵情報の空間周波数成分について、その振幅（＝強度）情報と位相情報とを取出す。
抽出信号増幅部４６は、周波数成分抽出部４５で抽出された空間周波数成分の振幅情報ないしは位相情報に対し、増幅係数決定部４４にて決定された増幅係数を用いて増幅処理を行なう。

再構成部４７は、抽出信号増幅部４６で増幅された空間周波数成分の振幅情報ないしは位相情報に対し集計処理および空間フィルタリングを行ない、鍵情報に対する変調成分すなわち副情報を再構成する。表示部４８は、再構成部４７により再構成された副情報を表示する（もしくは、入力された画像情報と副情報とを同時に表示してもよい）。

抽出信号増幅部４６における処理の流れの概略を図１９に示す。まず、色特徴量抽出部４３では、前記第３の実施の形態にて説明した色特徴量抽出部２３と同様の処理を行ない、色特徴量を計算する（ステップ５１）。

次に、増幅係数決定部４４では、各プレーンごとの色特徴量から、その領域における増幅係数（増幅率）Ｍを決定する（ステップ５２）。たとえば、ｍ×ｎ画素の領域ＳにおけるＲ，Ｇ，Ｂの各プレーンでの色特徴量をそれぞれＲ_F，Ｇ_F，Ｂ_Fとすると、増幅係数Ｍは以下のように決定する。
Ｍ＝Ａ_M［Ｒ_F，Ｇ_F，Ｂ_F］
ここで、Ａ_Mは３次元配列であり、色特徴量に対応する増幅係数を格納する。

抽出信号増幅部４６では、周波数成分抽出部４５にて抽出された空間周波数成分に対し、増幅係数決定部４４にて得られた増幅係数Ｍを領域ごとに乗じる処理を行なう（ステップ５３）。この処理を行なうことにより、抽出した周波数成分について、領域ごとの最大値のばらつきを所定の範囲内へ収まるように補正する。

なお、上記した説明では、増幅係数Ｍの決定に３次元配列を用いたが、この方法のみに限定されるものではなく、たとえば、下記のような関数に基づいて決定する方法でもよい。
Ｍ＝ｆ_M（Ｒ_F，Ｇ_F，Ｂ_F）
ここで、ｆ_Mは色特徴量から増幅係数を決定する増幅係数演算関数を表わして いる。増幅係数演算関数ｆ_Mについては、たとえば、Ｒ_F，Ｇ_F，Ｂ_Fにそれぞれ所定の重みを乗じた線形和Ｍ＝Ｗ_M1Ｒ_F＋Ｗ_M2Ｇ_F＋Ｗ_M3Ｂ_Fであってもよいし、Ｒ_F ²のような高次項や、Ｒ_FＧ_Fのような交差項を有する多項式であってもよい。あるいは、Ｒ_F′＝ｌｏｇ（Ｒ_F）のように、対数変換してから計算してもよい。

このように、入力された画像情報の色成分に応じて再構成処理を補正することで、埋め込まれた副情報の視認性を向上させることができる。

なお、上記第４の実施の形態では、抽出した空間周波数成分に増幅係数を掛けることで多値の画像を生成したが、代わりに、領域ごとの色特徴量に応じた２値化閾値を格納した３次元配列Ａ_Bを用いて、領域ごとに２値化処理を行なうこと で２値の画像を生成するようにしてもよい。この方法によれば、復元結果のデータ量を減らし、また、復元結果のコントラストを高めることができる。

以上説明したように、上記第２ないし第４の実施の形態によれば、デジタルとアナログとの変換の際に劣化が少ない色成分を用いることで、印刷物に出力するようなアナログデータを対象として、主画像情報に別の付加的な副情報を不可視状態で埋めこんだ合成画像情報を作成する際に、合成画像情報から副情報が暴露される危険性を増大させることなしに、印刷された合成画像情報から埋め込まれた副情報を復元する性能を向上させることができる。

また、入力された画像情報の色成分を合成して劣化の影響を軽減することで、同様な危険性を増大させることなしに、印刷された合成画像情報から埋め込まれた副情報を復元する性能を向上させることができる。

さらに、入力された画像情報の色成分に応じて再構成処理を補正することで、同様な危険性を増大させることなしに、印刷された合成画像情報から復元した副情報の視認性を向上させることができる。

本発明の第１の実施の形態に係る画像処理システムの全体の構成を概略的に示すブロック図。 第１の前処理部から後処理部までの処理の流れを説明するフローチャート。 記録したドットの配列状態を示す図。 作成された個人認証媒体の一例を模式的に示す平面図。 記録する画像情報と記録したドットを説明する図。 第１の前処理および第２の前処理の概念を説明する図。 第１の前処理および第２の前処理の具体例を説明する図。 電子透かし埋め込み処理全体の流れを示す図。 電子透かし埋め込み処理の手順を模式的に示す流れ図。 鍵情報の周波数成分を説明する模式図。 副情報の再構成処理の過程を示す模式図。 副情報の再構成処理の過程を示す模式図。 副情報の再構成処理の過程を示す模式図。 本発明の第２の実施の形態に係る第２の画像処理装置の構成を概略的に示すブロック図。 インクの階調性を説明する特性図。 本発明の第３の実施の形態に係る第２の画像処理装置の構成を概略的に示すブロック図。 色特徴量抽出処理および色合成処理の流れを説明するための図。 本発明の第４の実施の形態に係る第２の画像処理装置の構成を概略的に示すブロック図。 抽出信号増幅処理の流れを説明するための図。

符号の説明

１００…第１の画像処理装置、１０１…主画像入力部（画像入力手段）、１０２…第１の前処理部（第１の前処理手段）、１０３…第２の前処理部（第２の前処理手段）、１０４…電子透かし埋め込み処理部（埋め込み手段）、１０５…後処理部（逆変換手段）、１０６…記録部（記録手段）、１１０…第２の画像処理装置、１１１…記録画像入力部（画像入力手段）、１１２，１４，２５、うえ…周波数成分抽出部（周波数成分抽出手段）、１１３，１５，２６，４７…再構成部（再構成手段）、１１４…判定部（判定手段）、１１５…復元部（復元手段）、４０１…個人認証媒体、４０２…顔画像、４０３…個人管理情報、８０１…主画像情報、８０２…副情報（副画像情報）、８０３…鍵情報、８０７…合成画像情報、１１，２１，４１…画像入力部（画像入力手段）、１２…色成分情報格納部（色成分情報格納手段）、１３…色成分抽出部（色成分抽出手段）、１６，２７…表示部、２２，４２…領域抽出部（領域抽出手段）、２３，４３…色特徴量抽出部（色特徴量抽出手段）、２４…色合成部（色合成手段）、４４…増幅係数決定部（再構成パラメータ決定手段）、４６…抽出信号増幅部（増幅手段）。

Claims (4)

1. 人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録するための第１の画像処理装置と、この第１の画像処理装置により記録媒体に記録された前記合成画像情報からそれに埋め込まれた前記副情報を復元する第２の画像処理装置とから構成される画像処理システムであって、
   前記第１の画像処理装置は、
   当該第１の画像処理装置における画像記録の画素形成処理に対応して前記主画像情報を間引く処理を行なう第１の前処理手段と、
   この第１の前処理手段により間引き処理された主画像情報をあらかじめ設定した角度に回転させた後、当該主画像情報の間引いた部分を取り除き主画像情報の有効部分を圧縮して再構成する幾何学的変換を行なう第２の前処理手段と、
   この第２の前処理手段により変換処理された主画像情報および前記副情報および当該副情報を復元する際に用いる鍵情報を用いて色差変調方式を用いた電子透かし埋め込み処理を行なうことにより副情報を不可視状態で主画像情報に埋め込み、合成画像情報を作成する埋め込み手段と、
   この埋め込み手段により作成された合成画像情報に対して前記第２の前処理手段における変換処理の逆変換処理を行なう逆変換手段と、
   この逆変換手段により逆変換処理された合成画像情報を、記録デバイスの主走査方向の偶数番目の画素と奇数番目の画素を記録ラインごとに交互に形成する交互駆動記録方式により記録媒体上に記録する記録手段と、
   を有して構成され、
   前記第２の画像処理装置は、
   前記第１の画像処理装置の記録手段により記録媒体に記録された前記合成画像情報を当該記録媒体から読取り入力する画像入力手段と、
   この画像入力手段により入力された合成画像情報から前記鍵情報に固有の空間周波数成分を抽出する周波数成分抽出手段と、
   この周波数成分抽出手段により抽出された空間周波数成分から前記副情報を再構成する再構成手段と、
   を有して構成されていることを特徴とする画像処理システム。
2. 前記周波数成分抽出手段は、前記鍵情報のサイズを前記記録媒体に記録されている合成画像情報の解像度と当該第２の画像処理装置における前記画像入力手段の読取解像度とを基に伸縮した後、当該鍵情報に対してフーリエ変換を行なうことにより周波数領域に展開し、この展開された値を参照することによりフィルタの通過域を調整し、この調整後の値に対してフーリエ逆変換を行なうことにより得られた値を周波数フィルタ係数とし、この周波数フィルタ係数を用いて前記画像入力手段により入力された合成画像情報から前記鍵情報の空間周波数成分を抽出することを特徴とする請求項１記載の画像処理システム。
3. 前記再構成手段は、前記周波数成分抽出手段により抽出された空間周波数成分から符号が変化する変化点を抽出し、この抽出された変化点を射影することにより空間周波数成分の基準位相を求め、前記周波数成分抽出手段により抽出された空間周波数成分の各座標について前記求めた基準位相からのずれを計算し、所定の閾値以上ずれている座標の画素値を第１の値、そうでないものを第２の値に置き換えることにより副情報を再構成することを特徴とする請求項１記載の画像処理システム。
4. 前記再構成手段により再構成された副情報に基づき当該記録媒体の真偽性を判定する判定手段をさらに具備したことを特徴とする請求項１記載の画像処理システム。

Images