JP4097874B2

JP4097874B2 - Image compression method and image compression apparatus for multispectral image

Info

Publication number: JP4097874B2
Application number: JP2000060471A
Authority: JP
Inventors: 磴　　秀康
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2000-03-06
Filing date: 2000-03-06
Publication date: 2008-06-11
Anticipated expiration: 2020-03-06
Also published as: JP2001251646A

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体を撮影する際の撮影波長領域を複数のバンド帯域に分割して撮影したバンド画像を用いて得られるマルチスペクトル画像の画像データに対して、画像品質を損なうことなく効率的に圧縮することのできる画像データの圧縮処理の技術分野に関する。
【０００２】
【従来の技術】
今日、デジタル画像処理の進歩によって、画像の色情報（明度、色相、彩度）を完全に表現する手段として、画像の各画素毎に分光情報（スペクトル画像）を備える画像、すなわちマルチスペクトル画像が利用されている。
このマルチスペクトル画像は、撮影被写体の撮影波長領域を複数のバンド帯域に分割して各バンド帯域毎に撮影被写体を撮影した複数のバンド画像から構成されるマルチバンド画像に基づいて分光反射率分布を各画像毎に推定して得られるものである。このマルチバンド画像は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）画像からなる従来のＲＧＢカラー画像では十分に表現できない色情報を再現することができ、例えばより正確な色再現の望まれる絵画の世界にとって有効である。そこで、この色情報を正確に再現するといった特徴を生かすために、例えば３８０〜７８０ｎｍの撮影波長帯域を１０ｎｍ帯域毎に区切って４１バンドさらには５ｎｍ帯域毎に区切って８１バンドといった多くのバンド数を備えたマルチバンド画像に基づいてマルチスペクトル画像を得ることが望まれる。
【０００３】
しかし、画素毎に分光情報を備えるマルチスペクトル画像は、撮影波長帯域を分割した各帯域（チャンネル）毎に、例えば４１チャンネル毎に分光反射率データを有するため、従来から用いられてきた３チャンネルのＲＧＢカラー画像に比べ、例えば約１３倍（４１チャンネル／３チャンネル）の画像データ量を備えなければならない。
そのため、得られたマルチスペクトル画像の画像データを保存する場合、大きな記憶容量が必要となり、保存に要する時間も長い。また、画像データをネットワークを介して転送する際にも多大の時間がかかり、取り扱いが困難になる。
【０００４】
このような問題に対して、マルチスペクトル画像の各画素ごとの分光情報から得られるスペクトル波形を３つの等色関数、例えばＲＧＢ表色形の等色関数で展開するとともに、等色関数で表されないスペクトル波形の部分を、主成分分析法を用いて、主成分基底ベクトルで展開し、その中からスペクトル画像の画像情報を代表する主成分を抽出して採用し、それ以外の主成分は取り除き、最終的に等色関数を含め合計６〜８個の基底ベクトルで上記スペクトル波形を表現する方法が提案されている（Th.Keusen, Multispectoral Color System wuth an Encoding Format Compatible with the Conventional Tristimulus Model, Journal of Imaging Science and Technology 40: 510-515 (1996))。これを用いて、上記スペクトル波形を６〜８個の基底ベクトルとそれに対応した係数の対とで表わすことによって、マルチスペクトル画像の画像データを圧縮することができる。特に、ＲＧＢ表色形の等色関数で表される場合の等色関数の係数は、Ｒ、ＧおよびＢの三刺激値となるので、Ｒ、ＧおよびＢ画素による３刺激値に基づいて画像処理や画像表示等が行われる従来の画像処理装置や画像表示装置に対応して適合するように特別な変換を施す必要がなく、直接画像データを送ることができるといった処理の低減に対して優れた効果を備える。
【０００５】
【発明が解決しようとする課題】
このような方法によって得られる画像データは、例えば４１個のスペクトル画像から構成されるマルチスペクトル画像の場合、例えば８個の基底ベクトルとその係数によって表すことによって、マルチスペクトル画像の画像データ量の約２０％（８個／４１個×１００）に圧縮することができる。
しかし、４１個のスペクトル画像から構成されるマルチスペクトル画像の場合、ＲＧＢカラー画像の画像データ量に比べて約１３倍も大きく、上記方法で約２０％に圧縮できたとしても、ＲＧＢカラー画像の画像データ量に対して、依然として約２．５倍（１３×２０／１００）ものデータ量を有することになる。そのため、上述したように記録メディア等に記録保存する際の記録時間や画像データをネットワークを介して転送する際の転送時間も長く、依然として取り扱いが困難である。
【０００６】
そこで、本発明は、上記問題点を解決し、被写体を撮影する際の撮影波長帯域を複数のバンド帯域に分割することで得られる複数のスペクトル画像に対して、視覚的に劣化することが少なく画像圧縮の際の圧縮率を高め、画像データの取り扱いが向上するマルチスペクトル画像の画像圧縮方法および画像圧縮装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明は、被写体を撮影する際に撮影波長帯域を複数のバンド帯域に分割して撮影したバンド画像を用いて得られるマルチスペクトル画像を画像圧縮する方法であって、
マルチスペクトル画像の画像データを対数変換して対数変換画像データとし、この対数変換画像データを用いて、主成分分析を行い、マルチスペクトル画像に基づく主成分ベクトルと主成分画像の複数の対を得、
この複数の対の中から、マルチスペクトル画像の画像情報を最適に代表する主成分ベクトルと主成分画像の対の最適主成分数を求めて、最適主成分ベクトルとこれに対応する最適主成分画像を得、
得られた各最適主成分画像に対して、像構造圧縮を行い最適主成分圧縮画像データを得ることによって、前記マルチスペクトル画像の画像データを前記最適主成分ベクトルおよび前記最適主成分圧縮画像データに圧縮することを特徴とするマルチスペクトル画像の画像圧縮方法を提供するものである。
【０００８】
ここで、前記最適主成分数は、色空間上の測色値に基づいて決定されるのが好ましく、前記最適主成分数は、前記主成分ベクトルと前記主成分画像の中から選ばれて構成される合成画像の測色値の画像情報の、前記マルチスペクトル画像に基づいて構成されるオリジナル画像の測色値の画像情報に対する誤差の値が、所定値以下となる最小の主成分数であるのが好ましい。
ここで、さらに好ましくは、前記最適主成分数は、前記マルチスペクトル画像に対する寄与の大きい主成分ベクトルを、寄与の大きい主成分ベクトルの順に、順次含め、これに対応した前記主成分ベクトルと前記主成分画像によって構成される前記合成画像を求めた時の前記オリジナル画像に対する前記誤差の変動が、所定値以下に収まる最小の主成分数であるのが好ましい。
【０００９】
また、前記像構造圧縮は、離散フーリエ変換またはウェーブレット変換による画像データの高周波成分の圧縮であるのが好ましい。
さらに、前記像構造による圧縮は、画像データの符号化により画像データを圧縮する符号化圧縮処理が付加されるものであってもよい。
【００１０】
また、本発明は、被写体を撮影する際に撮影波長帯域を複数のバンド帯域に分割して撮影したバンド画像を用いて得られるマルチスペクトル画像を画像圧縮するマルチスペクトル画像の画像圧縮装置であって、
マルチスペクトル画像の画像データを対数変換して対数変換画像データを得る画像データ変換部と、
この画像データ変換部で得られた対数変換画像データを用いて、主成分分析を行い、マルチスペクトル画像に基づく主成分ベクトルと主成分画像の複数の対を得る主成分分析部と、
この主成分分析部で得られた主成分ベクトルと主成分画像の複数の対の中から、マルチスペクトル画像の画像情報を最適に代表する主成分ベクトルと主成分画像の対の最適主成分数を求めて、最適主成分ベクトルと最適主成分画像を得る最適主成分ベクトル・画像抽出部と、
この最適成分ベクトル・画像抽出部で得られた各最適主成分画像の画像データに対して、像構造圧縮を行う画像圧縮部とを有することを特徴とするマルチスペクトル画像の画像圧縮装置を提供するものである。
【００１１】
【発明の実施の形態】
以下、本発明のマルチスペクトル画像の画像圧縮方法を実施するマルチスペクトル画像取得システムについて、添付の図面に示される好適実施例を基に詳細に説明する。
【００１２】
図１は、本発明のマルチスペクトル画像の画像圧縮方法を実施し、本発明のマルチスペクトル画像の画像圧縮装置を含むマルチスペクトル画像取得システム（以下、本システムという）１０を示す。
本システム１０は、撮影被写体Ｏを撮影し、得られたマルチスペクトル画像Ｍ_Sの画像データを記録メディアに保存するものであって、撮影被写体Ｏを照らす光源１２と、撮影波長帯域を複数のバンド帯域に分割する可変フィルタ１４と、撮影被写体Ｏを撮影してマルチバンド画像Ｍ_Bを得るＣＣＤカメラ１６と、画像データを一時保持するマルチバンド画像データ記憶装置１８と、マルチバンド画像から各画素毎に分光反射率分布を推定してマルチスペクトル画像Ｍ_Sを得るマルチスペクトル画像取得装置２０と、マルチスペクトル画像Ｍ_Sの画像データを、視覚的な劣化が少なく、圧縮率を高くして圧縮するマルチスペクトル画像圧縮装置２２と、得られた圧縮画像データを保存する記憶メディアドライブ装置２４とを主に有して構成される。なお、本発明において、マルチスペクトル画像Ｍ_sは、少なくとも６チャンネル以上のスペクトル画像を備え、すなわち、分光反射率分布のデータを持つ構成波長数が６以上であるのが好ましい。
【００１３】
光源１２は、撮影被写体Ｏを撮影するものであって、光源の種類等は特に制限されないが、撮影されたマルチバンド画像Ｍ_Bから分光反射率を推定し、マルチスペクトル画像Ｍ_Sを取得するために、分光強度分布が既知の光源であることが好ましい。
可変フィルタ１４は、撮影被写体Ｏを撮影してマルチバンド画像Ｍ_Bを得るために、撮影波長帯域を分割するバンド帯域が可変に設定可能なバンドパスフィルタであり、例えば１６バンド、２１バンド、４１バンド、８１バンドや２０１バンド等に分割することができる。このような可変フィルタとして、例えば液晶チューナブルフィルタが挙げられる。
【００１４】
ＣＣＤカメラ１６は、撮影被写体Ｏの反射光を可変フィルタ１４を介して所望の波長帯域に分光された透過光によって結像される像を黒白のバンド画像として撮影するカメラであって、受光面には、エリアセンサとしてＣＣＤ（charge coupled device ) 撮像素子が面状に配置されている。
また、ＣＣＤカメラ１６には、撮影される画像の明度値のダイナミックレンジを適切に定めるため、撮影被写体Ｏの撮影前に行うホワイトバランスの調整機構を備える。
【００１５】
マルチバンド画像データ記憶装置１８は、撮影波長帯域を複数のバンド帯域に分割して撮影され、各バンドに対応するホワイトバランスの調整された複数のバンド画像からなるマルチバンド画像Ｍ_Bを一時記憶保持する部分である。
マルチスペクトル取得装置２０は、ＣＣＤカメラ１６で撮影された分光反射率の既知の撮影被写体の画像データ、例えばマクベスチャートのグレーパッチの画像データとその既知の分光反射率の値との対応関係から予め作成された１次元ルックアップテーブル（１次元ＬＵＴ）を備え、この１次元ＬＵＴを用いて、マルチバンド画像データ記憶装置１８より呼び出された撮影被写体Ｏのマルチバンド画像Ｍ_Bの画像データから各画素毎の撮影被写体Ｏの分光反射率を推定し、マルチスペクトル画像Ｍ_Sを取得し、マルチスペクトル画像圧縮装置２２に送る部分である。
撮影被写体Ｏの分光反射率の推定において、可変フィルタ１４のフィルタ特性、すなわち可変フィルタ１４の分光透過率分布がバンド間で一部分が重なった特性を有する場合、得られるマルチスペクトル画像Ｍ_Sの分光反射率分布は鈍り、精度の高い分光反射率分布を推定することができないため、マトリクス演算やフーリエ変換を用いて、上記フィルタ特性を排除するデコンボリューション処理を施してもよい。
【００１６】
記録メディアドライブ装置２４は、ハードディスクやフロッピーディスクやＭＯやＣＤ−ＲやＤＶＤ等の記録メディアに記録するドライブ装置であり、マルチスペクトル画像Ｍ_Sの画像データを後述するマルチスペクトル画像圧縮装置２２で圧縮した圧縮マルチスペクトル画像データを記録することができる。また、記録メディアドライブ装置２４と共に、またこれに替えて、後述する圧縮マルチスペクトル画像データを各種ネットワークを介して転送するために、ネットワーク接続装置を備えてもよい。
【００１７】
マルチスペクトル画像圧縮装置２２は、マルチスペクトル取得装置２０で得られたマルチスペクトル画像Ｍ_Sを構成するマルチスペクトル画像データから、視覚的な劣化が少なく画像圧縮率の高い画像データに変換する部分であり、画像データ変換部２２ａと、主成分分析部２２ｂと、最適主成分ベクトル・画像抽出部２２ｃと、画像圧縮部２２ｄとを備える。また、本装置は、以下に示すような機能を備えるソフトウェアで構成してもよく、また１つのハードウェアとして構成してもよい。
【００１８】
画像データ変換部２２ａは、マルチスペクトル画像取得装置２０から送られたマルチスペクトル画像の画像データを対数変換、すなわち、Ｌｏｇ変換して対数変換画像データを得、この対数変換画像データを主成分分析部２２ｂに送る部分であり、一次元ルックアップテーブル等の公知の変換手段を用いて変換を行う。画像データを対数変換するのは、後述するように、画像の圧縮率を高めることができるからである。
【００１９】
主成分分析部２２ｂは、マルチスペクトル画像Ｍ_Sの各画素毎に備える分光反射率分布の対数変換画像データの主成分分析を行い、主成分ベクトルで展開する部分である。なお、以降では、撮影波長帯域を複数のバンド帯域に分割するバンド数をｎとして説明する。
【００２０】
本発明における主成分分析として具体的には、観測波形から、統計的手法および固有値解析法を用いて、観測波形に固有の１次独立な固有ベクトルを主成分ベクトルとして求め、この主成分ベクトルから、本来観測波形に雑音成分が無ければ、固有値が０となる固有値の小さな主成分ベクトルを取り除き、バンド数ｎより少ない数の最適主成分ベクトルを求め、この最適主成分ベクトルによって観測波形を線型的に表す、南茂夫著、「科学計測のための波形データ処理」、２２０−２２５頁に記載の方法が挙げられる。この分析方法は、主成分分析部２２ｂおよび後述する最適主成分ベクトル・画像抽出部２２ｃにおいて主に行われる。
このように主成分分析法を用いる場合には、分光反射率波形に含まれる雑音成分が、分光反射率の値と無関係な雑音であることが好ましい。
【００２１】
本実施例に沿って大きく説明すると、マルチスペクトル画像Ｍ_Sは、各画素毎に、可変フィルタ１４を用いて被写体の撮影波長帯域を分割したバンドの数ｎだけ、分光反射率の値を有する。すなわち、ｎ個のバンド帯域からなるマルチバンド画像Ｍ_Bによって得られたマルチスペクトル画像Ｍ_Sは、ｎ個の分光反射率の値からなる分光反射率分布を有する。また、マルチスペクトル画像Ｍ_Sは、例えば１０２４×１０２４画素、すなわち約１０⁶個の画素で構成され、この画素数は、分光反射率の個数であるｎよりも圧倒的に大きいため、統計的処理、すなわち、画像領域全体またはその一部分の画素に関する自己相関行列Ｔを求め、これを用いて分光反射率の主成分分析を行うことができる。この場合、主成分分析により主成分を効果的に求めるために、分光反射率波形のデータを対数変換した対数変換画像データに基づいて行う。
【００２２】
ここで主成分分析から求められる主成分とは、統計的処理を用いて得られるもので、例えばｎバンドの数に相当するｎ個の分光反射率の値からなる正規直交化された自己相関行列Ｔの固有ベクトルである主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）と自己相関行列Ｔの固有値ｕ_k（ｋ＝１〜ｎ（ｋは１以上ｎ以下の整数を示す））の対である。また、主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）を用いて、スペクトル画像の画素位置(i,j) での分光反射率分布の対数変換画像データＲ(i,j，λ) を線型展開し、その際得られる各主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）に係る係数ｓ_k(i,j) （ｋ＝１〜ｎ）を求め、これを画素位置(i,j) での画像データとする主成分画像Ｓ_k（ｋ＝１〜ｎ）を得ることができる。
得られた主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）および主成分画像Ｓ_k（ｋ＝１〜ｎ）は、最適主成分ベクトル・画像抽出部２２ｃに送られる。
【００２３】
最適主成分ベクトル・画像抽出部２２ｃは、主成分分析部２２ｂで得られた主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）とそれに対応した主成分画像Ｓ_k（ｋ＝１〜ｎ）とを用いて、最適主成分数ｍ₁を定め、最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）および最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）を抽出する部分である。
最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）および最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）を抽出するのは、主成分分析部２２ｂで求められた主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）には、マルチスペクトル画像の画像データの雑音成分の影響を受けて、本来主成分ベクトルに当たらない固有ベクトルも主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）として含まれて求められるため、この主成分ベクトルｐ_k（λ）を排除し、最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）および最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）を抽出する必要があるからである。
【００２４】
すなわち、ｎ個の主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）とそれに対応した主成分画像Ｓ_k（ｋ＝１〜ｎ）の対の中から、それより少ないｍ（ｍ＜ｎ）個の主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ）とそれに対応した主成分画像Ｓ_k（ｋ＝１〜ｍ）の対を用いて合成画像Ｇを求め、この合成画像Ｇの画像情報の、マルチスペクトル画像Ｍ_sに基づくオリジナル画像の画像情報に対する誤差を用いて、ｍ個の主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ）とそれに対応した主成分画像Ｓ_k（ｋ＝１〜ｍ）が最適な主成分であるかどうか判断する。
【００２５】
ここで、主成分ベクトルｐ_ｋ（λ）は、対応した固有値ｕ_ｋが大きい程、マルチスペクトル画像Ｍ_Ｓの分光反射率分布における主成分の寄与は大きい。そこで、固有値ｕ_ｋの大きい順に、この固有値ｕ_ｋに対応する主成分ベクトルｐ_ｋ（λ）を合成画像Ｇを求めるために順次増やして、一定の照明光源下で再構成される合成画像Ｇを求めていくと、ｎ個の主成分ベクトルから構成されるマルチスペクトル画像Ｍ_Ｓに基づくオリジナル画像に対する合成画像Ｇの画像情報の誤差が、採用する主成分ベクトル数ｍの増加に伴って単調減少する。そのため、この誤差が予め定めた所定値以下に減少する最初の主成分ベクトル数ｍを求めることによって、最小の最適主成分数ｍ_１を求めることができる。これによって、最適主成分数ｍ_１で合成画像Ｇを求める際に採用した主成分ベクトルｐ_ｋ（λ）およびこれに基づいて得られる主成分画像Ｓ_ｋを、それぞれ、最適主成分ベクトルｐ_ｋ（λ）（ｋ＝１〜ｍ_１）および最適主成分画像Ｓ_ｋ（ｋ＝１〜ｍ_１）として抽出することができる。
【００２６】
ここで、上記画像情報とは、例えば、ＣＩＥＬ^*ａ^*ｂ^*色空間に於ける一定の光源下の測色値Ｌ^*、ａ^*およびｂ^*、例えばＣＩＥＤ₆₅の標準光条件下の測色値Ｌ^*、ａ^*およびｂ^*であり、その際、上記誤差とは下記式(1) で表される色差ΔＥ₀である。この場合、この色差ΔＥ₀が例えば１．０以下となるような主成分画像の数ｍを見出すことによって最適主成分数ｍ₁を求めることができる。
ΔＥ₀＝｛（ΔＬ^*）²＋（Δａ^*）²＋（Δｂ^*）²｝^1/2 （１）
ここで、ΔＬ^*、Δａ^*およびΔｂ^*は、上記合成画像とマルチスペクトル画像の画像全体または一部分における平均測色値Ｌ^*、ａ^*およびｂ^*の差分である。このようにして、最適主成分数ｍ₁は、合成画像Ｇの色空間上の測色値とオリジナル画像の測色値の色差ΔＥ₀に基づいて適応的に決定される。
【００２７】
また、上記画像情報の誤差、すなわち、オリジナル画像に対するｍ個の主成分ベクトルｐ_kによって再構成される合成画像Ｇの、画像全体または一部分の画素のスペクトルの自乗誤差Ｅ₁であってもよい。合成画像Ｇの画像データ値も、マルチスペクトル画像の測色値の一例と見做され、合成画像Ｇの色空間上の測色値である画像データ値とオリジナル画像の測色値であるスペクトルの画像データ値の自乗誤差Ｅ₁に基づいて，最適主成分数ｍ₁を適応的に決定してもよい。この場合、この自乗誤差Ｅ₁またはＬｏｇ（Ｅ₁)は、主成分ベクトル数ｍに対して単調減少となるため、ｍを増やすことによって、自乗誤差Ｅ₁またはＬｏｇ（Ｅ₁)の減少幅が予め定められた所定値より小さくなる時のｍの値、すなわちｍの増加に対して自乗誤差Ｅの減少が所定値以下で飽和する時の最小のｍの値を求めればよい。
【００２８】
画像圧縮部２２ｄは、最適主成分ベクトル・画像抽出部２２ｃで求めた最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）の各々の画像データに対して像構造に基づく像構造圧縮を行う部分である。
最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）は、その画像データが第ｋ主成分ベクトルｐ_k（λ）の係数に基づく明度値で表現された画像データからなる黒白画像である。画像圧縮部２２ｃは、このような画像データに対して、各主成分の主成分画像毎に、像構造圧縮を行う。なお、像構造圧縮方法として、例えば、ＪＰＥＧ（Joint Photographics Expert Group) で用いられるＤＣＴ（Discrete Cosine Transformation) 方式が挙げられる。以下では、ＪＰＥＧ方式について説明するが、この方式に制限されれず、例えば、ＤＦＴ（Discrete Fourier Transformation)方式やＦＦＴ(Fast Fourier Transformation) 方式やＷＴ(Wavelet Transformation)方式であってもよい。
【００２９】
ＪＰＥＧ方式とは、例えば１０２４×１０２４画素の主成分画像Ｓ_kを８×８画素のブロック画像に分解し、このブロック画像各々に対して、cosine関数による2 次元の離散型のフーリエ展開であるＤＣＴを施し、得られ低周波成分から高周波成分に至る複数のフーリエ係数をＤＣＴ係数として求めたのち、予め与えられた量子化テーブルによって上記ＤＣＴ係数を除して、高周波成分のフーリエ係数を０として省略することで、高周波成分の画像データを圧縮し、その後ＤＣＴ係数の０次低周波成分である直流成分とそれ以外の周波数成分に分け、ハフマン符号化方式や公知の算術符号化方式を用いて、ＤＣＴ係数の画像データを符号化し圧縮する方式である。ここで、上記量子化テーブルの値は、主成分画像Ｓ_kの像構造によって変化するものである。
本発明においては、上記ＤＣＴ係数の高周波成分を量子化テーブルによって除去した画像データを、ハフマン符号化方式や公知の算術符号化方式を用いることなく、圧縮マルチスペクトル画像データとして、画像圧縮部２２ｄから出力させてもよい。また、最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）の画像像データに対して、符号化による圧縮を直接施してもよい。
【００３０】
本システム１０は、以上のように構成される。
次に、本発明のマルチスペクトル画像の画像圧縮方法について、本システム１０に沿った画像圧縮方法の流れを、図３を参照しつつ説明する。
【００３１】
まず、光源１２、可変フィルタ１４およびＣＣＤカメラ１６によって形成されるマルチバンドカメラによって撮影被写体Ｏを撮影し、複数のバンド帯域、例えば４１個のバンド帯域に分割された複数のバンド画像からなるマルチバンド画像Ｍ_Ｂを取得する（ステップ１００）。得られたマルチバンド画像Ｍ_Ｂは、マルチバンド画像データ記憶装置１８に一時記憶されると共に、マルチスペクトル画像取得装置２０に送られる。
【００３２】
マルチスペクトル画像取得装置２０では、例えばマクベスチャートのグレーパッチの画像データとその分光反射率の値との関係から作成された１次元ルックアップテーブル（１次元ＬＵＴ）が備えられており、この１次元ＬＵＴを用いて、マルチバンド画像データ記憶装置１８から呼び出された撮影被写体Ｏのマルチバンド画像Ｍ_Bの画像データを用いて各画素毎の撮影被写体Ｏの分光反射率を推定しマルチスペクトル画像Ｍ_Sの画像データを取得する（ステップ１０２）。この撮影被写体Ｏの分光反射率の推定において、精度の高い分光反射率分布を推定するために、マトリクス演算やフーリエ変換を用いたデコンボリューション処理が付加されてもよい。
【００３３】
次に、得られたマルチスペクトル画像Ｍ_Sの画像データを、対数変換して、主成分分析をし、最適主成分数ｍ₁を決定する（ステップ１０４）。
まず、主成分分析を行う前に、マルチスペクトル画像の画像データを対数変換処理し、すなわち画像データのＬｏｇ変換を行う（ステップ１０５）。
【００３４】
ここで、対数変換を行うのは以下の理由による。
すなわち、マルチスペクトル画像Ｍ_Sの画像データは、所定のピーク波長を中心とする急峻な山型分布を示す可変フィルタ１４の分光透過特性に従って得られる画像データであるので、得られる画像データの値は、実際、上記所定のピーク波長における光源１2 の照明光の分光波長の強度分布の値と、撮影被写体Ｏの分光反射率分布の値と、ＣＣＤカメラ１６の分光感度特性の値との積によって近似的に表されるが、対数変換を施すことによって、マルチスペクトル画像Ｍ_Sの画像データの対数変換画像データの値は、光源１2 の照明光の分光波長の強度分布の値の対数値と、撮影被写体Ｏの分光反射率分布の値の対数値と、撮影被写体Ｏの分光反射率分布の値の対数値の和に分解され、後述する式（３）に示されるように、主成分分析において行われる主成分ベクトルの線型和に対応させることができるからである。
【００３５】
一方、同一分光反射率を有する撮影被写体Ｏであっても、光源１２の分光強度分布が異なる部分がある場合、対数変換の施されないマルチスペクトル画像Ｍ_Sの画像データでは、分光波長の強度分布の値と、撮影被写体Ｏの分光反射率分布の値と、ＣＣＤカメラ１６の分光感度特性の値との積によって表されることから、主成分ベクトルｐ_k（λ）の線型和で表現する主成分分析に対応して表現することはできず、従って、主成分数を大きくして、マルチスペクトル画像Ｍ_Sの画像データを表現しなければならず、本発明の目的である画像圧縮の際の圧縮効率を十分に高めることができない。
【００３６】
次に、このようにマルチスペクトル画像データを対数変換して得た対数変換画像データに対して、主成分分析を行い（ステップ１０６）、主成分画像Ｓ_k（ｋ＝１〜ｎ）および主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）を求める。
以下、主成分分析法について説明する。
【００３７】
マルチスペクトル画像Ｍ_sは、画素位置(i,j) においてそれぞれｎ個の分光反射率の値を持つ分光反射率分布を有し、マルチスペクトル画像Ｍ_sの画像データを対数変換した対数変換画像データをＲ(i,j，λ) ＝( Ｒ (i,j ，λ₁)，Ｒ(i,j，λ₂)，Ｒ（i,j ，λ₃)，・・・，Ｒ（i,j ，λ_n) ）^T（小文字^Tは転置を示す））として、画像全体の画素または画像の一部分、例えば画像全体の画素から一定間隔で画素を間引いた残りの画素における自己相関行列Ｔ（Ｔの（k,l)成分Ｔ_klはＲ^T・Ｒ／ｎであり、・は画素位置に関する内積である）を求める。
【００３８】
得られた自己相関行列Ｔはｎ×ｎの正方行列であり、この自己相関行列Ｔを用いて、下記式（２）を満足する固有値ｕ_k（ｕ₁＞ｕ₂＞・・・＞ｕ_n，ｋ＝１〜ｎ）および正規直交化された固有ベクトルである主成分ベクトルｐ_k（λ）＝（ｐ_k (i,j ，λ₁)，ｐ_k(i,j，λ₂)，ｐ_k（i,j ，λ₃)，・・・，ｐ_k（i,j ，λ_n) ）^T（ｋ＝１〜ｎ）を求める。固有値および固有ベクトルを求める方法は、ｊａｃｏｂｉ法やべき乗法等の公知の方法であればよく、特に制限されない。
Ｔ・ｐ_k（λ）＝ｕ_kｐ_k（λ）（２）
【００３９】
また、画素位置（i,j）における分光反射率分布の対数変換画像データＲ（i,j，λ）が下記式（３）のように、固有ベクトルである主成分ベクトルｐ_ｋ（λ）（ｋ＝１〜ｎ）で表されるため、
【数１】

下記式（４）に従って、主成分ベクトルｐ_ｋ（λ）（ｋ＝１〜ｎ）がお互いに正規直交関係にあることを利用して、ｓ_ｋ（i,j）求める。
ｓ_ｋ（i,j）＝Ｒ（i,j，λ）・ｐ_ｋ（λ）（４）
ここで、記号・は、ｎ個の成分から成るバンド帯域の分光波長に関するベクトルの内積であり、ｓ_ｋ（i,j）は、マルチスペクトル画像の画素位置（i,j）での分光反射率分布の対数変換画像データＲ（i,j，λ）に含まれる第ｋ主成分ベクトルｐ_ｋの大きさを示す量である。また、このｓ_ｋ（i,j）を各画素位置で求め、その値を各々の画素位置での画像データとする第ｋ主成分画像Ｓ_ｋ（ｋ＝１〜ｎ）を求める。
【００４０】
ところで、分光反射率分布の対数変換画像データＲ（i,j，λ）における第１〜第ｎの各主成分の寄与は、上述したように、各主成分に付随した固有値ｕ_ｋの値が小さくなるに連れて小さくなることから、分光反射率分布の対数変換画像データＲ（i,j，λ）は、画像情報を最適に保持する限りにおいて、小さな固有値ｕ_ｋを持つ主成分ベクトルｐ_ｋを省略して近似することができる。
すなわち、下記式（５）に示すように、固有値ｕ_ｋ（ｋ＝１〜ｎ）を大きい順に並べた際の、上からｍ番目以内の固有値ｕ_ｋ（ｋ＝１〜ｍ）に対応する固有ベクトルである主成分ベクトルｐ_ｋ（λ）（ｋ＝１〜ｍ）を採用し、それ以外の固有値ｕ_ｋの小さい固有ベクトルである主成分ベクトルｐ_ｋ（λ）（ｋ＝ｍ＋１〜ｎ）を切り捨てることによって、分光反射率分布の対数変換画像データＲ（i,j，λ）を近似し、画像データを圧縮することができる。
【数２】

【００４１】
特に、上述した様に、分光反射率分布の対数変換画像データＲ(i,j，λ) は、マルチバンド画像の画像データを対数変換して、分光波長の強度分布の対数値と、撮影被写体Ｏの分光反射率分布の対数値の和で表すことができるので、撮影被写体Ｏの分光反射率が同一の部分であるが、光源１２の照明強度が異なる部分が存在する場合、例えば、撮影被写体Ｏの同一の材質の表面上に照明光による陰影部分がある場合、撮影被写体Ｏの同一の材質の分光反射率分布の対数変換された画像データの主成分ベクトルｐ_k（λ）に、照明光の陰影部分による分光強度分布の対数変換されたバイアス量分、加算されたデータとなる。そのため、撮影被写体Ｏの分光反射率に基づく主成分を、対数変換した状態で、照明光の分光強度分布によるバイアス量と区別して効果的に抽出するこができる。その結果、対数変換せずに主成分分析を行う場合に比べて、最適主成分数ｍ₁を抑えることができ、本発明の目的とする画像の圧縮率を高めることができる。
【００４２】
そこで、分光反射率分布の対数変換画像データＲ(i,j，λ) が、画像情報を損なうことなく、近似的に表されるような主成分ベクトルｐ_kの採用数、すなわち最適主成分数ｍ₁を見いだし、これを用いて、マルチスペクトル画像Ｍ_sを圧縮する。これによって、マルチスペクトル画像Ｍ_sの画質を劣化させることなく、画像データを圧縮することができる。
ここで、固有値ｕ_kの大きい固有ベクトルである主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）を採用し、固有値ｕ_kの小さい固有ベクトルｐ_k（λ）（ｋ＝ｍ₁＋１〜ｎ）を切り捨てるための最適主成分数ｍ₁の設定を以下の判断基準によって行なう（ステップ１０８）。
【００４３】
まず、固有値ｕ_ｋの大きい順に主成分ベクトルｐ_ｋ（λ）を順次式（５）の主成分ベクトルｐ_ｋ（λ）に含め、下記式（６）で示されるマルチスペクトル画像に対応する分光反射率分布の近似対数変換画像データＲ’(i,j，λ）を求める。
【数３】

近似対数変換画像データＲ’(i,j，λ) は、対数変換画像データＲ（i,j，λ）を近似しているため誤差が存在するが、この近似対数変換画像データＲ’(i,j，λ)を真数変換し、一定の分光強度分布を、照明光の分光強度分布として掛け合わせて得られる合成画像Ｇの画像情報の、マルチスペクトル画像Ｍ_Ｓに上記分光強度分布を掛け合わせて得られるオリジナル画像の画像情報に対する誤差も、主成分数ｍが大きくなるに連れて減少する。そこで、判断基準として、所定値を設定し、近似対数変換画像データＲ’(i,j，λ)に分光強度分布を掛け合わせて得られる合成画像Ｇの画像情報の上記オリジナル画像の画像情報に対する誤差が、上記判断基準として定めた所定値より小さくなる最初の主成分数ｍを求めることによって、最小の最適主成分数ｍ_１が取得される。
【００４４】
例えば、合成画像Ｇの画像情報のマルチスペクトル画像Ｍ_Ｓの画像情報に対する誤差を、ＣＩＥＤ65の標準光条件下のＣＩＥＬ*ａ*ｂ*色空間における測色値Ｌ*、ａ*およびｂ*の色差ΔＥ_０として、この色差ΔＥ_０に対する上記所定値を定め、最小の最適主成分数ｍ_１を求める。
また、上記誤差は、合成画像Ｇの画像全体または一部分のスペクトルの自乗誤差Ｅ_１であってもよく、その際、主成分数ｍの増加に対して自乗誤差Ｅ_１の減少量が所定値以内に飽和する時の最小の最適主成分数ｍ_１の値を求めてもよい。
【００４５】
このようにして、マルチスペクトル画像Ｍ_sの画像情報を保持し最適に代表する最小の最適主成分数ｍ₁を求め、これによって、固有値ｕ₁〜ｕ_m1（ｕ₁〜ｕ_m1＞ｕ_m1＞ｕ_m1+1＞・・・＞ｕ_n）に対応するｍ₁個の最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）および最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）を取得する。ここで、取り除かれる主成分ベクトルｐ_k（λ）（ｋ＝ｍ₁＋１〜ｎ）は、マルチスペクトル画像Ｍs に含まれるノイズ成分が支配的な場合が比較的多く、マルチスペクトル画像Ｍs から寄与の小さな主成分ベクトルｐ_k（λ）（ｋ＝ｍ₁＋１〜ｎ）を除去することで、マルチスペクトル画像Ｍ_sに含まれるノイズ成分の抑制も行うことができる。
【００４６】
次に、得られた最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）に対して、画像圧縮部２２ｄで画像圧縮（ステップ１１０）を行う。画像圧縮は、像構造に基づく対数変換画像データの圧縮（ステップ１１２）および符号化データの圧縮（ステップ１１４）から構成される。
像構造に基づく対数変換画像データの圧縮は、例えば、ＪＰＥＧ方式の圧縮が行われ、例えば１０２４×１０２４画素の主成分画像Ｓ_kを８×８画素のブロック画像に分解し、このブロック画像各々に対して、cosine関数による2 次元の離散型のフーリエ展開であるＤＣＴを施し、得られ低周波成分から高周波成分に至る複数のフーリエ係数をＤＣＴ係数として求めたのち、予め与えられた量子化テーブルによって上記ＤＣＴ係数を除した商を画像データとする。ここで、上記ＤＣＴ係数を除する量子化テーブルの係数は、高周波成分になるほど、値が大きく、しかも高周波成分のＤＣＴ係数は、低周波成分に比べて小さいため、高周波成分のＤＣＴ係数を除した商は大部分が０となる。すなわち、最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）の画像データに含まれる高周波成分の画像データの大部分を、像構造に基づいた量子化テーブルによって０とするのである。一般的に画像データに含まれる高周波成分は、低周波成分に対して、画像に対する寄与が小さく、高周波成分を除去しても原画像の画像情報に対する影響は少なく、高周波成分を省略しても構わないからである。また、高周波成分は、撮影被写体Ｏの画像成分よりもノイズ成分が支配的である場合が多く、高周波成分を除去することで、画像データに含まれるノイズ成分を除去することができる。
【００４７】
このように大部分の対数変換画像データの高周波成分のＤＣＴ係数を０とすることで、情報エントロピーを低減することができ、後述する符号化データ圧縮( ステップ１１４）の際において、対数変換画像データを大きく圧縮することが可能となる。
【００４８】
次に、高周波成分の大部分が０となったＤＣＴ係数で構成される主成分画像Ｓ_k（ｋ＝１〜ｍ₁）をそれぞれ、符号化し、対数変換画像データを圧縮する（ステップ１１４）。符号化は、例えばハフマン符号化やその他の算術符号化が行われる。
例えば、ハフマン符号化においては、ＤＣＴ係数の０次低周波成分である直流成分とそれ以外の周波数成分に分け、例えば、８×８画素のブロック画像を代表した直流成分のみで表示される１／８×１／８の縮尺画像を得、この縮尺画像に対して、隣接する画素値との差分を取ってＤＰＣＭ符号化により圧縮を行う。
一方、直流成分以外の周波数成分は、高周波成分になるにつれ、ＤＣＴ係数が０となって行くため、順次低周波から高周波に向けてＤＣＴ係数を符号化する際、ＤＣＴ係数０の連続する個数、すなわちランレングスによって符号化し、対数変換画像データの圧縮率を高めることができる。
【００４９】
このようにして、最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）の対数変換画像データを符号化した最適主成分圧縮画像データＳｄ_k（ｋ＝１〜ｍ₁）を得、ステップ１０４において求められた最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）とともに、圧縮マルチスペクトル画像データとして、記録メディアドライブ装置２４を介して、ハードディスクやＭＯやＣＤ−ＲやＤＶＤ等の各種記録メディアに保存する（ステップ１１６）
【００５０】
本発明においては、画像データ量の大きなマルチスペクトル画像Ｍ_sを対数変換して、対数変換画像データを求め、これを用いて主成分分析し、画像情報を最適に保持する最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）および最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）を求めることによって、画像データ量を圧縮し、さらに、ＪＰＥＧ方式等によって、最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）に対応した圧縮画像データＳｄ_k（ｋ＝１〜ｍ₁）を求めて一層圧縮し，得られた最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）および圧縮画像データＳｄ_k（ｋ＝１〜ｍ₁）を記録保存する。
【００５１】
これによって、複数のスペクトル画像が視覚的に劣化することなく画像圧縮の際の圧縮率を高め、画像データの取り扱いが向上する。特に、主成分分析では、主成分ベクトルの線型表示に対応する様に、主成分分析の対象となるマルチスペクトル画像の画像データを対数変換した対数変換画像データを用いて主成分分析を行うので、照明光の分光強度分布と撮影被写体Ｏの分光反射率分布の寄与を明確に分けることができ、撮影被写体Ｏの分光反射率が同じであるが照明強度が部分的に異なるマルチバンド画像や、照明強度のみが異なり、撮影被写体Ｏの分光反射率が同じである領域を大きく占めるようなマルチバンド画像において、画像圧縮の際の圧縮効率を高めることができる。
【００５２】
なお、圧縮され記録メディア等に保存された画像データは、必要に応じて呼び出され、符号化データの圧縮および像構造に基づく圧縮の逆変換によって伸張処理が行われて、最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）および最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）が求められ、この最適主成分ベクトルｐ_k（λ）および最適主成分画像Ｓ_kより、近似対数変換画像データＲ’(i,j，λ) が求められ、最後に真数変換を行ってマルチスペクトル画像が求められる。
【００５３】
このようなマルチスペクトル画像の画像圧縮方法および画像圧縮装置において、以下のようなマルチスペクトル画像の圧縮を行った。
ＣＣＤカメラ１６として、ＤＡＬＳＡ社製 CA-D4-1024A（画素数１０２４×１０２４、ピクセルサイズ１２×１２ミクロン、ＰＣＩインターフェース付き、モノクロ）を用い、可変フィルタ１４として、ＣＲＩ社製Varispec Tunable Filter （液晶チューナブルフィルタ）を用いた。この液晶チューナブルフィルタによって、３８０〜７８０ｎｍの撮影波長帯域を、バンド帯域幅を１０ｎｍずつに分割し、４１バンドとした。人物を撮影被写体Ｏとし、４１画像から成る人物画のマルチバンド画像Ｍ_Bを得た。
【００５４】
マルチバンド画像記憶部１８、マルチスペクトル画像取得装置２０およびマルチスペクトル画像圧縮装置２２は、ＰＲＯＳＩＤＥ社製ブック型ＰＣ（パーソナルコンピュータ）を用いて構成し、Windows（登録商標）９５上でＣ++言語によるソフトウェア処理を行った。なお、ＰＲＯＳＩＤＥ社製ブック型ＰＣは、ＣＰＵが１６６MHz であり、ＲＡＭは１２８Ｍバイトであった。
なお、前処理として、ソフトウェア処理の都合上から、画像データの量子化数を２バイトから１バイトに変換した。この前処理は、以降で述べる画像データ量の圧縮には含まれていないものである。
【００５５】
まず、マルチスペクトル画像取得装置２０において、マルチバンド画像Ｍ_Bからマルチスペクトル画像Ｍ_Sを抽出し、対数変換を行った後、主成分分析を行い、主成分ベクトルｐ_k（λ）（ｋ＝１〜４１）および主成分画像Ｓ_k（ｋ＝１〜４１）を求めた。
【００５６】
次に、最適主成分数ｍ₁を求めるために、判断基準として、ＣＩＥＤ₆₅の標準光源下のＣＩＥＤ１９７６Ｌ^*ａ^*ｂ^*色空間における色度に基づく平均色差を１．５とし、上述した主成分分析法によって固有値ｕ_kおよび固有ベクトルである主成分ベクトルｐ_kを求めた。固有値ｕ_kの大きい順に採用したｍ個の主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ）を真数変換して、再構成される合成画像Ｇとマルチスペクトル画像Ｍ_sから得られるオリジナル画像との上記平均色差を求め、平均色差が１．５以下となる最適主成分数ｍ₁を決定した。
その結果、最適主成分数ｍ₁は５であった。また、対数変換画像データＲ(i,j，λ) を第１〜第５主成分ベクトルｐ_k（λ）によって近似しても、再構成された合成画像Ｇは、オリジナル画像の画像情報を依然保持し、しかも視覚的に劣化の少ないことがわかった。すなわち、第１〜５主成分画像Ｓ_k（ｋ＝１〜５）と第１〜５主成分ベクトルにより、４１のバンド帯域からなるマルチスペクトル画像Ｍ_sを約１／８に画像データ量を圧縮することができた。
【００５７】
さらに、求められた第１〜５主成分画像Ｓ_k（ｋ＝１〜５）について、上述した像構造に基づく非可逆なＤＣＴによるＪＰＥＧ方式で画像データの圧縮を行い、最適主成分画像Ｓ_k（ｋ＝１〜５）の画像データを符号化した。
その結果、最終的に主成分画像Ｓ_k（ｋ＝１〜５）の画像データは、４１Ｍバイトから０．６Ｍバイトに、約１／７０に圧縮されることがわかった。しかも、画像情報を保持し、視覚的な劣化も見られなかった。
【００５８】
このように、本発明の画像圧縮方法およびこれを用いた画像圧縮装置は、複数のスペクトル画像に対して、視覚的な劣化が少なく画像圧縮の際の圧縮率を高め、例えば、１／７０程度に高め、画像データの取り扱いを向上するのは明らかである。
【００５９】
以上、本発明のマルチスペクトル画像の画像圧縮方法および画像圧縮装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００６０】
【発明の効果】
以上、詳細に説明したように、本発明によれば、主成分分析法に合わせた形にマルチスペクトル画像データを対数変換して主成分分析を行い、画像データ量を圧縮し、さらに最適主成分画像をＪＰＥＧ方式等による像構造圧縮を行い、さらに像構造圧縮を行った最適主成分画像の画像データを符号化して圧縮画像データとするので、画像品質を損なうことなく、画像圧縮し、さらに圧縮率を高め、画像データの取り扱いを向上させることができる。
また、マルチスペクトル画像に含まれる主成分ベクトルからノイズ成分が支配的な主成分ベクトルを除去することができ、ノイズ成分の抑制も行うことができる。
【図面の簡単な説明】
【図１】本発明のマルチスペクトル画像圧縮装置を含むマルチスペクトル画像取得システムの一例を示す概念図である。
【図２】本発明に係るマルチスペクトル画像圧縮装置の一例を示すブロック図である。
【図３】本発明のマルチスペクトル画像圧縮方法における動作の一例を示すフローチャートである。
【符号の説明】
１０マルチスペクトル画像取得システム
１２光源
１４可変フィルタ
１６ＣＣＤカメラ
１８マルチバンド画像データ記憶装置
２０マルチスペクトル画像取得装置
２２マルチスペクトル画像圧縮装置
２２ａ画像データ変換部
２２ｂ主成分分析部
２２ｃ最適主成分ベクトル・画像抽出部
２２ｄ画像圧縮部
２４記録メディアドライブ装置[0001]
BACKGROUND OF THE INVENTION
The present invention is effective for image data of a multispectral image obtained by using a band image obtained by dividing a photographing wavelength region when photographing a subject into a plurality of band bands, without impairing image quality. The present invention relates to a technical field of compression processing of image data that can be compressed.
[0002]
[Prior art]
Today, with the advancement of digital image processing, as a means for completely expressing color information (lightness, hue, saturation) of an image, an image having spectral information (spectral image) for each pixel of the image, that is, a multispectral image is used. It's being used.
This multispectral image has a spectral reflectance distribution based on a multiband image composed of a plurality of band images obtained by dividing a shooting wavelength region of a shooting subject into a plurality of band bands and shooting the shooting subject for each band band. It is obtained by estimating for each image. This multiband image can reproduce color information that cannot be sufficiently expressed by a conventional RGB color image composed of red (R), green (G), and blue (B) images. For example, a more accurate color reproduction is desired. It is effective for the world of painting. Therefore, in order to take advantage of the feature of accurately reproducing this color information, for example, the 380 to 780 nm imaging wavelength band is divided into 10 nm bands and divided into 41 bands, further divided into 5 nm bands and 81 bands. It is desired to obtain a multispectral image based on the provided multiband image.
[0003]
However, since a multispectral image having spectral information for each pixel has spectral reflectance data for each band (channel) obtained by dividing the imaging wavelength band, for example, for every 41 channels, the conventional three-channel image has been used. Compared to the RGB color image, for example, the image data amount must be about 13 times (41 channels / 3 channels).
Therefore, when storing the image data of the obtained multispectral image, a large storage capacity is required and the time required for the storage is long. Also, it takes a lot of time to transfer image data via a network, and handling becomes difficult.
[0004]
To solve such a problem, a spectral waveform obtained from spectral information for each pixel of a multispectral image is developed with three color matching functions, for example, a color matching function of RGB color form, and is not represented with a color matching function. Using the principal component analysis method, the spectral waveform part is expanded with the principal component basis vectors, and the principal components that represent the image information of the spectral image are extracted and adopted, and the other principal components are removed. Finally, a method of expressing the above spectrum waveform with a total of 6 to 8 basis vectors including color matching functions has been proposed (Th. Keusen, Multispectoral Color System wuth an Encoding Format Compatible with the Conventional Tristimulus Model, Journal of Imaging Science and Technology 40: 510-515 (1996)). By using this, the image data of the multispectral image can be compressed by expressing the spectrum waveform with 6 to 8 basis vectors and pairs of coefficients corresponding thereto. In particular, since the coefficient of the color matching function when represented by the color matching function of the RGB color form is a tristimulus value of R, G, and B, the image is based on the tristimulus value by the R, G, and B pixels. It is not necessary to perform special conversion so as to be compatible with conventional image processing apparatuses and image display apparatuses in which processing and image display are performed, and is excellent in reducing processing such that image data can be sent directly. It has the effect.
[0005]
[Problems to be solved by the invention]
For example, in the case of a multispectral image composed of 41 spectral images, the image data obtained by such a method is represented by, for example, eight basis vectors and their coefficients, thereby reducing the amount of image data of the multispectral image. It can be compressed to 20% (8 pieces / 41 pieces × 100).
However, in the case of a multispectral image composed of 41 spectral images, the amount of image data of the RGB color image is about 13 times larger than that of the RGB color image. The amount of data is still about 2.5 times (13 × 20/100) the amount of image data. For this reason, as described above, the recording time when recording and saving on a recording medium or the like, and the transfer time when transferring image data via a network are long, and handling is still difficult.
[0006]
Therefore, the present invention solves the above-described problems, and is less likely to be visually degraded with respect to a plurality of spectral images obtained by dividing a photographing wavelength band when photographing a subject into a plurality of band bands. It is an object of the present invention to provide an image compression method and an image compression apparatus for multispectral images that can increase the compression rate during image compression and improve the handling of image data.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the present invention is a method of compressing a multispectral image obtained by using a band image obtained by dividing a shooting wavelength band into a plurality of band bands when shooting a subject. ,
Logarithmically convert the image data of the multispectral image to logarithmically converted image data. Using the logarithmically converted image data, principal component analysis is performed to obtain multiple pairs of principal component vectors and principal component images based on the multispectral image. ,
From these multiple pairs, the optimum principal component vector and the optimum principal component image corresponding thereto are obtained by obtaining the optimum principal component number of the principal component vector and principal component image that best represents the image information of the multispectral image. And
Image structure compression is performed on each obtained optimum principal component image to obtain optimum principal component compressed image data, whereby the image data of the multispectral image is converted into the optimum principal component vector and the optimum principal component compressed image data. The present invention provides an image compression method for multispectral images characterized by compression.
[0008]
Here, the optimum number of principal components is preferably determined based on a colorimetric value in a color space, and the optimum number of principal components is selected from the principal component vector and the principal component image. The error value of the image information of the colorimetric value of the synthesized image to be image information of the colorimetric value of the original image configured based on the multispectral image is the minimum number of principal components that is equal to or less than a predetermined value. Is preferred.
More preferably, the optimum number of principal components includes a principal component vector having a large contribution to the multispectral image in order of a principal component vector having a large contribution, and the corresponding principal component vector and the principal component vector. It is preferable that the variation of the error with respect to the original image when obtaining the composite image composed of component images is the minimum number of principal components that falls within a predetermined value or less.
[0009]
The image structure compression is preferably compression of high-frequency components of image data by discrete Fourier transform or wavelet transform.
Furthermore, the compression by the image structure may be added with an encoding compression process for compressing the image data by encoding the image data.
[0010]
The present invention is also a multispectral image compression apparatus for compressing a multispectral image obtained by using a band image obtained by dividing a photographing wavelength band into a plurality of band bands when photographing a subject. ,
An image data converter for logarithmically converting the image data of the multispectral image to obtain logarithmically converted image data;
Using the logarithmically transformed image data obtained by this image data converter, a principal component analysis unit that performs principal component analysis and obtains a plurality of pairs of principal component vectors and principal component images based on multispectral images;
Among the multiple pairs of principal component vectors and principal component images obtained by this principal component analysis unit, the optimum number of principal components of the principal component vector and principal component image pair that best represents the image information of the multispectral image is determined. The optimum principal component vector / image extraction unit for obtaining the optimum principal component vector and the optimum principal component image,
Provided is an image compression device for multispectral images, characterized by having an image compression unit that performs image structure compression on the image data of each optimum principal component image obtained by the optimum component vector / image extraction unit. Is.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a multispectral image acquisition system for performing an image compression method of a multispectral image of the present invention will be described in detail based on a preferred embodiment shown in the accompanying drawings.
[0012]
FIG. 1 shows a multispectral image acquisition system (hereinafter referred to as the present system) 10 that implements the multispectral image compression method of the present invention and includes the multispectral image compression apparatus of the present invention.
The system 10 shoots a photographic subject O and obtains a multispectral image M obtained. _S Are stored in a recording medium, the light source 12 that illuminates the photographing subject O, the variable filter 14 that divides the photographing wavelength band into a plurality of band bands, and the multi-band image M obtained by photographing the photographing subject O. _B A multi-spectral image data storage device 18 for temporarily storing image data, and a multi-spectral image M by estimating a spectral reflectance distribution for each pixel from the multi-band image. _S A multispectral image acquisition device 20 for obtaining _S The multi-spectral image compression device 22 that compresses the image data with less visual deterioration and with a higher compression ratio, and a storage media drive device 24 that stores the obtained compressed image data. Is done. In the present invention, the multispectral image M _s Preferably comprises at least 6 channels or more of spectral images, that is, the number of constituent wavelengths having spectral reflectance distribution data is 6 or more.
[0013]
The light source 12 captures the photographic subject O, and the type of the light source is not particularly limited, but the captured multiband image M _B Spectral reflectance is estimated from the multispectral image M _S Is preferably a light source with a known spectral intensity distribution.
The variable filter 14 captures the photographic subject O and multiband image M. _B In order to obtain the above, a band pass filter that can variably set the band band for dividing the imaging wavelength band can be divided into, for example, 16 bands, 21 bands, 41 bands, 81 bands, 201 bands, and the like. An example of such a variable filter is a liquid crystal tunable filter.
[0014]
The CCD camera 16 is a camera that captures an image formed by transmitted light obtained by splitting reflected light of a photographing subject O into a desired wavelength band through a variable filter 14 as a black and white band image. In this case, a CCD (charge coupled device) imaging device is arranged in a planar shape as an area sensor.
In addition, the CCD camera 16 is provided with a white balance adjustment mechanism that is performed before the photographing subject O is photographed in order to appropriately determine the dynamic range of the brightness value of the photographed image.
[0015]
The multiband image data storage device 18 is a multiband image M composed of a plurality of band images obtained by dividing the imaging wavelength band into a plurality of band bands and adjusted in white balance corresponding to each band. _B Is a part for temporarily storing and holding.
The multispectral acquisition device 20 is preliminarily determined based on the correspondence between the image data of the photographic subject having a known spectral reflectance photographed by the CCD camera 16, for example, the image data of the Macbeth chart gray patch and the known spectral reflectance value. A created one-dimensional lookup table (one-dimensional LUT) is provided, and a multiband image M of the photographic subject O called from the multiband image data storage device 18 using the one-dimensional LUT. _B The spectral reflectance of the photographic subject O for each pixel is estimated from the image data of the multi-spectral image M _S Is acquired and sent to the multispectral image compression apparatus 22.
In the estimation of the spectral reflectance of the photographic subject O, when the filter characteristics of the variable filter 14, that is, the spectral transmittance distribution of the variable filter 14 has a characteristic in which a part thereof overlaps between bands, the obtained multispectral image M _S Since the spectral reflectance distribution is dull and a highly accurate spectral reflectance distribution cannot be estimated, a deconvolution process that eliminates the filter characteristics may be performed using matrix calculation or Fourier transform.
[0016]
The recording media drive device 24 is a drive device that records on a recording medium such as a hard disk, floppy disk, MO, CD-R, or DVD. _S The compressed multispectral image data obtained by compressing the image data by the multispectral image compression device 22 described later can be recorded. In addition to or instead of the recording media drive device 24, a network connection device may be provided for transferring compressed multispectral image data, which will be described later, via various networks.
[0017]
The multispectral image compression device 22 is a multispectral image M obtained by the multispectral acquisition device 20. _S Is a portion for converting the multispectral image data constituting the image data into image data with little visual deterioration and a high image compression rate. The image data conversion unit 22a, the principal component analysis unit 22b, and the optimum principal component vector / image extraction A unit 22c and an image compression unit 22d. Moreover, this apparatus may be comprised by the software provided with the function as shown below, and may be comprised as one hardware.
[0018]
The image data conversion unit 22a performs logarithmic conversion, that is, log conversion, on the image data of the multispectral image sent from the multispectral image acquisition apparatus 20, and obtains logarithmically converted image data. 22b, which is converted using a known conversion means such as a one-dimensional lookup table. The logarithmic conversion of the image data is because the compression rate of the image can be increased as will be described later.
[0019]
Principal component analysis unit 22b performs multispectral image M _S The principal component analysis of the logarithmically converted image data of the spectral reflectance distribution provided for each pixel is performed and developed by the principal component vector. Hereinafter, the number of bands for dividing the imaging wavelength band into a plurality of band bands will be described as n.
[0020]
Specifically, as the principal component analysis in the present invention, a primary independent eigenvector specific to the observed waveform is obtained as a principal component vector from the observed waveform using a statistical method and an eigenvalue analysis method. If there is essentially no noise component in the observed waveform, the principal component vector having a small eigenvalue with an eigenvalue of 0 is removed, the optimal principal component vector having a number smaller than the number of bands n is obtained, and the observed waveform is linearized by this optimum principal component vector. The method described in Shigeo Minami, “Waveform data processing for scientific measurement”, pp. 220-225. This analysis method is mainly performed in the principal component analysis unit 22b and an optimum principal component vector / image extraction unit 22c described later.
When the principal component analysis method is used in this way, it is preferable that the noise component included in the spectral reflectance waveform is noise that is unrelated to the spectral reflectance value.
[0021]
The multispectral image M will be described in detail according to the present embodiment. _S Each has a spectral reflectance value corresponding to the number n of bands obtained by dividing the imaging wavelength band of the subject using the variable filter 14 for each pixel. That is, a multiband image M composed of n band bands. _B Multispectral image M obtained by _S Has a spectral reflectance distribution composed of n spectral reflectance values. Multispectral image M _S Is, for example, 1024 × 1024 pixels, ie about 10 ⁶ Since the number of pixels is overwhelmingly larger than n, which is the number of spectral reflectances, statistical processing, i.e., obtaining an autocorrelation matrix T for pixels in the entire image region or a part thereof, This can be used to perform principal component analysis of spectral reflectance. In this case, in order to effectively obtain the principal component by principal component analysis, the analysis is performed based on logarithmically converted image data obtained by logarithmically converting the spectral reflectance waveform data.
[0022]
Here, the principal component obtained from the principal component analysis is obtained by using statistical processing. For example, an orthonormalized autocorrelation matrix composed of n spectral reflectance values corresponding to the number of n bands. Principal component vector p which is an eigenvector of T _k (Λ) (k = 1 to n) and the eigenvalue u of the autocorrelation matrix T _k (K = 1 to n (k represents an integer of 1 to n)). The principal component vector p _k (Λ) (k = 1 to n) is used to linearly expand the logarithmically converted image data R (i, j, λ) of the spectral reflectance distribution at the pixel position (i, j) of the spectral image. Each principal component vector p obtained _k Coefficient s according to (λ) (k = 1 to n) _k (i, j) (k = 1 to n) is obtained, and this is used as image data at the pixel position (i, j). _k (K = 1 to n) can be obtained.
Obtained principal component vector p _k (Λ) (k = 1 to n) and principal component image S _k (K = 1 to n) is sent to the optimum principal component vector / image extraction unit 22c.
[0023]
The optimum principal component vector / image extraction unit 22c is configured to output the principal component vector p obtained by the principal component analysis unit 22b. _k (Λ) (k = 1 to n) and the corresponding principal component image S _k (K = 1 to n) and the optimal number of principal components m ₁ And the optimal principal component vector p _k (Λ) (k = 1 to m ₁ ) And the optimal principal component image S _k (K = 1 to m ₁ ).
Optimal principal component vector p _k (Λ) (k = 1 to m ₁ ) And the optimal principal component image S _k (K = 1 to m ₁ ) Is extracted from the principal component vector p obtained by the principal component analysis unit 22b. _k In (λ) (k = 1 to n), an eigenvector that does not originally correspond to the principal component vector due to the influence of the noise component of the image data of the multispectral image is also the principal component vector p. _k Since it is obtained by being included as (λ) (k = 1 to n), this principal component vector p _k (Λ) is eliminated and the optimal principal component vector p _k (Λ) (k = 1 to m ₁ ) And the optimal principal component image S _k (K = 1 to m ₁ ) Must be extracted.
[0024]
That is, n principal component vectors p _k (Λ) (k = 1 to n) and the corresponding principal component image S _k From the (k = 1 to n) pairs, fewer m (m <n) principal component vectors p _k (Λ) (k = 1 to m) and the corresponding principal component image S _k A composite image G is obtained using a pair of (k = 1 to m), and the multispectral image M of the image information of the composite image G is obtained. _s Using the error to the image information of the original image based on _k (Λ) (k = 1 to m) and the corresponding principal component image S _k It is determined whether (k = 1 to m) is the optimum principal component.
[0025]
Where the principal component vector p _k (Λ) is the corresponding eigenvalue u _k Is larger, the multispectral image M _S The main component contributes greatly to the spectral reflectance distribution. Therefore, the eigenvalue u _k Eigenvalue u in descending order of _k Principal component vector p corresponding to _k (Λ) is sequentially increased to obtain the composite image G, and under a certain illumination light source. so When the reconstructed composite image G is obtained, a multispectral image M composed of n principal component vectors is obtained. _S The error of the image information of the composite image G with respect to the original image based on the above decreases monotonously as the number m of principal component vectors employed increases. Therefore, the minimum optimum principal component number m is obtained by obtaining the first principal component vector number m in which this error decreases below a predetermined value. ₁ Can be requested. As a result, the optimum number of principal components m ₁ Principal component vector p adopted when obtaining composite image G _k (Λ) and the principal component image S obtained based thereon _k Respectively, the optimal principal component vector p _k (Λ) (k = 1 to m ₁ ) And the optimal principal component image S _k (K = 1 to m ₁ ) Can be extracted.
[0026]
Here, the image information is, for example, CIEL ^* a ^* b ^* Colorimetric value L under a certain light source in the color space ^* , A ^* And b ^* For example, CIED ₆₅ Colorimetric value L under standard light conditions ^* , A ^* And b ^* In this case, the error is a color difference ΔE represented by the following formula (1). ₀ It is. In this case, this color difference ΔE ₀ For example, the optimal number m of principal components is found by finding the number m of principal component images such that the value is 1.0 or less. ₁ Can be requested.
ΔE ₀ = {(ΔL ^* ) ² + (Δa ^* ) ² + (Δb ^* ) ² } ^1/2 (1)
Where ΔL ^* , Δa ^* And Δb ^* Is an average colorimetric value L in the whole or part of the composite image and the multispectral image. ^* , A ^* And b ^* Difference. In this way, the optimum number of principal components m ₁ Is the color difference ΔE between the colorimetric value in the color space of the composite image G and the colorimetric value of the original image. ₀ Is adaptively determined based on
[0027]
Further, the error of the image information, that is, m principal component vectors p with respect to the original image _k The square error E of the spectrum of the pixel of the whole image or a part of the composite image G reconstructed by ₁ It may be. The image data value of the composite image G is also regarded as an example of the colorimetric value of the multispectral image, and the image data value that is the colorimetric value in the color space of the composite image G and the spectrum that is the colorimetric value of the original image. Square error E of image data value ₁ Based on the optimal number of principal components m ₁ May be determined adaptively. In this case, this square error E ₁ Or Log (E ₁ ) Is monotonically decreasing with respect to the number m of principal component vectors. Therefore, by increasing m, the square error E ₁ Or Log (E ₁ ) When the decrease width is smaller than a predetermined value, that is, the minimum m value when the decrease in the square error E is saturated below the predetermined value with respect to the increase in m may be obtained. .
[0028]
The image compression unit 22d receives the optimum principal component image S obtained by the optimum principal component vector / image extraction unit 22c. _k (K = 1 to m ₁ The image structure is compressed based on the image structure for each image data.
Optimal principal component image S _k (K = 1 to m ₁ ) Is the k-th principal component vector p _k It is a black-and-white image composed of image data expressed by brightness values based on the coefficient of (λ). The image compression unit 22c performs image structure compression on such image data for each principal component image of each principal component. Examples of the image structure compression method include a DCT (Discrete Cosine Transformation) method used in JPEG (Joint Photographics Expert Group). Hereinafter, the JPEG method will be described. However, the present invention is not limited to this method, and for example, a DFT (Discrete Fourier Transformation) method, an FFT (Fast Fourier Transformation) method, or a WT (Wavelet Transformation) method may be used.
[0029]
The JPEG method is, for example, a principal component image S of 1024 × 1024 pixels. _k Is divided into 8 × 8 pixel block images, and each block image is subjected to DCT, which is a two-dimensional discrete Fourier expansion using a cosine function, and a plurality of Fouriers obtained from low frequency components to high frequency components are obtained. After obtaining the coefficient as a DCT coefficient, the DCT coefficient is divided by a predetermined quantization table, and the Fourier coefficient of the high frequency component is omitted as 0, thereby compressing the image data of the high frequency component, and then the DCT coefficient In this method, the DCT coefficient image data is encoded and compressed using a Huffman coding method or a known arithmetic coding method. Here, the value of the quantization table is the principal component image S. _k Depending on the image structure.
In the present invention, the image data from which the high-frequency component of the DCT coefficient is removed by the quantization table is used as compressed multispectral image data from the image compression unit 22d without using a Huffman coding method or a known arithmetic coding method. It may be output. In addition, the optimum principal component image S _k (K = 1 to m ₁ ) May be directly compressed by encoding.
[0030]
The system 10 is configured as described above.
Next, the flow of the image compression method along the system 10 will be described with reference to FIG.
[0031]
First, a photographic subject O is photographed by a multiband camera formed by the light source 12, the variable filter 14, and the CCD camera 16, and a multiband consisting of a plurality of band images, for example, a plurality of band images divided into 41 band bands. Image M _B Is acquired (step 100). Obtained multiband image M _B Is temporarily stored in the multiband image data storage device 18. When done Both are sent to the multispectral image acquisition device 20.
[0032]
The multispectral image acquisition apparatus 20 includes a one-dimensional lookup table (one-dimensional LUT) created from the relationship between, for example, the image data of the gray patch of the Macbeth chart and the value of the spectral reflectance thereof. Using the LUT, the multiband image M of the photographic subject O called from the multiband image data storage device 18 _B Multispectral image M by estimating the spectral reflectance of the photographic subject O for each pixel using the image data of _S Image data is acquired (step 102). In the estimation of the spectral reflectance of the photographic subject O, a deconvolution process using a matrix operation or Fourier transform may be added in order to estimate a highly accurate spectral reflectance distribution.
[0033]
Next, the obtained multispectral image M _S Logarithmically transform the image data and analyze the principal component to obtain the optimum number of principal components m ₁ Is determined (step 104).
First, before performing the principal component analysis, the image data of the multispectral image is subjected to logarithmic conversion processing, that is, Log conversion of the image data is performed (step 105).
[0034]
Here, the logarithmic conversion is performed for the following reason.
That is, the multispectral image M _S Is the image data obtained according to the spectral transmission characteristics of the variable filter 14 showing a steep mountain distribution centered on the predetermined peak wavelength, and therefore the value of the obtained image data is actually the predetermined peak. It is approximately represented by the product of the spectral wavelength intensity distribution value of the illumination light of the light source 12 at the wavelength, the spectral reflectance distribution value of the photographic subject O, and the spectral sensitivity characteristic value of the CCD camera 16. By applying logarithmic transformation, the multispectral image M _S The logarithmically converted image data values of the image data are the logarithmic value of the spectral wavelength intensity distribution value of the illumination light of the light source 12, the logarithmic value of the spectral reflectance distribution value of the photographic subject O, This is because it can be decomposed into a sum of logarithmic values of the reflectance distribution values and correspond to a linear sum of principal component vectors performed in principal component analysis, as shown in Equation (3) described later.
[0035]
On the other hand, if there is a portion where the spectral intensity distribution of the light source 12 is different even in the photographic subject O having the same spectral reflectance, the multispectral image M that is not subjected to logarithmic conversion. _S Is represented by the product of the value of the spectral wavelength intensity distribution, the value of the spectral reflectance distribution of the photographic subject O, and the value of the spectral sensitivity characteristic of the CCD camera 16. _k It cannot be expressed in correspondence with the principal component analysis expressed by the linear sum of (λ). Therefore, the multispectral image M can be expressed by increasing the number of principal components. _S Therefore, the compression efficiency at the time of image compression which is the object of the present invention cannot be sufficiently increased.
[0036]
Next, principal component analysis is performed on the logarithmically transformed image data obtained by logarithmically transforming the multispectral image data in this way (step 106), and the principal component image S _k (K = 1 to n) and principal component vector p _k (Λ) (k = 1 to n) is obtained.
Hereinafter, the principal component analysis method will be described.
[0037]
Multispectral image M _s Has a spectral reflectance distribution having n spectral reflectance values at the pixel position (i, j), and a multispectral image M _s Logarithmically transformed image data obtained by logarithmically transforming the image data of R (i, j, λ) = (R (i, j, λ ₁ ), R (i, j, λ ₂ ), R (i, j, λ _Three ), ..., R (i, j, λ _n )) ^T (Lowercase ^T Is a transposition))), and an autocorrelation matrix T (the (k, l) component T of T) in a pixel of the entire image or a part of the image, for example, the remaining pixels obtained by thinning out the pixels from the entire image at regular intervals. _kl Is R ^T R / n, and is an inner product related to the pixel position).
[0038]
The obtained autocorrelation matrix T is an n × n square matrix, and using this autocorrelation matrix T, an eigenvalue u that satisfies the following equation (2): _k (U ₁ > U ₂ >...> u _n , K = 1 to n) and the principal component vector p which is an orthonormalized eigenvector _k (Λ) = (p _k (i, j, λ ₁ ), P _k (i, j, λ ₂ ), P _k (I, j, λ _Three ), ..., p _k (I, j, λ _n )) ^T (K = 1 to n) is obtained. The method for obtaining the eigenvalue and the eigenvector is not particularly limited as long as it is a known method such as the jacobi method or the power method.
T ・ p _k (Λ) = u _k p _k (Λ) (2)
[0039]
Further, the logarithmically transformed image data R (i, j, λ) of the spectral reflectance distribution at the pixel position (i, j) is a principal component vector p which is an eigenvector as shown in the following equation (3). _k Since (λ) (k = 1 to n),
[Expression 1]

In accordance with the following equation (4), the principal component vector p _k (Λ) (k = 1 to n) are normal to each other Orthogonal Taking advantage of the relationship, s _k (I, j) to find.
s _k (I, j) = R (i, j, λ) · p _k (Λ) (4)
Here, the symbol • is an inner product of vectors related to the spectral wavelength of the band band composed of n components, and s _k (I, j) is the k-th principal component vector p included in the logarithmically transformed image data R (i, j, λ) of the spectral reflectance distribution at the pixel position (i, j) of the multispectral image. _k It is an amount indicating the size of. This s _k (I, j) is obtained at each pixel position, and the k-th principal component image S having the value as image data at each pixel position. _k (K = 1 to n) is obtained.
[0040]
Incidentally, the contribution of the first to n-th principal components in the logarithmically transformed image data R (i, j, λ) of the spectral reflectance distribution is, as described above, the eigenvalue u associated with each principal component. _k Since the logarithmically transformed image data R (i, j, λ) of the spectral reflectance distribution is small as long as the image information is optimally held, the small eigenvalue u decreases. _k Principal component vector p with _k Can be approximated by omitting.
That is, as shown in the following formula (5), the eigenvalue u _k Eigenvalue u within mth from the top when (k = 1 to n) are arranged in descending order _k Principal component vector p which is an eigenvector corresponding to (k = 1 to m) _k (Λ) (k = 1 to m) is adopted, and other eigenvalues u _k Principal component vector p which is a small eigenvector of _k By truncating (λ) (k = m + 1 to n), logarithmically converted image data R (i, j, λ) of the spectral reflectance distribution can be approximated and the image data can be compressed.
[Expression 2]

[0041]
In particular, as described above, the logarithmically converted image data R (i, j, λ) of the spectral reflectance distribution is obtained by logarithmically converting the image data of the multiband image to obtain the logarithmic value of the intensity distribution of the spectral wavelength and the subject to be photographed. Since it can be expressed by the sum of logarithmic values of the spectral reflectance distribution of O, if there is a portion where the spectral reflectance of the photographic subject O is the same, but there is a portion where the illumination intensity of the light source 12 is different, for example, the photographic subject When there is a shadow portion due to illumination light on the surface of the same material of O, the principal component vector p of the logarithmically converted image data of the spectral reflectance distribution of the same material of the photographic subject O _k The data is added to (λ) by the logarithmically converted bias amount of the spectral intensity distribution due to the shaded portion of the illumination light. Therefore, the main component based on the spectral reflectance of the photographic subject O can be extracted effectively in a state of logarithm conversion, distinguishing it from the bias amount due to the spectral intensity distribution of the illumination light. As a result, the optimal number of principal components m compared to the case where principal component analysis is performed without logarithmic transformation. ₁ Can be suppressed, and the compression rate of the image targeted by the present invention can be increased.
[0042]
Therefore, the principal component vector p such that the logarithmically converted image data R (i, j, λ) of the spectral reflectance distribution is approximately represented without impairing the image information. _k Adopted number, that is, optimum number of principal components m ₁ And using this, the multispectral image M _s Compress. As a result, the multispectral image M _s The image data can be compressed without degrading the image quality.
Where eigenvalue u _k Principal component vector p which is a large eigenvector _k (Λ) (k = 1 to m ₁ ) And the eigenvalue u _k Small eigenvector p _k (Λ) (k = m ₁ Optimal number of principal components m for rounding down +1 to n) ₁ Is set according to the following criteria (step 108).
[0043]
First, the eigenvalue u _k Principal component vector p in descending order of _k (Λ) in turn is the principal component vector p of equation (5) _k Approximate logarithm-transformed image data R ′ (i, j, λ) of the spectral reflectance distribution corresponding to the multispectral image represented by the following formula (6) is included in (λ).
[Equation 3]

The approximate logarithmically transformed image data R ′ (i, j, λ) has an error because it approximates the logarithmically transformed image data R (i, j, λ), but this approximate logarithmically transformed image data R ′ (i , j, λ) is converted to an exact number, and a multispectral image M of the image information of the composite image G obtained by multiplying a constant spectral intensity distribution as a spectral intensity distribution of illumination light. _S The error with respect to the image information of the original image obtained by multiplying the above-mentioned spectral intensity distribution also decreases as the number of principal components m increases. Therefore, a predetermined value is set as a judgment criterion, and the image information of the synthesized image G obtained by multiplying the approximate logarithmically transformed image data R ′ (i, j, λ) by the spectral intensity distribution is the image information of the original image. The minimum optimum principal component number m is obtained by obtaining the first principal component number m whose error is smaller than the predetermined value set as the determination criterion. ₁ Is acquired.
[0044]
For example , Multispectral image M of image information of composite image G _S The error in the image information of the color difference ΔE between the colorimetric values L *, a * and b * in the CIEL * a * b * color space under the standard light conditions of CIED65. ₀ This color difference ΔE ₀ The above-mentioned predetermined value for is determined, and the minimum optimum number of principal components m ₁ Ask for.
Further, the error is the square error E of the spectrum of the entire image or a part of the composite image G. ₁ In this case, the square error E with respect to the increase in the number of principal components m. ₁ Minimum optimal number of principal components m when the amount of decrease is saturated within a predetermined value ₁ May be obtained.
[0045]
In this way, the multispectral image M _s The minimum number of optimal principal components m that best represents the image information ₁ , So that the eigenvalue u ₁ ~ U _m1 (U ₁ ~ U _m1 > U _m1 > U _{m1 + 1} >...> u _n M corresponding to ₁ Optimal principal component vectors p _k (Λ) (k = 1 to m ₁ ) And the optimal principal component image S _k (K = 1 to m ₁ ) To get. Where the principal component vector p to be removed _k (Λ) (k = m ₁ +1 to n), the noise component included in the multispectral image Ms is relatively dominant, and the principal component vector p having a small contribution from the multispectral image Ms. _k (Λ) (k = m ₁ By removing +1 to n), the multispectral image M _s The noise component contained in can also be suppressed.
[0046]
Next, the obtained optimum principal component image S _k (K = 1 to m ₁ ), The image compression unit 22d performs image compression (step 110). Image compression includes logarithmically transformed image data compression (step 112) and encoded data compression (step 114) based on the image structure.
The logarithmically converted image data based on the image structure is compressed by, for example, JPEG compression, for example, a principal component image S of 1024 × 1024 pixels. _k Is divided into 8 × 8 pixel block images, and each block image is subjected to DCT, which is a two-dimensional discrete Fourier expansion using a cosine function, and a plurality of Fouriers obtained from low frequency components to high frequency components are obtained. After obtaining the coefficient as a DCT coefficient, a quotient obtained by dividing the DCT coefficient by a predetermined quantization table is set as image data. Here, the coefficient of the quantization table that divides the DCT coefficient has a larger value as the frequency component becomes higher, and the DCT coefficient of the high frequency component is smaller than the low frequency component, so the DCT coefficient of the high frequency component is divided. Most of the quotient is 0. That is, the optimum principal component image S _k (K = 1 to m ₁ ) Is set to 0 by the quantization table based on the image structure. In general, the high frequency component included in the image data has a small contribution to the image with respect to the low frequency component, and even if the high frequency component is removed, the influence on the image information of the original image is small, and the high frequency component may be omitted. Because there is no. In addition, the high-frequency component is often dominated by the noise component as compared with the image component of the photographic subject O, and the noise component included in the image data can be removed by removing the high-frequency component.
[0047]
Information entropy can be reduced by setting the DCT coefficient of the high-frequency component of most logarithmically transformed image data to 0 in this way, and logarithmically transformed image data can be reduced during encoded data compression (step 114) described later. Can be greatly compressed.
[0048]
Next, the principal component image S composed of DCT coefficients in which most of the high frequency components are zero. _k (K = 1 to m ₁ ) Are respectively encoded and the logarithmically converted image data is compressed (step 114). For example, Huffman encoding or other arithmetic encoding is performed.
For example, in Huffman coding, a DC component that is a zero-order low-frequency component of a DCT coefficient is divided into a frequency component other than the DC component and, for example, 1 / D that is displayed only with a DC component that represents a block image of 8 × 8 pixels. An 8 × 1/8 scale image is obtained, and this scaled image is compressed by DPCM encoding by taking a difference from adjacent pixel values.
On the other hand, since the frequency components other than the direct current component become high frequency components, the DCT coefficient becomes 0. Therefore, when sequentially encoding DCT coefficients from low frequency to high frequency, the number of continuous DCT coefficients 0, That is, encoding is performed by run length, and the compression rate of logarithmically converted image data can be increased.
[0049]
In this way, the optimum principal component image S _k (K = 1 to m ₁ ) Optimal principal component compressed image data Sd encoded by logarithmically transformed image data _k (K = 1 to m ₁ ) And the optimum principal component vector p determined in step 104 _k (Λ) (k = 1 to m ₁ In addition, the compressed multispectral image data is stored in various recording media such as a hard disk, an MO, a CD-R, and a DVD via the recording media drive device 24 (step 116).
[0050]
In the present invention, the multispectral image M having a large amount of image data. _s Logarithmically transform to obtain logarithmically transformed image data, and use this to perform principal component analysis, and optimal principal component vector p that optimally holds image information _k (Λ) (k = 1 to m ₁ ) And the optimal principal component image S _k (K = 1 to m ₁ ) Is compressed, and the optimum principal component image S is further compressed by the JPEG method or the like. _k (K = 1 to m ₁ ) Corresponding to the compressed image data Sd _k (K = 1 to m ₁ ) To obtain the optimal principal component vector p _k (Λ) (k = 1 to m ₁ ) And compressed image data Sd _k (K = 1 to m ₁ ) Is recorded and saved.
[0051]
Thereby, the compression rate at the time of image compression is increased without visually degrading a plurality of spectrum images, and the handling of image data is improved. In particular, in principal component analysis, principal component analysis is performed using logarithmically transformed image data obtained by logarithmically transforming image data of a multispectral image to be subjected to principal component analysis so as to correspond to linear display of principal component vectors. The contribution of the spectral intensity distribution of the illumination light and the spectral reflectance distribution of the photographic subject O can be clearly separated, and a multiband image in which the spectral reflectance of the photographic subject O is the same but the illumination intensity is partially different, or illumination In a multiband image that differs only in intensity and occupies a large area where the spectral reflectance of the photographic subject O is the same, the compression efficiency at the time of image compression can be increased.
[0052]
The image data that has been compressed and stored in the recording medium or the like is called as necessary, and is subjected to expansion processing by compression of the encoded data and inverse conversion of compression based on the image structure, and the optimum principal component vector p _k (Λ) (k = 1 to m ₁ ) And the optimal principal component image S _k (K = 1 to m ₁ ) And the optimum principal component vector p _k (Λ) and the optimal principal component image S _k Thus, approximate logarithmic transformation image data R ′ (i, j, λ) is obtained, and finally, a multi-spectral image is obtained by performing a true number transformation.
[0053]
In such a multispectral image compression method and image compression apparatus, the following multispectral image was compressed.
A CA-D4-1024A manufactured by DALSA (pixel number: 1024 × 1024, pixel size: 12 × 12 microns, with a PCI interface, monochrome) is used as the CCD camera 16, and a variable spec tunable filter (liquid crystal tuner) manufactured by CRI is used as the variable filter 14. Bull filter) was used. With this liquid crystal tunable filter, the imaging wavelength band of 380 to 780 nm was divided into 10 nm increments to obtain 41 bands. A person is a shooting subject O, and a multi-band image M of a figure composed of 41 images. _B Got.
[0054]
The multiband image storage unit 18, the multispectral image acquisition device 20, and the multispectral image compression device 22 are configured using a book type PC (personal computer) manufactured by PROSIDE, and are used in C ++ language on Windows (registered trademark) 95. Software processing by. Note that the PROSIDE book type PC has a CPU of 166 MHz and a RAM of 128M. Part-Time Job Met.
As preprocessing, the quantization number of the image data is converted from 2 bytes to 1 byte for the convenience of software processing. This preprocessing is not included in the compression of the image data amount described below.
[0055]
First, in the multispectral image acquisition apparatus 20, the multiband image M _B To multispectral image M _S Is extracted, logarithmic transformation is performed, principal component analysis is performed, and the principal component vector p _k (Λ) (k = 1 to 41) and principal component image S _k (K = 1 to 41) was determined.
[0056]
Next, the optimum number of principal components m ₁ CIED as a criterion for determining ₆₅ CIED 1976L under standard light source ^* a ^* b ^* The average color difference based on the chromaticity in the color space is set to 1.5, and the eigenvalue u is determined by the principal component analysis method described above. _k And a principal component vector p which is an eigenvector _k Asked. Eigenvalue u _k M principal component vectors p adopted in descending order of _k A composite image G and a multispectral image M reconstructed by performing an exact transformation of (λ) (k = 1 to m) _s The average color difference from the original image obtained from the above is obtained, and the optimum number of main components m for which the average color difference is 1.5 or less ₁ It was determined.
As a result, the optimum number of principal components m ₁ Was 5. Also, logarithmically transformed image data R (i, j, λ) is converted into first to fifth principal component vectors p. _k Even if approximated by (λ), it was found that the reconstructed composite image G still retains the image information of the original image and is visually less degraded. That is, the first to fifth principal component images S _k Multispectral image M composed of 41 band bands by (k = 1 to 5) and the first to fifth principal component vectors. _s The image data amount could be compressed to about 1/8.
[0057]
Further, the obtained first to fifth principal component images S _k For (k = 1 to 5), the image data is compressed by the JPEG method by irreversible DCT based on the above-described image structure, and the optimum principal component image S _k Image data (k = 1 to 5) was encoded.
As a result, finally the principal component image S _k It was found that the image data of (k = 1 to 5) is compressed to about 1/70 from 41 Mbytes to 0.6 Mbytes. In addition, the image information was retained and no visual deterioration was observed.
[0058]
As described above, the image compression method and the image compression apparatus using the image compression method of the present invention increase the compression rate at the time of image compression with little visual deterioration with respect to a plurality of spectral images, for example, about 1/70. Obviously, the handling of image data is improved.
[0059]
The multispectral image compression method and image compression apparatus according to the present invention have been described in detail above. However, the present invention is not limited to the above embodiments, and various improvements and modifications can be made without departing from the scope of the present invention. Of course, you may also do.
[0060]
【The invention's effect】
As described above in detail, according to the present invention, the multispectral image data is logarithmically transformed into a form adapted to the principal component analysis method, the principal component analysis is performed, the image data amount is compressed, and the optimum principal component is further compressed. The image is compressed by JPEG, etc., and the image data of the optimal principal component image that has been further compressed is encoded into compressed image data. Therefore, the image is compressed without loss of image quality and further compressed. The rate can be increased and the handling of image data can be improved.
In addition, it is possible to remove the principal component vector in which the noise component is dominant from the principal component vector included in the multispectral image, and it is possible to suppress the noise component.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram showing an example of a multispectral image acquisition system including a multispectral image compression apparatus of the present invention.
FIG. 2 is a block diagram showing an example of a multispectral image compression apparatus according to the present invention.
FIG. 3 shows a multispectral image compression method according to the present invention. Operation in It is a flowchart which shows an example.
[Explanation of symbols]
10 Multispectral image acquisition system
12 Light source
14 Variable filter
16 CCD camera
18 Multiband image data storage device
20 Multispectral image acquisition device
22 Multispectral image compression device
22a Image data converter
22b Principal component analysis unit
22c Optimal principal component vector / image extractor
22d Image compression unit
24 Recording media drive device

Claims

A method of compressing a multispectral image obtained by using a band image obtained by dividing a shooting wavelength band into a plurality of band bands when shooting a subject, and logarithmically converting the image data of the multispectral image Using the logarithmically transformed image data as the logarithmically transformed image data, the principal component analysis is performed to obtain a plurality of principal component vector and principal component image pairs based on the multispectral image,
From these multiple pairs, the optimum principal component vector and the optimum principal component image corresponding thereto are obtained by obtaining the optimum principal component number of the principal component vector and principal component image that best represents the image information of the multispectral image. And
Image structure compression is performed on each obtained optimum principal component image to obtain optimum principal component compressed image data, whereby the image data of the multispectral image is converted into the optimum principal component vector and the optimum principal component compressed image data. An image compression method for a multispectral image, characterized by compression.

The multi-spectral image compression method according to claim 1, wherein the optimum number of principal components is determined based on a colorimetric value in a color space.

The optimum number of principal components is obtained by measuring an original image configured based on the multispectral image of image information of a colorimetric value of a composite image configured by being selected from the principal component vector and the principal component image. The image compression method for a multispectral image according to claim 1 or 2, wherein an error value with respect to image information of a color value is a minimum number of principal components that is a predetermined value or less.

The optimal number of principal components includes principal component vectors having a large contribution to the multispectral image in the order of principal components vectors having a large contribution, and is constituted by the corresponding principal component vectors and the principal component images. The image compression method for a multispectral image according to claim 3, wherein a variation in the error with respect to the original image when a composite image is obtained is a minimum number of principal components that falls within a predetermined value.

5. The method of compressing a multispectral image according to claim 1, wherein the image structure compression is compression of a high-frequency component of image data by discrete Fourier transform or wavelet transform.

6. The method of compressing a multispectral image according to claim 5, wherein the compression by the image structure is added with an encoding compression process for compressing the image data by encoding the image data.

A multispectral image compression apparatus that compresses a multispectral image obtained using a band image obtained by dividing a photographing wavelength band into a plurality of band bands when photographing a subject,
An image data converter for logarithmically converting the image data of the multispectral image to obtain logarithmically converted image data;
Using the logarithmically transformed image data obtained by this image data converter, a principal component analysis unit that performs principal component analysis and obtains a plurality of pairs of principal component vectors and principal component images based on multispectral images;
Among the multiple pairs of principal component vectors and principal component images obtained by this principal component analysis unit, the optimum number of principal components of the principal component vector and principal component image pair that best represents the image information of the multispectral image is determined. The optimum principal component vector / image extraction unit for obtaining the optimum principal component vector and the optimum principal component image,
An image compression apparatus for a multispectral image, comprising: an image compression unit that performs image structure compression on image data of each optimum principal component image obtained by the optimum component vector / image extraction unit.