JP3986221B2 - マルチスペクトル画像の画像圧縮方法および画像圧縮装置 - Google Patents
マルチスペクトル画像の画像圧縮方法および画像圧縮装置 Download PDFInfo
- Publication number
- JP3986221B2 JP3986221B2 JP29789599A JP29789599A JP3986221B2 JP 3986221 B2 JP3986221 B2 JP 3986221B2 JP 29789599 A JP29789599 A JP 29789599A JP 29789599 A JP29789599 A JP 29789599A JP 3986221 B2 JP3986221 B2 JP 3986221B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- principal component
- tile
- multispectral
- optimum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Astronomy & Astrophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、被写体を撮影する際の撮影波長領域を複数のバンド帯域に分割して撮影された複数のバンド画像を用いて得られるマルチスペクトル画像の画像データに対して、画像品質を損なうことなく効率的に圧縮することのできる画像データの圧縮処理の技術分野に関する。
【０００２】
【従来の技術】
今日、デジタル画像処理の進歩によって、画像の色情報（明度、色相、彩度）を完全に表現する手段として、画像の各画素毎に分光情報（スペクトル画像）を備える画像、すなわちマルチスペクトル画像が利用されている。
このマルチスペクトル画像は、撮影被写体を、複数のバンド帯域に分割して各バンド帯域毎に撮影した複数のバンド画像から構成されるマルチバンド画像に基づいて分光反射率分布を各画像毎に推定して得られるものである。このマルチバンド画像は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）画像からなる従来のＲＧＢカラー画像では十分に表現できない色情報を再現することができ、例えばより正確な色再現が望まれる絵画の世界にとって有効である。そこで、この色情報を正確に再現するといった特徴を生かすために、例えば３８０〜７８０ｎｍの撮影波長帯域を１０ｎｍ帯域毎に区切って４１バンドさらには５ｎｍ帯域毎に区切って８１バンドといった多くのバンド数を備えたマルチバンド画像に基づいてマルチスペクトル画像を得ることが望まれる。
【０００３】
しかし、画素毎に分光情報を備えるマルチスペクトル画像は、撮影波長帯域を分割した各帯域（チャンネル）毎に、例えば４１チャンネル毎に分光反射率データを有するため、従来から用いられてきた３チャンネルのＲＧＢカラー画像に比べ、例えば約１３倍（４１チャンネル／３チャンネル）の画像データ量を備えなければならない。
そのため、得られたマルチスペクトル画像の画像データを保存する場合、大きな記憶容量が必要となり、保存に要する時間も長い。また、画像データをネットワークを介して転送する際にも多大の時間がかかり、取り扱いが困難になる。
【０００４】
このような問題に対して、マルチスペクトル画像の各画素ごとの分光情報から得られるスペクトル波形を３つの等色関数、例えばＲＧＢ表色形の等色関数で展開するとともに、等色関数で表されないスペクトル波形の部分を、主成分分析法を用いて、主成分基底ベクトルで展開し、その中からスペクトル画像の画像情報を代表する主成分を抽出して採用し、それ以外の主成分は取り除き、最終的に等色関数を含め合計６〜８個の基底ベクトルで上記スペクトル波形を表現する方法が提案されている（Th.Keusen ,Multispectoral Color System wuth an Encoding Format Compatible with the Conventional Tristimulus Model ,Journal of Imaging Science and Technology 40: 510-515 (1996) ) 。これを用いて、上記スペクトル波形を６〜８個の基底ベクトルとそれに対応した係数の対とで表わすことによって、マルチスペクトル画像の画像データを圧縮することができる。特に、ＲＧＢ表色形の等色関数で表される場合、等色関数の係数は、Ｒ、ＧおよびＢの三刺激値となるので、Ｒ、ＧおよびＢ画素による３刺激値に基づいて画像処理や画像表示等が行われる従来の画像処理装置や画像表示装置に対応して適合するように特別な変換を施す必要がなく、直接画像データを送ることができるといった処理の低減に対して優れた効果を備える。
【０００５】
【発明が解決しようとする課題】
このような方法によって得られる画像データは、例えば４１個のスペクトル画像から構成されるマルチスペクトル画像の場合、例えば８個の基底ベクトルとその係数によって表すことによって、マルチスペクトル画像の画像データ量の約２０％（８個／４１個×１００）に圧縮することができる。
しかし、４１個のスペクトル画像から構成されるマルチスペクトル画像の場合、ＲＧＢカラー画像の画像データ量に比べて約１３倍も大きく、上記方法で約３０％に圧縮できたとしても、ＲＧＢカラー画像の画像データ量に対して、依然として約２．５倍（１３×２０／１００）ものデータ量を有することになる。そのため、上述したように記録メディア等に記録保存する際の記録時間や画像データをネットワークを介して転送する際の転送時間も長く、依然として取り扱いが困難である。
【０００６】
そこで、本発明は、上記問題点を解決し、被写体を撮影する際の撮影波長帯域を複数のバンド帯域に分割することで得られる複数のスペクトル画像に対して、視覚的に劣化することが少なく画像圧縮の際の圧縮率を高め、画像データの取り扱いが向上するマルチスペクトル画像の画像圧縮方法および画像圧縮装置を提供することを目的とする。
【０００７】
上記目的を達成するために、本発明は、被写体を撮影する際に撮影波長帯域を複数のバンド帯域に分割して撮影された複数のバンド画像を用いて得られた複数のスペクトル画像から成るマルチスペクトル画像を画像圧縮する方法であって、
前記マルチスペクトル画像を複数のタイル画像に分割し、
このタイル画像それぞれに対して主成分分析を行い、各タイル画像毎にマルチスペクトル画像の主成分ベクトルと主成分画像の複数の対を得、
この複数の対の中から、マルチスペクトル画像の画像情報を最適に代表する最適主成分数を求め、最適主成分ベクトルとこれに対応する最適主成分画像を各タイル画像毎に得、
タイル画像毎に得られた各最適主成分画像に対し画像圧縮を行い最適主成分圧縮画像データを得ることを特徴とするマルチスペクトル画像の画像圧縮方法を提供するものである。
【０００８】
ここで、前記マルチスペクトル画像の圧縮画像データは、前記最適主成分画像、前記最適主成分ベクトルおよび前記最適主成分数の他に、前記タイル画像のタイル番号、タイル位置および前記タイル画像の画像サイズの情報を有するタイル画像情報を用いて表されるのが好ましい。
また、前記最適主成分数は、色空間上の測色値に基づいて決定されるのが好ましく、前記最適主成分数は、前記主成分ベクトルと前記主成分画像の中から選ばれて構成される合成画像の画像情報の、前記マルチスペクトル画像に基づいて構成されるオリジナル画像の画像情報に対する誤差の値が、所定値以下となる最小の主成分数であり、あるいは、前記マルチスペクトル画像に対する寄与の大きい主成分ベクトルを、主成分ベクトルの寄与の大きい順に、順次含めて前記合成画像を求めた時の前記オリジナル画像に対する誤差の変動が、所定値以下に収まる最小の主成分数であるのが好ましい。
また、前記タイル画像の画素サイズは、縦方向および横方向ともに２の巾乗であるのが好ましく、また、前記タイル画像の画素サイズは、すべて同一サイズであるのが好ましい。
また、前記最適主成分数は、色空間における色度差を所定値以下とする最小の主成分数であるのが好ましく、また、前記色空間は、ＣＩＥＤ 65 の標準光源下のＣＩＥＤ１９７６Ｌ * ａ * ｂ * 色空間であり、前記所定値は、この色空間における色度に基づく平均色差が１．５であるのが好ましい。
【０００９】
被写体を撮影する際に撮影波長帯域を複数のバンド帯域に分割したバンド画像を用いて得られるマルチスペクトル画像を画像圧縮するマルチスペクトル画像の画像圧縮装置であって、
マルチスペクトル画像を複数のタイル画像に分割する画像分割部と、
画像分割部で得られたタイル画像それぞれに対して、主成分分析を行って、各タイル画像毎に、マルチスペクトル画像の主成分ベクトルと主成分画像の複数の対を得る主成分分析部と、
この主成分分析部で得られた主成分ベクトルと主成分画像の複数の対の中から、マルチスペクトル画像の画像情報を最適に代表する最適主成分数を求めて、最適主成分ベクトルと最適主成分画像を得る最適主成分ベクトル・画像抽出部とを備え、
前記最適主成分ベクトル・画像抽出部で得られた各タイル画像の最適主成分画像に対し画像圧縮を行い最適主成分圧縮画像データを得ることを特徴とするマルチスペクトル画像の画像圧縮装置を提供するものである。
【００１０】
【発明の実施の形態】
以下、本発明のマルチスペクトル画像の画像圧縮方法を実施するマルチスペクトル画像取得システムについて、添付の図面に示される好適実施例を基に詳細に説明する。
【００１１】
図１は、本発明のマルチスペクトル画像の画像圧縮方法を実施し、本発明のマルチスペクトル画像の画像圧縮装置を含むマルチスペクトル画像取得システム（以下、本システムという）１０を示す。
本システム１０は、撮影被写体Ｏを撮影し、得られたマルチスペクトル画像ＭS の画像データを記録メディアに保存するものであって、撮影被写体Ｏを照らす光源１２と、撮影波長帯域を複数のバンド帯域に分割する可変フィルタ１４と、撮影被写体Ｏを撮影してマルチバンド画像ＭB を得るＣＣＤカメラ１６と、画像データを一時保持するマルチバンド画像記憶部１８と、マルチバンド画像から各画素毎に分光反射率分布を推定してマルチスペクトル画像ＭS を得るマルチスペクトル画像取得装置２０と、マルチスペクトル画像ＭS の画像データを、視覚的な劣化が少なく、圧縮率を高くして圧縮するマルチスペクトル画像圧縮装置２２と、得られた圧縮画像データを保存する記録メディアドライブ装置２４とを主に有して構成される。なお、本発明において、マルチスペクトル画像Ｍs は、少なくとも６チャンネル以上のスペクトル画像を備え、すなわち、分光反射率分布において構成波長数が６以上であるのが好ましい。
【００１２】
光源１２は、撮影被写体Ｏを撮影するものであって、光源の種類等は特に制限されないが、撮影されたマルチバンド画像ＭB から分光反射率を推定し、マルチスペクトル画像ＭS を取得するために、分光強度分布が既知の光源であることが好ましい。
可変フィルタ１４は、撮影被写体Ｏを撮影してマルチバンド画像ＭB を得るために、撮影波長帯域を分割するバンド帯域が可変に設定可能なバンドパスフィルタであり、例えば１６バンド、２１バンドや４１バンド等に分割することができる。このような可変フィルタとして、例えば液晶チューナブルフィルタが挙げられる。
【００１３】
ＣＣＤカメラ１６は、撮影被写体Ｏの反射光を可変フィルタ１４を介して所望の波長帯域に分光された透過光によって結像される像を黒白のバンド画像として撮影するカメラであって、受光面には、エリアセンサとしてＣＣＤ（charge coupled device ) 撮像素子が面状に配置されている。
また、ＣＣＤカメラ１６には、撮影される画像の明度値のダイナミックレンジを適切に定めるため、撮影被写体Ｏの撮影前に行うホワイトバランスの調整機構を備える。
【００１４】
マルチバンド画像データ記憶装置１８は、撮影波長帯域を複数のバンド帯域に分割して撮影され、各バンドに対応するホワイトバランスの調整された複数のバンド画像からなるマルチバンド画像ＭB を一時記憶保持する部分である。
マルチスペクトル取得装置２０は、ＣＣＤカメラ１６で撮影された分光反射率の既知の撮影被写体の画像データ、例えばマクベスチャートのグレーパッチの画像データとその既知の分光反射率の値との対応関係から予め作成された１次元ルックアップテーブル（１次元ＬＵＴ）を備え、この１次元ＬＵＴを用いて、マルチバンド画像データ記憶装置１８より呼び出された撮影被写体Ｏのマルチバンド画像ＭB の画像データから各画素毎の撮影被写体Ｏの分光反射率を推定し、マルチスペクトル画像ＭS を取得する部分である。
撮影被写体Ｏの分光反射率の推定において、可変フィルタ１４のフィルタ特性、すなわち可変フィルタ１４の分光透過率分布がバンド間で一部分が重なった特性を有する場合、得られるマルチスペクトル画像ＭS の分光反射率分布は鈍り、精度の高い分光反射率分布を推定することができないため、マトリクス演算やフーリエ変換を用いて、上記フィルタ特性を排除するデコンボリューション処理を施してもよい。
このようにして、可変フィルタ１４を用いて、ｎ個のバンド帯域に分割したマルチバンド画像ＭB から、分光情報として、ｎ個の構成波長からなる分光反射率を備えるマルチスペクトル画像ＭS を取得する。
【００１５】
記録メディアドライブ装置２４は、ハードディスクやフロッピーディスクやＭＯやＣＤ−ＲやＤＶＤ等の記録メディアに記録するドライブ装置であり、マルチスペクトル画像ＭS の画像データを後述するマルチスペクトル画像圧縮装置２２で圧縮した圧縮マルチスペクトル画像データを記録することができる。また、記録メディアドライブ装置２４と共に、またこれに替えて、後述する圧縮マルチスペクトル画像データを各種ネットワークを介して転送するために、ネットワーク接続装置を備えてもよい。
【００１６】
マルチスペクトル画像圧縮装置２２は、マルチスペクトル取得装置２０で得られたマルチスペクトル画像ＭS を構成するマルチスペクトル画像データに対して、視覚的な劣化が少なく画像圧縮率の高い圧縮マルチスペクトル画像データを求める部分であり、図２に示すように、画像分割部２２ａ、主成分分析部２２ｂおよび最適主成分ベクトル・画像抽出部２２ｃとを備える。また、本装置は、以下に示すような機能を備えるソフトウェアで構成してもよく、また１つのハードウェアとして構成してもよい。
【００１７】
画像分割部２２ａは、マルチスペクトル画像取得部２０で得られた画像を、ｎt 個のタイル画像Ｔl （ｌ＝１〜ｎt ）に分割する部分である。例えば、マルチスペクトル画像Ｍs の画像サイズが１０２４×１０２４画素の場合、タイル画像Ｔl の画像サイズを１６×１６画素等に分割する。ここで、タイル画像Ｔl の画像サイズについては、タイル画像Ｔl の総画像数が少なくとも、マルチスペクトル画像ＭS の各画素毎の分光反射率分布の構成波長数より大きいことが必要である。タイル画像Ｔl の総画素数を構成波長数より大きくしなければ、後述する主成分分析において、精度の高い主成分ベクトルを求めることができないからである。
【００１８】
図３は、タイル画像Ｔl の分割の一例が示されており、タイル画像Ｔl は、縦方向に６分割、横方向に７分割し、合計４２個のタイル画像Ｔl に分割し、すべて同一の画像サイズである。すべて同一の画像サイズとすることで、以降で述べる主成分分析や画像情報の作成における処理が容易となるためである。また、タイル画像Ｔl の縦方向および横方向の画像サイズとも、画素数を２の巾乗とするのが好ましい。圧縮した画像を再度呼び出して処理を行う際の便宜をはかるためである。
【００１９】
本実施例では、タイル画像Ｔl はすべて同一の画像サイズであるが、必ずしも同一の画像サイズである必要はなく、例えば、背景が空や地面等であって、色相、明度や彩度の変化の少ない部分は、タイル画像Ｔl の画像サイズを大きくし、一方、被写体等を含み、色相、明度や彩度の変化の激しい部分は、画像サイズを小さくするといったように、画像内容に応じて適宜タイル画像Ｔl の画像サイズを変えてもよく、このように画像サイズを変えることによって圧縮率を高めることができる。
また、タイル画像Ｔl の総画像数が少なくとも構成波長数より大きい限りにおいて、タイル画像Ｔl の画像サイズや縦横比等は、特に制限されない。
【００２０】
主成分分析部２２ｂは、マルチスペクトル画像ＭSを分割してタイル画像Ｔl（ｌ＝１〜ｎt）の各画素毎に備える分光反射率分布の主成分分析を行い、各画素ごとに分光反射率分布を主成分に展開する部分である。なお、以降では、バンド数をｎとして説明する。
本発明における主成分分析法は、観測波形データ群を正規直交展開して標本化する方法の一つで、最適標本化といわれるものである。即ち、最も少ない数の直交基底関数の加重平均で、観測波形データを最も精度良く表現するための方法である。ここでは、直交基底関数を主成分ベクトルと呼ぶ。
本発明における主成分分析として具体的には、マルチスペクトル画像ＭS のタイル画像Ｔl（ｌ＝１〜ｎt）の画素毎の観測波形から、統計的手法および固有値解析法を用いて、観測波形に固有の１次独立な固有ベクトルを主成分ベクトルとして求め、この主成分ベクトルから、本来観測波形に雑音成分が無ければ、固有値が０となる固有値の小さな主成分ベクトルを取り除き、バンド数ｎより少ない数の最適主成分ベクトルを求め、この最適主成分ベクトルによって観測波形を線型的に表す、南茂夫著、「科学計測のための波形データ処理」、２２０−２２５頁に記載の方法が挙げられる。この分析方法は、主成分分析部２２ｂおよび後述する最適主成分ベクトル・画像抽出部２２ｃにおいて主に行われる。
主成分分析法を用いる場合には、観測波形であるマルチスペクトル画像ＭSのタイル画像Ｔl（ｌ＝１〜ｎt）の画素毎の分光反射率波形が、線型的に表すことができ、また分光反射率波形に含まれる雑音成分も、分光反射率の値と無関係な雑音であることが好ましい。
【００２１】
本実施例に沿って説明すると、マルチスペクトル画像ＭS のタイル画像Ｔl （ｌ＝１〜ｎt ）は、各画素毎に、可変フィルタ１４を用いて被写体の撮影波長帯域を分割したバンドの数ｎだけ分光反射率分布Ｒの値を有する。すなわちｎバンドの数に相当するｎ個の構成波長を持ち、ｎ個の分光反射率の値からなる分光反射率分布Ｒを有する。しかも、マルチスペクトル画像ＭS の各画素は、例えば１６×１６画素、すなわち２５６個の画素で構成され、この総画素数は、構成波長数であるｎよりも大きいため、画像の画素位置によらない統計的処理、すなわち、後述するように、ｎ次元ベクトルの形式で表された分光反射率分布Ｒ (i,j ，λ) ＝( Ｒ (i,j ，λ1)，Ｒ(i,j，λ2)，Ｒ(i,j，λ3)，・・・，Ｒ（i,j ，λn ) ）T （小文字T は転置を示し、(i,j) は、注目画素の画素位置であり、λは分光波長を示す）の、タイル画像Ｔl の画像領域全体の画素に関する自己相関行列Ｔを求めて、統計的に分光反射率の主成分分析を行うことができる。
【００２２】
ここで、主成分分析されて求められる主成分は、統計的処理を用いて得られるもので、例えばｎバンドの数に相当するｎ個の分光反射率の値からなる正規直交化された自己相関行列Ｔの固有ベクトルである主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）と自己相関行列Ｔの固有値ｕk （ｋ＝１〜ｎ（ｋは１以上ｎ以下の整数を示す））の対が求められる。また、主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）を用いて、タイル画像Ｔl の画素位置(i,j) での分光反射率分布Ｒ(i,j，λ) を線型展開し、その際得られる各主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）に係る係数ｓk (i,j) （ｋ＝１〜ｎ）を求め、これを画素位置(i,j) での画像データとする主成分画像Ｓk （ｋ＝１〜ｎ）を得ることができる。
主成分分析は、タイル画像Ｔl （ｌ＝１〜ｎt ）おのおのについて行われ、得られたタイル画像Ｔl （ｌ＝１〜ｎt ）毎の主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）および主成分画像Ｓk （ｋ＝１〜ｎ）は、最適主成分ベクトル・画像抽出部２２ｃに送られる。
【００２３】
最適主成分ベクトル・画像抽出部２２ｃは、主成分分析部２２ｂで得られた各タイル画像Ｔl （ｌ＝１〜ｎt ）の主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）とそれに対応した主成分画像Ｓk （ｋ＝１〜ｎ）とを用いて、各タイル画像Ｔl （ｌ＝１〜ｎt ）毎に最適主成分数ｍ1 を定め、各タイル画像Ｔl （ｌ＝１〜ｎt ）毎に、最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像のＳk （ｋ＝１〜ｍ1 ）を抽出する部分である。
すなわち、タイル画像Ｔl のｎ個の主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）とそれに対応した主成分画像Ｓk （ｋ＝１〜ｎ）の対の中から、それより少ないｍ（ｍ＜ｎ）個の主成分ベクトルｐk （λ）（ｋ＝１〜ｍ）とそれに対応した主成分画像Ｓk （ｋ＝１〜ｍ）の対を用いて合成画像Ｇを求め、この合成画像Ｇの画像情報の、タイル画像Ｔl に基づくオリジナル画像の画像情報に対する誤差を用いて、ｍ個の主成分ベクトルｐk （λ）（ｋ＝１〜ｍ）とそれに対応した主成分画像Ｓk （ｋ＝１〜ｍ）が最適な主成分であるかどうか判断する。
【００２４】
ここで、タイル画像Ｔl の主成分ベクトルｐk （λ）は、対応した固有値ｕk が大きい程、タイル画像Ｔl の分光反射率分布における主成分の寄与は大きい。そこで、主成分ベクトルｐk （λ）を、固有値ｕk の大きい順に並べ、合成画像Ｇを求めるために採用する主成分ベクトルを、固有値ｕk の大きい順に、順次増やし、一定の照明光源下で再構成された合成画像Ｇを求めていくと、ｎ個の主成分ベクトルから構成されるタイル画像Ｔl に基づくオリジナル画像に対する合成画像Ｇの画像情報の誤差が、採用する主成分ベクトル数ｍの増加に伴って単調減少する。そのため、この誤差が予め定めた所定値以下に減少する最初の主成分ベクトル数ｍを求めることによって、最小の最適主成分数ｍ1 を求めることができる。これによって、最適主成分数ｍ1 で合成画像Ｇを求める際に採用した主成分ベクトルおよびこれに基づいて得られる主成分画像を、それぞれ、タイル画像Ｔl における最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）として抽出することができる。この最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）は、タイル画像Ｔl 毎に求められる。
【００２５】
ここで、上記画像情報とは、例えば、ＣＩＥＬ* ａ* ｂ* 色空間に於ける一定の光源下の測色値Ｌ* 、ａ* およびｂ* 、例えばＣＩＥＤ65の標準光条件下の測色値Ｌ* 、ａ* およびｂ* であり、その際、上記誤差とは下記式(1) で表される色差ΔＥ0 である。この場合、この色差ΔＥ0 が例えば１．０以下となるような主成分画像の数ｍを見出すことによって最適主成分数ｍ1 を求めることができる。
ΔＥ0 ＝｛（ΔＬ* ）2 ＋（Δａ* ）2 ＋（Δｂ* ）2 ｝1/2 （１）
ここで、ΔＬ* 、Δａ* およびΔｂ* は、上記合成画像Ｇとタイル画像Ｔl の画像全体または一部分における平均測色値Ｌ* 、ａ* およびｂ* の差分である。このようにして、最適主成分数ｍ1 は、合成画像Ｇの色空間上の測色値とオリジナル画像の測色値の色差ΔＥ0 に基づいて適応的に決定される。
【００２６】
また、上記画像情報の誤差、すなわち、オリジナル画像に対するｍ個の主成分ベクトルｐkによって再構成される合成画像Ｇの、タイル画像全体または一部分の画素のスペクトルの自乗誤差Ｅ1であってもよい。合成画像Ｇのバンド帯域に対応して分光情報を持つスペクトルの画像データについても、測色値の一例と見なすことができ、合成画像Ｇの色空間上の測色値であるスペクトルの画像データとオリジナル画像の測色値であるスペクトルの画像データの自乗誤差Ｅ1に基づいて、最適主成分数ｍ1を適応的に決定してもよい。この場合、この自乗誤差Ｅ1またはＬｏｇ（Ｅ1）は、主成分ベクトル数ｍに対して単調減少となるため、ｍを増やすことによって、自乗誤差Ｅ1またはＬｏｇ（Ｅ1）の減少幅が予め定められた所定値より小さくなるｍの値、すなわちｍの増加に対して自乗誤差Ｅの減少が所定値以下で飽和する時の最小のｍの値を求めればよい。
【００２７】
得られた最適主成分数ｍ1 、最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）のタイル情報は、画像分割部２２ａでタイル画像Ｔl に分割される際に作成されるタイル画像情報、すなわちタイル画像Ｔl のタイル番号、マルチスペクトル画像ＭS 上のタイル位置、タイル画像Ｔl のタイルサイズ（画像サイズ）および上記タイル情報のポインタ（アドレス）とともに圧縮マルチスペクトル画像データとして記録メディアドライブ装置２４に送られる。
【００２８】
本システム１０は、以上のように構成される。
次に、本発明のマルチスペクトル画像の画像圧縮方法について、本システム１０に沿った画像圧縮方法の流れを、図４を参照しつつ説明する。
【００２９】
まず、光源１２、可変フィルタ１４およびＣＣＤカメラ１６によって形成されるマルチバンドカメラによって撮影被写体Ｏを撮影し、ｎ個のバンド帯域に分割された複数のバンド画像からなるマルチバンド画像ＭB を取得する（ステップ１００）。得られたマルチバンド画像ＭB は、マルチバンド画像データ記憶装置１８に一時記憶されると共に、マルチスペクトル画像取得装置２０に送られる。
【００３０】
マルチスペクトル画像取得装置２０では、例えばマクベスチャートのグレーパッチの画像データとその分光反射率の値との関係から作成された１次元ルックアップテーブル（１次元ＬＵＴ）が備えられており、この１次元ＬＵＴを用いて、マルチバンド画像データ記憶装置１８から呼び出された撮影被写体Ｏのマルチバンド画像ＭB の画像データを用いて各画素毎の撮影被写体Ｏの分光反射率を推定しマルチスペクトル画像ＭS の画像データを取得する（ステップ１０２）。この撮影被写体Ｏの分光反射率の推定において、精度の高い分光反射率分布を推定するために、マトリクス演算やフーリエ変換を用いたデコンボリューション処理が付加されてもよい。
【００３１】
次に、マルチスペクトル画像Ｍs の画像データをタイル構造に分割（ステップ１０４）し、タイル画像Ｔl （ｌ＝１〜ｎt ）を得る。また、その際、タイル画像Ｔl のタイル番号と、マルチスペクトル画像ＭS 上のタイル位置と、タイル画像Ｔl のタイルサイズ（画像サイズ）と、後述する最適主成分数ｍ1 、最適主成分ベクトルｐk （λ）および最適主成分画像Ｓk の画像データから成るタイル画像情報のポインタ（アドレス）を備えるヘッダ情報としてのタイル画像情報とを作成する。
タイル画像Ｔl （ｌ＝１〜ｎt ）は、処理の容易さから図３に示すように、画像サイズはすべて同じであるが、圧縮率を高めるために、画像内容に応じて適宜、タイル画像Ｔl の画像サイズを変えてもよい。
【００３２】
次に、タイル画像Ｔl （ｌ＝１〜ｎt ）は、タイル画像Ｔl 毎に主成分分析を行い（ステップ１０６）、主成分画像Ｓk （ｋ＝１〜ｎ）および主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）を求める。以下、主成分分析法について説明する。
【００３３】
タイル画像Ｔl は、画素位置(i,j) においてそれぞれｎ個の分光反射率の値を持つ分光反射率分布を有し、この分光反射率分布をＲ (i,j ，λ) ＝( Ｒ (i,j ，λ1)，Ｒ(i,j，λ2)，Ｒ（i,j ，λ3)，・・・，Ｒ（i,j ，λn ) ）T （小文字T は転置を示す））として、画像全体の画素または画像の一部分、例えば画像全体の画素から一定間隔で画素を間引いた残りの画素における自己相関行列Ｔ（Ｔの（i,j ) 成分ＴijはＲT ・Ｒ／ｎである）を求める。
【００３４】
得られた自己相関行列Ｔはｎ×ｎの正方行列であり、この自己相関行列Ｔを用いて、下記式（２）を満足する固有値ｕk （ｕ1 ＞ｕ2 ＞・・・＞ｕn ，ｋ＝１〜ｎ）および正規直交化された固有ベクトルである主成分ベクトルｐk （λ）＝( ｐk (i,j ，λ1)，ｐk (i,j，λ2)，ｐk （i,j ，λ3)，・・・，ｐk （i,j ，λn ) ）T （ｋ＝１〜ｎ）を求める。固有値および固有ベクトルを求める方法は、ｊａｃｏｂｉ法やパワー法等の公知の方法であればよく、特に制限されない。
Ｔ・ｐk （λ）＝ ｕk ｐk （λ） （２）
また、画素位置(i,j) における分光反射率分布Ｒ (i,j ，λ) が下記式（３）のように、固有ベクトルである主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）で表されるため、
【数１】
下記式（４）に従って、主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）がお互いに正規直行関係にあることを利用して、ｓk (i,j) 求める。
ｓk (i,j) ＝Ｒ(i,j，λ) ・ｐk （λ） （４）
ここで、記号・は、ｎ個の成分から成るバンド帯域の分光反射率の値についてのベクトルの内積であり、ｓk (i,j) は、マルチスペクトル画像の画素位置(i,j) での分光反射率Ｒ(i,j，λ) に含まれる第ｋ主成分ベクトルｐk の大きさを示す量である。また、このｓk (i,j) を各画素位置で求め、その値を各々の画素位置での画像データとする第ｋ主成分画像Ｓk （ｋ＝１〜ｎ）を求める。
【００３５】
ところで、分光反射率分布Ｒ(i,j，λ) における第１〜第ｎの各主成分の寄与は、上述したように、各主成分に付随した固有値ｕk の値が小さくなるに連れて小さくなることから、分光反射率分布Ｒ(i,j，λ) は、画像情報を最適に保持する限りにおいて、小さな固有値ｕk を持つ主成分ベクトルｐk を省略して近似することができる。
すなわち、下記式（５）に示すように、固有値ｕk （ｋ＝１〜ｎ）を大きい順に並べた際の、上からｍ番目以内の固有値ｕk （ｋ＝１〜ｍ）に対応する固有ベクトルｐk （λ) （ｋ＝１〜ｍ）を採用し、それ以外の固有値ｕk の小さい固有ベクトルｐk （λ) （ｋ＝ｍ＋１〜ｎ）を切り捨てることによって、分光反射率分布Ｒ(i,j，λ) を近似し、画像データを圧縮することができる。
【数２】
【００３６】
そこで、画像情報を最適に保持した状態で、分光反射率分布Ｒ(i,j，λ) が、画像情報を損なうことなく、近似的に表されるような主成分ベクトルｐk の採用数、すなわち最適主成分数ｍ1 を見いだし、これを用いて、タイル画像Ｔl を圧縮する。これによって、マルチスペクトル画像Ｍs の画質を劣化させることなく、画像データを圧縮することができる。
ここで、固有値ｕk の大きい固有ベクトルである主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）を採用し、小さい固有ベクトルｐk （λ）（ｋ＝ｍ1 ＋１〜ｎ）を切り捨てるための閾値となる最適主成分数ｍ1 の設定を以下の判断基準によって行なう（ステップ１０８）。
【００３７】
まず、固有値ｕk の大きい順に主成分ベクトルｐk （λ）を順次式（４）の主成分ベクトルｐk （λ）に含め、下記式（６）で示されるマルチスペクトル画像に対応する近似分光反射率分布Ｒ’(i,j，λ) を求める。
【数３】
近似分光反射率分布Ｒ’(i,j，λ) は、分光反射率分布Ｒ(i,j，λ) を近似しているため誤差が存在するが、この近似分光反射率分布Ｒ’(i,j，λ) から、一定の分光強度分布を掛け合わせて得られる合成画像Ｇの画像情報の、タイル画像Ｔl に上記分光強度分布を掛け合わせて得られるオリジナル画像の画像情報に対する誤差は、主成分数ｍが大きくなるに連れて減少する。そこで、判断基準として、所定値を予め定め、近似分光反射率分布Ｒ’(i,j，λ) に分光強度分布を掛け合わせて得られる合成画像Ｇの画像情報の上記オリジナル画像の画像情報に対する誤差が、上記判断基準として定めた所定値より小さくなる最初の主成分数ｍを求めることによって、最小の最適主成分数ｍ1 を取得する。
【００３８】
たとえば、合成画像Ｇの画像情報のマルチスペクトル画像ＭS の画像情報に対する誤差を、ＣＩＥＤ65の標準光条件下のＣＩＥＬ* ａ* ｂ* 色空間における測色値Ｌ* 、ａ* およびｂ* の色差ΔＥ0 として、この色差ΔＥ0 に対する上記所定値を定め、最小の最適主成分数ｍ1 を求める。
また、上記誤差は、合成画像Ｇの画像全体または一部分のスペクトルの自乗誤差Ｅ1 であってもよく、その際、主成分数ｍの増加に対して自乗誤差Ｅ1 の減少量が所定値以内に飽和する時の最小の最適主成分数ｍ1 の値を求めてもよい。
【００３９】
このようにして、タイル画像Ｔl 毎の画像情報を保持し最適に代表する最小の最適主成分数ｍ1 を求め、これによって、固有値ｕ1 〜ｕm1（ｕ1 〜ｕm1＞ｕm1＞ｕm1+1＞・・・＞ｕn ）に対応するｍ1 個の最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）を取得する。ここで、取り除かれる主成分ベクトルｐk （λ）（ｋ＝ｍ1 ＋１〜ｎ）は、タイル画像Ｔl に含まれるノイズ成分が支配的な場合が比較的多く、タイル画像Ｔl から寄与の小さな主成分ベクトルｐk （λ）（ｋ＝ｍ1 ＋１〜ｎ）を除去することで、マルチスペクトル画像Ｍs に含まれるノイズ成分の抑制も行うことができる。
【００４０】
このようにして、ステップ１０８でタイル画像Ｔl （ｌ＝１〜ｎt ）毎に、最適主成分数、最適主成分ベクトルｐk （λ）と最適主成分画像Ｓk の画像データを得、ステップ１０４で作成されたタイル画像情報とともに、記録メディアドライブ装置２４に送られて、ハードディスクやフロッピーディスクやＭＯやＣＤ−ＲやＤＶＤ等の記録メディアに記録保存される（ステップ１１０）。特に、マルチスペクトル画像ＭS をタイル画像Ｔl に分割し、タイル画像Ｔl ごとに主成分分析を行っているので、色相、明度や彩度の変化の少ないタイル画像Ｔl の場合、最適主成分数ｍ1 は１または２で済み、すなわち、１個または２個の最適主成分ベクトルｐk によって画像情報を保持し最適に代表することができる。そのため、マルチスペクトル画像ＭS の画像品質を落すことなく画像データの画像圧縮率を高めることができる。
【００４１】
なお、ステップ１０８で最適主成分数ｍ1 を決定して、最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）を求めたのち、最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）について、さらにＪＰＥＧ（Joint Photographics Expert Group) 方式等によって更に画像圧縮を行ってもよく、ハフマン符号化や公知の算術符号化によって、さらに画像圧縮を行ってもよい。
【００４２】
このようなマルチスペクトル画像の画像圧縮方法および画像圧縮装置において、以下のようなマルチスペクトル画像の圧縮を行った。
ＣＣＤカメラ１６として、ＤＡＬＳＡ社製 CA-D4-1024A（画素数１０２４×１０２４、ピクセルサイズ１２×１２ミクロン、ＰＣＩインターフェース付き、モノクロ）を用い、可変フィルタ１４として、ＣＲＩ社製Varispec Tunable Filter （液晶チューナブルフィルタ）を用いた。この液晶チューナブルフィルタによって、３８０〜７８０ｎｍの撮影波長帯域を、バンド帯域幅を５ｎｍずつに分割し、８１バンド（ｎ＝８１）とした。屋外の人物を撮影被写体Ｏとし、８１画像から成る人物画のマルチバンド画像ＭBを得た。
マルチバンド画像記憶部１８、マルチスペクトル画像取得装置２０およびマルチスペクトル画像圧縮装置２２は、ＰＲＯＳＩＤＥ社製ブック型ＰＣ（パーソナルコンピュータ）を用いて構成し、WindowsR９５上でＣ++言語によるソフトウェア処理を行った。なお、ＰＲＯＳＩＤＥ社製ブック型ＰＣは、ＣＰＵが１６６MHzであり、ＲＡＭは１２８Mbyteであった。
なお、前処理として、ソフトウェア処理の都合上から、画像データの量子化数を２バイトから１バイトに変換した。この前処理は、以降で述べる画像データ量の圧縮には含まれていないものである。
【００４３】
まず、マルチスペクトル画像取得装置２０において、マルチバンド画像ＭBから構成波長数８１のマルチスペクトル画像ＭSを抽出し、得られた１０２４×１０２４画素の画像サイズのマルチスペクトル画像ＭSを１６×１６画素の画像サイズのタイル画像Ｔl（ｌ＝１〜４０９６）に分割した。
各タイル画像Ｔl（ｌ＝１〜４０９６）に対して主成分分析を行い、主成分ベクトルｐk（λ）（ｋ＝１〜８１）および主成分画像Ｓk（ｋ＝１〜８１）を求めた。
【００４４】
次に、最適主成分数ｍ1 を求めるために、判断基準として、ＣＩＥＤ65の標準光源下のＣＩＥＤ１９７６Ｌ* ａ* ｂ* 色空間における色度に基づく平均色差を１．５とした。さらに、上述した主成分分析法によって得られた固有値ｕk の大きい順に、固有値ｕk に対応した主成分ベクトルｐk を順次採用し、採用されたｍ個の主成分ベクトルｐk （λ）（ｋ＝１〜ｍ）によって再構成される合成画像Ｇと各タイル画像Ｔl から得られるオリジナル画像との上記平均色差を求め、平均色差が１．５以下となる最適主成分数ｍ1 を決定した。
【００４５】
その結果、タイル画像Ｔl （ｌ＝１〜４０９６）の最適主成分数ｍ1 は２〜６であった。特に、図３で示されるタイル画像ＴB のような色相、明度や彩度の変化が小さく、撮影被写体Ｏである人物の背景としての空部分のタイル画像Ｔl や同一色相、明度や彩度を有するタイル画像Ｔl は、タイル画像ＴA に比べて最適主成分数ｍ1 は小さく、値として２でよく、つまり第１主成分ベクトルｐ1 （λ）および第２主成分ベクトルｐ2 （λ）でタイル画像Ｔl を表すことができた。さらに、上述した平均色差１．５の基準を緩和した場合でも、第１主成分ベクトルｐ1 （λ）のみでも十分に画像情報を最適に保持し代表できることがわかった。
【００４６】
次に、各タイル画像Ｔl の最適主成分数ｍ1 、最適主成分ベクトルｐ（λ）および最適主成分画像Ｓk にタイル画像情報、すなわち、タイル画像Ｔl のタイル番号と、マルチスペクトル画像ＭS 上のタイル位置と、タイル画像Ｔl のタイルサイズ（画像サイズ）と、上記最適主成分数ｍ1 、最適主成分ベクトルｐk （λ）および最適主成分画像Ｓk の画像データから成るタイル情報のポインタ（アドレス）とを付加し、記録メディアドライブ装置２４を介して、記録保存した。
その結果、画像データは、約４１Ｍバイトから４Ｍバイトに低減し、画像データは約１０分の１に圧縮された。さらに、この圧縮された画像データを再度呼び出して画像を再構成してみたが、視覚的に画質の劣化は認められなかった。
【００４７】
このように、本発明の画像圧縮方法およびこれを用いた画像圧縮装置は、複数のスペクトル画像に対して、視覚的な劣化が少なく画像圧縮の際の圧縮率を高め、例えば１／１０程度に高め、画像データの取り扱いを向上するのは明らかである。
【００４８】
以上、本発明のマルチスペクトル画像の画像圧縮方法および画像圧縮装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００４９】
【発明の効果】
以上、詳細に説明したように、本発明によれば、画像データ量の大きなマルチスペクトル画像をタイル画像に分割し、タイル画像毎に主成分分析を行い、画像情報を最適に保持し代表するタイル画像毎の最適主成分ベクトルおよび最適主成分画像を求めることによって、画像品質を損なうことなく、画像データの圧縮率を高めることができ、画像データの取り扱いを向上させることができる。
また、マルチスペクトル画像に含まれる主成分ベクトルからノイズ成分が支配的な主成分ベクトルを除去することができ、ノイズ成分の抑制も行うことができる。
【図面の簡単な説明】
【図１】 本発明のマルチスペクトル画像圧縮装置を含むマルチスペクトル画像取得システムの一例を示す概念図である。
【図２】 本発明に係るマルチスペクトル画像圧縮装置の一例を示すブロック図である。
【図３】 本発明のマルチスペクトル画像圧縮方法で行う画像分割の一例を示す説明図である。
【図４】 本発明のマルチスペクトル画像圧縮方法のフローの一例を示すフローチャートである。
【符号の説明】
１０ マルチスペクトル画像取得システム
１２ 光源
１４ 可変フィルタ
１６ ＣＣＤカメラ
１８ マルチバンド画像データ記憶装置
２０ マルチスペクトル画像取得装置
２２ マルチスペクトル画像圧縮装置
２２ａ 画像分割部
２２ｂ 主成分分析部
２２ｃ 最適主成分ベクトル・画像抽出部
２４ 記録メディアドライブ装置
【発明の属する技術分野】
本発明は、被写体を撮影する際の撮影波長領域を複数のバンド帯域に分割して撮影された複数のバンド画像を用いて得られるマルチスペクトル画像の画像データに対して、画像品質を損なうことなく効率的に圧縮することのできる画像データの圧縮処理の技術分野に関する。
【０００２】
【従来の技術】
今日、デジタル画像処理の進歩によって、画像の色情報（明度、色相、彩度）を完全に表現する手段として、画像の各画素毎に分光情報（スペクトル画像）を備える画像、すなわちマルチスペクトル画像が利用されている。
このマルチスペクトル画像は、撮影被写体を、複数のバンド帯域に分割して各バンド帯域毎に撮影した複数のバンド画像から構成されるマルチバンド画像に基づいて分光反射率分布を各画像毎に推定して得られるものである。このマルチバンド画像は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）画像からなる従来のＲＧＢカラー画像では十分に表現できない色情報を再現することができ、例えばより正確な色再現が望まれる絵画の世界にとって有効である。そこで、この色情報を正確に再現するといった特徴を生かすために、例えば３８０〜７８０ｎｍの撮影波長帯域を１０ｎｍ帯域毎に区切って４１バンドさらには５ｎｍ帯域毎に区切って８１バンドといった多くのバンド数を備えたマルチバンド画像に基づいてマルチスペクトル画像を得ることが望まれる。
【０００３】
しかし、画素毎に分光情報を備えるマルチスペクトル画像は、撮影波長帯域を分割した各帯域（チャンネル）毎に、例えば４１チャンネル毎に分光反射率データを有するため、従来から用いられてきた３チャンネルのＲＧＢカラー画像に比べ、例えば約１３倍（４１チャンネル／３チャンネル）の画像データ量を備えなければならない。
そのため、得られたマルチスペクトル画像の画像データを保存する場合、大きな記憶容量が必要となり、保存に要する時間も長い。また、画像データをネットワークを介して転送する際にも多大の時間がかかり、取り扱いが困難になる。
【０００４】
このような問題に対して、マルチスペクトル画像の各画素ごとの分光情報から得られるスペクトル波形を３つの等色関数、例えばＲＧＢ表色形の等色関数で展開するとともに、等色関数で表されないスペクトル波形の部分を、主成分分析法を用いて、主成分基底ベクトルで展開し、その中からスペクトル画像の画像情報を代表する主成分を抽出して採用し、それ以外の主成分は取り除き、最終的に等色関数を含め合計６〜８個の基底ベクトルで上記スペクトル波形を表現する方法が提案されている（Th.Keusen ,Multispectoral Color System wuth an Encoding Format Compatible with the Conventional Tristimulus Model ,Journal of Imaging Science and Technology 40: 510-515 (1996) ) 。これを用いて、上記スペクトル波形を６〜８個の基底ベクトルとそれに対応した係数の対とで表わすことによって、マルチスペクトル画像の画像データを圧縮することができる。特に、ＲＧＢ表色形の等色関数で表される場合、等色関数の係数は、Ｒ、ＧおよびＢの三刺激値となるので、Ｒ、ＧおよびＢ画素による３刺激値に基づいて画像処理や画像表示等が行われる従来の画像処理装置や画像表示装置に対応して適合するように特別な変換を施す必要がなく、直接画像データを送ることができるといった処理の低減に対して優れた効果を備える。
【０００５】
【発明が解決しようとする課題】
このような方法によって得られる画像データは、例えば４１個のスペクトル画像から構成されるマルチスペクトル画像の場合、例えば８個の基底ベクトルとその係数によって表すことによって、マルチスペクトル画像の画像データ量の約２０％（８個／４１個×１００）に圧縮することができる。
しかし、４１個のスペクトル画像から構成されるマルチスペクトル画像の場合、ＲＧＢカラー画像の画像データ量に比べて約１３倍も大きく、上記方法で約３０％に圧縮できたとしても、ＲＧＢカラー画像の画像データ量に対して、依然として約２．５倍（１３×２０／１００）ものデータ量を有することになる。そのため、上述したように記録メディア等に記録保存する際の記録時間や画像データをネットワークを介して転送する際の転送時間も長く、依然として取り扱いが困難である。
【０００６】
そこで、本発明は、上記問題点を解決し、被写体を撮影する際の撮影波長帯域を複数のバンド帯域に分割することで得られる複数のスペクトル画像に対して、視覚的に劣化することが少なく画像圧縮の際の圧縮率を高め、画像データの取り扱いが向上するマルチスペクトル画像の画像圧縮方法および画像圧縮装置を提供することを目的とする。
【０００７】
上記目的を達成するために、本発明は、被写体を撮影する際に撮影波長帯域を複数のバンド帯域に分割して撮影された複数のバンド画像を用いて得られた複数のスペクトル画像から成るマルチスペクトル画像を画像圧縮する方法であって、
前記マルチスペクトル画像を複数のタイル画像に分割し、
このタイル画像それぞれに対して主成分分析を行い、各タイル画像毎にマルチスペクトル画像の主成分ベクトルと主成分画像の複数の対を得、
この複数の対の中から、マルチスペクトル画像の画像情報を最適に代表する最適主成分数を求め、最適主成分ベクトルとこれに対応する最適主成分画像を各タイル画像毎に得、
タイル画像毎に得られた各最適主成分画像に対し画像圧縮を行い最適主成分圧縮画像データを得ることを特徴とするマルチスペクトル画像の画像圧縮方法を提供するものである。
【０００８】
ここで、前記マルチスペクトル画像の圧縮画像データは、前記最適主成分画像、前記最適主成分ベクトルおよび前記最適主成分数の他に、前記タイル画像のタイル番号、タイル位置および前記タイル画像の画像サイズの情報を有するタイル画像情報を用いて表されるのが好ましい。
また、前記最適主成分数は、色空間上の測色値に基づいて決定されるのが好ましく、前記最適主成分数は、前記主成分ベクトルと前記主成分画像の中から選ばれて構成される合成画像の画像情報の、前記マルチスペクトル画像に基づいて構成されるオリジナル画像の画像情報に対する誤差の値が、所定値以下となる最小の主成分数であり、あるいは、前記マルチスペクトル画像に対する寄与の大きい主成分ベクトルを、主成分ベクトルの寄与の大きい順に、順次含めて前記合成画像を求めた時の前記オリジナル画像に対する誤差の変動が、所定値以下に収まる最小の主成分数であるのが好ましい。
また、前記タイル画像の画素サイズは、縦方向および横方向ともに２の巾乗であるのが好ましく、また、前記タイル画像の画素サイズは、すべて同一サイズであるのが好ましい。
また、前記最適主成分数は、色空間における色度差を所定値以下とする最小の主成分数であるのが好ましく、また、前記色空間は、ＣＩＥＤ 65 の標準光源下のＣＩＥＤ１９７６Ｌ * ａ * ｂ * 色空間であり、前記所定値は、この色空間における色度に基づく平均色差が１．５であるのが好ましい。
【０００９】
被写体を撮影する際に撮影波長帯域を複数のバンド帯域に分割したバンド画像を用いて得られるマルチスペクトル画像を画像圧縮するマルチスペクトル画像の画像圧縮装置であって、
マルチスペクトル画像を複数のタイル画像に分割する画像分割部と、
画像分割部で得られたタイル画像それぞれに対して、主成分分析を行って、各タイル画像毎に、マルチスペクトル画像の主成分ベクトルと主成分画像の複数の対を得る主成分分析部と、
この主成分分析部で得られた主成分ベクトルと主成分画像の複数の対の中から、マルチスペクトル画像の画像情報を最適に代表する最適主成分数を求めて、最適主成分ベクトルと最適主成分画像を得る最適主成分ベクトル・画像抽出部とを備え、
前記最適主成分ベクトル・画像抽出部で得られた各タイル画像の最適主成分画像に対し画像圧縮を行い最適主成分圧縮画像データを得ることを特徴とするマルチスペクトル画像の画像圧縮装置を提供するものである。
【００１０】
【発明の実施の形態】
以下、本発明のマルチスペクトル画像の画像圧縮方法を実施するマルチスペクトル画像取得システムについて、添付の図面に示される好適実施例を基に詳細に説明する。
【００１１】
図１は、本発明のマルチスペクトル画像の画像圧縮方法を実施し、本発明のマルチスペクトル画像の画像圧縮装置を含むマルチスペクトル画像取得システム（以下、本システムという）１０を示す。
本システム１０は、撮影被写体Ｏを撮影し、得られたマルチスペクトル画像ＭS の画像データを記録メディアに保存するものであって、撮影被写体Ｏを照らす光源１２と、撮影波長帯域を複数のバンド帯域に分割する可変フィルタ１４と、撮影被写体Ｏを撮影してマルチバンド画像ＭB を得るＣＣＤカメラ１６と、画像データを一時保持するマルチバンド画像記憶部１８と、マルチバンド画像から各画素毎に分光反射率分布を推定してマルチスペクトル画像ＭS を得るマルチスペクトル画像取得装置２０と、マルチスペクトル画像ＭS の画像データを、視覚的な劣化が少なく、圧縮率を高くして圧縮するマルチスペクトル画像圧縮装置２２と、得られた圧縮画像データを保存する記録メディアドライブ装置２４とを主に有して構成される。なお、本発明において、マルチスペクトル画像Ｍs は、少なくとも６チャンネル以上のスペクトル画像を備え、すなわち、分光反射率分布において構成波長数が６以上であるのが好ましい。
【００１２】
光源１２は、撮影被写体Ｏを撮影するものであって、光源の種類等は特に制限されないが、撮影されたマルチバンド画像ＭB から分光反射率を推定し、マルチスペクトル画像ＭS を取得するために、分光強度分布が既知の光源であることが好ましい。
可変フィルタ１４は、撮影被写体Ｏを撮影してマルチバンド画像ＭB を得るために、撮影波長帯域を分割するバンド帯域が可変に設定可能なバンドパスフィルタであり、例えば１６バンド、２１バンドや４１バンド等に分割することができる。このような可変フィルタとして、例えば液晶チューナブルフィルタが挙げられる。
【００１３】
ＣＣＤカメラ１６は、撮影被写体Ｏの反射光を可変フィルタ１４を介して所望の波長帯域に分光された透過光によって結像される像を黒白のバンド画像として撮影するカメラであって、受光面には、エリアセンサとしてＣＣＤ（charge coupled device ) 撮像素子が面状に配置されている。
また、ＣＣＤカメラ１６には、撮影される画像の明度値のダイナミックレンジを適切に定めるため、撮影被写体Ｏの撮影前に行うホワイトバランスの調整機構を備える。
【００１４】
マルチバンド画像データ記憶装置１８は、撮影波長帯域を複数のバンド帯域に分割して撮影され、各バンドに対応するホワイトバランスの調整された複数のバンド画像からなるマルチバンド画像ＭB を一時記憶保持する部分である。
マルチスペクトル取得装置２０は、ＣＣＤカメラ１６で撮影された分光反射率の既知の撮影被写体の画像データ、例えばマクベスチャートのグレーパッチの画像データとその既知の分光反射率の値との対応関係から予め作成された１次元ルックアップテーブル（１次元ＬＵＴ）を備え、この１次元ＬＵＴを用いて、マルチバンド画像データ記憶装置１８より呼び出された撮影被写体Ｏのマルチバンド画像ＭB の画像データから各画素毎の撮影被写体Ｏの分光反射率を推定し、マルチスペクトル画像ＭS を取得する部分である。
撮影被写体Ｏの分光反射率の推定において、可変フィルタ１４のフィルタ特性、すなわち可変フィルタ１４の分光透過率分布がバンド間で一部分が重なった特性を有する場合、得られるマルチスペクトル画像ＭS の分光反射率分布は鈍り、精度の高い分光反射率分布を推定することができないため、マトリクス演算やフーリエ変換を用いて、上記フィルタ特性を排除するデコンボリューション処理を施してもよい。
このようにして、可変フィルタ１４を用いて、ｎ個のバンド帯域に分割したマルチバンド画像ＭB から、分光情報として、ｎ個の構成波長からなる分光反射率を備えるマルチスペクトル画像ＭS を取得する。
【００１５】
記録メディアドライブ装置２４は、ハードディスクやフロッピーディスクやＭＯやＣＤ−ＲやＤＶＤ等の記録メディアに記録するドライブ装置であり、マルチスペクトル画像ＭS の画像データを後述するマルチスペクトル画像圧縮装置２２で圧縮した圧縮マルチスペクトル画像データを記録することができる。また、記録メディアドライブ装置２４と共に、またこれに替えて、後述する圧縮マルチスペクトル画像データを各種ネットワークを介して転送するために、ネットワーク接続装置を備えてもよい。
【００１６】
マルチスペクトル画像圧縮装置２２は、マルチスペクトル取得装置２０で得られたマルチスペクトル画像ＭS を構成するマルチスペクトル画像データに対して、視覚的な劣化が少なく画像圧縮率の高い圧縮マルチスペクトル画像データを求める部分であり、図２に示すように、画像分割部２２ａ、主成分分析部２２ｂおよび最適主成分ベクトル・画像抽出部２２ｃとを備える。また、本装置は、以下に示すような機能を備えるソフトウェアで構成してもよく、また１つのハードウェアとして構成してもよい。
【００１７】
画像分割部２２ａは、マルチスペクトル画像取得部２０で得られた画像を、ｎt 個のタイル画像Ｔl （ｌ＝１〜ｎt ）に分割する部分である。例えば、マルチスペクトル画像Ｍs の画像サイズが１０２４×１０２４画素の場合、タイル画像Ｔl の画像サイズを１６×１６画素等に分割する。ここで、タイル画像Ｔl の画像サイズについては、タイル画像Ｔl の総画像数が少なくとも、マルチスペクトル画像ＭS の各画素毎の分光反射率分布の構成波長数より大きいことが必要である。タイル画像Ｔl の総画素数を構成波長数より大きくしなければ、後述する主成分分析において、精度の高い主成分ベクトルを求めることができないからである。
【００１８】
図３は、タイル画像Ｔl の分割の一例が示されており、タイル画像Ｔl は、縦方向に６分割、横方向に７分割し、合計４２個のタイル画像Ｔl に分割し、すべて同一の画像サイズである。すべて同一の画像サイズとすることで、以降で述べる主成分分析や画像情報の作成における処理が容易となるためである。また、タイル画像Ｔl の縦方向および横方向の画像サイズとも、画素数を２の巾乗とするのが好ましい。圧縮した画像を再度呼び出して処理を行う際の便宜をはかるためである。
【００１９】
本実施例では、タイル画像Ｔl はすべて同一の画像サイズであるが、必ずしも同一の画像サイズである必要はなく、例えば、背景が空や地面等であって、色相、明度や彩度の変化の少ない部分は、タイル画像Ｔl の画像サイズを大きくし、一方、被写体等を含み、色相、明度や彩度の変化の激しい部分は、画像サイズを小さくするといったように、画像内容に応じて適宜タイル画像Ｔl の画像サイズを変えてもよく、このように画像サイズを変えることによって圧縮率を高めることができる。
また、タイル画像Ｔl の総画像数が少なくとも構成波長数より大きい限りにおいて、タイル画像Ｔl の画像サイズや縦横比等は、特に制限されない。
【００２０】
主成分分析部２２ｂは、マルチスペクトル画像ＭSを分割してタイル画像Ｔl（ｌ＝１〜ｎt）の各画素毎に備える分光反射率分布の主成分分析を行い、各画素ごとに分光反射率分布を主成分に展開する部分である。なお、以降では、バンド数をｎとして説明する。
本発明における主成分分析法は、観測波形データ群を正規直交展開して標本化する方法の一つで、最適標本化といわれるものである。即ち、最も少ない数の直交基底関数の加重平均で、観測波形データを最も精度良く表現するための方法である。ここでは、直交基底関数を主成分ベクトルと呼ぶ。
本発明における主成分分析として具体的には、マルチスペクトル画像ＭS のタイル画像Ｔl（ｌ＝１〜ｎt）の画素毎の観測波形から、統計的手法および固有値解析法を用いて、観測波形に固有の１次独立な固有ベクトルを主成分ベクトルとして求め、この主成分ベクトルから、本来観測波形に雑音成分が無ければ、固有値が０となる固有値の小さな主成分ベクトルを取り除き、バンド数ｎより少ない数の最適主成分ベクトルを求め、この最適主成分ベクトルによって観測波形を線型的に表す、南茂夫著、「科学計測のための波形データ処理」、２２０−２２５頁に記載の方法が挙げられる。この分析方法は、主成分分析部２２ｂおよび後述する最適主成分ベクトル・画像抽出部２２ｃにおいて主に行われる。
主成分分析法を用いる場合には、観測波形であるマルチスペクトル画像ＭSのタイル画像Ｔl（ｌ＝１〜ｎt）の画素毎の分光反射率波形が、線型的に表すことができ、また分光反射率波形に含まれる雑音成分も、分光反射率の値と無関係な雑音であることが好ましい。
【００２１】
本実施例に沿って説明すると、マルチスペクトル画像ＭS のタイル画像Ｔl （ｌ＝１〜ｎt ）は、各画素毎に、可変フィルタ１４を用いて被写体の撮影波長帯域を分割したバンドの数ｎだけ分光反射率分布Ｒの値を有する。すなわちｎバンドの数に相当するｎ個の構成波長を持ち、ｎ個の分光反射率の値からなる分光反射率分布Ｒを有する。しかも、マルチスペクトル画像ＭS の各画素は、例えば１６×１６画素、すなわち２５６個の画素で構成され、この総画素数は、構成波長数であるｎよりも大きいため、画像の画素位置によらない統計的処理、すなわち、後述するように、ｎ次元ベクトルの形式で表された分光反射率分布Ｒ (i,j ，λ) ＝( Ｒ (i,j ，λ1)，Ｒ(i,j，λ2)，Ｒ(i,j，λ3)，・・・，Ｒ（i,j ，λn ) ）T （小文字T は転置を示し、(i,j) は、注目画素の画素位置であり、λは分光波長を示す）の、タイル画像Ｔl の画像領域全体の画素に関する自己相関行列Ｔを求めて、統計的に分光反射率の主成分分析を行うことができる。
【００２２】
ここで、主成分分析されて求められる主成分は、統計的処理を用いて得られるもので、例えばｎバンドの数に相当するｎ個の分光反射率の値からなる正規直交化された自己相関行列Ｔの固有ベクトルである主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）と自己相関行列Ｔの固有値ｕk （ｋ＝１〜ｎ（ｋは１以上ｎ以下の整数を示す））の対が求められる。また、主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）を用いて、タイル画像Ｔl の画素位置(i,j) での分光反射率分布Ｒ(i,j，λ) を線型展開し、その際得られる各主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）に係る係数ｓk (i,j) （ｋ＝１〜ｎ）を求め、これを画素位置(i,j) での画像データとする主成分画像Ｓk （ｋ＝１〜ｎ）を得ることができる。
主成分分析は、タイル画像Ｔl （ｌ＝１〜ｎt ）おのおのについて行われ、得られたタイル画像Ｔl （ｌ＝１〜ｎt ）毎の主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）および主成分画像Ｓk （ｋ＝１〜ｎ）は、最適主成分ベクトル・画像抽出部２２ｃに送られる。
【００２３】
最適主成分ベクトル・画像抽出部２２ｃは、主成分分析部２２ｂで得られた各タイル画像Ｔl （ｌ＝１〜ｎt ）の主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）とそれに対応した主成分画像Ｓk （ｋ＝１〜ｎ）とを用いて、各タイル画像Ｔl （ｌ＝１〜ｎt ）毎に最適主成分数ｍ1 を定め、各タイル画像Ｔl （ｌ＝１〜ｎt ）毎に、最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像のＳk （ｋ＝１〜ｍ1 ）を抽出する部分である。
すなわち、タイル画像Ｔl のｎ個の主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）とそれに対応した主成分画像Ｓk （ｋ＝１〜ｎ）の対の中から、それより少ないｍ（ｍ＜ｎ）個の主成分ベクトルｐk （λ）（ｋ＝１〜ｍ）とそれに対応した主成分画像Ｓk （ｋ＝１〜ｍ）の対を用いて合成画像Ｇを求め、この合成画像Ｇの画像情報の、タイル画像Ｔl に基づくオリジナル画像の画像情報に対する誤差を用いて、ｍ個の主成分ベクトルｐk （λ）（ｋ＝１〜ｍ）とそれに対応した主成分画像Ｓk （ｋ＝１〜ｍ）が最適な主成分であるかどうか判断する。
【００２４】
ここで、タイル画像Ｔl の主成分ベクトルｐk （λ）は、対応した固有値ｕk が大きい程、タイル画像Ｔl の分光反射率分布における主成分の寄与は大きい。そこで、主成分ベクトルｐk （λ）を、固有値ｕk の大きい順に並べ、合成画像Ｇを求めるために採用する主成分ベクトルを、固有値ｕk の大きい順に、順次増やし、一定の照明光源下で再構成された合成画像Ｇを求めていくと、ｎ個の主成分ベクトルから構成されるタイル画像Ｔl に基づくオリジナル画像に対する合成画像Ｇの画像情報の誤差が、採用する主成分ベクトル数ｍの増加に伴って単調減少する。そのため、この誤差が予め定めた所定値以下に減少する最初の主成分ベクトル数ｍを求めることによって、最小の最適主成分数ｍ1 を求めることができる。これによって、最適主成分数ｍ1 で合成画像Ｇを求める際に採用した主成分ベクトルおよびこれに基づいて得られる主成分画像を、それぞれ、タイル画像Ｔl における最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）として抽出することができる。この最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）は、タイル画像Ｔl 毎に求められる。
【００２５】
ここで、上記画像情報とは、例えば、ＣＩＥＬ* ａ* ｂ* 色空間に於ける一定の光源下の測色値Ｌ* 、ａ* およびｂ* 、例えばＣＩＥＤ65の標準光条件下の測色値Ｌ* 、ａ* およびｂ* であり、その際、上記誤差とは下記式(1) で表される色差ΔＥ0 である。この場合、この色差ΔＥ0 が例えば１．０以下となるような主成分画像の数ｍを見出すことによって最適主成分数ｍ1 を求めることができる。
ΔＥ0 ＝｛（ΔＬ* ）2 ＋（Δａ* ）2 ＋（Δｂ* ）2 ｝1/2 （１）
ここで、ΔＬ* 、Δａ* およびΔｂ* は、上記合成画像Ｇとタイル画像Ｔl の画像全体または一部分における平均測色値Ｌ* 、ａ* およびｂ* の差分である。このようにして、最適主成分数ｍ1 は、合成画像Ｇの色空間上の測色値とオリジナル画像の測色値の色差ΔＥ0 に基づいて適応的に決定される。
【００２６】
また、上記画像情報の誤差、すなわち、オリジナル画像に対するｍ個の主成分ベクトルｐkによって再構成される合成画像Ｇの、タイル画像全体または一部分の画素のスペクトルの自乗誤差Ｅ1であってもよい。合成画像Ｇのバンド帯域に対応して分光情報を持つスペクトルの画像データについても、測色値の一例と見なすことができ、合成画像Ｇの色空間上の測色値であるスペクトルの画像データとオリジナル画像の測色値であるスペクトルの画像データの自乗誤差Ｅ1に基づいて、最適主成分数ｍ1を適応的に決定してもよい。この場合、この自乗誤差Ｅ1またはＬｏｇ（Ｅ1）は、主成分ベクトル数ｍに対して単調減少となるため、ｍを増やすことによって、自乗誤差Ｅ1またはＬｏｇ（Ｅ1）の減少幅が予め定められた所定値より小さくなるｍの値、すなわちｍの増加に対して自乗誤差Ｅの減少が所定値以下で飽和する時の最小のｍの値を求めればよい。
【００２７】
得られた最適主成分数ｍ1 、最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）のタイル情報は、画像分割部２２ａでタイル画像Ｔl に分割される際に作成されるタイル画像情報、すなわちタイル画像Ｔl のタイル番号、マルチスペクトル画像ＭS 上のタイル位置、タイル画像Ｔl のタイルサイズ（画像サイズ）および上記タイル情報のポインタ（アドレス）とともに圧縮マルチスペクトル画像データとして記録メディアドライブ装置２４に送られる。
【００２８】
本システム１０は、以上のように構成される。
次に、本発明のマルチスペクトル画像の画像圧縮方法について、本システム１０に沿った画像圧縮方法の流れを、図４を参照しつつ説明する。
【００２９】
まず、光源１２、可変フィルタ１４およびＣＣＤカメラ１６によって形成されるマルチバンドカメラによって撮影被写体Ｏを撮影し、ｎ個のバンド帯域に分割された複数のバンド画像からなるマルチバンド画像ＭB を取得する（ステップ１００）。得られたマルチバンド画像ＭB は、マルチバンド画像データ記憶装置１８に一時記憶されると共に、マルチスペクトル画像取得装置２０に送られる。
【００３０】
マルチスペクトル画像取得装置２０では、例えばマクベスチャートのグレーパッチの画像データとその分光反射率の値との関係から作成された１次元ルックアップテーブル（１次元ＬＵＴ）が備えられており、この１次元ＬＵＴを用いて、マルチバンド画像データ記憶装置１８から呼び出された撮影被写体Ｏのマルチバンド画像ＭB の画像データを用いて各画素毎の撮影被写体Ｏの分光反射率を推定しマルチスペクトル画像ＭS の画像データを取得する（ステップ１０２）。この撮影被写体Ｏの分光反射率の推定において、精度の高い分光反射率分布を推定するために、マトリクス演算やフーリエ変換を用いたデコンボリューション処理が付加されてもよい。
【００３１】
次に、マルチスペクトル画像Ｍs の画像データをタイル構造に分割（ステップ１０４）し、タイル画像Ｔl （ｌ＝１〜ｎt ）を得る。また、その際、タイル画像Ｔl のタイル番号と、マルチスペクトル画像ＭS 上のタイル位置と、タイル画像Ｔl のタイルサイズ（画像サイズ）と、後述する最適主成分数ｍ1 、最適主成分ベクトルｐk （λ）および最適主成分画像Ｓk の画像データから成るタイル画像情報のポインタ（アドレス）を備えるヘッダ情報としてのタイル画像情報とを作成する。
タイル画像Ｔl （ｌ＝１〜ｎt ）は、処理の容易さから図３に示すように、画像サイズはすべて同じであるが、圧縮率を高めるために、画像内容に応じて適宜、タイル画像Ｔl の画像サイズを変えてもよい。
【００３２】
次に、タイル画像Ｔl （ｌ＝１〜ｎt ）は、タイル画像Ｔl 毎に主成分分析を行い（ステップ１０６）、主成分画像Ｓk （ｋ＝１〜ｎ）および主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）を求める。以下、主成分分析法について説明する。
【００３３】
タイル画像Ｔl は、画素位置(i,j) においてそれぞれｎ個の分光反射率の値を持つ分光反射率分布を有し、この分光反射率分布をＲ (i,j ，λ) ＝( Ｒ (i,j ，λ1)，Ｒ(i,j，λ2)，Ｒ（i,j ，λ3)，・・・，Ｒ（i,j ，λn ) ）T （小文字T は転置を示す））として、画像全体の画素または画像の一部分、例えば画像全体の画素から一定間隔で画素を間引いた残りの画素における自己相関行列Ｔ（Ｔの（i,j ) 成分ＴijはＲT ・Ｒ／ｎである）を求める。
【００３４】
得られた自己相関行列Ｔはｎ×ｎの正方行列であり、この自己相関行列Ｔを用いて、下記式（２）を満足する固有値ｕk （ｕ1 ＞ｕ2 ＞・・・＞ｕn ，ｋ＝１〜ｎ）および正規直交化された固有ベクトルである主成分ベクトルｐk （λ）＝( ｐk (i,j ，λ1)，ｐk (i,j，λ2)，ｐk （i,j ，λ3)，・・・，ｐk （i,j ，λn ) ）T （ｋ＝１〜ｎ）を求める。固有値および固有ベクトルを求める方法は、ｊａｃｏｂｉ法やパワー法等の公知の方法であればよく、特に制限されない。
Ｔ・ｐk （λ）＝ ｕk ｐk （λ） （２）
また、画素位置(i,j) における分光反射率分布Ｒ (i,j ，λ) が下記式（３）のように、固有ベクトルである主成分ベクトルｐk （λ）（ｋ＝１〜ｎ）で表されるため、
【数１】
ｓk (i,j) ＝Ｒ(i,j，λ) ・ｐk （λ） （４）
ここで、記号・は、ｎ個の成分から成るバンド帯域の分光反射率の値についてのベクトルの内積であり、ｓk (i,j) は、マルチスペクトル画像の画素位置(i,j) での分光反射率Ｒ(i,j，λ) に含まれる第ｋ主成分ベクトルｐk の大きさを示す量である。また、このｓk (i,j) を各画素位置で求め、その値を各々の画素位置での画像データとする第ｋ主成分画像Ｓk （ｋ＝１〜ｎ）を求める。
【００３５】
ところで、分光反射率分布Ｒ(i,j，λ) における第１〜第ｎの各主成分の寄与は、上述したように、各主成分に付随した固有値ｕk の値が小さくなるに連れて小さくなることから、分光反射率分布Ｒ(i,j，λ) は、画像情報を最適に保持する限りにおいて、小さな固有値ｕk を持つ主成分ベクトルｐk を省略して近似することができる。
すなわち、下記式（５）に示すように、固有値ｕk （ｋ＝１〜ｎ）を大きい順に並べた際の、上からｍ番目以内の固有値ｕk （ｋ＝１〜ｍ）に対応する固有ベクトルｐk （λ) （ｋ＝１〜ｍ）を採用し、それ以外の固有値ｕk の小さい固有ベクトルｐk （λ) （ｋ＝ｍ＋１〜ｎ）を切り捨てることによって、分光反射率分布Ｒ(i,j，λ) を近似し、画像データを圧縮することができる。
【数２】
そこで、画像情報を最適に保持した状態で、分光反射率分布Ｒ(i,j，λ) が、画像情報を損なうことなく、近似的に表されるような主成分ベクトルｐk の採用数、すなわち最適主成分数ｍ1 を見いだし、これを用いて、タイル画像Ｔl を圧縮する。これによって、マルチスペクトル画像Ｍs の画質を劣化させることなく、画像データを圧縮することができる。
ここで、固有値ｕk の大きい固有ベクトルである主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）を採用し、小さい固有ベクトルｐk （λ）（ｋ＝ｍ1 ＋１〜ｎ）を切り捨てるための閾値となる最適主成分数ｍ1 の設定を以下の判断基準によって行なう（ステップ１０８）。
【００３７】
まず、固有値ｕk の大きい順に主成分ベクトルｐk （λ）を順次式（４）の主成分ベクトルｐk （λ）に含め、下記式（６）で示されるマルチスペクトル画像に対応する近似分光反射率分布Ｒ’(i,j，λ) を求める。
【数３】
【００３８】
たとえば、合成画像Ｇの画像情報のマルチスペクトル画像ＭS の画像情報に対する誤差を、ＣＩＥＤ65の標準光条件下のＣＩＥＬ* ａ* ｂ* 色空間における測色値Ｌ* 、ａ* およびｂ* の色差ΔＥ0 として、この色差ΔＥ0 に対する上記所定値を定め、最小の最適主成分数ｍ1 を求める。
また、上記誤差は、合成画像Ｇの画像全体または一部分のスペクトルの自乗誤差Ｅ1 であってもよく、その際、主成分数ｍの増加に対して自乗誤差Ｅ1 の減少量が所定値以内に飽和する時の最小の最適主成分数ｍ1 の値を求めてもよい。
【００３９】
このようにして、タイル画像Ｔl 毎の画像情報を保持し最適に代表する最小の最適主成分数ｍ1 を求め、これによって、固有値ｕ1 〜ｕm1（ｕ1 〜ｕm1＞ｕm1＞ｕm1+1＞・・・＞ｕn ）に対応するｍ1 個の最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）を取得する。ここで、取り除かれる主成分ベクトルｐk （λ）（ｋ＝ｍ1 ＋１〜ｎ）は、タイル画像Ｔl に含まれるノイズ成分が支配的な場合が比較的多く、タイル画像Ｔl から寄与の小さな主成分ベクトルｐk （λ）（ｋ＝ｍ1 ＋１〜ｎ）を除去することで、マルチスペクトル画像Ｍs に含まれるノイズ成分の抑制も行うことができる。
【００４０】
このようにして、ステップ１０８でタイル画像Ｔl （ｌ＝１〜ｎt ）毎に、最適主成分数、最適主成分ベクトルｐk （λ）と最適主成分画像Ｓk の画像データを得、ステップ１０４で作成されたタイル画像情報とともに、記録メディアドライブ装置２４に送られて、ハードディスクやフロッピーディスクやＭＯやＣＤ−ＲやＤＶＤ等の記録メディアに記録保存される（ステップ１１０）。特に、マルチスペクトル画像ＭS をタイル画像Ｔl に分割し、タイル画像Ｔl ごとに主成分分析を行っているので、色相、明度や彩度の変化の少ないタイル画像Ｔl の場合、最適主成分数ｍ1 は１または２で済み、すなわち、１個または２個の最適主成分ベクトルｐk によって画像情報を保持し最適に代表することができる。そのため、マルチスペクトル画像ＭS の画像品質を落すことなく画像データの画像圧縮率を高めることができる。
【００４１】
なお、ステップ１０８で最適主成分数ｍ1 を決定して、最適主成分ベクトルｐk （λ）（ｋ＝１〜ｍ1 ）および最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）を求めたのち、最適主成分画像Ｓk （ｋ＝１〜ｍ1 ）について、さらにＪＰＥＧ（Joint Photographics Expert Group) 方式等によって更に画像圧縮を行ってもよく、ハフマン符号化や公知の算術符号化によって、さらに画像圧縮を行ってもよい。
【００４２】
このようなマルチスペクトル画像の画像圧縮方法および画像圧縮装置において、以下のようなマルチスペクトル画像の圧縮を行った。
ＣＣＤカメラ１６として、ＤＡＬＳＡ社製 CA-D4-1024A（画素数１０２４×１０２４、ピクセルサイズ１２×１２ミクロン、ＰＣＩインターフェース付き、モノクロ）を用い、可変フィルタ１４として、ＣＲＩ社製Varispec Tunable Filter （液晶チューナブルフィルタ）を用いた。この液晶チューナブルフィルタによって、３８０〜７８０ｎｍの撮影波長帯域を、バンド帯域幅を５ｎｍずつに分割し、８１バンド（ｎ＝８１）とした。屋外の人物を撮影被写体Ｏとし、８１画像から成る人物画のマルチバンド画像ＭBを得た。
マルチバンド画像記憶部１８、マルチスペクトル画像取得装置２０およびマルチスペクトル画像圧縮装置２２は、ＰＲＯＳＩＤＥ社製ブック型ＰＣ（パーソナルコンピュータ）を用いて構成し、WindowsR９５上でＣ++言語によるソフトウェア処理を行った。なお、ＰＲＯＳＩＤＥ社製ブック型ＰＣは、ＣＰＵが１６６MHzであり、ＲＡＭは１２８Mbyteであった。
なお、前処理として、ソフトウェア処理の都合上から、画像データの量子化数を２バイトから１バイトに変換した。この前処理は、以降で述べる画像データ量の圧縮には含まれていないものである。
【００４３】
まず、マルチスペクトル画像取得装置２０において、マルチバンド画像ＭBから構成波長数８１のマルチスペクトル画像ＭSを抽出し、得られた１０２４×１０２４画素の画像サイズのマルチスペクトル画像ＭSを１６×１６画素の画像サイズのタイル画像Ｔl（ｌ＝１〜４０９６）に分割した。
各タイル画像Ｔl（ｌ＝１〜４０９６）に対して主成分分析を行い、主成分ベクトルｐk（λ）（ｋ＝１〜８１）および主成分画像Ｓk（ｋ＝１〜８１）を求めた。
【００４４】
次に、最適主成分数ｍ1 を求めるために、判断基準として、ＣＩＥＤ65の標準光源下のＣＩＥＤ１９７６Ｌ* ａ* ｂ* 色空間における色度に基づく平均色差を１．５とした。さらに、上述した主成分分析法によって得られた固有値ｕk の大きい順に、固有値ｕk に対応した主成分ベクトルｐk を順次採用し、採用されたｍ個の主成分ベクトルｐk （λ）（ｋ＝１〜ｍ）によって再構成される合成画像Ｇと各タイル画像Ｔl から得られるオリジナル画像との上記平均色差を求め、平均色差が１．５以下となる最適主成分数ｍ1 を決定した。
【００４５】
その結果、タイル画像Ｔl （ｌ＝１〜４０９６）の最適主成分数ｍ1 は２〜６であった。特に、図３で示されるタイル画像ＴB のような色相、明度や彩度の変化が小さく、撮影被写体Ｏである人物の背景としての空部分のタイル画像Ｔl や同一色相、明度や彩度を有するタイル画像Ｔl は、タイル画像ＴA に比べて最適主成分数ｍ1 は小さく、値として２でよく、つまり第１主成分ベクトルｐ1 （λ）および第２主成分ベクトルｐ2 （λ）でタイル画像Ｔl を表すことができた。さらに、上述した平均色差１．５の基準を緩和した場合でも、第１主成分ベクトルｐ1 （λ）のみでも十分に画像情報を最適に保持し代表できることがわかった。
【００４６】
次に、各タイル画像Ｔl の最適主成分数ｍ1 、最適主成分ベクトルｐ（λ）および最適主成分画像Ｓk にタイル画像情報、すなわち、タイル画像Ｔl のタイル番号と、マルチスペクトル画像ＭS 上のタイル位置と、タイル画像Ｔl のタイルサイズ（画像サイズ）と、上記最適主成分数ｍ1 、最適主成分ベクトルｐk （λ）および最適主成分画像Ｓk の画像データから成るタイル情報のポインタ（アドレス）とを付加し、記録メディアドライブ装置２４を介して、記録保存した。
その結果、画像データは、約４１Ｍバイトから４Ｍバイトに低減し、画像データは約１０分の１に圧縮された。さらに、この圧縮された画像データを再度呼び出して画像を再構成してみたが、視覚的に画質の劣化は認められなかった。
【００４７】
このように、本発明の画像圧縮方法およびこれを用いた画像圧縮装置は、複数のスペクトル画像に対して、視覚的な劣化が少なく画像圧縮の際の圧縮率を高め、例えば１／１０程度に高め、画像データの取り扱いを向上するのは明らかである。
【００４８】
以上、本発明のマルチスペクトル画像の画像圧縮方法および画像圧縮装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００４９】
【発明の効果】
以上、詳細に説明したように、本発明によれば、画像データ量の大きなマルチスペクトル画像をタイル画像に分割し、タイル画像毎に主成分分析を行い、画像情報を最適に保持し代表するタイル画像毎の最適主成分ベクトルおよび最適主成分画像を求めることによって、画像品質を損なうことなく、画像データの圧縮率を高めることができ、画像データの取り扱いを向上させることができる。
また、マルチスペクトル画像に含まれる主成分ベクトルからノイズ成分が支配的な主成分ベクトルを除去することができ、ノイズ成分の抑制も行うことができる。
【図面の簡単な説明】
【図１】 本発明のマルチスペクトル画像圧縮装置を含むマルチスペクトル画像取得システムの一例を示す概念図である。
【図２】 本発明に係るマルチスペクトル画像圧縮装置の一例を示すブロック図である。
【図３】 本発明のマルチスペクトル画像圧縮方法で行う画像分割の一例を示す説明図である。
【図４】 本発明のマルチスペクトル画像圧縮方法のフローの一例を示すフローチャートである。
【符号の説明】
１０ マルチスペクトル画像取得システム
１２ 光源
１４ 可変フィルタ
１６ ＣＣＤカメラ
１８ マルチバンド画像データ記憶装置
２０ マルチスペクトル画像取得装置
２２ マルチスペクトル画像圧縮装置
２２ａ 画像分割部
２２ｂ 主成分分析部
２２ｃ 最適主成分ベクトル・画像抽出部
２４ 記録メディアドライブ装置
Claims (6)
- 被写体を撮影する際に撮影波長帯域を複数のバンド帯域に分割して撮影された複数のバンド画像を用いて得られた複数のスペクトル画像から成るマルチスペクトル画像を画像圧縮する方法であって、
前記マルチスペクトル画像を複数のタイル画像に分割し、
このタイル画像それぞれに対して主成分分析を行い、各タイル画像毎にマルチスペクトル画像の主成分ベクトルと主成分画像の複数の対を得、
この複数の対の中から、マルチスペクトル画像の画像情報を最適に代表する最適主成分数を求め、最適主成分ベクトルとこれに対応する最適主成分画像を各タイル画像毎に得、
タイル画像毎に得られた各最適主成分画像に対し画像圧縮を行い最適主成分圧縮画像データを得ることを特徴とするマルチスペクトル画像の画像圧縮方法。 - 前記タイル画像の画素サイズは、縦方向および横方向ともに２の巾乗である請求項１に記載のマルチスペクトル画像の画像圧縮方法。
- 前記タイル画像の画素サイズは、すべて同一サイズである請求項１または２に記載のマルチスペクトル画像の画像圧縮方法。
- 前記最適主成分数は、色空間における色度差を所定値以下とする最小の主成分数である請求項１〜３のいずれかに記載のマルチスペクトル画像の画像圧縮方法。
- 前記色空間は、ＣＩＥＤ 65 の標準光源下のＣＩＥＤ１９７６Ｌ * ａ * ｂ * 色空間であり、
前記所定値は、この色空間における色度に基づく平均色差が１．５である請求項４に記載のマルチスペクトル画像の画像圧縮方法。 - 被写体を撮影する際に撮影波長帯域を複数のバンド帯域に分割したバンド画像を用いて得られるマルチスペクトル画像を画像圧縮するマルチスペクトル画像の画像圧縮装置であって、
マルチスペクトル画像を複数のタイル画像に分割する画像分割部と、
画像分割部で得られたタイル画像それぞれに対して、主成分分析を行って、各タイル画像毎に、マルチスペクトル画像の主成分ベクトルと主成分画像の複数の対を得る主成分分析部と、
この主成分分析部で得られた主成分ベクトルと主成分画像の複数の対の中から、マルチスペクトル画像の画像情報を最適に代表する最適主成分数を求めて、最適主成分ベクトルと最適主成分画像を得る最適主成分ベクトル・画像抽出部とを備え、
前記最適主成分ベクトル・画像抽出部で得られた各タイル画像の最適主成分画像に対し画像圧縮を行い最適主成分圧縮画像データを得ることを特徴とするマルチスペクトル画像の画像圧縮装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29789599A JP3986221B2 (ja) | 1999-10-20 | 1999-10-20 | マルチスペクトル画像の画像圧縮方法および画像圧縮装置 |
| US09/692,043 US6879716B1 (en) | 1999-10-20 | 2000-10-20 | Method and apparatus for compressing multispectral images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29789599A JP3986221B2 (ja) | 1999-10-20 | 1999-10-20 | マルチスペクトル画像の画像圧縮方法および画像圧縮装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001119587A JP2001119587A (ja) | 2001-04-27 |
| JP2001119587A5 JP2001119587A5 (ja) | 2005-06-02 |
| JP3986221B2 true JP3986221B2 (ja) | 2007-10-03 |
Family
ID=17852508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29789599A Expired - Fee Related JP3986221B2 (ja) | 1999-10-20 | 1999-10-20 | マルチスペクトル画像の画像圧縮方法および画像圧縮装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6879716B1 (ja) |
| JP (1) | JP3986221B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7580488B2 (en) * | 2000-11-29 | 2009-08-25 | The Penn State Research Foundation | Broadband modulation/demodulation apparatus and a method thereof |
| US7113654B2 (en) * | 2002-01-31 | 2006-09-26 | Bae Systems Information And Electronic Systems Integration Inc. | Computationally efficient modeling of imagery using scaled, extracted principal components |
| US7224845B1 (en) * | 2002-02-28 | 2007-05-29 | Bae Systems Information And Electric Systems Integration Inc. | Bijection mapping for compression/denoising of multi-frame images |
| US7755676B2 (en) * | 2002-08-30 | 2010-07-13 | Fujifilm Corporation | Multi-band image photographing method and apparatus, and program for executing the method |
| US7916173B2 (en) * | 2004-06-22 | 2011-03-29 | Canon Kabushiki Kaisha | Method for detecting and selecting good quality image frames from video |
| JP2006101512A (ja) * | 2005-09-21 | 2006-04-13 | Matsushita Electric Ind Co Ltd | 画像圧縮装置および画像送受信装置 |
| JP4645581B2 (ja) * | 2006-11-30 | 2011-03-09 | 富士ゼロックス株式会社 | 画像処理装置、画像読取装置及び画像形成装置 |
| US7925100B2 (en) * | 2007-07-31 | 2011-04-12 | Microsoft Corporation | Tiled packaging of vector image data |
| JP4677435B2 (ja) * | 2007-10-30 | 2011-04-27 | キヤノン株式会社 | 画像処理装置および方法 |
| JP4677434B2 (ja) * | 2007-10-30 | 2011-04-27 | キヤノン株式会社 | 画像処理装置および方法 |
| US8929654B2 (en) | 2011-12-28 | 2015-01-06 | Dolby Laboratories Licensing Corporation | Spectral image processing |
| JP2014016746A (ja) * | 2012-07-06 | 2014-01-30 | Sony Computer Entertainment Inc | 画像処理装置および画像処理方法 |
| US8717457B2 (en) * | 2012-08-14 | 2014-05-06 | Canon Kabushiki Kaisha | Adaptive spectral imaging for video capture |
| JP6299180B2 (ja) * | 2013-11-27 | 2018-03-28 | 株式会社リコー | 撮像装置、撮像システムおよび当該撮像装置による撮像方法 |
| CN111126452B (zh) * | 2019-12-03 | 2023-05-23 | 中国科学院国家空间科学中心 | 一种基于主成分分析的地物光谱曲线扩展方法及系统 |
| US12033329B2 (en) * | 2021-07-22 | 2024-07-09 | X Development Llc | Sample segmentation |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5513128A (en) * | 1993-09-14 | 1996-04-30 | Comsat Corporation | Multispectral data compression using inter-band prediction |
| US5793884A (en) * | 1995-12-19 | 1998-08-11 | Hewlett-Packard Company | Spectral based color image editing |
| CA2219809A1 (en) * | 1997-10-31 | 1999-04-30 | Shen-En Qian | System for interactive visualization and analysis of imaging spectrometry datasets over a wide-area network |
-
1999
- 1999-10-20 JP JP29789599A patent/JP3986221B2/ja not_active Expired - Fee Related
-
2000
- 2000-10-20 US US09/692,043 patent/US6879716B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6879716B1 (en) | 2005-04-12 |
| JP2001119587A (ja) | 2001-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4097873B2 (ja) | マルチスペクトル画像の画像圧縮方法および画像圧縮装置 | |
| JP3986221B2 (ja) | マルチスペクトル画像の画像圧縮方法および画像圧縮装置 | |
| US7116838B2 (en) | Enhancing the tonal and spatial characteristics of digital images using selective spatial filters | |
| US20060140476A1 (en) | Image compression apparatus and image compression program | |
| US8660345B1 (en) | Colorization-based image compression using selected color samples | |
| JP3736394B2 (ja) | 画像圧縮装置 | |
| JP2005318523A (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
| US7830568B2 (en) | Color processing apparatus and color processing method | |
| KR20070091853A (ko) | 영상 적응적인 색 재현 장치 및 방법 | |
| JP4097874B2 (ja) | マルチスペクトル画像の画像圧縮方法および画像圧縮装置 | |
| US20170094281A1 (en) | Compressing high dynamic range images | |
| JP2001119587A5 (ja) | ||
| US20150326878A1 (en) | Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression | |
| US8433132B2 (en) | Method for efficient representation and processing of color pixel data in digital pathology images | |
| JP3986219B2 (ja) | マルチスペクトル画像の画像圧縮方法および画像圧縮装置 | |
| JP3743389B2 (ja) | 画像圧縮装置および画像圧縮プログラム | |
| US20020063899A1 (en) | Imaging device connected to processor-based system using high-bandwidth bus | |
| US7146055B2 (en) | Image processing decompression apparatus and method of using same different scaling algorithms simultaneously | |
| US8897378B2 (en) | Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression | |
| Le et al. | Improving color space conversion for camera-captured images via wide-gamut metadata | |
| JPH11261740A (ja) | 画像評価方法、装置および記録媒体 | |
| JP2005078171A (ja) | 分光画像データ処理方法および分光画像データ処理装置 | |
| JP2006101512A (ja) | 画像圧縮装置および画像送受信装置 | |
| JP2004348293A (ja) | 画像品質計算装置および方法、そのプログラム並びに記録媒体 | |
| JP4101438B2 (ja) | 色調整装置および色調整方法並びにその方法を実行するためのプログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040812 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040812 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060814 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061020 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070626 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070710 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130720 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |