JP3998369B2 - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP3998369B2 JP3998369B2 JP12602899A JP12602899A JP3998369B2 JP 3998369 B2 JP3998369 B2 JP 3998369B2 JP 12602899 A JP12602899 A JP 12602899A JP 12602899 A JP12602899 A JP 12602899A JP 3998369 B2 JP3998369 B2 JP 3998369B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- lens
- sharpness
- film
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 245
- 238000003672 processing method Methods 0.000 title claims description 14
- 230000004075 alteration Effects 0.000 claims description 98
- 238000012937 correction Methods 0.000 claims description 70
- 238000000034 method Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 24
- 239000003086 colorant Substances 0.000 claims description 18
- 230000002093 peripheral effect Effects 0.000 claims description 18
- 230000006866 deterioration Effects 0.000 claims description 13
- 230000009467 reduction Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 13
- 239000000463 material Substances 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000010354 integration Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Facsimile Image Signal Circuits (AREA)
- Control Of Exposure In Printing And Copying (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、デジタルの画像処理方法および画像処理装置の技術分野に属し、詳しくは、フィルム画像を光電的に読み取り、この画像が再現されたプリント(写真)を得るデジタルフォトプリンタ等において、レンズ付きフィルムや安価なコンパクトカメラや低コストなデジタルカメラ等の性能の高くないレンズで撮影された画像であっても、高画質な画像を得ることができる画像処理方法および画像処理装置に関する。
【0002】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム(以下、フィルムとする)に撮影された画像の感光材料(印画紙)への焼き付けは、フィルムの画像を感光材料に投影して感光材料を露光する、いわゆる直接露光(アナログ露光)が主流である。
【0003】
これに対し、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像(潜像)を記録し、仕上がりプリント(写真)とするデジタルフォトプリンタが実用化された。
【0004】
デジタルフォトプリンタでは、画像をデジタル画像データとして、画像処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、鮮鋭度強調処理等を好適に行って、従来の直接露光では得られなかった高品位なプリントを得ることができる。また、画像や文字の合成等も画像処理で行うことができ、用途に応じて自由に編集/処理したプリントも出力可能である。
【0005】
しかも、デジタルフォトプリンタによれば、フィルムに撮影された画像以外にも、デジタルカメラで撮影された画像やコンピュータで処理した画像もプリントとして出力でき、また、プリント以外にも、画像データをコンピュータ等に供給したり、フロッピーディスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
【0006】
このようなデジタルフォトプリンタは、基本的に、フィルムに読取光を入射して、その投影光を読み取ることによって、フィルムに記録された画像を光電的に読み取るスキャナ(画像読取装置)と、スキャナによって読み取られた画像データやデジタルカメラ等から供給された画像データに所定の画像処理を施し、画像記録のための画像データや露光条件を得る画像処理装置と、画像処理装置から出力された画像データに応じて、例えば光ビーム走査によって感光材料を走査露光して潜像を記録するプリンタ(画像記録装置)と、プリンタによって露光された感光材料に現像処理を施して、画像が再生されたプリントとするプロセサ(現像装置)とを有して構成される。
【0007】
【発明が解決しようとする課題】
ところで、一般的なユーザが通常の写真撮影を行なう場合には、一眼レフカメラのような高価で高性能なカメラを使用することは少なく、安価でかつ露光やピント合わせ等の操作が自動化された、いわゆるコンパクトカメラを使用するのが通常である。また、近年では、手軽である等の理由から、いわゆるレンズ付きフィルムを使用するユーザも非常に多い。
【0008】
一眼レフカメラ等のように、ある程度のコストをかけられるカメラでは、精度の高いレンズを用い、さらに複数枚のレンズを組み合わせることにより、非常に高画質な画像を撮影することができる。
これに対し、レンズ付きフィルムや安価なコンパクトカメラでは、レンズにコストをかけることができず、安価なレンズを1〜2枚しか用いることができないため、画質的に十分な画像を撮影することができず、プリントに再生された画像は、必ずしも高画質と言うことはできない。
【0009】
本発明の目的は、前記従来技術の問題点を解決することにあり、レンズ付きフィルムやコンパクトカメラ等の安価なカメラで撮影された画像や、安価なデジタルカメラによって撮影された画像からであっても、高画質な画像が再生された高品質のプリント(写真)を得ることができる画像処理方法および画像処理装置を提供することにある。
【0010】
【課題を解決するための手段】
前述のように、レンズ付きフィルムやコンパクトカメラでは、レンズにコストをかけることができないので、十分な画質の画像を撮影することができず、高画質な画像が再生された高品質の仕上がりプリントを得ることができない。従来、このようなレンズ性能に起因する画質低下、特に画像ボケを補正するためには、画像の位相を考慮する、すなわちピントボケ(PSF:Point Spread Function)の逆変換を行なう必要がある。ただし、この方法では、処理回路の規模か大きくなり、また処理も難しいという問題点がある。
このような問題点について、本発明者が鋭意検討を重ねた結果、レンズ付きフィルム等によって撮影された画像であっても、鮮鋭度強調処理(シャープネス処理)の強度を変更、特に通常(デフォルト)よりも強く掛けることにより、処理が難しいPSF補正を行わなくても、ピントボケが是正された十分な画質のプリントを得られることを見いだし、また、鮮鋭度強調処理機能を有する装置であれば、このように鮮鋭度強調処理の強度を変更することにより、製品等のコストを上昇させることなく、レンズ性能に起因する画質低下をカバーすることができることを見いだした結果、本発明に至ったものである。
【0011】
すなわち、本発明の画像処理方法は、光学的に撮影された画像から赤、青及び緑の3原色の画像データを得、少なくとも鮮鋭度強調処理を施して出力画像用の画像データとする画像処理方法であって、前記画像を撮影したレンズの情報を得てレンズ種を判別して、レンズ種に応じて、前記レンズの特性に起因する歪曲収差、倍率色収差および周辺光量の少なくとも1つを補正し、補正された画像の前記鮮鋭度強調処理の強度を、レンズ種に応じて、3原色の各色毎に独立に変更する際、3原色のうち、少なくとも赤色の画像の前記鮮鋭度強調処理の強度を、緑色の画像の前記鮮鋭度強調処理の強度よりも強くすることを特徴とする。
【0012】
ここで、前記鮮鋭度強調処理の強度は、1コマの画像全体で一律に変更される、もしくは前記1コマの画像を複数の画像領域に分割し、その分割された画像領域毎に変更されるのが好ましい。
【0013】
また、本発明の画像処理装置は、光学的に撮影された画像から得られた赤、青及び緑の3原色の画像データに画像処理を施し、出力画像用の画像データとする画像処理装置であって、前記画像を撮影したレンズの判別情報を取得し、そのレンズ種を判別する判別手段と、判別したレンズ種に応じたレンズ特性を記憶する記憶手段、および、対応するレンズ種のレンズ特性を前記記憶手段から受け取り、画像の位置情報とレンズ特性とから前記レンズ特性に起因する歪曲収差、倍率色収差および周辺光量の少なくとも1つを補正する画質劣化補正手段を含み、前記画質劣化補正手段で補正した画像に、前記判別手段により判別されたレンズ種に応じて鮮鋭度強調処理を少なくとも行なう画像処理手段と、を有し、前記画像処理手段は、前記鮮鋭度強調処理の強度を3原色の各色毎に独立に変更し、3原色のうち、少なくとも赤色の画像の前記鮮鋭度強調処理の強度を、緑色の画像の前記鮮鋭度強調処理の強度よりも強くすることを特徴とする。
【0014】
ここで、前記画質劣化補正手段は、レンズ特性による倍率色収差および歪曲収差、あるいはさらに周辺光量を補正するものであり、倍率色収差に起因する3原色の基準となる色に対する他の色の画像位置のずれ量を算出し、この倍率色収差に起因するずれ量と、歪曲収差に起因する前記基準となる色の画像位置のずれ量とを用いて、歪曲収差に加え倍率色収差も補正した各画像の適正な位置を算出し、前記各画像の適正な位置から画質劣化の補正を行い、あるいは前記各画像の適正な位置を用いて画質劣化の補正および電子変倍処理を行なうのが好ましい。
【0015】
また、前記画像処理手段は、前記鮮鋭度強調処理の強度を1コマの画像全体で一律に変更する、もしくは前記1コマの画像を複数の画像領域に分割し、その分割された画像領域毎に変更するのが好ましい。
【0016】
【発明の実施の形態】
以下、本発明の画像処理方法および画像処理装置について、添付の図面に示される好適実施例を基に詳細に説明する。
【0017】
図1に、本発明の画像処理方法を実施する本発明の画像処理装置を利用するデジタルフォトプリンタの一実施例のブロック図が示される。
図1に示されるデジタルフォトプリンタ(以下、フォトプリンタとする)10は、基本的に、フィルムFに撮影された画像を光電的に読み取るスキャナ(画像読取装置)12と、読み取られた画像データ(画像情報)の画像処理やフォトプリンタ10全体の操作および制御等を行う画像処理装置14と、画像処理装置14から出力された画像データに応じて変調した光ビームで感光材料(印画紙)を画像露光し、現像処理してプリント(写真)として出力するプリンタ16とを有する。
また、画像処理装置14には、様々な条件の入力(設定)、様々な処理の選択や指示、色/濃度補正などの指示等を入力するためのキーボード18aおよびマウス18bを有する操作系18と、スキャナ12で読み取られた画像、各種の操作指示、条件の設定/登録画面等を表示するディスプレイ20とが接続される。
【0018】
スキャナ12は、フィルムF等に撮影された画像を1コマずつ光電的に読み取る装置で、光源22と、可変絞り24と、フィルムFに入射する読取光をフィルムFの面方向で均一にする拡散ボックス28と、フィルムFを所定の位置に保持するスキャナ30と、結像レンズユニット32と、R(赤)、G(緑)およびB(青)の各画像読取に対応するラインCCDセンサを有するイメージセンサ34と、アンプ(増幅器)36と、A/D(アナログ/デジタル)変換器38とを有する。
【0019】
また、フォトプリンタ10においては、新写真システム(APS;Advanced Photo System )のフィルムや135サイズのネガ(あるいはリバーサル)フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて、スキャナ12の本体に装着自在な専用のキャリア30が用意されており、キャリア30を交換することにより、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像(コマ)は、このキャリア30によって所定の読取位置に搬送される。
【0020】
スキャナ12において、フィルムFに撮影された画像を読み取る際には、光源22から射出され、可変絞り24によって光量調整された読取光が、キャリア30によって所定の読取位置に位置されたフィルムFに入射して、透過することにより、フィルムFに撮影された画像を担持する投影光を得る。
【0021】
キャリア30は、図2(A)に示されるように、所定の読取位置にフィルムFを位置させつつ、イメージセンサ34のラインCCDセンサの延在方向(主走査方向)と直交する副走査方向に、フィルムFの長手方向を一致させて搬送する、読取位置を副走査方向に挟んで配置される搬送ローラ対30aおよび30bと、フィルムFの投影光を所定のスリット状に規制する、読取位置に対応する位置において主走査方向に延在するスリット40aを有するマスク40とを有する。
フィルムFは、このキャリア30によって読取位置に配置されて副走査方向に搬送されつつ、読取光を入射される。これにより、結果的にフィルムFが主走査方向に延在するスリット40aによって2次元的にスリット走査され、フィルムFに撮影された各コマの画像が読み取られる。
【0022】
周知のように、新写真システムのフィルムには、磁気記録媒体が形成されており、新写真システムのフィルム(カートリッジ)に対応するキャリア30には、この磁気記録媒体に記録された情報を読み取り、また必要な情報を記録する磁気ヘッド42が配置されている。フィルムFの磁気記録媒体に記録された情報は、磁気ヘッド42で読み取られて、スキャナ12本体から画像処理装置14等の必要な部位に送られ、あるいは、各種の情報が磁気ヘッド42によってフィルムFの磁気記録媒体に記録される。
また、図中符号44は、フィルムに光学的に記録されるDXコード、拡張DXコード、FNSコード等のバーコードや、フィルムに光学的に記録された各種の情報を読み取るためのセンサ(バーコードリーダ)であり、センサ44で読み取られた各種の情報が画像処理装置14等の必要な部位に送られる。
【0023】
前述のように、読取光は、所定の読取位置において、キャリア30に保持されたフィルムFを透過して、画像を担持する投影光となり、この投影光は、結像レンズユニット32によってイメージセンサ34の受光面に結像される。
図2(B)に示されるように、イメージセンサ34は、R画像を読み取るラインCCDセンサ34R、G画像を読み取るラインCCDセンサ34G、およびB画像を読み取るラインCCDセンサ34Bを有する、いわゆる3ラインのカラーCCDセンサで、各ラインCCDセンサは、前述のように主走査方向に延在している。フィルムFの投影光は、このイメージセンサ34によって、R、GおよびBの3原色に分解されて光電的に読み取られる。
イメージセンサ34の出力信号は、アンプ36で増幅され、A/D変換器38でデジタル信号とされて、画像処理装置14に送られる。
【0024】
スキャナ12においては、フィルムFに撮影された画像の読み取りを、低解像度で読み取るプレスキャンと、出力画像の画像データを得るための本スキャンとの、2回の画像読取で行う。
プレスキャンは、スキャナ12が対象とする全てのフィルムの画像を、イメージセンサ34が飽和することなく読み取れるように、あらかじめ設定された、プレスキャンの読取条件で行われる。一方、本スキャンは、プレスキャンデータから、その画像(コマ)の最低濃度よりも若干低い濃度でイメージセンサ34が飽和するように、各コマ毎に設定された本スキャンの読取条件で行われる。
プレスキャンおよび本スキャンの出力信号は、解像度と出力レベルが異なる以外は、基本的に同じである。
【0025】
なお、本発明において、スキャナ12は、このようなスリット走査によるものに限定されず、エリアCCDセンサを用い、1コマの画像の全面を一度に、R,G,Bについて面順次で読み取る、面読取を利用するものであってもよい。
また、フォトプリンタ10は、ネガやリバーサル等のフィルムに撮影された画像を光電的に読み取るスキャナ12以外にも、反射原稿の画像を読み取る画像読取装置、デジタルカメラやデジタルビデオカメラ等の撮像デバイス、コンピュータ通信等の通信手段、FD(フロッピーディスク)、MO(光磁気記録媒体)、スマートメディア等の画像記録媒体などの各種の画像データ供給源を利用することができ、これらを直接またはその駆動装置を介して画像処理装置14に接続することにより、これらの画像データ供給源から画像データを受け取って、プリントを作成することができる。
特に、本発明は、デジタルカメラやデジタルビデオカメラなどのような撮像デバイスで被写体が直接光学的に撮影された画像(デジタル画像データ)に好適に利用可能であり、図示例のフォトプリンタ10においては、直接被写体をデジタルカメラ等の撮像デバイスで撮影して得られたデジタル画像データが記録された画像記録媒体25を駆動してデジタル画像データを読み出す記録媒体駆動装置26が画像処理装置14に接続されている。もちろん、デジタルカメラ等を直接画像処理装置14に接続して、撮影された画像データを直接画像処理装置14に入力可能にしてもよい。
【0026】
前述のように、スキャナ12や記録媒体駆動装置26等からの出力信号(画像データ)は、画像処理装置14に出力される。以下の説明では、主としてスキャナ12から画像処理装置14に1コマの画像データが供給される場合を代表例として説明する。
図3に画像処理装置(以下、処理装置14とする)のブロック図を示す。処理装置14は、データ処理部50、Log変換器52、プレスキャンメモリ54、本スキャンメモリ56、プレスキャン処理部58、本スキャン処理部60、および条件設定部62を有する。
なお、図3は、主に画像処理関連の部位を示しており、処理装置14には、これ以外にも、処理装置14を含むフォトプリンタ10全体の制御や管理を行うCPU、フォトプリンタ10の作動等に必要な情報を記憶するメモリ等が配置される。また、操作系18やディスプレイ20は、このCPU等(CPUバス)を介して各部位に接続される。
【0027】
スキャナ12から出力されたR,GおよびBの各デジタル信号は、データ処理部50において、DCオフセット補正、暗時補正、シェーディング補正等の所定のデータ処理を施された後に、Log変換器52で変換されてデジタル画像(濃度)データとされ、プレスキャン(画像)データはプレスキャンメモリ54に、本スキャン(画像)データは本スキャンメモリ56に、それぞれ記憶される。
なお、プレスキャンデータと本スキャンデータは、解像度(画素密度)と信号レベルが異なる以外は、基本的に同じデータである。
【0028】
プレスキャンメモリ54に記憶されたプレスキャンデータはプレスキャン処理部58において、本スキャンメモリ56に記憶された本スキャンデータは本スキャン処理部60において、それぞれ処理される。
プレスキャン処理部58は、画像処理部64およびデータ変換部66を有し、他方、本スキャン処理部60は、画像処理部68、データ変換部70およびレンズ種判別部74を有する。
【0029】
プレスキャン処理部58の画像処理部64と、本スキャン処理部60の画像処理部68は、共に、後述する条件設定部62が設定した画像処理条件に応じて、スキャナ12によって読み取られた画像(画像データ)に所定の画像処理を施す部位である。
画像処理部64および68は、処理する画像データの画素密度が異なり、また画像処理部64が収差補正部72を有さない以外は、基本的に同じ処理を行なうものであるので、以下の説明は、本スキャン処理部60の画像処理部68を代表例として行なう。なお、本発明においては、プレスキャン処理部58の画像処理部64にも、収差補正部を設けて、必要に応じて、プレスキャン画像に後述する歪曲収差や倍率色収差などの収差や周辺光量低下などの画質劣化の補正を行なってもよい。
【0030】
画像処理部68(64)のLUTは、LUT(ルックアップテーブル)によって、画像の色バランス調整、コントラスト調整(階調処理)、および明るさ調整(濃度調整)を行なう部位であり、また、MTXは、マトリクス演算によって、画像の彩度調整を行なう部位である。
【0031】
本スキャン処理部60の画像処理部68には、MTXとブロック68Aとの間に、歪曲収差および倍率色収差などの収差や周辺光量低下などの画質劣化の補正(以下、代表して収差補正という)ならびに電子変倍処理を行う収差補正部72が配置される。また、収差補正部72およびブロック68には、レンズ種判別部74が接続される。
【0032】
後に詳述するが、本発明に係る処理装置14においては、フィルムFに被写体を撮影したレンズまたは直接被写体を撮像デバイスで撮影したレンズのレンズ種を判別し、予め選択設定されている所定のレンズ種で撮影された画像には、ブロック68Aで行なう鮮鋭度強調処理(シャープネス処理)を強くかける。本発明においては、これにより、レンズ付きフィルムやコンパクトカメラやデジタルカメラような低コストのレンズで撮影された画像からも、困難なPSF補正などをかけることなく、高画質な画像を再生した高品質なプリントを出力することを可能にしている。
ここで、図示例の処理装置14においては、好ましい態様として、所定のレンズ種で撮影された、シャープネス処理を強くかける画像の場合には、レンズ特性に起因する収差補正も施し、高強度シャープネスとの相乗効果により、より高画質な画像を得ている。
言い換えれば、本発明においては、高画質な画像を得るために収差補正が必要な、性能の低いレンズで撮影された画像には、シャープネス処理を強くかけ、あるいはさらに収差補正を行い、高画質な画像を得ることを実現している。なお、本発明の高強度シャープネス強調処理は、1コマの全画面に一律に同じ強度でかけてもよいし、収差補正と同様に、レンズ特性に合わせて、すなわち画像の中心からの距離に応じて強度を変えてもよい。こうすることで、レンズに起因するピントボケも細かく補正でき、さらに適切なシャープネス処理がかかった高画質画像を再生することができる。
【0033】
レンズ種判別部74は、レンズ種を判別するためのレンズ情報を取得して、フィルムFに画像を撮影したレンズ種を判別し、その結果から、高強度シャープネス処理および収差補正の要・不要を判断し、その結果に基づく指示を収差補正部72およびブロック68Aに出し、さらに、判別したレンズ種のレンズ特性を収差補正部72に供給する。
なお、本発明においては、画像にシャープネス処理を強くかけるレンズ種には限定はないが、少なくともレンズ付きフィルム(以下、LFとする)で撮影された画像には、シャープネス処理を強くかけるのが好ましい。
【0034】
フィルムFに画像を撮影したレンズ種を判別するためのレンズ情報、およびその取得手段には特に限定はなく、各種の方法が利用可能である。
通常は、カメラの機種が判ればレンズ種が判別できるので、例えば、新写真システムのLFであれば、スキャナ12(キャリア30)において、フィルムFに磁気記録されたカートリッジIDおよび/またはフィルム種を読み取り、これをカメラ機種すなわちレンズ種の判別に利用してもよい。
ところで、本発明において用いられるレンズ情報としては、レンズ情報自体であってもよいし、レンズ情報を間接的に示す情報、例えばカメラの機種などの情報でもよいし、このようなレンズ情報をコード化したもの、すなわちレンズ情報を直接または間接的に示すコード、例えばレンズ種コードやカメラ機種コードであってもよい。このようなコードとしては、上述したレンズ情報を得ることのできるフィルムカートリッジIDやカメラ機種であってもよい。ここで、レンズ情報とは、レンズそのものに関する情報やレンズの性能に関する情報であってもよいし、LFおよびカメラの機種に関する情報であっても、さらにはレンズによる画質劣化量、例えば歪曲収差、倍率色収差、周辺光量低下等に関する各劣化量の情報などであってもよい。
このようなレンズ情報をフィルム製造時、またはフィルム装填時、あるいはデジタルカメラなどへの画像記録媒体挿入時、もしくは撮影時に光学的または磁気的あるいはまた電気的に記録し、スキャナ12(キャリア30)において、フィルムFに記録されたレンズ情報を読み取り、これを用いてレンズ種を判別してもよい。
【0035】
すなわち、デジタルカメラなどのように、フィルムを使用せずに、直接撮像デバイスで直接被写体を撮影して、直接画像記録媒体に画像データを記録する場合には、画像記録媒体挿入時あるいは撮影時にレンズ情報を1連のコマの画像データや1コマの画像データのヘッダなどに電気的に記録しておき、これを読み出してレンズ種を判別してもよい。
また、LFの場合には、フィルムFをカメラに装填する前(製造時)に、予めフィルムFにレンズ種などのレンズ情報を磁気的に(新写真システム(APS)−LFの場合)もしくは光学的に(135−LF、APS−LFの場合)記録して、これを用いてレンズ種を判別してもよい。
例えば135−LF、APS−LFなどのLFであれば、レンズ情報をフィルム製造時にDXコードや拡張DXコードとは別にフィルムの非撮影領域(有効領域外)に予め光学的に記録しておくことができるし、例えば、APS−LFであれば、APSフィルムの先頭と最後の、フィルムメーカーが自由に使用できるロッドコードに同様に予め光学的に記録しておくこともできる。また、APS−LFであれば、APSフィルムの磁気層にレンズ情報をフィルム製造時に予め磁気的に記録しておくこともできる。さらに、IC付フィルムカートリッジを用いる135−LF、APS−LFの場合には、このカートリッジICにレンズ情報をフィルム製造時に予め電気的に記録しておくこともできる。
【0036】
また、新写真システム(APS)のカメラやAPS−LFであれば、フィルムFにカメラの機種やレンズ種などのレンズ情報をフィルムの装填時や撮影時に磁気記録し、上記と同様に、これを利用してもよい。
また、カメラによっては、例えば通常の135フィルムを用いるカメラ、APSカメラ、135−LF、APS−LFの場合には、レンズ種(カメラの機種)などのレンズ情報をフィルムの装填時や撮影時にカメラの側からLED等を用いてフィルムの有効領域外に光学的に記録しておくこともできる。あるいは、同様な各種のカメラおいて、撮影時にカメラの露光開口枠の開口縁部に設けられたノッチをフィルムに露光・焼き付け、レンズ情報として図6(A)および(B)に示すようなノッチマーク46をフィルムの有効領域外に光学的に記録もよいし、撮影時にカメラのフィルムの撮影画面を規定するアパーチャに設けられた凹凸をフィルムに露光し、図6(C)および(D)に示すような凹凸48をフィルムの有効領域外に記録してもよい。図6(A)および(B)に示すノッチマーク46の場合には、ノッチマーク46の数や形状やその間隔等を用いたコードにより、図6(C)および(D)に示す凹凸48の場合にもその数や形状やその間隔等を用いたコード、好ましくはバーコードリーダで読取可能なバーコードにより、レンズ情報を記録することができる。これらの場合には、スキャナ12(キャリア30)において画像の撮影領域(有効領域)より大きい範囲を読み取り、読み取られたノッチマーク46や凹凸48からレンズ情報を読み取りレンズ種を判別すればよい。
【0037】
なお、APSフィルムは、全てのコマが通常一台のカメラで撮影されるが、APSカメラによっては、途中交換(MRC)機能を備えたものもあるため、APSカメラの途中交換機能を使い、一本のAPSフィルムが異なるカメラで撮影された場合には、本発明のレンズ種に応じたシャープネス強度の変更は、途中交換機能を考慮して判別されたそれぞれのカメラのレンズ種を用いて行うのは、もちろんである。
また、受け付け時に、LFの機種や135フィルムなどの撮影に用いたカメラの機種を顧客に聞きいて記録しておき、プリント作成時にオペレータがこれをキーボード18a等で入力して、レンズ種を判別してもよい。
【0038】
また、特にレンズ種を判別せず、ある特定のフィルムF、例えば、LFで撮影されたフィルムFである場合には、LFのフィルムであることの検出をもってレンズ種の検出とし、一律の条件でシャープネス処理を強くかけ、あるいはさらに収差補正を行なってもよい。なお、LFのフィルムFであることの判別は、前述のレンズ種の判別方法に加え、レンズタイプの情報、フィルム等に記録されるカメラ識別コード、フィルム製造時に記録される新写真システムのSSU(Snap Shooting Unit)インジケータ等が利用できる。
【0039】
レンズ種判別部74には、各種のレンズ種に応じたレンズ特性の情報、具体的には、レンズの歪曲収差および倍率色収差ならびに周辺光量低下の特性の情報、シャープネス処理の強度を中心からの距離に応じて変える場合にはそのための画像のボケ特性(例えば、ピントボケ特性、すなわちPSF特性)の情報が記憶されている。あるいは、前述のように、LFであれば一律の補正をかける場合には、LFの平均的なレンズ特性の情報を持てばよい。
レンズ種判別部74は、その画像が所定のレンズ種で撮影された、シャープネス処理を強くかけ、また、収差補正が必要な画像であると判断した場合には、判別したレンズ種に応じたレンズ特性の情報をメモリから読み出し、収差補正部72に供給する。
【0040】
レンズ特性としては、特に限定はないが、一般的に、レンズの歪曲収差の特性や倍率色収差や周辺光量低下や必要に応じて画像のボケなどの特性は、レンズの光軸すなわちフィルムFに撮影された画像の中心からの距離(例えば、x−yで示される)をパラメータとする3次関数で、ある程度まで近似することができるので、歪曲収差や倍率色収差や周辺光量低下や画像のボケなどの補正が必要なレンズ種について、その歪曲収差の特性を示す関数および倍率色収差の特性を示す関数ならびに周辺光量低下の特性を示す関数や画像のボケ特性を示す関数などを、レンズ特性として記憶しておけばよい。
【0041】
収差補正部72は、レンズ種判別部74が必要と判断した画像について、レンズ種判別部74から供給されたフィルムFのレンズ特性と、画像データ(画素)の位置情報、例えば、画像の中心からの座標位置(中心の画素から何画素目か)とを用いて、歪曲収差、倍率色収差の補正および周辺光量低下の補正、ならびに電子変倍処理を行う。なお、この座標は、例えば、x−y座標でも極座標でもよく、画像(画素)の位置が相対的に検出できれば、各種の位置情報が利用可能である。
従って、レンズ種判別部74がシャープネス処理を強くかけることは不要と判断した画像については、撮影レンズに起因する画質劣化はないものとして、収差補正部72では電子変倍処理のみが行なわれる。また、シャープネス処理を強くかける必要があると判定した場合でも、レンズ特性が記憶されていない場合には電子変倍処理のみが行なわれる。
【0042】
ここで、レンズ特性と画像の位置情報(以下、画素位置とする)とを用いた倍率色収差および歪曲収差の補正を別々に行うと、演算に時間がかかり、また、補間演算も複数回行う必要が生じるため、画質が劣化するという問題がある。
そのため、好ましくは、R、GおよびBの3原色の基準となる色、通常はGを基準として、RおよびBの像倍率を変換して、RおよびBの画像をG画像に合わせることで倍率色収差を補正し、その後、G画像の歪曲収差を補正して、画像の歪曲収差および倍率色収差を補正する。これにより、各画素の適正位置を算出し、これを用いて、各画素の画像データを補間演算することによって、フィルムに撮影された画像の倍率色収差および歪曲収差を補正した画像データを得ることができる。
従って、歪曲収差についてはG画像に対する演算のみを行えばよいので、演算量や補間演算を減らして、より好適な倍率色収差および歪曲収差の補正を行うことができる。
【0043】
また、画像処理装置では、通常、画像データ処理による画像の拡大もしくは縮小、すなわち、電子変倍処理を行って、画像(画像データ)を出力画像に応じたサイズにして出力する。この電子変倍処理は、通常、画像データを補間演算することにより行われる。
ところが、前記倍率色収差および歪曲収差の補正でも補間演算が必要であるため、結果的に、2回の補間が行われる結果となり、画質が劣化してしまう場合もある。
【0044】
そのため、より好ましくは、前記レンズ特性と画像データの画素位置とを用いて、倍率色収差に起因する基準色(G)に対するRおよびBの画素位置のずれ量と、歪曲収差に起因する基準色の画素位置のずれ量とから、各画素毎の適正位置を算出し、算出された各画素の適正位置の情報を用いて、各画素の画像データを補間して画像の電子変倍処理を行う。言い換えれば、倍率色収差および歪曲収差による画素位置のずれ量を算出することにより、各画素が本来どの位置にあるべきであるかを検出し、この適正な位置に応じて画像データの補間演算を行って電子変倍処理を行う。
これにより、1回の補間演算で、歪曲収差および倍率色収差の補正と、電子変倍処理とを行うことができる。
【0045】
図示例の収差補正部72は、上記処理方法を実施する部位であり、図4の概念図に示されるように、座標変換処理部72Aと、拡大縮小処理部72Bとを有する。
なお、図4において、ir,igおよびibは、それぞれMTXから供給された画像データ(入力画像データ)の画素位置(アドレス)を; Ir,IgおよびIbは、倍率色収差および歪曲収差が補正された画像データの画素位置を;
ΔrおよびΔbは、それぞれ倍率色収差によるGの画素位置に対するRおよびBの画素位置のずれ量(すなわち補正量)を; Dは、歪曲収差によるGの画素位置のずれ量を; それぞれ示す。
【0046】
収差補正部72においては、MTXから画像データが供給されると、座標変換処理部72Aにおいて、レンズ種判別部74から供給されたレンズ特性を用いて、RおよびBの画像データの各画素位置irおよびibにおける、Gの画像データigに対する倍率色収差によるずれ量ΔrおよびΔbを算出し、さらに、Gの入力画像データigの歪曲収差によるずれ量Dを算出する。
【0047】
次いで、Rの入力画像データの各画素位置irに前記ΔrとDを加えて、倍率色収差および歪曲収差を補正されたRの画像データの画素位置Irを算出し、Bの入力画像データの各画素位置ibに前記ΔbとDを加えて、倍率色収差および歪曲収差を補正されたBの画像データの画素位置Ibを算出し、Gの入力画像データの各画素位置igに前記Dを加えて、倍率色収差および歪曲収差を補正されたBの画像データの画素位置Ibを算出する。
すなわち、この計算では、G画像を基準として、R画像およびB画像の倍率色収差を補正して、全画像をG画像に位置合わせして、G画像の歪曲収差によるずれ量Dを用いて、全体の歪曲収差を補正して、R,GおよびBの各画像の倍率色収差および歪曲収差を補正された画素位置を算出している。
【0048】
次いで、拡大縮小処理部72Bにおいて、この倍率色収差および歪曲収差を補正された画素位置Ir,IgおよびIbを用いて、拡大/縮小倍率に応じた画像データの補間処理(N倍補間)を行うことにより画像の変倍を行い、倍率色収差および歪曲収差が補正され、かつ電子変倍処理が行われた画像データとして、ブロック68Aに出力する。電子変倍処理の方法には特に限定はなく、公知の方法が各種利用可能であり、例えば、バイリニア補間を用いる方法、スプライン補間を用いる方法等が例示される。
【0049】
なお、歪曲収差の補正を行なうと、再現領域の画像が無くなる、いわゆるケラレを生じる場合があるので、歪曲収差の補正を行う場合には、通常よりも0.1%〜5%程度高い変倍率で電子変倍処理(補間)を行うのが好ましい。
また、その際の電子変倍率は、レンズ種に応じて各種設定してもよい。また、歪曲収差の量は、画像の縦と横で異なる場合があるので、それに応じて、縦と横で電子変倍処理の変倍率を変えてもよい。
【0050】
図示例の装置においては、好ましい態様として、歪曲収差および倍率色収差の両者を補正しているが、いずれか一方のみを行なってもよい。この場合にも、収差補正と電子変倍処理とを別々に行なうのではなく、前述の方法と同様に、収差に起因するずれ量を補正した適正位置を算出し、この適正位置の情報を用いて画像データの補間を行って電子変倍処理を行うのが好ましい。
さらに、歪曲収差や倍率色収差のみならず、レンズに起因する周辺光量低下やピントボケ(PSF:Point Spread Function)の特性も記憶しておき、前記収差補正に加え、ピントボケ補正や周辺光量補正も行うようにしてもよい。
【0051】
画像処理部64のMTX、および収差補正部72で処理された画像データは、次いで、ブロック64Aおよび68Aで処理される。
【0052】
ブロック64Aおよび68Aは、シャープネス処理に加え、覆い焼き処理(中間階調を維持した画像ダイナミックレンジの圧縮)、文字や画像の合成等の、前述の各種の処理以外の各種の画像処理を行なう部位である。なお、プレスキャン処理部58にはブロック64Aは無くてもよく、また、ブロック64Aではシャープネス処理も行なわなくてもよい。以下の説明では、シャープネス処理は、ブロック68Aのみで行なう。
ここで、本発明にかかる処理装置14においては、前述のように、レンズ種判別部74による指示に応じて、特定のレンズ種で撮影された画像には、ブロック68A(あるいはさらにブロック64A)でのシャープネス処理を、通常よりも強くかける。
【0053】
図5に、ブロック68Aにおいてシャープネス処理を行う処理手段の一例のプロック図を示す。
同図に示されるように、(シャープネス)処理手段90は、第1ローパスフィルタ(以下、LPFという)92と、第1減算器94と、輝度算出手段96と、第2LPF98と、第2減算器100と、第1アンプ102と、第2アンプ104と、第1加算器106と、第2加算器108とを有する。
【0054】
処理手段90においては、所定の処理を終えて入力された画像データ(以下、原信号という)SF (R,G,B)を第1LPF92で処理して、原信号SF (R,G,B)の低周波数成分RL ,GL ,BL を抽出する。第1LPF92は、例えば、9×9のLPFである。
一方、第1減算器94は、原信号SF からこの低周波数成分RL ,GL ,BL を減算して、中間・高周波数成分RMH,GMH,BMHを抽出する。
ここで、抽出された後の低周波数成分RL 、GL 、BL は、光学的に撮影されたカラー画像中のエッジや細かいテクスチャやフィルムの粒状によるザラツキを含まないものである。一方、中間周波数成分RM 、GM 、BM はフィルム粒状によるザラツキを含むものであり、高周波数成分RH 、GH 、BH は、カラー画像中のエッジや細かいテクスチャアを含むものである。
【0055】
次いで、輝度算出手段96において、第1減算器94によって得られた中間・高周波数成分RMH,GMH,BMHから輝度成分が抽出される。
この輝度成分は、原信号SF の中間・高周波数成分RMH,GMH,BMHをYIQ規定に変換した際の輝度(中間・高周波数)成分YMHで、例えば、下記式によって算出される。
YMH=0.3R+0.59G+0.11B
IMH=QMH=0
ここで、色成分である成分IMHおよび成分QMHは一般の被写体を写した画像の場合は殆ど成分を持たないことが経験的にわかっている。従って、成分IMHおよび成分QMHは、フィルム粒状に起因する色のザラツキとみなして0とおくことにより、ザラツキを抑制した良好な再生画像を得ることができる。
【0056】
次いで、輝度成分YMHに対して、第2LPF98によってフィルタリング処理を施して、輝度成分YMHの中間周波数成分YM を得る。第2LPF98は、例えば、5×5のLPFである。
さらに、第2減算器100において、輝度成分YMHから中間周波数成分YM を減算することにより輝度成分YMHの高周波数成分YH を得る。
第2LPF98で得られた中間周波数成分YM に、第1アンプ102において中間周波数成分YM に対するシャープネスゲインであるゲインM(gainM)を、他方、減算によって得られた高周波数成分YH に、第2アンプ104において高周波数成分YH に対するシャープネスゲインであるゲインH(gainH)を、それぞれ乗算し、処理済成分Y′M ,Y′H を得る。
ここで、処理手段90においては、シャープネス強調処理を行う時、フィルム粒状によるザラツキを目立たせることなく、画像中のエッジや細かいテクスチャアを強調できるように、粒状を抑制するためにフィルム粒状によるザラツキを含む中間周波数成分RM 、GM 、BM (輝度成分YM )をあまり強調し過ぎないようにゲインMを設定し、画像中のエッジや細かいテクスチャアを含む高周波数成分RH 、GH 、BH (輝度成分YH )を強調するようにゲインHを設定しておくのが好ましい。こうすることにより、処理手段90において粒状抑制シャープネス強調処理を行うことができる。
【0057】
第1アンプ102および第2アンプ104で得られた処理済成分Y′M およびY′H は、第1加算器108で合成され、処理済輝度成分Y′MHが得られる。
さらに、第2加算器108において、このようにして得られた処理済輝度成分Y′MHを前述した原信号SF の低周波数成分RL ,GL ,BL と合成して、シャープネス処理された画像データR′,G′,B′が得られる。
この際、前述した成分IMHおよびQMHの値は0とされているため、処理された輝度成分Y′MHを逆変換してRGBのデータに対応させると、RGB3つのデータは全て成分YMH’と同一の値となるので、処理された輝度成分YMH’を逆変換しないで合成することにより処理を簡便なものすることがとできる。
【0058】
ここで、本発明は、前述のように、レンズ種判別部74で判別される特定のレンズ種によって撮影された画像は、通常のシャープネス強調処理、好ましくは粒状抑制シャープネス強調処理よりもシャープネス処理を強くかけるものであり、図示例においては、第2アンプ104で乗算するゲインHを通常の設定値よりさらに大きくすることにより、すなわち高周波数成分をより強調することにより、シャープネス処理を強くかけるものである。この例では、高周波数成分のゲインHを大きくすることによりシャープネス強調処理の強度を大きくするので、高周波数成分のゲインHをシャープネス強調処理の強度とすることができる。
【0059】
処理手段90においては、フィルム種やプリントサイズ等に応じた好適なゲインMおよびゲインHが、デフォルトとして設定されている。例えば、一眼レフカメラ等の特定のレンズ種に指定されていないレンズを有するカメラで撮影されたフィルムから2Lサイズのプリントを作成する場合には、デフォルトとして、例えばゲインMにはデジタル値10(例えば、ゲイン1.25に相当)が、ゲインHにはデジタル値28(例えば、ゲイン3.50に相当)が、それぞれ設定されており、処理手段90は、通常は、これらのシャープネスゲインを用いて、シャープネス処理を行なう。
これに対し、例えば、LFで撮影されたフィルム等、特定のレンズ種で撮影された、レンズ種判別部74がシャープネス処理を強くかけることを指示した画像には、処理手段90は、デフォルトよりも大きなゲインH、例えば、前述の例であれば、ゲインHをデジタル値32(例えば、ゲイン4.50に相当)として、高強度のシャープネス処理を行なう。
【0060】
本発明において、シャープネス処理を通常よりも強くかける方法は、上記方法に限定はされず、利用するシャープネス処理の方法に応じた、各種の方法が利用可能である。
シャープネス処理を強くかける場合における、シャープネス強度となるゲインHやゲインM等のシャープネス処理条件は、レンズ種に係わらず一律であってもよいが、レンズ種のレンズ特性に応じて、それぞれに最適な条件を設定してもよい。
【0061】
また、上述した例では、高強度のシャープネス処理を行なう際に、シャープネス強調処理の強度、すなわち高周波数成分のゲインHを1コマの画像全体で一律に変更しているが、本発明はこれに限定されず、1コマの画像を複数の領域に分割して、その分割された領域内の画像毎に変更してもよい。1コマの画像の複数の領域への分割の仕方は、特に制限的ではなく、どのように分割してもよいし、分割された領域の大きさや形状も、特に制限的ではなく、どのような大きさ、形状であってもよい。例えば、1コマの画像を、複数の矩形、具体的には第1象限当たり、20×20の矩形領域に分割してもよいし、画像の中心を中心とする同心円によって中心円および複数の平板状円環(リング)に分割してもよいし、1画素単位に分割してもよいし、画像中の主要被写体を含む1つまたは2つ以上の領域と含まないいくつかの領域に分割してもよいし、主要被写体領域とそれ以外の領域に分割してもよい。もちろん、残りのシャープネス処理条件の1つである中周波数成分のゲインMも、分割された領域内の画像毎に変更してもよい。
なお、この場合には、分割された各領域でのシャープネス強調処理の強度(ゲインH)や条件(ゲインM)が異なるので、各領域の境界における繋がりを滑らかにするために、隣接する領域のシャープネス強度(ゲインH)や条件(ゲインM)をその変化が滑らかになるように設定するのが好ましい。
【0062】
この時、レンズ特性に起因するピントのズレ、従って、撮影された画像のボケ(PSF)は、歪曲収差や倍率色収差などの収差や周辺光量低下などの画質劣化と同様に、画像の中心からの距離に応じて大きくなる傾向にある。このため、この画像のボケ特性を歪曲収差や倍率色収差などの収差の特性や周辺光量の特性の情報とともに、レンズ種判別部74に、各種のレンズ種に応じたレンズ特性の情報として記憶させておき、処理手段90が本発明のシャープネス強調処理を行う場合に、判別されたレンズ種に応じた画像のボケ特性の情報をメモリから読み出し、分割された各領域の位置とボケの大きさから分割された領域毎のシャープネス強度(ゲインH)や条件(ゲインM)を決定してもよい。
こうすることにより、たとえ、収差補正部72においてPSF補正を行わなくても、レンズに起因する画像のボケをその度合いに応じて適切に補正することができるので、画像のボケのない、もしくは極めて少ない高画質画像を再生することができる。
この場合には、1コマの画像を、複数の矩形、例えば第1象限あたり20×20の矩形領域に分割したり、画像の中心を中心とする同心円によって中心円および複数の平板状円環(リング)に分割するのが好ましい。なお、1コマの画像を、複数の矩形領域に分割する場合には、対称性を利用して1コマの画像全体の1/4の領域のみにある各単位矩形領域、例えば40×40の単位矩形領域に分割する場合には第一象限の20×20の単位矩形領域のシャープネス強度(ゲインH)や条件(ゲインM)を決定すればよい。
【0063】
また、上述した例では、高強度のシャープネス処理を行なう際に、シャープネス強度(ゲインH)を3原色の画像データ、例えばRGB画像データで一律に変更しているが、本発明はこれに限定されず、RGB画像データ毎に独立に変更してもよい。もちろん、残りのシャープネス処理条件(ゲインM)も、RGB画像データ毎に独立に変更してもよい。
シャープネス強度(ゲインH)や条件(ゲインM)をRGB画像データ毎に独立に変更する場合には、例えば上述した図5に示すシャープネス処理回路90をRGB毎に備え、ゲインHを、それぞれゲインHR、ゲインHGおよびゲインHBとして、ゲインMを、それぞれゲインMR、ゲインMGおよびゲインMBとして、RGB毎のシャープネス処理回路の第1および第2アンプ(102、104に相当)に独立に設定すればよい。
【0064】
そうして、中間・高周波数成分RMH,GMH,BMHから輝度成分YMHを求めるのではなく、それぞれに第2LPF98によるフィルタリング処理を施し中間周波数成分RM 、GM 、BM を求め、次いで、中間・高周波数成分RMH,GMH,BMHからそれぞれ中間周波数成分RM 、GM 、BM を減算して、高周波数成分RH ,GH ,BH を求める。この後、得られた中間周波数成分RM 、GM 、BM にそれぞれゲインMR、ゲインMG、ゲインMBを乗算して、処理済中間周波数成分RM ' 、GM ' 、BM ' を求め、得られた高周波数成分RH ,GH ,BH にそれぞれゲインHR、ゲインHG、ゲインHBを乗算して、処理済高周波数成分RH ’、GH ’、BH ’を求める。
こうして得られた処理済中間周波数成分RM ' 、GM ' 、BM ' と処理済高周波数成分RH ’、GH ’、BH ’とをそれぞれ加算し、処理済輝度成分Y′MHの代わりに、中間・高周波数成分RMH’,GMH’,BMH’を求め、それぞれ低周波数成分RL ,GL ,BL と合成して、シャープネス処理された画像データR′,G′,B′を得ることができる。
【0065】
このように、シャープネス強度(ゲインH)や条件(ゲインM)をRGB画像データ毎に独立に変更する場合に、RGB画像データ毎に全く独立に変更してもよいが、3原色RGBに対するレンズ特性や人の目の視感度特性等を考慮して、以下の2つの方法を行うのが好ましい。
第1の方法は、Gについてはデフォルト強度とし、RおよびBについてはデフォルト強度より大きい強度とする方法(G<R=B)である。これは、通常、RとBとはGに比べて、ピントがあっておらず、シャープネスが劣るからである。一方、第2の方法は、GおよびBについてはデフォルト強度とし、Rのみについてはデフォルト強度より大きい強度とする方法(G=B<R)である。これは、人の目の視感度特性は、G>R>Bであり、Gに比べてピントがあっておらず、シャープネスが劣るRとBのうち、Bは人の目には目立たないからである。
これらの方法を用いることにより、全体の処理量を減らすことができる。
【0066】
上述した例では、シャープネス強調の強度を変更する際に、高周波数成分のゲインや中周波数成分のゲインをRGB画像データに一律に、またはそれぞれに独立に変更しているが、本発明はこれに限定されず、どのような方法で行ってもよい。例えば、それぞれのゲインは、変更せずに、高・中・低周波数成分に分解する周波数領域(周波数帯)を変更してもよい。また、シャープネス強調処理の方法自体を変更してもよく、その強度の変更を行うようにしてもよい。例えば、アンシャープマスキングによるシャープネス強調処理の場合には、強調係数を変更するようにすればよい。
【0067】
また、上述した例では、レンズ種に応じてシャープネス強調処理の強度を変更しているが、そのレンズを備えたカメラで撮影されるフィルムが高感度である場合には、シャープネスの強度を強くするとフィルムの粒状も強調され、再生された画像にザラツキが目立つようになる恐れもある。このため、シャープネスの強度は、レンズ種に応じてのみならず、フィルム種によっても変更してもよい。例えば、高感度フィルムの場合には、シャープネスの強度(ゲインH)を大きくする割合を下げたり、限度を設けたり、さらには粒状を多く含む中周波数成分のゲインMをデフォルトより下げたりして、粒状抑制を強くするのが好ましい。
こうすることにより、コンパクトカメラやLFのような特定のレンズで高感度フィルムに撮影された画像であっても、粒状の荒れや画像のボケの少ない高画質画像が再生された高品質なプリントを得ることができる。
ここで、LFのように、レンズ種とフィルム種とが1対1に対応している場合には、フィルム種はレンズ種から判別すればよい。また、フィルム種は、一般的にフィルムに光学的に記録されている情報、例えばDXコードや拡張DXコードなどの情報や、さらにAPSフィルムの場合は磁気的に記録されている情報を読み取ることによって、判別することができるので、これらを利用すればよい。
【0068】
また、図示例においては、収差補正を行なった後にシャープネス処理を行なっているが、本発明はこれに限定はされず、シャープネス処理を行なった後に収差補正を行なってもよい。ただし、画質的には、図示例のように、収差補正を行なった後に、シャープネス処理を行なった方が有利である。
なお、本発明においては、収差補正は必ずしも必要ではなく、特定のレンズ種で撮影された画像に、シャープネス処理を強くかけるのみであってもよい。
【0069】
画像処理部64および68で処理された画像データは、データ変換部66および70に送られる。
プレスキャン処理部58のデータ変換部66は、画像処理部64によって処理された画像データを、3D(三次元)−LUT等を用いて変換して、ディスプレイ20による表示に対応する画像データにする。なお、必要に応じて、このデータ変換部66で電子変倍処理を行なってもよい。
他方、本スキャン処理部60のデータ変換部70は、同様に、画像処理部68によって処理された画像データを3D−LUTを用いて変換し、プリンタ16による画像記録に対応する画像データとしてプリンタ16に供給する。
【0070】
プレスキャン処理部58および本スキャン処理部60による各種の画像処理条件は、条件設定部62によって設定される。
この条件設定部62は、セットアップ部72、キー補正部78およびパラメータ統合部80を有する。
【0071】
セットアップ部76は、プレスキャンデータを用いて、本スキャンの読取条件を設定すると共に、施す画像処理を選択して、画像処理部64および68やデータ変換部66および70における画像処理条件を設定し、パラメータ統合部80に供給する。
具体的には、セットアップ部76は、プレスキャンデータから、濃度ヒストグラムの作成や、平均濃度、ハイライト(最低濃度)、シャドー(最高濃度)等の画像特徴量の算出等を行い、加えて、必要に応じて行われるオペレータによる指示に応じて、本スキャンの読み取り条件を設定し、また、前述のグレイバランス調整等を行なうLUTや彩度調整を行うマトリクス演算式の作成等の画像処理条件を決定する。
【0072】
キー補正部78は、キーボード18a等による、明るさ、色、階調、彩度等の補正指示に応じて、画像の補正量を算出して、パラメータ統合部80に供給するものである。
パラメータ統合部80は、セットアップ部76が設定した画像処理条件を受け取り、供給された画像処理条件をプレスキャン処理部58の画像処理部64および本スキャン処理部60の画像処理部68に設定し、さらに、キー補正部78で算出された補正量に応じて、この補正を行なうLUT等を作成して所定の部位に設定し、また、各部位に設定した画像処理条件を補正する。
【0073】
以下、スキャナ12および処理装置14の作用を説明する。
オペレータがフィルムFに対応するキャリア30をスキャナ12に装填し、キャリア30の所定位置にフィルムF(カートリッジ)をセットし、作成するプリントサイズ等の必要な指示を入力した後に、プリント作成開始を指示する。
【0074】
前記プリント開始の指示により、スキャナ12の可変絞り24の絞り値やイメージセンサ(ラインCCDセンサ)34の蓄積時間がプレスキャンの読取条件に応じて設定され、その後、キャリア30がフィルムFをプレスキャンに応じた速度で副走査方向に搬送して、プレスキャンが開始され、前述のように所定の読取位置において、フィルムFがスリット走査されて投影光がイメージセンサ34に結像して、フィルムFに撮影された画像がR,GおよびBに分解されて光電的に読み取られる。
【0075】
また、このフィルムFの搬送の際に、キャリア30の磁気ヘッド42によってフィルムFに磁気記録された情報が読み取られ、また、センサ44によってDXコード等の各種の情報が読まれ、必要な情報が処理装置14等の所定の部位に送られ、例えば、処理装置14のレンズ種判別部74が判別情報を得る。なお、判別情報は、オペレータによる入力等、各種の方法で提供されてもよいのは、前述のとおりである。
【0076】
本発明においては、プレスキャンおよび本スキャンは、1コマずつ行ってもよく、全コマあるいは所定の複数コマずつ、連続的にプレスキャンおよび本スキャンを行ってもよい。以下の例では、説明を簡潔にするために、1コマの画像読取を例に説明を行う。
【0077】
プレスキャンによるイメージセンサ34の出力信号は、アンプ36で増幅されて、A/D変換器38に送られ、デジタル信号とされ、処理装置14に送られ、データ処理部50でデータ処理を施され、Log変換器52でデジタル画像データであるプレスキャンデータとされ、プレスキャンメモリ54に記憶される。
【0078】
プレスキャンメモリ54にプレスキャンデータが記憶されると、条件設定部62のセットアップ部76がこれを読み出し、濃度ヒストグラムの作成、ハイライトやシャドー等の画像特徴量の算出等を行い、本スキャンの読取条件を設定してスキャナ12に供給し、また、階調調整等の各種の画像処理条件を設定し、パラメータ統合部80に供給する。
パラメータ統合部76は、供給された画像処理条件を、プレスキャン処理部56および本スキャン処理部58の所定部位(ハードウエア)に設定する。
【0079】
検定を行う場合には、プレスキャン処理部62によってプレスキャンデータがプレスキャンメモリ54から読み出され、画像処理部64において設定された画像処理条件で画像処理され、さらに、データ変換部66で変換され、シュミレーション画像としてディスプレイ20に表示される。
オペレータは、ディスプレイ20の表示を見て、画像すなわち処理結果の確認(検定)を行い、必要に応じて、キーボード18aに設定された調整キー等を用いて色、濃度、階調等を補正する。
この調整の入力は、キー補正部78に送られ、キー補正部78は補正入力に応じた補正量を算出し、これをパラメータ統合部76に送る。パラメータ統合部76は、この補正量に応じて、これを実行するための補正条件を設定し、また、先に設定した画像処理条件の補正等を行う。従って、この補正すなわちオペレータによる調整入力に応じて、ディスプレイ20に表示される画像も変化する。
【0080】
オペレータは、このコマの画像が適正(検定OK)であると判定すると、キーボード18a等を用いてプリント開始を指示する。これにより、画像処理条件が確定し、スキャナ12において可変絞り24の絞り値等が設定された本スキャンの読取条件に応じて設定されると共に、キャリア30が本スキャンに対応する速度でフィルムFを搬送し、本スキャンが開始される。
なお、検定を行わない場合には、パラメータ統合部80による本スキャン処理部60の画像処理部68への画像処理条件の設定を終了した時点で画像処理条件が確定し、本スキャンが開始される。このような検定の有無は、モードとして選択可能にするのが好ましい。
【0081】
本スキャンは、可変絞り24の絞り値等の読取条件が設定された本スキャンの読取条件となる以外はプレスキャンと同様に行われ、イメージセンサ34からの出力信号はアンプ36で増幅されて、A/D変換器38でデジタル信号とされ、処理装置14のデータ処理部50で処理されて、Log変換器52で本スキャンデータとされ、本スキャンメモリ56に送られる。
本スキャンデータが本スキャンメモリ54に送られると、本スキャン処理部60によって読み出され、画像処理部68のLUTおよびMTXで階調調整や彩度調整が施され、次いで、収差補正部72に送られる。
【0082】
一方、レンズ種判別部74は、取得した判別情報からレンズ種を判別し、その画像が特定のレンズ種で撮影された、シャープネス処理を強くかけ、かつ収差補正を行なう必要がある画像か否かを判定し、必要と判定した場合には、その旨の指示をブロック68Aおよび収差補正部72に送り、また、そのレンズ種のレンズ特性を読み出し、これを収差補正部72に送る。
【0083】
収差補正部72は、レンズ特性と画像データの画素位置とから、前述のようにして、座標変換処理部72Aにおいて、倍率色収差および歪曲収差を補正した画素位置Ir,IgおよびIbを算出して、拡大縮小処理部72Bにおくる。拡大縮小処理部72Bでは、画素位置Ir,IgおよびIbを用いて、画像データのN倍補間を行って画像の電子変倍を行い、収差補正および電子変倍処理を施された画像データとしてブロック68Aに出力する。
なお、レンズ種判別部74が、シャープネス処理を強くかける必要がないと判断した画像は、座標変換処理部72Aでは何の処理も行われず、拡大縮小処理部72Bで電子変倍処理のみが行われる。
【0084】
画像データは、さらに、ブロック68Aにおいてシャープネス処理や覆い焼き処理等の必要な画像処理を施され、データ変換部70に送られる。
ここで、レンズ種判別部74からシャープネス処理を強くかけることを指示された画像は、前述のように、ブロック68Aにおいてシャープネス処理を行なう処理装置90において、高周波数成分に乗算するシャープネスゲインであるゲインHを、デフォルト(例えば、デジタル値28)よりも高くして(例えば、デジタル値32)、シャープネス処理を強くかける。
【0085】
画像データは、次いで、画像データ変換部70においてプリンタ16による画像記録に応じた画像データに変換され、プリンタ16に送られる。
【0086】
プリンタ16は、感光材料(印画紙)を画像データに応じて露光して潜像を記録し、感光材料に応じた現像処理を施して(仕上り)プリントとして出力するものである。例えば、感光材料をプリントに応じた所定長に切断した後に、バックプリントの記録、感光材料(印画紙)の分光感度特性に応じた、赤(R)露光、緑(G)露光および青(B)露光の3種の光ビームを画像データ(記録画像)に応じて変調すると共に、主走査方向に偏向し、主走査方向と直交する副走査方向に感光材料を搬送することによる潜像の記録等を行い、潜像を記録した感光材料に、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとした後に、仕分けして集積する。
【0087】
以上、本発明の画像処理方法および画像処理装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【0088】
【発明の効果】
以上、詳細に説明したように、本発明によれば、レンズ付きフィルムや安価なコンパクトカメラやデジタルカメラ等で撮影された画像であっても、高画質な画像が再生された高品質のプリントを出力することができる。
【図面の簡単な説明】
【図1】 本発明の画像処理装置を利用するデジタルフォトプリンタの一例のブロック図である。
【図2】 (A)は、図1に示されるデジタルフォトプリンタのキャリアの概念図を、(B)は、図1に示されるデジタルフォトプリンタのイメージセンサの概念図を、それぞれ示す。
【図3】 図1に示されるデジタルフォトプリンタの画像処理装置の一例のブロック図である。
【図4】 図3に示される画像処理装置の収差補正部の概念図である。
【図5】 図3に示される画像処理装置においてシャープネスを行なう処理手段のブロック図である。
【図6】 (A)、(B)、(C)および(D)は、それぞれ本発明の画像処理装置において利用されるレンズ情報がコードとして記録されたフィルムの一例の平面図である。
【符号の説明】
10 (デジタル)フォトプリンタ
12 スキャナ
14 (画像)処理装置
16 プリンタ
18 操作系
18a キーボード
18b マウス
20 ディスプレイ
22 光源
24 可変絞り
25 画像記録媒体
26 記録媒体駆動装置
28 拡散ボックス
30 キャリア
32 結像レンズユニット
34 イメージセンサ
36 アンプ
38 A/D変換器
40 マスク
42 磁気ヘッド
44 センサ
46 ノッチマーク
48 凹凸
50 データ処理部
52 Log変換器
54 プレスキャン(フレーム)メモリ
56 本スキャン(フレーム)メモリ
58 プレスキャン処理部
60 本スキャン処理部
62 条件設定部
64,68 画像処理部
66,70 データ変換部
72 収差補正部
72A 座標変換処理部
72B 拡大縮小処理部
74 レンズ種判別部
76 セットアップ部
78 キー補正部
80 パラメータ統合部
90 処理手段
92 第1LPF
94 第1減算器
96 輝度算出手段
98 第2LPF
100 第2減算器
102 第1アンプ
104 第2アンプ
106 第1加算器
108 第2加算器
Claims (5)
- 光学的に撮影された画像から赤、青及び緑の3原色の画像データを得、少なくとも鮮鋭度強調処理を施して出力画像用の画像データとする画像処理方法であって、前記画像を撮影したレンズの情報を得てレンズ種を判別して、レンズ種に応じて、前記レンズの特性に起因する歪曲収差、倍率色収差および周辺光量の少なくとも1つを補正し、補正された画像の前記鮮鋭度強調処理の強度を、レンズ種に応じて、3原色の各色毎に独立に変更する際、
3原色のうち、少なくとも赤色の画像の前記鮮鋭度強調処理の強度を、緑色の画像の前記鮮鋭度強調処理の強度よりも強くすることを特徴とする画像処理方法。 - 前記鮮鋭度強調処理の強度は、1コマの画像全体で一律に変更される、もしくは前記1コマの画像を複数の画像領域に分割し、その分割された画像領域毎に変更される請求項1に記載の画像処理方法。
- 光学的に撮影された画像から得られた赤、青及び緑の3原色の画像データに画像処理を施し、出力画像用の画像データとする画像処理装置であって、
前記画像を撮影したレンズの判別情報を取得し、そのレンズ種を判別する判別手段と、
判別したレンズ種に応じたレンズ特性を記憶する記憶手段、および、対応するレンズ種のレンズ特性を前記記憶手段から受け取り、画像の位置情報とレンズ特性とから前記レンズ特性に起因する歪曲収差、倍率色収差および周辺光量の少なくとも1つを補正する画質劣化補正手段を含み、前記画質劣化補正手段で補正した画像に、前記判別手段により判別されたレンズ種に応じて鮮鋭度強調処理を少なくとも行なう画像処理手段と、を有し、
前記画像処理手段は、前記鮮鋭度強調処理の強度を3原色の各色毎に独立に変更し、3原色のうち、少なくとも赤色の画像の前記鮮鋭度強調処理の強度を、緑色の画像の前記鮮鋭度強調処理の強度よりも強くすることを特徴とする画像処理装置。 - 前記画質劣化補正手段は、レンズ特性による倍率色収差および歪曲収差、あるいはさらに周辺光量を補正するものであり、倍率色収差に起因する3原色の基準となる色に対する他の色の画像位置のずれ量を算出し、この倍率色収差に起因するずれ量と、歪曲収差に起因する前記基準となる色の画像位置のずれ量とを用いて、歪曲収差に加え倍率色収差も補正した各画像の適正な位置を算出し、前記各画像の適正な位置から画質劣化の補正を行い、あるいは前記各画像の適正な位置を用いて画質劣化の補正および電子変倍処理を行なう請求項3に記載の画像処理装置。
- 前記画像処理手段は、前記鮮鋭度強調処理の強度を1コマの画像全体で一律に変更する、もしくは前記1コマの画像を複数の画像領域に分割し、その分割された画像領域毎に変更する請求項3または4に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12602899A JP3998369B2 (ja) | 1998-09-16 | 1999-05-06 | 画像処理方法および画像処理装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10-261304 | 1998-09-16 | ||
JP26130498 | 1998-09-16 | ||
JP12602899A JP3998369B2 (ja) | 1998-09-16 | 1999-05-06 | 画像処理方法および画像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2000156785A JP2000156785A (ja) | 2000-06-06 |
JP2000156785A5 JP2000156785A5 (ja) | 2005-06-02 |
JP3998369B2 true JP3998369B2 (ja) | 2007-10-24 |
Family
ID=26462297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP12602899A Expired - Fee Related JP3998369B2 (ja) | 1998-09-16 | 1999-05-06 | 画像処理方法および画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3998369B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7433089B2 (en) | 2001-09-27 | 2008-10-07 | Fujifilm Corporation | Image processor |
JP2003108998A (ja) * | 2001-09-28 | 2003-04-11 | Olympus Optical Co Ltd | 画像処理方法 |
JP2003304492A (ja) | 2002-02-08 | 2003-10-24 | Canon Inc | 画像処理装置 |
JP2007048112A (ja) * | 2005-08-11 | 2007-02-22 | Noritsu Koki Co Ltd | 画像処理装置および画像処理プログラム |
JP2007148500A (ja) | 2005-11-24 | 2007-06-14 | Olympus Corp | 画像処理装置および画像処理方法 |
US8169516B2 (en) * | 2008-07-18 | 2012-05-01 | Ricoh Co., Ltd. | Electo-optical color imaging systems having strong lateral chromatic aberration compensated by digital image processing |
US8477206B2 (en) | 2008-09-30 | 2013-07-02 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for performing image restoration using restoration filter |
JP5268533B2 (ja) * | 2008-09-30 | 2013-08-21 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム |
JP5444970B2 (ja) * | 2009-09-08 | 2014-03-19 | 株式会社ニコン | 撮像装置 |
KR101332495B1 (ko) * | 2010-05-20 | 2013-11-26 | 엘지디스플레이 주식회사 | 영상처리방법 및 이를 이용한 표시장치 |
JP5657375B2 (ja) | 2010-12-24 | 2015-01-21 | オリンパス株式会社 | 内視鏡装置及びプログラム |
KR102063984B1 (ko) * | 2013-01-28 | 2020-01-08 | 엘지디스플레이 주식회사 | 결함 검사 장치 및 이의 왜곡 보정방법 |
JP6953952B2 (ja) * | 2017-09-26 | 2021-10-27 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法及び画像形成装置 |
-
1999
- 1999-05-06 JP JP12602899A patent/JP3998369B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000156785A (ja) | 2000-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6603885B1 (en) | Image processing method and apparatus | |
US6807316B2 (en) | Image processing method and image processing apparatus | |
JP3998369B2 (ja) | 画像処理方法および画像処理装置 | |
JP2007096509A (ja) | 画像処理装置、および画像処理方法 | |
US7200280B2 (en) | Image processing apparatus | |
JP3405266B2 (ja) | 画像処理方法および装置 | |
JP3783817B2 (ja) | 画像処理方法および画像処理装置 | |
JP3549413B2 (ja) | 画像処理方法および画像処理装置 | |
JPH11191871A (ja) | 画像処理装置 | |
JPH11317863A (ja) | 画像処理装置 | |
JP3631370B2 (ja) | 画像処理方法および画像処理装置 | |
JP2001223891A (ja) | 画像処理方法 | |
JP2001086332A (ja) | 画像処理装置 | |
US6891888B2 (en) | Image processing method and image processing apparatus | |
JP3625370B2 (ja) | 画像処理方法および画像処理装置 | |
JP2000324339A (ja) | 画像処理方法および画像処理装置 | |
JP4204673B2 (ja) | 画像処理方法および画像処理装置 | |
JP3576812B2 (ja) | 画像処理装置及び画像処理方法 | |
JP3434716B2 (ja) | 画像処理方法および画像処理装置 | |
JP4667072B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2002300390A (ja) | 画像再生方法及び画像再生装置 | |
JP3894250B2 (ja) | 画像処理装置 | |
JP2000057336A (ja) | 画像処理方法および装置 | |
JP2000092309A (ja) | 画像処理方法および画像処理装置 | |
JPH11313214A (ja) | 画像処理方法および画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040809 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070109 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070406 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070724 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070807 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120817 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120817 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130817 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |