JP2004318696A

JP2004318696A - 画像処理方法、画像処理装置及び画像処理プログラム

Info

Publication number: JP2004318696A
Application number: JP2003114339A
Authority: JP
Inventors: Shoichi Nomura; 庄一野村
Original assignee: Konica Minolta Photo Imaging Inc
Current assignee: Konica Minolta Photo Imaging Inc
Priority date: 2003-04-18
Filing date: 2003-04-18
Publication date: 2004-11-11
Also published as: US20040208395A1

Abstract

【課題】赤外画像情報の残存収差や、画像情報取得元の画像記録層の欠損による画像欠損がある場合にも、画像情報の傷、ゴミの除去を良好に行うことである。
【解決手段】画像取得部１４から取得された画像情報は可視域及び赤外域の画像情報を含む。画像処理部１１は、赤外域の画像情報から傷、ゴミの欠陥領域を取得し、可視域の画像情報内の各欠陥画素の周辺に存在する複数の正常画素に基づいて、各欠陥画素の補間信号値を算出し、各欠陥画素の信号値とその前記補間信号値とに基づいて、各欠陥画素を補正する仮の補正量を算出する。そして、各欠陥画素と近傍欠陥画素との仮の補正量に基づいて、各欠陥画素の修正画素補正量を算出し、その各修正画素補正量を用いて画像情報の各欠陥画素を補正する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法、画像処理装置及び画像処理プログラムに関する。
【０００２】
【従来の技術】
近年、銀塩写真フィルムを用いて撮影、現像処理し、これをフィルムスキャナなどの画像読取装置で読み取り、画像データとして取得し、さまざまに利用するシステムが普及してきている。銀塩フィルムは非常に多くの情報量を有するため、これら画像読取装置は、微小な信号を確実に読み取る、非常に高い解像度を必要とする。
【０００３】
一方、写真フィルムはその取り扱いの容易さから、ＴＡＣ（トリアセチルセルロース）や、ＰＥＴ（ポリエチレンテレフタレート）などからなるフィルムベースに、おもにゼラチンをバインダーとした画像記録層が塗布されており、ゴミ、埃が付着しやすく、また、画像記録層、フィルムベースともに硬度が低いために傷つきやすい性質がある。
【０００４】
このため、写真フィルムの扱いは慎重に行う必要があり、多くの工数がかかっていた。また、前述のように、非常に高い解像度を有する画像読取装置を用いて取得した画像情報には、微細な傷、ゴミも記録されてしまうため、これらの修復には多大な労力を要していた。
【０００５】
これら状況に鑑み、いくつかの解決策が検討され、提案されてきた。その主なものは、現在の写真フィルムの主流であるカラーフィルムなど、色素画像で画像情報が形成される写真フィルムの特徴を利用し、赤外線を用いた手法（例えば、特許文献１参照）である。
【０００６】
これら手法の基本思想は、以下の考えに基づいている。画像情報は、前述の通り、色素画像で形成されているが、これら色素は、その性質上、可視の特定波長の電磁波は吸収するものの、波長の長い赤外光はほとんど吸収しない。一方、傷、ゴミは、それら自体は無色の場合が多いが、これらには光を強く散乱する性質があり、これらが、画像結像系の途中に入ると散乱光が生じ、その分、画像情報として得られる信号強度が減少することとなる。この、傷、ゴミの影響は、可視、赤外の区分にかかわらずほぼ一様に現れるもののため、赤外画像を観察すれば、傷、ゴミの位置、影響を識別できる、というものである。
【０００７】
もちろん、特許文献１に記されているように、実際には、画像情報を形成する色素、特にシアン色素、にも若干の赤外吸収があるため、カラーフィルムの色分解の手法と同様に、赤外画像の観察に先立って、これら色素の影響を減じる処理を行うのが普通である。
【０００８】
また、赤外画像を用いて傷、ゴミを検知して、画像を正常画素と、異常画素とに区分し、異常画素を、近傍の最も近い正常画素のグループから補間する手法があった（例えば、特許文献２参照）。本方式によれば、傷領域を周辺領域から補間して埋め合わせることができるため、傷、ゴミを画面から消去できるとしている。しかしながら、本方式によれば、異常画素とされた領域は、正常画素とされた領域の画素情報からの補間で求められるため、本来の画像情報量が大きく減少してしまうという、大きな副作用が伴っていた。
【０００９】
この問題点を解消するため、傷、ゴミの赤外線画像に与える影響を検知して、相当分の補正を可視画像に対して施し、さらに、前記影響が非常に大きい時には、特許文献２のような補間法で処理するという手法があった（例えば、特許文献３参照）。本手法によれば、傷、ゴミの存在する画素も、その影響が比較的軽微な箇所では、傷、ゴミの影響を補正する処理を行うので、補間法を用いる場合に比べ、画像情報量の減少が少ないとされている。
【００１０】
【特許文献１】
特公平６−５９１４号公報
【特許文献２】
特開昭６３−１２９４６９号公報
【特許文献３】
特許２５５９９７０号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、特許文献３によれば傷、ゴミの与える影響の程度を主に赤外画像を用いて求めているため、以下のような問題点が発生する。
【００１２】
第１の問題点は、特許文献３の手法において傷、ゴミの影響が、可視と赤外とで一定の相関を持って現れると限定しているため、例えば、画像記録層に傷がつき、画像情報に軽い欠損が生じたような場合、赤外画像では、光線の散乱による信号強度の減少が大きく、信号が減少するが、可視画像では、可視光を吸収する画像記録層の欠損によって、信号強度が増加する場合があることである。特許文献３の手法では、このような場合に、逆の補正、すなわち、可視の信号強度を増加してしまうため、かえって、傷、ゴミの影響を増大してしまうおそれがあった。
【００１３】
第２の問題点は、特許文献３の手法において、傷、ゴミの影響が、可視と赤外とで一定の相関を持って現れるとしているが、実際の光学レンズには色収差以外にも球面収差など、各種収差が発生している。さらには、レンズ界面の乱反射を減少するコーティング処理、フィルムベース上の傷そのものの散乱特性にも波長依存性があるため、ベース面の傷であっても、傷の影響に相関はあるものの、その相関比は一定とは限らない。そのため、傷、ゴミの補正に、過補正や補正不足が生じてしまう懸念がある。
【００１４】
本発明の第１の目的は、可視画像情報に対し十分な収差補正を行っていれば、赤外画像情報に関し、若干の残存収差があっても、可視画像情報の傷、ゴミの影響除去を良好に行うことである。また、第２の目的は、傷の可視画像情報に与える影響を適切に判断し、画像情報取得元のベース面と画像記録層とのどちらの傷に関しても、良好な補正結果を得ることである。
【００１５】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の発明は、画像情報を正常画素と欠陥画素とに区分し、その欠陥画素を少なくとも周辺の正常画素に基づいて補正する画像処理方法において、
前記画像情報内の各欠陥画素の周辺に存在する複数の正常画素に基づいて、前記各欠陥画素の補間信号値を算出し、前記各欠陥画素の信号値とその前記補間信号値とに基づいて、前記各欠陥画素を補正する仮の補正量を算出し、
前記各欠陥画素の前記仮の補正量と、その各欠陥画素の近傍に存在する近傍欠陥画素の前記仮の補正量とに基づいて、前記各欠陥画素の修正画素補正量を算出し、その修正画素補正量を用いて前記各欠陥画素を補正することを特徴とする。
欠陥画素とは、例えば、傷（損傷を含む）、ゴミに起因する欠陥画素である。後述する欠陥領域とは、前記欠陥画素が集まった領域である。
【００１６】
請求項６に記載の発明は、画像情報を正常画素と欠陥画素とに区分し、その欠陥画素を少なくとも周辺の正常画素に基づいて補正する画像処理装置において、
前記画像情報内の各欠陥画素の周辺に存在する複数の正常画素に基づいて、前記各欠陥画素の補間信号値を算出し、前記各欠陥画素の信号値とその前記補間信号値とに基づいて、前記各欠陥画素の前記仮の補正量と、その各欠陥画素の近傍に存在する近傍欠陥画素の前記仮の補正量とに基づいて、前記各欠陥画素の修正画素補正量を算出し、その修正画素補正量を用いて前記各欠陥画素を補正する画像処理部を備えることを特徴とする。
【００１７】
請求項１１に記載の発明は、コンピュータに、画像情報を正常画素と欠陥画素とに区分し、その欠陥画素を少なくとも周辺の正常画素に基づいて補正する機能を実現させるための画像処理プログラムにおいて、
前記コンピュータに、
前記画像情報内の各欠陥画素の周辺に存在する複数の正常画素に基づいて、前記各欠陥画素の補間信号値を算出し、前記各欠陥画素の信号値とその前記補間信号値とに基づいて、前記各欠陥画素を補正する仮の補正量を算出し、前記各欠陥画素の前記仮の補正量と、その各欠陥画素の近傍に存在する近傍欠陥画素の前記仮の補正量とに基づいて、前記各欠陥画素の修正画素補正量を算出し、その修正画素補正量を用いて前記各欠陥画素を補正する画像処理機能を実現させることを特徴とする。
【００１８】
請求項１、６又は１１に記載の発明によれば、画像情報の各欠陥画素とその近傍欠陥画素との仮の補正量に基づいて修正画素補正量を算出し、その各修正画素補正量を用いて各欠陥画素を補正する。このため、例えば、画像情報取得元の画像記録層の欠損による画像欠損が発生し、赤外域の画像情報による信号強度の補正が逆補正となってしまう不具合や、赤外域の画像情報に無視できない量の残存収差が残っている状態でも、欠陥画素を可視域の画像情報に基づいて補正するので、良好な画像処理結果が得られる。また、欠陥画素の１画素ごとに仮の補正量を求め、修正画素補正量によりその仮の補正量の誤差分をノイズとして除去して画像情報を補正することにより、確度の高い、欠陥の影響除去が実現できる。
【００１９】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、前記画像情報は、少なくとも３種類の色光に関する情報から構成されるものであり、
前記修正画素補正量の算出において、前記複数の色光各々について前記仮の補正量を算出し、前記複数の色光各々の仮の補正量から前記複数の色光各々の前記修正画素補正量を算出することを特徴とする。
【００２０】
請求項７に記載の発明は、請求項６に記載の画像処理装置において、
前記画像情報は、少なくとも３種類の色光に関する情報から構成されるものであり、
前記画像処理部は、前記複数の色光各々について前記仮の補正量を算出し、前記複数の色光各々の仮の補正量から前記複数の色光各々の前記修正画素補正量を算出することを特徴とする。
【００２１】
請求項１２に記載の発明は、請求項１１に記載の画像処理プログラムにおいて、
前記画像情報は、少なくとも３種類の色光に関する情報から構成されるものであり、
前記画像処理機能は、前記複数の色光各々について前記仮の補正量を算出し、前記複数の色光各々の仮の補正量から前記複数の色光各々の前記修正画素補正量を算出することを特徴とする。
【００２２】
請求項２、７又は１２に記載の発明によれば、複数の色光を用いて補正値を求めるので、補正値算出に用いる情報量が増大し、画像情報のノイズ成分の除去効果がより高い、欠陥の影響除去が実現できる。
【００２３】
請求項３に記載の発明は、画像情報を正常領域と欠陥領域とに区分し、その欠陥領域に所属する欠陥画素を補正する画像処理方法において、
前記欠陥領域の境界から第１の所定距離以内に存在する正常画素群を周辺領域と定義し、
前記欠陥領域の補正において、前記各欠陥画素を中心として第２の所定距離内に存在する欠陥領域及び周辺領域各々について特性値を算出し、前記特性値に基づいて、前記欠陥画素の補正に用いる補正値を算出し、その補正値を用いて前記各欠陥画素を補正することにより、前記欠陥領域を補正することを特徴とする。
【００２４】
請求項８に記載の発明は、画像情報を正常領域と欠陥領域とに区分し、その欠陥領域に所属する欠陥画素を補正する画像処理装置において、
前記欠陥領域の境界から第１の所定距離以内に存在する正常画素群を周辺領域と定義し、
前記欠陥領域内に存在する各欠陥画素を中心として第２の所定距離内に存在する欠陥領域及び周辺領域各々について特性値を算出し、前記特性値に基づいて、前記欠陥画素の補正に用いる補正値を算出し、その補正値を用いて前記各欠陥画素を補正することにより、前記欠陥領域を補正する画像処理部を備えることを特徴とする。
【００２５】
請求項１３に記載の発明は、コンピュータに、画像情報を正常領域と欠陥領域とに区分し、その欠陥領域に所属する欠陥画素を補正する機能を実現させるための画像処理プログラムにおいて、
前記欠陥領域の境界から第１の所定距離以内に存在する正常画素群を周辺領域と定義し、
前記コンピュータに、
前記欠陥領域の補正において、前記欠陥領域内に存在する各欠陥画素を中心として第２の所定距離内に存在する欠陥領域及び周辺領域各々について特性値を算出し、前記特性値に基づいて、前記欠陥画素の補正に用いる補正値を算出し、その補正値を用いて前記欠陥画素を補正することにより、前記各欠陥領域を補正する画像処理機能を実現させることを特徴とする。
【００２６】
請求項３、８又は１３に記載の発明によれば、画像情報自身の周辺領域と欠陥領域との特性値から補正値を算出し、その補正値を用いて可視域の画像情報を補正する。このため、例えば、画像情報取得元の画像記録層の欠損による画像欠損が発生し、赤外域の画像情報による信号強度の補正が逆補正となってしまう不具合にも、赤外域でなく可視域の画像情報を用いて補正を行うことにより有効に対処できる。また、周辺領域と欠陥領域との特性値から算出した補正値を用いる補正により、画像情報を取得した光学系の色収差やフレア特性などの特性が不明でも、過不足ない補正結果が得られる。
【００２７】
請求項４に記載の発明は、画像情報を正常領域と欠陥領域とに区分し、その欠陥領域に所属する欠陥画素を補正する画像処理方法において、
前記欠陥領域の境界から第１の所定距離以内に存在する正常画素群を周辺領域と定義し、
前記欠陥領域の補正において、前記各欠陥画素を中心とし第２の所定距離内に存在する欠陥領域に所定のハイパスフィルタを作用させた第１情報と、前記各欠陥画素を中心とし第３の所定距離内に存在する前記周辺領域に所定のローパスフィルタを作用させた第２情報とを算出し、前記第１情報及び前記第２情報を加算した第３情報で前記各欠陥画素を置き換えて、前記欠陥領域を補正することを特徴とする。
【００２８】
請求項９に記載の発明は、画像情報を正常領域と欠陥領域とに区分し、その欠陥領域に所属する欠陥画素を補正する画像処理装置において、
前記欠陥領域の境界から第１の所定距離以内に存在する正常画素群を周辺領域と定義し、
前記欠陥領域の補正において、前記各欠陥画素を中心とし第２の所定距離内に存在する欠陥領域に所定のハイパスフィルタを作用させた第１情報と、前記各欠陥画素を中心とし第３の所定距離内に存在する前記周辺領域に所定のローパスフィルタを作用させた第２情報とを算出し、前記第１情報及び前記第２情報を加算した第３情報で前記各欠陥画素を置き換えて、前記欠陥領域を補正する画像処理部を備えることを特徴とする。
【００２９】
請求項１４に記載の発明は、コンピュータに、画像情報を正常領域と欠陥領域とに区分し、その欠陥領域に所属する画素を補正する機能を実現させるための画像処理プログラムにおいて、
前記欠陥領域の境界から第１の所定距離以内に存在する正常画素群を周辺領域と定義し、
前記コンピュータに、
前記欠陥領域の補正において、前記各欠陥画素を中心とし第２の所定距離内に存在する欠陥領域に所定のハイパスフィルタを作用させた第１情報と、前記各欠陥画素を中心とし第３の所定距離内に存在する前記周辺領域に所定のローパスフィルタを作用させた第２情報とを算出し、前記第１情報及び前記第２情報を加算した第３情報で前記各欠陥画素を置き換えて、前記欠陥領域を補正する画像処理機能を実現させることを特徴とする。
【００３０】
請求項４、９又は１４に記載の発明によれば、画像情報自身の欠陥領域による第１情報と周辺領域による第２情報とを加算して補正値としての第３情報を算出し、その第３情報を用いて画像情報を補正する。このため、画像情報取得元の画像記録層の欠損による欠陥領域を補正することにより、画像情報を取得した光学系の色収差やフレア特性などの特性が不明でも、過不足ない補正結果が得られる。
【００３１】
請求項５に記載の発明は、画像情報を正常画素と欠陥画素とに区分し、その欠陥画素を周辺の正常画素に基づいて補正する画像処理方法において、
前記欠陥画素を、その特徴量に基づいて複数のグループに分割し、
前記画像情報内の各欠陥画素を補正する仮の補正量を算出し、
前記各欠陥画素の前記仮の補正量と、その各欠陥画素と同一のグループに所属してかつその各欠陥画素の近傍に存在する近傍欠陥画素の前記仮の補正量とに基づいて、前記各欠陥画素の修正画素補正量を算出し、その修正画素補正量を用いて前記各欠陥画素を補正することを特徴とする。
【００３２】
請求項１０に記載の発明は、画像情報を正常画素と欠陥画素とに区分し、その欠陥画素を周辺の正常画素に基づいて補正する画像処理装置において、
前記欠陥画素を、その特徴量に基づいて複数のグループに分割し、前記画像情報内の各欠陥画素を補正する仮の補正量を算出し、前記各欠陥画素の前記仮の補正量と、その各欠陥画素と同一のグループに所属してかつその各欠陥画素の近傍に存在する近傍欠陥画素の前記仮の補正量とに基づいて、前記各欠陥画素の修正画素補正量を算出し、その修正画素補正量を用いて前記各欠陥画素を補正する画像処理部を備えることを特徴とする。
【００３３】
請求項１５に記載の発明は、コンピュータに、画像情報を正常画素と欠陥画素とに区分し、その欠陥画素を周辺の正常画素に基づいて補正する機能を実現させるための画像処理プログラムにおいて、
前記欠陥画素を、その特徴量に基づいて複数のグループに分割し、前記画像情報内の各欠陥画素を補正する仮の補正量を算出し、前記各欠陥画素の前記仮の補正量と、その各欠陥画素と同一のグループに所属してかつその各欠陥画素の近傍に存在する近傍欠陥画素の前記仮の補正量とに基づいて、前記各欠陥画素の修正画素補正量を算出し、その修正画素補正量を用いて前記各欠陥画素を補正する画像処理機能を実現させることを特徴とする。
【００３４】
請求項５、１０又は１５に記載の発明によれば、欠陥画素を複数のグループに分割し、各欠陥画素と、その同一のグループに所属する近傍欠陥画素との仮の補正量に基づいて修正画素補正量を算出し、その各修正画素補正量を用いて各欠陥画素を補正する。このため、画像情報取得元の画像記録層の欠損による欠陥画素をその特徴量に応じて複数のグループに分割し、各グループに基づいて補正するので、より自由度の高い、好ましい補正結果が得られる。また、赤外域の画像情報に無視できない量の残存収差が残っている状態でも、欠陥画素を可視域の画像情報に基づいて補正するので、良好な画像処理結果が得られる。
【００３５】
【発明の実施の形態】
以下、添付図を参照して本発明に係る実施の形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
【００３６】
先ず、図１及び図２を参照して、本実施の形態の装置の特徴を説明する。図１は、本実施の形態の画像処理システム１０を示すブロック図である。図２は、図１の透過原稿スキャナ１４２の構成を示す図である。
【００３７】
図１に示すように、本実施の形態のデジタルミニラボシステムなどの画像処理システム１０は、画像処理部１１と、画像表示部１２と、指示入力部１３と、画像取得部１４と、画像ストレージ部１５と、銀塩露光プリンタ１６と、ＩＪ（インクジェット）プリンタ１７と、各種画像記録メディア書込部１８とを備えて構成される。
【００３８】
画像処理部１１は、指示入力部１３において入力された各種指示情報に基づいて、画像取得部１４により取得された各種画像情報及び／又は画像ストレージ部１５に記憶された画像情報を画像処理して、画像ストレージ部１５、銀塩露光プリンタ１６、ＩＪプリンタ１７及び各種画像記録メディア書込部１８に出力する。さらに、画像処理部１１は、画像情報を画像表示部１２に出力する。
【００３９】
画像取得部１４は、写真プリント、印刷物、書画などの印刷物２１に記録された画像をスキャンして画像情報を取得する反射原稿スキャナ１４１と、ネガフィルム、ポジフィルムなどの現像済みフィルム２２に記録された画像をスキャンして画像情報を取得する透過原稿スキャナ１４２と、ＤＳＣ（デジタルスチルカメラ）や、ＣＤ−Ｒや、画像メモリカードなどの画像メディア２３に記録された画像情報を読み出して取得するメディアドライバ１４３と、インターネット、ＬＡＮなどの通信手段２４から画像情報を受信して取得し、また画像ストレージ部１５に記憶された画像情報を受信して取得する情報通信Ｉ／Ｆ１４４とを備えて構成される。各取得部１４１〜１４４から入力された入力画像情報は、画像処理部１１に出力される。
【００４０】
画像表示部１２は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）、ＰＤＰ（ＰｌａｓｍａＤｉｓｐｌａｙＰａｎｅｌ）又はＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｔ）ディスプレイなどにより構成され、画像処理部１１から出力される表示指示に従って各種表示データの画面表示を行う。
【００４１】
指示入力部１３は、画像表示部１２に設けられ、操作者により接触入力された接触信号及びその画面上の位置情報を取得して画像処理部１１に出力するタッチパネルとしての接触センサ１３１と、操作者に入力された位置信号及び選択信号を取得して画像処理部１１に出力するマウス１３２と、カーソルキー、数字入力キー及び各種機能キーなどを備え、操作者により各キーに押下入力された押下信号を取得して画像処理部１１に出力するキーボード１３３とを備えて構成される。
【００４２】
画像ストレージ部１５は、ＨＤＤ（ハードディスクドライブ）などから構成され、画像情報を読み書き可能に記憶する。銀塩露光プリンタ１６は、銀塩露光方式で画像情報を画像として写真印画紙やフィルムなどに印刷する。ＩＪプリンタ１６は、インクジェット方式で画像情報を画像として記録紙などに印刷する。各種画像記録メディア書込部１８は、画像情報を、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、画像メモリカードなどの画像記録メディアに書き込み記録する。
【００４３】
画像処理部１１では、後述する各種手法を用いて、原稿が傷ついたり、ゴミが付着した画像の補修を行う傷ゴミ処理を行う。画像処理部１１において、傷ゴミ処理により傷、ゴミが補修された出力画像情報が各種出力先（画像ストレージ部１５、銀塩露光プリンタ１６、ＩＪプリンタ１７、各種画像記録メディア書込部１８のうちの少なくとも一つ）に応じて色変換され、その出力先に送信される。銀塩露光プリンタ１６、ＩＪプリンタ１７は、画像処理部１１から受信した出力画像情報を印刷する。各種画像記録メディア書込部１８は、画像処理部１１から受信した出力画像情報を各種画像記録メディアに書き込む。画像ストレージ部１５は、画像処理部１１から受信した出力画像情報を記憶する。画像ストレージ部１５に記憶された画像情報は、蓄積され、画像ソースとして画像処理部１１の読み出しにより再利用可能である。
【００４４】
なお、画像処理システム１０の構成は、画像処理部１１に特徴を有するものであり、画像取得部１４、画像表示部１２、指示入力部１３、銀塩露光プリンタ１６、ＩＪプリンタ１７、各種画像記録メディア書込部１８の構成部分の種類及び数は図１の例に限定されるものではない。
【００４５】
次に、図２を参照して、画像処理システム１０の画像取得部１４内の透過原稿スキャナ１４１の構成を説明する。透過原稿スキャナ１４１は、透過画像のスキャン用の光を出射する光源部３１と、光源部３１から出射された光を均一化（むらのない光に）して出射する拡散部材３２と、フィルムＡを２次元方向に搬送するローラ３４によりフィルムＡを矢印方向に搬送するフィルムキャリア３３と、フィルムＡを通過した光線を結像させるための光学レンズ３５とを備える。光源部３１、拡散部材３２から出射される光はライン状の光であり、そのライン状の光とフィルムＡの搬送とにより、フィルムＡ上の画像に対応する光が透過される。
【００４６】
また、透過原稿スキャナ１４１は、ダイクロイックフィルタ３６ＩＲ，３６Ｂ，３６Ｒと、ラインＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ：結合荷電素子）３７ＩＲ，３７Ｂ，３７Ｇ，３７Ｒと、アナログアンプ３８ＩＲ，３８Ｂ，３８Ｇ，３８Ｒと、Ａ／Ｄコンバータ３９ＩＲ，３９Ｂ，３９Ｇ，３９Ｒと、画像メモリ４０とを備えて構成される。
光学レンズ３５から出射された光線は、ダイクロイックフィルタ３６ＩＲ，３６Ｂ，３６Ｒで分光され、赤外域と可視域との青（Ｂ）、緑（Ｇ）、赤（Ｒ）のそれぞれの色光に対応したラインＣＣＤ３７ＩＲ，３７Ｂ，３７Ｇ，３７Ｒに結像して受光され、電気信号へと変換される。電気信号は、アナログアンプ３８ＩＲ，３８Ｂ，３８Ｇ，３８Ｒで増幅され、Ａ／Ｄコンバータ３９ＩＲ，３９Ｂ，３９Ｇ，３９Ｒでデジタル信号へと変換され、画像メモリ４０に蓄えられ、利用される。前述のラインＣＣＤは、フィルムＡの搬送方向に直行して配置されており、ラインＣＣＤの並びが主走査であり、前述のフィルム搬送が副走査である。
【００４７】
ダイクロイックフィルタ３６ＩＲ，３６Ｂ，３６Ｒにより反射されずに透過した緑（グリーン：Ｇ）色域の光は、ラインＣＣＤ３７Ｇに結像及び受光される。赤外域に対応する画像情報は非可視画像であり、青色域、緑色域、赤色域に対応する画像情報は可視画像情報であるとする。つまり、可視画像情報は、青色域、緑色域、赤色域の各信号（Ｒ画像情報、Ｇ画像情報、Ｂ画像情報）が組み合わされた画像情報である。
【００４８】
次に、図３〜図２３を参照して、画像処理システム１０の動作を説明する。図３は、画像処理を示すフローチャートである。先ず、図３を参照して画像処理システム１０の画像処理部１１において実行される画像処理を説明する。
【００４９】
例えば、画像処理部１１に、図示しないＣＰＵ、ＲＡＭ及び記憶部が設けられ、記憶部に記憶された画像処理プログラムが読み出されてＲＡＭに格納し、ＣＰＵとＲＡＭ内の画像処理プログラムとの協働により、画像処理が実行される。画像処理部１１における処理の実行構成は、以下で述べる各処理の実行構成においても同様であるものとする。
【００５０】
予め、画像取得部１４において各種画像情報が取得され（以下、取得画像情報とする）、取得画像情報が画像処理部１１に入力されているものとする。画像処理は、取得画像情報の可視画像情報に所定の処理を加え、出力画像情報として各出力部１５〜１８に出力する処理である。以下、特に言及しない場合には、処理の主体が画像処理部１１であるものとする。
【００５１】
図３に示すように、先ず、取得画像情報に入力色変換がなされ、後述する傷ゴミ処理が実行される（ステップＳ１）。入力色変換は、画像取得部１４の各取得部１４１〜１４４の入力属性に応じた色変換であり、例えば、フィルム透過光量をセンサ（ＣＣＤ）が受け取り、デジタル信号化した信号値を視覚信号値や、光学濃度など、画像信号として意味のある単位系へと変換する機能や、各々の分光特性に応じて表現されている色調を標準的な色空間に整合させる処理を含む。傷ゴミ処理は、取得画像情報の可視画像情報から、欠陥画素の原因となる画像情報取得元（フィルムなど）上の傷、ゴミの影響を取り除く処理である。また、傷、ゴミに起因する取得画像情報上の領域を傷ゴミ領域とする。
【００５２】
そして、傷ゴミ処理された可視画像情報の色、明るさが適切となるような指示が指示入力部１３から入力されて、色、明るさ調整がなされる（ステップＳ２）。色、明るさ調整がされた可視画像情報が画像表示部１２に表示され、オペレータによりその画像情報が目視で参照され、オペレータにより、色、明るさが適切であるか否かの評価が指示入力部１３から入力される（ステップＳ３）。
【００５３】
そして、入力された評価がＯＫであるか否かが判別される（ステップＳ４）。評価がＮＧである場合（ステップＳ４；ＮＯ）、ステップＳ２に移行される。再度、オペレータにより色、明るさが調整入力される。評価がＯＫである場合（ステップＳ４；ＹＥＳ）、必要に応じ、ステップＳ１の傷ゴミ処理において出力される情報である傷ゴミ処理情報に基づいて、色、明るさ調整済みの可視画像情報が所望の大きさに拡大又は縮小される拡大縮小処理がなされる（ステップＳ５）。その拡大縮小処理された可視画像情報は、ノイズが除去されるノイズ除去処理がなされる（ステップＳ６）。そのノイズ除去された可視画像情報は、傷ゴミ処理情報に基づいて、鮮鋭性及び粒状性が適切に補正される鮮鋭性粒状性補正処理がなされる（ステップＳ７）。ステップＳ５〜Ｓ７の各ステップの画像処理においては、後述のように、ステップＳ１から得られる傷ゴミ処理の情報を副情報として用いることができる。
【００５４】
そして、鮮鋭性粒状性処理がなされた可視画像情報は、回転処理や、画像フレームなど、各種画像屁のはめ込み合成処理、文字入れ処理などの各種加工がなされる（ステップＳ８）。
【００５５】
そして、その各種加工がなされた可視画像情報に、出力色変換がなされる。出力色変換は、各出力部１５〜１８の出力属性に対応する色空間に整合させる処理を含む。その出力色変換がなされた可視画像情報は、各出力部１５〜１８のうちの少なくとも一つに出力され（ステップＳ９）、画像処理が終了される。出力色変換がなされた画像情報は、画像ストレージ部１５による記憶、銀塩露光プリンタ１６による感光材料（印画紙など）への記録、ＩＪプリンタ１７による記録紙などへの記録、ＩＪプリンタ１７による印画紙などへの記録、各種画像記録メディア書込部１８による各種画像記録メディアへの記録が行われる。また、ステップＳ５の拡大縮小処理と、ステップＳ７の鮮鋭性粒状性補正処理との詳細は後述する。また、ステップＳ１の傷ゴミ処理で取得された情報は、ステップＳ５〜Ｓ７における処理に使用される。
【００５６】
次に、図４及び図５を参照して、図３の画像処理のステップＳ１の傷ゴミ処理を説明する。図４は、傷ゴミ処理を示すフローチャートである。図５は、各波長域の信号の吸収を示す図である。
【００５７】
図４に示すように、先ず、取得画像情報中の可視画像を示す可視画像情報と、赤外画像を示す赤外画像情報とが取得される（ステップＳ１１）。そして、赤外画像情報がマスキング処理により補正される（ステップＳ１２）。
【００５８】
図５は、赤外画像情報により、傷、ゴミ情報が抽出される理論を簡単に図式化したものである。画像を構成する色素は、それぞれ異なった光の吸収性を持ち、それがＢ信号、Ｇ信号、Ｒ信号として受信される。しかし、赤外線に関しては、Ｃ色素の若干の吸収を除き、ほとんど吸収を示さない。一方、傷、ゴミは、可視、赤外ともに吸収又は分散特性を有するため、赤外画像情報を観察することで、傷、ゴミの存在位置を検知することができる。右端の「損傷」は、傷の中でも画像情報担体そのものに影響を与え、一部画像情報が欠損した状況をあらわしたものである。右端の「損傷」の例では、傷が与える赤外信号への影響と、可視信号の影響の相関（大小変化）関係が、「傷、ゴミ」の場合とは変化している。この傷は、従来の技術で述べた特許文献３の手法を用いると逆補正となる危険がある。しかし、後述のように本実施の形態では、逆補正の発生しない傷ゴミ補正処理を行う。
【００５９】
上述の通り、ＩＲ光は、傷、ゴミ又は損傷部分に大きく吸収されるが、Ｃ色素にも若干吸収される。このため、傷、ゴミ及び損傷部分のみを抽出するために、ステップＳ１２において、Ｃ色素における吸収成分をマスキング処理で除去し、さらに、ＩＲ信号の赤外基準画像情報としての赤外基準データが差し引かれて、傷、ゴミ及び損傷部分のみを示す赤外差分データが算出されて、傷、ゴミ及び損傷部分の位置が特定される。以下、特にことわらない限り、「傷、ゴミ」は「傷、ゴミ及び損傷」を示すものとする。
【００６０】
そして、マスキング処理された赤外画像情報（に関する赤外差分データ）に基づいて、赤外画像情報の傷ゴミ領域が検出され、その赤外画像情報の傷ゴミ領域に基づいて可視画像情報における傷ゴミ候補領域が検出される（ステップＳ１３）。次いで、その可視画像情報における傷ゴミ候補領域から、可視画像情報における傷ゴミ領域が決定される（ステップＳ１４）。その傷ゴミ領域に基づいて、可視画像情報に傷ゴミ補正処理と傷ゴミ補間処理とがなされ（ステップＳ１５）。傷ゴミ処理は終了される。傷ゴミ処理の終了後、次のステップ（図３のステップＳ２）に移行される。
【００６１】
ここで、ステップＳ１５の傷ゴミ補正処理と傷ゴミ補間処理との違いを説明する。傷ゴミ処理の方法には、大きく分けて、２つの手法が一般に知られている。一つは、傷、ゴミの影響を受けて信号が減衰などの影響を受けており、この影響分を補正するものであり、本実施の形態ではこれを補正処理とする。もう一つは、傷、ゴミの影響を受けて画像情報が欠損した領域を、周囲の情報を利用して復元を試みるものであり、本実施の形態ではこれを補間処理とする。
【００６２】
次に、図６を参照して、図４の傷ゴミ処理中のステップＳ１１〜Ｓ１３に対応する傷ゴミ候補領域検出処理を説明する。図６は、傷ゴミ候補領域検出処理を示すフローチャートである。先ず、ステップＳ１３１はステップＳ１１と同様である。そして、赤外画像情報が補正される（ステップＳ１３２）。ここで、ステップＳ１３２を詳説する。
【００６３】
赤外画像情報の各データ（信号値）と、可視画像情報中の各赤色データとの画像相関が計算される（ステップＳ１３３）。そして、赤外画像情報からＣ色素に対応する赤色成分を除去するための補正定数が算出される（ステップＳ１３４）。そして、その補正定数が赤色画像情報にかけられ、その積が、赤外画像情報から差し引かれる（ステップＳ１３５）。このようにして、赤外画像情報から赤色成分が除去され、傷、ゴミの影響のみが現れた赤外画像情報が得られる。
【００６４】
そして、ステップＳ１３２の後、赤外画像情報において色素、傷などの吸収がない場合の信号値としての赤外基準データが作成される（ステップＳ１３６）。赤外基準データの作成は、まず、フィルムキャリア種、あるいはスキャナ種などの画像読み込み条件に対応して、あらかじめ定められた、空間周波数帯域フィルタを設定する。空間周波数帯域フィルタは、例えば特開２００２−２６２０９４記載の、可視画像情報に採用されるような各種ノイズフィルタが利用できる。ここで、そのノイズ処理、鮮鋭性補正に用いる代表的な空間周波数帯域フィルタの一例について、簡単に説明する。
【００６５】
先ず、画像情報の番号付けを、次の表１に示すように行う。表１は、画像情報の各画素の信号値及びその画素の位置関係を示す表である。
【表１】

【００６６】
（鮮鋭性強調、あるいは平滑化フィルタ）
鮮鋭性強調、あるいは平滑化フィルタの場合、中央部５＊５画素の情報を用いて、下記の計算結果を得る。

但し、ｆｉｌｄａｔ［１］〜［７］は、所定の定数である。
【００６７】
そして、ＦＰ１に、下記の制限を設ける。
ＦＰ１＞０かつＦＰ１＜閾値Ｆ：ＦＰ１＝０
〃かつＦＰ１≧閾値Ｆ：ＦＰ１＝ＦＰ１−閾値Ｆ
ＦＰ１＜０かつ −ＦＰ１＜閾値Ｆ：ＦＰ１＝０
〃かつ −ＦＰ１≧閾値Ｆ：ＦＰ１＝ＦＰ１＋閾値Ｆ
ＦＰ１＞０かつＦＰ１＞上側制限値：ＦＰ１＝上側制限値
ＦＰ１＜０かつＦＰ１＜下側制限値：ＦＰ１＝下側制限値
【００６８】
そして、下記の式により、新たな中央画素値、ｐ５５’を得る
ｐ５５’＝ｐ５５＋ＦＰ１
【００６９】
この処理例は、銀塩フィルムからの画像処理で特に好ましい処理例で、５＊５画素のエッジ強調フィルタの実施例である。ｄｉｖｄａｔを大きくすることによって鮮鋭性強調フィルタの効きが弱くなり、小さくすることによって、鮮鋭性強調フィルタの効きが強くなる。上側制限値、下側制限値を小さく設定すると、ごま塩（独立点の）ノイズが極端に強調される不具合を軽減し、滑らかな調子再現が得られ、制限値を大きく又は制限を設けなければ、自然なエッジ強調効果が得られる。
【００７０】
また、ｆｉｌｄａｔの値を変えることにより、平滑化フィルタとしても機能する。閾値の設定が必要ない場合は、下記の式が利用可能で、平滑化フィルタが簡単に設計できる。
【００７１】
中央部５＊５画素の情報を用いて、下記の計算結果を得、新たな中央画素値、ｐ５５’を得る。

但し、ｆｉｌｄａｔ［１］〜［７］は、所定の定数である。
これら各種パラメータを補正量として定義することができ、目的に応じ、領域ごとに変更可能でである。
【００７２】
（バンドカットフィルタ）
バンドカットフィルタの場合、９＊９画素の画像を用いて、下記の計算結果を得る。

【００７３】
そして、ＦＰ２に下記の制限を設ける。

そして、下記の式で、新たな中央画素値、ｐ５５’を得る
ｐ５５’ ＝ｐ５５＋ＦＰ２
【００７４】
この処理例は、９＊９画素の、バンドカットフィルタの実施例である。閾値２を大きくすると、ターゲットとなる空間周波数帯域の信号除去効果が大きくなり、信号の低周波変動が強く押さえられます。これら各種パラメータを補正量として定義することができ、また、周辺データの参照範囲を変えて特性の調整ができ、領域ごと、あるいは機種ごとに変更可能である。
【００７５】
（ノイズ補正）
ノイズ補正において、画像の番号付けを、下記の表２に示すように行う。表２は、画像情報の画素の信号値及びその画素の位置関係を示す表である。但し、Ｐ：中央画素、Ｘ、Ｙ：周辺画素である。
【表２】

【００７６】
Ｘ方向に付いて、一番内側の組み合わせについて、
ａｂｓ（Ｘ１’＋Ｘ１−２＊Ｐ）＜閾値
を満たす場合、Ｘ１、Ｘ１’を平均化するデータ群に加える。
そして、一つ外側、その次・・と、上記判定式が成り立たなくなるところまで、または、あらかじめ初期値として指定された最大半径（例えば４画素）まで繰り返す。
【００７７】
また、Ｙ方向についても同様に繰り返す。
そして、データ群に加えられたデータと、中央画素Ｐとの単純平均とを求め、新しい中央画素Ｐ’とする。
【００７８】
上記方式で、閾値を大きく設定すると、ノイズ除去効果が大きくなり、一方、細かなディテールは消えてしまう場合がある。また、「あらかじめ初期値として指定された最大半径」を切り替えて、どの程度の大きさのノイズまで除去できるか変化させる。この例では上記の２つのパラメータがあり、領域ごとに設定値を変えることができる。
【００７９】
フローの説明に戻る。例えば、上記のような空間周波数帯域フィルタを赤外画像情報に施し、また、より強いノイズカットフィルタを掛け、傷、ゴミ情報を削除したデータを求め、これを赤外基準データとする。これにより、赤外画像情報に若干の光量ムラが残っているような場合に於いても光量ムラに相当する空間周波数帯域をカットする事によって、安定した赤外基準データを取得できる。もちろん、赤外基準データは、赤外画像情報が十分なシェーディング補正されたものであれば、必要に応じ、簡単な平滑化フィルタを掛けた後に、赤外画像情報の最大信号情報を得て、画面内固定の定数としてもよい。
【００８０】
そして、ステップＳ１３２（Ｓ１３５）から得られた赤外補正後の赤外画像情報から、赤外基準データが差し引かれ、傷、ゴミ成分のみの信号値である赤外差分データが作成される（ステップＳ１３７）。この際、補正された赤外画像情報にも必要に応じたノイズフィルタを施す。赤外画像情報にもノイズフィルタが施されている為に、赤外信号の全体的な減衰が大きくなるシステムで、赤外画像のＳ／Ｎが通常より悪い場合に、必要な量のノイズフィルタを作用させる事で、異常補正のない良好な結果が得られる。
【００８１】
そして、適切な閾値が決定され、その閾値に基づいて赤外差分データが２値化される（ステップＳ１３８）。その２値化された赤外差分データは、ノイズ処理される（ステップＳ１３９）。ノイズ処理では、例えば平滑化フィルタを用い、平滑化後、信号値を再２値化すればよい。
【００８２】
本実施の形態のステップＳ１３９では、その他のノイズフィルタの一例として、モルフォロジー処理の一形態として知られている、収縮処理（エロージョン、クロージング。以下、クロージングとする）を実施し、孤立点の除去を行う手法を利用している。
【００８３】
傷ゴミ候補領域検出処理の続きを説明する。ノイズ処理された赤外差分データは、赤外画像情報上の傷ゴミ領域を示し、その領域を可視画像に適用するために、赤外画像情報の傷ゴミ領域拡張処理がなされる（ステップＳ１３Ａ）。赤外画像情報上の傷ゴミ領域に、可視画像情報上の傷ゴミ領域が確実に含まれるように所定量拡張される。傷ゴミ領域拡張処理は、モルフォロジー処理の一形態として知られている、膨張処理（ダイレーション、オープニング。以下、オープニングとする）を必要量実施する。前述のノイズフィルタに平滑化や、他のノイズフィルタを利用した場合は、信号値の再２値化の際、閾値の調整を行っても、傷ゴミ領域拡張処理と同様の処理が可能である。
【００８４】
そして、赤外画像情報の拡張された傷ゴミ候補領域に含まれない画素に対応する可視画像情報の画素は正常画素とされ（ステップＳ１３Ｂ）、傷ゴミ候補領域検出処理が終了される。可視画像情報の正常画素でない画素領域が、可視画像情報の傷ゴミ候補領域とされる。傷ゴミ候補領域検出処理の終了後、次のステップ（図４のステップＳ１４）に移行される。
【００８５】
なお、傷ゴミ候補領域の決定法は１方法に限られるものではない。本実施の形態のように赤外画像を用いるほかにも、反射原稿スキャナで表面反射画像を採取し、その表面不連続性から傷ゴミ候補領域を求めてもよい。この手法を行う反射原稿スキャナについては後述する。その他、透過原稿の場合に、照射光源の光質を切り替えて、例えば透過光と反射光、あるいは、フィルムに概平行光束を照射する集光光源と、拡散ボックスを利用して、柔らかな光をフィルムに当てる拡散光源を交互に切り替え、画像採取して、その差から傷ゴミ候補領域を検出してもよい。
【００８６】
次に、図７を参照して、図４の傷ゴミ処理中のステップＳ１４の傷ゴミ領域決定処理を説明する。図７は、傷ゴミ領域決定処理を示すフローチャートである。傷ゴミ領域決定処理は、可視画像情報の傷ゴミ候補領域から正常画素を除外して傷ゴミ領域を決定する処理である。
【００８７】
図７に示すように、先ず、ステップＳ１３１と同様に可視画像情報が取得される（ステップＳ１４１）。その取得された可視画像情報から一つの画素が注目画素として抽出される（ステップＳ１４２）。そして、注目画素が可視画像情報の傷ゴミ候補領域内にあるか否かが判別される（ステップＳ１４３）。注目画素が可視画像情報の傷ゴミ候補領域内にある場合（ステップＳ１４３；ＹＥＳ）、注目画素の近傍領域の正常画素が抽出される（ステップＳ１４４）。そして、その抽出された正常画素と注目画素との関連が評価される（ステップＳ１４５）。そして、注目画素と近傍の正常画素との関連性が高いか否かが判別される（ステップＳ１４６）。
【００８８】
注目画素と、近傍の正常画素との関連評価は様々なものが考えられる。例えば、近傍の正常画素と注目画素との信号値差の絶対値が、所定閾値内に収まる画素を抽出し、その数が所定数以上存在すれば正常画素とすることができる。また、前記所定閾値は固定値でも良いが、例えば画像処理後段にノイズフィルタが機能している場合、その強度（ノイズフィルタが閾値を保持している場合は、閾値の大きさ）に応じて決定してもよい。このようにすると、微小な傷の影響は後段のノイズフィルタが消去するので、傷ゴミ処理をここで掛ける必要は無く、傷ゴミ処理が必要な領域を最低限に押さえる事ができ、画像処理能力が向上する。
【００８９】
関連性が高くない場合（ステップＳ１４６；ＮＯ）、その注目画素は傷ゴミ領域内であると決定される（ステップＳ１４７）。そして、ステップＳ１４２において全ての画素が抽出されたか否かが判別される（ステップＳ１４８）。全ての画素が抽出された場合（ステップＳ１４８；ＹＥＳ）、傷ゴミ領域決定処理は終了される。
【００９０】
注目画素が可視画像情報の傷ゴミ候補領域内にない場合（ステップＳ１４３；ＮＯ）、又は関連性が高い場合（ステップＳ１４６；ＹＥＳ）、その注目画素は正常画素とされ（ステップＳ１４９）、ステップＳ１４８に移行される。全ての画素が抽出されていない場合（ステップＳ１４８；ＮＯ）、ステップＳ１４２に移行される。傷ゴミ領域決定処理の終了後、次のステップ（図４のステップＳ１５）に移行される。
【００９１】
次に、図８及び図９を参照して、図３の傷ゴミ処理中のステップＳ１５の傷ゴミ補正処理の一実施例としての第１の傷ゴミ補正処理を説明する。図８は、第１の傷ゴミ補正処理を示すフローチャートである。図９は、傷ゴミ領域及びその周辺領域を示す図である。第１の傷ゴミ補正処理は、可視画像情報を用いて補正処理を行う手法の一例である。
【００９２】
図８に示すように、先ず、既に求められた可視画像情報上の傷ゴミ領域の近傍画素の領域が周辺領域とされる（ステップＳ１５１）。例えば、図９に示すように、近傍画素の所定範囲を１ピクセルとして、傷ゴミ領域の近傍の正常画素を周辺領域とする。そして、可視画像情報内の一画素が注目画素として抽出される（ステップＳ１５２）。そして、その抽出された注目画素が傷ゴミ領域内にあるか否かが判別される（ステップＳ１５３）。
【００９３】
注目画素が傷ゴミ領域内にない場合（ステップＳ１５３；ＮＯ）、ステップＳ１５８に移行される。注目画素が傷ゴミ領域内にある場合（ステップＳ１５３；ＹＥＳ）、注目画素における傷ゴミ領域特性値が算出される（ステップＳ１５４）。傷ゴミ領域特性値は、注目画素を中心とした、所定距離内にある傷ゴミ領域内の画素データを用いて算出した特性値であり、例えば、所定距離内で傷ゴミ領域内の各画素の画素値の平均値とされる。そして、注目画素における周辺領域特性値が算出される（ステップＳ１５５）。周辺領域特性値は、注目画素を中心とした、所定距離内にある周辺領域内の画素値を用いて算出した特性値であり、例えば、所定距離内で周辺領域内の各画素の画素値の平均値とされる。また、傷ゴミ領域特性値や周辺領域特性値の算出は、例えば異常データを除外し、その後最頻値を求めるなど、統計的手法によってもよい。
【００９４】
そして、算出された傷ゴミ領域特性値と周辺領域特性値との差である特性値間格差に基づいて、可視画像補正値が傷ゴミ補正値として算出される（ステップＳ１５６）。その算出された傷ゴミ補正値（可視画像補正値）を用いて、注目画素に傷ゴミ補正がなされる（ステップＳ１５７）。そして、ステップＳ１５２において可視画像情報内の全画素が注目画素として抽出されたか否かが判別される（ステップＳ１５８）。全画素が抽出された場合（ステップＳ１５８；ＹＥＳ）、第１の傷ゴミ補正処理が終了される。全画素が抽出されていない場合（ステップＳ１５８；ＮＯ）、ステップＳ１５２に移行され、未抽出の画素が次の抽出画素として抽出される。第１の傷ゴミ補正処理の終了後、次のステップ（図４のステップＳ１５の傷ゴミ補間処理又は図３のステップＳ２）に移行される。
【００９５】
一般的に、傷、ゴミの影響は、その及ぼす領域の形態は様々であるが、一つの領域内の隣接する各ピクセルが受けている影響の度合いには特に重視すべき大きな差は無く、第１の傷ゴミ補正処理によって、視覚的に好ましい補正結果が得られる。また、第１の傷ゴミ補正処理によれば、実際に必要な画像（ここでは可視画像情報）のみを用いて傷ゴミ領域の補正が実施できるので、例えば、赤外画像情報と可視画像情報とのＭＴＦ特性やフレア特性に大きな差が有った場合にも補正過剰や不足の生じない補正性能が実現できる。さらに、可視画像情報が欠損しているような場合（例えば、フィルム上に損傷が存在する場合）でも、逆補正の危険が少ない、欠陥の影響を目立たせない、良好な処理結果が得られる。
【００９６】
次に、図１０〜図１３を参照して、図４の傷ゴミ処理中のステップＳ１５の傷ゴミ補正処理の一実施形態としての第２の傷ゴミ補正処理を説明する。図１０は、第２の傷ゴミ補正処理を示すフローチャートである。図１１は、注目画素の補正処理候補選択を示す図である。図１２は、注目画素の補正処理候補選択の３つの様態例を示す図である。図１３は、注目画素の２つの方向特性例を示す図である。
【００９７】
図１０に示すように、先ず、可視画像情報から一つの画素が注目画素として抽出される（ステップＳ２５１）。そして、注目画素が可視画像情報の傷ゴミ領域内にあるか否かが判別される（ステップＳ２５２）。注目画素が傷ゴミ領域内にない場合（ステップＳ２５２；ＮＯ）、ステップＳ２５８に移行される。
【００９８】
注目画素が傷ゴミ領域内にある場合（ステップＳ２５２；ＹＥＳ）、注目画素を中心に対向する正常画素対が傷ゴミ補正の候補データとして抽出される（ステップＳ２５３）。例えば、図１１に示すように、縦、横、斜めの４方向に対向する正常画素が抽出される。また、図１２（ａ）〜（ｃ）に示すように、傷ゴミ領域サイズ（対向画素の距離）に応じて抽出する方向数を増減してもよい。図１２では、対向画素間距離が大きくなるにつれて、方向数も増加されている。
【００９９】
そして、抽出された対向画素同士の関連評価がなされる（ステップＳ２５４）。例えば、対向画素同士の信号値の差分データにより評価され、その差分データが小さいほど関連性が高くなる。そして、最も関連性の高い対向画素対が抽出される（ステップＳ２５５）。
【０１００】
そして、抽出された対向画素対を用いて、注目画素の信号値を予測した補間計算値が算出される（ステップＳ２５６）。補間計算値とは、注目画素の信号値が対向画素の信号値に置き換えられた後の信号値である。そして、注目画素の信号値と、算出された補間計算値とからピクセル補正値が算出される（ステップＳ２５７）。ピクセル補正値は、仮の傷ゴミ補正値となり、例えば、注目画素値と補間計算値との差分データである。そして、ステップＳ２５１において、可視画像情報の全ての画素が注目画素として抽出されたか否かが判別される（ステップＳ２５８）。全ての画素が抽出されていない場合（ステップＳ２５８；ＮＯ）、ステップＳ２５１に移行され、未抽出の画素が次の注目画素として抽出される。
【０１０１】
なお、ステップＳ２５１〜Ｓ２５８においては、可視画像情報の画素の信号値に基づいて関連性の高い方向１つの対向画素対を補間元として抽出しているが、ＢＧＲ画像の各々の色画像について前記方向を求め、その結果、つまり、色画像各々の方向の一致度などの信頼度情報から、ＢＧＲ共通に使用する方向を定めて、その方向の対向画素対を抽出する構成でもよい。例えば、図１３（ａ）に示すように、Ｇ及びＲ画像情報から求めた方向が同一で、Ｇ画像情報から求めた方向に重み付け６がなされ、Ｒ画像情報から求めた方向に重み付け３がなされ、その方向と垂直なＢ画像情報から求めた方向に重み付け１がなされる。この場合、ＢＧＲから求めた方向は重み付けが考慮されて、補間元の画素の取得方向が図の方向に決定される。ＢＧＲの補間方向を一致させないと補間後の画素に不自然な色がつく可能性があるからである。また、図１３（ｂ）に示すように各方向の重み付けに指向性が見られない場合、補間元の画素取得の方向性を特定の方向とせずに補間されるとしてもよい。さらに、ステップＳ２５１〜Ｓ２５６までの処理においては、上述の好ましい実施の形態そのままの処理でなくとも、注目画素の補間信号値が周囲の正常画素の信号値によって予測されるものであれば応用可能である。例えば、画像情報全体を領域分割、パターン認識などを用いて評価し、欠陥画素が本来どのような画像領域であったのか予測して、その結果を元に、注目画素の信号値を予測する手法を、最近傍画素からの補間、周囲全画素からの補間、繰り返しパターンの検出によるパターン整合処理などの中から選択することもできる。
【０１０２】
上述の重み付けは、視感度を元に、具体的には、ＮＴＳＣ方式の色変換で用いるＢＧＲ画像の重み付けを元にしている。例えば、青は観察者の目に対する感度が低いために重み付けが低く設定され、緑は観察者の目に対する感度が高いために重み付けが高く設定されている。しかしこれに限るものではなく、ベクトル決定時の信頼度情報を別途求める構成でもよい。その信頼度情報は、例えば複数方向のなかで、当該方向を選んだ際に、選ばれなかった他のグループとの選択指標の格差を、統計的に処理して信頼度を求めればよい。
【０１０３】
全ての画素が抽出された場合（ステップＳ２５８；ＹＥＳ）、図の右側のフローに移行される。先ず、可視画像情報から一つの画素が注目画素として抽出される（ステップＳ２５９）。そして、注目画素が可視画像情報の傷ゴミ領域内にあるか否かが判別される（ステップＳ２６０）。注目画素が傷ゴミ領域内にない場合（ステップＳ２６０；ＮＯ）、ステップＳ２６４に移行される。
【０１０４】
注目画素が傷ゴミ領域内にある場合（ステップＳ２６０；ＹＥＳ）、注目画素を中心として所定領域内にある傷ゴミ領域のピクセルが抽出される（ステップＳ２６１）。所定領域は、例えば５×５の画素マトリクスである。そして、所定領域内にある傷ゴミ領域から抽出されたピクセルそれぞれに対するピクセル補正値から代表補正値が算出される（ステップＳ２６２）。そのピクセル補正値は、ステップＳ２５７において算出されたピクセル補正値が用いられ、例えば、各ピクセルのピクセル補正値の平均値が代表補正値とされる。また、代表補正値の算出は統計的手法によってもよい。そして、算出された代表補正値を用いて、可視画像領域の注目画素が補正される（ステップＳ２６３）。具体的には、注目画素の信号値がエネルギー量に対応するものであれば、補正値と注目画素信号値との乗除算、濃度情報であれば補正値と注目画素信号値との加減算となる。
【０１０５】
そして、ステップＳ２５９において、可視画像情報の全ての画素が注目画素として抽出されたか否かが判別される（ステップＳ２６４）。全ての画素が抽出されていない場合（ステップＳ２６４；ＮＯ）、ステップＳ２５９に移行され、未抽出の画素が次の注目画素として抽出される。全ての画素が抽出された場合（ステップＳ２６４；ＹＥＳ）、第２の傷ゴミ補正処理は終了される。第２の傷ゴミ補正処理の終了後、次のステップ（図４のステップＳ１５の傷ゴミ補間処理又は図３のステップＳ２）に移行される。
【０１０６】
次に、図１４を参照して、図４の傷ゴミ処理中のステップＳ１５の傷ゴミ補正処理の一実施形態としての第３の傷ゴミ補正処理を説明する。図１４は、第３の傷ゴミ補正処理を示すフローチャートである。図８及び図１０の第１及び第２の傷ゴミ補正処理は、単一（あるいは近傍）の傷ゴミ領域における、傷ゴミの画像情報に与える影響は単調であるという仮定に基づいている。多くの場合、この処理でも十分な補正結果が得られるが、傷ゴミの影響が、広い範囲に、緩慢に存在する場合には、単一領域内の傷、ゴミの画像情報に与える影響が単調とは言いがたい状況もある。このような場合、傷ゴミ領域をいくつかの部分領域に分割し、各々について、第１及び第２の傷ゴミ補正処理のような補正手法を用いるとよい。第３の傷ゴミ補正処理は、傷ゴミ領域をいくつかの部分領域に分割する傷ゴミ補正処理である。
【０１０７】
図１４に示すように、先ず、可視画像情報の傷ゴミ領域が２つ以上の部分領域に分割される傷ゴミ領域分割処理が実行される（ステップＳ３５１）。ステップＳ３５１の傷ゴミ領域分割処理について、２つの例を後述する。そして、ステップＳ３５２〜Ｓ３５９が実行される。ステップＳ３５２〜Ｓ３５９は、図１０の第３の傷ゴミ処理のステップＳ２５２〜Ｓ２５８とそれぞれ同様の処理である。そして、全ての画素が抽出された場合（ステップＳ３５９；ＹＥＳ）、図の右側のフローに移行される。先ず、可視画像情報から一つの画素が注目画素として抽出される（ステップＳ３６０）。そして、注目画素が可視画像情報の傷ゴミ領域内にあるか否かが判別される（ステップＳ３６１）。注目画素が傷ゴミ領域内にない場合（ステップＳ３６１；ＮＯ）、ステップＳ３６５に移行される。
【０１０８】
注目画素が傷ゴミ領域内にある場合（ステップＳ３６１；ＹＥＳ）、注目画素を中心として所定領域内にあり、かつ同一部分領域内の傷ゴミ領域のピクセルが抽出される（ステップＳ３６２）。部分領域は、ステップＳ３５１において設定された傷ゴミ領域内の部分領域である。そして、ステップＳ２６２と同様に、所定領域内にありかつ同一部分領域内の傷ゴミ領域から抽出されたピクセルそれぞれに対するピクセル補正値から代表補正値が算出される（ステップＳ３６３）。そして、算出された代表補正値を用いて、可視画像領域の注目画素が補正される（ステップＳ３６５）。具体的には、注目画素の信号値がエネルギー量に対応するものであれば、補正値と注目画素信号値との乗除算、濃度情報であれば補正値と注目画素信号値との加減算となる。
【０１０９】
そして、ステップＳ３６０において、可視画像情報の全ての画素が注目画素として抽出されたか否かが判別される（ステップＳ３６５）。全ての画素が抽出されていない場合（ステップＳ３６５；ＮＯ）、ステップＳ３６０に移行され、未抽出の画素が次の注目画素として抽出される。全ての画素が抽出された場合（ステップＳ３６５；ＹＥＳ）、第３の傷ゴミ補正処理は終了される。第３の傷ゴミ補正処理の終了後、次のステップ（図４のステップＳ１５の傷ゴミ補間処理又は図３のステップＳ２）に移行される。
第３の傷ゴミ補正処理によれば、より広範な特性の傷、ゴミ領域について、良好な補正結果が得られる。
【０１１０】
次いで、図１５〜図１８を参照して、第３の傷ゴミ補正処理のステップＳ３５１における傷ゴミ領域分割処理の具体的な実施例としての第１及び第２の傷ゴミ領域分割処理を説明する。図１５は、第１の傷ゴミ領域分割処理を示すフローチャートである。図１６は、第１の傷ゴミ領域分割処理により分割された、傷ゴミ領域内の３つの部分領域を示す図である。図１７は、第２の傷ゴミ領域分割処理を示すフローチャートである。図１８は、第２の傷ゴミ領域分割処理により分割された、傷ゴミ領域内の３つの部分領域を示す図である。
【０１１１】
先に、図１５及び図１６を参照して、第１の傷ゴミ領域分割処理を説明する。第１の傷ゴミ領域分割処理は、部分領域の分割法として、領域の周縁からの距離を元にグループ分けする一例である。図１５に示すように、先ず、可視画像情報から一つの画素が注目画素として抽出される（ステップＳＡ１）。そして、注目画素が可視画像情報の傷ゴミ領域内にあるか否かが判別される（ステップＳＡ２）。注目画素が傷ゴミ領域内にない場合（ステップＳＡ２；ＮＯ）、ステップＳＡ６に移行される。
【０１１２】
注目画素が傷ゴミ領域内にある場合（ステップＳＡ２；ＹＥＳ）、注目画素に隣接する隣接８画素内に正常画素があるか否かが判別される（ステップＳＡ３）。隣接８画素内に正常画素がない場合（ステップＳＡ３；ＮＯ）、注目画素を中心とした５×５の画素範囲内に正常画素があるか否かが判別される（ステップＳＡ４）。５×５の画素範囲内に正常画素がない場合（ステップＳＡ４；ＮＯ）、注目画素は傷ゴミ領域の部分領域としてのグループ３に所属される画素として設定される（ステップＳＡ５）。
【０１１３】
そして、ステップＳＡ１において、可視画像情報の全ての画素が注目画素として抽出されたか否かが判別される（ステップＳＡ６）。全ての画素が抽出されていない場合（ステップＳＡ６；ＮＯ）、ステップＳＡ１に移行され、未抽出の画素が次の注目画素として抽出される。全ての画素が抽出された場合（ステップＳＡ６；ＹＥＳ）、第１の傷ゴミ領域分割処理は終了される。第１の傷ゴミ領域分割処理の終了後、次のステップ（図１４のステップＳ３５２）に移行される。
【０１１４】
隣接８画素内に正常画素がある場合（ステップＳＡ３；ＹＥＳ）、注目画素は傷ゴミ領域の部分領域としてのグループ１に所属される画素として設定され（ステップＳＡ７）、ステップＳＡ６に移行される。５×５の画素範囲内に正常画素がある場合（ステップＳＡ４；ＹＥＳ）、注目画素は傷ゴミ領域の部分領域としてのグループ２に所属される画素として設定され（ステップＳＡ８）、ステップＳＡ６に移行される。
【０１１５】
第１の傷ゴミ領域分割処理により、例えば、図１６に示すように、傷ゴミ領域が、分割領域としてのグループ１、グループ２、グループ３に分割される。なお、グループ数は適宜決めてかまわないが、概ね３以上有れば好ましい。また、各グループの所属条件は、隣接８画素内、５×５画素範囲内に限るものではなく、他の条件でもよい。
【０１１６】
次に、図１７及び図１８を参照して、第２の傷ゴミ領域分割処理を説明する。第２の傷ゴミ領域分割処理は、赤外画像情報を元に傷ゴミ領域を識別する例であり、傷ゴミ領域の識別時に用いる閾値を３段階（グループ数分）用意し、これによってグループ分けする一例である。赤外画像情報が十分な位置精度を有している場合には、簡単に実用可能な方法である。
【０１１７】
予め、分割領域を決定するための閾値１、閾値２及び閾値３が任意に設置されている。また、閾値１＜閾値２＜閾値３であるものとする。図１７に示すように、先ず、可視画像情報から一つの画素が注目画素として抽出される（ステップＳＢ１）。そして、赤外画像情報を用いて、注目画素についての赤外差分データ（ＩＲＤ）が作成される（ステップＳＢ２）。例えば、図６のステップＳ１３２，Ｓ１３６と同様に赤外差分データが作成される。以下、本実施の形態では、閾値との大小を扱う関係で、赤外差分データの符号を正とするため、赤外差分データを絶対値に変換して扱う。あるいは、図６のステップＳ１３２，Ｓ１３６において作成された赤外差分データが保存される構成とし、その保存されている赤外差分データがステップＳＢ２において取得される構成でもよい。そして、ステップＳＢ２で作成された注目画素のＩＲＤが閾値１よりも大きいか否かが判別される（ステップＳＢ３）。
【０１１８】
注目画素のＩＲＤが閾値１よりも大きい場合（ステップＳＢ３；ＹＥＳ）、注目画素のＩＲＤが閾値２よりも大きいか否かが判別される（ステップＳＢ４）。注目画素のＩＲＤが閾値２よりも大きい場合（ステップＳＢ４；ＹＥＳ）、注目画素のＩＲＤが閾値３よりも大きいか否かが判別される（ステップＳＢ５）。注目画素のＩＲＤが閾値３よりも大きい場合（ステップＳＢ５；ＹＥＳ）、注目画素は傷ゴミ領域の部分領域としてのグループ３に所属される画素として設定される（ステップＳＢ６）。
【０１１９】
そして、ステップＳＢ１において、可視画像情報の全ての画素が注目画素として抽出されたか否かが判別される（ステップＳＢ７）。全ての画素が抽出されていない場合（ステップＳＢ７；ＮＯ）、ステップＳＢ１に移行され、未抽出の画素が次の注目画素として抽出される。全ての画素が抽出された場合（ステップＳＢ７；ＹＥＳ）、第２の傷ゴミ領域分割処理は終了される。第２の傷ゴミ領域分割処理の終了後、次のステップ（図１４のステップＳ３５２）に移行される。
【０１２０】
注目画素のＩＲＤが閾値１よりも大きくない場合（ステップＳＢ３；ＮＯ）、注目画素は正常画素と設定され（ステップＳＢ８）、ステップＳＢ７に移行される。注目画素のＩＲＤが閾値２よりも大きくない場合（ステップＳＢ４；ＮＯ）、注目画素は傷ゴミ領域の部分領域としてのグループ１に所属される画素として設定され（ステップＳＢ９）、ステップＳＢ７に移行される。注目画素のＩＲＤが閾値３よりも大きくない場合（ステップＳＢ５；ＮＯ）、注目画素は傷ゴミ領域の部分領域としてのグループ２に所属される画素として設定され（ステップＳＢ１０）、ステップＳＢ７に移行される。
【０１２１】
第２の傷ゴミ領域分割処理により、例えば、図１８に示すように、傷ゴミ領域が、分割領域としてのグループ１、グループ２、グループ３に分割される。なお、グループ数は適宜決めてかまわないが、概ね３以上有れば好ましい。
【０１２２】
第３の傷ゴミ補正処理は、部分領域化した全ての領域で傷ゴミ補正処理を施しているが、例えば、図１６の最外周の部分領域（グループ１）や、図１８のもっとも傷、ゴミの影響の小さい部分領域（グループ１）は、領域外の正常画素との関連性も大きいため、周辺正常画素による補間法によって処理してしまってもかまわない。
【０１２３】
以上、傷ゴミ領域内に存在する、構造の不均一性への対応を、傷ゴミ領域を複数の部分領域に分割して、各々の部分領域に対し、個別の処理量計算を行う手法を説明した。
次に、図１９を参照して、図４の傷ゴミ処理中のステップＳ１５の傷ゴミ補正処理の一実施形態としての第４の傷ゴミ補正処理を説明する。図１９は、第４の傷ゴミ補正処理を示すフローチャートである。第４の傷ゴミ補正処理は、前述の構造の不均一性への対応を、別の手法で実現するものである。
【０１２４】
図１９に示すように、先ず、ステップＳ４５１〜Ｓ４５５が実行される。ステップＳ４５１〜Ｓ４５５は、図１０の第２の傷ゴミ補正処理におけるステップＳ２５１〜Ｓ２５５と同様である。そして、注目画素から正常画素までの距離が最も長い方向が求められ、この方向をデータ抽出方向として設定される（ステップＳ４５６）。この最も長い方向は、例えば、図１１の例では、左上がりの斜め方向が該当する。
【０１２５】
そして、ステップＳ４５７〜Ｓ４６１が実行される。ステップＳ４５７〜Ｓ４６１は、図１０の第２の傷ゴミ補正処理におけるステップＳ２５６〜Ｓ２６０と同様である。そして、図の右側のフローに移行される。先ず、傷ゴミ領域内の画素について、注目画素を通り、ステップＳ４５６で算出されたデータ抽出方向に沿った所定距離内の傷ゴミ領域のピクセルが抽出される（ステップＳ４６２）。所定距離とは、あらかじめ設定された距離、例えば注目画素を中心とした半径４画素以内というものでもよいし、前述したデータ抽出方向の正常画素対の距離に対応して、所定範囲を設定するようにしてもよい。
【０１２６】
そして、ステップＳ４６３〜Ｓ４６５が実行される。ステップＳ４６３〜Ｓ４６５は、図１０の第２の傷ゴミ補正処理におけるステップＳ２６２〜Ｓ２６４と同様である。第４の傷ゴミ補正処理の終了後、次のステップ（図４のステップＳ１５の傷ゴミ補間処理又は図３のステップＳ２）に移行される。
【０１２７】
第４の傷ゴミ補正処理は、傷領域や、多くのホコリに起因するゴミ領域は、画像上に、細長い形態で現れる場合が多く、また、このような傷、ゴミがもっとも目立ちやすい傾向にあることに着目して見出したものである。傷ゴミ領域形態の長さ方向には、画像情報に対し、均質な影響を及ぼす画像欠陥が連続していることにより、上述のようなデータ抽出方向を用いた代表値算出によって、精度の高い処理結果が得られるのである。
【０１２８】
次に、図２０を参照して、図４の傷ゴミ処理中のステップＳ１５の傷ゴミ補正処理の一実施形態としての第５の傷ゴミ補正処理を説明する。図２０は、第５の傷ゴミ補正処理を示すフローチャートである。第５の傷ゴミ補正処理は、前述の構造の不均一性への対応を、さらに別の手法で実現する。また、第５の傷ゴミ補正処理では、傷ゴミ領域の評価に赤外画像情報を用いる。
【０１２９】
図２０に示すように、先ず、ステップＳ５５１，Ｓ５５２が実行される。ステップＳ５５１，Ｓ５５２は、図１０の第２の傷ゴミ補正処理におけるステップＳ２５１，Ｓ２５２と同様である。そして、赤外画像情報を用いて、注目画素の赤外差分データが作成される（ステップＳ５５３）。例えば、図６のステップＳ１３２，Ｓ１３６と同様に赤外差分データが作成される。あるいは、図６のステップＳ１３２，Ｓ１３６において作成された赤外差分データが保存される構成とし、その保存されている赤外差分データがステップＳ５５３において取得される構成でもよい。
【０１３０】
そして、ステップＳ５５４〜Ｓ５６１が実行される。ステップＳ５５４〜Ｓ５６１は、図１０の第２の傷ゴミ補正処理におけるステップＳ２５３〜Ｓ２６０と同様である。そして、注目画素を中心とした所定領域が定義される（ステップＳ５６２）。そして、その所定領域内に存在する傷ゴミ領域内のピクセルそれぞれのピクセル補正値の総和補正量が算出される（ステップＳ５６３）。
【０１３１】
そして、所定領域内に存在する傷ゴミ領域内画素それぞれの赤外差分データの総和が算出され、さらに、その赤外差分データの総和に占める注目画素の赤外差分データの割合が計算される（ステップＳ５６４）。そして、ステップＳ５６３において算出された総和補正量にステップＳ５６４において算出された割合が乗算され、その乗算された値が注目画素の補正値とされ、その注目画素の補正値を用いて、可視画像情報の注目画像が補正される（ステップＳ５６５）。
【０１３２】
そして、ステップＳ５６０において、可視画像情報の全ての画素が注目画素として抽出されたか否かが判別される（ステップＳ５６６）。全ての画素が抽出されていない場合（ステップＳ５６６；ＮＯ）、ステップＳ５６０に移行され、未抽出の画素が次の注目画素として抽出される。全ての画素が抽出された場合（ステップＳ５６６；ＹＥＳ）、第５の傷ゴミ補正処理は終了される。第５の傷ゴミ補正処理の終了後、次のステップ（図４のステップＳ１５の傷ゴミ補間処理又は図３のステップＳ２）に移行される。
【０１３３】
第４及び第５の傷ゴミ補正処理によれば、傷ゴミ領域を明瞭な複数領域に分割しなくても、傷ゴミ領域が内部に構造を有している場合に、簡単に、傷ゴミ領域の内部構造が画像に及ぼす影響を抽出でき、また、実際の画像補正値は可視画像信号値を用いて補正処理を実施するので、赤外画像情報と可視画像情報とのＭＴＦ特性、フレア特性、コントラスト特性などに気を配る必要がなく、確実かつ安定した補正処理結果が得られる。
【０１３４】
次に、図２１を参照して、図４の傷ゴミ処理中のステップＳ１５の傷ゴミ補正処理の一実施形態としての第６の傷ゴミ補正処理を説明する。図２１は、第６の傷ゴミ補正処理を示すフローチャートである。第６の傷ゴミ補正処理は、傷、ゴミ領域の補正処理を、補間的に処理する応用例である。
【０１３５】
傷ゴミ領域などの欠陥領域を補間処理によって埋め合わせる手法は、各種知られている。そのいずれの手法においても、補間法は、補間する欠陥領域を周囲の情報によって埋め合わせる。このため、周辺領域と欠陥領域とで、例えば画像の粒状感（銀塩写真の粒状や、ランダムノイズ起因のザラザラした質感）が異り、不自然な処理結果となる場合が多い。
第６の傷ゴミ補正処理は、欠損領域の有する情報をできる限り利用し、処理を行うので、不自然な印象を受けにくい画像処理結果が得られるものである。
【０１３６】
先ず、ステップＳ６５１〜Ｓ６５３が実行される。ステップＳ６５１〜ＳＳ６５３は、それぞれ、図１０の第２の傷ゴミ補正処理におけるステップＳ２５１〜Ｓ２５３と同様である。注目画素が傷ゴミ領域内にある場合（ステップＳ６５３；ＹＥＳ）、注目画素を中心とする所定範囲が設定される（ステップＳ６５４）。所定範囲は、例えば、簡単には矩形領域であるが、所定半径領域としてもよい。
【０１３７】
そして、所定範囲に含まれる傷ゴミ領域にハイパスフィルタが作用され、注目画素位置におけるそのハイパスフィルタの処理結果が第１情報として取得される（ステップＳ６５５）。このハイパスフィルタは、例えば、注目画素値から所定範囲に含まれる、傷ゴミ領域に所属する画素信号値の平均値を減算処理するフィルタ処理である。その他、ラプラシアンフィルタ及びその変形型フィルタを利用することも可能である。
【０１３８】
さらに、所定範囲に含まれる周辺領域にローパスフィルタが作用され、注目画素位置におけるそのローパスフィルタの処理結果が第２情報として取得される（ステップＳ６５６）。このローパスフィルタは、簡単には、所定範囲に含まれる周辺領域に所属する画素値の平均値を算出するもの、又は前述の空間周波数帯域フィルタを用いてもよい。また、注目画素からの距離に応じて、重み付けの係数を用意し、所定範囲に含まれる周辺領域画素に対応する重み付け係数の総和を１に正規化して、領域内画像信号値と、正規化した重み付け係数の積和で求めてもよい。そして、注目画素の信号値が第１情報と第２情報との和の信号値で置換される（ステップＳ６５７）。
【０１３９】
そして、ステップＳ６５７において、可視画像情報の全ての画素が注目画素として抽出されたか否かが判別される（ステップＳ６５８）。全ての画素が抽出されていない場合（ステップＳ６５８；ＮＯ）、ステップＳ６５２に移行され、未抽出の画素が次の注目画素として抽出される。全ての画素が抽出された場合（ステップＳ６５８；ＹＥＳ）、第６の傷ゴミ補正処理は終了される。第６の傷ゴミ補正処理の終了後、次のステップ（図４のステップＳ１５の傷ゴミ補間処理又は図３のステップＳ２）に移行される。
【０１４０】
次に、図２２及び図２３を参照して、図３の画像処理中のステップＳ５の拡大縮小処理と、ステップＳ７の鮮鋭性粒状性補正処理とを説明する。図２２は、拡大縮小処理を示すフローチャートである。図２３は、鮮鋭性粒状性補正処理を示すフローチャートである。
【０１４１】
先に、図２２を参照して拡大縮小処理を説明する。拡大縮小処理は、その手法によって処理結果が異なり、特に、画像情報の平滑化作用に大きな差がある。先ず、可視画像情報中の拡大／縮小に必要な格子点座標が計算される（ステップＳ５１）。格子点は、例えば、拡大すべき画素と画素との間に補完するための中間点である。そして、その計算された格子点の周囲４画素が抽出される（ステップＳ５２）。周囲４画素は、格子点の補間の計算に用いられる。そして、周囲４画素が正常画素のみであるか否かが判別される（ステップＳ５３）。
【０１４２】
周囲４画素が正常画素のみでない場合（ステップＳ５３；ＮＯ）、周囲４画素が傷ゴミ領域内のみに存在するか否かが判別される（ステップＳ５４）。周囲４画素が傷ゴミ領域内のみに存在しない場合（ステップＳ５４；ＮＯ）、その周辺４画素は、正常画素及び傷ゴミ領域が混在する領域としての混在領域にあるとされる（ステップＳ５５）。そして、混在領域内の画素同士は信号の格差が大きいとみなすことができ、平滑性の強い補間方式を利用して、注目画素に対して拡大縮小が実行される（ステップＳ５６）。平滑性の強い補間方式によって、傷ゴミ処理境界の目立ちにくい画像処理結果が得られる。
【０１４３】
周囲４画素が正常画素のみである場合（ステップＳ５３；ＹＥＳ）、又は周囲４画素が傷ゴミ領域内のみに存在する場合（ステップＳ５４；ＹＥＳ）、周囲４画素が正常画素領域又は傷ゴミ領域の何れか一方に含まれ、その領域内画素同士は信号の格差が小さいとみなすことができ、平滑性の弱い補間方式を利用して、注目画素に対して拡大縮小が実行される（ステップＳ５７）。
【０１４４】
そして、ステップＳ５１において可視画像情報全面の拡大／縮小に必要な全格子点が抽出（計算）されたか否かが判別される（ステップＳ５８）。全格子点が抽出された場合（ステップＳ５８；ＹＥＳ）、拡大縮小処理が終了される。全格子点が抽出されていない場合（ステップＳ５８；ＮＯ）、ステップＳ５１に移行され、未抽出の格子点が次の格子点として計算される。拡大縮小処理の終了後、次のステップ（図３のステップＳ６）に移行される。
【０１４５】
拡大縮小処理における補間方法については、例えば、特開２００２−２６２０９４に記載の補間方法を用いることができる。その中で、変倍時のモアレなどが発生しやすいわずかな変倍率の拡大／縮小には、平滑化効果の大きな近傍９点の画素データを用いた線形補間方法が適用され、その他には、平滑化効果の比較的小さな、近傍４点の画素データを用いた補間方法が適用されている。即ち、本実施の形態において、前者を傷ゴミ補正領域及び正常画素領域の混在領域個所に適用し（ステップＳ５６に対応）、後者をその他の領域に適用すること（ステップＳ５７に対応）で好ましい結果が得られる。
【０１４６】
次に、図２３を参照して鮮鋭性粒状性補正処理を説明する。先ず、可視画像情報中の一画素が注目画素として抽出される（ステップＳ７１）。そして、注目画素が正常画素であるか否かが判別される（ステップＳ７２）。注目画素が正常画素である場合（ステップＳ７２；ＹＥＳ）、鮮鋭性強調が「強」で、粒状性補正が「中」に設定されて、その設定値に基づいて注目画素に鮮鋭性強調及び粒状性補正がなされる（ステップＳ７３）。
【０１４７】
そして、ステップＳ７１において可視画像情報内の全画素が注目画素として抽出されたか否かが判別される（ステップＳ７４）。全画素が抽出された場合（ステップＳ７４；ＹＥＳ）、鮮鋭性粒状性補正処理が終了される。全画素が抽出されていない場合（ステップＳ７４；ＮＯ）、ステップＳ７１に移行され、未抽出の画素が次の抽出画素として抽出される。鮮鋭性粒状性補正処理の終了後、次のステップ（図３のステップＳ８）に移行される。
【０１４８】
注目画素が正常画素でない場合（ステップＳ７２；ＮＯ）、注目画素が周辺領域にあるか否かが判別される（ステップＳ７５）。周辺領域は、可視画像情報中の傷ゴミ処理された領域と、されていない領域との境界に存在する領域である。注目画素が周辺領域内である場合（ステップＳ７５；ＹＥＳ）、鮮鋭性強調が「中」で、粒状性補正が「強」に設定されて、その設定値に基づいて注目画素に鮮鋭性強調及び粒状性補正がなされ（ステップＳ７６）、ステップＳ７４に移行される。周辺領域の鮮鋭性強調を強くすると、傷ゴミ領域の境界の境目が見やすくなる危険があるため、若干の加減がなされる。あわせて粒状性補正がやや強くされる（粒状が抑制される）。
【０１４９】
注目画素が周辺領域内でない場合（ステップＳ７５；ＮＯ）、注目画素が傷ゴミ領域にあるとされる（ステップＳ７７）。注目画素が傷ゴミ領域にある場合に、正常画素と異なる補正をすることで、全体的に均質化された、傷ゴミ処理の痕跡が目立ちにくい処理結果が得られる。傷ゴミ領域に付いてはさらに、その処理方法によって場合分けすることが好ましい。よって、注目画素に傷ゴミ補正処理がなされているか、傷ゴミ補間処理がなされているかが判別される（ステップＳ７８）。傷ゴミ補正処理がなされている場合（ステップＳ７８；補正処理）、鮮鋭性強調が「弱」で、粒状性補正が「強」に設定されて、その設定値に基づいて注目画素に鮮鋭性強調及び粒状性補正がなされ（ステップＳ７９）、ステップＳ７４に移行される。例えば、傷ゴミ補正処理がなされた場合は、減衰した信号を増強復元するので、ノイズ抑制のため、当該領域の粒状性補正を通常より強くする（粒状抑制を強く掛ける）。あわせて、鮮鋭性強調の程度は弱くする。
【０１５０】
傷ゴミ補間処理がなされている場合（ステップＳ７８；補間処理）、鮮鋭性強調が「強」で、粒状性補正が「弱」に設定されて、その設定値に基づいて注目画素に鮮鋭性強調及び粒状性補正がなされ（ステップＳ８０）、ステップＳ７４に移行される。傷ゴミ補間処理がなされた場所では、周辺画素を参照し、重み付け平均するステップを有する場合が多く、ノイズ成分が減少している。このため、粒状性補正は弱く施され、鮮鋭性強調は相対的に強く施される。
【０１５１】
以上述べた鮮鋭性強調及び粒状性補正の関係は、一例としての傷ゴミ補正処理及び傷ゴミ補間処理を仮定した場合の説明であり、各補正の強弱はこれに限定されるものではなく、傷ゴミ補正及び補間処理の手法を切り替えれば、適宜調整されるべきものである。
【０１５２】
次に、画像取得部１４における画像取得を透過原稿スキャナ１４２に代えて反射原稿スキャナ１４１で行う場合を説明する。本実施の形態のうちの図８の第１の傷ゴミ補正処理、図１０の第２の傷ゴミ補正処理、図１４の第３の傷ゴミ補正処理（傷ゴミ領域分割に赤外差分データが用いられない場合）、図１９の第４の傷ゴミ補正処理、図２０の第６の傷ゴミ補正処理は、画像補正に赤外画像情報を必要とせず、傷ゴミ候補領域を何らかの方法で求められれば良い。そこで、図２４を参照して、赤外画像情報を取得しない構成として、図１の画像取得部１４の反射原稿スキャナ１４１を説明する。図２４は、反射原稿スキャナ１４１の内部構成を示す図である。
【０１５３】
図２４に示すように、反射原稿スキャナ１４１は、写真原稿（光沢印画紙など）Ｂの光源４１，４２と、光源４１，４２から出射された光を透過及び反射させるハーフミラー４３，４４と、光を結像及び受光してアナログ信号を得るＣＣＤ４５〜４７と、ＣＣＤ４５〜４７から出力されたアナログ信号をそれぞれ増幅するアンプ４８〜５０と、アンプ４８〜５０から出力されたアナログ信号をデジタル信号にそれぞれ変換するＡ／Ｄコンバータ５１〜５３とを備える。
【０１５４】
また反射原稿スキャナ１４１は、光源４１，４２の光出射とＣＣＤ４５〜４７の光受光とのタイミングを制御するタイミング制御部５４と、Ａ／Ｄコンバータ５２から出力された画像情報のうち、光源４１，４２から出射されたそれぞれの光に対応する２つの画像情報を比較する画像比較部５５と、画像比較部５５から出力された比較結果から元画像情報を形成する元画像形成部５６と、Ａ／Ｄコンバータ５１，５３からそれぞれ出力された２つの画像情報から欠陥候補領域を決定する欠陥候補領域決定部５７と、欠陥候補領域決定部５７から出力される欠陥候補領域から欠陥領域を特定し、その欠陥領域を、元画像形成部５６から出力される元画像情報とともに出力する欠陥領域特定部５８とを備えて構成される。
【０１５５】
また、欠陥領域特定部５８から出力される欠陥領域及び元画像情報は、画像処理部１１内の補正補間処理部６１に送信される。写真原稿Ｂは、均一の光沢を示しているものであれば良い。
【０１５６】
次に、反射原稿スキャナ１４１の動作を簡単に説明する。先ず、写真原稿Ｂは、２つの光源４１，４２で照射される。光源４１，４２は、タイミング制御部５４によって交互に発光する。ＣＣＤ４６は両方の光源の画像を採取する。ＣＣＤ４７は、光源４１が点燈しているタイミングで、ハーフミラー４３を透過しハーフミラー４４で反射された光を採取する。ＣＣＤ４５は、光源４２が点燈しているタイミングで、ハーフミラー４４を透過しハーフミラー４３で反射された光を採取する。
【０１５７】
ＣＣＤ４６で採取された画像情報は、画像比較部５５及び元画像形成部５６において、光源間差が比較され、輝度差のある場合は暗いほうの画像情報が重視され、１枚の画像情報を元画像情報として形成される。このようにすることで、光沢印画紙（写真原稿Ｂ）の微細な凹凸による反射や、絹目印画紙（写真原稿Ｂ）の光沢反射を除去することができ、好ましいコピー結果が得られる。
【０１５８】
一方、ＣＣＤ４５，４７で採取された画像情報は、欠陥画像候補領域決定部５７において、所定の画像信号値の範囲に収まらない画像領域をＣＣＤ４５，４７が各々抽出し、両者の出力画像領域が一致した場合に傷、ゴミなどの欠陥候補領域とされる。欠陥候補領域は、欠陥領域特定部５８により、ノイズ処理が実行され、その後にオープニング処理によってサイズ拡大され、欠陥領域とされる。
【０１５９】
補正補間処理部６１は、欠陥領域特定部５８から元画像情報及び欠陥領域の情報を受信し、その元画像情報及び欠陥領域情報に基づいて、本実施の形態で説明したような傷ゴミ補正処理、傷ゴミ補間処理がなされる。
【０１６０】
以上、本実施の形態の第２の傷ゴミ補正処理によれば、可視画像情報の傷ゴミ領域内の各欠陥画素とその近傍の欠陥画素との仮の補正量としてのピクセル補正値に基づいて修正画素補正量としての代表補正値を算出し、その代表補正値を用いて各欠陥画素を補正することにより、可視画像情報を補正する。このため、例えば、画像情報取得元（フィルム）の画像記録層の欠損による画像欠損（損傷）が発生し、赤外画像情報による信号強度の補正が逆補正となってしまう不具合や、赤外画像情報に無視できない量の残存収差が残っている状態でも、傷、ゴミ領域の各欠陥画素を可視画像情報に基づいて補正するので、良好な画像処理結果が得られる。また、欠陥箇所の画像情報１画素ごとにピクセル補正値を求め、代表補正値によりそのピクセル補正値の誤差分をノイズとして除去して画像情報を補正することにより、確度の高い、傷、ゴミの影響除去が実現できる。また、ＲＧＢ画像情報それぞれについて対向画素対の選択からピクセル補正値の算出までを行い、各色の特性に基づいて代表補正値を算出して補正する場合には、補正値算出に用いる情報量が増大し、画像情報のノイズ成分の除去効果がより高い、傷、ゴミの影響除去が実現できる。
【０１６１】
また、第１の傷ゴミ補正処理によれば、可視画像情報の補正値を、可視画像情報自身の周辺領域と欠陥領域との特性値から補正値を算出し、その補正値を用いて画像情報を補正する。このため、例えば、フィルム上の損傷による不具合にも、赤外画像情報でなく可視画像情報を用いて補正を行うことにより有効に対処できる。また、周辺領域と傷ゴミ領域との特性値から算出した補正値を用いる補正により、画像情報を取得した光学系の色収差やフレア特性などが不明でも、過不足ない補正結果が得られる。
【０１６２】
また、第６の傷ゴミ補正処理によれば、可視画像情報の傷ゴミ領域のハイパスフィルタ処理による第１情報と、周辺領域のローパスフィルタ処理による第２情報とを加算して補正値としての第３情報を算出し、その第３情報を用いて可視画像情報を補正する。このため、画像情報取得元（フィルム）の画像記録層の欠損（損傷）による欠陥領域を補正することにより、画像情報を取得した光学系の色収差やフレア特性などが不明でも、過不足ない補正結果が得られる。
【０１６３】
また、第３の傷ゴミ補正処理によれば、傷ゴミ領域を複数の部分領域に分割し、傷ゴミ領域内の各欠陥画素と、その同一部分領域に所属する近傍欠陥画素との仮の補正量としてのピクセル補正値に基づいて修正画素補正量としての代表補正値を算出し、その代表補正値を用いて各欠陥画素を補正することにより、可視画像情報を補正する。このため、部分領域の分割に赤外差分データを用いない場合、例えば、画像情報取得元（フィルム）上の画像記録層の欠損（損傷）による不具合にも、赤外画像情報でなく可視画像情報を用いて補正を行うことにより有効に対処できる。また、赤外画像情報に無視できない量の残存収差が残っている状態でも、傷、ゴミの欠陥画素を可視画像情報に基づいて補正するので、良好な画像処理結果が得られる。また、傷ゴミ領域を内部の欠陥画素の特徴量（正常画素との位置関係や赤外差分データ）に応じて複数の部分領域に分割し、各部分領域に基づいて補正するので、より自由度の高い、好ましい補正結果が得られる。
【０１６４】
なお、上述した本実施の形態における記述は、本発明に係る好適な画像処理システム１０の一例であり、これに限定されるものではない。
【０１６５】
【発明の効果】
請求項１、６又は１１に記載の発明によれば、画像情報の各欠陥画素とその近傍欠陥画素との仮の補正量に基づいて修正画素補正量を算出し、その各修正画素補正量を用いて各欠陥画素を補正する。このため、例えば、画像情報取得元の画像記録層の欠損による画像欠損が発生し、赤外域の画像情報による信号強度の補正が逆補正となってしまう不具合や、赤外域の画像情報に無視できない量の残存収差が残っている状態でも、欠陥画素を可視域の画像情報に基づいて補正するので、良好な画像処理結果が得られる。また、欠陥画素の１画素ごとに仮の補正量を求め、修正画素補正量によりその仮の補正量の誤差分をノイズとして除去して画像情報を補正することにより、確度の高い、欠陥の影響除去が実現できる。
【０１６６】
請求項２、７又は１２に記載の発明によれば、複数の色光を用いて補正値を求めるので、補正値算出に用いる情報量が増大し、画像情報のノイズ成分の除去効果がより高い、欠陥の影響除去が実現できる。
【０１６７】
請求項３、８又は１３に記載の発明によれば、画像情報自身の周辺領域と欠陥領域との特性値から補正値を算出し、その補正値を用いて可視域の画像情報を補正する。このため、例えば、画像情報取得元の画像記録層の欠損による画像欠損が発生し、赤外域の画像情報による信号強度の補正が逆補正となってしまう不具合にも、赤外域でなく可視域の画像情報を用いて補正を行うことにより有効に対処できる。また、周辺領域と欠陥領域との特性値から算出した補正値を用いる補正により、画像情報を取得した光学系の色収差やフレア特性などの特性が不明でも、過不足ない補正結果が得られる。
【０１６８】
請求項４、９又は１４に記載の発明によれば、画像情報自身の欠陥領域による第１情報と周辺領域による第２情報とを加算して補正値としての第３情報を算出し、その第３情報を用いて画像情報を補正する。このため、画像情報取得元の画像記録層の欠損による欠陥領域を補正することにより、画像情報を取得した光学系の色収差やフレア特性などの特性が不明でも、過不足ない補正結果が得られる。
【０１６９】
請求項５、１０又は１５に記載の発明によれば、欠陥画素を複数のグループに分割し、各欠陥画素と、その同一のグループに所属する近傍欠陥画素との仮の補正量に基づいて修正画素補正量を算出し、その各修正画素補正量を用いて各欠陥画素を補正する。このため、画像情報取得元の画像記録層の欠損による欠陥画素をその特徴量に応じて複数のグループに分割し、各グループに基づいて補正するので、より自由度の高い、好ましい補正結果が得られる。また、赤外域の画像情報に無視できない量の残存収差が残っている状態でも、欠陥画素を可視域の画像情報に基づいて補正するので、良好な画像処理結果が得られる。
【図面の簡単な説明】
【図１】本発明に係る実施の形態の画像処理システム１０を示すブロック図である。
【図２】透過原稿スキャナ１４２の構成を示す図である。
【図３】画像処理を示すフローチャートである。
【図４】傷ゴミ処理を示すフローチャートである。
【図５】各波長域の信号の吸収を示す図である。
【図６】傷ゴミ候補領域検出処理を示すフローチャートである。
【図７】傷ゴミ領域決定処理を示すフローチャートである。
【図８】第１の傷ゴミ補正処理を示すフローチャートである。
【図９】傷ゴミ領域及びその周辺領域を示す図である。
【図１０】第２の傷ゴミ補正処理を示すフローチャートである。
【図１１】注目画素の補正処理候補選択を示す図である。
【図１２】注目画素の補正処理候補選択の３つの様態例を示す図である。
【図１３】注目画素の２つの方向特性例を示す図である。
【図１４】第３の傷ゴミ補正処理を示すフローチャートである。
【図１５】第１の傷ゴミ領域分割処理を示すフローチャートである。
【図１６】第１の傷ゴミ領域分割処理により分割された、傷ゴミ領域内の３つの部分領域を示す図である。
【図１７】第２の傷ゴミ領域分割処理を示すフローチャートである。
【図１８】第２の傷ゴミ領域分割処理により分割された、傷ゴミ領域内の３つの部分領域を示す図である。
【図１９】第４の傷ゴミ補正処理を示すフローチャートである。
【図２０】第５の傷ゴミ補正処理を示すフローチャートである。
【図２１】第６の傷ゴミ補正処理を示すフローチャートである。
【図２２】拡大縮小処理を示すフローチャートである。
【図２３】鮮鋭性粒状性補正処理を示すフローチャートである。
【図２４】反射原稿スキャナ１４１の内部構成を示す図である。
【符号の説明】
１０…画像処理システム
１１…画像処理部
１２…画像表示部
１３…指示入力部
１３１…接触センサ
１３２…マウス
１３３…キーボード
１４…画像取得部
１４１…反射原稿スキャナ
４１，４２…光源
４３，４４…ハーフミラー
４５〜４７…ＣＣＤ
４８〜５０…アンプ
５１〜５３…Ａ／Ｄコンバータ
５５…画像比較部
５６…元画像形成部
５７…欠陥候補領域決定部
５８…欠陥領域特定部
Ｂ…写真原稿
６１…補間補正処理部
１４２…透過原稿スキャナ
３１…光源部
３２…拡散部材
３３…フィルムキャリア
３４…ローラ
３５…光学レンズ
３６ＩＲ，３６Ｂ，３６Ｒ…ダイクロイックフィルタ
３７ＩＲ，３７Ｂ，３７Ｇ，３７Ｒ…ラインＣＣＤ
３８ＩＲ，３８Ｂ，３８Ｇ，３８Ｒ…アナログアンプ
３９ＩＲ，３９Ｂ，３９Ｇ，３９Ｒ…Ａ／Ｄコンバータ
４０…画像メモリ
Ａ…フィルム
１４３…メディアドライバ
１４４…情報通信Ｉ／Ｆ
１５…画像ストレージ部
１６…銀塩露光プリンタ
１７…ＩＪプリンタ
１８…各種画像記録メディア書込部
２１…印刷物
２２…現像済みフィルム
２３…画像メディア
２４…通信手段

Claims

画像情報を正常画素と欠陥画素とに区分し、その欠陥画素を少なくとも周辺の正常画素に基づいて補正する画像処理方法において、
前記画像情報内の各欠陥画素の周辺に存在する複数の正常画素に基づいて、前記各欠陥画素の補間信号値を算出し、前記各欠陥画素の信号値とその前記補間信号値とに基づいて、前記各欠陥画素を補正する仮の補正量を算出し、
前記各欠陥画素の前記仮の補正量と、その各欠陥画素の近傍に存在する近傍欠陥画素の前記仮の補正量とに基づいて、前記各欠陥画素の修正画素補正量を算出し、その修正画素補正量を用いて前記各欠陥画素を補正することを特徴とする画像処理方法。
前記画像情報は、少なくとも３種類の色光に関する情報から構成されるものであり、
前記修正画素補正量の算出において、前記複数の色光各々について前記仮の補正量を算出し、前記複数の色光各々の仮の補正量から前記複数の色光各々の前記修正画素補正量を算出することを特徴とする請求項１に記載の画像処理方法。
画像情報を正常領域と欠陥領域とに区分し、その欠陥領域に所属する欠陥画素を補正する画像処理方法において、
前記欠陥領域の境界から第１の所定距離以内に存在する正常画素群を周辺領域と定義し、
前記欠陥領域の補正において、前記各欠陥画素を中心として第２の所定距離内に存在する欠陥領域及び周辺領域各々について特性値を算出し、前記特性値に基づいて、前記欠陥画素の補正に用いる補正値を算出し、その補正値を用いて前記各欠陥画素を補正することにより、前記欠陥領域を補正することを特徴とする画像処理方法。
画像情報を正常領域と欠陥領域とに区分し、その欠陥領域に所属する欠陥画素を補正する画像処理方法において、
前記欠陥領域の境界から第１の所定距離以内に存在する正常画素群を周辺領域と定義し、
前記欠陥領域の補正において、前記各欠陥画素を中心とし第２の所定距離内に存在する欠陥領域に所定のハイパスフィルタを作用させた第１情報と、前記各欠陥画素を中心とし第３の所定距離内に存在する前記周辺領域に所定のローパスフィルタを作用させた第２情報とを算出し、前記第１情報及び前記第２情報を加算した第３情報で前記各欠陥画素を置き換えて、前記欠陥領域を補正することを特徴とする画像処理方法。
画像情報を正常画素と欠陥画素とに区分し、その欠陥画素を周辺の正常画素に基づいて補正する画像処理方法において、
前記欠陥画素を、その特徴量に基づいて複数のグループに分割し、
前記画像情報内の各欠陥画素を補正する仮の補正量を算出し、
前記各欠陥画素の前記仮の補正量と、その各欠陥画素と同一のグループに所属してかつその各欠陥画素の近傍に存在する近傍欠陥画素の前記仮の補正量とに基づいて、前記各欠陥画素の修正画素補正量を算出し、その修正画素補正量を用いて前記各欠陥画素を補正することを特徴とする画像処理方法。
画像情報を正常画素と欠陥画素とに区分し、その欠陥画素を少なくとも周辺の正常画素に基づいて補正する画像処理装置において、
前記画像情報内の各欠陥画素の周辺に存在する複数の正常画素に基づいて、前記各欠陥画素の補間信号値を算出し、前記各欠陥画素の信号値とその前記補間信号値とに基づいて、前記各欠陥画素の前記仮の補正量と、その各欠陥画素の近傍に存在する近傍欠陥画素の前記仮の補正量とに基づいて、前記各欠陥画素の修正画素補正量を算出し、その修正画素補正量を用いて前記各欠陥画素を補正する画像処理部を備えることを特徴とする画像処理装置。
前記画像情報は、少なくとも３種類の色光に関する情報から構成されるものであり、
前記画像処理部は、前記複数の色光各々について前記仮の補正量を算出し、前記複数の色光各々の仮の補正量から前記複数の色光各々の前記修正画素補正量を算出することを特徴とする請求項６に記載の画像処理装置。
画像情報を正常領域と欠陥領域とに区分し、その欠陥領域に所属する欠陥画素を補正する画像処理装置において、
前記欠陥領域の境界から第１の所定距離以内に存在する正常画素群を周辺領域と定義し、
前記欠陥領域内に存在する各欠陥画素を中心として第２の所定距離内に存在する欠陥領域及び周辺領域各々について特性値を算出し、前記特性値に基づいて、前記欠陥画素の補正に用いる補正値を算出し、その補正値を用いて前記各欠陥画素を補正することにより、前記欠陥領域を補正する画像処理部を備えることを特徴とする画像処理装置。
画像情報を正常領域と欠陥領域とに区分し、その欠陥領域に所属する欠陥画素を補正する画像処理装置において、
前記欠陥領域の境界から第１の所定距離以内に存在する正常画素群を周辺領域と定義し、
前記欠陥領域の補正において、前記各欠陥画素を中心とし第２の所定距離内に存在する欠陥領域に所定のハイパスフィルタを作用させた第１情報と、前記各欠陥画素を中心とし第３の所定距離内に存在する前記周辺領域に所定のローパスフィルタを作用させた第２情報とを算出し、前記第１情報及び前記第２情報を加算した第３情報で前記各欠陥画素を置き換えて、前記欠陥領域を補正する画像処理部を備えることを特徴とする画像処理装置。
画像情報を正常画素と欠陥画素とに区分し、その欠陥画素を周辺の正常画素に基づいて補正する画像処理装置において、
前記欠陥画素を、その特徴量に基づいて複数のグループに分割し、前記画像情報内の各欠陥画素を補正する仮の補正量を算出し、前記各欠陥画素の前記仮の補正量と、その各欠陥画素と同一のグループに所属してかつその各欠陥画素の近傍に存在する近傍欠陥画素の前記仮の補正量とに基づいて、前記各欠陥画素の修正画素補正量を算出し、その修正画素補正量を用いて前記各欠陥画素を補正する画像処理部を備えることを特徴とする画像処理装置。
コンピュータに、画像情報を正常画素と欠陥画素とに区分し、その欠陥画素を少なくとも周辺の正常画素に基づいて補正する機能を実現させるための画像処理プログラムにおいて、
前記コンピュータに、
前記画像情報内の各欠陥画素の周辺に存在する複数の正常画素に基づいて、前記各欠陥画素の補間信号値を算出し、前記各欠陥画素の信号値とその前記補間信号値とに基づいて、前記各欠陥画素を補正する仮の補正量を算出し、前記各欠陥画素の前記仮の補正量と、その各欠陥画素の近傍に存在する近傍欠陥画素の前記仮の補正量とに基づいて、前記各欠陥画素の修正画素補正量を算出し、その修正画素補正量を用いて前記各欠陥画素を補正する画像処理機能を実現させるための画像処理プログラム。
前記画像情報は、少なくとも３種類の色光に関する情報から構成されるものであり、
前記画像処理機能は、前記複数の色光各々について前記仮の補正量を算出し、前記複数の色光各々の仮の補正量から前記複数の色光各々の前記修正画素補正量を算出することを特徴とする請求項１１に記載の画像処理プログラム。
コンピュータに、画像情報を正常領域と欠陥領域とに区分し、その欠陥領域に所属する欠陥画素を補正する機能を実現させるための画像処理プログラムにおいて、
前記欠陥領域の境界から第１の所定距離以内に存在する正常画素群を周辺領域と定義し、
前記コンピュータに、
前記欠陥領域の補正において、前記欠陥領域内に存在する各欠陥画素を中心として第２の所定距離内に存在する欠陥領域及び周辺領域各々について特性値を算出し、前記特性値に基づいて、前記欠陥画素の補正に用いる補正値を算出し、その補正値を用いて前記欠陥画素を補正することにより、前記各欠陥領域を補正する画像処理機能を実現させるための画像処理プログラム。
コンピュータに、画像情報を正常領域と欠陥領域とに区分し、その欠陥領域に所属する画素を補正する機能を実現させるための画像処理プログラムにおいて、
前記欠陥領域の境界から第１の所定距離以内に存在する正常画素群を周辺領域と定義し、
前記コンピュータに、
前記欠陥領域の補正において、前記各欠陥画素を中心とし第２の所定距離内に存在する欠陥領域に所定のハイパスフィルタを作用させた第１情報と、前記各欠陥画素を中心とし第３の所定距離内に存在する前記周辺領域に所定のローパスフィルタを作用させた第２情報とを算出し、前記第１情報及び前記第２情報を加算した第３情報で前記各欠陥画素を置き換えて、前記欠陥領域を補正する画像処理機能を実現させるための画像処理プログラム。
コンピュータに、画像情報を正常画素と欠陥画素とに区分し、その欠陥画素を周辺の正常画素に基づいて補正する機能を実現させるための画像処理プログラムにおいて、
前記欠陥画素を、その特徴量に基づいて複数のグループに分割し、前記画像情報内の各欠陥画素を補正する仮の補正量を算出し、前記各欠陥画素の前記仮の補正量と、その各欠陥画素と同一のグループに所属してかつその各欠陥画素の近傍に存在する近傍欠陥画素の前記仮の補正量とに基づいて、前記各欠陥画素の修正画素補正量を算出し、その修正画素補正量を用いて前記各欠陥画素を補正する画像処理機能を実現させるための画像処理プログラム。