Nothing Special   »   [go: up one dir, main page]

JP7105737B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7105737B2
JP7105737B2 JP2019109023A JP2019109023A JP7105737B2 JP 7105737 B2 JP7105737 B2 JP 7105737B2 JP 2019109023 A JP2019109023 A JP 2019109023A JP 2019109023 A JP2019109023 A JP 2019109023A JP 7105737 B2 JP7105737 B2 JP 7105737B2
Authority
JP
Japan
Prior art keywords
image
frequency component
correction
luminance
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019109023A
Other languages
English (en)
Other versions
JP2020074501A (ja
Inventor
英嗣 香川
真耶 矢澤
孝大 村澤
修平 小川
徹哉 諏訪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2020074501A publication Critical patent/JP2020074501A/ja
Priority to JP2022109985A priority Critical patent/JP7417674B2/ja
Application granted granted Critical
Publication of JP7105737B2 publication Critical patent/JP7105737B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167Processing or editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H04N1/6063Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced
    • H04N1/6069Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced spatially varying within the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/401Compensating positionally unequal response of the pick-up or reproducing head
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6005Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6008Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理装置、画像処理装置、及びプログラムに関する。
近年、高輝度、且つ、広色域の再現範囲を持つHDR(High Dynamic Range)コンテンツが普及している。HDRコンテンツは、ピーク輝度が1000nit(1000cd/m)以上、色域がBT.2020(Rec.2020)の範囲で表現する。HDR画像データを用いて記録装置で記録する際には、記録装置が再現できる輝度のダイナミックレンジ(以下、「Dレンジ」と称す)に、トーンカーブ等を用いてDレンジ圧縮を行う必要がある。例えば、図1に示すように、輝度が高い領域のコントラストを小さくすることでDレンジ圧縮を行う。例えば、特許文献1では、このDレンジ圧縮を行った際のコントラスト低下を補正する画像処理が開示されている。
特開2011-86976号公報
記録装置の輝度レンジにDレンジ圧縮した画像データは、印刷を行う記録装置の色域にガマットマッピングする必要がある。図2(a)は、輝度レンジが1000nitのBT.2020の色域を示す。図2(b)は、記録装置の色域を示す。図2において、横軸はxy色度のyを示し、縦軸は輝度を表す。BT.2020と記録装置の色域を比較すると、使用している色材が異なるために色域形状が相似形にならない。よって、HDRコンテンツを記録装置で記録する場合には一律にDレンジの圧縮を行うのではなく、色度に応じて輝度の圧縮度合いを変更する必要がある。
このとき、入力画像データの色域と記録装置の色域の色域形状が大きく異なると、特許文献1の方法でコントラスト補正を行っても、ガマットマッピングによる圧縮により、記録装置で記録した際にコントラスト強度が低下してしまう。
上記課題を解決するために本願発明は以下の構成を有する。すなわち、画像処理装置であって、力画像の輝度から高周波成分抽出する抽出手段と、前記入力画像が示す色を、出力装置の色再現範囲に含まれる色に変換するための変換処理を行変換手段と、前記抽出手段により抽出された前記高周波成分、前記変換処理の変換特性に基づいて補正する補正手段と、を有する
本発明によれば、入出力間の色再現範囲の違いに起因するコントラストの低下を考慮したコントラスト補正を提供することができる。
Dレンジ変換を説明するための図。 BT.2020と記録装置との色域の違いを説明するための図。 本発明に係るシステムのハードウェア構成の例を示す図。 本発明に係るコントラスト補正に関するソフトウェア構成の例を示す図。 本発明に係るガマットマッピングを説明するための図。 ガウス型フィルタを説明するための図。 本発明に係る視覚伝達関数を説明するための図。 本発明に係る出力画像特性取得部における処理を示すフローチャート。 本発明に係るコントラスト補正部における処理を示すフローチャート。 第1の実施形態に係るコントラスト補正方法を示すフローチャート。 第2の実施形態に係るコントラスト補正方法を示すフローチャート。 第3の実施形態に係るコントラスト補正方法を示すフローチャート。 第4の実施形態に係るコントラスト補正方法を示すフローチャート。 第5の実施形態に係る補正強度生成方法を説明するための図。 第6の実施形態に係るUI構成画面の一例の模式図。 第6の実施形態係るコントラスト補正に関するソフトウェア構成の例を示す図。 第6の実施形態に係る輝度-高感度周波数変換テーブルの一例を示す図。 第6の実施形態に係る輝度毎の高感度周波数の表を示す図。 第8の実施形態に係る処理の流れを示すフローチャート。 第8の実施形態に係る処理の補正要否の判定の説明図。 第9の実施形態に係る処理の流れを示すフローチャート。 第10の実施形態に係る補正強度生成方法を説明するための図。 第10の実施形態に係る処理の流れを示すフローチャート。
<第1の実施形態>
[システム構成]
図3は、本実施形態を適用可能なシステムの構成例を示す図である。本実施形態において、システムは、画像処理装置300と記録装置310を含んで構成される。画像処理装置300は、情報処理装置として機能するホストPCなどから構成される。画像処理装置300は、CPU301、RAM302、HDD303、ディスプレイI/F304、操作部I/F305、およびデータ転送I/F306を含んで構成され、各部位は内部バスを介して通信可能に接続されている。
CPU301は、HDD303に保持されるプログラムに従ってRAM302をワークエリアとして用いて各種処理を実行する。RAM302は、揮発性の記憶領域であり、ワームメモリ等として利用される。HDD303は、不揮発性の記憶領域であり、本実施形態に係るプログラムやOS(Operating System)などが保持される。ディスプレイI/F304は、ディスプレイ307と画像処理装置300本体との間でデータの送受信を行うためのインターフェースである。操作部I/F305は、キーボードやマウスなどの操作部308を用いて入力された指示を画像処理装置300本体に入力するためのインターフェースである。データ転送I/F306は、外部装置とのデータの送受信を行うためのインターフェースである。
例えば、CPU301は、操作部308を用いたユーザによる指示(コマンド等)やHDD303に保持されるプログラムに従って記録装置310が記録可能な画像データを生成し、これを記録装置310に転送する。また、CPU301は、データ転送I/F306を介して記録装置310から受信した画像データに対し、HDD303に記憶されているプログラムに従って所定の処理を行い、その結果や様々な情報をディスプレイ307に表示する。
記録装置310は、画像処理アクセラレータ311、データ転送I/F312、CPU313、RAM314、ROM315、および印刷部316を含んで構成され、各部位は内部バスを介して通信可能に接続されている。なお、記録装置310の記録方式は特に限定するものでは無く、例えば、インクジェット方式の記録装置であってもよいし、電子写真方式の記録装置であってもよい。以下では、インクジェット方式の記録装置を例に挙げて説明する。
CPU313は、ROM315に保持されるプログラムに従ってRAM314をワークエリアとして用いて各種処理を実行する。RAM314は、揮発性の記憶領域であり、ワークメモリ等として利用される。ROM315は、不揮発性の記憶領域であり、本実施形態に係るプログラムやOS(Operating System)などが保持される。データ転送I/F312は、外部装置とのデータの送受信を行うためのインターフェースである。画像処理アクセラレータ311は、CPU313よりも高速に画像処理を実行可能なハードウェアである。画像処理アクセラレータ311は、CPU313が画像処理に必要なパラメータとデータをRAM314の所定のアドレスに書き込むことにより起動され、上記パラメータとデータを読み込んだ後、上記データに対し所定の画像処理を実行する。但し、画像処理アクセラレータ311は必須な要素ではなく、同等の処理はCPU313でも実行することができる。印刷部316は、画像処理装置300からの指示に基づき、印刷動作を行う。
画像処理装置300のデータ転送I/F306および記録装置310のデータ転送I/F312における接続方式は、特に限定するものではないが、例えば、USB(Universal Serial Bus)、IEEE1394等を用いることができる。また、有線/無線も問わない。
[コントラスト補正]
以下、本実施形態に係るコントラスト補正について具体的に説明する。本実施形態に係るコントラスト補正は、HDR画像データを記録装置310で印刷する際に所定の画像処理を行うための処理である。上述したように、本実施形態において、入力画像(例えば、HDR画像データ)と印刷を行う記録装置310とは、色再現範囲が異なり、再現可能な色の範囲は、入力画像の方が広いものとする。
図4は、HDR画像データを記録装置310で印刷する際の、コントラスト補正に関する画像処理を行うソフトウェア構成の例を示す図である。本実施形態において、図4に示す各部位は、HDD303に格納されたプログラムをCPU301が読みだして実行することにより実現される。画像処理装置300は、画像入力部401、Dレンジ変換部402、ガマットマッピング部403、画像出力部404、入力画像特性取得部405、出力画像特性取得部406、およびコントラスト補正部407を含んで構成される。なお、ここで示す構成は、コントラスト補正に関する処理に関する部位を示しており、画像処理装置300は、他の画像処理を行う部位を更に備えていてよい。
画像入力部401は、HDR画像データを取得する。取得方法は、HDD303に保持された画像データを取得するような構成であってもよいし、外部装置からデータ転送I/F306を介して画像データを取得するような構成であってもよい。本実施形態では、HDR画像データはDレンジのピーク輝度が1000nit、色空間はBT.2020のRGBデータを例に挙げて説明する。
Dレンジ変換部402は、Dレンジ変換部402に入力された画像データの輝度に対して、1次元ルックアップテーブル(以下、1DLUT)などの手段を用いて所定の輝度レンジにDレンジ圧縮を行う。本実施形態では、図1に示すグラフを用いてDレンジ圧縮を行うものとする。図1において、横軸はDレンジ圧縮を行う入力の輝度を表し、縦軸は圧縮後の輝度を表す。1000nitの輝度レンジを有するHDR画像データは、図1に示されるような圧縮特性で、記録装置310で扱うことのできる100nitの輝度レンジに圧縮される。
ガマットマッピング部403は、ガマットマッピング部403に入力された画像データに対して3次元LUT(以下、3DLUT)などの手法を用いて記録装置310が有する色域にガマットマッピングを行う。図5は、本実施形態に係るガマットマッピングを説明するための図である。図5において、横軸はYCbCr色空間のCrを示し、縦軸は輝度Yを示す。ガマットマッピング部403に入力された画像データの入力色域501は、記録装置310の色域である出力色域502にガマットマッピングされる。入力色を(Y,Cb,Cr)とすると、(Y’,Cb’,Cr’)に変換される。入力色がYCbCrとは異なる色空間の場合には、その色空間からYCbCr色空間に変換してから、更にガマットマッピングが行われる。図5の例の場合、入力色域501と出力色域502とは、相似形ではない例を示している。
入力色域501のプライマリーカラー503、506はそれぞれ、出力色域502のプライマリーカラー504、505にマッピングされる。プライマリーカラー503、506の輝度値は同じ輝度値であるが、ガマットマッピング後のプライマリーカラー504、505は異なる輝度値になる。このように、ガマットマッピングの入出力の色域が相似形でない場合には、同じ入力輝度値であっても色相によっては、異なる出力輝度値にマッピングされる。
また、図5にて斜線で表した色域外領域507は記録装置310では表現できない色域となる。色域外領域507は、入力色域501に含まれ、かつ、出力色域502に含まれない領域である。一方、色域内領域508は、入力色域501および出力色域502の両方に含まれる領域である。色域外領域507は、色域内領域508よりも、出力色域502内に大きく圧縮してマッピングされる。例えば、入力色において、2つの色のコントラスト509はコントラスト511にマッピングされ、コントラスト510はマッピング後も入力と同じコントラストにマッピングされる。つまり、コントラスト510は、マッピングの前後の変化が、コントラスト511に比べて小さい。言い換えると、色域内領域508内での変換と、色域外領域507から色域内領域508への変換では、変換特性が異なる。このように出力色域外の色は出力色域内の色よりも大きく圧縮をかけてマッピングされるため、コントラストも出力色域外の色の方が低下する。
入力画像特性取得部405は、画像入力部401に入力された画像データの高周波の値を生成(抽出)する。まず、入力画像特性取得部405は、入力された画像データの輝度を算出する。入力された画像データがRGBデータ(R:Red,G:Green,B:Blue)の場合、式(1)~式(3)に表す方法でYCbCrに変換することができる。なお、以下に示すRGB-YCbCrの変換式は一例であり、他の変換式を用いてもよい。以下の式にて示す「・」は乗算を示す。
Y=0.299・R+0.587・G+0.114・B ・・・式(1)
Cb=-0.1687・R-0.3313・G+0.5・B ・・・式(2)
Cr=0.5・R-0.4187・G-0.0813・B ・・・式(3)
さらに、入力画像特性取得部405は、算出した輝度(Y値)から高周波の値を生成する。高周波の値を生成するには、まず、低周波の値が算出される。低周波の値は、輝度に対してフィルタリング処理を行うことで生成される。図6を用いて、フィルタリング処理について平滑化処理を行うガウス型フィルタを例に挙げて説明する。図6において、フィルタサイズは5×5の大きさを表し、25個のピクセルそれぞれに対して係数601が設定されている。画像の横方向をxとし、縦方向をyとする。また、座標(x,y)の画素値をp(x,y)、フィルタ係数をf(x,y)とする。そして、注目画素p’(x,y)ごとに式(4)で表す方法でフィルタリング処理を行う。注目画素602を中心として、画像データをフィルタが走査するごとに以下に示す式(4)の計算が行われる。すべての画素に対する走査が完了すると、低周波の値が得られる。
p’(x,y)={1/Σf(x,y)}・Σ{f(x,y)×p(x,y)}・・・式(4)
本実施形態では、フィルタ特性としてガウス型を例に挙げて説明したが、これに限定するものではない。例えば、バイラテラルフィルタの様なエッジ保存型のフィルタが用いられてもよい。エッジ保存型のフィルタを使用すれば、コントラスト補正をした際に、エッジ部分に発生するアーティファクトのハローを低減することができる。
図7は、空間周波数に対する視覚伝達関数VTFを示す図である。図7に示す視覚伝達関数VTFは、横軸に示す空間周波数が変化することによって縦軸に示す視覚感度が変化することを示している。視覚感度が高いほど、伝達特性が高いことを意味する。この視覚伝達関数VTFでは、空間周波数が0.5cycle/mm以上で、約0.8以上の高い伝達特性となることが分かる。なお、図7の例では、空間周波数が2cycles/mm以上になると、視覚感度は0.8を下回る。コントラストを補正する対象となる周波数は視覚的な感度が高い周波数が望ましい。つまり、高周波は、ピーク感度が含まれる周波数である0.5cycle/mm以上を示し、低周波は0.5cycle/mm以下を示す。本実施形態では、この前提に基づいて、輝度から高周波成分と低周波成分をそれぞれ求めるものとする。
画素ごとに、輝度をI、高周波の値をH、低周波の値をLとすると、高周波の値Hは式(5)に従って算出される。
H=I/L ・・・式(5)
本実施形態では、輝度Iの高周波の値Hと低周波の値Lはそれぞれ、反射光の値Reと照明光の値Liと同じものとして説明する。ここでの照明光は輝度成分に含まれる照明光成分を意味し、反射光は輝度成分に含まれる反射光成分を意味する。すなわち、高周波成分の強度を表す値として高周波の値Hを用い、また、低周波成分の強度を表す値として低周波の値Lを用いて説明する。
照明光の値も低周波の値と同様にフィルタリング処理を行うことで生成することができる。また、エッジ保存型のフィルタを使用すれば、エッジ部分の照明光の値をより精度よく生成することができる。反射光の値Reと照明光の値Liは、式(6)で表すことができる。
Re=I/Li ・・・式(6)
また、高周波の値Hは、式(5)で表されるように入力画像を低周波の値で除算することによって生成したが、これに限定するものではない。例えば、式(7)で表されるように、入力画像から低周波の値を減算することで生成してもよい。これは、反射光と照射光の値を用いた場合も同様である。
H=I-L ・・・式(7)
出力画像特性取得部406は、記録装置310が出力する表色系の高周波の値を生成する。つまり、出力画像特性取得部406は、記録装置310で再現可能な表色系の範囲内での高周波の値を取得する。その生成方法については、図8のフローチャートを用いて後述する。
コントラスト補正部407は、入力画像特性取得部405および出力画像特性取得部406で生成した高周波の値を元にコントラスト補正強度を決定し、コントラスト補正部407に入力された画像データの高周波の値に対してコントラスト補正処理を行う。本実施形態では、高周波の値の強度を補正することによって、画像のコントラストを補正するものとして説明する。その補正方法については、図9のフローチャートを用いて後述する。
画像出力部404は、記録装置310で出力するための画像処理を行う。ガマットマッピング部403でガマットマッピングされた画像データは記録装置310で印刷するインク色に色分解を行う。更には、画像出力部404は、ディザもしくは誤差拡散処理を用いて、インクを吐出する/しないを表す2値データに変換する量子化処理など、記録装置310での出力に必要な所望の画像処理を行う。
(高周波生成処理)
図8を用いて、出力画像特性取得部406による、記録装置310が出力する表色系の高周波の生成処理の詳細について説明する。
S101にて、出力画像特性取得部406は、画像入力部401に入力された画像データを、Dレンジ変換部402によりDレンジ変換を行う。
S102にて、出力画像特性取得部406は、S101でDレンジ圧縮された画像データに対して、ガマットマッピング部403によりガマットマッピングを行う。
S103にて、出力画像特性取得部406は、S102でガマットマッピングを行った画像データから高周波の値H’を生成する。高周波の値を生成するには、入力画像特性取得部405と同様に、出力画像特性取得部406は、輝度を算出し、更に算出した輝度の低周波の値を算出する。出力画像特性取得部406は、低周波の値と入力された輝度から式(5)に従い、高周波の値を算出する。そして、本処理フローを終了する。
ここでのDレンジ圧縮処理およびガマットマッピング処理は、後述する図10の処理にて行われるDレンジ変換およびガマットマッピング処理と内容は同一であるが、実行する目的が異なる。なお、以下の説明において、Dレンジ圧縮処理およびガマットマッピング処理をまとめて変換処理と称する場合もある。
(コントラスト補正処理)
図9を用いて、コントラスト補正部407によるコントラスト処理の詳細について説明する。
S201にて、コントラスト補正部407は、入力された画像データをYCbCr色空間に変換する。入力色空間がRGBの場合には式(1)~式(3)に従ってRGB色空間からYCbCr色空間へ変換する。
S202にて、コントラスト補正部407は、S201で生成したYCbCr色空間のデータから輝度値Iを取得し、この輝度値に基づいて高周波の値Hと低周波の値Lを算出する。ここで、高周波の値H、低周波の値Lの算出方法は、先述した入力画像特性取得部405および出力画像特性取得部406と同様である。すなわち、コントラスト補正部407は、輝度の低周波の値Lを算出し、算出した低周波の値Lと入力された輝度値Iから式(5)に従い、高周波の値Hを算出する。
S203にて、コントラスト補正部407は、入力画像特性取得部405および出力画像特性取得部406で生成した高周波の値を元にコントラスト補正強度を生成する。ここでは、コントラスト強度の目標値を入力画像の高周波の値とする。コントラスト補正を行う際の補正係数として算出する補正強度をHm、入力画像特性取得部405で生成した高周波の値をHt、出力画像特性取得部406で生成した高周波の値をH’とすると、補正強度の算出方法は式(8)で表すことができる。式(8)は、高周波の値の強度が入力画像から出力画像に変わるときの逆バイアスを表す。
Hm=Ht/H’ ・・・式(8)
ここで求められる値は変換前後の逆バイアスであるため、図5の例の場合、色域外領域507における補正強度は、色域内領域508における補正強度よりも強くなるように設定される。これは、コントラスト510と、コントラスト509、511を用いて説明したように、変換における変化の度合い(圧縮度合い)が異なるためである。
なお、高周波の値Htおよび高周波の値H’を、式(7)を用いて生成した場合、補正強度Hmは式(9)で表すことができる。式(9)は、高周波の値の強度が入力画像から出力画像に変わるときの差分を表す。
Hm=Ht-H’ ・・・式(9)
S204にて、コントラスト補正部407は、S202で生成した高周波の値Hに対して補正強度Hmを乗算することによってコントラスト補正を行う。つまり、入力画像データの高周波の値に対し、コントラスト補正を行う。コントラスト補正後の高周波の値をHcとすると、コントラスト補正は式(10)で表すことができる。
Hc=Hm×H ・・・式(10)
なお、高周波の値Hを、式(7)を用いて生成した場合、S202で生成した高周波の値Hに対して補正強度Hmを加算することによってコントラスト補正を行う。コントラスト補正後の高周波の値Hcは、式(11)で表すことができる。
Hc=Hm+H ・・・式(11)
式(8)および式(9)で表されるように、入力画像から出力画像にコントラストが低下、すなわち、高周波の値の強度が低下した際の逆バイアス分を補正強度Hmとしている。逆バイアス分を式(10)によって乗算、または、式(11)によって加算することで補正することにより、出力画像において、入力画像の高周波の値の強度を維持もしくはそれに近い値とすることができる。
S205にて、コントラスト補正部407は、S204でコントラスト補正を行った高周波の値Hc、S202で算出した低周波の値L、および、S201で生成したCb、Crの値を用いて、元のRGBデータに合成する。まず、コントラスト補正部407は、式(12)にて、コントラスト補正後の高周波の値Hcと低周波の値Lを積算することで、周波数の値を合成したコントラスト補正後の輝度I’を得る。
I’=Hc×L ・・・式(12)
なお、高周波の値Hcと低周波の値Lを、式(7)を用いて生成した場合、輝度I’は、式(13)で表すことができる。
I’=Hc+L ・・・式(13)
そして、コントラスト補正部407は、輝度I’と色差値(Cb,Cr)をプレーン合成して、カラー画像値(I’,Cb,Cr)を生成する。これにより、本実施形態に係るコントラスト補正が行われた画像が得られる。そして、本処理フローを終了する。
[処理フロー]
本実施形態に係る処理全体のフローチャートを、図10を用いて説明する。本処理フローは、例えば、CPU301がHDD303に格納されたプログラムを読み出して実行することにより、図4に示す各処理部として機能することで実現される。
S301にて、画像入力部401は、HDR画像データを取得する。取得方法は、HDD303に保持された画像データを取得するような構成であってもよいし、外部装置からデータ転送I/F306を介して画像データを取得するような構成であってもよい。また、取得対象のHDR画像データは、ユーザの選択や指示に基づいて、決定してよい。
S302にて、コントラスト補正部407は、入力画像特性取得部405および出力画像特性取得部406で生成した高周波の値を用いて、図9を用いて先述した方法によりコントラスト補正強度Hmを生成する。
S303にて、コントラスト補正部407は、S301で入力された画像データの高周波の値に対し、S302で生成したコントラスト補正強度Hmを用いて、図9を用いて先述した方法によりコントラスト補正を行う。つまり、本処理フローのS303とS304の工程は、図9の処理に対応する。
S304にて、Dレンジ変換部402は、S303でコントラスト補正を行った画像データに対して、図1等を用いて先述した方法によりDレンジ変換(ダイナミックレンジ圧縮処理)を行う。本実施形態の場合、Dレンジ変換部402は、入力画像のDレンジ1000nitから、ガマットマッピングを行うDレンジである100nitに変換する。
S305にて、ガマットマッピング部403は、S304でDレンジ変換された画像データに対して、図5等を用いて先述した方法によりガマットマッピング処理を行う。
S306にて、画像出力部404は、S305でガマットマッピングされた画像データに対して、記録装置310で出力するための出力処理を、先述した方法により実行する。そして、本処理フローを終了する。
本実施形態では、入力画像の高周波の値とガマットマッピング後である出力画像の高周波の値とを用いて、高周波の値が低下する分の逆バイアス分を補正強度としてコントラスト補正を行う。これにより、補正強度を設定した後に行われる、S304におけるDレンジ変換とS305におけるガマットマッピングによって高周波の値が低下するような場合でも、その低下分がコントラスト補正によって予め補正される。その結果、ガマットマッピング後であっても、入力画像のコントラストを維持もしくはそれに近づけることができる。
また、コントラスト補正強度を生成する際にガマットマッピング後の出力画像の高周波の値を用いることによって、ガマットマッピングの圧縮によるコントラストの低下分を含んだ状態で補正強度を決定することができる。よって、ガマットマッピングによる圧縮が高いほど、コントラスト補正強度を高く補正することができる。また、コントラスト補正を行った高周波の値は入力画像の高周波の値に近くなり、コントラスト補正を行わない低周波の値はガマットマッピング後の低周波の値に近い関係となる。
以上のことから、本実施形態により、入出力間の色再現範囲の違いに起因するコントラストの低下を抑制することが可能となる。
なお、本実施形態では、輝度としてYCbCr色空間を用いる例として説明したが、輝度と色度を表すxyY色空間でもよい。
<第2の実施形態>
本発明の第2の実施形態について、図11のフローチャートを用いて説明する。第1の実施形態と重複する部分については説明を省略し、差異のみを説明する。本実施形態では、第1の実施形態にて説明した図10とは異なり、コントラスト補正をDレンジ変換の後に行う。つまり、処理工程の順序が第1の実施形態とは異なる。
S401にて、画像入力部401は、HDR画像データを取得する。取得方法は、HDD303に保持された画像データを取得するような構成であってもよいし、外部装置からデータ転送I/F306を介して画像データを取得するような構成であってもよい。また、取得対象のHDR画像データは、ユーザの選択や指示に基づいて、決定してよい。
S402にて、Dレンジ変換部402は、S401で入力された画像データに対し、図1等を用いて先述した方法によりDレンジ変換を行う。本実施形態の場合、Dレンジ変換部402は、入力画像のDレンジ1000nitからガマットマッピングを行うDレンジである100nitに変換する。
S403にて、コントラスト補正部407は、入力画像特性取得部405および出力画像特性取得部406で生成した高周波の値を用いて、図9を用いて先述した方法によりコントラスト補正強度Hmを生成する。
S404にて、コントラスト補正部407は、S402でDレンジ変換した画像データの高周波の値に対し、S403で生成したコントラスト補正強度Hmを用いて、図9を用いて先述した方法によりコントラスト補正を行う。つまり、本処理フローのS403とS404の工程は、第1の実施形態にて述べた図9の処理に対応する。
S405にて、ガマットマッピング部403は、S404でコントラスト補正された画像データに対し、図5等を用いて先述した方法によりガマットマッピングを行う。
S406にて、画像出力部404は、S405でガマットマッピングされた画像データに対し、記録装置310で出力するための出力処理を、先述した方法により実行する。そして、本処理フローを終了する。
本実施形態では、入力画像の高周波の値とガマットマッピング後である出力画像の高周波の値とを用いて、高周波の値が低下する分の逆バイアス分を補正強度としてコントラスト補正を行う。よって、S402におけるDレンジ変換とS405におけるガマットマッピングによって高周波の値が低下するような場合でも、その低下分がコントラスト補正によって補正される。その結果、ガマットマッピング後であっても入力画像のコントラストを維持もしくはそれに近づけることができる。
また、コントラスト補正強度を生成する際にガマットマッピング後の出力画像の高周波の値を用いることによって、ガマットマッピングの圧縮によるコントラストの低下分を含んだ状態で補正強度を決定することができる。よって、ガマットマッピングによる圧縮が高いほど、コントラスト補正強度を高く補正することができる。また、コントラスト補正を行った高周波の値は入力画像の高周波の値に近くなり、コントラスト補正を行わない低周波の値はガマットマッピング後の低周波の値に近い関係となる。
また、コントラスト補正をDレンジ変換後に行うため、Dレンジ変換前に補正を行うよりもDレンジが小さい分、処理に使用するメモリを小さくすることができる。
<第3の実施形態>
本発明の第3の実施形態について、図12のフローチャートを用いて説明する。第1の実施形態と重複する部分については説明を省略し、差異のみを説明する。本実施形態では、第1の実施形態にて説明した図10とは異なり、コントラスト補正はDレンジ変換、ガマットマッピングの後に行う。つまり、処理工程の順序が第1の実施形態と異なる。
S501にて、画像入力部401は、HDR画像データを取得する。取得方法は、HDD303に保持された画像データを取得するような構成であってもよいし、外部装置からデータ転送I/F306を介して画像データを取得するような構成であってもよい。また、取得対象のHDR画像データは、ユーザの選択や指示に基づいて、決定してよい。
S502にて、Dレンジ変換部402は、S501で入力された画像データに対し、図1等を用いて先述した方法によりDレンジ変換を行う。本実施形態の場合、Dレンジ変換部402は、入力画像のDレンジ1000nitからガマットマッピングを行うDレンジである100nitに変換する。
S503にて、ガマットマッピング部403は、S502でDレンジ変換された画像データに対し、図5等を用いて先述した方法によりガマットマッピングを行う。
S504にて、コントラスト補正部407は、入力画像特性取得部405および出力画像特性取得部406で生成した高周波の値を用いて、図9を用いて先述した方法によりコントラスト補正強度Hmを生成する。
S505にて、コントラスト補正部407は、S503でガマットマッピングした画像データの高周波の値に対して、S504で生成したコントラスト補正強度Hmを用いて、図9を用いて先述した方法によりコントラスト補正を行う。つまり、本処理フローのS504とS505の工程は、第1の実施形態にて述べた図9の処理に対応する。
S506にて、画像出力部404は、S505でコントラスト補正された画像データに対して、記録装置310で出力するための出力処理を先述した方法により実行する。そして、本処理フローを終了する。
本実施形態では、入力画像の高周波の値とガマットマッピング後である出力画像の高周波の値とを用いて、高周波の値が低下する分の逆バイアス分を補正強度としてコントラスト補正を行う。よって、S502におけるDレンジ変換とS503におけるガマットマッピングによって高周波の値が低下するような場合でも、その低下分がコントラスト補正によって補正される。その結果、ガマットマッピング後であっても入力画像のコントラストを維持もしくはそれに近づけることができる。
また、コントラスト補正強度を生成する際にガマットマッピング後の出力画像の高周波の値を用いることによって、ガマットマッピングの圧縮によるコントラストの低下分を含んだ状態で補正強度を決定することができる。よって、ガマットマッピングによる圧縮が高いほど、コントラスト補正強度を高く補正することができる。また、コントラスト補正を行った高周波の値は入力画像の高周波の値に近くなり、コントラスト補正を行わない低周波の値はガマットマッピング後の低周波の値に近い関係となる。
また、コントラスト補正をガマットマッピングの後に行うため、Dレンジ変換前に補正を行うよりもDレンジが小さい分、処理に使用するメモリを小さくすることができる。
<第4の実施形態>
本発明の第4の実施形態について、図13のフローチャートを用いて説明する。第1の実施形態と重複する部分については説明を省略し、差異のみを説明する。本実施形態では、第1の実施形態にて説明した図10とは異なり、Dレンジ変換を2回行う。
S601にて、画像入力部401は、HDR画像データを取得する。取得方法は、HDD303に保持された画像データを取得するような構成であってもよいし、外部装置からデータ転送I/F306を介して画像データを取得するような構成であってもよい。また、取得対象のHDR画像データは、ユーザの選択や指示に基づいて、決定してよい。
S602にて、Dレンジ変換部402は、S601で入力された画像データに対し、図1等を用いて先述した方法によりDレンジ変換を行う。本実施形態の場合、Dレンジ変換部402は、入力画像のDレンジ1000nitから標準的に使用される色空間のDレンジに変換する。例えば、AdobeRGBの場合、入力画像のDレンジは、120nitに変換される。
S603にて、コントラスト補正部407は、入力画像特性取得部405および出力画像特性取得部406で生成した高周波の値を用いて、図9を用いて先述した方法によりコントラスト補正強度Hmを生成する。
S604にて、コントラスト補正部407は、S602で標準色空間のDレンジに変換された画像データの高周波の値に対し、S603で生成したコントラスト補正強度Hmを用いて、図9を用いて先述した方法によりコントラスト補正を行う。つまり、本処理フローのS603とS604の工程は、第1の実施形態にて述べた図9の処理に対応する。
S605にて、Dレンジ変換部402は、S604でコントラスト補正を行った画像データに対し、図1等を用いて先述した方法によりでDレンジ変換を行う。本実施形態の場合、画像のDレンジは、S602で変換された標準色空間の120nitからガマットマッピングを行うDレンジである100nitに変換される。
S606にて、ガマットマッピング部403は、S605でDレンジ変換された画像データに対して、図5等を用いて先述した方法によりガマットマッピングを行う。
S607にて、画像出力部404は、S606でガマットマッピングされた画像データに対し、記録装置310で出力するための出力処理を先述した方法により実行する。そして、本処理フローを終了する。
本実施形態では、入力画像の高周波の値とガマットマッピング後である出力画像の高周波の値とを用いて、高周波の値が低下する分の逆バイアス分を補正強度としてコントラスト補正を行う。よって、S602における標準色空間へのDレンジ変換と、S605におけるDレンジ変換と、S606におけるガマットマッピングによって高周波の値が低下するような場合でも、その低下分がコントラスト補正によって補正される。その結果、ガマットマッピング後でも入力画像のコントラストを維持もしくはそれに近づけることができる。
また、コントラスト補正強度を生成する際にガマットマッピング後の出力画像の高周波の値を用いることによって、ガマットマッピングの圧縮によるコントラストの低下分を含んだ状態で補正強度を決定することができる。よって、ガマットマッピングによる圧縮が高いほど、コントラスト補正強度を高く補正することができる。また、コントラスト補正を行った高周波の値は入力画像の高周波の値に近くなり、コントラスト補正を行わない低周波の値はガマットマッピング後の低周波の値に近い関係となる。
また、標準的色空間のDレンジに一旦Dレンジ変換することにより、記録装置に依存しない環境、例えば、HDRモニタで画像を確認しながらレタッチなどの編集作業を行うことが可能となる。
<第5の実施形態>
上記の実施形態においては、コントラスト補正強度を入力画像の高周波の値と出力画像の高周波の値とから生成する例を用いて説明を行った。本実施形態では、補正強度情報として3DLUT形式で生成する例について説明する。図14は、本実施形態に係る補正強度情報の生成を説明するための図である。
本実施形態において、補正強度情報は、入力画像と出力画像のコントラストの低下分を逆バイアスとして設定する。出力画像は、入力画像をDレンジ圧縮し、更にガマットマッピングした状態を想定する。図14において、入力の基準色(224,0,0)とコントラスト対象色(232,8,8)はそれぞれ、Dレンジ圧縮とガマットマッピングにより、(220,8,8)と(216,12,12)に変化する。基準色とコントラスト対象色とのコントラストを表す入力と出力の差分値ΔRGBはそれぞれ13.9と6.9となり、コントラスト比の逆バイアスは式(14)で算出される。また、コントラスト差の逆バイアスは式(15)で算出できる。
13.9/6.9=2.0 ・・・式(14)
13.9-6.9=7.0 ・・・式(15)
上記方法により、入力色に対する補正強度を生成する。これを3DLUTのグリッド値ごとに算出することによって、入力(R,G,B)に対して、出力の補正強度Hmを表す3DLUTを生成する。このように、ガマットマッピングによって大きく圧縮される色域外の色の方が、圧縮が小さい色域内の色よりも補正強度Hmが大きくなる特性の補正強度情報を生成することができる。
補正強度情報を使用してコントラスト補正を行う方法について説明する。コントラスト補正部407は、入力される画像データのRGB値を使用して、補正強度情報の3DLUTを参照することにより、入力色に対する補正強度Hmを生成する。更にコントラスト補正部407は、生成した補正強度Hmを使用してコントラスト補正を行う。
本実施形態では、入力画像とガマットマッピング後である出力画像とを用いて、コントラストが低下する分の逆バイアス分を補正強度とした3DLUTの補正強度情報を用いてコントラスト補正を行う。よって、Dレンジ変換と、ガマットマッピングによってコントラストが低下しても、その低下分が補正されているため、ガマットマッピング後であっても入力画像のコントラストを維持もしくはそれに近づけることができる。また、補正強度Hmを3DLUT形式で生成するため、入力画像の高周波の値と出力画像の高周波の値を算出する必要がなく、少メモリの状態でコントラスト補正を行うことができる。
<第6の実施形態>
本発明の第6の実施形態にとして、観察条件を考慮したコントラスト補正の効果を保持する形態について説明する。なお、上記実施形態と重複する構成については、適時説明を省略し、差異に着目して説明する。上述したように、ガマットマッピングによる圧縮により、記録装置で記録した際にコントラスト強度が低下してしまう。また、観察条件によってもコントラスト感度特性が異なるため、コントラスト補正の効果を保持することが困難である。そこで、本実施形態では、このコントラスト特性に関する課題を解決することを目的とする。
[画面構成]
図15は、本実施形態におけるコントラスト補正アプリケーションが提供するUI構成画面1301であり、ディスプレイ307に表示される。ユーザは、表示画面であるUI構成画面1301を介して、後述するコントラスト補正条件を設定することができる。ユーザはUI構成画面1301のパスボックス1302にコントラスト補正を行う画像の保存場所(パス)を指定する。入力画像表示部1303にパスボックス1302で指定された画像が表示される。出力装置設定ボックス1304は、パスボックス1302で指定した画像を出力する装置をプルダウンメニューから選択して設定する。出力用紙サイズ設定ボックス1305は、出力する用紙サイズをプルダウンメニューから選択して設定する。なお、既定のサイズとは別にユーザが任意のサイズを操作部308から入力することで定義し、それを設定できるようにしてもよい。観察距離設定ボックス1306は、出力した印刷物を観察する距離を操作部308から入力することで設定する。出力用紙サイズ設定ボックス1305で設定された出力用紙サイズに基づいて自動的に適切な観察距離を算出し、設定してもよい。逆に、観察距離設定ボックス1306で設定された観察距離に基づいて自動的に適切な出力用紙サイズを算出し、設定してもよい。照明光設定ボックス1307は、出力した印刷物に当てる照明光の輝度値をプルダウンメニューから選択して設定する。操作部308から入力できるようにしてもよい。
[ソフトウェア構成]
図16は、本実施形態に係るソフトウェア構成の例を示す図である。第1の実施形態にて述べた図4の構成との差異として、コントラストの見え特性取得部408を更に含んで構成される。本実施形態に係る画像入力部401では更に、UI構成画面1301の出力装置設定ボックス1304で指定された出力装置(本実施形態ではプリンタ)、出力用紙サイズ設定ボックス1305で指定された出力用紙サイズを取得する。そして、観察距離設定ボックス1306で指定された観察距離、および照明光設定ボックス1307で設定された照明光の輝度値を取得する。さらに、UI構成画面1301のパスボックス1302で指定されたHDR画像データを取得する。
[フィルタリング処理]
第1の実施形態にて、図6を用いてフィルタリング処理を説明した。本実施形態では、以下のようにして図16に示すコントラストの見え特性取得部408によって観察条件を考慮して上述したフィルタリング処理に用いるフィルタを設定することが可能である。
まず、取得した観察条件(出力用紙サイズ、観察距離)から所定の視野角に入る画素数PDppdを算出する。ここでは所定の視野角を1°とすることとする。
まず、式(16)を用いて1インチ当たりの画素数PDppiを算出する。
ここで、Hpは画像の横方向の画素数、Vpは画像の縦方向の画素数、Sは出力用紙サイズの対角インチを示す。
Figure 0007105737000001
・・・式(16)
次に、式(17)を用いることで視野角1°あたりの画素数PDppdを算出することができる。ここで、Dは観察距離[mm]を示す。
PDppd=1/tan-1((25.4/PDppi)/D) ・・・式(17)
式(17)で算出した視野角1°あたりの画素数PDppdを用いてフィルタ条件を設定する。ここでのフィルタ条件とはフィルタのサイズを示す。視野角1°あたりの画素数PDppdを用いると角解像度PDcpdは式(18)によって算出することができる。
PDcpd=PDppd/2 ・・・式(18)
算出された角解像度PDcpdをガウスフィルタのフィルタサイズとして設定し、このフィルタをフィルタMとする。なお、ここではPDcpdをガウスフィルタのフィルタサイズとしてそのまま設定したが、これに限定されるものではない。例えば、予めPDcpdとフィルタサイズの対応関係を示すテーブルを保持しておき、そのテーブルを参照することでフィルタサイズを設定してもよい。また、前述したエッジ保存型フィルタの場合、エッジ部分とエッジ以外の部分を判定してフィルタリング処理を行う。そのため、フィルタサイズに関する設定値以外に、フィルタリング処理の対象とするか否かに関する設定値(例えば輝度差など)が必要となる。よって、フィルタサイズとは別に、フィルタリングの対象とするか否かに関する設定値を観察条件から設定してもよい。
[コントラスト補正処理]
第1の実施形態では、図9を用いてコントラスト補正部407によるコントラスト処理を説明した。このとき、上述した補正強度Hmを観察条件にも基づいて算出するようにしてもよい。コントラストの見え特性取得部408において、以下のようにして画像入力部401で取得した照明光の輝度値を用いて、基準となる照明光の輝度値におけるコントラスト感度値に対する比率Srを算出する。そして算出した比率Srを用いて補正強度Hmを求める。こここで、基準となる照明光の輝度値とは、コントラスト補正の効果の見えを一致させたいリファレンスとなる輝度値のことを示す。基準となる照明光の輝度値は画像入力部1においてUI構成画面1301内の設定値(不図示)としてユーザが設定してもよい。あるいは、既定値として内部に保持しておいてもよい。コントラスト感度比率Srは、観察環境の照明光の輝度値Lsにおけるコントラスト感度値S(ur,Ls)、基準となる照明光の輝度値におけるコントラスト感度値S(ur,Lr)を用いて算出する。なお、urは、基準となる照明光の輝度値における高感度周波数を示す。
urの算出方法として、Bartenモデルを使用する。Bartenモデルによると、コントラスト感度は式(19)によって算出することができる。
ここで、k=3.3、T=0.1、η=0.025、h=357×3600、外部雑音に対応するコントラスト変動Φext(u)=0、神経雑音に対応するコントラスト変動Φ=3×10-8[sec deg]とする。また、X=12[deg]、N=15[cycle](0および90[deg]、2[c/deg]以上の周波数に対して45[deg]でN=7.5[cycles])とする。そして、σ=0.0133[deg]、Csph=0.0001[deg/mm]とする。
Figure 0007105737000002
・・・式(19)
なお、σ、Mopt(u)、(1-F(u))、d、Iはそれぞれ式(20)から式(24)にて算出される。
d=4.6-2.8・tanh(0.4・Log10(0.625・L)) ・・・式(20)
Figure 0007105737000003
・・・式(21)
opt(u)=e-π2σ2u2 ・・・式(22)
=π/4dL ・・・式(23)
Figure 0007105737000004
・・・式(24)
式(19)から式(24)において、Lにターゲット輝度値を、uに空間周波数を設定すれば、ターゲット輝度Lにおける空間周波数uのコントラスト感度を算出することができる。図17はBartenモデルによって輝度毎に算出したコントラスト感度をグラフ化したものである。高輝度になるにつれてコントラスト感度の高い周波数は高周波側に遷移し、逆に、低輝度になるにつれてコントラスト感度の高い周波数は低周波側に遷移することが見てとれる。式(19)から式(24)を用いて、予め複数の輝度値に対して複数の空間周波数におけるコントラスト感度を算出し、そのうち最大値となる空間周波数を、輝度値と対応づけた輝度-高感度周波数変換テーブルとして保持しておいてもよい。図18に輝度-高感度周波数変換テーブルの例を示す。テーブルに記載されていない輝度値が設定された場合については、図17のように輝度毎の高感度周波数を結んだ近似関数を定義し高感度周波数を算出することができる。
S(ur,Ls)とS(ur,Lr)はそれぞれ前述の式(19)から算出できる。算出されたS(ur,Ls)とS(ur,Lr)を用いると、コントラスト感度比率は式(25)により算出できる。
Sr=S(ur,Lr)/S(ur,Ls) ・・・式(25)
コントラスト補正部407では、コントラスト補正強度を生成する。コントラスト感度比率算出部1401で算出されたコントラスト感度比率Sr、補正の目標とする目標高周波の値Hta、ガマットマッピング後の出力高周波の値H’を用いると、コントラスト補正強度Hmは式(26)で表すことができる。
Hm=Sr×(Hta/H’) ・・・式(26)
また、入力画像特性取得部405、および出力画像特性取得部406において式(7)の方法で高周波の値を生成している場合には、コントラスト補正強度Hmは式(27)で表すことができる。
Hm=Sr×(Hta-H’) ・・・式(27)
次にコントラスト比率算出処理については、基準となる照明光の輝度値におけるコントラスト感度S(ur,Lr)を算出し、観察環境の照明光の輝度値におけるコントラスト感度S(ur,Ls)を算出する。そして、基準となる照明光のコントラスト感度S(ur,Lr)と観察環境の照明光のコントラスト感度S(ur,Ls)を用いてコントラスト感度比率Srを算出する。
上記の方法を用いてコンロラスト補正処理を行うことで、観察条件を考慮したコントラスト補正の効果を保持することが可能となる。上述した実施形態ではコントラストの見え特性取得部408が観察条件を考慮してフィルタMを設定し、これを用いて低周波成分Lを求め、観察条件に基づいて算出したコントラスト感度値を用いてコントラスト補正強度を設定した。しかし、いずれか一方を行うのみでもよい。
[変形例]
上記の第6の実施形態では、S101からS103のようにDレンジ圧縮とガマットマッピングを行った画像データから高周波の値H’を生成し、コントラスト補正部407でこのH’と入力画像データHtを用いてコントラスト補正強度Hmを求め、これを用いて高周波の値を補正した。しかし、補正強度Hmを用いた高周波成分Hの補正に換えて以下のようにしてもよい。すなわち、第6の実施形態のS202においてコントラストの見え特性取得部408で観察条件に基づいて生成したフィルタMを用いて低周波の値Lと高周波の値Hとを求め、求めた低周波の値Lに対してDレンジ圧縮を行って低周波の値L’を生成する。そして、高周波の値Hと低周波の値L’とを積算することで輝度I’を求めるようにしてもよい。
また、第6の実施形態において、コントラスト補正を行うときには、入力画像データHtとDレンジ圧縮とガマットマッピングを行った画像データから補正強度Hmを求めるのではなく、Hmの値を上述したコントラスト感度値に対する比率Srとする、すなわちHm=Srとしてコントラスト補正を行ってもよい。この場合、観察条件に基づいて生成したフィルタMを用いて低周波の値Lと高周波の値Hとを求めてもよいが、フィルタMではなく、観察条件に基づかずに用意されたフィルタを用いてもよい。
<第7の実施形態>
本発明の第7の実施形態にとして、ダイナミックレンジ圧縮時のコントラストに伴う白とび、或いは黒潰れを考慮した形態について説明する。なお、上記実施形態と重複する構成については、適時説明を省略し、差異に着目して説明する。
上述したようなDレンジ圧縮を行った際のコントラスト低下を補正する画像処理としてRetinex処理がある。Retinex処理では、まず、画像を照明光成分と反射光成分に分離する。この照明光成分をDレンジ圧縮し、反射光成分を保持することで、元の画像のコントラストを保持したまま、Dレンジ圧縮を行うことができる。
この照明光成分は実質的に低周波成分であり、反射光成分は実質的に高周波成分であるといえる。本実施形態では、以降、低周波成分および照明光成分を第1成分、高周波成分および反射光成分を第2成分と称して説明する。
このとき、入力画像データの色域と記録装置の色域の色域形状が大きく異なると、従来の方法でコントラスト補正を行っても、ガマットマッピングによる圧縮により、記録した際のコントラストが意図していたコントラストと異なることが懸念される。さらには、高輝度側や低輝度側で第2成分の画素値が大きい場合、出力画像が出力のDレンジを超えてしまい、白とびや黒潰れが発生するといった問題がある。図2C、図2Dに、白とび黒潰れの発生原理を示す。図中の縦軸は画素値、横軸は画像の座標値である。図2C、図2DはそれぞれDレンジ圧縮前およびDレンジ圧縮後の、画像の第1成分と、第1成分に対して第2成分を付加した画素値を示す。画像の第1成分をDレンジ圧縮して第1成分を得たのち、第2成分はDレンジ圧縮前の値を維持する。この場合、第2成分を付加した画素値に示すように、高輝度側と低輝度側で出力のDレンジの上限や下限(図中の点線)にクリッピングされてしまい、白とびや黒潰れが発生する。つまり、低周整理波成分の値が高輝度側または低輝度側にDレンジ圧縮されると、白とび黒潰れが発生しやすくなる。
本実施形態では、上記を鑑み、ダイナミックレンジ圧縮時のコントラストに伴う白とび、或いは黒潰れを抑制することを目的とする。
[コントラスト補正処理]
第1の実施形態では、図9を用いてコントラスト補正部407によるコントラスト処理を説明した。本実施形態では、図9のS204~S205にて以下のように処理を行う。S201~S203の処理は、第1の実施形態と同様であるとする。S204にてコントラスト補正部407は第1の実施形態にて述べたS204の処理に加えて、コントラスト補正部407内の第2成分補正部(不図示)が、コントラスト補正部407によって補正された高周波成分、即ち第2成分が入力の輝度範囲である入力のDレンジ、を超えて白とび黒潰れしないように、第2成分を補正する。なお、コントラスト補正部407からの出力も入力と同じDレンジであるので、出力の輝度範囲もオーバーしないように第2成分が補正される。ここでは、Dレンジ変換前の第1成分Lの値に基づいて、以下のようにして第2成分を補正する。白とび黒潰れはLが高輝度側もしくは低輝度側にあるほど、発生しやすい。したがって、Lの値が大きくなればなるほど、または小さくなればなるほど、より強い程度で第2成分を補正する。
Hc>1の場合
Hc>1の場合は、高輝度側において、白とびが発生する可能性がある。このため、第1成分L’の値が大きくなるほど、第2成分が1に近づくように補正する。ここでは、以下の補正係数Pを用いて、第2成分を補正する。
Hcb=(1-P(L’,L’max,L’min))H+P(L’,L’max,L’min)・1 ・・・式(28)
Hc<1の場合
Hc<1の場合は、低輝度側において、黒潰れが発生する可能性がある。このため、Lの値が小さくなるほど、第2成分が1に近づくように補正する。以下の補正係数Qを用いて、第2成分を補正する。
Hcb=Q(L’,L’max,L’min)H+(1-Q(L’,L’max,L’min)・1 ・・・式(29)
Hc=1の場合
Hc=1の場合は、第2成分を付加することによる白とび黒潰れは発生しないため、第2成分の補正は行わない。
上記補正係数P、Qは、以下のように算出される。
Figure 0007105737000005
・・・式(30)
Figure 0007105737000006
・・・式(31)
ここで、α、β、t、tはあらかじめ定められた定数であり、Dレンジ圧縮後の第1成分が中間調を持つ場合には、第2成分をあまり抑制せず、Dレンジ圧縮後の第1成分が高輝度側もしくは低輝度側でのみ第2成分を抑制するように定める。
S205にて、コントラスト補正部407は、S204でコントラスト補正および第2成分の補正を行った高周波の値Hcb、S202で算出した低周波の値L、および、S201で生成したCb、Crの値を用いて、元のRGBデータに合成する。まず、コントラスト補正部407は、式(32)にて、コントラスト補正後の高周波の値Hcと低周波の値Lを積算することで、周波数の値を合成したコントラスト補正後の輝度I’を得る。
I’=Hcb×L ・・・式(32)
なお、高周波の値Hcと低周波の値Lを、第1の実施形態にて述べた式(7)を用いて生成した場合には、コントラスト補正部407によって補正された第2成分が入力のDレンジを超えて白とび黒潰れしないように、第2成分を以下のように補正する。
Hc>0の場合
Hc>0の場合は、高輝度側において、白とびが発生する可能性がある。このため、第1成分Lの値が大きくなるほど、第2成分の絶対値が小さくなるように補正する。ここでは、補正係数Wを用いて、第2成分を補正する。
Hcb=W(L,Lmax,Lmin)Hc ・・・式(33)
Hc<0の場合
Hc<0の場合は、低輝度側において、黒潰れが発生する可能性がある。このため、Lの値が小さくなるほど、第2成分の絶対値が小さくなるように補正する。ここでは、補正係数Sを用いて、第2成分を補正する。
Hcb=S(L,Lmax,Lmin)Hc ・・・式(34)
ここで、補正係数WおよびSはそれぞれ以下の式で計算される。
Figure 0007105737000007
・・・式(35)
Figure 0007105737000008
・・・式(36)
Hc=0の場合
この場合、第2成分Hcの値を付加することによる白とび黒潰れは発生しないため、何もしない。
ここで、α、β、t、tはあらかじめ定められた定数であり、第1成分が中間調を持つ場合には、第2成分をあまり抑制せず、第1成分の値が高輝度側もしくは低輝度側でのみ第2成分を抑制するように定める。
また、LmaxおよびLminはそれぞれ入力のDレンジの最大値と最小値である。なお、補正係数WおよびSは、必ずしも上記のようなSigmoid型の関数である必要はない。補正後の第2成分Hcbの絶対値が、補正前の第2成分Hcの絶対値よりも小さくなるような関数であれば特段の制限はない。
また、式(33)および式(34)は、あらかじめL’の値ごとに算出されたLUTを用いてW(L’)およびS(L’)を取得し、実行してもよい。あらかじめ用意されたLUTを用いることで、演算に要する処理負荷を軽減し、処理速度を向上させることができる。
この場合には、輝度I’は、式(37)で表すことができる。
I’=Hcb+L ・・・式(37)
そして、コントラスト補正部407は、輝度I’と色差値(Cb,Cr)をプレーン合成して、カラー画像値(I’,Cb,Cr)を生成する。これにより、本実施形態に係るコントラスト補正が行われた画像が得られる。
処理の流れについては、第1の実施形態にて図9を用いて述べたものと同様であるため、説明は省略する。
以上のように、本実施形態では、Dレンジ変換およびガマットマッピングによるコントラスト低下を考慮して、あらかじめHDR画像の第2成分を補正する。さらに、第2成分補正後に白とび黒潰れが発生しないように処理を行う。あらかじめHDR画像に対して、ガマットマッピングによるコントラスト低下も考慮したコントラスト補正を行うことで、ガマットマッピング後もコントラストを維持しやすくなる。
<第8の実施形態>
第8の実施形態に係る説明を、図19のフローチャートを用いて説明する。
図19のフローチャートは白とび黒潰れ判定の処理の流れを示している。この判定では、Dレンジ圧縮後の第1成分L’とDレンジ圧縮前の第2成分Hの値に基づいて、白とび黒潰れ補正を行うかどうかを判定する。Dレンジ圧縮後の第1成分L’と第2成分Hの両方の値に基づいて、白とび黒潰れ判定を行うことにより、より正確に白とび黒潰れする画素を特定できる。さらに、白とび黒潰れする画素のみを補正することで、白とび黒潰れしない画素のコントラストの低下を防ぐことができる。その他の点については第7の実施形態と同じである。
S1001にて、コントラスト補正部407は、Dレンジ圧縮前の第2成分Hと、Dレンジ圧縮後の第1成分L’に基づいて、白とび黒潰れを補正するかどうかを判定する。
具体的には、Dレンジ圧縮後の第1の成分L’と第2成分Hを加算した結果に応じて、白とび黒潰れ補正を行うかどうかの判定を行う。図20に判定の概要を示す。図中の白とび黒潰れ補正判定Dレンジは、白とび黒潰れ判定用にあらかじめ定められたDレンジであり、緩衝域ΔおよびΔは、圧縮後のDレンジと白とび黒潰れ補正判定Dレンジの間の輝度間隔を示す。
(1)L’+Hが白とび黒潰れ補正判定Dレンジの範囲内にある場合(画素20)
この場合は、白とび黒潰れが発生しないため、補正は行わない。
(2)L’+Hが白とび黒潰れ補正判定Dレンジの範囲外かつ圧縮後Dレンジの範囲内にある場合(画素21)
この場合、白とび黒潰れは発生しないが、白とび黒潰れ補正を行った結果、階調反転が起こることを防ぐため、白とび黒潰れ補正の対象画素とする。
(3)L’+Hが圧縮後Dレンジの範囲外にある場合(画素23)
この場合、白とび黒潰れが発生する。白とび黒潰れの補正対象画素とする。
コントラスト補正部407内の第2成分補正部(不図示)では、上記の白とび黒潰れ補正の判定結果に応じて、第2成分を以下の式に従って補正する。式中のαはあらかじめ定められた定数、Thmaxは白とび黒潰れ判定用の所定Dレンジの最大値、Thminは最小値であり、第2成分を補正した後に、画像弊害が生じないようにあらかじめ定めておく。
白飛びの場合(L’+H>Thmax
S1003において、第2成分補正部は、白とびを抑制するように、第2成分を補正する。
Hcb=Lmax-Δexp(-αH)-L’ ・・・式(38)
黒潰れの場合(L’+H<Thmin
S1003において、第2成分補正部は、黒潰れを抑制するように、第2成分を補正する。
Hcb=Lmin-Δexp(αH)-L’ ・・・式(39)
上記以外の場合、白とび黒潰れは発生しないとして、S1002において、第2成分補正部は、第2成分の補正は行わない。(式(40))
Hcb=H …式(40)
なお、式(38)、式(39)の緩衝域ΔおよびΔは、式(41)、式(42)で算出する。
Δ=Lmax-Thmax ・・・式(41)
Δ=Thmin-Lmin ・・・式(42)
なお、Hに対して十分大きな定数Hmaxを設定して、以下のように算出してもよい。
白とびの場合(L’+H>Thmax
Figure 0007105737000009
・・・式(43)
黒潰れの場合(L’+H<Thmin
Figure 0007105737000010
・・・式(44)
上記以外の場合は式(40)に同様に、第2成分の補正は行わない。
以上のように、本実施形態では、白とび黒潰れ補正判定を行い、白とび黒潰れ補正が必要な第2成分に対してのみ補正を行うことができる。これにより、第1成分が高輝度側または低輝度側であっても、第2成分の値によっては白とび黒潰れが発生しにくい場合に、コントラストの低下を抑えることができる。
<第9の実施形態>
第9の実施形態に係る説明を、図21のフローチャートを用いて説明する。コントラスト補正部407で行われる白とび黒潰れ補正の詳細を図21に示している。
本実施形態では、第8の実施形態で説明した白とび黒潰れ判定において、S900にて決定される、Dレンジ圧縮後の第1成分L’とDレンジ圧縮前の第2成分H、および最小可知差異(JND)に基づいて、白とび黒潰れ補正を行うかどうかを判定する。(S901)
白とび黒潰れ補正判定の際に、JNDを考慮することで、第2成分補正後のコントラストを知覚しやすくすることが可能となる。例えば、図19において、緩衝域ΔおよびΔの幅が、JND未満であった場合、第2成分補正後の画素21と画素22の輝度差は知覚されにくい。これは、白とび黒潰れを防ぐために第2成分を緩衝域の中に納まるように補正したとしても、緩衝域の幅がJND未満であるため、視覚的にはコントラストが失われるからである。したがって、緩衝域ΔおよびΔの幅は、JNDよりも大きいことが望ましい。
コントラスト補正部407は、JND保持部(不図示)にて、輝度に対する最小可知差異(JND)の値を保持している。
なお、JNDの値は、プログラムの最初に計算し、プログラム終了までメモリ(図3のRAM302もしくはRAM314)に保持してもよいし、外部ファイルにLUTを保持して、随時読み込んでもよい。また、都度JNDの値を計算してもよい。
JNDは、人が輝度の違いを認識できる閾値であり、JNDより輝度差が小さい場合には、ほとんど知覚されない。
JNDは、例えば、図22に示すようなBartenモデルから得られる。Bartenモデルは数学的記述によって構築された視覚系の生理学モデルである。図22の横軸は輝度値であり、図22の縦軸は輝度値に対して、人間が知覚可能な最小のコントラストステップを表している。ここで、Ljをある輝度値、Lj+1をLにJNDが加算された輝度値として、最小のコントラストステップmは例えば以下の式で定義される。
Figure 0007105737000011
・・・式(45)
式(45)より、輝度値LにおけるJNDは、式(46)で表される。
Figure 0007105737000012
・・・式(46)
輝度差がJND以上あれば、人間は輝度差を感じることができることを示している。視覚特性を表すモデルとして、Bartenモデルのほかには、Weberモデル、DeVries-Roseモデルなど様々な数理モデルが提案されている。また、JNDは、官能評価等によって実験的または経験的に見出された数値でもよい。
白とび黒潰れ判定では、図19における緩衝域ΔおよびΔの幅がJND以上になるように決定することにより、白とび黒潰れ補正後の視覚的なコントラストの低下を軽減する。つまり、緩衝域の幅がJND未満であれば、緩衝域内での輝度変化は知覚され難い。緩衝域の幅をJND以上にすることで、第2成分を補正した後も、緩衝域内でのコントラストが知覚されやすくなる。
第9の実施形態における白とび黒潰れ補正処理のフローを図21に示す。第8の実施形態の図19に示すフローに、白とび黒潰れ補正判定Dレンジを決定するS900が加わり、その決定したDレンジを用いて判定を行っている。
S900では、コントラスト補正部407は、白とび黒潰れ補正判定Dレンジの最大値Thmax、および最小値Thminが以下の式を満たすように決定する。
Figure 0007105737000013
・・・式(47)
Figure 0007105737000014
・・・式(48)
白とび黒潰れ補正判定以降の処理は、決定した輝度レンジD1を用いて判定する点以外は、第8の実施形態と同様である。
以上のように、第9の実施形態では、白とび黒潰れ補正判定の際に、視覚特性JNDを考慮して、第2成分を補正する緩衝域の幅を決定する。緩衝域の幅をJND以上にすることにより、第2成分補正後のコントラストの消失を軽減することが可能となる。
<第10の実施形態>
第7~第9の実施形態では、コントラスト補正部407がコントラスト補正を行った後に白とび黒潰れ補正を行っていた。本実施形態では、コントラスト補正部はコントラスト補正を行わずに第2成分を補正し、白とび、或いは黒潰れを補正する。なお、本実施形態においては、画像処理装置300がコントラスト補正部407を有しておらず、画像処理装置300が以下のように第2成分を補正する補正部の機能を持つようにしてもよい。その他の点については第7の実施形態と同様である。
図23は、本実施形態の画像処理のフローを示すフローチャートである。第1の実施形態にて示した図9のフローとの違いは、図9のS203およびS204が図10では、S1201の第2成分の補正に置き換わっている点である。
S201からS202までは第1の実施形態にて述べた図9と同じである。
そして続くS1201では、以下のようにして第2成分の補正を行う。
H>0の場合
H>0の場合は、高輝度側において、白とびが発生する可能性がある。このため、Dレンジ圧縮後の第1の成分L’の値が大きくなるほど、第2成分Hの絶対値が小さくなるように補正する。ここでは、以下の補正係数Wを用いて、第2成分Hを補正し、Hcbを得る。
Hcb=W(L’,L’max,L’min)・H ・・・式(49)
H<0の場合
H<0の場合は、低輝度側において、黒潰れが発生する可能性がある。このため、L’の値が小さくなるほど、第2成分の絶対値が小さくなるように補正する。以下の補正係数Sを用いて、第2成分Hを補正する。
Hcb=S(L’,L’max,L’min)・H ・・・式(50)
H=0の場合
H=0の場合は、第2成分を付加することによる白とび黒潰れは発生しないため、第2成分Hの補正は行わない。
ここで、補正係数W、Sはそれぞれ以下の式で計算される。
Figure 0007105737000015
・・・式(51)
Figure 0007105737000016
・・・式(52)
ここで、α、β、t、tはあらかじめ定められた定数であり、第1成分が高輝度側もしくは低輝度側になるほど第2成分を抑制するように定める。また、L’maxおよびL’minはそれぞれ圧縮後Dレンジの輝度の最大値と最小値である。
このように、補正係数に非線形の関数を適用することで、第1成分が高輝度側もしくは低輝度側になるほど第2成分を強く抑制することが可能となる。
なお、補正係数WおよびSは、必ずしも上記のようなSigmoid型の関数に限らない。第1成分が高輝度側あるいは低輝度側になるほど、第2成分を強く抑制する関数であれば、どのような関数を用いて決定してもよい。
なお、式(49)および式(50)は、あらかじめL’の値ごとに算出されたLUTを用いてW(L’)およびS(L’)を取得し、実行してもよい。あらかじめ用意されたLUTを用いることで、演算に要する処理負荷を軽減し、処理速度を向上させることができる。
なお、補正係数、WおよびSはDレンジ圧縮前の第1成分Lの値を用いて計算してもよい。Dレンジ圧縮前の第1成分Lを用いることによりDレンジ圧縮と第2成分補正の処理を並列に行うことができ、計算効率が向上する。この場合の第2成分の補正は、圧縮前のDレンジの輝度の最大値と最小値をそれぞれLmax,Lminとして、以下のように計算される。
H>0の場合
Hcb=W(L,Lmax,Lmin)・H ・・・式(53)
H<0の場合
Hcb=S(L,Lmax,Lmin)・H ・・・式(54)
H=0の場合
なにもしない
S205については、第1の実施形態と同様に行う。
<第11の実施形態>
本発明の第11の実施形態について、説明する。処理の流れは、第2の実施形態にて述べた図11と同じため、これを用いて説明する。そのほか、上記の実施形態と重複する部分については説明を省略し、差異のみを説明する。S401~S403の処理は、第2の実施形態と同様である。
S404にて、コントラスト補正部407は、S402でDレンジ変換した画像データの高周波の値に対し、S403で生成したコントラスト補正強度Hmを用いて、図9を用いて先述した方法によりコントラスト補正を行う。つまり、本処理フローのS403とS404の工程は、第1の実施形態にて述べた図9の処理に対応する。更に、白とび黒潰れ補正については、第7の実施形態と同様にして以下のように行う。
なお、高周波の値Hcと低周波の値Lを、式(7)を用いて生成した場合には、
Hc>1の場合
Hc>1の場合は、高輝度側において、白とびが発生する可能性がある。このため、第1成分L’の値が大きくなるほど、第2成分が1に近づくように補正する。ここでは、以下の補正係数Pを用いて、第2成分を補正する。
Hcb=(1-P(L’,L’max,L’min))H+P(L’,L’max,L’min)・1 ・・・式(55)
Hc<1の場合
Hc<1の場合は、低輝度側において、黒潰れが発生する可能性がある。このため、Lの値が小さくなるほど、第2成分が1に近づくように補正する。以下の補正係数Qを用いて、第2成分を補正する。
Hcb=Q(L’,L’max,L’min)H+(1-Q(L’,L’max,L’min))・1 ・・・式(56)
Hc=1の場合
Hc=1の場合は、第2成分を付加することによる白とび黒潰れは発生しないため、第2成分の補正は行わない。
上記補正係数P、Qは、以下のように算出される。
Figure 0007105737000017
・・・式(57)
Figure 0007105737000018
・・・式(58)
ここで、α、β、t、tはあらかじめ定められた定数であり、Dレンジ圧縮後の第1成分が中間調を持つ場合には、第2成分をあまり抑制せず、Dレンジ圧縮後の第1成分が高輝度側もしくは低輝度側でのみ第2成分を抑制するように定める。
S405にて、コントラスト補正部407は、S404でコントラスト補正および第2成分の補正を行った高周波の値Hcb、図9のS202で算出した低周波の値L、および、図9のS201で生成したCb、Crの値を用いて、元のRGBデータに合成する。まず、コントラスト補正部407は、式(59)にて、コントラスト補正後の高周波の値Hcと低周波の値Lを積算することで、周波数の値を合成したコントラスト補正後の輝度I’を得る。
I’=Hcb×L ・・・式(59)
なお、高周波の値Hcと低周波の値Lを、式(7)を用いて生成した場合には、コントラスト補正部407によって補正された第2成分が入力のDレンジを超えて白とび黒潰れしないように、第2成分を以下のように補正する。
Hc>0の場合
Hc>0の場合は、高輝度側において、白とびが発生する可能性がある。このため、第1成分Lの値が大きくなるほど、第2成分の絶対値が小さくなるように補正する。ここでは、補正係数Wを用いて、第2成分を補正する。
Hcb=W(L,Lmax,Lmin)・Hc ・・・式(60)
Hc<0の場合
Hc<0の場合は、低輝度側において、黒潰れが発生する可能性がある。このため、Lの値が小さくなるほど、第2成分の絶対値が小さくなるように補正する。ここでは、補正係数Sを用いて、第2成分を補正する。
Hcb=S(L,Lmax,Lmin)・Hc ・・・式(61)
ここで、補正係数WおよびSはそれぞれ以下の式で計算される。
Figure 0007105737000019
・・・式(62)
Figure 0007105737000020
・・・式(63)
Hc=0の場合
この場合、第2成分Hcの値を付加することによる白とび黒潰れは発生しないため、何もしない。
ここで、α、β、t、tはあらかじめ定められた定数であり、第1成分が中間調を持つ場合には、第2成分をあまり抑制せず、第1成分の値が高輝度側もしくは低輝度側でのみ第2成分を抑制するように定める。
また、LmaxおよびLminはそれぞれ入力のDレンジの最大値と最小値である。なお、補正係数WおよびSは、必ずしも上記のようなSigmoid型の関数である必要はない。補正後の第2成分Hcbの絶対値が、補正前の第2成分Hcの絶対値よりも小さくなるような関数であれば特段の制限はない。
また、式(60)および式(61)は、あらかじめL’の値ごとに算出されたLUTを用いてW(L’)およびS(L’)を取得し、実行してもよい。あらかじめ用意されたLUTを用いることで、演算に要する処理負荷を軽減し、処理速度を向上させることができる。
この場合には、輝度I’は、式(64)で表すことができる。
I’=Hcb+L ・・・式(64)
そして、コントラスト補正部407は、輝度I’と色差値(Cb,Cr)をプレーン合成して、カラー画像値(I’,Cb,Cr)を生成する。これにより、本実施形態に係るコントラスト補正が行われた画像が得られる。
<その他の実施形態>
本発明は上述の実施形態の1以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
300…画像処理装置、301…CPU、302…RAM、303…HDD、401…画像入力部、402…Dレンジ変換部、403…ガマットマッピング部、404…画像出力部、405…入力画像特性取得部、406…出力画像特性取得部、407…コントラスト補正部

Claims (44)

  1. 力画像の輝度から高周波成分抽出する抽出手段と、
    前記入力画像が示す色を、出力装置の色再現範囲に含まれる色に変換するための変換処理を行変換手段と、
    前記抽出手段により抽出された前記高周波成分、前記変換処理の変換特性に基づいて補正する補正手段と、
    を有することを特徴とする画像処理装置。
  2. 前記抽出手段は、前記入力画像の輝度を前記高周波成分と低周波成分に分離することにより前記高周波成分を抽出することを特徴とする請求項1に記載の画像処理装置。
  3. 記抽出手段は、前記入力画像の輝度から第1の高周波成分を抽出し、前記変換処理後の輝度から第2の高周波成分を抽出し、
    前記補正手段による補正は、前記変換特性として前記第1の高周波成分と前記第2の高周波成分との対応に基づく、
    ことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記抽出手段は、
    ィルタリング手段により前記入力画像の輝度から第1の低周波成分を生成し、前記入力画像の輝度から前記第1の低周波成分を減算することにより第1の高周波成分を抽出し、
    記フィルタリング手段により前記変換処理後の輝度から第2の低周波成分を生成し、前記変換処理後の輝度から前記第2の低周波成分を減算することにより前記第2の高周波成分を抽出する
    ことを特徴とする請求項に記載の画像処理装置。
  5. 前記補正手段は、前記第1の高周波成分から前記第2の高周波成分を減算することにより補正の強度を決定することを特徴とする請求項に記載の画像処理装置。
  6. 前記抽出手段は、
    ィルタリング手段により前記入力画像の輝度から第1の低周波成分を生成し、前記入力画像の輝度を前記第1の低周波成分にて除算することにより前記第1の高周波成分を抽出し、
    記フィルタリング手段により前記変換処理後の輝度から第2の低周波成分を生成し、前記変換処理後の輝度を前記第2の低周波成分にて除算することにより前記第2の高周波成分を抽出する
    ことを特徴とする請求項に記載の画像処理装置。
  7. 前記補正手段は、前記第1の高周波成分を前記第2の高周波成分にて除算することにより補正の強度を決定することを特徴とする請求項に記載の画像処理装置。
  8. 前記抽出手段は、前記入力画像の輝度の高周波成分として反射光成分を用い、周波成分として照明光成分を用いることを特徴とする請求項乃至のいずれか一項に記載の画像処理装置。
  9. 記変換手段による変換処理は、前記補正手段による補正後の画像に対して行われることを特徴とする請求項1乃至のいずれか一項に記載の画像処理装置。
  10. 記変換手段による変換処理は、前記補正手段による補正前の画像に対して行われることを特徴とする請求項1乃至のいずれか一項に記載の画像処理装置。
  11. 前記変換手段による変換処理は、マットマッピング処理であることを特徴とする請求項1乃至10のいずれか一項に記載の画像処理装置。
  12. 前記入力画像は、HDR画像であり、
    前記入力画像に対してダイナミックレンジ圧縮を行う圧縮手段、をさらに有する、
    ことを特徴とする請求項1乃至11のいずれか一項に記載の画像処理装置。
  13. 前記入力画像は、HDR画像であり、
    前記変換手段による変換処理として、さらにダイナミックレンジ圧縮処理を含むことを特徴とする請求項1乃至11のいずれか一項に記載の画像処理装置。
  14. 前記補正手段は、前記出力装置の色再現範囲に含まれない色に対する補正の強度が、前記出力装置の色再現範囲に含まれる色に対する補正の強度よりも強くなるように、前記抽出手段により抽出された前記高周波成分を補正することを特徴とする請求項1乃至13のいずれか一項に記載の画像処理装置。
  15. 前記出力装置は、記録媒体に画像を印刷する記録装置であることを特徴とする請求項1乃至14のいずれか一項に記載の画像処理装置。
  16. 前記入力画像を示すデータに基づいて前記出力装置が記録媒体に印刷した画像を観察する際の観察条件についての情報を入力する入力手段と、
    前記入力手段が入力した観察条件についての情報に基づき、印刷された前記画像におけるコントラストの見えの度合に係るコントラスト特性を決定する決定手段と、
    を更に有し、
    前記補正手段は、前記変換特性および前記決定手段によって決定されたコントラスト特性に基づいて、前記出力装置の色再現範囲に含まれない色に対する補正の強度が、前記出力装置の色再現範囲に含まれる色に対する補正の強度よりも強くなるように、前記抽出手段により抽出された前記高周波成分を補正する、
    ことを特徴とする請求項15に記載の画像処理装置。
  17. 前記補正手段は、前記入力画像の低周波成分の輝度に基づいて、前記変換処理の後の画像の高周波成分の輝度が前記補正手段による補正後の画像における輝度範囲に含まれるように、前記入力画像の高周波成分を補正することを特徴とする請求項1乃至16のいずれか一項に記載の画像処理装置。
  18. 前記補正手段は、前記変換処理の後の画像の低周波成分の輝度と前記変換処理の後の画像の高周波成分の輝度とに基づいて、前記補正を行うか否かを判定する判定手段、をさらに有することを特徴とする請求項1乃至17のいずれか一項に記載の画像処理装置。
  19. 前記入力画像は、前記出力装置の色再現範囲に含まれない色を含むことを特徴とする請求項1乃至18のいずれか一項に記載の画像処理装置。
  20. 前記補正手段は、前記入力画像の輝度の低周波成分に対しては前記変換処理の変換特性に基づく補正を行わないことを特徴とする請求項1乃至19のいずれか一項に記載の画像処理装置。
  21. 前記抽出手段は、0.5cycle/mm以上を高周波成分として抽出することを特徴とする請求項1乃至20のいずれか一項に記載の画像処理装置。
  22. 力画像の輝度から高周波成分抽出する抽出手段と、
    前記入力画像が示す色を、出力装置の色再現範囲に含まれる色に変換するための変換処理を行変換手段と、
    前記入力画像のコントラストの低下を抑制するように、前記抽出手段により抽出された前記高周波成分、前記変換処理の変換特性に基づいて補正する補正手段と、
    を有し、
    前記補正手段は、前記入力画像の低周波成分の輝度に基づいて、前記変換処理の後の画像の高周波成分の輝度が前記補正手段による補正後の画像における輝度範囲に含まれるように、前記入力画像の高周波成分を補正する
    ことを特徴とする画像処理装置。
  23. 力画像の輝度から高周波成分抽出する抽出工程と、
    前記入力画像が示す色を、出力装置の色再現範囲に含まれる色に変換するための変換処理を行変換工程と、
    前記抽出工程により抽出された前記高周波成分、前記変換処理の変換特性に基づいて補正する補正工程と、
    を有することを特徴とする画像処理方法。
  24. 前記抽出工程は、前記入力画像の輝度を前記高周波成分と低周波成分に分離することにより前記高周波成分を抽出することを特徴とする請求項23に記載の画像処理方法。
  25. 前記抽出工程は、前記入力画像の輝度から第1の高周波成分を抽出し、前記変換処理後の輝度から第2の高周波成分を抽出し、
    前記補正工程における補正は、前記変換特性として前記第1の高周波成分と前記第2の高周波成分との対応に基づく、
    ことを特徴とする請求項23または24に記載の画像処理方法。
  26. 前記抽出工程は、
    フィルタリング工程により前記入力画像の輝度から第1の低周波成分を生成し、前記入力画像の輝度から前記第1の低周波成分を減算することにより第1の高周波成分を抽出し、
    前記フィルタリング工程により前記変換処理後の輝度から第2の低周波成分を生成し、前記変換処理後の輝度から前記第2の低周波成分を減算することにより前記第2の高周波成分を抽出する、
    ことを特徴とする請求項25に記載の画像処理方法。
  27. 前記補正工程は、前記第1の高周波成分から前記第2の高周波成分を減算することにより補正の強度を決定することを特徴とする請求項26に記載の画像処理方法。
  28. 前記抽出工程は、
    フィルタリング工程により前記入力画像の輝度から第1の低周波成分を生成し、前記入力画像の輝度を前記第1の低周波成分にて除算することにより前記第1の高周波成分を抽出し、
    前記フィルタリング工程により前記変換処理後の輝度から第2の低周波成分を生成し、前記変換処理後の輝度を前記第2の低周波成分にて除算することにより前記第2の高周波成分を抽出する、
    ことを特徴とする請求項25に記載の画像処理方法。
  29. 前記補正工程は、前記第1の高周波成分を前記第2の高周波成分にて除算することにより補正の強度を決定することを特徴とする請求項28に記載の画像処理方法。
  30. 前記抽出工程は、前記入力画像の輝度の高周波成分として反射光成分を用い、低周波成分として照明光成分を用いることを特徴とする請求項23乃至29のいずれか一項に記載の画像処理方法。
  31. 前記変換工程における変換処理は、前記補正工程における補正後の画像に対して行われることを特徴とする請求項23乃至30のいずれか一項に記載の画像処理方法。
  32. 前記変換工程における変換処理は、前記補正工程における補正前の画像に対して行われることを特徴とする請求項23乃至30のいずれか一項に記載の画像処理方法。
  33. 前記変換工程における変換処理は、ガマットマッピング処理であることを特徴とする請求項23乃至32のいずれか一項に記載の画像処理方法。
  34. 前記入力画像は、HDR画像であり、
    前記入力画像に対してダイナミックレンジ圧縮を行う圧縮工程、をさらに有する、
    ことを特徴とする請求項23乃至33のいずれか一項に記載の画像処理方法。
  35. 前記入力画像は、HDR画像であり、
    前記変換工程における変換処理として、さらにダイナミックレンジ圧縮処理を含むことを特徴とする請求項23乃至33のいずれか一項に記載の画像処理方法。
  36. 前記補正工程は、前記出力装置の色再現範囲に含まれない色に対する補正の強度が、前記出力装置の色再現範囲に含まれる色に対する補正の強度よりも強くなるように、前記抽出工程により抽出された前記高周波成分を補正することを特徴とする請求項23乃至35のいずれか一項に記載の画像処理方法。
  37. 前記出力装置は、記録媒体に画像を印刷する記録装置であることを特徴とする請求項23乃至36のいずれか一項に記載の画像処理方法。
  38. 前記入力画像を示すデータに基づいて前記出力装置が記録媒体に印刷した画像を観察する際の観察条件についての情報を入力する入力工程と、
    前記入力工程で入力した観察条件についての情報に基づき、印刷された前記画像におけるコントラストの見えの度合に係るコントラスト特性を決定する決定工程と、
    を更に有し、
    前記補正工程は、前記変換特性および前記決定工程において決定されたコントラスト特性に基づいて、前記出力装置の色再現範囲に含まれない色に対する補正の強度が、前記出力装置の色再現範囲に含まれる色に対する補正の強度よりも強くなるように、前記抽出工程により抽出された前記高周波成分を補正する、
    ことを特徴とする請求項37に記載の画像処理方法。
  39. 前記補正工程は、前記入力画像の低周波成分の輝度に基づいて、前記変換処理の後の画像の高周波成分の輝度が前記補正工程による補正後の画像における輝度範囲に含まれるように、前記入力画像の高周波成分を補正することを特徴とする請求項23乃至38のいずれか一項に記載の画像処理方法。
  40. 前記補正工程は、前記変換処理の後の画像の低周波成分の輝度と前記変換処理の後の画像の高周波成分の輝度とに基づいて、前記補正を行うか否かを判定する判定工程、をさらに有することを特徴とする請求項23乃至39のいずれか一項に記載の画像処理方法。
  41. 前記入力画像は、前記出力装置の色再現範囲に含まれない色を含むことを特徴とする請求項23乃至40のいずれか一項に記載の画像処理方法。
  42. 前記補正工程は、前記入力画像の輝度の低周波成分に対しては前記変換処理の変換特性に基づく補正を行わないことを特徴とする請求項23乃至41のいずれか一項に記載の画像処理方法。
  43. 前記抽出工程は、0.5cycle/mm以上を高周波成分として抽出することを特徴とする請求項23乃至42のいずれか一項に記載の画像処理方法。
  44. 請求項23乃至43のいずれか1項に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
JP2019109023A 2018-06-29 2019-06-11 画像処理装置、画像処理方法、及びプログラム Active JP7105737B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022109985A JP7417674B2 (ja) 2018-06-29 2022-07-07 画像処理装置、画像処理方法、及びプログラム

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2018125278 2018-06-29
JP2018125278 2018-06-29
JP2018125046 2018-06-29
JP2018125046 2018-06-29
JP2018207405 2018-11-02
JP2018207405 2018-11-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022109985A Division JP7417674B2 (ja) 2018-06-29 2022-07-07 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020074501A JP2020074501A (ja) 2020-05-14
JP7105737B2 true JP7105737B2 (ja) 2022-07-25

Family

ID=67003314

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019109023A Active JP7105737B2 (ja) 2018-06-29 2019-06-11 画像処理装置、画像処理方法、及びプログラム
JP2022109985A Active JP7417674B2 (ja) 2018-06-29 2022-07-07 画像処理装置、画像処理方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022109985A Active JP7417674B2 (ja) 2018-06-29 2022-07-07 画像処理装置、画像処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US11323576B2 (ja)
EP (1) EP3588930B1 (ja)
JP (2) JP7105737B2 (ja)
KR (1) KR20200002683A (ja)
CN (1) CN110661931B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710085B1 (ko) * 2009-12-09 2017-02-24 톰슨 라이센싱 강한 지상파 신호로부터 위성 수신을 보호하기 위한 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7329932B2 (ja) * 2019-02-27 2023-08-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7433918B2 (ja) 2020-01-09 2024-02-20 キヤノン株式会社 画像処理装置及び画像処理方法
JP7431595B2 (ja) 2020-01-31 2024-02-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7431596B2 (ja) * 2020-01-31 2024-02-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7271492B2 (ja) * 2020-12-11 2023-05-11 シャープ株式会社 画像処理装置、および画像処理方法
EP4040767A1 (en) 2021-02-09 2022-08-10 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program for calibrating printer with fluorescent ink
KR20230055361A (ko) 2021-10-18 2023-04-25 캐논 가부시끼가이샤 화상 처리 장치, 화상 처리 방법, 및 프로그램을 저장하는 저장 매체

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007082180A (ja) 2005-08-16 2007-03-29 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
JP2007082181A (ja) 2005-08-16 2007-03-29 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
JP2008028920A (ja) 2006-07-25 2008-02-07 Canon Inc 画像複写装置
JP2008072551A (ja) 2006-09-15 2008-03-27 Ricoh Co Ltd 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP2008078737A (ja) 2006-09-19 2008-04-03 Ricoh Co Ltd 画像処理装置、画像処理方法、及び記録媒体
JP2008263475A (ja) 2007-04-13 2008-10-30 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2011130437A (ja) 2009-12-21 2011-06-30 Toshiba Corp 画像処理装置及び画像処理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6646762B1 (en) * 1999-11-05 2003-11-11 Xerox Corporation Gamut mapping preserving local luminance differences
JP4035278B2 (ja) 2000-07-14 2008-01-16 キヤノン株式会社 画像処理方法、装置および記録媒体
US7009734B2 (en) 2000-08-22 2006-03-07 Canon Kabushiki Kaisha Method and apparatus for forming color transform lookup table, and image processing method
JP2002262124A (ja) 2000-11-30 2002-09-13 Canon Inc 画像処理装置及び方法と記録制御方法及び装置とプリンタドライバ
JP3762267B2 (ja) 2001-08-08 2006-04-05 キヤノン株式会社 画像処理装置及びその方法
JP4078132B2 (ja) 2002-06-28 2008-04-23 キヤノン株式会社 画像処理装置及びその方法
JP4639037B2 (ja) 2003-07-18 2011-02-23 キヤノン株式会社 画像処理方法および装置
JP4623630B2 (ja) * 2004-09-01 2011-02-02 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像形成装置、画像形成システム
JP2006094161A (ja) * 2004-09-24 2006-04-06 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
EP2120448A1 (en) 2008-05-14 2009-11-18 Thomson Licensing Method of processing of a compressed image into a gamut mapped image using spatial frequency analysis
JP5392560B2 (ja) 2009-10-13 2014-01-22 株式会社Jvcケンウッド 画像処理装置および画像処理方法
JP5932392B2 (ja) * 2012-02-28 2016-06-08 キヤノン株式会社 画像処理装置および画像処理方法
CN104967761B (zh) 2015-06-26 2018-03-20 深圳市华星光电技术有限公司 色域匹配方法
US10140694B2 (en) * 2015-08-31 2018-11-27 Lg Electronics Inc. Image display apparatus
JP2017146766A (ja) * 2016-02-17 2017-08-24 株式会社Jvcケンウッド 画像処理装置、画像処理方法、画像処理プログラム
JP6623832B2 (ja) * 2016-02-26 2019-12-25 富士通株式会社 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
JP6805968B2 (ja) 2016-08-01 2020-12-23 株式会社リコー 画像処理装置、画像投影装置、及び画像処理方法
US10129511B2 (en) * 2016-08-01 2018-11-13 Ricoh Company, Ltd. Image processing apparatus, image projection apparatus, and image processing method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007082180A (ja) 2005-08-16 2007-03-29 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
JP2007082181A (ja) 2005-08-16 2007-03-29 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
JP2008028920A (ja) 2006-07-25 2008-02-07 Canon Inc 画像複写装置
JP2008072551A (ja) 2006-09-15 2008-03-27 Ricoh Co Ltd 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP2008078737A (ja) 2006-09-19 2008-04-03 Ricoh Co Ltd 画像処理装置、画像処理方法、及び記録媒体
JP2008263475A (ja) 2007-04-13 2008-10-30 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2011130437A (ja) 2009-12-21 2011-06-30 Toshiba Corp 画像処理装置及び画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710085B1 (ko) * 2009-12-09 2017-02-24 톰슨 라이센싱 강한 지상파 신호로부터 위성 수신을 보호하기 위한 방법

Also Published As

Publication number Publication date
JP7417674B2 (ja) 2024-01-18
CN110661931A (zh) 2020-01-07
KR20200002683A (ko) 2020-01-08
JP2022125295A (ja) 2022-08-26
EP3588930B1 (en) 2023-10-11
EP3588930A1 (en) 2020-01-01
JP2020074501A (ja) 2020-05-14
CN110661931B (zh) 2022-12-23
US11323576B2 (en) 2022-05-03
US20200007695A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
JP7105737B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5795548B2 (ja) 拡張rgb空間へのトーンマッピングを用いた高ダイナミックレンジ画像の処理方法
US7885479B2 (en) Image processing device that quickly displays retinex-processed preview image
US10582087B2 (en) Image processing apparatus, control method, and non-transitory computer-readable storage medium
US8665348B2 (en) Image processing apparatus and method using forward and inverse local adaptation processing and dynamic range processing
US10848644B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN113276570B (zh) 图像处理设备、图像处理方法和存储介质
US20210241055A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium storing program
JP7278096B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6335614B2 (ja) 画像処理装置、その制御方法、及びプログラム
JP7329932B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6794901B2 (ja) 画像処理装置、および、コンピュータプログラム
US20230005110A1 (en) Information processing apparatus, information processing method, and storage medium for storing program
JP4375223B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6834701B2 (ja) 画像処理装置、および、コンピュータプログラム
JP2004295410A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2023063871A (ja) 画像形成装置およびその制御方法
JP2019128825A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011004187A (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220712

R151 Written notification of patent or utility model registration

Ref document number: 7105737

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151