JP4347615B2 - Image simulation method - Google Patents
Image simulation method Download PDFInfo
- Publication number
- JP4347615B2 JP4347615B2 JP2003167040A JP2003167040A JP4347615B2 JP 4347615 B2 JP4347615 B2 JP 4347615B2 JP 2003167040 A JP2003167040 A JP 2003167040A JP 2003167040 A JP2003167040 A JP 2003167040A JP 4347615 B2 JP4347615 B2 JP 4347615B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- specular reflection
- reflection light
- light component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000004088 simulation Methods 0.000 title claims description 21
- 230000010287 polarization Effects 0.000 claims description 17
- 238000005286 illumination Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 description 11
- 239000002537 cosmetic Substances 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 230000036541 health Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000011148 porous material Substances 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000002374 sebum Anatomy 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Physiology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像のシミュレーション方法に関し、更に詳細には、特定の条件で撮像した２つのデジタル画像から、質感の異なる種々のシミュレーション画像を得ることのできるシミュレーション方法に関する。
【０００２】
【従来の技術】
多くの女性にとって、顔などの肌の健康状態やその美しさ、あるいはその化粧後の仕上がり状態は大きな関心事であり、このために多くの基礎化粧品やメーキャップ化粧品が使用されている。
【０００３】
そして、自分の肌の健康状態、例えば肌荒れを改善することにより、あるいは、ある化粧料を使用することにより、自分の肌全体の外観がどのように変わるかについても詳しく知りたいところであるが、これは、実際に肌の健康状態を改善したり、実際に化粧料を使用しなければわからないことであった。
【０００４】
これに対し、変化の状態をモデルで示した写真等を用いて、手軽に肌の健康状態を改善した場合の外観や、化粧料を使用した場合の外観を示すことも行われているが、これはあくまでも他人の顔でのことであり、使用者自身の場合の変化の状態を示すものとはいえなかった。
【０００５】
【発明が解決しようとする課題】
従って、デパートの化粧品売り場や、薬局、化粧品店の店頭で、簡単に人の顔等の対象物について、そのキメ等の粗さを変化させることにより、対象物の外観の変化をシミュレーションする方法の提供が求められており、本発明はそのような方法の提供をその課題とするものである。
【０００６】
【課題を解決するための手段】
本発明者らは、上記課題を解決すべく鋭意検討を行っていたところ、偏光照明下でデジタル的に撮像された画像と、同じく偏光照明下でこの偏光照明と直交する偏光面を有するフィルターを通してデジタル的に撮像された画像とから、外観色成分を示す内部反射光成分と、形状、質感を示す鏡面反射光成分を分離できることを見出した。また、このうちの鏡面反射光成分は、更に多重解像度解析を行うことにより全体の立体感（形状）を示す低周波成分と表面の細かい形状（質感）を示す高周波成分に分離できることを知った。
【０００７】
そして、これら成分に種々操作を加えた後再合成し、更に内部反射光成分と合成することにより、画像の色彩、形状には何ら変化を与えることなく、対象物の質感のみを変化させたシミュレーション像が得られることを見出し、本発明を完成した。
【０００８】
すなわち本発明は、次の工程（１）ないし（７）、
（１）偏光照明の下で対象物を撮像してデジタル画像データを得る工程、
（２）偏光照明の下で、この偏光照明の偏光面に対し直交する偏光面を有する偏光フィルターをかけて同じ対象物を撮像してデジタル画像データを得る工程、
（３）工程（１）および（２）で得たデジタル画像データから、鏡面反射光成分のデータと内部反射光成分のデータを取り出す工程、
（４）工程（３）で取り出した鏡面反射光成分のデータを多重解像度解析に付して、複数の異なる周波数成分のデータに分離する工程、
（５）分離された複数の異なる周波数成分のデータのうち、所望のものについて、データの変更操作を行う工程、
（６）変更操作を行った周波数成分のデータおよび変更操作を行わなかった周波数成分を合成して再構成画像データとする工程、
（７）上記（６）で得られた再構成画像データと、上記（３）で得た内部反射光成分データを合成して、対象物のシミュレーション画像を得る工程
を含むことを特徴とする画像のシミュレーション方法である。
【０００９】
また本発明は、上記（１）ないし（３）の工程を含むデジタル画像中から鏡面反射光成分データを分離する方法である。
【００１０】
【発明の実施の形態】
本発明方法を実施するには、まず、偏光照明下で、対象物を撮像し、デジタル画像データを得ることが必要である。この撮像は、同じ対象物について、偏光照明の偏光面に対し直交する偏光面を有する偏光フィルター（以下、「偏光フィルター」という）をかけたときと、かけないときの２回行うことが必要である。
【００１１】
この撮像は、一般的なデジタルカメラを用いて行うことができ、ＲＧＢ値等の形でデジタル画像データが得られるものであればその画素数等については特に制約はない。
【００１２】
得られたデジタル画像データのうち、工程（１）の偏光フィルターを用いない場合のものの中には、鏡面反射光成分と内部反射光成分が存在する。これに対し、工程（２）の偏光フィルターを用いた場合のデジタル画像データ中には、内部反射光成分のみが存在する。これら成分のうち、鏡面反射光は、光源と同じ光であり、内部反射光は、物体に固有の色になるとされている。この現象は２色反射モデルといわれる。本発明では、このモデルを利用して、２つの撮像デジタル画像データ中から、まず、各ピクセルの鏡面反射光成分と内部反射光成分を分離する。
【００１３】
すなわち、まず偏光光源Ｓの下で撮影したデジタル画像Ｉの座標ｘ，ｙにおける値をＩ（ｘ，ｙ）とする。一方、偏光光源Ｓの下で、偏光フィルターＰを通して撮影したデジタル画像ＩＰの座標ｘ，ｙにおける値をＩＰ（ｘ，ｙ）とする。そして、２色反射モデルによると、デジタル画像のピクセルデータである各ピクセルの測定値Ｉ（ｘ，ｙ）は、内部反射光単位ベクトルｋＢ（ｘ，ｙ）と、照射光単位ベクトルｋSを用い、下記式（１）のように表すことができる。式中、ｉＳ（ｘ，ｙ）は鏡面反射光強度、ｉＢ（ｘ，ｙ）は内部反射光強度である。
【数１】
また、IＰ（ｘ，ｙ）は下記式（２）で示されるが、偏光照射と直交する偏光フィルターを用いるので、ｉＳが０となり、結局、式（３）のように表される。
【数２】
さらに、ｋＢＰ（ｘ，ｙ）は単位ベクトルであるので
【数３】
【００１６】
ここにおいて、ｋＢＰ（ｘ，ｙ）は偏光フィルターｐを通したときの内部反射光ベクトルであり、近似的にｋＢ（ｘ，ｙ）＝ｋＢＰ（ｘ，ｙ）とすると、
【数４】
【００１７】
上記式（５）を行列
【数５】
【数６】
そして、更にムーアペンローズ（Ｍｏｏｒ−Ｐｅｎｒｏｓｅ）型一般逆行列
【数７】
【数８】
【数９】
上記式（６）より、ｉＳ（ｘ，ｙ）と、ｉＢ（ｘ，ｙ）が求まるので
鏡面反射光強度ＩＳ（ｘ，ｙ）は、
【数１０】
【数１１】
【００２０】
このような原理で、工程（１）と工程（２）のデジタル画像から、各ピクセルごとの鏡面反射光成分のデータを分離することができる。この工程は、一般的には、前記デジタル画像Ｉとデジタル画像ＩＢをそれぞれコンピュータに読み込んだ後、上記式に従って処理することにより行うことができる。
【００２１】
次に、上記の工程（３）で得られた鏡面反射光成分のデータを多重解像度解析により、複数の異なる周波数成分に分け、それぞれのデータを得る。
【００２２】
すなわち、分離した鏡面反射光成分のデータには、形状を示す成分と、質感を示す成分が混在しているので、例えば対象物の全体の立体感（形状）を示す低周波成分から、対象物表面の細かい形状（質感）を示す高周波成分までに分離する。より具体的に、例えば、顔について考えると、鏡面反射成分には、顔の骨格や、肉付き、毛穴や小じわ、といった表面形状や、表面に分布する皮脂の影響が含まれているので、顔立ち等の顔全体の立体感を表す画像成分（低周波成分）と、毛穴など皮膚表面の微細な形状を示す画像成分（高周波成分）の間で適当な数に分離する。
【００２３】
この変動成分の分離は、鏡面反射光成分データを、他の画像の線形結合に分解し、元の画像データの特徴を吟味する多重解像度解析により行われる。より、具体的には、鏡面反射光成分のデータを２次元高速ウェーブレット変換によって、より低周波数の関数で近似した近似画像と、元の画像との誤差である高周波成分の誤差画像に分解する。そして、近似画像をさらにウェーブレット変換をもちいて分解することで、元画像の低周波成分から高周波成分を示す画像を得ることができる。そして、低周波成分から高周波成分に分解した画像を適宜合成することにより、元画像を再構成することが可能である。この画像の分解、再構成は、例えば、２ないし１０次（Ｎ＝２〜１０）のドビッシー（Daubechies）ウェーブレットを用いて行うことができる。
【００２４】
このウェーブレット変換およびウェーブレット逆変換の手順を、説明のため、少ないレベルで示せば図１の通りである。すなわち、元の画像データから、ウェーブレット変換で、３つの高周波画像データと１つの低周波画像データを得、このうちの３つの高周波画像データをウェーブレット逆変換し、レベル１の画像データ（最も高い周波数のデータ）とする。次いで、上で得られた低周波画像を再度ウェーブレット変換し、新たな３つの高周波画像と１つの低周波画像を得る。このうちの３つの高周波画像を２回ウェーブレット逆変換し、レベル２の画像データ（２番目に高い周波数のデータ）とする。更に、上記低周波画像についてウェーブレット変換を行い、得られた３つの高周波画像を３回ウェーブレット逆変換し、レベル３の画像データ（３番目に高い周波数のデータ）とする。図１ではこれ以上記載していないが、上記手順を順次繰り返すことにより、高周波から低周波に到る複数の画像データを得ることができる。一方、３回目のウエーブレット変換の結果得られた低周波画像データは、３回ウェーブレット逆変換し、レベル３Ｆの画像データとする。このウェーブレット変換およびウェーブレット逆変換は、例えば、参考文献（「ウェーブレット変換の基礎と応用 Mathematicaで学ぶ」斉藤 兆古著 朝倉書店）に記載の方法に基づいて簡単に行うことができる。
【００２５】
上記のようにして分離された複数の異なる周波成分のデータは、次に工程（５）として、シミュレーションの目的に従い、そのいくつかのものについて、データの変更操作を行う。このデータの変更操作としては、例えば、一定の数字をかけることにより、その周波成分を強調する操作や、一定の数字で割ることにより、その周波数成分を弱める等が挙げられる。これらの操作を複数の周波数データについて行うときは、同一の操作であっても、また異なる操作であっても良い。この操作においては、例えば、高周波成分データについて一定の数字をかける操作を行えば、質感を強めることができるし、逆に、一定の数字で割る操作を行えば、最終的に柔らかな外観を得ることができる。
【００２６】
上記工程（５）で、変更操作を行った周波数成分のデータは、変更操作を行わなかった周波数成分と合成し、再構成画像データとされる。この再構成画像データは、基本的には対象物の鏡面反射光成分による画像であるが、その一部が修正されたものである。例えば、顔の画像について、高周波成分データを一定の数字で割った周波数成分を使用した場合は、顔立ち等の形状は、鏡面反射光成分による画像と同一であるが、肌表面の微細な凹凸を抑えたソフトな画像となる。
【００２７】
かくして得られる再構成画像データは、工程（３）で得られたデジタル画像データ（内部反射光成分）と更に合成することにより、色情報をも含んだシミュレーション画像となる。このシミュレーション画像は、本来のデジタル画像のいくつかの周波数成分を変更したものであるため、この周波数成分が強調ないしは減弱されたものとなる。
【００２８】
従って、例えば、実際の肌の状態を撮像したものから、高周波数成分を減弱するように変更し、これを変更しない低周波成分および内部反射光成分と合成することにより、肌荒れ等を直した後のシミュレーション画像や、化粧を行った後のシミュレーション画像が得られる。
【００２９】
そして、その減弱割合として、実際の肌荒れの改善前後や、化粧前後の試験結果から得たものを用いれば、極めて正確性の高いシミュレーション画像が得られる。
【００３０】
【作用】
本発明方法は、２種の撮像した画像から画像中に含まれる成分を分離し、それらの成分を強調ないしは減弱することができるので、簡単に種々のシミュレーション画像を得ることができる。
【００３１】
【実施例】
以下、実施例を挙げ、本発明を更に詳しく説明するが、本発明はこれら実施例に何ら制約されるものではない。
【００３２】
実 施 例 １
画像のシミュレーションの方法：
反射面に対して垂直な偏光照明の元で、デジタルカメラを用い、ヒトの顔面全体を撮影し、画像データ（５１２×５１２ピクセル、２４ビットフルカラー）とした。
【００３３】
一方、おなじ偏光照明の元で、この偏光面に直交する偏光面を有するフィルターをかけ、同じデジタルカメラで同じヒトの顔面全体を撮影し、偏光画像データ（５１２×５１２ピクセル、２４ビットフルカラー）とした。
【００３４】
これらの画像について、２色反射モデルに基づき、画像データの各ピクセルの測定値Ｉ（ｘ，ｙ）および偏光画像データの各ピクセルの測定値ＩＰ（ｘ，ｙ）を求めた。また、測定された光源色単位ベクトルｋＳ、偏光画像データの各ピクセルの単位ベクトルｋB（ｘ，ｙ）を用い、ムーアペンローズ（Moor-Penrose）型一般逆行列Ｋ（ｘ，ｙ）＋を利用し、Ｉ（ｘ，ｙ）およびＩＰ（ｘ，ｙ）から反射光強度行列ＩSB（ｘ，ｙ）をもとめた。この反射光強度行列から鏡面反射光成分のみを再構成した図を図２に示す。この図において、ｘ、ｙは画像Ｉの座標を示す。図の画像には顔の形状を反映した陰影が強調されており、質感の情報は損なわれていないことがわかる。
【００３５】
一方、上記鏡面反射光強度のデータから、質感を表す成分を分離するために、ウェーブレット変換およびウェーブレット逆変換を繰り返すことにより多重解像度解析を行った。上記変換および逆変換において、画像サイズは５１２ピクセル×５１２ピクセルとし、Ｎ＝４のドビッシーウェーブレットを用いた。画像の一直線上における明るさの変化を多重解像度解析した状況を図３に、レベル８まで多重解像度解析した鏡面反射光データを画像化したものを図４に示す。（レベル８Ｆは最も低周波数の関数のみで図２を近似したものである。）レベル１から８の画像は近似画像と図２の鏡面反射光画像との誤差成分を示す誤差画像である。レベル１がもっとも高周波成分の誤差画像を示し、レベルが大きくなるにしたがって、低周波成分の誤差画像を示す。全てのレベルの画像を合計することで、図２の鏡面反射光画像を再構成することができる。
【００３６】
図４より、顔表面の毛穴やにきびなどの微細な特徴が良く表れているレベル１〜４（高周波数成分）と、レベル５〜８の成分（低周波数成分）に分け、これらの成分について、図５に示すように増減したのちに、鏡面反射光画像を再構成し、さらに内部反射光画像を加えることで、撮影したデジタル画像とは異なる質感を持つシミュレーション画像（図６）を作成することができた。
【００３７】
【発明の効果】
本発明方法によれば、少ない撮像数でありながら、異なる質感等を有するシミュレーション画像を簡単に得ることができる。
【００３８】
また、本発明方法は、偏光光源および偏光フィルターを装着可能なデジタルカメラ等と所定の計算あるいは解析式を組み込んだコンピュータを利用することにより、容易に被験者の皮膚状態改善後あるいは化粧後の顔の状態のシミュレーションを行うことができるので、デパート等の化粧品売り場や化粧品店、薬局等での化粧品の販促等にも利用できる。
【図面の簡単な説明】
【図１】 ウェーブレット変換およびウェーブレット逆変換の手順を示す図面
【図２】 サンプル画像を、鏡面反射光成分のみで再構成した図面
【図３】 画像上の一直線上における明るさの変化を多重解像度解析した状況を示す図面
【図４】 多重解像度解析した鏡面反射光データを画像化した図面
【図５】 ８つに分離された鏡面反射光データに対する変更操作を示す図面
【図６】 変更後の鏡面反射光データを再構成し、さらに内部反射光成分と合成することにより得られる各画像を示す図面
以 上[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image simulation method, and more particularly to a simulation method capable of obtaining various simulation images having different textures from two digital images captured under a specific condition.
[0002]
[Prior art]
For many women, the health condition of the skin such as the face and its beauty, or the finished condition after makeup, are of great concern, and many basic cosmetics and makeup cosmetics are used for this purpose.
[0003]
And I would like to know in detail how the appearance of my entire skin changes by improving the health condition of my skin, such as rough skin, or by using a certain cosmetic. It was impossible to understand without actually improving the health condition of the skin or actually using cosmetics.
[0004]
On the other hand, using photographs etc. showing the state of change, the appearance when easily improving the health condition of the skin, and the appearance when using cosmetics are also shown, This is only the face of another person, and it cannot be said to indicate the state of change in the case of the user himself.
[0005]
[Problems to be solved by the invention]
Therefore, a method of simulating changes in the appearance of an object by changing the roughness of the texture of an object such as a human face at a department store cosmetic store, pharmacy, or cosmetic store. There is a need for provision, and the present invention is directed to providing such a method.
[0006]
[Means for Solving the Problems]
The inventors of the present invention have been diligently studying to solve the above problem, and through an image digitally captured under polarized illumination and a filter having a polarization plane orthogonal to the polarized illumination under the polarized illumination. It was found that the internally reflected light component indicating the appearance color component and the specular reflected light component indicating the shape and texture can be separated from the digitally captured image. Further, it was found that the specular reflection light component can be separated into a low-frequency component indicating the overall stereoscopic effect (shape) and a high-frequency component indicating a fine shape (texture) on the surface by further performing multi-resolution analysis.
[0007]
Then, after performing various operations on these components, they are re-synthesized and further combined with the internally reflected light component, so that only the texture of the object is changed without giving any change to the color and shape of the image. The present invention was completed by finding that an image can be obtained.
[0008]
That is, the present invention includes the following steps (1) to (7),
(1) A step of obtaining an image of an object under polarized illumination to obtain digital image data;
(2) A step of obtaining digital image data by imaging a same object by applying a polarization filter having a polarization plane orthogonal to the polarization plane of the polarization illumination under polarized illumination.
(3) A step of extracting specular reflection light component data and internal reflection light component data from the digital image data obtained in steps (1) and (2),
(4) A step of subjecting the specular reflection light component data extracted in step (3) to multiresolution analysis and separating the data into a plurality of different frequency component data,
(5) A step of performing a data changing operation on a desired data among a plurality of separated data of different frequency components,
(6) A step of synthesizing the frequency component data for which the change operation has been performed and the frequency component for which the change operation has not been performed into reconstructed image data,
(7) An image comprising a step of synthesizing the reconstructed image data obtained in (6) above and the internally reflected light component data obtained in (3) above to obtain a simulation image of the object. This is a simulation method.
[0009]
The present invention is also a method for separating specular reflection light component data from a digital image including the steps (1) to (3).
[0010]
DETAILED DESCRIPTION OF THE INVENTION
In order to carry out the method of the present invention, it is necessary to first image an object under polarized illumination to obtain digital image data. This imaging needs to be performed twice for the same object, when a polarizing filter having a polarization plane orthogonal to the polarization plane of polarized illumination (hereinafter referred to as “polarization filter”) is applied and when it is not applied. is there.
[0011]
This imaging can be performed using a general digital camera, and the number of pixels is not particularly limited as long as digital image data can be obtained in the form of RGB values or the like.
[0012]
Among the obtained digital image data, in the case where the polarizing filter in step (1) is not used, a specular reflection light component and an internal reflection light component exist. On the other hand, only the internally reflected light component exists in the digital image data when the polarizing filter in the step (2) is used. Of these components, the specular reflection light is the same light as the light source, and the internal reflection light is assumed to have a color unique to the object. This phenomenon is called a two-color reflection model. In the present invention, using this model, the specular reflection light component and the internal reflection light component of each pixel are first separated from the two captured digital image data.
[0013]
That is, first, the value at the coordinates x, y of the digital image I photographed under the polarized light source S is defined as I (x, y). On the other hand, the value at the coordinates x, y of the digital image I P photographed through the polarization filter P under the polarized light source S is defined as I P (x, y). According to the two-color reflection model, the measured value I (x, y) of each pixel, which is pixel data of a digital image, includes an internal reflection light unit vector k B (x, y) and an irradiation light unit vector k S. And can be expressed as the following formula (1). In the formula, i S (x, y) is the specular reflection light intensity, and i B (x, y) is the internal reflection light intensity.
[Expression 1]
Further, I P (x, y) is represented by the following formula (2). However, since a polarizing filter orthogonal to the polarized light irradiation is used, i S becomes 0, and is eventually represented by formula (3).
[Expression 2]
Furthermore, since k BP (x, y) is a unit vector,
[0016]
Here, k BP (x, y) is an internally reflected light vector when passing through the polarizing filter p, and approximately k B (x, y) = k BP (x, y)
[Expression 4]
[0017]
Formula (5) above is a matrix
[Formula 6]
Furthermore, the Moore-Penrose type general inverse matrix
[Equation 9]
From the above equation (6), i S (x, y) and i B (x, y) are obtained, so the specular reflection light intensity I S (x, y) is
[Expression 10]
[Expression 11]
[0020]
Based on such a principle, the specular reflection light component data for each pixel can be separated from the digital images in the steps (1) and (2). This process is generally the digital image I and the digital image I B after reading the computer respectively, can be carried out by treating according to the above formula.
[0021]
Next, the specular reflection light component data obtained in the above step (3) is divided into a plurality of different frequency components by multi-resolution analysis to obtain respective data.
[0022]
That is, since the component data indicating the shape and the component indicating the texture are mixed in the separated specular reflection component data, for example, from the low-frequency component indicating the overall stereoscopic effect (shape) of the target object, Separation to high frequency components showing fine shape (texture) on the surface. More specifically, for example, when considering the face, the specular reflection component includes the surface shape such as the face skeleton, flesh, pores and fine lines, and the effects of sebum distributed on the surface. Is divided into an appropriate number between an image component (low frequency component) representing the three-dimensional effect of the entire face and an image component (high frequency component) representing a fine shape of the skin surface such as pores.
[0023]
The separation of the fluctuation component is performed by multi-resolution analysis in which the specular reflection light component data is decomposed into linear combinations of other images and the characteristics of the original image data are examined. More specifically, the data of the specular reflection light component is decomposed by the two-dimensional high-speed wavelet transform into an approximate image approximated by a lower frequency function and an error image of a high frequency component that is an error between the original image. Then, by further decomposing the approximate image using wavelet transform, an image showing a high frequency component can be obtained from the low frequency component of the original image. Then, the original image can be reconstructed by appropriately combining the images decomposed from the low frequency component into the high frequency component. The image can be decomposed and reconstructed using, for example, 2nd to 10th order (N = 2 to 10) Daubechies wavelets.
[0024]
The procedure of the wavelet transform and the inverse wavelet transform is shown in FIG. That is, three high-frequency image data and one low-frequency image data are obtained from the original image data by wavelet transformation, and three of these high-frequency image data are inversely wavelet transformed to obtain
[0025]
In step (5), the data of a plurality of different frequency components separated as described above is subjected to a data changing operation for some of them according to the purpose of simulation. Examples of the data changing operation include an operation of emphasizing the frequency component by applying a certain number, and a weakening of the frequency component by dividing by a certain number. When these operations are performed on a plurality of frequency data, they may be the same operation or different operations. In this operation, for example, if an operation of applying a certain number to the high frequency component data is performed, the texture can be strengthened. Conversely, if an operation of dividing by a certain number is performed, a soft appearance is finally obtained. be able to.
[0026]
In the step (5), the frequency component data for which the change operation has been performed is combined with the frequency component for which the change operation has not been performed, and is used as reconstructed image data. This reconstructed image data is basically an image based on the specular reflection light component of the object, but a part thereof is corrected. For example, when using a frequency component obtained by dividing high-frequency component data by a fixed number for a face image, the shape of the face is the same as the image by the specular reflection light component, but the skin surface has fine irregularities. The soft image is suppressed.
[0027]
The reconstructed image data thus obtained becomes a simulation image including color information by further combining with the digital image data (internal reflection light component) obtained in step (3). Since the simulation image is obtained by changing some frequency components of the original digital image, the frequency components are emphasized or attenuated.
[0028]
Therefore, for example, after correcting the rough skin etc. by changing the high frequency component to be attenuated from the image of the actual skin condition and combining it with the low frequency component and the internally reflected light component that do not change this And a simulation image after makeup is obtained.
[0029]
And if the ratio obtained from the test results before and after the improvement of actual rough skin and before and after the makeup is used as the attenuation ratio, an extremely accurate simulation image can be obtained.
[0030]
[Action]
According to the method of the present invention, components included in an image can be separated from two types of captured images, and these components can be emphasized or reduced, so that various simulation images can be easily obtained.
[0031]
【Example】
EXAMPLES Hereinafter, although an Example is given and this invention is demonstrated in more detail, this invention is not restrict | limited at all by these Examples.
[0032]
Example 1
Image simulation method:
The entire human face was photographed using a digital camera under polarized illumination perpendicular to the reflecting surface, and image data (512 × 512 pixels, 24-bit full color) was obtained.
[0033]
On the other hand, under the same polarization illumination, a filter having a polarization plane orthogonal to the polarization plane is applied, and the same human face is photographed with the same digital camera, and polarized image data (512 × 512 pixels, 24-bit full color) is obtained. did.
[0034]
For these images, based on the two-color reflection model, a measured value I (x, y) of each pixel of the image data and a measured value I P (x, y) of each pixel of the polarized image data were obtained. Further, using the measured light source color unit vector k S and the unit vector k B (x, y) of each pixel of the polarization image data, a Moore-Penrose type general inverse matrix K (x, y) + is obtained. The reflected light intensity matrix I SB (x, y) was obtained from I (x, y) and I P (x, y). FIG. 2 shows a diagram in which only the specular reflection light component is reconstructed from this reflected light intensity matrix. In this figure, x and y indicate the coordinates of the image I. In the image in the figure, the shadow reflecting the shape of the face is emphasized, and it can be seen that the texture information is not impaired.
[0035]
On the other hand, in order to separate the component representing the texture from the specular reflection light intensity data, multi-resolution analysis was performed by repeating wavelet transform and wavelet inverse transform. In the above transformation and inverse transformation, the image size was 512 pixels × 512 pixels, and N = 4 debity wavelets were used. FIG. 3 shows a situation in which the brightness change on the straight line of the image is subjected to the multi-resolution analysis, and FIG. 4 shows an image of the specular reflected light data obtained by the multi-resolution analysis up to
[0036]
From FIG. 4, it is divided into
[0037]
【The invention's effect】
According to the method of the present invention, it is possible to easily obtain a simulation image having a different texture while having a small number of images.
[0038]
In addition, the method of the present invention easily uses the digital camera or the like that can be equipped with a polarized light source and a polarizing filter and a computer incorporating a predetermined calculation or analysis formula to easily improve the facial condition after improvement of the skin condition of the subject or after makeup. Since the simulation of the state can be performed, it can also be used for the promotion of cosmetics at cosmetics departments such as department stores, cosmetic stores and pharmacies.
[Brief description of the drawings]
FIG. 1 shows a procedure for wavelet transform and inverse wavelet transform. FIG. 2 shows a sample image reconstructed only with a specular reflection component. FIG. 3 multi-resolution changes in brightness on a straight line on the image. Drawing showing the state of analysis [FIG. 4] Drawing of specular reflected light data analyzed by multi-resolution [FIG. 5] Drawing showing change operation to specular reflected light data separated into eight [FIG. 6] After change Figures showing each image obtained by reconstructing the specular reflection data and combining it with the internal reflection component
Claims (4)
（１）偏光照明の下で対象物を撮像してデジタル画像データを得る工程、
（２）偏光照明の下で、この偏光照明の偏光面に対し直交する偏光面を有する偏光フ
ィルターをかけて同じ対象物を撮像してデジタル画像データを得る工程、
（３）工程（１）および（２）で得たデジタル画像データから、鏡面反射光成分のデ
ータと内部反射光成分のデータを取り出す工程、
（４）工程（３）で取り出した鏡面反射光成分のデータを多重解像度解析に付して、
複数の異なる周波数成分のデータに分離する工程、
（５）分離された複数の異なる周波数成分のデータのうち、所望のものについて、デ
ータの変更操作を行う工程、
（６）変更操作を行った周波数成分のデータおよび変更操作を行わなかった周波数成
分を合成して再構成画像データとする工程、
（７）上記（６）で得られた再構成画像データと、上記（３）で得た内部反射光成分
データを合成して、対象物のシミュレーション画像を得る工程
を含むことを特徴とする画像のシミュレーション方法。Next steps (1) to (7),
(1) A step of obtaining an image of an object under polarized illumination to obtain digital image data;
(2) A step of obtaining digital image data by imaging the same object by applying a polarization filter having a polarization plane orthogonal to the polarization plane of the polarization illumination under polarized illumination.
(3) extracting specular reflection light component data and internal reflection light component data from the digital image data obtained in steps (1) and (2);
(4) The specular reflection light component data extracted in step (3) is subjected to multi-resolution analysis,
Separating the data into a plurality of different frequency components,
(5) A step of performing a data changing operation on desired data among a plurality of separated frequency component data,
(6) A step of synthesizing the frequency component data that has been changed and the frequency component that has not been changed into reconstructed image data,
(7) An image comprising a step of synthesizing the reconstructed image data obtained in (6) above and the internally reflected light component data obtained in (3) above to obtain a simulation image of the object Simulation method.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003167040A JP4347615B2 (en) | 2003-06-11 | 2003-06-11 | Image simulation method |
| PCT/JP2003/015775 WO2004110264A1 (en) | 2003-06-11 | 2003-12-10 | Skin evaluation method and image simulation method |
| AU2003289004A AU2003289004A1 (en) | 2003-06-11 | 2003-12-10 | Skin evaluation method and image simulation method |
| US10/560,136 US7336810B2 (en) | 2003-06-11 | 2003-12-10 | Skin evaluation method and image simulation method |
| TW092135995A TW200428231A (en) | 2003-06-11 | 2003-12-18 | Skin evaluation method and image simulation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003167040A JP4347615B2 (en) | 2003-06-11 | 2003-06-11 | Image simulation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005004468A JP2005004468A (en) | 2005-01-06 |
| JP4347615B2 true JP4347615B2 (en) | 2009-10-21 |
Family
ID=34093005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003167040A Expired - Fee Related JP4347615B2 (en) | 2003-06-11 | 2003-06-11 | Image simulation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4347615B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4924114B2 (en) | 2007-03-09 | 2012-04-25 | 株式会社ニコン | Image processing program and image processing method |
| JP2009098925A (en) | 2007-10-17 | 2009-05-07 | Sony Corp | Image processor, image processing method, and program |
| WO2010004677A1 (en) | 2008-07-08 | 2010-01-14 | パナソニック株式会社 | Image processing method, image processing device, image processing program, image synthesis method, and image synthesis device |
| CN103826530B (en) * | 2012-07-25 | 2015-12-30 | 松下电器产业株式会社 | Camera system |
| WO2014119257A1 (en) * | 2013-01-29 | 2014-08-07 | パナソニック株式会社 | Image capture system |
| US9256963B2 (en) * | 2013-04-09 | 2016-02-09 | Elc Management Llc | Skin diagnostic and image processing systems, apparatus and articles |
| CN113808027B (en) * | 2020-06-16 | 2023-10-17 | 北京达佳互联信息技术有限公司 | Human body image processing method and device, electronic equipment and storage medium |
-
2003
- 2003-06-11 JP JP2003167040A patent/JP4347615B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005004468A (en) | 2005-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0927405B1 (en) | Image processing electronic device for detecting dimensional variations | |
| Kolås et al. | Spatio-temporal Retinex-inspired envelope with stochastic sampling: a framework for spatial color algorithms | |
| Li et al. | Robust retinal image enhancement via dual-tree complex wavelet transform and morphology-based method | |
| WO2004110264A1 (en) | Skin evaluation method and image simulation method | |
| Limare et al. | Retinex Poisson equation: a model for color perception | |
| CN108648163A (en) | A kind of Enhancement Method and computing device of facial image | |
| Bhateja et al. | An improved medical image fusion approach using PCA and complex wavelets | |
| CN109784301A (en) | Image processing method, device, computer equipment and storage medium | |
| US20080107352A1 (en) | System and Method for Structure Enhancement and Noise Reduction in Medical Images | |
| JP4347615B2 (en) | Image simulation method | |
| JP4133248B2 (en) | Skin gloss evaluation method | |
| Wang et al. | Colorizing Grayscale CT images of human lungs using deep learning methods | |
| JP4506245B2 (en) | Skin simulation image forming method | |
| Rolff et al. | VRS-NeRF: Accelerating Neural Radiance Field Rendering with Variable Rate Shading | |
| JP4285037B2 (en) | Method for forming simulated skin image | |
| JP2005000429A (en) | Method for evaluating beauty of skin | |
| Agaian et al. | Bright and dark distance-based image decomposition and enhancement | |
| Kwon et al. | A fast 3D adaptive bilateral filter for ultrasound volume visualization | |
| JP4506243B2 (en) | Skin simulation image forming method | |
| Cao et al. | Medical image fusion based on GPU accelerated nonsubsampled shearlet transform and 2D principal component analysis | |
| Harine et al. | Fundus image enhancement using hybrid deep learning approaches | |
| Kayal et al. | Spectral data augmentation techniques to quantify lung pathology from CT-Images | |
| JP4756398B2 (en) | Skin simulation image forming method | |
| Ch et al. | Shift-invariant discrete wavelet transform-based sparse fusion of medical images | |
| Hareesh et al. | A fast and simple gradient function guided filling order prioritization for exemplar-based color image inpainting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041027 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060607 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090526 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090623 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090716 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150724 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |