JP2005293231A - Simulation image forming method for skin - Google Patents
Simulation image forming method for skin Download PDFInfo
- Publication number
- JP2005293231A JP2005293231A JP2004107348A JP2004107348A JP2005293231A JP 2005293231 A JP2005293231 A JP 2005293231A JP 2004107348 A JP2004107348 A JP 2004107348A JP 2004107348 A JP2004107348 A JP 2004107348A JP 2005293231 A JP2005293231 A JP 2005293231A
- Authority
- JP
- Japan
- Prior art keywords
- image
- skin
- component
- frequency distribution
- reflected light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims description 34
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims abstract description 62
- 239000000049 pigment Substances 0.000 claims abstract description 21
- 238000012880 independent component analysis Methods 0.000 claims abstract description 9
- 238000011156 evaluation Methods 0.000 claims description 25
- 108010054147 Hemoglobins Proteins 0.000 claims description 21
- 102000001554 Hemoglobins Human genes 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 abstract description 3
- 230000001788 irregular Effects 0.000 abstract 2
- 206010014970 Ephelides Diseases 0.000 abstract 1
- 208000003351 Melanosis Diseases 0.000 abstract 1
- 210000003491 skin Anatomy 0.000 description 76
- 239000011148 porous material Substances 0.000 description 9
- 239000002537 cosmetic Substances 0.000 description 6
- 208000002874 Acne Vulgaris Diseases 0.000 description 5
- 206010000496 acne Diseases 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 206010047642 Vitiligo Diseases 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 208000010201 Exanthema Diseases 0.000 description 1
- 206010039580 Scar Diseases 0.000 description 1
- 206010042496 Sunburn Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000004207 dermis Anatomy 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 201000005884 exanthem Diseases 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 108010036302 hemoglobin AS Proteins 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- -1 pores Chemical compound 0.000 description 1
- 206010037844 rash Diseases 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、肌のシミュレーション画像において、質感や肌色としての自然さを保持しつつ、肌の色ムラやテクスチャを変化させる方法に関する。 The present invention relates to a method of changing skin color unevenness and texture while maintaining naturalness as a texture and skin color in a skin simulation image.
基礎化粧やメイクアップにより毛穴、シミ等が目立たなくなった肌や、日焼け等によりシミができた肌の様子を画像として把握できるようにするため、肌のシミュレーション画像が形成される。 A skin simulation image is formed in order to make it possible to grasp, as an image, the skin in which pores, spots, etc. have become inconspicuous by basic makeup or makeup, and the skin that has been stained by sunburn or the like.
肌のシミュレーション画像の形成方法としては、種々の肌について基礎化粧で変わり得る測色値の変化をデータベース化し、そのデータベースに基づいて当該顧客の素肌の顔画像の測色値を画像処理で変化させる方法が提案されている（特許文献１）。 As a method for forming a simulation image of skin, a database of changes in colorimetric values that can be changed by basic makeup for various skins, and the colorimetric values of facial images of the customer's bare skin are changed by image processing based on the database. A method has been proposed (Patent Document 1).
また、データベースの構築にあたり、肌の内部反射光のメラニン成分量とヘモグロビン成分量を使用する方法も提案されている（特許文献２）。 Also, a method of using the amount of melanin component and the amount of hemoglobin component of the internally reflected light of the skin has been proposed for the construction of the database (Patent Document 2).
一方、コンピュータグラフィックス技術の進展に伴い、皮膚の層構造やそれに基づく反射特性等を考慮し、人肌の画像を従前よりも自然なテクスチャで再現することが可能となってきている。しかしながら、実際の肌に見られるシミやニキビ等の肌の空間的分布の再現は手作業で行われているのが実情である。即ち、肌のシミュレーション画像の形成において、肌色を全体として褐色にする、あるいは明るくする等の色の調整は自動的に行うことができるが、シミ等の部分的な色ムラについては、手作業で画像上に分布させなくてはならない。 On the other hand, with the progress of computer graphics technology, it has become possible to reproduce human skin images with a more natural texture than before, taking into consideration the layer structure of the skin and the reflection characteristics based on it. However, the actual situation is that reproduction of the spatial distribution of skin, such as spots and acne, found in actual skin is performed manually. In other words, in the formation of a skin simulation image, the color of the skin color can be automatically adjusted to brown or brighten as a whole, but partial color unevenness such as spots can be manually adjusted. It must be distributed on the image.
そこで、本発明は、コンピュータを用いた画像処理により、肌の自然な質感や色を保持しつつ、シミ等の色ムラやテクスチャを変化させたシミュレーション画像を形成できるようにすること、さらには、色ムラやテクスチャを変化させることにより、特定の主観価値を与えるシミュレーション画像を形成できるようにすることを目的とする。 Accordingly, the present invention enables image processing using a computer to form a simulation image in which uneven color and texture such as a stain are changed while retaining the natural texture and color of the skin, It is an object of the present invention to be able to form a simulation image that gives a specific subjective value by changing color unevenness and texture.
本発明者は、肌の内部反射光画像のうち、メラニン成分やヘモグロビン成分等、特定の色素成分が寄与している画像を抽出し、それを複数の空間周波数帯域に分解し、色ムラの大きさに対応する周波数帯域の画像について画素強度の度数分布を求め、その度数分布を特定の領域で変化させ、再度画像を合成することにより、シミュレーション画像上で肌の自然な質感や色を保持しつつ、毛穴、シミ、ニキビ痕等による色ムラやテクスチャを変化させられることを見出した。 The present inventor extracts an image in which a specific pigment component such as a melanin component or a hemoglobin component contributes from the internally reflected light image of the skin, decomposes the image into a plurality of spatial frequency bands, and produces large color unevenness. By calculating the frequency distribution of pixel intensity for an image in the frequency band corresponding to the frequency, changing the frequency distribution in a specific area, and synthesizing the image again, the natural texture and color of the skin are retained on the simulation image. However, the present inventors have found that color unevenness and texture due to pores, spots, acne marks and the like can be changed.
即ち、本発明は、被験者の肌について内部反射光画像と表面反射光画像を取得し、
内部反射光画像から独立成分分析により少なくとも１つの色素成分の成分画像を抽出し、
抽出した色素成分画像を複数の空間周波数帯域に分解し、
該一又は複数の帯域の画像について、画素強度の度数分布を求め、
その度数分布を、ピークを含む領域とその外側の端部領域の少なくとも２つの領域に分け、
いずれかの領域の度数分布を変化させ、
次いで各画像を再合成することにより肌の色ムラ又はテクスチュアを変化させたシミュレーション画像を形成する肌のシミュレーション画像形成方法を提供する。
That is, the present invention acquires an internal reflection light image and a surface reflection light image for the subject's skin,
Extracting component images of at least one pigment component from the internally reflected light image by independent component analysis,
Decompose the extracted dye component image into multiple spatial frequency bands,
Obtain a frequency distribution of pixel intensity for the image of one or more bands,
Dividing the frequency distribution into at least two regions, a region including a peak and an outer end region,
Change the frequency distribution in any region,
Next, a skin simulation image forming method for forming a simulation image in which the color unevenness or texture of the skin is changed by recombining each image is provided.
また、本発明は、肌の内部反射光画像のうち、特定の色素成分画像を複数の空間周波数帯域の画像に分解し、該一又は複数の帯域の画像について、画素強度の度数分布を求め、その度数分布を、ピークを含む領域とその外側の端部領域の少なくとも２つの領域に分け、いずれかの領域における度数分布を関数で近似した場合の該関数の種類及びパラメータの数値と、肌の主観評価値とを対応させたデータベースを構築し、被験者の肌の内部反射光画像から得られる特定の色素成分画像の特定の周波数帯域の画素強度の度数分布を前記データベースに基づいて変化させ、特定の主観評価値を有する肌のシミュレーション画像を形成する、肌のシミュレーション画像形成方法を提供する。 In addition, the present invention decomposes a specific pigment component image into an image of a plurality of spatial frequency bands in the internal reflection light image of the skin, and obtains a frequency distribution of pixel intensity for the image of the one or more bands, The frequency distribution is divided into at least two regions including a peak region and an outer end region, and the type and parameter values of the function when the frequency distribution in any region is approximated by a function, Create a database that correlates with subjective evaluation values, change the frequency distribution of pixel intensity in a specific frequency band of a specific pigment component image obtained from the internally reflected light image of the subject's skin based on the database, and specify A skin simulation image forming method for forming a skin simulation image having a subjective evaluation value is provided.
さらに、本発明は、偏光を用いて肌の内部反射光画像と表面反射光画像を形成することのできる画像形成手段、
画像形成手段により取得した画像に基づいて肌のシミュレーション画像を形成する演算手段、及び
シミュレーション画像を表示するディスプレイ
を備えた肌のシミュレーション画像形成システムであって、
演算手段が、
内部反射光画像から独立成分分析により少なくとも１つの色素成分の成分画像を抽出し、
抽出した色素成分画像を複数の空間周波数帯域に分解し、
該一又は複数の帯域の画像について、画素強度の度数分布を求め、
その画素強度の度数分布を、ピークを含む領域とその外側の端部領域の少なくとも２つの領域に分け、
該いずれかの領域の度数分布を変化させ、
次いで各画像を再合成することにより肌の色ムラ又はテクスチュアを変化させたシミュレーション画像を形成する肌のシミュレーション画像形成システムを提供する。
Furthermore, the present invention provides an image forming means capable of forming an internal reflection light image and a surface reflection light image of the skin using polarized light,
A calculation means for forming a skin simulation image based on an image acquired by the image forming means, and a skin simulation image forming system including a display for displaying the simulation image,
The computing means is
Extracting component images of at least one pigment component from the internally reflected light image by independent component analysis,
Decompose the extracted dye component image into multiple spatial frequency bands,
Obtain a frequency distribution of pixel intensity for the image of one or more bands,
The frequency distribution of the pixel intensity is divided into at least two regions, a region including a peak and an outer end region,
Change the frequency distribution of any of these areas,
Next, a skin simulation image forming system for forming a simulation image in which the color unevenness or texture of the skin is changed by recombining each image is provided.
本発明によれば、特定の演算手段を組み込んだコンピュータの処理により、被験者の肌画像上で、その肌の質感や地肌の色の自然さを損なうことなく、毛穴、シミ、ニキビ痕等、メラニンに起因する色ムラや、ニキビの発疹、鬱血など血液に起因する色ムラによるテクスチャを変化させたシミュレーション画像を形成することができる。 According to the present invention, melanin such as pores, blemishes, acne scars, etc. can be obtained on the skin image of the subject without impairing the texture of the skin or the natural color of the background by the processing of a computer incorporating a specific calculation means. It is possible to form a simulation image in which the texture due to color unevenness caused by blood, such as color unevenness caused by blood, acne rash, and congestion, is changed.
また、実際の肌において、毛穴、シミ、ニキビ痕等による色ムラには種々の大きさのものがあるが、本発明によれば、特定の大きさの色ムラを生成、増加、減少、あるいは消失させることができる。またこれにより、肌の色素分布のランダムさに由来するテクスチャも変化させることができる。 Further, in actual skin, there are various sizes of color unevenness due to pores, spots, acne marks, etc., but according to the present invention, color unevenness of a specific size is generated, increased, decreased, or Can be eliminated. This also makes it possible to change the texture derived from the random distribution of skin pigment.
したがって、本発明によれば、シミュレーション画像上に手作業で毛穴、シミ等を分布させることが不要となり、特定の主観価値を与えるシミュレーション画像を形成することが可能となる。 Therefore, according to the present invention, it is not necessary to manually distribute pores, spots, etc. on the simulation image, and a simulation image giving a specific subjective value can be formed.
以下、図面を参照しつつ、本発明を詳細に説明する。なお、各図中、同一符号は同一又は同等の構成要素を表している。 Hereinafter, the present invention will be described in detail with reference to the drawings. In each figure, the same numerals indicate the same or equivalent components.
図１は、本発明の一態様の肌のシミュレーション画像形成システムとそこで行われる肌のシミュレーション画像形成方法の工程図である。 FIG. 1 is a process diagram of a skin simulation image forming system of one embodiment of the present invention and a skin simulation image forming method performed there.
このシステムは、偏光を用いて肌の内部反射光画像と表面反射光画像を形成することのできる画像形成手段１、画像形成手段１により取得した画像に基づいて肌のシミュレーション画像を形成する演算手段２、及びシミュレーション画像を表示するディスプレイ３からなっている。
This system includes an image forming unit 1 capable of forming an internal reflection light image and a surface reflection light image of skin using polarized light, and a calculation unit that forms a skin simulation image based on an image acquired by the image formation unit 1. 2 and a
画像形成手段１は、より具体的には、照明用の光源４、デジタルカメラ５、光源４とデジタルカメラ５の前面にそれぞれ着脱自在に設けられた偏光板６、７から構成することができる。
More specifically, the image forming means 1 can be composed of a light source 4 for illumination, a
また、演算手段２としては、後述する画像処理機能を備えたパーソナルコンピュータを使用することができる。パーソナルコンピュータには、被験者の通常画像、内部反射光画像、表面反射光画像、シミュレーション画像等を適宜切り替え、あるいは同時に表示することのできるディスプレイ３を接続し、さらに、プリンタを接続してもよい。
As the calculation means 2, a personal computer having an image processing function to be described later can be used. The personal computer may be connected to a
このシステムにおいて、肌のシミュレーション画像の形成には、まず、被験者の素肌について、内部反射光画像と表面反射光画像を取得する。 In this system, in order to form a skin simulation image, first, an internal reflection light image and a surface reflection light image are acquired for the skin of the subject.
内部反射光画像は、デジタルカメラ５の前面の偏光板７を、光源４の前面の偏光板６に対して偏光方向が直交するように装着し、表面反射光成分を除去することにより形成することができる。なお、シミュレーション対象とする肌の部位に制限はなく、顔、腕、胸元等任意の部位とすることができる。また、画像を取得し、シミュレーション画像を形成する領域は、画像形成領域の全域でもよく一部でもよい。
The internally reflected light image is formed by mounting the polarizing plate 7 on the front surface of the
表面反射光画像は、デジタルカメラ５の前面の偏光板７を、光源４の前面の偏光板６と偏光方向が同じになるように装着して得た画像と、偏光板７を偏光板６と偏光方向が直交するように装着して得た画像との差分から形成することができる。
The surface reflected light image includes an image obtained by attaching the polarizing plate 7 on the front surface of the
なお、画像形成手段１では、参照用に、偏光板６、７を用いることなく撮影を行い、通常画像も取得することが好ましい。 In addition, it is preferable that the image forming unit 1 captures images without using the polarizing plates 6 and 7 and obtains a normal image for reference.
次に、演算手段２により、内部反射光画像に対して独立成分分析を行い、内部反射光画像から少なくとも一つの色素成分の成分画像を抽出する。例えば、内部反射光画像をメラニン成分内部反射光画像とヘモグロビン成分内部反射光画像と影成分内部反射光画像に分離し、シミ等のメラニンによる色ムラをシミュレーション画像で変化させる場合には、メラニン成分内部反射光画像を抽出する。また、ニキビによる赤み、細い血管が浮き上がったように見える線状の赤み、鬱血等のヘモグロビンによる色ムラをシミュレーション画像で変化させる場合には、ヘモグロビン成分内部反射光画像を抽出する。 Next, the calculation unit 2 performs independent component analysis on the internally reflected light image, and extracts a component image of at least one pigment component from the internally reflected light image. For example, when separating the internally reflected light image into a melanin component internally reflected light image, a hemoglobin component internally reflected light image, and a shadow component internally reflected light image, and changing color unevenness due to melanin such as spots in the simulation image, the melanin component An internal reflected light image is extracted. In addition, in the case where color unevenness due to hemoglobin such as redness due to acne, linear redness that seems to have lifted a thin blood vessel, and congestion is changed in a simulation image, a hemoglobin component internal reflection light image is extracted.
ここで、独立成分分析とは、皮膚の層構造を、メラニンを主な色素成分として含有する表皮層と、ヘモグロビンを主な色素成分として含有する真皮層と、その他の色素成分を含有する皮下組織との積層構造であるとモデル化し、各層から独立的に信号が発せられ、それらが混合したものが画像信号になっていると考え、画像信号から各層の信号を分離抽出する分析方法である。 Here, independent component analysis refers to the skin layer structure, the epidermal layer containing melanin as the main pigment component, the dermis layer containing hemoglobin as the main pigment component, and the subcutaneous tissue containing other pigment components. This is an analysis method that separates and extracts the signals of each layer from the image signal, considering that the signal is emitted independently from each layer and the mixture of them is an image signal.
より具体的には、画像信号のＲＧＢについて、−log(Ｒ)、−log(Ｇ)、−log(Ｂ)をそれぞれｘ軸、ｙ軸、ｚ軸に割当て、肌の平坦部分の肌色をそこに色空間マッピングすると図２（ａ）に示すように、ほぼ平面状に分布することから、肌色には２成分が寄与していることがわかる。この独立的な２成分の信号強度を、それぞれメラニン量あるいはヘモグロビン量に対応するものと考え、図２（ｂ）に示すように、肌色は、メラニンの成分ベクトル（-log(Ｂ)に近い方）とヘモグロビンの成分ベクトル（-log(Ｇ)に近い方）の合成ベクトルであると考える。そこで、個々の被験者の内部反射光画像の信号から、メラニン量を表す信号あるいはヘモグロビン量を表す信号を抽出し、メラニン成分量の分布画像とヘモグロビン成分量の分布画像を出力する。但し、起伏や照明ムラのある場合には、あらかじめ取得した光源成分のベクトルの方向に沿って、メラニン、ヘモグロビン両ベクトルを含む平面上に射影して陰影成分を除去したメラニン、ヘモグロビン両成分量を得る。また、内部反射光画像からメラニン成分量の分布画像とヘモグロビン成分量の分布画像を差し引くことにより、陰影成分の内部反射光画像を得る。 More specifically, for RGB of the image signal, -log (R), -log (G), and -log (B) are assigned to the x-axis, y-axis, and z-axis, respectively, and the skin color of the flat portion of the skin is there. When the color space mapping is performed, the distribution is almost flat as shown in FIG. 2A, so that it is understood that two components contribute to the skin color. This independent two-component signal intensity is considered to correspond to the amount of melanin or hemoglobin, respectively, and as shown in FIG. 2B, the skin color is closer to the component vector of melanin (-log (B)) ) And the hemoglobin component vector (the one closer to -log (G)). Therefore, a signal representing the amount of melanin or a signal representing the amount of hemoglobin is extracted from the signal of the internally reflected light image of each subject, and a distribution image of the melanin component amount and a distribution image of the hemoglobin component amount are output. However, if there are undulations or illumination unevenness, the amount of both melanin and hemoglobin components obtained by projecting onto the plane containing both the melanin and hemoglobin vectors and removing the shadow components along the direction of the vector of the light source component acquired in advance is calculated. obtain. Further, by subtracting the distribution image of the melanin component amount and the distribution image of the hemoglobin component amount from the internal reflection light image, an internal reflection light image of the shadow component is obtained.
このような解析処理と画像処理の詳細はVol. 16, No. 9/ September 1999/ J. Opt. Soc. Am. A 2169に記載されており、パーソナルコンピュータに、市販の画像解析ソフト（例えば、AdobePhotoshop）を搭載することにより行うことができる。 Details of such analysis processing and image processing are described in Vol. 16, No. 9 / September 1999 / J. Opt. Soc. Am. A 2169, and commercially available image analysis software (for example, This can be done by installing Adobe Photoshop).
次に、抽出した色素成分画像の一又は複数画像を、例えば画像ピラミッド法により複数の空間周波数帯域に分解する（D.J.Heeger, J.R.Bergen, COMPUTER GRAPHICS PROCEEDINGS,p229-238(1995)）。 Next, one or a plurality of extracted pigment component images are decomposed into a plurality of spatial frequency bands by, for example, an image pyramid method (D.J.Heeger, J.R.Bergen, COMPUTER GRAPHICS PROCEEDINGS, p229-238 (1995)).
画像ピラミッド法は、サブバンド変換の一種で、高解像度から低解像度までの解像度の異なる複数のサブバンドの集合に画像を分解し、それぞれのサブバンドを他のサブバンドと独立的に処理し、分解したサブバンドを再合成する手法である。画像ピラミッドには、ガウシアンピラミッド、ラプラシアンピラミッド、スティーラブルピラミッド等、その基底関数によって様々な種類がある。本発明においては、シミ等の肌の色素分布に方向性がないと考えられ、色ムラに対しては等方的な周波数情報を保持するガウシアンピラミッドやラプラシアンピラミッドを用いることが好ましく、また、線状の色ムラに対しては、線状のフィルターを使用するスティーラブルピラミッドを用いることが好ましい。 The image pyramid method is a type of subband transformation, which decomposes an image into a set of subbands with different resolutions from high resolution to low resolution, and processes each subband independently of the other subbands. This is a technique for recombining the decomposed subbands. There are various types of image pyramids depending on their basis functions, such as Gaussian pyramid, Laplacian pyramid, steerable pyramid. In the present invention, it is considered that there is no directionality in the pigment distribution of skin such as a stain, and it is preferable to use a Gaussian pyramid or a Laplacian pyramid that retains isotropic frequency information for color unevenness. It is preferable to use a steerable pyramid that uses a linear filter for uneven color.
画像ピラミッド法でメラニン成分内部反射光画像を複数の空間周波数帯域に分解するにあたり、好ましい空間周波数帯域の設定は、着目する色ムラの大きさ、撮影倍率等に応じて適宜定めることができる。例えば、例えば、着目する肌の色ムラが、直径０．５ｍｍ程度の毛穴、直径数ｍｍ程度の小さいシミ、直径数ｍｍ〜十数ｍｍ程度の大きいシミの３種類であるならば、それぞれをシミュレーション画像上で増減させる場合に、最も細かい毛穴の大きさを充分再現できる高い解像度の画像を取得し、対象とする色ムラの画像上での大きさに対応して３つの帯域に分けることが好ましい。 When the melanin component internally reflected light image is decomposed into a plurality of spatial frequency bands by the image pyramid method, a preferable spatial frequency band setting can be appropriately determined according to the size of the color unevenness to be noted, the photographing magnification, and the like. For example, if there are three types of skin color unevenness of interest: pores with a diameter of about 0.5 mm, small spots with a diameter of several millimeters, and large spots with a diameter of several millimeters to several tens of millimeters, each is simulated. When increasing or decreasing on the image, it is preferable to acquire a high-resolution image that can sufficiently reproduce the size of the finest pores and divide the image into three bands corresponding to the size of the target color unevenness on the image. .
こうして画像ピラミッド法により分解した空間周波数帯域の異なる画像は、それぞれ特定の色素成分に由来する、大きさの異なる色ムラの情報と、肌の色素分布のランダムさに由来するテクスチャの情報を保持している。 Images with different spatial frequency bands resolved by the image pyramid method in this way retain color unevenness information of different sizes and texture information derived from the random distribution of skin pigments. ing.
特に、メラニン成分に由来する色ムラについては、複数の空間周波数帯域に分解した画像のうち、色ムラの大きさに対応する帯域の画像について画素強度の度数分布を求めると、例えば、図３（ａ）に示すようにシミの少ない肌の場合、図３（ｂ）に示すように、直径１．５〜３．０ｍｍの色ムラに対応する空間周波数帯域の画像の画素強度のヒストグラムのように、画素強度の度数分布が左右対称となるのに対し、図４（ａ）に示すように外見上シミの目立つ肌の場合、図４（ｂ）に示す同帯域の画像のヒストグラムのように、画素強度の高い領域に特異的な度数分布が見られる（破線で囲った領域）。また、白斑のある肌の場合、画素強度の低い領域に特異的な度数分布が見られる（図示せず）。なお、図３（ａ）、図４（ａ）は、特開２００２−２０００５０号公報記述の偏光板を用いた撮影方法で得られた肌画像から、メラニン成分を抽出して得た画像である。 In particular, regarding the color unevenness derived from the melanin component, when the frequency distribution of the pixel intensity is obtained for an image in a band corresponding to the size of the color unevenness among images decomposed into a plurality of spatial frequency bands, for example, FIG. In the case of skin with few spots as shown in a), as shown in FIG. 3B, a pixel intensity histogram of an image in a spatial frequency band corresponding to color unevenness with a diameter of 1.5 to 3.0 mm is used. In contrast, the frequency distribution of the pixel intensity is symmetric, whereas in the case of skin with a noticeable spot as shown in FIG. 4A, as in the histogram of the image in the same band shown in FIG. A specific frequency distribution is seen in a region with high pixel intensity (region surrounded by a broken line). In the case of skin with vitiligo, a specific frequency distribution is seen in a region with low pixel intensity (not shown). 3A and 4A are images obtained by extracting a melanin component from a skin image obtained by a photographing method using a polarizing plate described in JP-A-2002-200050. .
そこで、本発明では、複数の空間周波数帯域に分解した画像のうち、色ムラの大きさに対応する、一又は複数の空間周波数帯域の画像について、画素強度の度数分布を求め、画素強度の度数分布を、ピークを含む中央部領域Ａとその外側の端部領域Ｂの少なくとも２つの領域に分け、いずれかの領域、例えば端部領域Ｂの度数分布を変化させ、次いで各画像を再合成する。この端部領域Ｂは、ピークを含む領域Ａの高画素強度側でもよく、低画素強度側でもよく、その双方でもよい。これにより、特定の空間周波数帯域に対応する大きさの濃色又は白斑のムラを選択的に生成、増加、減少あるいは消失させることができる。また、端部領域Ｂとともにピークを含む領域Ａも変化させることで肌の持つ年齢印象を変化させることもできる。 Therefore, in the present invention, a frequency distribution of pixel intensity is obtained for an image in one or a plurality of spatial frequency bands corresponding to the size of color unevenness among images decomposed into a plurality of spatial frequency bands, and the frequency of pixel intensity is obtained. The distribution is divided into at least two regions including a central region A including a peak and an end region B outside the peak region, and the frequency distribution of any region, for example, the end region B is changed, and then each image is recombined. . The end region B may be on the high pixel intensity side, the low pixel intensity side, or both of the region A including the peak. As a result, it is possible to selectively generate, increase, decrease or eliminate unevenness of dark colors or vitiligo corresponding to a specific spatial frequency band. Moreover, the age impression which a skin has can also be changed by changing the area | region A containing a peak with the edge part area | region B. FIG.
ここで、ピークを含む領域Ａは、ピークを中心とする左右対称な関数Ｆ1（ガウス分布等）で近似でき、その外側の端部領域Ｂは、非対称な別個の関数Ｆ2（指数関数等）で近似することができる。そこで、端部領域Ｂの度数分布を変化させる手法としては、端部領域Ｂを任意の関数で近似し、その関数のパラメータを変化させることが好ましい。これにより、パラメータの値と、色ムラの生成、増加、減少あるいは消失を関連づけることができる。また、ピークを含む領域Ａと端部領域Ｂとの境界を双方の関数の交点とすることができるので、端部領域Ｂの度数分布の変化量と色ムラの状態を調べるにあたり、端部領域Ｂの位置を明確に定義することができる。 Here, the region A including the peak can be approximated by a bilaterally symmetric function F1 (Gaussian distribution or the like) centered on the peak, and the outer end region B is an asymmetric separate function F2 (exponential function or the like). Can be approximated. Therefore, as a method of changing the frequency distribution of the end region B, it is preferable to approximate the end region B with an arbitrary function and change the parameters of the function. As a result, the parameter value can be associated with the generation, increase, decrease or disappearance of color unevenness. In addition, since the boundary between the region A including the peak and the end region B can be an intersection of both functions, the end region can be determined in examining the change in the frequency distribution and the state of color unevenness in the end region B. The position of B can be clearly defined.
このようにして度数分布を変化させた後の、各画像の再合成の方法は、例えば、複数の帯域に分解したメラニン成分内部反射光画像を合成してメラニン成分の修正内部反射光画像を形成し、さらに、この画像とメラニン成分以外の内部反射光画像（具体的には、ヘモグロビン成分内部反射光画像と陰影成分内部反射光画像）を合成することにより合成内部反射光画像を形成し、合成内部反射光画像と元の表面反射光画像を合成することにより肌の色ムラを変化させたシミュレーション画像を形成する。 The method of recombining each image after changing the frequency distribution in this way, for example, forms a melanin component modified internal reflection image by combining the melanin component internal reflection image decomposed into a plurality of bands Furthermore, a composite internal reflection light image is formed by combining this image and an internal reflection light image other than the melanin component (specifically, a hemoglobin component internal reflection light image and a shadow component internal reflection light image). By synthesizing the internally reflected light image and the original surface reflected light image, a simulation image in which the color unevenness of the skin is changed is formed.
こうして得られた肌のシミュレーション画像は、元画像の肌の質感や肌の色を保持しつつ色ムラだけが増加あるいは減少した自然な印象の画像となる。 The skin simulation image thus obtained is a natural impression image in which only the color unevenness is increased or decreased while retaining the skin texture and skin color of the original image.
また、本発明の肌のシミュレーション画像形成方法によれば、シミュレーション画像の形成に用いる画素強度の度数分布と、そのシミュレーション画像の肌の主観的評価値とを対応させたデータベースを構築することができる。そして、例えば化粧品売場の店頭において、顧客の肌の内部反射光画像から得られる特定の周波数帯域の画素強度の度数分布を前記データベースに基づいて変化させ、顧客が望む主観評価値の肌、美容部員が顧客に推奨したい主観評価値の肌等をシミュレーション画像として表示し、顧客に認識してもらうのに役立てることができる。ここで、肌の主観評価値とは、肌の見え方を一対比較法、系列範疇法、マグニチュード推定法などの官能評価手法で評価した数値をいう。 According to the skin simulation image forming method of the present invention, it is possible to construct a database in which the frequency distribution of the pixel intensity used for forming the simulation image is associated with the subjective evaluation value of the skin of the simulation image. . Then, for example, at a store of a cosmetics department, the frequency distribution of the pixel intensity in a specific frequency band obtained from the internal reflection light image of the customer's skin is changed based on the database, and the skin of the subjective evaluation value desired by the customer, the beauty staff Can display the skin of the subjective evaluation value that the customer wants to recommend to the customer as a simulation image to help the customer recognize it. Here, the subjective evaluation value of skin refers to a numerical value obtained by evaluating how the skin looks with a sensory evaluation method such as a paired comparison method, a series category method, and a magnitude estimation method.
また、種々の化粧品と、その使用により変化し得る毛穴やシミの主観的評価と、前述の端部領域Ｂあるいは中央部領域Ａを近似する関数とそのパラメータについてデータベースを構築し、あるいは特定の化粧品の継続使用日数とその場合の毛穴やシミの目立ち程度の変化と、前述の端部領域Ｂあるいは中央部領域Ａを近似する関数とそのパラメータについてデータベースを構築し、これらのデータベースに基づいて、顧客に対し、特定の化粧品を使用することにより改善された肌のシミュレーション画像を提示し、その化粧品を推奨するといった化粧品の推奨、販売に役立てることができる。 In addition, various cosmetics, subjective evaluation of pores and stains that may change depending on their use, and a database for functions and parameters that approximate the end region B or the central region A described above, or specific cosmetics A database is constructed for the number of days of continuous use, the change in the degree of conspicuous pores and spots, the function that approximates the end region B or the central region A and its parameters, and based on these databases, On the other hand, it is possible to present a simulation image of the skin that has been improved by using a specific cosmetic product, and to recommend and sell the cosmetic product.
さらに、種々の肌について、見えに関する主観評価値や年齢と、前述の端部領域Ｂ又は中央部領域Ａを近似する関数とそのパラメータについデータベースを構築することにより、年齢による肌の見え方の変化を客観的指標で調べることができる。 Furthermore, by constructing a database for subjective evaluation values and ages related to appearance, functions approximating the end region B or the central region A and parameters thereof for various skins, changes in the appearance of the skin with age Can be examined with objective indicators.
実施例１
日本人女性１００名を被験者とし、その頬部位の画像を、デジタルカメラに偏光板を用いて0.1ｍｍ／画素の解像度で取得（30mm／256画素）し、その内部反射光画像について、独立成分分析をすることによりメラニン成分内部反射光画像とヘモグロビン成分内部反射光画像と陰影成分内部反射光画像を得、メラニン成分内部反射光画像をラプラシアンピラミッド法により５階層の空間周波数帯域に分解し、その画素強度の度数分布をヒストグラムにした。ここで、空間周波数帯域の分け方は、高周波側から１〜２階層を高周波帯域画像（高解像度画像）、３〜４階層を中間周波帯域画像（中間解像度画像）、第５階層を低周波帯域画像（低解像度画像）とした。これらの空間周波数は、本実施例の撮影条件では、それぞれ径０．７〜１．５ｍｍの色ムラ、径１．５〜３．０ｍｍの色ムラ、径６〜１２ｍｍの色ムラに対応する。
Example 1
Using 100 Japanese women as subjects, images of the cheeks were acquired at a resolution of 0.1 mm / pixel using a polarizing plate in a digital camera (30 mm / 256 pixels), and independent component analysis was performed on the internally reflected light image. The melanin component internally reflected light image, the hemoglobin component internally reflected light image, and the shadow component internally reflected light image are obtained, and the melanin component internally reflected light image is decomposed into five layers of spatial frequency bands by the Laplacian pyramid method. The frequency distribution of intensity was made into a histogram. Here, the spatial frequency band is divided into a high frequency band image (high resolution image) for the first to second layers from the high frequency side, an intermediate frequency band image (intermediate resolution image) for the third to fourth layers, and a lower frequency band for the fifth layer. An image (low resolution image) was used. These spatial frequencies correspond to color irregularities having a diameter of 0.7 to 1.5 mm, color irregularities having a diameter of 1.5 to 3.0 mm, and color irregularities having a diameter of 6 to 12 mm, respectively, under the photographing conditions of this embodiment.
得られたヒストグラムのピークを含む中央部領域Ａを、次式（１）のガウス関数で近似した。 The central area A including the peak of the obtained histogram was approximated by a Gaussian function of the following equation (1).
また、第１階層〜第４階層については、端部領域Ｂを次式（２）の減衰関数で近似した。 For the first to fourth layers, the end region B is approximated by an attenuation function of the following equation (2).
ただし、ｍｉは各階層におけるＡＢ２つの領域の分離境界で、ｍ(1)＝−0.022、ｍ(2)＝−0.022、ｍ(3)＝−0.045、ｍ(4)＝−0.045である。また、ｘｍｉは各階層の画素強度の平均値である。 However, m i is the separation boundary AB2 one region in each layer, m (1) = -0.022, m (2) = -0.022, m (3) = -0.045, m (4) a = -0.045. X mi is an average value of pixel intensities in each layer.
得られたヒストグラムとガウス関数を図５（ａ）〜（ｅ）に示し、第１階層〜第４階層における、ピークを含む領域Ａと端部領域Ｂの分割の概念図を図６に示す。 The obtained histogram and Gaussian function are shown in FIGS. 5A to 5E, and FIG. 6 is a conceptual diagram of the division of the region A including the peak and the end region B in the first to fourth layers.
第３階層と第４階層の端部領域Ｂを近似する減衰関数のパラメータＡ(3)、Ａ(4)を表１のように各々３段階に変化させ、それぞれの場合について、各画像を再合成して得たシミュレーション画像と、変化させる前のオリジナル画像とのシミの見え方の評価値を求めた。 The attenuation function parameters A (3) and A (4) approximating the end regions B of the third layer and the fourth layer are changed in three stages as shown in Table 1, and in each case, each image is reproduced again. The evaluation value of the appearance of the stain between the synthesized image obtained by the synthesis and the original image before being changed was obtained.
ここで、評価値は、シミュレーション画像とオリジナル画像とのシミの見え方を以下の基準により数値化したものである。１００名の評価値の平均を表１に示す。 Here, the evaluation value is obtained by quantifying the appearance of the stain between the simulation image and the original image according to the following criteria. Table 1 shows the average of the evaluation values of 100 people.
評価値１：シミの面積について、シミュレーション画像がオリジナル画像よりも少ない
評価値２：シミの面積について、シミュレーション画像がオリジナル画像よりもやや少ない
評価値３：シミの面積について、シミュレーション画像とオリジナル画像は同程度である
評価値４：シミの面積について、シミュレーション画像がオリジナル画像よりもやや多い
評価値５：シミの面積について、シミュレーション画像がオリジナル画像よりも多い
Evaluation value 1: About the area of the stain, the simulation image is less than the original image Evaluation value 2: About the area of the stain, the simulation image is slightly less than the original image Evaluation value 3: About the area of the stain, the simulation image and the original image are Evaluation value 4: About the area of the spot, the simulation image is slightly larger than the original image Evaluation value 5: About the area of the spot, the simulation image is larger than the original image
［表１］
（評価値）
(Evaluation value)
表１から、端部領域Ｂの近似関数のパラメータを変化させることにより、シミの見え方が大きく変化することが確認できた。 From Table 1, it has been confirmed that the appearance of the stain changes greatly by changing the parameters of the approximate function of the end region B.
実施例２
実施例１で５つの空間周波数帯域に分解したメラニン成分内部反射光画像の各階層について、表２に示すように、式（１）のガウス関数と式（２）の減衰関数について合計１０個のパラメータを求め、同様に、ヘモロビン成分内部反射光画像についても、式（１）のガウス関数と式（２）の減衰関数の合計１０個のパラメータを求めた。
Example 2
As shown in Table 2, for each layer of the melanin component internally reflected light image decomposed into five spatial frequency bands in Example 1, a total of 10 Gaussian functions of Expression (1) and attenuation functions of Expression (2) are used. Similarly, for the hemoglobin component internally reflected light image, a total of 10 parameters of the Gaussian function of Equation (1) and the attenuation function of Equation (2) were obtained.
表２のパラメータ中、標準偏差は、前述の式（１）のσi （i=1,2,3,4,5）である。この標準偏差は、１００名の頬画像からそれぞれメラニン成分あるいはヘモグロビン成分を抽出し、各画素のRチャンネル、Gチャンネル、Bチャンネルの値の平均値をとり、白黒画像を取得し、その白黒画像の全体（あるいは部分的な）領域をピラミッド解析して得た各階層画像から取得した。 Among the parameters in Table 2, the standard deviation is σi (i = 1, 2, 3, 4, 5) of the above-described equation (1). This standard deviation is obtained by extracting the melanin component or hemoglobin component from the cheek images of 100 people, taking the average value of the R channel, G channel, and B channel values of each pixel, obtaining a black and white image, The whole (or partial) region was obtained from each hierarchical image obtained by pyramid analysis.
明度平均は、ピラミッド解析前の白黒画像における全体の画素強度の平均である。 The brightness average is an average of the entire pixel intensity in the black and white image before the pyramid analysis.
減衰関数の高さＡ１、Ａ２は、前述の式（２）のＡiである。 The heights A1 and A2 of the attenuation function are Ai in the above equation (2).
各パラメータはそのまま用いてもよいが、パラメータと見えとの対応をよくするため、次のように規格化した。まず、各パラメータを単独で徐々に変化させたシミュレーション画像を被験者に提示し、変化が見て取れた最小変化量を弁別閾とした。各パラメータに対する弁別閾を表２に示した。 Each parameter may be used as it is, but is standardized as follows in order to improve the correspondence between the parameters and the appearance. First, a simulation image in which each parameter was gradually changed independently was presented to the subject, and the minimum change amount at which the change was observed was taken as the discrimination threshold. The discrimination threshold for each parameter is shown in Table 2.
規格前のメラニン成分の第１階層のピークを含む領域Ａの標準偏差パラメータをσ１(m)としたとき、次式にて見えによる重みによって規格化を行い、σ１(m)'を得た。 When the standard deviation parameter of the region A including the peak of the first layer of the pre-standard melanin component is σ1 (m), normalization is performed by the weight according to the appearance according to the following equation, and σ1 (m) ′ is obtained.
σ１(m)'＝σ１(m)／Δσ１(m)
σ1 (m) '= σ1 (m) / Δσ1 (m)
［表２］
一方、１００人の被験者の肌画像のそれぞれについて、見え（赤みムラ・しみ等）の評価値を系列範疇法にて求めた。そして、この評価値と、年齢あるいは上述の各パラメータとを重回帰式により関連づけた。なお、パラメータの数を減らすために主成分分析にて複数の軸をまとめ、次元削減したパラメータを用いてもよい。 On the other hand, with respect to each of the skin images of 100 subjects, evaluation values of appearance (redness unevenness, blotches, etc.) were obtained by the series category method. Then, this evaluation value was associated with the age or each of the above parameters by a multiple regression equation. In order to reduce the number of parameters, a plurality of axes may be combined in the principal component analysis, and parameters with reduced dimensions may be used.
より具体的には、メラニン成分に対して主成分分析して得られた各成分の負荷量をＡｍ、Ｂｍ、Ｃｍとし、ヘモグロビン成分に対して同様に得られた負荷量をＡｈ、Ｂｈ、Ｃｈとすると、これらは次式（６）〜（11）のように、それぞれ１０個のパラメータの線形和となる。また、年齢との対応方向Ｖage、黄色ムラの方向Vyellow、赤色ムラの方向Vredは次式（３）〜（５）で表され、それぞれ、寄与率は０．５７、０．６３、０．７７５であった。
More specifically, Am, Bm, and Cm are load amounts of each component obtained by performing principal component analysis on the melanin component, and load amounts similarly obtained for the hemoglobin component are Ah, Bh, and Ch. Then, these are linear sums of 10 parameters, as in the following equations (6) to (11). The age-corresponding direction Vage, the yellow unevenness direction Vyellow, and the red unevenness direction Vred are expressed by the following equations (3) to (5), and the contribution ratios are 0.57, 0.63, and 0.775, respectively. Met.
（式中、
p1＝0.1、p2＝0.2、p3＝0.2、p4＝0.1、p5＝0.2、p6＝0.9、p7＝0.2、p8＝0.01、p9＝0.05、p10＝0.01、
q1＝0.0、q2＝0.25、q3＝0.4、q4＝0.3、q5＝-0.2、q6＝-0.3、q7＝0.7、q8＝0.0、q9＝0.3、q10＝0.0、
r1＝0.0、r2＝-0.15、r3＝-0.4、r4＝-0.3、r5＝0.6、r6＝-0.1、r7＝0.6、r8＝-0.05、r9＝-0.2、r10＝0.0、
l1＝0.4、l2＝0.1、l3＝0.1、l4＝0.0、l5＝-0.1、l6＝0.9、l7＝0.1、l8＝0.0、l9＝0.0、l10＝0.0、
m1＝0.5、m2＝0.4、m3＝0.5、m4４＝0.2、m5＝0.2、m6＝-0.3、m7＝0.4、m8＝0.0、m9＝0.3、m10＝0.0、
n1＝0.1、n2＝0.1、n3＝0.1、n4＝0.0、n5＝-1.0、n6＝-0.1、n7＝0.1、n8＝0.0、n9＝0.0、n10＝0.0 ）
(Where
p1 = 0.1, p2 = 0.2, p3 = 0.2, p4 = 0.1, p5 = 0.2, p6 = 0.9, p7 = 0.2, p8 = 0.01, p9 = 0.05, p10 = 0.01,
q1 = 0.0, q2 = 0.25, q3 = 0.4, q4 = 0.3, q5 = -0.2, q6 = -0.3, q7 = 0.7, q8 = 0.0, q9 = 0.3, q10 = 0.0,
r1 = 0.0, r2 = -0.15, r3 = -0.4, r4 = -0.3, r5 = 0.6, r6 = -0.1, r7 = 0.6, r8 = -0.05, r9 = -0.2, r10 = 0.0,
l1 = 0.4, l2 = 0.1, l3 = 0.1, l4 = 0.0, l5 = -0.1, l6 = 0.9, l7 = 0.1, l8 = 0.0, l9 = 0.0, l10 = 0.0,
m1 = 0.5, m2 = 0.4, m3 = 0.5, m4 = 0.2, m5 = 0.2, m6 = -0.3, m7 = 0.4, m8 = 0.0, m9 = 0.3, m10 = 0.0,
n1 = 0.1, n2 = 0.1, n3 = 0.1, n4 = 0.0, n5 = -1.0, n6 = -0.1, n7 = 0.1, n8 = 0.0, n9 = 0.0, n10 = 0.0)
そこで、シミュレーション画像を変化をさせる場合、例えば、主観評価値を１〜５の範囲で設定した場合において、元の画像が３（シミの量が中程度）の評価相当であり、シミュレーション画像で主観評価値を５（シミが多い）にする場合、５／３＝１．７となるから、黄色いムラVyellowの直線方向に沿って変化させるとき、２０個のパラメータ（メラニン・ヘモグロビンごとにσ１〜σ５、Xm、Ａ１、u1、Ａ2、u2）を１．７倍して変化させることで、シミュレーション目標のヒストグラムを作成する。それを用いて各階層画像に戻し、全階層を統合してメラニン画像とヘモグロビン画像を算出する。さらには、ヘモグロビン画像とメラニン画像を統合すれば、肌色画像を得ることができる。 Therefore, when changing the simulation image, for example, when the subjective evaluation value is set in the range of 1 to 5, the original image is equivalent to an evaluation of 3 (medium amount of stain), and the simulation image is subjective. When the evaluation value is 5 (there are many spots), 5/3 = 1.7. Therefore, when changing along the linear direction of yellow unevenness Vyellow, 20 parameters (σ1 to σ5 for each melanin / hemoglobin) , Xm, A 1, u 1, A 2, u 2) are changed by a factor of 1.7 to create a simulation target histogram. Using this, the image is returned to each hierarchical image, and all the hierarchical layers are integrated to calculate a melanin image and a hemoglobin image. Furthermore, a skin color image can be obtained by integrating the hemoglobin image and the melanin image.
本発明は、化粧品の推奨、販売など、素肌のシミュレーション画像を形成する種々の分野で有用となる。また、端部領域Ｂを近似するパラメータは、シミに及ぼす剤の評価、美肌の解析、肌の加齢変化等の指標としても有用となる。 INDUSTRIAL APPLICABILITY The present invention is useful in various fields for forming a simulation image of bare skin such as recommendation and sales of cosmetics. The parameter approximating the end region B is also useful as an index for evaluating the agent on the stain, analyzing the beautiful skin, aging changes of the skin, and the like.
１ 画像形成手段
２ 演算手段
３ ディスプレイ
４ 光源
５ デジタルカメラ
６、７ 偏光板
DESCRIPTION OF SYMBOLS 1 Image formation means 2 Calculation means 3 Display 4
Claims (7)
内部反射光画像から独立成分分析により少なくとも１つの色素成分の成分画像を抽出し、
抽出した色素成分画像を複数の空間周波数帯域に分解し、
該一又は複数の帯域の画像について、画素強度の度数分布を求め、
その度数分布を、ピークを含む領域とその外側の端部領域の少なくとも２つの領域に分け、
いずれかの領域の度数分布を変化させ、
次いで各画像を再合成することにより、肌の色ムラ又はテクスチュアを変化させたシミュレーション画像を形成する、肌のシミュレーション画像形成方法。 Acquire an internal reflection image and a surface reflection image for the subject's skin,
Extracting component images of at least one pigment component from the internally reflected light image by independent component analysis,
Decompose the extracted dye component image into multiple spatial frequency bands,
Obtain a frequency distribution of pixel intensity for the image of one or more bands,
Dividing the frequency distribution into at least two regions, a region including a peak and an outer end region,
Change the frequency distribution in any region,
Next, a skin simulation image forming method of forming a simulation image in which uneven color or texture of the skin is changed by recombining each image.
画像形成手段により取得した画像に基づいて肌のシミュレーション画像を形成する演算手段、及び
シミュレーション画像を表示するディスプレイ
を備えた肌のシミュレーション画像形成システムであって、
演算手段が、
内部反射光画像から独立成分分析により少なくとも１つの色素成分の成分画像を抽出し、
抽出した色素成分画像を複数の空間周波数帯域に分解し、
該一又は複数の帯域の画像について、画素強度の度数分布を求め、
その度数分布を、ピークを含む領域とその外側の端部領域の少なくとも２つの領域に分け、
いずれかの領域の度数分布を変化させ、
次いで各画像を再合成することにより、肌の色ムラ又はテクスチュアを変化させたシミュレーション画像を形成する、肌のシミュレーション画像形成システム。
Image forming means capable of forming internally reflected light image and surface reflected light image of skin using polarized light;
A calculation means for forming a skin simulation image based on an image acquired by the image forming means, and a skin simulation image forming system including a display for displaying the simulation image,
The computing means is
Extracting component images of at least one pigment component from the internally reflected light image by independent component analysis,
Decompose the extracted dye component image into multiple spatial frequency bands,
Obtain a frequency distribution of pixel intensity for the image of one or more bands,
Dividing the frequency distribution into at least two regions, a region including a peak and an outer end region,
Change the frequency distribution in any region,
Next, a skin simulation image forming system for forming a simulation image in which the color unevenness or texture of the skin is changed by recombining each image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004107348A JP4506245B2 (en) | 2004-03-31 | 2004-03-31 | Skin simulation image forming method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004107348A JP4506245B2 (en) | 2004-03-31 | 2004-03-31 | Skin simulation image forming method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009277771A Division JP4756398B2 (en) | 2009-12-07 | 2009-12-07 | Skin simulation image forming method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005293231A true JP2005293231A (en) | 2005-10-20 |
| JP4506245B2 JP4506245B2 (en) | 2010-07-21 |
Family
ID=35326092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004107348A Expired - Lifetime JP4506245B2 (en) | 2004-03-31 | 2004-03-31 | Skin simulation image forming method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4506245B2 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007171199A (en) * | 2005-12-21 | 2007-07-05 | General Electric Co <Ge> | Eddy current inspection system for testing component |
| JP2009294958A (en) * | 2008-06-05 | 2009-12-17 | Kao Corp | Method of synthesizing face image |
| JP2011022733A (en) * | 2009-07-14 | 2011-02-03 | Shiseido Co Ltd | Device and program for simulating makeup, and counter selling support method |
| JP2011118655A (en) * | 2009-12-03 | 2011-06-16 | Kao Corp | Apparatus and method for processing image |
| JP2011118671A (en) * | 2009-12-03 | 2011-06-16 | Kao Corp | Apparatus, method and system for processing image, skin evaluation method |
| JP2011130808A (en) * | 2009-12-22 | 2011-07-07 | Kao Corp | Information processing device, information processing method, and program |
| JP2014002504A (en) * | 2012-06-18 | 2014-01-09 | Toshiba Corp | Image processing apparatus, method and program |
| US8792708B2 (en) | 2009-11-13 | 2014-07-29 | Samsung Electronics Co., Ltd. | Method and apparatus for rendering a three-dimensional object from a two-dimensional image |
| WO2015122102A1 (en) * | 2014-02-13 | 2015-08-20 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image processing method, and recording medium |
| JP2020091852A (en) * | 2018-12-03 | 2020-06-11 | シャネル パフュームズ ビューテ | Method for simulating realistic rendering of makeup product |
| JP2020157743A (en) * | 2019-03-28 | 2020-10-01 | 株式会社ミマキエンジニアリング | Layer structure prediction method and device for layer structure prediction |
| JP2022020117A (en) * | 2020-07-20 | 2022-02-01 | 日本メナード化粧品株式会社 | Skin color unevenness evaluation device, skin color unevenness evaluation method and skin color unevenness evaluation program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002200050A (en) * | 2000-12-28 | 2002-07-16 | Kao Corp | Skin color meter, skin color diagnostic machine, and face image processor |
| JP2002203238A (en) * | 2000-12-28 | 2002-07-19 | Kao Corp | Formation of bare skin simulation image |
| JP2003069825A (en) * | 2001-06-14 | 2003-03-07 | Matsushita Electric Ind Co Ltd | Automatic grey level correction apparatus, automatic grey level correction method, and automatic grey level correction program storage medium |
-
2004
- 2004-03-31 JP JP2004107348A patent/JP4506245B2/en not_active Expired - Lifetime
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002200050A (en) * | 2000-12-28 | 2002-07-16 | Kao Corp | Skin color meter, skin color diagnostic machine, and face image processor |
| JP2002203238A (en) * | 2000-12-28 | 2002-07-19 | Kao Corp | Formation of bare skin simulation image |
| JP2003069825A (en) * | 2001-06-14 | 2003-03-07 | Matsushita Electric Ind Co Ltd | Automatic grey level correction apparatus, automatic grey level correction method, and automatic grey level correction program storage medium |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007171199A (en) * | 2005-12-21 | 2007-07-05 | General Electric Co <Ge> | Eddy current inspection system for testing component |
| JP2009294958A (en) * | 2008-06-05 | 2009-12-17 | Kao Corp | Method of synthesizing face image |
| JP2011022733A (en) * | 2009-07-14 | 2011-02-03 | Shiseido Co Ltd | Device and program for simulating makeup, and counter selling support method |
| US9443345B2 (en) | 2009-11-13 | 2016-09-13 | Samsung Electronics Co., Ltd. | Method and apparatus for rendering three-dimensional (3D) object |
| US8792708B2 (en) | 2009-11-13 | 2014-07-29 | Samsung Electronics Co., Ltd. | Method and apparatus for rendering a three-dimensional object from a two-dimensional image |
| JP2011118655A (en) * | 2009-12-03 | 2011-06-16 | Kao Corp | Apparatus and method for processing image |
| JP2011118671A (en) * | 2009-12-03 | 2011-06-16 | Kao Corp | Apparatus, method and system for processing image, skin evaluation method |
| JP2011130808A (en) * | 2009-12-22 | 2011-07-07 | Kao Corp | Information processing device, information processing method, and program |
| JP2014002504A (en) * | 2012-06-18 | 2014-01-09 | Toshiba Corp | Image processing apparatus, method and program |
| WO2015122102A1 (en) * | 2014-02-13 | 2015-08-20 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image processing method, and recording medium |
| US9967434B2 (en) | 2014-02-13 | 2018-05-08 | Ricoh Company, Ltd. | Image processing apparatus, system, method, and program product for adjusting saturation of a skin area while maintaining converted hue |
| JP2020091852A (en) * | 2018-12-03 | 2020-06-11 | シャネル パフュームズ ビューテ | Method for simulating realistic rendering of makeup product |
| JP7127004B2 (en) | 2018-12-03 | 2022-08-29 | シャネル パフュームズ ビューテ | A method for simulating realistic rendering of makeup products |
| US11594071B2 (en) | 2018-12-03 | 2023-02-28 | Chanel Parfums Beaute | Method for simulating the realistic rendering of a makeup product |
| JP2020157743A (en) * | 2019-03-28 | 2020-10-01 | 株式会社ミマキエンジニアリング | Layer structure prediction method and device for layer structure prediction |
| JP7162219B2 (en) | 2019-03-28 | 2022-10-28 | 株式会社ミマキエンジニアリング | Layer structure prediction method and layer structure prediction device |
| JP2022020117A (en) * | 2020-07-20 | 2022-02-01 | 日本メナード化粧品株式会社 | Skin color unevenness evaluation device, skin color unevenness evaluation method and skin color unevenness evaluation program |
| JP7412767B2 (en) | 2020-07-20 | 2024-01-15 | 日本メナード化粧品株式会社 | Skin color unevenness evaluation device, skin color unevenness evaluation method, and skin color unevenness evaluation program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4506245B2 (en) | 2010-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102031367B1 (en) | Method for characterizing the tone of the skin or integuments | |
| CA2604684A1 (en) | Method of estimating a visual evaluation value of beauty of a skin | |
| CN105263399B (en) | Transparent sensation evaluating device, transparent appraisal method | |
| JP4506245B2 (en) | Skin simulation image forming method | |
| US20080080766A1 (en) | Apparatus and Method for Analyzing Skin Using L*a*b* Colorspace | |
| JP5405994B2 (en) | Image processing apparatus, image processing method, image processing system, and skin evaluation method | |
| JP2002200050A (en) | Skin color meter, skin color diagnostic machine, and face image processor | |
| JPH0775629A (en) | Method and device for observing surface of skin | |
| JP2006271815A (en) | Method and system for measuring oxygen saturation of skin | |
| JP5035524B2 (en) | Facial image composition method and composition apparatus | |
| JP2007179517A (en) | Image generation method and device, and makeup simulation method and device | |
| JP4285037B2 (en) | Method for forming simulated skin image | |
| JP2004166801A (en) | Evaluation method for luster of skin | |
| JP2010198382A (en) | Simulation apparatus, simulation method and computer program | |
| JP4756398B2 (en) | Skin simulation image forming method | |
| JP4692786B2 (en) | How to analyze skin texture | |
| JP4098542B2 (en) | Skin color measuring device | |
| JP4506243B2 (en) | Skin simulation image forming method | |
| JP5399874B2 (en) | Image processing apparatus and image processing method | |
| JP2011059960A (en) | Image processor, simulation device, image processing method, simulation method, and program | |
| JP4347615B2 (en) | Image simulation method | |
| JP4385925B2 (en) | Image forming method | |
| JP4775602B2 (en) | Skin simulation image forming method | |
| JP2005000429A (en) | Method for evaluating beauty of skin | |
| JP2003256812A (en) | Make-up simulation device and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100406 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100419 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4506245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140514 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |