Nothing Special   »   [go: up one dir, main page]

KR20210032489A - 신체 영역 상의 메이크업 제품의 렌더링의 시뮬레이션 방법 - Google Patents

신체 영역 상의 메이크업 제품의 렌더링의 시뮬레이션 방법 Download PDF

Info

Publication number
KR20210032489A
KR20210032489A KR1020217004838A KR20217004838A KR20210032489A KR 20210032489 A KR20210032489 A KR 20210032489A KR 1020217004838 A KR1020217004838 A KR 1020217004838A KR 20217004838 A KR20217004838 A KR 20217004838A KR 20210032489 A KR20210032489 A KR 20210032489A
Authority
KR
South Korea
Prior art keywords
makeup
pixels
image
color parameters
body area
Prior art date
Application number
KR1020217004838A
Other languages
English (en)
Inventor
엠마누엘 모제
Original Assignee
샤넬 파르퓜 보트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤넬 파르퓜 보트 filed Critical 샤넬 파르퓜 보트
Publication of KR20210032489A publication Critical patent/KR20210032489A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명이 제안하는 신체 영역 상의 메이크업 제품의 렌더링의 시뮬레이션 방법은,
o 메이크업을 하지 않은 대상의 신체 영역의 이미지를 획득하는 단계;
o 메이크업을 하지 않은 신체 영역에 상응하는 이미지의 픽셀들의 제1 색상 파라미터들을 결정하는 단계;
o 최고 밝기 또는 적색 컴포넌트 값을 나타내는 메이크업을 하지 않은 신체 영역의 픽셀들을 식별하는 단계,
o 신체 영역에 상응하는 이미지의 픽셀들의 제2 색상 파라미터들을 결정하는 단계로서, 제2 색상 파라미터들은 메이크업 제품에 의한 신체 영역의 메이크업을 렌더링하고; 및
o 신체 영역에 상응하는 각각의 픽셀의 제1 색상 파라미터들이 보정된 제2 색상 파라미터들로 각각 변경되는 수정된 이미지를 생성하는 단계를 포함하고,
상기 결정 단계는,
- 메이크업 제품으로 메이크업된 동일한 신체 영역에 상응하는 이미지의 픽셀들의 색상 파라미터들을 출력하도록 구성된 시뮬레이션 모델을, 결정된 제1 색상 파라미터들과 시뮬레이션될 메이크업 제품의 색상 파라미터들에 적용하는 단계, 및
- 최고 밝기 또는 적색 컴포넌트 값을 가진 것으로 식별된 메이크업을 하지 않은 신체 영역의 픽셀들의 획득된 색상 파라미터들을 보정하는 단계를 포함하고,
제2 색상 파라미터는, 식별된 픽셀들에 대한 보정된 색상 파라미터들 및 신체 영역의 다른 픽셀들에 대한 시뮬레이션 모델에 의해 출력된 색상 파라미터들을 포함한다.

Description

신체 영역 상의 메이크업 제품의 렌더링의 시뮬레이션 방법
본 발명은 신체 영역 상의 메이크업(makeup) 제품의 렌더링(rendering)을 시뮬레이션하는 방법에 관한 것으로서, 상기 방법은 신체 영역에 대한 메이크업의 적용이 시뮬레이션되는 이미지의 생성을 포함한다. 본 발명은 립스틱, 매니큐어(nail polish) 및 아이섀도우(eyeshadow)의 시뮬레이션에 적용할 수 있다.
소비자가 메이크업 제품을 선택하는 것은, 메이크업 제품을 실제로 사용해 볼 가능성없이 피부(또는 손톱) 상의 메이크업 제품의 렌더링을 상상해야만 하기 때문에, 항상 용이한 것은 아니다. 때로는, 피부 상의 렌더링은 제품 자체의 색상 예컨대, 립스틱의 색상과 상당히 다를 수 있다.
상점에서, 손에 테스터(tester) 립스틱을 사용해 보거나 매니큐어로 덮인 가짜 손톱을 보게 되면, 메이크업 제품의 렌더링에 대해 더 나은 아이디어를 얻을 수 있다.
그러나, 소비자의 피부 상의 렌더링은 피부 또는 입술 색상 때문에 여전히 다를 수 있다.
또한, 점점 더 많은 화장품들은 인터넷으로 판매되고 있기 때문에 이러한 테스트가 사용될 수 없다. 따라서, 메이크업 제품들의 색상들은 패치들에 의해 렌더링되거나, 가끔 메이크업 제품으로 메이크업한 모델의 사진을 통해 제품의 색조(tint)를 더 잘 알 수 있다.
이 경우, 제품 자체의 실제 색상을 상상하고 다른 제품들과 비교하여 선택을 결정하는 것은 여전히 어려울 수 있다.
이러한 관점에서, 가상(virtual) 메이크업의 일부 응용들이 개발되었다. 일부 응용들은 대상(subject)의 피부색을 고려하지 않고 대상의 사진 상의 메이크업의 렌더링을 포함한다. 즉, 대상들의 피부색과 무관하게, 동일한 렌더링이 달성되므로, 비현실적인 시뮬레이션으로 이어진다.
또한, 문헌 US 2015145882로부터, 대상의 메이크업의 렌더링의 시뮬레이션 방법이 알려져 있는바, 대상의 이미지의 처리가 HCL(색조(Hue), 채도(Chroma), 휘도(Luminance)) 색 공간 내에서 수행되고, 입술의 평균 휘도와 입술 휘도의 맵의 계산, 및 립스틱의 휘도와 계산된 평균 휘도로부터 픽셀 휘도 당 시뮬레이션된 픽셀과 입술의 휘도의 맵의 계산에 의한 입술의 메이커업의 시뮬레이션을 포함한다. 이어서, 비율의 적용에 의해 대비(contrast)와 색조의 조정이 수행된다.
따라서, 이러한 문헌에 개시된 방법은 입술의 천연 색상을 고려하지만, 이러한 팩터는 모델 내에서 고려되지 않기 때문에 입술의 밝기(brightness)를 렌더링하지 않는다.
본 발명의 목적은 대상의 메이크업 제품의 렌더링의 시뮬레이션을 개선하는 것이다.
특히, 본 발명은 가능한 한 렌더링이 현실에 가까운 대상의 메이크업 제품의 렌더링의 시뮬레이션 방법을 제공하는 것을 목적으로 한다.
본 발명의 또 다른 목적은 대상의 메이크업 영역의 밝기의 렌더링을 개선하는 것이다.
따라서, 본 발명은 신체 영역 상의 메이크업 제품의 렌더링을 시뮬레이션하는 방법을 제안하고, 이 방법은, 프로세서에 의해 수행되며,
o 메이크업을 하지 않은 대상의 신체 영역의 이미지를 획득하는 단계;
o 메이크업을 하지 않은 신체 영역에 상응하는 이미지의 픽셀들의 제1 색상 파라미터들을 결정하는 단계;
o 최고 밝기 또는 적색 컴포넌트 값을 나타내는 메이크업을 하지 않은 신체 영역의 픽셀들을 식별하는 단계;
o 메이크업 제품에 의한 신체 영역의 메이크업을 렌더링하고, 신체 영역에 상응하는 이미지의 픽셀들의 제2 색상 파라미터들을 결정하는 단계; 및
o 신체 영역에 상응하는 각각의 픽셀의 제1 색상 파라미터들이 상기 보정된 제2 색상 파라미터들로 각각 변경되는 수정된(modified) 이미지를 생성하는 단계를 포함하고,
상기 결정하는 단계는,
- 메이크업 제품으로 메이크업된 동일한 신체 영역에 상응하는 이미지의 픽셀들의 색상 파라미터들을 출력하도록 구성된 시뮬레이션 모델을, 상기 결정된 제1 색상 파라미터 및 시뮬레이션될 메이크업 제품의 색상 파라미터들에 적용하는 단계; 및
- 메이크업을 하지 않은 최고 밝기 또는 적색 컴포넌트 값을 가진 것으로서 식별된 신체 영역의 픽셀들의 획득된 색상 파라미터들을 보정하는 단계를 포함하고,
상기 제2 색상 파라미터들은, 식별된 픽셀들에 대해 보정된 색상 파라미터들 및 신체 영역의 다른 픽셀들에 대해 시뮬레이션 모델에 의해 출력된 색상 파라미터들을 포함한다.
바람직하게, 시뮬레이션 모델은 학습 데이터베이스 상에서 훈련되고, 학습 데이터베이스는, 복수의 기준(reference) 메이크업 제품들에 대해, 기준 메이크업 제품의 색상 파라미터들 및 기준 대상들의 신체 영역들의 이미지들의 쌍들의 세트를 포함하고, 이미지들의 각각의 쌍은 메이크업을 하지 않은 기준 대상의 신체 영역의 이미지 및 기준 메이크업 제품으로 메이크업된 기준 대상의 신체 영역의 이미지를 포함한다.
일 실시예에서, 학습 데이터베이스는,
- 각각 이미지에 대해, 픽셀의 각각의 색상 컴포넌트를 위한, 이미지 내의 신체 영역의 픽셀이 속한 변위치(quantile)의 식별,
- 각각의 이미지에 대해, 이미지에 적용된 줌(zoom) 백분율로 표현된 신체 영역의 픽셀들의 좌표들,
- 각각의 기준 메이크업 제품에 대해, 기준 메이크업 제품을 사용하는 신체 영역의 픽셀들의 색상 파라미터들의 변위치 당 평균 값을 더 포함한다.
학습 데이터베이스는,
- 각각의 이미지에 대해, 이미지의 신체 영역의 각각의 픽셀의 밝기 값, 및 픽셀이 속한 밝기 값의 변위치의 식별; 및
- 각각의 기준 메이크업 제품에 대해, 기준 메이크업 제품들을 사용하는 신체 영역의 픽셀들의 밝기의 변위치 당 평균 값을 더 포함할 수 있다.
실시예에서, 보정하는 단계는, 최고 밝기 또는 적색 컴포넌트 값들을 갖는 것으로서 식별된 픽셀들의 색상 파라미터들을 색상 파라미터들의 각각의 평균 값들로 대체하는 단계를 포함하고,
상기 평균 값들은, 동일한 기준 메이크업으로 메이크업된 기준 대상들의 이미지들의 신체 영역들의 최고 적색 컴포넌트 또는 밝기 값들에 대해 계산되고,
상기 기준 메이크업 제품은 렌더링될 메이크업 제품의 색상 파라미터들과 가장 유사한 색상 파라미터들을 가진다.
이미지의 신체 영역에 상응하는 픽셀들 중 최고 적색 컴포넌트 값들의 픽셀들은,
o 이미지의 신체 영역에 상응하는 픽셀들의 적색 컴포넌트 값들의 변위치의 계산,
o 최고 적색 컴포넌트 값들을 가진 픽셀들을 포함하는 적어도 변위치에 속하는 픽셀들로서 최고 적색 컴포넌트 값들의 픽셀들의 결정에 의해 결정될 수 있다.
본 발명의 방법은 수정된 이미지 상에서 감마(gamma) 보정을 수행하는 단계를 더 포함할 수 있다.
바람직하게, 이미지의 픽셀의 색상 파라미터들은 RGB 색상 모델의 값들이고, 시뮬레이션 모델은 입력 데이터로부터 픽셀들의 적색, 녹색 및 청색 값들을 각각 결정하도록 구성된 3개의 모델들을 포함한다.
바람직하게, 메이크업 제품의 색상 파라미터들은 CIE L*a*b* 색상 공간 내의 값들이다.
바람직하게, 신체 영역은 입술, 눈꺼풀, 및 손톱으로 구성된 그룹 중에서 선택되고,
메이크업 제품은, 신체 영역이 입술인 경우 립스틱, 신체 영역이 눈꺼풀인 경우 아이섀도우, 또는 신체 영역이 손톱인 경우 매니큐어이다.
본 발명의 다른 목적에 따르면, 프로세서에 의해 실행될 때, 상기 개시된 방법을 구현하기 위한 일련의 코드 명령들을 포함하는 컴퓨터 프로그램 제품이 개시된다.
본 발명의 또 다른 목적에 따르면, 신체 영역 상의 메이크업 제품의 렌더링을 시뮬레이션하기 위한 디바이스가 개시되고, 디바이스는,
o 메이크업될 대상의 신체 영역의 이미지를 획득하도록 구성된 카메라;
o 카메라에 의해 획득된 이미지를 수신 및 처리하고 신체 영역 상의 메이크업 제품의 렌더링을 시뮬레이션하는 수정된 이미지를 생성하도록 구성된 프로세서; 및
o 수정된 이미지를 표시하도록 구성된 디스플레이를 구비하고,
상기 디바이스는 상기 설명에 따른 방법을 구현하도록 구성된다.
본 발명의 또 다른 목적에 따르면, 신체 영역 상의 메이크업 제품의 렌더링을 시뮬레이션하기 위한 시뮬레이션 모델을 생성하는 방법이 개시되고, 이 방법은 프로세서에 의해 수행되고,
상기 방법은 복수의 기준 메이크업 제품들의 각각에 대하여, 학습 데이터베이스 상의 시뮬레이션 모델을 훈련시키는 단계를 포함하고, 학습 데이터베이스는,
- 기준 메이크업 제품의 색상 파라미터들, 및
- 기준 대상들의 신체 영역의 이미지들의 쌍들의 세트를 포함하고, 이미지들의 각각의 쌍은, 메이크업을 하지 않은 기준 대상의 신체 영역의 이미지 및 메이크업 제품으로 메이크업된 기준 대상의 신체 영역의 이미지를 포함하고,
시뮬레이션 모델은 입력 데이터로부터 결정하도록 구성되고, 입력 데이터는,
o 렌더링될 메이크업 제품의 색상 파라미터들,
o 메이크업될 새로운 대상의 신체 영역에 상응하는 이미지의 픽셀들의 색상 파라미터들, 및
o 새로운 대상의 동일한 신체 영역에 상응하는 이미지의 픽셀들의 색상 파라미터들을 구비하고, 상기 신체 영역은 메이크업 제품으로 메이크업되어 있다.
바람직하게, 시뮬레이션 모델의 훈련은,
o 학습 데이터베이스 상에서 복수의 시뮬레이션 모델들의 훈련,
o 학습 데이터베이스 중 부트스트랩(bootstrap) 샘플들에 대한 복수의 시뮬레이션 모델들의 각각의 예측 오류(prediction error)들의 계산, 및
o 계산된 예측 오류들에 따라 시뮬레이션 모델의 선택을 포함한다.
시뮬레이션 모델을 생성하는 방법은, 각각의 기준 메이크업 제품에 대해, 기준 메이크업 제품으로 메이크업된 기준 대상들의 모든 이미지들의 최고 적색 컴포넌트 또는 밝기 값들을 가진 픽셀들의 평균 색상 파라미터들을 계산하는 단계, 및 각각의 기준 메이크업 제품에 대한 평균 색상 파라미터들을 메모리 내에 저장하는 단계를 더 포함할 수 있다.
일 실시예에서, 학습 데이터베이스는, 각각의 이미지에 대해, 이미지에 적용된 줌(zoom)의 백분율로 표현된 신체 영역의 픽셀들의 좌표들을 더 포함한다.
본 발명의 또 다른 목적은, 프로세서에 의해 실행될 때, 전술한 시뮬레이션 모델을 생성하는 방법을 구현하기 위한 일련의 코드 명령들을 포함하는 컴퓨터 프로그램 제품이다.
본 발명에 따른 방법은, 대상의 신체 영역 상의 메이크업의 렌더링을 시뮬레이션하는 훈련된 시뮬레이션 모델의 용도를 포함한다.
이 방법에 따르면, 그 방법에 의해 수행되는 렌더링 내의 상기 밝기를 반영하기 위해, 보정은 메이크업을 하지 않은 대상의 신체 영역의 가장 밝은 픽셀 상에서 구현된다.
또한, 모델은, 성능 향상을 위해, 메이크업을 하지 않은 대상의 신체 영역의 천연 색상뿐만 아니라, 그 밝기를 고려하도록 구성되는 것이 유리한다.
학습 데이터베이스 상의 모델의 훈련은, 모델에 의해 출력되는 렌더링이 자연스럽고 가능한 한 현실에 가깝게 되는 것을 보장한다.
따라서, 제안된 방법은 주어진 메이크업 제품으로 메이크업된 신체 영역의 시뮬레이션된 이미지들을 최대한 현실에 가깝게 얻을 수 있는 완전히 자동화된 방법을 제공한다.
본 발명의 다른 특징들과 이점들은 첨부된 도면들을 참조하여 비-제한적인 예로서 주어진 다음의 상세한 설명으로부터 명백해질 것이다.
도 1은 본 발명의 일 실시예에 따른 시뮬레이션 모델의 생성 방법의 주요 단계들을 개략적으로 나타내는 플로우챠트이다.
도 2는 본 발명의 일 실시예에 따른 메이크업의 렌더링의 시뮬레이션 방법의 주요 단계들을 개략적으로 나타낸 플로우챠트이다.
도 3은 도 1 및 도 2의 시뮬레이션 모델의 생성 및 실행 방법들을 구현하도록 구성된 컴포넌트들의 개략적 구성도이다.
도 4a는 메이크업을 하지 않은 대상의 입술의 이미지를 도시한다.
도 4b는 밝기 보정을 하지 않은 메이크업의 시뮬레이션을 하는 대상의 입술의 이미지를 도시한다.
도 4c는 밝기 보정을 한 메이크업의 시뮬레이션을 하는 대상의 입술의 이미지를 도시한다.
도 4d는 동일한 메이크업 제품으로 실제로 메이크업된 대상의 입술의 이미지를 도시한다.
도 5a 내지 5d는 각각 도 4a 내지 4d와 동일한 종류의 이미지들이지만, 대상이 상이하고 메이크업 제품이 상이하다.
도 1을 참조하면, 대상의 신체 영역 상의 메이크업 제품의 렌더링을 위한 시뮬레이션 모델을 생성하는 방법(100)이 아래에서 설명될 것이다.
이어지는 모든 과정에서, 신체 영역은 입술이 될 수 있고, 메이크업 제품은 립스틱 또는 광택제(gloss) 또는 그것의 임의의 등가물이다. 또한, 신체 영역은 손톱이 될 수 있고, 메이크업 제품은 네일 래커(lacquer)이다. 또한, 신체 영역은 눈꺼풀이 될 수 있고, 메이크업 제품은 단색(monochrome) 아이섀도우이다.
시뮬레이션 모델의 생성은, 도 3에 개략적으로 도시된 바와 같이, 프로세서(30)와 메모리(31)를 포함하는 컴퓨팅 디바이스(3)에 의해 수행된다. 프로세서(30)는 방법의 구현을 위한 코드 명령들을 실행하도록 구성되고, 상기 코드 명령들은 메모리(31) 상에 저장되어 있다.
시뮬레이션 모델은 학습 데이터베이스 상에서 학습되는 모델이다. 따라서, 제1 단계 110에 따르면, 학습 데이터베이스가 생성되어 메모리(31) 내에 또는 별개의 메모리 예를 들어, 원거리 메모리(4) 상에 저장된다.
학습 데이터베이스는, 특히 기준 메이크업 제품의 식별자 및 기준 메이크업 제품의 색상 파라미터를 포함하는, 동일한 성질의 복수의 기준 메이크업 제품들(즉, 립스틱, 매니큐어 또는 아이섀도우)에 대한 정보를 포함한다.
일 실시예에서, 기준 메이크업 제품의 색상 파라미터들은, 예를 들어 e-shop과 같은 인터넷 웹 사이트 상에서 기준 메이크업 제품의 색상을 나타내는 색상 패치들로부터 결정된다. 색상 패치들은, 바람직하지만 선택적으로, 2개의 메이크업 제품들의 색상 특징들의 추후 양호한 비교를 위해 CIE L*a*b* 색상 공간 내의 색상 파라미터들로 변환되는, RGB("적색 녹색 청색" 색상 파라미터들의 약자) 값들을 가진다. CIE L*a*b* 색상 공간 내에서, 색상 파라미터들은 다음과 같이 정의된다.
L* 좌표는, 흑백 사이에서 1-100 스케일로 변하는 밝기 정도에 상응한다.
a* 좌표는, 적색과 녹색 사이의 축을 따라 0-255 스케일(또는 -100; +100 또는 -127; +127)로 녹색(0)으로부터 적색(255)까지 변한다.
b* 좌표는, 청색과 황색 사이의 축을 따라 0-255 스케일(또는 -100; +100 또는 -127; +127)로 청색(0)으로부터 황색(255)까지 변한다.
RGB 색상 파라미터들과 CIE L*a*b* 색상 공간 내의 좌표들 사이의 변환은 다음과 같은 중간 파라미터들 W,Y,Z의 계산에 의해 수행될 수 있다.
W = 0.4303R + 0.3416G + 0.1784B
Y = 0.2219R + 0.7068G + 0.0713B
Z = 0.0202R + 0.1296G + 0.9393B
이어서, L*, a*, b* 좌표들의 계산은 다음과 같다.
Figure pct00001
Figure pct00002
Figure pct00003
여기서,
Figure pct00004
여기서, Ys, Ws 및 Zs는 기준 백색 지점의 값들이다.
다른 실시예에 따르면, 메이크업 제품들의 색상 파라미터들은 색상 패치를 표시하는 이미지들 대신에 벌크 제품들 상에서 수행된 흡수 분광법으로부터 획득될 수 있다. 이 경우, 색상 파라미터들은 CIE L*a*b* 색상 공간 내에서 쉽게 이용될 수 있다.
학습 데이터베이스는, 복수의 기준 메이크업 제품들의 각각에 대해, 각각의 대상들에 대한 이미지들의 쌍들의 세트를 더 포함하고, 이미지들의 각각의 쌍은,
- 메이크업을 하지 않은 대상의 신체 영역의 이미지(예, 기준 메이크업 제품이 립스틱인 경우, 입술), 및
기준 메이크업 제품으로 실제로 메이크업된 대상의 신체 영역 이미지를 포함한다.
바람직하게, 이미지들의 쌍들의 세트는, 복수의 기준 메이크업 제품들의 각각에 대하여 각각의 대상에 상응하는 이미지들의 적어도 10쌍, 더욱 바람직하게 이미지들의 적어도 20쌍을 포함한다.
따라서, 학습 데이터베이스를 형성하는 제1 단계 111는, 각각의 기준 메이크업 제품들의 색상 파라미터뿐만 아니라 각각의 기준 메이크업 제품들에 대한 이미지들의 쌍들의 세트를 획득하는 것이다.
또한, 학습 데이터베이스의 각각의 이미지는 동일한 크기와 해상도의 신체 영역들을 분리하도록 처리되는 것이 바람직하다. 일 실시예에 따르면, 동일한 대상들에 상응하는 2개의 이미지들이 중첩되어, 대상의 동일한 지점의 좌표들은 2개의 이미지들에 대응된다. 그러면, 이미지 내에서 신체 영역을 정확하게 알아내기(localize) 위해, 신체 영역의 고정된 수의 기준 점들의 좌표들이 결정된다.
선택적으로, 처리에 필요한 계산 시간을 제한하기 위해, 신체 영역 상에서 줌(zoom)이 수행될 수 있다.
이어서, 신체 영역에 해당하는 이미지의 부분이 잘려져서(cropped), 처리의 나머지는 이 부분에만 적용된다.
선택적으로, 충분한 정밀도로 자르기(cropping)를 수행하기 위해, 각각의 픽셀에 대해, 픽셀이 메이크업과 관련된 신체 영역에 속하는지 여부를 결정하기 위해 분류 알고리즘이 각각의 이미지에 적용될 수 있다. 충분한 수의 기준점들의 좌표들이 충분한 정밀도로 결정되면, 이러한 분류 알고리즘은 구현되지 않는다.
줌 이미지 내에서 학습된 신체 영역의 각각의 픽셀의 좌표들는 바람직하게 추출되어 단계 112에서 학습 데이터베이스에 부가된다. 다른 신체 영역 사이즈들을 관리하기 위해, 이 위치는 가로 좌표와 세로 좌표에 대한 줌의 사이즈의 백분율로 표현된다.
그러면, 학습 데이터베이스의 한 쌍의 이미지들의 각각의 이미지에 대해, 한 쌍의 각각의 이미지의 신체 영역의 각각의 픽셀의 색상 파라미터들 R, G 및 B(즉, 기준 메이크업 제품의 도포 전,후)는 단계 113 동안 측정된다.
바람직하게, 그러나 선택적으로, 신체 영역의 각각의 픽셀의 인식된 밝기는 또한 이 단계 113 동안 계산되어 학습 데이터베이스 내에 저장된다.
픽셀의 밝기 값은 http://alienryderflex.com/hsp.html에서 "HSP 색상 모델 - HSV(HSB) 및 HSL의 대안"에서 Darl Rex Finley에 의해 주어진 아래의 공식에 따라, 픽셀들의 RGB 값들로부터 계산될 수 있다.
Figure pct00005
이러한 색상 파라미터 값들로부터, 학습 데이터베이스의 각각의 이미지(메이크업 포함 및 제외)(QR,i, QG,i),색상 파라미터 값들의 개수(QB,i) 및 선택적으로, 신체 영역의 픽셀들의 밝기 값들(QBR,i)이 계산되고, 여기서 i는 1에서 n까지의 범위이고 n은 변위치의 수이다.
변위치는 신체 영역의 픽셀들의 수를 변위치에 의해 정의된 범위들 내에 포함된 색상 파라미터 또는 밝기 값들을 가진 동일한 수의 픽셀들을 포함하는 그룹으로 나눈 색상 파라미터 또는 밝기 값들의 범위로 정의된다.
변위치의 수(n)는 R.J. Hyndman et al의 간행물, The American Statistician, 50(4):361-365, 1996, "통계 패키지 내의 샘플 수량"에 개시된 Sturges 규칙을 사용하여 결정될 수 있다.
일단 모든 R,G,B 및 선택적으로 밝기 값들에 대한 이미지에 대한 변위치가 결정되면, 이미지의 각각의 픽셀에 대해, 각각의 적색, 녹색 및 청색 컴포넌트들의 각각이 속하는 변위치 및 선택적으로 밝기 값을 연관시키는 추가 정보가 학습 데이터베이스 내에 저장된다.
부가적으로, 단계 114 동안에, 학습 데이터베이스의 각각의 기준 메이크업 제품에 대해, 상기 기준 메이크업 제품으로 메이크업된 신체 영역의 모든 이미지들의 픽셀들의 변위치당 평균 값들은, 각각의 적색, 녹색 및 청색 컴포넌트들에 대해 계산된다.
따라서, 하나의 기준 메이크업 제품에 대해, 평균 값
Figure pct00006
은 각각의 변위치에 대해 계산된다(i 범위는 1과 n 사이).
선택적으로, 변위치당 밝기의 평균 값들도 계산된다. 비-제한적인 예로서, 각각의 이미지 내의 픽셀들의 R,G,B 값들에 대해 20개의 변위치들이 있는 경우, 20개의 변위치들의 각각에 대해 평균 R 값과 평균 B 값이 계산된다.
이러한 평균 값들은 학습 데이터베이스를 완성하고 동일한 메모리 내에 저장된다.
이어서, 방법은 학습 데이터베이스 상에서 시뮬레이션 모델을 훈련하는 단계 120를 포함하고, 시뮬레이션 모델은 입력 데이터로부터 시뮬레이션될 메이크업 제품으로 메이크업된 동일한 신체 영역에 상응하는 이미지의 픽셀들의 색상 파라미터를 포함하는 출력 데이터를 결정하도록 구성되고, 입력 데이터는, 시뮬레이션될 메이크업 제품의 색상 파라미터들, 및 메이크업될 신체 영역에 상응하는 이미지의 픽셀들의 색상 파라미터들을 적어도 포함한다.
바람직하게, 시뮬레이션 모델에 제출되는 입력 데이터는,
- 메이크업될 신체 영역에 상응하는 이미지의 픽셀들의 밝기 값들, 및
- 줌의 백분율로 표현된 메이크업될 신체 영역의 픽셀 좌표들을 더 포함한다.
줌의 백분율로 표현되는 신체 영역의 픽셀 좌표들의 위치는 입술, 눈 등과 같은 구역의 유사한 영역에 위치된 픽셀들을 더 잘 비교할 수 있도록 하여 모델의 정밀도를 높인다.
이미지의 픽셀들의 밝기 값들을 고려하면, 메이크업 제품의 사실적인 렌더링을 위한 시뮬레이션 모델의 성능을 향상시킨다.
시뮬레이션 모델은, 위에서 설명한 바와 같이, 학습 데이터베이스 상의 지도(supervised) 학습 동안 훈련되고, 학습 데이터베이스는,
- 기준 메이크업 제품의 도포 전,후의 이미지들의 쌍,
- 줌의 백분율로 표현된 각각의 이미지의 신체 영역의 픽셀 좌표,
- 색상 파라미터들(RGB)의 변위치의 식별, 및 선택적으로 각각 이미지 상의 신체 영역의 각각의 픽셀에 속하는 밝기, 및
- 각각의 기준 메이크업 제품에 대해 계산된, 기준 메이크업 제품을 이용한 신체 영역의 픽셀들의 변위치당 색상 파라미터들 및 선택적으로 밝기의 평균 값들을 포함한다.
위 목록의 마지막 2개의 특징들은 모델에 의해 출력되는 메이크업되는 신체 영역의 색상 파라미터들의 값들에 대한 제약으로 작용한다.
따라서, 시뮬레이션 모델은 시뮬레이션 모델에 의해 출력되는 색상 파라미터들과 기준 메이크업 제품으로 메이크업된 신체 영역의 실제 색상 파라미터들 사이의 오류를 최소화하도록 훈련된다.
바람직하게, 시뮬레이션 모델은 3개의 모델들을 포함하고, 3개의 모델들의 각각은 위에서 열거된 입력들을 수신하고, 기준 제품으로 메이크업될 대상의 이미지의 픽셀들의 R, G 및 B 값들을 각각 출력하도록 구성된다.
색상 파라미터에 의한 하나의 시뮬레이션 모델의 설정은, 각각의 RGB 색상 파라미터가 입력 이미지의 모든 RGB 색상 파라미터들 및 선택적으로 밝기 값들을 고려하여 결정되기 때문에, 모델의 정밀도를 높일 수 있다.
더욱이, 바람직하게, 단계 120은 학습 데이터베이스 상의 복수의 시뮬레이션 모델들(각각 R, G 및 B 값들에 대한 모델을 포함)을 훈련하는 단계, 및 미리정의된 기준(criterion)에 따라 최상의 결과들을 나타내는 시뮬레이션 모델을 선택하는 단계를 포함한다. 기준은 예를 들어, 시뮬레이션 모델의 평균 예측 오차를 최소화하는 것이다. 대안적으로, 기준은 시뮬레이션 모델의 평균 예측 오류와 시뮬레이션 모델의 계산 시간을 동시에 최적화할 수 있다.
이를 위해, 바람직하게, 복수의 시뮬레이션 모델들의 각각이 예를 들어, 학습 데이터베이스의 데이터의 20% 내지 40%를 포함하는 학습 데이터베이스의 부스트랩 샘플들 상에서 테스트된다. 모델의 테스트는 입력 데이터 내에서 정의된 메이크업 제품을 사용하여 입력 데이터 내에서와 동일한 신체 영역의 픽셀들의 색상 파라미터를 출력하기 위해 위에 열거된 입력 데이터에 대한 적용을 포함한다. 그러면, 평균 예측 오류는 다음과 같이 계산된다.
Figure pct00007
여기서, i는 신체 영역의 픽셀을 나타내고, prev[i]는 모델에 의해 출력되는 픽셀의 색상 파라미터(R, G 또는 B)이고, act[i]는 메이크업 제품으로 메이크업되는 신체 영역의 이미지의 실제 색상 파라미터이고, n은 신체 영역 내의 픽셀들의 수이다.
테스트된 시뮬레이션 모델들은 예를 들어, 다음 그룹 중에서 선택될 수 있다.
o 최소제곱법(OLS) 회귀(regression),
o 유의한 변수들을 선택한 OLS 회귀,
o 상호작용을 통한 OLS 회귀,
o 릿지(ridge) 회귀,
o 라소(Lasso) 회귀,
o 엘라스틱넷(Elasticnet) 회귀,
o 판단 트리(decision tree),
o 랜덤 포레스트(random forest),
o 일반화된 가법(additive) 모델,
o 그라디언트 부스팅(Gradient Boosting) 모델 등.
기준을 최적화하는 시뮬레이션 모델이 식별되면, 단계 130 동안, 상기 모델은 다음과 함께 메모리 내에서 저장된다.
o 각각의 기준 메이크업 제품에 대한 식별자 및 메이크업 제품들의 색상 파라미터를 포함하는, 각각의 기준 메이크업 제품들과 관련된 정보, 및
o 각각의 기준 메이크업 제품에 대해, 적색 컴포넌트 또는 밝기 값의 최고 변위치에 속하는 기준 메이크업 제품들로 메이크업된 학습 데이터베이스의 신체 영역의 픽셀들의 평균 색상 파라미터들(R, G, B 및 선택적으로 밝기).
이러한 모든 정보는, 학습 데이터베이스가 저장된 것과 동일한 메모리(4) 내에 저장될 수 있다. 대안적으로, 그것은 컴퓨팅 디바이스(3)로부터 멀리 떨어져 있을 수도 있는 별개의 메모리(2) 내에 저장된다.
메이크업의 렌더링의 시뮬레이션
이하, 대상의 신체 영역의 이미지 상의 메이크업의 렌더링의 시뮬레이션 방법(200)이 설명될 것이다.
바람직하게, 이러한 방법은 도 3에 개략적으로 도시된 디바이스(1)에 의해 수행되고, 디바이스(1)는,
o 대상의 신체 영역의 이미지들을 획득하도록 구성된 카메라(10),
o 카메라에 의해 획득된 이미지를 수신하고 신체 영역 상의 메이크업의 렌더링이 시뮬레이션되는 수정된 이미지를 생성하기 위해 아래에 설명된 방법을 구현하도록 구성된 프로세서(11), 및
o 수정된 이미지를 표시하도록 구성된 디스플레이(12)를 구비한다.
일 실시예에서, 디바이스(1)는 예를 들어, 이동 전화 또는 디지털 태블릿과 같은 사용자의 개인용 전자 디바이스이다. 이 경우, 카메라는 개인용 전자 디바이스의 카메라이고, 디스플레이는 디바이스의 스크린이다.
다른 실시예에서, 디바이스(1)는 메이크업의 렌더링을 시뮬레이션하는 기능에 기여할 수 있고, 미용실 또는 상점 내에 설치될 수 있다. 이 경우, 디스플레이(12)는 증강(augmented) 거울, 즉 스크린 앞에 위치된 대상의 이미지를 실시간으로 표시하는 스크린일 수 있고, 카메라는 증강 거울 내부에 통합된다.
이 실시예는 제어된 조명 조건들 내에서 사진을 찍을 수 있게 함으로써, 학습된 모델과 호환되도록 획득된 이미지에 대해 수행되어야 하는 이미지의 처리를 감소시키기 때문에 선호된다.
대안적으로, 이미지들이 다양한 조명 조건들 내에서 획득되는 경우, 학습 데이터베이스는 조명 조건들의 변화에 견고하도록 모델을 훈련시키기 위해 다양한 조명 조건들의 사진들로 보강될 수 있다.
일 실시예에서, 프로세서(11)는 훈련된 모델뿐만 아니라 각각의 기준 메이크업 제품에 대하여 기준 메이크업 제품들에 대한 정보 및 적색 컴포넌트 값 또는 밝기 값의 최고 변위치에 대한 평균 색상 파라미터들이 저장된 메모리(2)에 액세스할 수 있다. 예를 들어, 이러한 메모리는 프로세서(11)로부터 멀리 떨어져 있을 수 있고, 프로세서(11)는 통신 네트워크 및 프로세서(11)를 네트워크에 연결하기 위한 적절한 인터페이스를 통해 메모리에 액세스할 수 있다.
도 2를 참조하면, 방법(200)의 제1 단계 210는 메이크업을 하지 않은 대상의 신체 영역의 이미지를 획득하는 것을 포함한다. 이러한 획득은 신체 영역의 사진을 쵤영하는 카메라(10)에 의해 수행될 수 있다. 대안적으로, 이미지는 이전에 획득되어 메모리 내에 저장되었을 수 있고, 이 경우 이미지 획득은 메모리로부터 이미지를 로딩하는 것이다.
동일한 단계에서, 이미지 상에서 가상으로 렌더링되어야 하는 메이크업 제품은 대상에 의해 선택된다. 예를 들어, 메이크업 제품들의 목록은 디스플레이(12) 상에 표시되어 대상이 선택할 수 있다. 바람직하게, 메이크업 제품들의 목록은 기준 메이크업 제품들의 목록에 대응되므로, 대상에 의해 선택되는 임의의 메이크업 제품은 모델이 학습해 오고 있는 기준 메이크업 제품들의 목록에 속한다. 일반적으로, 기준 메이크업 제품들의 목록은 특정 브랜드에 대해 상업적으로 입수할 수 있는 메이크업 제품들의 목록에 상응한다.
이어서, 방법은 신체 영역을 영역 내에서 정확하게 위치시키기 위해 획득된 이미지를 처리하는 단계 220를 포함한다. 이 단계는 메이크업될 신체 영역을 검출하는 단계, 및 신체 영역 상의 고정된 수의 기준점들의 좌표들을 결정하는 단계를 포함할 수 있다.
신체 탐지를 수행하기 위해, 오픈 소스 DLIB 라이브러리 또는 Haar Cascade가 사용될 수 있다. 선택적으로, 결정된 좌표들에 따라, 신체 영역을 필요한 해상도로 가져오기 위해, 획득된 이미지 상에서 줌이 수행된 다음, 메이크업될 신체 영역이 잘려질 수 있다. 학습된 신체 영역으로부터 각각의 픽셀의 좌표들이 획득된다. 이러한 위치는 가로 좌표와 세로 좌표에 대한 줌의 사이즈의 백분율로 변환된다.
단계 230에 따르면, 신체 영역의 각각의 픽셀의 색상 파라미터들이 획득된다. 바람직하게, 픽셀의 색상 파라미터들은 픽셀의 R, G 및 B 값들이다. 또한, 동일한 단계에서, 각각의 픽셀의 밝기 값은 위에 주어진 밝기의 방정식에 따라 색상 파라미터들로부터 선택적으로 제공된다.
단계 240 동안, 색상 파라미터들과 밝기의 각각의 변위치는 전술한 단계 113 동안과 동일한 방식으로 계산되고, 최고 적색 컴포넌트 값들의 변위치 또는 최고 밝기 값들의 변위치에 속하는 픽셀들이 식별된다.
이어서, 방법은 이미지의 신체 영역 상에서 프로세서에 의해 액세스된 훈련된 모델을 실행하는 단계 250를 포함한다.
따라서, 이 단계에서 훈련된 모델의 입력들은 다음과 같다.
o 이미지의 메이크업될 신체 영역의 픽셀들의 색상 파라미터들(RGB),
o 바람직하게, 메이크업될 신체 영역의 픽셀의 밝기 값들,
o 대상의 이미지와 함께 제공되거나 데이터베이스로부터 검색될 수 있는, 렌더링될 선택된 메이크업 제품의 색상 파라미터들, 및
o 바람직하게, 줌의 백분율로 표현된 메이크업될 신체 영역의 픽셀 좌표들.
일 실시예에서, 대상에 의해 선택된 메이크업 제품이 기준 메이크업 제품들의 목록에 속하지 않는 경우, 평균 색상 파라미터들은 선택된 것과 가장 유사한 색상 파라미터들을 가진 기준 메이크업 제품에 대해 이용가능한 것들로 선택된다.
따라서, 훈련된 모델(또는 R 값들을 출력하는 하나의 모델, G 값들을 출력하는 하나의 모델, B 값들을 출력하는 하나의 모델이 있는 경우, 각각의 훈련된 모델)은 선택된 메이크업 제품으로 메이크업된 신체 영역 픽셀들의 RGB 값들을 출력한다.
단계 260 동안, 소위, "밝기 보정"이 수행되며, 이것은 시뮬레이션된 이미지 상의 메이크업의 렌더링을 개선하는 것을 목표로 한다. 이러한 보정은 최고 적색 컴포넌트 값들 또는 최고 밝기의 변위치에 속하는 것으로서 단계 240에서 식별된 픽셀들에 대해, 획득된 색상 파라미터들 상에서 수행된다.
이러한 보정을 달성하기 위하여, 단계 240에서 식별된 최고 R 값 또는 밝기 값의 변위치에 속하는 픽셀들의 색상 파라미터들은, 대상에 의해 선택되고 단계 130에서 저장된 것과 동일한 메이크업 제품을 가진 색상들의 상응하는 최고 변위치에 속하는 픽셀들의 색상 파라미터들의 평균값들로 대체된다.
일 실시예에서, 대상에 의해 선택된 메이크업 제품이 기준 메이크업 제품들의 목록에 속하지 않는 경우, 평균 색상 파라미터들은 선택된 것과 가장 유사한 색상 파라미터들을 가진 기준 메이크업 제품에 대해 이용가능한 것들로서 선택된다.
마지막으로, 단계 270 동안, 선택된 메이크업 제품의 렌더링을 시뮬레이션하기 위해, 프로세서는 메이크업을 하지 않은 신체 영역의 픽셀들의 색상 파라미터들이 훈련된 모델에 의해 결정된 픽셀들의 색상 파라미터들에 의해 대체되는 대상의 신체 영역의 수정된 이미지를 생성한다.
이러한 단계는 신체 영역에 상응하는 이미지의 잘려진 부분의 색상 파라미터들을 변경한 후, 이미지 내부의 신체 영역을 교체함으로써 수행될 수 있다. 대안적으로, 전체 얼굴 이미지가 렌더링될 수 있고, 신체 영역의 색상 파라미터들은 모델에 의해 결정된 색상 파라미터들에 의해 대체된다.
선택적으로, 이미지의 휘도를 보정한 후 렌더링을 개선하기 위해, 감마 보정(단계 280)은 또한 수정된 최종 이미지에 적용될 수 있다.
이어서, 선택된 메이크업 제품으로 메이크업된 이미지를 대상이 시각화하기 위해, 수정된 이미지는 디스플레이(12)로 전송되어 디스플레이에 의해 표시된다(단계 290).
도 4a 내지 4d 및 5a 내지 5d를 참조하면, 일부 예시적인 이미지들 상에서 시뮬레이션 방법의 구현을 보여주는 일부 예들이 제공된다.
도 4a 및 도 5a에는 메이크업을 하지 않은 2개의 대상들의 입술들의 사진을 각각 도시된다. 도 4d 및 도 5d는 각각 상이한 메이크업 제품들로 메이크업된 동일한 대상들의 입술의 사진이다.
도 4b 및 도 5b는 밝기 보정없이 각각의 메이크업 제품의 적용을 시뮬레이션하는 훈련된 모델에 의해 출력된 이미지들이고, 도 4c 및 도 5c는 밝기 보정이 적용된 각각의 메이크업 제품의 적용을 시뮬레이션하는 훈련된 모델에 의해 출력된 이미지들이다. 밝기 보정이 적용된 메이크업의 렌더링은 메이크업을 한 대상의 실제 이미지와 매우 가깝다는 것을 알 수 있다.
1...디바이스 2...메모리
3...컴퓨팅 디바이스 4...원거리 메모리
10...카메라 11...프로세서
12...디스플레이 30...프로세서
31...메모리

Claims (15)

  1. 신체 영역 상의 메이크업(makeup) 제품의 렌더링(rendering)을 시뮬레이션하는 방법(200)으로서, 상기 방법은 프로세서(11)에 의해 수행되고,
    o 메이크업을 하지 않은 대상(subject)의 신체 영역의 이미지 획득하는 단계(210);
    o 메이크업을 하지 않는 신체 영역에 상응하는 이미지의 픽셀들의 제1 색상 파라미터들을 결정하는 단계(230);
    o 최고 밝기(brightness) 또는 적색 컴포넌트 값을 나타내는 메이크업을 하지 않은 신체 영역의 픽셀들을 식별하는 단계(240);
    o 신체 영역에 상응하는 이미지의 픽셀들의 제2 색상 파라미터들을 결정하는 단계(250,260); 및
    o 신체 영역에 상응하는 각각의 픽셀의 제1 색상 파라미터들이 보정된 제2 색상 파라미터들로 각각 변경되는 수정된(modified) 이미지를 생성하는 단계(270)를 포함하고,
    상기 제2 색상 파라미터들은 메이크업 제품에 의해 신체 영역의 메이크업을 렌더링하고;
    상기 결정하는 단계(250,260)는,
    - 메이크업 제품으로 메이크업될 동일한 신체 영역에 상응하는 이미지의 픽셀들의 색상 파라미터들을 출력하도록 구성된 시뮬레이션 모델을, 결정된 제1 색상 파라미터들과 시뮬레이션될 메이크업 제품의 색상 파라미터들에 적용하는 단계(250), 및
    - 최고 밝기 또는 적색 컴포넌트 값을 갖는 것으로서 식별된 메이크업을 하지 않은 신체 영역의 픽셀들의 획득된 색상 파라미터들을 보정하는 단계(260)를 포함하고,
    상기 제2 색상 파라미터들은, 식별된 픽셀들에 대한 보정된 색상 파라미터들 및 신체 영역의 다른 픽셀들에 대한 상기 시뮬레이션 모델에 의해 출력된 색상 파라미터들을 포함하는, 메이크업 제품의 렌더링 시뮬레이션 방법.
  2. 청구항 1에서,
    상기 시뮬레이션 모델은 학습 데이터베이스 상에서 훈련되고,
    상기 학습 데이터베이스는, 복수의 기준(reference) 메이크업 제품들에 대해, 기준 메이크업 제품의 색상 파라미터들 및 기준 대상들의 신체 영역들의 이미지들의 쌍들의 세트를 포함하고,
    상기 이미지들의 각각의 쌍은, 메이크업을 하지 않은 상기 기준 대상의 신체 영역의 이미지, 및 상기 기준 메이크업 제품으로 메이크업된 상기 기준 대상의 신체 영역의 이미지를 포함하는, 메이크업 제품의 렌더링 시뮬레이션 방법.
  3. 청구항 2에서,
    상기 학습 데이터베이스는,
    - 각각의 이미지에 대해, 픽셀의 각각의 색상 컴포넌트에 대해 이미지 내의 신체 영역의 픽셀이 속하는 변위치(quantile)의 식별,
    - 각각의 이미지에 대해, 이미지에 적용되는 줌(zoom)의 백분율로 표현된 신체 영역의 픽셀들의 좌표들, 및
    - 각각의 기준 메이크업 제품에 대해, 기준 메이크업 제품을 가진 신체 영역의 픽셀들의 색상 파라미터들의 변위치 당 평균값들을 더 포함하는, 메이크업 제품의 렌더링 시뮬레이션 방법.
  4. 청구항 3에서,
    상기 학습 데이터베이스는,
    - 각각의 이미지에 대해, 이미지의 신체 영역의 각각의 픽셀의 밝기 값, 및 픽셀이 속하는 밝기 값의 변위치의 식별, 및
    - 각각의 기준 메이크업 제품에 대해, 기준 메이크업 제품들을 가진 신체 영역의 픽셀들의 밝기의 변위치 당 평균값을 더 포함하는, 메이크업 제품의 렌더링 시뮬레이션 방법.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에서,
    상기 보정하는 단계(260)는, 최고 밝기 또는 적색 컴포넌트 값을 가진 것으로서 식별된 픽셀들의 색상 파라미터들을, 색상 파라미터들의 각각의 평균 값들로 대체하는 단계를 포함하고,
    상기 평균 값들은, 동일한 기준 메이크업으로 메이크업된, 기준 대상들의 이미지들의 신체 영역의 최고 적색 컴포넌트 또는 밝기 값들의 픽셀들에 대해 계산되고,
    상기 기준 메이크업 제품은, 렌더링될 메이크업 제품의 색상 파라미터들과 가장 유사한 색상 파라미터들을 가진, 메이크업 제품의 렌더링 시뮬레이션 방법.
  6. 청구항 5에서,
    이미지의 신체 영역에 상응하는 픽셀들 중에서 최고 적색 컴포넌트 값들의 픽셀들은,
    o 이미지의 신체 영역에 상응하는 픽셀들의 적색 컴포넌트 값들의 변위치를 계산하는 것, 및
    o 최고 적색 컴포넌트 값들의 픽셀들을, 최고 적색 컴포넌트 값들을 가진 픽셀들을 포함하는 적어도 변위치에 속하는 픽셀로 결정하는 것에 의해 결정되는, 메이크업 제품의 렌더링 시뮬레이션 방법.
  7. 청구항 1 내지 청구항 6 중 어느 한 항에서,
    이미지의 픽셀의 색상 파라미터들은 RGB 색상 모델의 값들이고,
    상기 시뮬레이션 모델은, 입력 데이터로부터 픽셀의 적색, 녹색 및 청색 값들을 각각 결정하도록 구성된 3개의 모델들을 포함하는, 메이크업 제품의 렌더링 시뮬레이션 방법.
  8. 청구항 1 내지 청구항 7 중 어느 한 항에서,
    상기 신체 영역은, 입술, 눈꺼풀, 및 손톱으로 구성된 그룹으로부터 선택된 어느 하나이고,
    상기 메이크업 제품은,
    o 신체 영역이 입술인 경우 립스틱이고,
    o 신체 영역이 눈꺼풀인 경우 아이섀도우이고, 또는
    o 신체 영역이 손톱인 경우 매니큐어인, 메이크업 제품의 렌더링 시뮬레이션 방법.
  9. 프로세서(11)에 의해 실행될 때, 청구항 1 내지 청구항 8 중 어느 한 항에 따른 메이크업 제품의 렌더링의 시뮬레이션 방법을 구현하기 위한 일련의 코드 명령들을 포함하는, 컴퓨터 프로그램 제품.
  10. 신체 영역 상의 메이크업 제품의 렌더링을 시뮬레이션하기 위한 디바이스(1)로서,
    o 메이크업될 대상의 신체 영역의 이미지를 획득하도록 구성된 카메라(10);
    o 상기 카메라에 의해 획득된 이미지를 수신 및 처리하고, 상기 신체 영역 상의 메이크업 제품의 렌더링을 시뮬레이션하는 수정된 이미지를 생성하도록 구성된 프로세서(11); 및
    o 상기 수정된 이미지를 표시하도록 구성된 디스플레이(12)를 구비하고,
    상기 디바이스(1)는 청구항 1 내지 청구항 8 중 어느 한 항에 따른 방법(200)을 구현하도록 구성된, 디바이스.
  11. 신체 영역 상의 메이크업 제품의 렌더링을 시뮬레이션하기 위한 시뮬레이션 모델을 생성하는 방법(100)으로서, 프로세서(30)에 의해 수행되고,
    상기 방법은, 복수의 기준 메이크업 제품들의 각각에 대해, 학습 데이터베이스 상에서 시뮬레이션 모델을 훈련하는 단계(130)를 포함하고,
    상기 학습 데이터베이스는,
    - 기준 메이크업 제품의 색상 파라미터들, 및
    - 기준 대상들의 신체 영역의 이미지들의 쌍들의 세트를 포함하고,
    이미지들의 각각의 쌍은, 메이크업을 하지 않은 기준 대상의 신체 영역의 이미지, 및 메이크업 제품으로 메이크업된 기준 대상의 신체 영역의 이미지를 포함하고,
    상기 시뮬레이션 모델은 입력 데이터로부터 결정하도록 구성되고,
    상기 입력 데이터는,
    o 렌더링될 메이크업 제품의 색상 파라미터들,
    o 메이크업될 새로운 대상의 신체 영역에 상응하는 이미지의 픽셀들의 색상 파라미터들, 및
    o 메이크업 제품으로 메이크업된 새로운 대상의 동일한 신체 영역에 상응하는 이미지의 픽셀들의 색상 파라미터들을 포함하는, 시뮬레이션 모델 생성 방법.
  12. 청구항 11에서,
    상기 시뮬레이션 모델을 훈련하는 단계는,
    o 학습 데이터베이스 상에서 복수의 시뮬레이션 모델들을 훈련하는 단계;
    o 학습 데이터베이스 중 부트스트랩(bootstrap) 샘플들에 대한 복수의 시뮬레이션 모델들의 각각의 예측 오류들을 계산하는 단계; 및
    o 계산된 예측 오류들에 따라 시뮬레이션 모델을 선택하는 단계를 포함하는, 시뮬레이션 모델 생성 방법.
  13. 청구항 11 또는 청구항 12에서,
    각각의 기준 메이크업 제품에 대해,
    기준 메이크업 제품으로 메이크업된 기준 대상들의 모든 이미지들의 최고 적색 컴포넌트 또는 밝기 값들을 가진 픽셀들의 평균 색상 파라미터들을 계산하는 단계(114); 및
    각각의 기준 메이크업 제품에 대한 평균 색상 파라미터들을 메모리(3) 내에 저장하는 단계를 더 포함하는, 시뮬레이션 모델 생성 방법.
  14. 청구항 11 내지 청구항 13 중 어느 한 항에서,
    상기 학습 데이터베이스는, 각각의 이미지에 대해, 이미지에 적용되는 줌의 백분율로 표현되는 신체 영역의 픽셀들의 좌표들을 더 포함하는, 시뮬레이션 모델 생성 방법.
  15. 컴퓨터 프로그램 제품으로서,
    프로세서(30)에 의해 실행될 때, 청구항 11 내지 청구항 14 중 어느 한 항에 따른 방법(100)을 구현하기 위한 일련의 코드 명령들을 포함하는, 컴퓨터 프로그램 제품.
KR1020217004838A 2018-09-26 2019-09-24 신체 영역 상의 메이크업 제품의 렌더링의 시뮬레이션 방법 KR20210032489A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18306252.0 2018-09-26
EP18306252.0A EP3628187A1 (en) 2018-09-26 2018-09-26 Method for simulating the rendering of a make-up product on a body area
PCT/EP2019/075618 WO2020064676A1 (en) 2018-09-26 2019-09-24 Method for simulating the rendering of a make-up product on a body area

Publications (1)

Publication Number Publication Date
KR20210032489A true KR20210032489A (ko) 2021-03-24

Family

ID=63798904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217004838A KR20210032489A (ko) 2018-09-26 2019-09-24 신체 영역 상의 메이크업 제품의 렌더링의 시뮬레이션 방법

Country Status (4)

Country Link
US (1) US11576478B2 (ko)
EP (1) EP3628187A1 (ko)
KR (1) KR20210032489A (ko)
WO (1) WO2020064676A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021203120A1 (en) 2020-03-31 2021-10-07 Snap Inc. Augmented reality beauty product tutorials
US11580682B1 (en) * 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
CN112954206B (zh) * 2021-02-05 2022-08-16 上海富彭展览展示服务有限公司 一种虚拟妆容的显示方法、系统、装置及其存储介质
CN114723600A (zh) * 2022-03-11 2022-07-08 北京字跳网络技术有限公司 美妆特效的生成方法、装置、设备、存储介质和程序产品

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998021695A1 (en) * 1996-11-12 1998-05-22 Mirror Software Corporation Imaging system for simulating hair styles
WO2002005249A2 (en) * 2000-06-27 2002-01-17 Rami Orpaz Make-up and fashion accessory display and marketing system and method
US6985162B1 (en) * 2000-11-17 2006-01-10 Hewlett-Packard Development Company, L.P. Systems and methods for rendering active stereo graphical data as passive stereo
US9449412B1 (en) * 2012-05-22 2016-09-20 Image Metrics Limited Adaptive, calibrated simulation of cosmetic products on consumer devices
US9603437B2 (en) 2013-04-08 2017-03-28 Panasonic Intellectual Property Corporation Of America Image processing device, image processing method, and program, capable of virtual reproduction of makeup application state
CN105263399B (zh) * 2013-06-07 2017-06-23 富士胶片株式会社 透明感评价装置、透明感评价方法
WO2016087467A1 (en) 2014-12-02 2016-06-09 L'oreal System for dispensing at least one makeup product and method for dispensing and evaluating makeup
JP6583660B2 (ja) * 2015-03-26 2019-10-02 パナソニックＩｐマネジメント株式会社 画像合成装置及び画像合成方法
US10565741B2 (en) * 2017-02-06 2020-02-18 L'oreal System and method for light field correction of colored surfaces in an image
CN108090465B (zh) * 2017-12-29 2020-05-01 国信优易数据有限公司 一种妆容效果处理模型训练方法及妆容效果处理方法
US10755447B2 (en) * 2018-04-19 2020-08-25 Adobe Inc. Makeup identification using deep learning

Also Published As

Publication number Publication date
US20210219700A1 (en) 2021-07-22
US11576478B2 (en) 2023-02-14
WO2020064676A1 (en) 2020-04-02
EP3628187A1 (en) 2020-04-01

Similar Documents

Publication Publication Date Title
US9449412B1 (en) Adaptive, calibrated simulation of cosmetic products on consumer devices
US11576478B2 (en) Method for simulating the rendering of a make-up product on a body area
KR101800102B1 (ko) 피부 진단 및 화상 처리 방법
JP2024120013A (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
KR101799174B1 (ko) 피부 진단 및 화상 처리 시스템, 장치 및 물품
WO2022179215A1 (zh) 图像处理方法及装置、电子设备和存储介质
US9142054B2 (en) System and method for changing hair color in digital images
JP5116765B2 (ja) 塗色データベースの作成方法及びそのデータベースを用いた検索方法、並びにそれらのシステム、プログラム及び記録媒体
US20150339757A1 (en) Method, system and computer program product for generating recommendations for products and treatments
CN113436284B (zh) 一种图像处理方法、装置、计算机设备和存储介质
JP2022529230A (ja) 画像取り込みが改善された局所用剤を作成するためのシステムおよび方法
JP7499362B2 (ja) パーソナライズされた正確な仮想メイクアップトライオンのためのシステム及び方法
JP7463774B2 (ja) メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム
CN112419144B (zh) 人脸图像的处理方法、装置、电子设备及存储介质
US20220044070A1 (en) Methods and systems for automatic generation of massive training data sets from 3d models for training deep learning networks
CN111861632A (zh) 虚拟试妆方法、装置、电子设备及可读存储介质
US20210390751A1 (en) Digital character blending and generation system and method
CN111091055A (zh) 脸型识别方法、装置、设备及计算机可读存储介质
KR102272975B1 (ko) 메이크업 제품의 현실적인 렌더링을 시뮬레이션하는 방법
CN112016621A (zh) 分类模型的训练方法、颜色的分类方法及电子设备
CN109658360B (zh) 图像处理的方法、装置、电子设备和计算机存储介质
KR101959253B1 (ko) 실제 화장 행동양식을 반영한 메이크업 시뮬레이션 장치 및 방법
US20220157030A1 (en) High Quality AR Cosmetics Simulation via Image Filtering Techniques
KR20220155824A (ko) 가상의 헤어 스타일링 서비스 방법 및 시스템
JP7153280B2 (ja) メイクアップシミュレーションシステム、メイクアップシミュレーション方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right