KR20210073611A - 거울을 가상화하는 디바이스들, 시스템들 및 방법들 - Google Patents
거울을 가상화하는 디바이스들, 시스템들 및 방법들 Download PDFInfo
- Publication number
- KR20210073611A KR20210073611A KR1020217017921A KR20217017921A KR20210073611A KR 20210073611 A KR20210073611 A KR 20210073611A KR 1020217017921 A KR1020217017921 A KR 1020217017921A KR 20217017921 A KR20217017921 A KR 20217017921A KR 20210073611 A KR20210073611 A KR 20210073611A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- image
- mirror
- video
- pixels
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 149
- 238000003860 storage Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010521 absorption reaction Methods 0.000 claims 1
- 238000002372 labelling Methods 0.000 claims 1
- 230000009466 transformation Effects 0.000 abstract description 26
- 238000013507 mapping Methods 0.000 abstract description 9
- 230000003278 mimic effect Effects 0.000 abstract description 8
- 238000005259 measurement Methods 0.000 description 50
- 230000003190 augmentative effect Effects 0.000 description 46
- 230000008569 process Effects 0.000 description 32
- 239000003086 colorant Substances 0.000 description 27
- 230000008859 change Effects 0.000 description 22
- 230000033001 locomotion Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 16
- 210000003128 head Anatomy 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 238000009877 rendering Methods 0.000 description 15
- 239000004744 fabric Substances 0.000 description 14
- 230000001815 facial effect Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 238000013459 approach Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003708 edge detection Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 230000005484 gravity Effects 0.000 description 7
- 210000002414 leg Anatomy 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 230000001976 improved effect Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000037237 body shape Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010146 3D printing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 235000014443 Pyrus communis Nutrition 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 241001582718 Xanthorhoe munitata Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000003339 best practice Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 201000000849 skin cancer Diseases 0.000 description 1
- 230000005808 skin problem Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/16—Cloth
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
반사 거울을 들여다보는 것을 시뮬레이션하는 왜곡 변환을 위한 컴퓨터화 방법이, 카메라로부터 디지털 이미지를 획득하는 단계; 이미지의 우측 및 좌측을 반전시키기 위해서 수직 축에 대해 이미지를 뒤집는 단계; 이미지가 거울의 반사를 모방하는 것으로 보이도록 이미지를 수정하기 위해 그 이미지에 변환 매핑을 적용하는 단계; 카메라에 대한 대상체의 거리의 변경들에 의해 야기된 변동들을 줄이기 위해 그 이미지를 리사이징하는 단계; 및 뒤집기, 변환 매핑, 및 리사이징을 수행한 후 모니터 상에 이미지를 디스플레이하는 단계를 포함한다. 또한, 그 방법은, 카메라로부터 이미지 또는 비디오를 캡처하고; 이미지 또는 비디오로부터 엘리먼트를 식별하고; 식별된 엘리먼트를 선택하고; 선택된 엘리먼트의 원래의 모델을 렌더링하고; 선택된 엘리먼트에 대해 새로운 외형을 선택하고; 그리고 그 엘리먼트에 대한 원래의 모델 및 선택된 새로운 외형에 기초하여 새로운 모델을 렌더링하기 위한 것이다.
Description
본 발명은 대체로 이미징 및 디스플레이 시스템들에 관한 것이고, 더 상세하게는, 예컨대, 소매 및/또는 서비스 환경들, 의료 또는 가정 환경, 화상 회의, 게이밍 등에서의 모니터들, 및 대화형 디스플레이들에 관한 것이다. 특정 구현예들은 사용자들이 거울을 볼 것이 예상되는 상황들에서, 예컨대, 의류 (apparel) 를 입어보는데 있어서 거울의 가상화에 관한 것이다. 다른 특정 구현예는 자연스러운 외형이, 예컨대, 화상 회의에서와 같은 표준 비디오 이미지보다 바람직한 상황들에 관한 것이다.
종래의 거울 (즉, 반사 표면) 은 개인이 실제의 자기 외모를 실시간으로 살펴보기 위한 일반적이고 가장 신뢰 가능한 도구이다. 몇 개의 대안들이 종래의 거울을 대체하기 위해 카메라 및 스크린의 조합에 관해 제안되었다. 그러나, 이들 기법들은 설득적이지 않고 개인이 종래의 거울에서 자신을 보았던 것처럼 개인의 신뢰 가능한 이미지로서 아직은 받아들여지지 않는다. 이는 주로, 카메라에 의해 생성된 이미지가 거울에 의해 생성된 이미지와는 매우 상이하기 때문이다.
미국 출원 제13/843,001호에서, 본 출원인은 하나 이상의 카메라들에 의해 생성된 스틸 이미지 또는 2D/3D 비디오를, 다른 센서들로 또는 다른 센서들 없이, 거울 또는 비디오 회의 경험으로 컨버팅 및 변환하는 도전과제들을 해결하는 신규한 기술 (컴퓨터화 방법) 을 제안했다.
본 개시물의 다음의 개요가 본 발명의 일부 양태들 및 특징들의 기본적인 이해를 제공하기 위하여 포함된다. 이 개요는 본 발명의 광범위한 개관이 아니고 예를 들어 본 발명의 핵심 또는 중요 엘리먼트들을 특별히 식별하도록 의도되는 것도 본 발명의 범위를 기술하도록 의도되는 것도 아니다. 본 개요의 유일한 목표는 아래에 제시되는 더욱 상세한 설명에 대한 도입부로서 간략화된 형태로 본 발명의 몇몇 개념들을 제시하는 것이다.
본 개시물에서 본 출원인은 미국 출원 제13/843,001호에서 설명된 변환 전 또는 후에 비디오, 스틸, 또는 스틸 이미지들의 그룹을 취하고, 사용자 인터페이스, 증강 현실, 컬러 변경, 텍스처 변경, 대상체, 신체 또는 배경의 모양 조작 등과 같은 추가적인 기능들을 해결하는 컴퓨터화 방법을 계속하는 컴퓨터화 기법을 설명한다. 덧붙여서, 캘리브레이션된 (calibrated) 가상 카메라 접근법은 2D 또는 3D 이미지 또는 비디오로부터의 몸매 (body line), 신체 곡선 및 체형 측정들을 허용한다.
증강 현실 능력들을 위해, 우선 2D 및/또는 3D 모델 또는 마스크가 하나 이상의 아이템들 또는 엘리먼트들 (예컨대, 셔츠, 드레스, 바지, 머리, 신발, 안경, 전신 (entire body) 등) 에 대해 생성될 것이고, 그러면 모델 또는 마스크 조작은 컬러, 텍스처 교체 및 조작, 또는 기하학적 측정, 또는 완전한 대상체 교체와 같은 증강 현실 특징들을 가능하게 할 수 있다. 개시된 기법은 3D 카메라 (IR 또는 듀얼 카메라) 만을 사용하고 있는 다른 기법들로부터 차별화된다. 다음의 개시된 기법들에서 단일 일반 카메라로부터 모델을 구축할 수 있고 그 결과들을 다수의 카메라들과 IR, 3D 카메라 또는 다른 센서들로부터의 추가적인 정보 및 조작하려고 하는 대상체에 관한 정보로 개선할 수 있다.
몇몇 실시형태들이 멀티 레벨 사용자 식별을 포함할 수 있다. 구체적으로는, 실시형태들은 얼굴 인식 개선, 사용자 학습, 및 적응을 포함할 수 있다. 얼굴 인식의 알려진 방법들은 얼굴 포즈에 매우 민감할 수 있는 알고리즘들을 이용할 수 있다. 현 기법에서, 얼굴 포즈의 부드러운 경험이 상이한 카메라 로케이션들 및 각도들을 수용하도록 생성될 수 있다.
다양한 실시형태들이 코드 식별, 예컨대, QR (quick recognition) 코드, 1D 코드, 은닉 코드 등을 포함할 수 있다. 실시형태들은 투영 하의 또는 다른 광학적 왜곡 하의 이미지와 비교하여 비교적 작은 이미지로 비교적 긴 거리로부터의 코드들을 발견하도록 적응될 수 있다. 또한, 그것은 무선 식별, 예컨대, NFC, WiFi 광대역, 마이크로파 3D, 신체 액세스 네트워크 (body access network, BAN) 칩 등을 포함할 수도 있다. 무선 식별은 모바일 디바이스, 시계 유리 (watch glass), 마이크로칩 또는 임의의 다른 캐리 온 (carry on) 디바이스 또는 마이크로칩으로부터 이루어질 수 있다. 다른 신체 측정 기법들은 지문, 신체 식별, 체형, 눈들, 손바닥 인식, X-레이 상관, 체온, 신체 맥박 (body pulse), 혈압 등을 포함할 수도 있다.
다른 양태에서 가상 거울 능력들을 수동으로 또는 자동으로 제어 및 작동하기 위한 사용자 인터페이스 및 방법들이 설명된다.
추가적인 실시형태들에서 유용성 및 기능성과 전체 사용자 경험을 향상시키기 위해 제품의 기계적 설계 및 외형이 개시된다.
몇몇 실시형태들에서, 모니터, 카메라, 및 프로세서를 동작시키기 위한 비일시적 컴퓨터 판독가능 저장 매체가 모니터 상에 거울 모방 이미지를 디스플레하기 위해서 제공 및 구성되고, 프로세서와 프로세서에 의한 실행을 위한 프로그램을 저장하는 메모리를 갖는 디바이스 상에, 시스템으로부터 이미지 또는 비디오를 캡처하기 위한 명령들; 사용자 추적 시스템에 기초하여 이미지 또는 비디오를 캘리브레이션하기 위한 명령들; 캡처된 이미지 또는 비디오에 존재하는 대상체의 에지를 검출하기 위한 명령들; 대상체의 특성을 측정하기 위한 명령들; 및 대상체의 측정 시그너처를 생성하기 위한 명령들을 포함하는 프로그램을 포함한다.
몇몇 실시형태들에서, 모니터, 카메라, 및 프로세서를 갖는 시스템을 동작시키기 위한 컴퓨터 구현 방법이 모니터 상에 사용자의 이미지를 디스플레이하기 위해서 제공 및 구성되고, 그 시스템은 프로세서와 그 프로세서에 의한 실행을 위한 프로그램을 저장하는 메모리를 갖는 디바이스 상에, 시스템으로부터 이미지 또는 비디오를 캡처하기 위한 명령들; 이미지 또는 비디오로부터 엘리먼트를 식별하기 위한 명령들; 식별된 엘리먼트를 선택하기 위한 명령들; 선택된 엘리먼트의 원래의 모델을 렌더링하기 위한 명령들; 선택된 엘리먼트에 대해 새로운 외형을 선택하기 위한 명령들; 및 그 엘리먼트에 대한 원래의 모델 및 선택된 새로운 외형에 기초하여 새로운 모델을 렌더링하기 위한 명령들을 포함하는 프로그램을 포함한다. 그 프로세서는 전통적인 반사 거울을 들여다보는 사용자를 시뮬레이션하는 사용자 경험을 생성하는 동작을 포함하는 왜곡 변환을 수행한다. 그 왜곡 변환은, 카메라로부터 디지털 이미지를 획득하는 단계; 이미지의 우측 및 좌측을 반전시키기 위해서 수직 축에 대해 이미지를 뒤집는 단계; 이미지가 거울의 반사를 모방하는 것으로 보이도록 이미지를 수정하기 위해 그 이미지에 변환 매핑을 적용하는 단계; 카메라에 대한 대상체의 거리의 변경들에 의해 야기된 변동들을 줄이기 위해 그 이미지를 리사이징하는 단계; 및 뒤집기 (flipping), 변환 매핑, 및 리사이징을 수행한 후 모니터 상에 이미지를 디스플레이하는 단계를 포함할 수도 있다.
다른 양태에서, 컴퓨터화 방법이, 모니터의 앞에서 사용자의 관점 및 로케이션에 기초한 복합 스티칭 (stitching); 저장소의 인벤토리를 더 잘 이용하기 위한 및 전자상거래 플랫폼을 지원하기 위한 이미지 또는 비디오 분석; 이미지 또는 비디오의 광학적 왜곡의 정정; 추가적인 정보를 제공하기 위한 다수의 카메라들의 이용; 및 모바일 디바이스 상의 또는 정적 모니터 상의 원격 로케이션에서의 또는 국소적으로의 모델의 프레젠테이션으로 이루어진 그룹으로부터의 적어도 하나를 위한 명령들을 포함한다.
추가의 양태에서, 이미지에서 선택된 대상체의 측정치를 획득하기 위한 방법이, 주변 모델 (perimeter model), 다수의 2D 컷 (cut) 들, 3D 모델, 통계적 최적화에 기초한 화소들의 측정 및 측정된 화소들의 알려진 측정 단위로의 변환, 사용자에 관계된 이전에 획득된 측정치 세트와의 비교, 사용자의 하나 이상의 특성들에 기초한 측정을 위한 초점의 결정, 사용자의 신장 (height) 에 기초한 측정을 위한 초점의 결정, 사용자의 성별에 기초한 측정을 위한 초점의 결정, 사용자의 신장 및 성별에 기초한 사용자의 가능성이 있는 버스트/체스트에 대응하는 구역의 결정, 및 사용자의 신장 및 성별에 기초하여 사용자의 가능성 있는 배꼽에 대응하는 구역의 결정으로 이루어진 그룹으로부터의 적어도 하나를 포함한다.
다른 양태들에서, 이미지에서의 대상체의 측정 시그너처의 생성을 위한 방법이, 분석된 데이터를 사용자들 간의 단일 또는 다수의 속성 스코어링 비교들을 허용하는 가중을 갖는 벡터로서의 저장, 향후의 비교를 위한 프로세싱된 이미지의 기록, 추가적인 정보의 향후의 추론을 위한 프로세싱된 이미지의 기록, 향후의 이미지 상관 기법들을 허용하는 프로세싱된 이미지의 기록, 상관을 용이하게 하기 위한 포인터들의 이미지에의 추가, 및 상관을 용이하게 하기 위한 라인들의 이미지에의 추가로 이루어진 그룹으로부터의 적어도 하나를 포함한다.
본 출원에 통합되는 첨부 도면들은, 본원에서 개시된 발명들 중 하나 이상의 예시적인 실시형태들을 도시하고, 상세한 설명과 함께, 이들 발명들의 원리들 및 예시적인 구현예들을 설명하는 역할을 한다. 도면들이 단지 예시적인 것이라는 것과 본원에서 묘사되는 것이 명세서의 텍스트 및 본원에서의 교시들의 사상 및 범위에 기초하여 적응될 수도 있다는 것은 당업자가 이해할 것이다.
유사한 참조 번호들이 명세서에서 유사한 언급대상을 지칭하는 도면들에서:
도 1은 평면 스크린 디스플레이 상에 거울 외형을 시뮬레이션하기 위한 증강 현실에 대한 일 실시형태를 예시하며;
도 2는 증강 현실 모듈의 일 실시형태를 예시하며;
도 3은 이미지의 전경 또는 배경에서 아이템 또는 대상체의 몸체 부분, 컬러, 배향 및 텍스처를 대체할 수 있는 증강 현실 모듈의 일 실시형태를 예시하며;
도 4는 컬러 및 텍스처 교환에 대한 모델을 생성하는 방법들을 컴퓨팅하기 위한 일 실시형태를 예시하며;
도 5는 한 이미지, 다수의 이미지들 또는 짧은 비디오로부터 신체 측정치를 추출하기 위한 방법의 일 예를 도시하며;
도 6은 멀티레벨 사용자 학습 및 인증을 위한 보안 시스템 애플리케이션의 일 예를 도시하며;
도 7은 병렬 또는 대역 내 카메라 조작을 위한 보안 시스템 애플리케이션의 일 예를 도시하며;
도 8a 내지 도 8c는 비디오/음성 회의에서의 거울 경험을 공유하기 위한 개략도들을 도시하며;
도 9는 모델 생성기로의 2D 입력에 대한 일 예를 도시하며;
도 10은 도 9의 이미지로부터의 위에 입는 셔츠의 2D 모델의 일 예이며;
도 11은 남자 체형들의 분류를 예시하는 개략도이며;
도 12는 여자 체형들의 분류를 예시하는 개략도이며;
도 13은 신체로부터 손을 제거하고 특정 신체 측정치들을 구하기 위한 상이한 간격들을 가리키는 추가적인 프로세스들의 결과의 일 예를 도시하며;
도 14는 배경 환경 상에 거울 효과를 생성하기 위한 카메라 스트림에 대한 변환의 일 예를 묘사하며;
도 15는 사용자 인식 및 인증이 있고 사용자 인터페이스가 있는 가상 거울의 일 예를 도시하며;
도 16은 분할 스크린 모드 및 섬네일들을 갖는 가상 거울의 일 예를 도시하며; 그리고
도 17은 사용자의 사용 흐름의 일 실시형태를 도시한다.
유사한 참조 번호들이 명세서에서 유사한 언급대상을 지칭하는 도면들에서:
도 1은 평면 스크린 디스플레이 상에 거울 외형을 시뮬레이션하기 위한 증강 현실에 대한 일 실시형태를 예시하며;
도 2는 증강 현실 모듈의 일 실시형태를 예시하며;
도 3은 이미지의 전경 또는 배경에서 아이템 또는 대상체의 몸체 부분, 컬러, 배향 및 텍스처를 대체할 수 있는 증강 현실 모듈의 일 실시형태를 예시하며;
도 4는 컬러 및 텍스처 교환에 대한 모델을 생성하는 방법들을 컴퓨팅하기 위한 일 실시형태를 예시하며;
도 5는 한 이미지, 다수의 이미지들 또는 짧은 비디오로부터 신체 측정치를 추출하기 위한 방법의 일 예를 도시하며;
도 6은 멀티레벨 사용자 학습 및 인증을 위한 보안 시스템 애플리케이션의 일 예를 도시하며;
도 7은 병렬 또는 대역 내 카메라 조작을 위한 보안 시스템 애플리케이션의 일 예를 도시하며;
도 8a 내지 도 8c는 비디오/음성 회의에서의 거울 경험을 공유하기 위한 개략도들을 도시하며;
도 9는 모델 생성기로의 2D 입력에 대한 일 예를 도시하며;
도 10은 도 9의 이미지로부터의 위에 입는 셔츠의 2D 모델의 일 예이며;
도 11은 남자 체형들의 분류를 예시하는 개략도이며;
도 12는 여자 체형들의 분류를 예시하는 개략도이며;
도 13은 신체로부터 손을 제거하고 특정 신체 측정치들을 구하기 위한 상이한 간격들을 가리키는 추가적인 프로세스들의 결과의 일 예를 도시하며;
도 14는 배경 환경 상에 거울 효과를 생성하기 위한 카메라 스트림에 대한 변환의 일 예를 묘사하며;
도 15는 사용자 인식 및 인증이 있고 사용자 인터페이스가 있는 가상 거울의 일 예를 도시하며;
도 16은 분할 스크린 모드 및 섬네일들을 갖는 가상 거울의 일 예를 도시하며; 그리고
도 17은 사용자의 사용 흐름의 일 실시형태를 도시한다.
다음의 예들은 본 발명의 몇몇 실시형태들 및 양태들을 도시한다. 관련 기술의 당업자에게는 다양한 수정, 부가, 치환 등이 본 발명의 사상 또는 범위를 변경하지 않고 수행될 수 있다는 것과, 이러한 수정들 및 변형들이 뒤따르는 청구항들에서 정의된 바와 같은 발명의 범위 내에 포함된다는 것이 명확할 것이다. 다음의 예들은 어떤 식으로도 본 발명을 제한하지 않는다. 다양한 실시형태들의 이해의 편의를 위해, 설명은 특정 제목들 하의 다양한 특징들의 설명을 포함한다. 그러나, 이들 특징들은 특정 응용에 대해 특정 특징(들)을 이용하기 위해서 제각기 또는 섞어 맞춤 (mix-and-match) 패션으로 구현될 수도 있다.
일반 개요
본 발명의 실시형태들은 사용자에게 거울을 보는 경험을 제공하기 위해 카메라 및 평판 디스플레이를 이용한다. 다시 말하면, 카메라로부터의 이미지 스트림은 그 이미지 스트림이 스크린 상에 디스플레이되는 경우 기록된 비디오 스트림이 아니라 거울에서의 반사를 모방하는 것으로 보이도록 조작 및 변환된다. "가상 거울" 이미지가 디지털적으로 생성되므로, 그 이미지는 추가 향상 특징들을 제공하기 위해 저장 및 조작될 수 있다. 예를 들어, 이미지는 컬러들을 변경하기 위해, 멀티레벨 사용자 식별 및 인증을 가능하게 하기 위해, 그리고 신체 측정들을 가능하게 하기 위해 조작될 수 있다. 시스템은 캘리브레이션된 카메라를 포함하여서, 그 시스템은, 예컨대, 가상 거울 또는 비디오 회의 애플리케이션들에서 증강 현실 특징들, 예를 들어, 배경 또는 신체 아이템들의 컬러, 텍스처, 모양 조작을 제공할 수 있다. 그것은 또한, 광고방송 (commercial), 보안, 및 건강관리 애플리케이션들을 위한 신체 측정들 및 신체 모니터링을 수행할 수 있다.
하드웨어에 관해, 다양한 실시형태들이 CCD, CMOS, IR CMOS 등을 비제한적으로 포함하는 모든 유형들의 센서들로부터의 단일 또는 다수의 카메라들과, HDMI, 파이어와이어 (Firewire), USB, IP, HDbaseT 무선 등을 포함하는 포맷 프로토콜들과, HD, 일반 SIF, 4k, 8k 등을 포함하는 임의의 이용 가능한 해상도들을 포함할 수도 있다. 디스플레이는 단일 또는 다수의 스크린들 또는 가상 스크린, 그리고 모든 사이즈들, 모양들 및 비율들의 일반 스크린들을 포함할 수 있다. 디스플레이는 거울 유사 스크린들, 스마트폰들 또는 테블릿들, 프로젝터들, 홀로그램들, 3D 스크린들, 구글 글래스, 프로젝터 헤드 마운트 디스플레이 (head mount display, HMD), 안경 (스위치 가능 불투명 (obscure) 층을 가짐) 등을 포함할 수 있다.
개시된 실시형태들에서 카메라는 어느 곳에나 위치될 수 있다. 최상의 실천은 사용자를 마주보는 스크린 상측에 카메라를 제공하는 것이다. 추가적인 로케이션들이 스크린의 바닥, 스크린의 측면들 또는 스크린이 양방향성 스크린이면 스크린 뒤를 포함할 수 있다. 3D의 경우, 두 개의 카메라들은, 예를 들어, 상단에서 나란히 제공될 수 있는데, 이는 우수한 결과들과 쉬운 컴퓨터화 방법을 제공할 수 있다. 또한, 일단 사용자가 움직이고 있고 그리고/또는 몸을 돌리고 있다면 3D가 단일 카메라로부터 조작될 수 있다.
실시형태들은 전체 신체 또는 부분적 신체, 및 사용자 선택당 상이한 스케일링 (예컨대, 머리 및/또는 눈들, 보는 방향/관점 등의 정정) 을 커버하는 컴퓨터화 방법을 포함할 수 있다.
개시된 실시형태들의 각각은 2D 또는 3D 스틸 하드 카피 이미지, 2D 또는 3D 스틸 디지털 이미지를 통해, 아날로그/디지털 카메라에 의해 또는 프레임 그래버 (grabber) HDMI (또는 동등물), IP, USB, 파이어와이어 (유선 또는 무선 링크) 등에 의해 기록되었던 아날로그/디지털 비디오를 통해 제공될 수 있다. 개시된 실시형태들의 각각은 USB, HDMI, IP 캣-5/파이버, WLAN, 파이어와이어, HDbaseT, 단일 케이블 상의 또는 다수의 케이블들 상의 위의 것들의 임의의 조합과 같은 임의의 적합한 통신 방법을 통해 컴퓨팅 디바이스로 전달될 수 있는 디지털 스트리밍 비디오를 통해 제공될 수 있다. 개시된 실시형태들의 각각은 컴퓨팅 디바이스가 카메라 내에, 스크린 내에, 클라우드 내에, 또는 워크스테이션, 서버 등을 포함하는 컴퓨터 내에 있을 경우 제공될 수 있다.
개시된 실시형태들의 각각은 컴퓨팅 디바이스가 시스템 엘리먼트들 간에 분산된 경우, 예컨대, 컴퓨터화 방법이 부분적으로는 카메라에, 부분적으로는 비디오 획득 엘리먼트에, 부분적으로는 스크린 그래픽 프로세싱 유닛 (GPU) 에, 부분적으로는 클라우드에, 부분적으로는 사용자 스마트폰 디바이스 또는 임의의 적합한 그것들의 조합에 존재할 수 있는 경우 제공될 수 있다. 개시된 실시형태들의 각각은 컴퓨팅 디바이스가 스마트폰, 태블릿, 노트북, 스크린, 카메라, HMD, 구글 글래스 등에 존재하는 경우 제공될 수 있다.
개시된 실시형태들의 각각은, 사전선택이 사용자에 의해 수동으로 또는 선택을 위한 규칙들을 적용함으로써 자동으로 행해질 수 있는 경우, 비디오가 선택된 아이템의 3D 모델을 추출하기 위해 프리프로세싱될 때 제공될 수 있다. 모델 추출은 카메라 바로 옆의 DSP/CPU에 의해 국소적으로, 클라우드에서 또는 사용자의 디바이스 상의 사용자 애플리케이션에서 수행될 수 있다. 단일 대상체 또는 스틸 이미지에 대해 GPU (graphics processing unit) 에서 모델을 추출하는 것이 더욱 효율적이며, 이 경우, 일반 CPU가 충분할 수 있다.
개시된 실시형태들의 각각은 렌더링이 증강 현실 스테이션에서, 클라우드에서, 또는 사용자 모바일 디바이스에서 국소적으로 수행되고 있는 경우 제공될 수 있다. 렌더링은 단일 이미지 또는 매우 짧은 비디오에 대해 GPU에서 수행될 수도 있으며, 이들 경우들에서, CPU는 충분한 성능을 제공할 수 있다.
개시된 실시형태들의 각각은 향상된 렌더링 기법들, 예컨대, 더 높은 해상도로의 대상체 및 이미지의 보간과, 에지들을 평활화하고 앨리어싱 효과를 제거하는 결합 후의 데시메이션 (decimation) 이 비디오 품질을 개선하기 위해 수행되는 경우 제공할 수 있다. 본 발명은, 예컨대, 프레임 단위로 모델을 평활화함으로써, 에지들 상의 프레임마다 허용된 변경들을 제거함으로써, 프레임마다 에지들을 평활화함으로써, 단일 또는 다수의 프레임들에 대한 평균화 필터들을 적용함으로써 등등으로 명멸하는 (flickering) 에지들을 제거할 수 있다. 추가적인 개선들은 프레임 레이트를 증가시키고 추가된 프레임에 추가적인 평활화 기법을 적용하여 원래의 프레임 레이트 상에서 발생할 효과를 평활화함으로써 달성될 수 있다.
개시된 실시형태들의 각각은 스크린이 카메라 근처에 있는지의 여부에 상관 없이 제공될 수 있다. 예를 들어, 스크린은 제어실 내에 위치될 수 있다. 카메라 메인 스트림 또는 기록된 정보가 원격 제어를 통해, 물리적 인프라스트럭처와는 직접적으로 다른 주소를 통해, 또는 클라우드를 통해 액세스될 수 있다.
하나의 실시형태에서 스테이션 기능에 대한 제어는 제스처, 눈 움직임, 손바닥 움직임, 손가락 움직임 또는 두뇌 제어를 통해 될 수 있다. 본 발명은 레이저 빔 포인터, 음성 제어, 무선, 또는 초음파 트레이싱처럼 추가적인 액세서리들로 제어될 수 있다.
세그먼트화
이미지 또는 비디오 중에서 대상체들 및/또는 엘리먼트들의 정확한 세그먼트화는 본원 분야에서 가장 큰 도전과제들 중 하나이다. 이 과제를 해결하기 위한 알려진 기법들은 정확도와 속도 간의 명확한 절충을 수반했다. 본 발명 전에는, 그 과제에 대한 만족스러운 해결책이 없었다. 3차원 (3D) 깊이 측정이 있는 적외선 (infrared, IR) 카메라의 사용은 업계에서의 하나의 접근법이지만, 그 접근법의 품질은 약화된다. 예를 들어, 에지들, 이미지 왜곡, 및/또는 IR 및 일반 카메라들 간의 낮은 해상도 오정렬은 성공적이고 설득력 있는 세그먼트화를 방해한다. 유채색의 (chromatic) 분리 및 에지 검출 기법들이 컴퓨터 자원 관점에서 매우 요구가 많고 일관된 성능을 제공하지 못한다. 사용자 또는 대상체를 추출하는 일부 기법들은, 예를 들어, 녹색 배경이 이용 가능하지 않은 애플리케이션들에서는 적용 불가능하지만 구분되기는 쉬운 녹색 배경을 가정한다.
일단 조작될 아이템 또는 아이템들의 모델이 획득되면, 두 번째 과제는 모델을 업데이트할 그리고 그 모델을 원래의 비디오로 되돌리게 또는 새로운 정보를 갖는 다른 증강 현실 비디오로 부드럽게 렌더링할 부드러운 렌더링 흐름을 생성하는 것이다. 다음의 개시된 실시형태들은 고품질과 함께 비교적 빠르게 부드러운 렌더링 흐름을 달성하여서, 그 조작은 특정 애플리케이션의 요건에 의존하여, 실시간으로, 준-실시간으로, 또는 비교적 빠르게 행해질 수 있다. 또한, 실시형태들은 아이템들 (컬러, 텍스처, 모양) 을 카메라 메인 스트림 피드에 대해 실시간으로, 또는 사용자 기록 비디오들에 대해 오프라인으로 조작하도록 적응된다.
비디오로부터의 대상체마다의 모델, 마스크, 및/또는 알파 채널에 기초하여, 사용자 움직임이 학습되고 그 대상체 모양 및 형태와 맞거나 또는 맞지 않는 상이한 대상체들은 설득력 있는 방식으로 설치될 수 있다. 개시된 실시형태들은 모든 것을 가상적으로 할 것을 시도하는 이전의 기법들로부터 구별될 수 있다. 실시형태들은 상이한 피륙 (cloth), 사용자의 변하는 얼굴, 사용자의 체형의 변경, 이미지로부터의 사용자의 제거 등과 같은 다른 변경들을 커버하는 마스크를 이용한 조작을 포함할 수 있다.
다른 개시된 특징이, 아이템들과 사용자가 입고 있는 옷을 식별할 수 있는 피륙 인식이다. 예를 들어, 그것은 패브릭 내에 은닉 코드 또는 정보를 포함할 수 있다.
다른 특징들 및 실시형태들은 마이크로파 센서가 스크린에 통합되는 마이크로파 스캐너; 예컨대, 비디오 중에서의 2D 및 3D 몸매 검출 또는 2D/3D 모델/마스크 생성을 포함하는 신체 측정 특징들; 측정치들, 예컨대, 체형, 출신 (origin), 성별, 나이, 옷의 제안된 사이즈들, 제안된 다이어트 또는 처치 등으로부터의 분석적 결론; 진단, 변경들의 식별, 사용자 식별 등을 위한 시간 경과에 따른 몸매 추적을 포함할 수도 있다.
몇몇 실시형태들에서, 메인 카메라 스트림은 사용자의 외형을 변경시키기 위해, 또는 사용자가 비디오 또는 이미지로부터 완전히 사라지게 하기 위해 실시간으로 조작될 수 있다. 이 시나리오에서, 카메라 DSP 또는 별개의 DSP 또는 GPU 가능 디바이스는 카메라 스트림을 얻고 그 카메라 스트림을 원격 제어 센터를 통해 프로세싱하고 그것을 카메라 메인 스트림으로서 다시 패키징하는 것이 필요하다. 카메라 메인 스트림에 대한 병렬 컴퓨팅 (스니퍼) 이 또한 하나의 실시형태에서 옵션이다.
아래에서 제공되는 것은 본 발명의 기술을 활용하는 추가적인 애플리케이션들의 여러 예들이다. 구체적으로는, 기본 비디오 변환이 신뢰 가능한 가상 드레싱 (dressing) 을 생성하기 위해 사용될 수 있다.
기본 비디오 변환은 라인의 타측의 사용자/사용자들이 카메라의 관점에서 이미지를 갖는 것이 아니라 참가자가 그 사용자들을 직접적으로 보았던 것처럼 그 참가자를 볼 수 있을 경우 신뢰 가능한 비디오 회의를 생성하는데 사용될 수 있다. 대안으로, 변환은 설득력 있는 라이브 경험을 제공하기 위하여 사용자가 다른 사용자의 눈들을 들여다보았던 것처럼 이미지를 생성하는데 사용될 수 있다.
증강 현실에 대한 기본 비디오 변환은, 신체 조작 및 리사이징, 신체 측정들, 의료적 진단/모니터링/훈련 및/또는 추적, 게이밍, 드레싱 (dressing), 데이트 (dating), 미팅, 보안, 전체 신체 시뮬레이터, 춤 연습 (dancing training), 헤어 드레싱 (hair dressing), 메이크업, 일반 훈련, 여행 등을 비제한적으로 포함하는 다수의 목적들을 위해 제공될 수 있다.
실시형태들은 사용자가 자신의 외형 (예컨대, 피부 색깔 (skin complexion), 드레싱, 얼굴 등) 을 변경하고 싶어하는 비디오 회의 또는 게이밍에 적용될 수 있다. 본 발명에 따르면, 모델은 소망의 외형으로의 부드러운 변경을 허용할 수 있거나 또는 심지어 사용자가 비디오로부터 사라지는 이미지를 생성할 수 있다.
실시형태들은, 카메라가 사용자의 눈들에 대한 투영 투시 (projection perspective) 로 위치되는 경우 캘리브레이션된 아이즈매치 (EyesMatch) (미국 출원 제13/843,001호 참조) 를 통한 정확한 얼굴 인식과 함께, 동적 QR (quick response) 코드 인식 (예컨대, 모바일 애플리케이션, 또는 배지, QR 코드를 통한 사용자 액세스의 인가 및 관리는 클라우드로부터 모바일 애플리케이션을 위해 생성될 수 있고 그 애플리케이션에서 사용자 인증에 의해 검증될 수 있음) 과 함께, 전체 신체 인식, 스캐닝, 및 학습과 함께, 아이템 인식 (예컨대, 옷, 유니폼, 배지 등) 과 함께, 무선 스니퍼 (예컨대, WiFi, 셀룰러, 초음파 등) 와 함께, 보안 데이터베이스에 대한 API와 함께, 로케이션 시스템들과 함께, 공공 정보 등과 함께 보안 애플리케이션에서 사용될 수 있다. 실시형태들은 특정 활동 (예컨대, 도어 잠금, 조명 켜기/끄기, 연기 방출, 슈팅 머신, 예컨대, 전기 충격, 총알, 종이 등) 의 인식에 기초하여 위험 예방 액션과 함께 사용될 수 있다. 캘리브레이션된 이미지의 기하구조로 인해, 이미지에서의 타겟의 로케이션은 매우 정확히 측정될 수 있고 타겟에 대한 정확한 공격을 다른 것들을 위험하게 하는 일 없이 효율적으로 운영하는데 사용될 수 있다.
실시간 및 오프라인 외형 등록 및 비교가 제공될 수 있어서 사용자는 시간 경과에 따라 그리고 어려 해에 걸쳐 외형 변경들을 추적할 수 있다. 이들 프로세스들은, 예컨대, 온도, 혈압 등을 위한 다수의/상이한 센서들을 사용하여, 주어진 시구간에 걸쳐, 다수의 시험들 간에 있을 수 있는 의료 기록 (medical registration) 을 포함하는 다수의 목적들을 위해 제공될 수 있다.
몇몇 실시형태들에서, 다른 센서들로부터의 상보적 정보가 있는/없는 캘리브레이션된 카메라/다수의 카메라들이 환자 진단 및 환자 모니터링을 위해 사용될 수 있다. 예를 들어, 비제한적이지만, 본 발명은 흑색종 피부암 (skin cancer melanoma) 같은 피부 문제들, 유방암에 대한 추가 테스트를 제안할 수 있는 유방 변형들 (breast changes), 심장 박동수 및 혈압 측정치, 환자의 온도, 사용자의 헤일로 (halo), 변형들에 대한 피부 및 손톱 기록 모니터링, 눈 (eye) 문제들, 스핀, 뼈, 근육 및 신체 유연성 경향들 및 변경들에 대해 모니터링하고 경고하는데 사용될 수 있다.
증강 현실 플랫폼
도 1은 실시간 또는 기록된 비디오/이미지 프로세싱을 지원하는 증강 현실 플랫폼에 대한 시스템 블록도이다. 그 시스템은 비디오 카메라, 스틸 카메라, IR 카메라, 2D 카메라 또는 3D 카메라를 포함하는 하나 또는 복수 (1:n) 의 입력 디바이스들 (101) 을 포함할 수 있다. 입력 디바이스 (101) 는 정보를 하나 이상의 기계 시각 증강 현실 모듈들 (102, 103, 104, 105, 107, 108 및 109) 로 전송하도록 적응될 수 있다. 하나 이상의 기계 시각 증강 현실 모듈들 (102, 103, 104, 105, 107, 108 및 109) 은 정보를 하나 또는 복수 (1:m) 의 스크린들 (106) 로 전송하도록 적응될 수 있다. 하나 이상의 기계 시각 증강 현실 모듈들 (102, 103, 104, 105, 107, 108 및 109) 은 정보를 인터페이스 또는 사용자 인터페이스 모듈 (110) 로/로부터 전송/수신하도록 적응될 수 있다. 인터페이스 (110) 는 정보를 클라우드, 웹/스토어 또는 사용자 디바이스, 예컨대, 스마트 폰 또는 태블릿 중 하나 이상으로/으로부터 전송/수신하도록 적응될 수 있다.
하나 이상의 기계 시각 증강 현실 모듈들 (102, 103, 104, 105, 107, 108 및 109) 은 이미지 그래빙 (grabbing) 모듈 (102), 아이즈-매치 (eyes-match) 변환 모듈 (103), 증강 현실 모듈 (104), 비디오/스틸 기록 모듈 (105), 트리거 이벤트 모듈 (107), 제어 엘리먼트 모듈 (108), 및 공장 캘리브레이션 모듈 (109) 을 포함할 수 있다.
이미지 그래빙 모듈 (102) 은 다음의 특징들, 즉, 향상 필터들, 포맷 컨버전, 비디오 프레임 분리, 이미지 크로핑 (cropping), 이미지 리사이징, 이미지 스티칭 등 중 하나 이상을 포함할 수 있다. 이미지 그래빙 모듈 (102) 은 정보를 아이즈-매치 변환 모듈 (103) 로 전송하도록 적응될 수 있다. 이미지 그래빙 모듈 (102) 은 정보를 트리거 이벤트 모듈 (107) 로/로부터 전송/수신하도록 적응될 수 있다.
아이즈-매치 변환 모듈 (103) 은 이미지에 대해 카메라 관점과 이론적 거울 관점 (사용자 눈들의 반사) 을 일치시키는 우측 매핑을 적용하고 매핑 후에 블라인드 화소들이 있으면 그 화소들을 채우도록 적응될 수 있다. 아이즈-매치 변환 모듈 (103) 은 정보를 증강 현실 모듈 (104) 및/또는 비디오/스틸 기록 모듈 (105) 로 전송하도록 적응될 수 있다. 또한, 아이즈-매치 변환 모듈 (103) 은 정보를 제어 엘리먼트 모듈 (108) 로/로부터 전송/수신하도록 적응될 수 있다. 게다가, 아이즈-매치 변환 모듈 (103) 은 거울의 반사를 모방하는 이미지를 디스플레이하기 위해, 정보를 하나 또는 복수의 스크린들 (106) 로 전송하도록 적응될 수 있다.
증강 현실 모듈 (104) 은, 예를 들어, 가상 컬러 및 텍스처 교체, 가상 드레싱, 대상체 삽입 등을 제공하도록 적응될 수 있다. 증강 현실 모듈 (104) 은 정보를 제어 엘리먼트 모듈 (108) 및/또는 비디오/스틸 기록 모듈 (105) 로/로부터 전송/수신하도록 적응될 수 있다. 또한, 증강 현실 모듈 (104) 은 증강 현실 모듈 (104) 에 의해 생성된 변경들에 의해 수정되는 거울의 반사를 모방하는 이미지를 디스플레이하기 위해 정보를 하나 또는 복수의 스크린들 (106) 로 전송하도록 적응될 수 있다.
비디오/스틸 기록 모듈 (105) 은 소프트웨어 제어에 기초하여 취해진 단일 이미지 (프레임) 또는 짧은 것을 기록하도록 적응될 수 있다. 비디오/스틸 기록 모듈 (105) 은 정보를 제어 엘리먼트 모듈 (108) 로/로부터 전송/수신하도록 적응될 수 있다. 또한, 비디오/스틸 기록 모듈 (105) 은 정보를 하나 또는 복수의 스크린들 (106) 로 전송하도록 적응될 수 있다.
트리거 이벤트 모듈 (107) 은 다음의 특징들, 즉, 거울 앞에서의 사용자의 인식, 얼굴 인식, 사용자 제스처 커맨드들의 인식, 아이템 인식, 거리 측정, 사용자 신체 측정들/평가들 (예컨대, 신장, 나이, 체중, 민족 (ethnic group), 성별 등을 포함) 및 이론적 거울에서의 사용자 이론적 관점의 계산 중 하나 이상을 포함할 수 있다. 트리거 이벤트 모듈 (107) 은 정보를 제어 엘리먼트 모듈 (108) 로/로부터 전송/수신하도록 적응될 수 있다.
제어 엘리먼트 모듈 (108) 은 다음의 특징들, 즉, 품질을 최적화하도록 카메라를 설정하기 위한 제어 및 관리, 다른 하드웨어 엘리먼트들을 설정하기 위한 제어 및 관리, 알고리즘 모듈들 및 더 높은 코드/애플리케이션/사용자 인터페이스들 간의 인터페이스에 대한 제어 및 관리 중 하나 이상을 포함할 수 있고, 공장으로부터의 캘리브레이션된 데이터를 알고리즘 엘리먼트들로 푸시할 수 있다. 제어 엘리먼트 모듈은 정보를 공장 캘리브레이션 모듈 (109) 로/로부터 전송/수신하도록 적응될 수 있다.
공장 캘리브레이션 모듈 (109) 은 카메라 및 스크린 앞에서의 사용자 관점 간의 매핑 변환을 정의하도록 적응될 수 있다. 또한, 공장 캘리브레이션 모듈 (109) 은 거리, 특별한 로케이션 (예컨대, 바닥 상의 마킹들), 사용자 신장 또는 그것들의 임의의 조합에 기초하여 이미지를 캘리브레이션하도록 적응될 수 있다.
도 1과 다음의 설명은 본 발명의 하나의 실시형태의 단지 예를 나타내며, 모듈들 간에 할당될 수 있는 다른 흐름들 또는 기능들이 본 발명의 부분이 되는 추가적인 실시형태들을 나타낸다. 본원의 발명자들은 증강 현실 능력들을 (실시간 및 오프라인으로) 가능하게 하는 두 개의 방법들을 제안한다. 양 방법들은 증강 현실 모듈 (104) 을 실시간이거나 또는 예컨대, 아이즈-매치 변환 모듈 (103) 을 통한 포스트 프로세싱으로 취해졌던 실제 이미지 또는 비디오 데이터로 둘러싼다. 다시 말하면, 증강 현실 모듈 (104) 에 의해 운용되는 이미지는 사용자의 거울 반사를 나타내는 변환된 이미지일 수도 있다.
하나의 특징은 무슨 아이템들을 사용자가 프로세싱하고 조작하고자 하는지 및 예상되는 최종 결과가 무엇인지에 대한 규칙들을 사용자가 (예컨대, 인터페이스 (110) 를 통해) 수동으로 또는 자동으로 정의할 수 있다는 것이며, 예컨대, 자동화된 규칙은 상이한 컬러로 자동으로 또는 수동으로 변경될 수 있는 사용자의 셔츠의 자동 식별 같은 어떤 것일 수 있거나, 또는 사용자가 터치 스크린을 이용한 수동 선택 및 수동 컬러 선택을 통해 셔츠를 선택하는 것일 수 있다. 그 다음에, 선택된 대상체는 프로세싱 및 추출/세그먼트화되고 원래의 기록된 비디오 또는 이미지에 링크된 데이터베이스에 기록될 수 있다. 증강 현실 모듈 (104) 은 그 다음에 모델/마스크를 원래보다 더 낮거나 또는 더 높은 프레임 레이트에 있을 수 있는 주어진 프레임 레이트에서, 그리고 원래와는 동일한 또는 상이한 사이즈에서 실시간으로 프로세싱할 수 있다. 몇몇 애플리케이션들은, 사용자가 자신을 변용 (modification) 하면서 보고자 하는 경우 (하나 이상의 옵션들) 옷을 입어보는 것 같은 라이브 증강 현실을 요구하지 않는다 (하지만 그럼에도 불구하고 포함할 수 있다). 일단 라이브 장면으로부터 추출된 대상체가 저장되면, 다수의 변경들 (컬러, 텍스처, 사이즈 등) 을 렌더링하는 것이 더 쉽다. 덧붙여서, 품질이 더 높고 더 많은 정보, 예컨대, 사용자 움직임, 신체 측정들, 및 프레임 통합에 기초한 품질 등을 산출하는 프로세스를 이용하는 더 긴 프로세스를, 훨씬 더 정확하게 수행하는 것이 더 쉽다. 비디오 회의 같이, 실시간 프로세스들을 요구하는 다른 애플리케이션들에 대해, 두 번째 옵션이 사용하기에 더 좋다. 두 번째 옵션으로, 성능은 프레임 감소 (frame drops) 및 열악한 성능들을 산출할 수 있는 지연/지체 (lagging) 의 도입을 피하기 위하여 카메라의 실제 프레임 레이트에 가능한 한 가까울 수 있도록 적응되어야 한다. 지연들/지체에 직면한다면, 이러한 지연들/지체는 프레임들의 지체 없이 부드러운 비디오를 산출하는 방식으로 관리될 수 있다. 이러한 관리는 버퍼들로, 이미지 타임스탬프들 더하기 얼마간의 지연, 또는 렌더링을 위한 타임스탬프들 및 프레임 스케줄변경들 (reschedules) 로 달성될 수 있다.
비디오 입력의 경우, 렌더링 프로세스가 비디오 속으로의 지연의 도입을 피하기 위하여 DSP 또는 GPU 디바이스에서 행해지는 것이 강하게 권고된다. 마스크/모델의 생성은 CPU에서의 첫 번째 옵션 (실시간이 아님) 을 위해서도 행해질 수 있다. 두 번째 옵션의 경우, 마스크/모델은 GPU/DSP에서도 수행 및 계산될 수 있다.
트리거 이벤트 모듈 (107) 에서, 트리거 기능의 일부는 완전히 자동화될 수 있으며, 예컨대, 얼굴 검출 또는 존재 검출이 이루어진다면 프로세스가 시작될 수 있다. 트리거들의 일부는 컴퓨터화 디바이스를 제어하는 임의의 방식을 포함할 수 있는 사용자 인터페이스 모듈 (110) 로부터 준 자동 패션으로 수행될 수 있다. 트리거 이벤트의 기능의 일부는 기하학적 정보, 캘리브레이션, 및/또는, 예컨대, 사용자의 로케이션, 눈들, 머리, 손들, 포지션, 움직임 등의 실시간 사용자 추적에 기초하여 이미지 변환을 계산하는 것이다. 그 추적은 백그라운드 서브스테이션, 패턴 인식, 컬러 세그먼트화 등과 같은 하나 이상의 기법들을 사용하여 행해질 수 있다. 변환 추적 계산 기능은 다른 모듈들에서 또한 구현될 수 있다.
제어 엘리먼트 모듈 (108) 은 시스템 셋업, 카메라 디바이스, 인증 등을 구성하도록 적응될 수 있고, 추적 변환 기능으로부터의 정보를 실제 기하구조 변환 모듈 또는 증강 현실 모듈 등으로 또한 제공할 수 있다.
공장 캘리브레이션 모듈 (109) 로, 이미지/비디오에 적용될 변환을 계산하는데 필요한 정보의 일부는 공장 캘리브레이션 동안 생성될 수 있거나 필드에서의 카메라의 실제 배향에 대한 추가적인 정보, 예컨대, 바닥 또는 책상 등보다 위로의 높이, 3D 관점, 렌즈 시야 (field of view, FOV) 등에 기초하여 계산될 수 있다. 공장 정보 더하기 구현예의 실제 기하구조는 더 나은 캘리브레이션 및 정확도를 위한 정보를 사용할 시스템에서 프로세싱되고 올바른 엘리먼트로 전달될 수 있다.
거울 애플리케이션을 위한 로컬 스크린으로의 적용에 더하여, 본 발명은 비디오 더하기 그것을 변환하는 수단 또는 실제 조작 및 변환된 비디오를 클라우드에서의 또는 국소적으로의 다른 주소에 단일 또는 양방향성 비디오 회의로서 전송하는데 사용될 수 있다.
도 2는 위에서 설명된 증강 현실 모듈 (104) 과 대응할 수 있는 증강 현실 모듈의 일 예를 묘사한다. 구체적으로는, 증강 현실 모듈은 사용자가 가상적으로 스스로를 드레싱하는, 외형들, 이를테면 컬러, 액세서리들을 변경하는 등을 허용하는 기능을 가질 수 있다. 이 실시형태에서, 그 시스템은 입력 이미지 또는 비디오를, 예를 들어, 아이즈매치 컴퓨터화 방법 (201) 으로부터, 또는 임의의 다른 이미지/비디오 소스, 예컨대, 사용자 스마트폰, 보안 카메라, 구글 글래스, 모바일 카메라 또는 정지 카메라로부터 획득한다. 추가적인 실시형태들이 사용자 신장, 시선 (gaze) 등과 같은 부분을 계산하는데 도움이 될 추가적인 기하학적 정보를 포함할 수 있다. 사용자 비디오 또는 이미지가 아이즈매치 모듈로부터 오면 (캘리브레이션된 이미지/비디오), 신체 측정들, 대상체 포즈, 사이즈, 고도로 정확한 배향 검출 등을 허용하는 더욱 포괄적인 모델이 생성될 수 있다. 캘리브레이션된 대상체 또는 비디오로부터 계산될 수 있는 추가적인 정보는 대상체 피팅 (fitting), 대상체 교체 및 프레임/비디오 속으로의 새로운 대상체들의 삽입을 허용할 수 있는데, 카메라의 로케이션 및 시야에 의해 도입된 임의의 왜곡이 설명되고 정정되어서이다. 이들 정정들은 사용자 신장, 허리 등의 고도로 정확한 측정들과, 사용자의 신체의 일반적으로 분류된 체형들로의 피팅을 가능하게 한다.
선정 (election) 모듈 (202) 이 선정 정보를 인터페이스 (206) 로부터, 사용자로부터 수동으로 (대상체의 이름 또는 X,Y) 또는 선정 방법, 예컨대, 바지, 와이셔츠 (dress shirt) 등과 같은 미리 정의된 대상체들을 자동으로 검출할 수 있는 메커니즘으로부터 자동으로 획득할 수 있다. 예를 들어, 인터페이스 (206) 는 사용자가 변경될 의복을 선택, 예컨대, 패브릭 유형의 컬러를 변경하는 것을 가능하게 할 수도 있다. 이 선정은 선정 모듈 (202) 로 전송되어서, 수정될 적절한 아이템은 이미지의 나머지로부터 추출된다.
대상체의 추출은 다소 어려운 작업이다. 예를 들어, 사용자가 적색 셔츠를 착용하고 있고 배경에는 적색 의자가 있고 사용자는 적색 카펫 상에 서 있다면, 인간의 눈은 어떤 적색 부분이 셔츠에 속하고 어떤 부분이 셔츠에 속하지 않는지를 쉽사리 구별할 수 있다. 그러나, 컴퓨터로 이러한 결정을 자동으로 수행하는 것은 매우 어려운 작업이다. 더구나, 조명과 셔츠의 주름들에 의존하여, 셔츠에 속한 상이한 화소들이 상이한 컬러들로서 보일 것이다. 그러므로, 모든 적색 화소들을 단순히 선택하는 것을 따른다면, 셔츠에 속한 일부 어두운 화소들은 포함되지 않을 것인 반면, 의자 및 카펫에 속한 일부 화소들은 선택될 것이다.
추출 모듈 (203) 은 대상체 (즉, 대상체에 속하는 화소들의 모두) 의 로케이션을 결정하고 컬러 (또는 하나를 초과하는 컬러일 수 있는 대상체의 평균 컬러) 를 샘플링할 수 있다. 모듈 (203) 은 이 정보를 2D 또는 3D 텍스처링된 음영 및 컬러 마스크를 생성하기 위해 우선 사용되는 흑백 마스크를 생성하는데 사용할 수 있다.
대상체를 추출하는 기법은 대상체의 화소들을 전체 이미지로부터 분리하기 위해 3D 컬러 상관 또는 대상체 평균 컬러 및 화소 컬러 간의 가장 가까운 유클리드 거리 (Euclidian distance) 와 같은 임의의 다른 기법에 기초한다. 화소가 대상체 내에 있는지의 여부에 관한 결정은 다수의 레벨들에서 수행될 수 있고 다음의 예들로 제한되지 않는다:
1.
컬러 상관과 첫 번째 결정은 유클리드 거리 임계값에 기초할 수 있으며, 여기서 유클리드 거리 임계값은 RGB 컬러 공간 또는 유채색 공간 내에 있다. 다시 말하면, 각각의 화소에 대해, 유클리드 거리가 대상체의 단일 또는 평균 컬러를 취함으로써 결정된 바와 같이 화소의 컬러로부터 대상체 컬러까지 측정된다. 화소의 컬러가 임계값보다 더 높은 거리에 있다면, 그 화소의 컬러는 대상체에 속하지 않은 것으로 결정된다.
2.
대상체의 부분으로서 또는 대상체의 부분이 아닌 것으로서 "잘못 라벨링된" 화소들에 대한 결정을 개선할 수 있는 희석 (dilution) 및 침식 (erosion) 과 같은 형태학적 연산자들을 적용하는 것에 의한 잡음 필터링. 대부분의 구현예들에서, 대상체의 모양은 알려질 수 있거나 또는 추정될 수도 있다. 예를 들어, 사용자가 바지를 선택하면, 시스템은 바지의 모양을 추정할 것이다. 따라서, 위의 (1) 에서의 선택의 결과들은 각각의 제외된 화소가 추정된 모양 내에 있고 대상체 내에 포함되어야 하는지와, 반대로, 포함된 화소가 실제로 바지의 추정된 모양 밖에 있고 제외되어야 하는지를 체크함으로써 추가로 조정될 수 있다.
3.
이전의 또는 앞의 프레임들로부터의, 또는 행에서의 또는 그 화소 주위의 이웃하는 화소들로부터의 정보에 기초한 결정. 이 단계는 그 프로세스에서의 주요 결정을 나타낸다. 대부분의 구현예에서, 연속적인 화소들이 대상체에 속한 것으로서 그리고 속하지 않은 것으로서 번갈아 선택되는 것은 흔치 않을 것이다. 물리적 대상체는 단일 화소보다 더 크고 단일 화소보다 더 많은 화소들에 의해 커버된다. 그러므로, 화소들은 속하는 것 또는 그렇지 않은 것으로서 그룹화될 것이고, 이웃하는 화소들의 체크가 선택을 확인하기 위해 사용될 수 있다.
4.
임계값으로서 사용될 수 있는 원래의 선정으로부터의 대상체 거리. 예를 들어, 각각의 화소에 대해 원래의 선택된 화소에 대한 그것의 데카르트 거리 (Cartesian distance) 가 계산되고, 그 거리가 예상되는 거리 바깥에 있다면, 그 화소는 대상체의 바깥에 있다고 간주되고, 반대의 경우도 마찬가지이다.
5.
대상체 표면이 연속한다는 것을 알면 잡음의 일부를 필터링할 수 있는 대상체 표면 연속. 예를 들어, 때때로 이미지는 화소 컬러가 트루 컬러와는 완전히 상이하게 보이게 하고 그러므로 대상체에 속하지 않은 것으로서 표시되게 할 반사 또는 그림자 (shadowing) 를 가질 수도 있다. 그러나, 대상체가 일반적으로 연속 표면이다. 따라서, 연속성은 이러한 미스라벨링을 제거하는데 사용될 수 있다.
6.
하이 패스 (HP) 필터들 또는 다른 기법들에 의해 행해질 수 있는 에지 검출에 의해 에지들 주위의 결정을 개선할 수 있는 대상체 에지들.
7.
컬러 에너지에 기초한 결정. 컬러 분리의 문제들 중 하나는 낮은 조명 조건들 하의 컬러가 흑색으로서 보일 수 있고 결정의 동적 범위가 상당히 감소된다는 것이다. 어두운/흑색 화소들이 분리될 수 있고 다른 기법들이 어두운/흑색 화소들이 대상체에 속하는지 또는 아닌지를 결정하기 위해 적용될 수 있으며, 예컨대, 본 발명은 화소가 대상체 경계, 또는 대상체 표준 편차 (standard deviation, STD) 컬러 변경들로부터의 에너지 거리 내에 위치되는지를 결정할 수 있다.
8.
더 나은 결과들을 획득하기 위해 예상되는 대상체 모양에 대해 이전의 정보를 사용.
9.
대상체가 다수의 컬러들 또는 모양들의 조합이거나 또는 로고들 또는 다른 화상들을 갖는 경우, 다수의 컬러 상관 및 결합이 사용될 수 있다. 덧붙여, 위에서 특정된 멀티레벨 방법들 중 임의의 것이 대상체에 대한 더 높은 레벨 결정을 획득하기 위해 사용될 수 있다.
10.
그 결정은 결정에서의 가중 팩터로서 이웃하는 화소/이미지에 관계된 결정 또는 과반수 (majority) 에 또한 기초할 수 있다. 이미지에 대한 결정을 벡터로서 프로세싱하고 있는 경우, 이미지 매트릭스가 벡터로 모양을 바꾸는 방법에 의존하여 동일한 행 또는 동일한 열에서의 이웃들을 검토하는 것이 더 용이할 수 있다.
11.
아이템 재료/텍스처 컬러 표준 편차 (STD) 의 추정이 대상체 세그먼트화에 대한 중요한 정보를 또한 추가할 수 있다. 일부 구현예에서, 상이한 패브릭들 및 그것들의 텍스처형 (textured) 의 데이터베이스가 이러한 결정에 도움이 되기 위해 저장된다.
12.
위의 단계 1 내지 단계 11의 하나 이상의 임의의 조합.
마스크는 단순 흑백 마스크로서 렌더링하기 위해 사용될 수 있다. 그러나, 대상체의 설득력 있는 느낌을 생성하기 위하여, 대상체의 텍스처 또는 외형으로부터의 추가적인 정보가 유지될 수 있다. 추가적인 중요한 정보를 획득하기 위하여, 마스크는 원래의 프레임 또는 비디오에 적용될 수 있고, 대상체에 대한 RGB 또는 그레이 스케일 텍스처, 모양, 또는 밝기 스케일이 획득될 수 있다. 이 정보는 컬러 변경들에 대해 훨씬 더 정확하고 설득력 있는데, 그 정보가 원래의 대상체의 주름 (wrinkle) 텍스처, 음영, 광 반사, 재료 시그너처 등을 저장해서이다.
모델 마스크는 개선된 조작을 위한 층들에서 구축될 수 있다. 잠재적 층 구조의 예들은 다음과 같이 될 수 있다:
1. 흑백 마스크 (대상체를 세그먼트화함). 흑백 마스크는 대상체 및 배경 간을 또는 대상체 및 대상체 주위의 다른 엘리먼트 간을 구별하는데 매우 중요할 수 있다. 다수의 기법들이 대상체 마스크/경계들의 결정을 최적화하는데 사용될 수 있다.
2. 대상체 에지 마스크 - 대상체의 에지 또는 윤곽을 나타냄.
3. 적색 컬러 마스크 - 대상체의 적색 영역들을 나타냄.
4. 녹색 컬러 마스크 - 대상체의 녹색 영역들을 나타냄.
5. 청색 컬러 마스크 - 대상체의 청색 영역들을 나타냄.
6. 모든 컬러 마스크들에 적용하는 텍스처들 - 대상체의 텍스처 외형을 나타냄.
7. 모양 또는 밝기 마스크 - 대상체의 음영진 또는 밝은 영역들을 나타냄. 이는 대상체에 속한 화소들의 모두의 세기 지도일 수도 있다.
8. 재료 광 반사 마스크 - 대상체의 광 반사를 나타냄.
9. 재료 광 흡수 마스크 - 대상체의 광 흡수 영역들을 나타냄.
10. IR, 마이크로파, 깊이, 초음파, 울트라 대역 등과 같은 다른 센서들로부터의 마스크.
11. 위에서 설명된 것들과 유사한 층들.
일단 마스크 모델이 요구된 정보를 갖는다면, 컬러 또는 텍스처를 변경하기 위하여, 렌더링 모듈 (204) 은 특정 층/층들을 수정하고 다수의 층들 중에서 대상체를 재생성하는데 사용되어 극히 사실적인 렌더링된 비디오 (205) 가 생겨나게 할 수 있다. 예를 들어, 사용자가 적색 셔츠를 착용했다면, 적색 마스크는 청색 셔츠를 착용하고 있는 사용자를 렌더링하기 위해 청색 마스크로 대체될 수 있다. 모든 다른 마스크들이 동일한 것으로 남아 있으므로, 청색 셔츠는 적색 셔츠의 음영, 밝기, 반사, 텍스처 등의 모두로 렌더링될 것이고, 따라서 적색 셔츠와 동일한 주름들을 갖고 동일한 신체 윤곽들을 따르는 매우 사실적인 청색 셔츠를 렌더링할 것이다. 일부 층들의 효과는 승산 (multiplication) 에 의해 또는 수정된 층을 프레임에 가산함으로써 도입될 수 있다. 감산 및 제산은 층들 간의 관계들을 또한 정의할 수 있다. 더욱 복잡한 아이템 조작을 허용하는 추가적인 기법들은 몇 개의 포인트들에 기초하여 대상체 또는 재료를 조작된 대상체의 경계들 내에서 맞도록 스트레치/변환될 수 있는 등록 기법을 포함한다.
모듈은 원래의 비디오/이미지, 모델링된 마스크 멀티채널 및 요구된 변경을 획득할 수 있다. 요구된 변경은 컬러, 밝기, 재료, 텍스처, 아이콘/로고, 프린팅, 패브릭 등의 임의의 조합일 수 있다.
하나의 실시형태에서, 요구된 변경은 원래의 대상체 경계들 외부 또는 내부에 있을 수 있고 새로운 대상체 경계들에 대한 수정된 마스크가 원래의 마스 모델을 대체하기 위해 생성될 수 있다.
하나의 실시형태에서, 요구된 변경은 특정 배향된 텍스처 및 특정 배향에서 삽입될 수 있는 컬러를 갖는 패브릭이다. 이 실시형태에서, 재료 배향은 그에 따라 수정되고 적용될 수 있다. 예를 들어, 데이터베이스가 상이한 패브릭들에 대응하는 마스크들을 저장할 수 있어서, 사용자는 사용자 인터페이스 상에서 상이한 패브릭을 단순히 선택함으로써 사용자가 착용하고 있는 아이템의 패브릭을 변경할 수 있다. 시스템은 그 다음에 사용자가 착용하고 있는 실제 아이템에 대응하는 마스크를 선택된 패브릭에 대응하는 패브릭 마스크로 대체할 것이다.
하나의 실시형태에서, 요구된 변경이 다른 사용자의 시착 (try-on) 마스크일 수 있다. 등록 기법을 사용하여, 다른 사용자의 시착 마스크는 사용자가 시착할 유사한 대상체에 새로운 대상체를 피팅하기 위해 적용될 수 있다. 예를 들어, 사용자가 셔츠에 대해 치수를 재고 다른 사용자가 재킷에 대해 치수를 잰다. 제 1 사용자에게 제 2 사용자로부터의 재킷이 보이는 방법을 보여 주기 위하여, 방법은 더욱 설득력 있는 피팅을 생성할 수 있는 제 1 사용자의 올바른 몸매 모양을 획득하고 적용하기 위해서, 제 2 사용자의 재킷을 피팅하는 등록 기법을 사용할 수 있다. 이 방법의 하나의 이점은 재킷이 제 2 사용자의 모든 텍스처를 보존하기 위해서 렌더링된다는 점에서 훨씬 더 많이 사실적으로 보일 것이라는 것이다. 이들 결과들을 생성하기 위해, 그 방법은 제 1 사용자의 배향, 로케이션 및 사이즈를 등록할 수 있다. 등록 포인트는, 예를 들어, 눈들, 어깨들의 가장자리들, 허리, 무릎 등의 가장자리들 간의 중간점을 포함할 수도 있다. 등록 포인트를 하나의 사용자로부터 다른 사용자로 늘이거나 또는 축소함으로써, 하나의 사용자로부터의 의복은 다른 사용자가 착용했던 것처럼 보여질 수 있다.
하나의 실시형태에서, 마스크는 가상 대상체 등록에 대한 포인터들로서 사용될 수 있다. 하나의 실시형태에서, 사용자로서의 올바른 변환에서의 마스크 더하기 배경 기록은 사용자/아이템을 이미지/비디오로부터 제거하는데 사용될 수 있다.
하나의 실시형태에서, 모델링될 것이 필요한 단일 대상체 또는 다수 (1:n) 의 대상체들의 선정이 획득될 수 있다. 비디오로부터, 마스크가 프레임마다 생성된다. 사용자가 몸을 돌리고 있다면, 3D 또는 부분적으로 3D 프레임 단위 모델이 생성될 수 있다. 이 프레임 단위 모델로부터, 상이한 투시도들이 사용자의 움직임들의 일부 또는 전부를 포함하는 3D 모델을 생성하기 위해 획득 및 사용될 수 있다. 나중에, 이 정보는 더욱 설득력 있는 가상 드레싱을 생성하는데 사용될 수 있다. 다시 말하면, 본원의 방법은 모델을 형성함에 있어서 사용자 자신의 움직임들을 이용할 수 있다.
하나의 실시형태에서, 렌더링은 GPU, CPU, 클라우드 GPU 또는 클라우드 CPU에서 수행될 수 있다. 렌더링될 입력 엘리먼트들은 CPU로부터, 클라우드에서의 사용자 데이터베이스로부터, 또는 인벤토리/임의의 다른 데이터베이스/3D 프린팅, 전자상거래 데이터 베이스, 소셜 데이터 베이스 등과의 액티브 링크로부터 나올 수 있다.
아이템 컬러에서의 변경들은 사용자 맞춤화 (customization) 를 위해 공장에서의 또는 현장의 실제 시착 및 이용 가능한 인벤토리 또는 옵션적 3D 프린팅에 기초할 수 있다. 일반 가상 드레싱과 비교하면 하나의 장점은 실제로 있는 듯이 신체 상에 걸쳐 있는 아이템이 보여진다는 것인데, 주름들, 음영 등의 모두가 적절한 마스크들로 전사될 것이라서이다. 이는 많은 양태들로부터의 매우 중요한 특징이다. 사용자는 아이템이 자신의 신체 상에서 어떻게 영향을 받는지, 그 아이템이 자신의 신체 모양에 어떻게 영향을 주고 변경시키는지 등을 감지할 수 있다.
하나의 실시형태에서, 액세서리 또는 임의의 다른 아이템이 관련 대상체의 동적 움직임 및 마스크 모델을 학습함으로써 추가될 수 있다. 또한, 배경은 동일한 기법에 의해 상이한 환경을 변경 또는 생성하기 위해서 증강될 수 있다. 일단 모든 요구된 대상체들이 라벨링되면, 요구된 대상체들은 마스킹될 수 있고 결합된 마스크는 배경을 변경하는데 사용될 수 있다.
하나의 실시형태에서, 랜더링 모듈은 대상체 및 프레임을 더 높은 해상도로 보간하는 향상된 렌더링 기법으로 대상체를 렌더링할 수 있으며, 그 대상체를 높은 해상도에서 결합할 수 있으며, 에지들을 평활화할 수 있고, 그 대상체를 프레임으로의 더 나은 통합 품질을 갖는 요구된 해상도로 다시 데시메이션할 수 있다. 추가적인 기법들은 대상체와 배경 컬러의 더 나은 블렌딩을 위하여 얼마간의 가중 팩터로 화소의 값을 평균함으로써 대상체의 에지 상에 직접적으로 작업하는 것을 포함한다.
도 3은 이미지의 전경 또는 배경에서 아이템 또는 대상체의 신체 부위, 컬러, 배향 및 텍스처를 대체할 수 있는 증강 현실 모듈을 묘사하며, 예컨대, 그 모듈은 체모를 사용자에게 추가하며, 사용자의 눈들, 피부 및 체모 컬러를 변경할 수 있으며, 눈들의 포즈를 변경하는 등을 할 수 있다.
모듈들 (301, 302, 303 및 306) 은 이전에 설명된 일반 증강 현실 모듈의 모듈들 (201, 202, 203 및 206) 과 비교하여 유사한 방식으로 작업할 수 있다. 모듈 (304) 은 아이템 3D 움직임 및 배향에 대한 전용 검출기를 이용하는 모듈 (307) 로부터 또는 아이즈매치 모듈로부터 직접적으로 움직임의 신체 방향 또는 머리 포즈와 같은 추가적인 정보를 계산 또는 획득하는 능력을 가질 수 있고, 이 정보를 사용하여 요구된 신체 부위를 수정할 수 있으며, 예컨대, 머리 포즈를 획득하는 것은 마스크/모델의 눈들을 요구된 방향으로 수정함으로써 눈들의 조향 (steering) 정정을 허용할 것이다. 덧붙여서, 머리 검출은 우측 지향의 머리카락, 모자 등의 추가를 허용할 수 있다.
일부 차원들에서의 요구된 마스크가 원래의 마스크보다 더 작은 하나의 실시형태에서, 모듈 (307) 은 기록된 배경 이미지 또는 비디오의 아이즈매치 변환을 실시간 또는 오프라인으로 수행 또는 전달할 수 있다. 배경 변환된 이미지 또는 비디오는, 예컨대, 사용자의 머리 또는 상체를 비디오로부터 제거하고 싶어하는 경우, 전경 또는 배경 조작을 사용하여 신체 부위 또는 아이템의 부분이 렌더링될 수 있다. 변환된 배경 이미지 또는 비디오는 머리 및 상체를 캡처하는 마스크 상에 적용될 수 있고, 그 결과는 원래의 변환된 또는 비변환된 비디오로 렌더링될 수 있다. 그 결과는 사용자 머리 및 상체가 없는 렌더링된 비디오 (305) 일 수 있다.
예를 들어, 더욱 복잡한 경우에, 더 짧은 길이의 주어진 드레스를 묘사하고자 할 수 있을 것이다. 모듈 (304) 에서의 마스크 조작은 새로운 드레스에 대해 더 짧은 마스크를 생성하는 것이 요구될 수 있고, 원래의 마스크 및 조작 후의 마스크 간의 차이는 조작에 대한 새로운 마스크일 수 있다. 새로운 마스크에서, 일부 부분은 사용자의 다리들의 추정물일 것이고 일부 부분은 더 짧은 드레스 길이와 함께 새로이 볼 수 있을 배경을 나타낼 것이다. 새로운 마스크는 다리들 및 배경으로 나누어질 수 있고, 새로운 렌더링된 대상체는 새로운 렌더링된 아이템을 생성하기 위해 배경 이미지 및 예측된 다리들의 결합을 취할 수 있다. 수정된 아이템을 비디오로 렌더링한 후의 결과는 더 짧은 드레스를 갖는 사용자이다. 다수의 기법들이 다리들이 사용 가능 영역에서 어떻게 보일지를 예측하는데 사용될 수 있다.
콜로그라마 (Colograma)
프레임에서의 엘리먼트의 컬러 또는 외형을 조작하기 위하여, 그 엘리먼트에 속한 화소들은 식별되는 것이 필요하다. 이는 컬러들을 비교하고 동일한 컬러의 화소들이 동일한 대상체에 속한다고 가정함으로써 일반적으로 행해진다. 그러나, 이러한 절차는 정확하지 않다. 개시된 실시형태들에서, 비교는 컬러와는 다른 변수들을 사용하여 행해진다. 그 방법은 대상체들의 부분들이 음영질 수도 있고 다른 부분들이 고도로 조명되거나 또는 심지어 반사적일 수도 있는 경우에도 대상체들을 구별할 수 있는 인간의 눈을 시뮬레이션하는 것을 시도한다. 예를 들어, 하나의 실시형태에서 대상체는 예측 가능한 경계들이 있는 알려진 대상체로서 인식된다.
가상 거울로서 구현되는 경우, 대상체들은 셔츠, 바지, 재킷 등과 같은 의류 (clothing) 아이템들을 포함할 수도 있다. 그래서, 사용자가 조작을 위해 셔츠를 선택하는 경우, 시스템은 대상체에 포함되어야 하는 화소들의 로케이션을 예측하기 위해 예측 연관을 이용한다. 예를 들어, 사용자의 머리 위쪽의 모든 화소들과 사용자의 허리 아래쪽의 모든 화소들은 셔츠에 관련이 없어야 한다. 따라서, 검색 공간은 감소된다. 이 예측 알고리즘은 아이즈매치의 캘리브레이션 절차를 받은 프레임에 적용되는 경우에 개선된다. 이들 방법들의 조합의 현저한 예를 제공하기 위해, 사용자가 사용자의 신발들의 컬러만을 변경할 것을 선정하면, 프레임이 아이즈매치를 사용하여 캘리브레이션된 경우, 신발들의 근사 로케이션은 알려지고, 사용자의 발들 위쪽의 모든 화소들은 신발들에 속한 화소들을 검색하는 경우 무시될 수도 있다. 이는 검색 필드를 대폭 제한한다.
요컨대, 조작에 대한 대상체를 식별하기 위하여, 컬러 비교 외에도, 화소들은 아이템의 예측 로케이션, 대상체의 알려진 또는 근사 기하구조, 대상체의 텍스처, 텍스처로부터의 표준 편차, 대표 컬러로부터의 표준 편차 등을 사용하여 또한 평가될 수도 있다. 이들 변수들의 각각에는 각각의 화소의 통계적 평가에서 특정 가중치가 배정될 수 있다. 또한, 각각의 파라미터에는 상이한 에러 또는 통계적 편차 값이 배정될 수도 있다.
도 4는 콜로그라마라고 지칭될 수 있는, 컬러 및 텍스처 교환에 대한 모델을 생성하는 컴퓨팅 방법들을 묘사한다. 이 기법은 포토샵과 같은 소프트웨어 프로그램들에서 찾아질 수 있는 슈퍼 고품질 컬러 교환 기법들과는 대조적으로 다수의 사용자들 또는 다수의 프레임들/비디오를 지원할 수 있는 병렬 컴퓨팅에 가장 유익하다. 이러한 방법들은 많은 시간이 걸릴 수 있고 임의의 많은 수의 사용자 이미지들 또는 비디오에 대해 수행하는 것이 실용적이지 않을 수도 있다. 도 4의 설명은 단지 일 예이고 묘사된 흐름의 임의의 파생물은 본 발명의 부분이다.
비디오 또는 이미지에서의 대상체의 컬러를 변경하기 위한 하나의 도전과제는 대상체의 관련 화소들을 정확히 식별하는 것이다. 비디오 파일에서, 속력은 적용 가능한 변환에 대한 제한 요소이다. 도 4에서, 비디오로부터 대상체를 세그먼트화/추출하는 방법의 단순화된 예가 묘사된다. 도 4의 방법은 도 2 및 도 3에 관해 설명된 시스템들에 의해 실행될 수도 있다.
수정될 이미지 또는 비디오는 401에서 수신된다. 402에서, 컬러 이미지 또는 비디오의 프레임은 옵션적인 라인 벡터로 컨버팅되지만, 이미지의 벡터화는 프로세스 시간을 극적으로 빠르게 할 수 있다. 벡터의 사이즈는 1 바이 n이며, 여기서 n은 프레임에서의 화소들의 총 수, 즉, 프레임의 폭에서의 화소들의 총 수, 곱하기 그 높이에서의 화소들의 총 수, 곱하기 RGB 컬러들의 각각에 대한 3이다. 또한, 403에서, 밝기의 효과는 제거된다. 밝기의 효과를 제거하는 많은 기법들이 있다. 이 예에서, XYZ 유채색 공간에서의 화소당 에너지 평균은 각각의 화소를 XYZ의 합에 의해 나눔으로써 사용된다. CIE XYZ 컬러 공간은 일반 사람이 경험할 수 있는 모든 컬러 지각 (sensation) 들을 포괄한다. Y는 휘도로서 정의되고, 임의의 주어진 Y 값에 대해, XZ 평면은 그 휘도에서의 모든 가능한 색도 (chromaticity) 들을 포함할 것이다. 예를 들어, 3 × 3 매트릭스가 RGB 시스템의 색도 좌표들 (xr, yr), (xg, yg) 및 (xb, yb) 와 그것의 참조 백색 (XW, YW, ZW) 를 사용하여 RGB를 XYZ로 컨버팅하는데 사용될 수 있다.
병행하여, 404에서 대상체 선택은 각각의 화소가 대상체에 속하는지의 여부의 결정을 위해 모든 화소들을 검사하는데 사용될 수 있는 비교 컬러를 우선 결정함으로써 수행된다. 비교 컬러는 대상체 내에 있을 것으로 생각되는 여러 K 개 화소들의 컬러의 통계적 분석을 사용함으로써 결정된다. 이는, 예컨대, 이미지 내의 대상체의 근사 로케이션 또는 기하구조를 앎으로써, 변환될 대상체에 속한다고 생각되는 여러 포인트들 K(x,y) 를 우선 선택함으로써 행해질 수도 있다. K는 배경 중에서 또는 다른 대상체들 중에서 세그먼트화될 수 있는 구별된 컬러를 갖는 로케이션들/구역들의 수이다. 일부 구현예에서, 각각의 로케이션에 대해, 윈도우 또는 구역이, 그 포인트 또는 화소가 이례적인 것이 아니라 특정 구역의 대표인 것을 보장하기 위해서 특정 포인트 주위에서 선택된다. 그 다음에 405에서 각각의 포인트 K(x,y) 는 모듈 403에서 수행된 것과 동일한 변환을 통과한다. 406에서, k 회의 반복들이 각각의 화소의 컬러를 찾기 위해 그리고 그 각각의 화소의 컬러로부터 대상체의 최상의 대표 컬러를 찾기 위해 수행된다. 이 컬러는 대상체에 속한 화소들의 모두를 찾는 후속 조사를 위해 사용될 수 있다. K는 이 기법에서 2와 동일하거나 또는 2보다 더 크다. 각각의 k에 대해, 유클리드 거리 2D 또는 3D가 계산된다. 최소 거리 및 K 값은 저장되고 비교 또는 대표 컬러로서 사용된다. 이 연산은 모든 화소들에 대해 한꺼번에 비교적 빠른 프로세스에서 행해질 수 있다.
dist = sqrt((X-xi(k))2 + (Y-yi(k))2 + (Z-zi(k))2)
K 회의 반복들 후, 라벨링된 이미지는 획득될 수 있다. 유클리드 거리 "dist"는 컬러들 간을 구별하기 위한 컴퓨테이션 방법의 단지 일 예이며; 컬러들 간의 거리를 계산하는 다른 방법들, 예컨대, 컬러 (유채색, 채도 및 밝기) 의 인간 지각에 기초한 컬러 거리 모델, CIE76, CIE94, CIEDE2000 등에서처럼 컬러를 분리하는 능력 및 민감도를 인간의 눈과 일치시키는 고급 캘리브레이션 기법들 또는 히스토그램 스트레칭 IR/3D 깊이 카메라, 시간 경과에 걸친 컬러 통합 또는 컬러 검출의 민감도를 개선하는 임의의 다른 방법과의 임의의 조합이 있다 (모듈 411). 모듈 411로부터의 추가적인 정보를 적용 또는 반대하는 것은 거리 비교 레벨 (406) 에서, 모델 생성 (409) 의 맨 끝에서, 또는 추가적인 정보의 성질 (결정론적, 통계적, 시변적 등) 에 의존하는 임의의 조합에서 일어날 수 있다.
예를 들어, IR 카메라가 사용되는 경우, IR 카메라의 이미지는 표준 카메라의 이미지로 등록될 수 있다. 그 다음에, IR 카메라의 이미지는 배경으로부터 사용자를 쉽게 분리하기 위해 사용될 수 있다. 이 정보는 평가될 표준 카메라의 화소들을 그 화소들이 대상체에 속하는지의 여부로 제한하는데 사용될 수 있다. 예를 들어, 비교가 벡터를 사용하여 행해지는 경우, IR 카메라로부터의 정보는 벡터에서 평가되어야 하는 엔트리들의 수를 줄이는데 사용될 수 있다. 마찬가지로, 텍스처 마스크가 평가 벡터로부터 화소들을 제거하는데 사용될 수 있다. 예를 들어, 카펫의 텍스처는 저장될 수 있고 동일한 텍스처를 갖는 이미지의 임의의 섹션은 사용자가 카펫을 입고 있지 않을 것임을 알고 있으므로 평가로부터 제거될 수 있다. 따라서, 여러 층들 또는 마스크들이 벡터에 대해 동작하고 대상체를 분리하고 대상체에 속한 화소들의 모두를 배정하는 결과들의 정확도를 증가시키는데 사용될 수도 있다.
컬러 차이에 더하여, 결정을 개선하기 위해 대상체에 관한 정보, 이를테면, 구역 공산 (likelihood) (주어진 화소는 이웃들 또는 어느 정도의 많은 화소들을 갖는 것을 필요로 함), 구역 특성, 최종 결정을 하기 전에 대상체 경계를 분리하는 경계 필터들, 깊이 정보 (깊이 정보의 윤곽과 2D 또는 3D에서의 대상체의 최종 이미지를 일치시키는 것을 통상 필요로 함), 화소가 다수의 프레임들에 걸친 대상체 구역에 있는지를 결정하기 위한 시간 통합 등을 추가할 수 있는 다른 기법들을 사용할 수 있다.
모듈 407은 요구된 컬러들 및 다른 컬러 공간 간을 구별하는 방법의 하나의 실시형태의 일 예이다. 모듈 407에서, 임계값보다 큰 거리를 갖는 모든 화소들이 비 관련된 것 (컬러 1 내지 컬러 k 중 어느 하나와는 상이한 컬러를 갖는 화소) 으로서는 영이 되고, 모든 관련 화소들에는 1이 배정됨으로써, 대상체에 속한 화소들의 모두를 식별하는 이진 마스크를 생성한다.
모듈 407은 특정 컬러 또는 컬러들을 분리하는 것이 바람직한 일 예이다. 여기서, 모든 인덱스들은 요구된 것을 제외하면 영으로 될 수 있다. 프로세스는 다음으로 진행한다: 모든 비-관련 인덱스들을 영으로 하며, 배경 및 비-관련 컬러들이 값 = 0을 획득하게 하고, 요구된 컬러 대상체를 1로 라벨링된 것으로 선정한다. 대상체에서 하나를 초과하는 컬러가 있다면, 1이 임의의 선정된 인덱스 (2 내지 k+1) 에 배정될 수 있고 영이 모든 다른 인덱스들에 배정될 수 있다.
408에서 흑백 필터가 잡음을 제거하고 대상체의 모양을 평활화하는데 사용될 수 있다. 다른 기법들이 어떤 화소들이 대상체에 속하는지의 결정을 개선하는데 사용될 수도 있다. 그 결과, 모든 관련 컬러들에 대한 인덱스가 2 내지 K+1에서 시작한다.
모듈 409에서, 획득된 흑백 마스크는 원래의 컬러 이미지에 적용되고 컬러 및 텍스처 변경들에 대한 3D 모델이 획득된다. 모델은 그레이 스케일의 2D 알파 채널 또는 컬러 공간에서의 3D일 수 있다. 모듈 410은 대상체의 2D 또는 3D 모델을 획득할 수 있다. 단일 카메라로부터의 비디오의 경우, 심지어 사용자가 카메라의 앞에서 이동하고 있다면, 예컨대, 카메라의 앞에서 몸을 돌리고 있다면 3D 모델을 획득하는 것이 가능하다. 이 경우, 사용자의 3D 신체 곡선들을 추정하기 위해 다수의 컷들에서 대상체 측정치를 획득하는 것이 또한 가능하다.
모델 생성기에 대한 2D 입력의 일 예가 아래에서 제공되는데, 도 9에 도시된 사용자의 청색 셔츠의 모델을 생성하는 것이 바람직하다. 도 10은 컬러 정보가 없는 셔츠의 2D 모델 또는 마스크의 일 예이다. 대신, 이 경우 셔츠인 선택된 대상체의 그레이 스케일 마스크가 생성되고 나중에 임의의 적용된 컬러와 함께 사용될 수 있다. 셔츠의 텍스처는 이런 방식으로 보존되어서, 컬러 또는 텍스처를 조작하거나 또는 심지어 모델의 경계를 변경하여 상이한 대상체를 생성하는 것이 비교적 쉽다.
단지 컬러 차이에 기초한 모델은 품질의 측면에서 완전하지 못하고 그래서 추가적인 정보 및 기법들이 대상체 모델의 품질을 개선하는데 사용될 수 있다 (모듈 411 참조). 보간과 데시메이션 또는 에지 평활화 같은 추가적인 정보 기법들은 모델의 품질을 개선하기 위하여 모듈 410을 통한 프로세싱 후에 적용될 수 있다.
신체 측정치들
도 5는 이미지, 다수의 이미지들 또는 짧은 비디오로부터 신체 측정치를 추출하는 방법의 일 예를 묘사한다. 신체 측정치들은, 예컨대, 가중치의 추정, 최상의 피팅 의복의 결정, 시간에 걸친 신체 모양 및 중량의 모니터링 등과 같은 다양한 애플리케이션들 및 서비스들을 위해 사용될 수 있다. 시스템이 상이한 서 있는 자세 (stance) 들 및 배향들에서의 사용자의 많은 이미지들을 획득하므로, 신체 측정들을 수행하기 위한 최상의 이미지를 선택하는데 유익할 수도 있다. 어떤 이미지를 선택할지의 결정은 도 5에 예시된 프로세스 전에 또는 그 프로세스의 부분으로서 수행될 수도 있다. 구체적으로는, 이미지가 카메라의 광학적 축에 수직 정렬에서의 사용자의 신체의 것인 경우 양호한 신체 측정치가 획득될 수 있다. 이는 얼굴이 눈들 간의 중간을 통과하는 수직선을 따라 대칭적으로 보이는지의 여부를 우선 결정함으로써 결정될 수도 있다. 얼굴이 이 선을 따라 대칭적으로 보이면, 신체의 중심을 따르는 수직선이 신체가 그 선을 따라 대칭적임을 확인하는데 사용될 수 있다. 이 단계의 경우, 이미지로부터 손들을 먼저 제거하여서, 신체의 중심만이 대칭 결정에서 고려되는 것이 유익할 수도 있다. 이미지로부터 손들을 제거하는 프로세스는 아래에서 더욱 충분히 설명된다.
모듈 501에서, 이미지는 미국 출원 제13/843,001호에서 설명된 아이즈매치 접근법에 유사한 프로세스를 우선 사용함으로써 몸매 및 몸무게 표시자 (Body Mass Indicator, BMI) 분석을 사용하여 분석된다. 이 접근법에서, 이미지는 카메라의 셋업 기하구조로 인한 왜곡과 광학적 왜곡을 보상하기 위해 재배열되고 변환될 수 있다. 셋업 왜곡 팩터들의 예는 카메라에 대한 사용자 거리, 카메라 높이, 카메라 투영 각도, 카메라의 FOV의 광학특성 (optics) 및 다른 광학적 왜곡들을 포함한다. 이미지 정정 후, 각각의 화소 영역 표현은 면적 (cm2) 이 대략 균일할 수 있다. 프로세싱은 CPU, GPU, 카메라에서의 DSP, 카메라 근처의 로컬 컴퓨터, 또는 원격 서버에서 행해질 수 있다.
모듈 502는 프로세싱을 빠르게 하기 위해 2D 이미지를 벡터 컨버전으로 변환할 수 있는 옵션적 엘리먼트이다. 벡터의 사이즈는 이미지의 폭 곱하기 높이 곱하기 세 개의 화소들 (RGB의 경우) 이다. 모듈 501에 입력된 이미지는 또한 이미 벡터일 수 있다. 2D 매트릭스 상에서 이미지 프로세싱의 일부 유형들을 수행하는 것이 더 쉬울 수 있지만 이미지 프로세싱의 다른 유형들이 벡터 이미지에 대해 더 적합하다.
모듈 503에서, 벡터 이미지에 대한 광 및 채도 효과를 제거하기 위해 컬러 조작을 수행하는 것이 더 쉬울 수 있다. 이는 위의 403에 관해 설명된 것과 유사한 방식으로 행해진다.
모듈 506에서, 이미지는 컬러 변경들을 강조하고 몸매의 가시성을 향상시킬 수 있는 에지 검출 필터를 통과하도록 될 수 있다. 에지 검출은 몸매의 에지들을 지원할 수 있어서 다수의 에지 방향들을 지원할 수 있다. 예를 들어, 수직, 수평 및 +/-45o 능력들을 갖는 에지 필터가 몸매의 앙호한 에지 검출을 산출할 수 있다.
모듈들 (504 및 505) 은 이미지 분석을 도울 수 있는 추가적인 정보, 예컨대, 사용자의 성별, 나이, 인종 등과 그 정보에 연관된 통계적 비율들을 알고리즘에 제공할 수 있다. 이 정보는 신체 부위들의 검색에 집중하기 위해 나중에 사용될 수 있다. 높이 측정은 특정 신체 부위들, 예를 들어, 버스트, 배꼽, 허리, 엉덩이 등의 검색에 초점을 맞추기 위해 보완적 신체 비율 정보와 함께 사용될 수 있다.
모듈 507은 머리 검출을 제공할 수 있다. 머리 검출을 위한 다수의 기법들이 있다. 예를 들어, 에지 강조된 이미지를 취하여, 그것을 신체 길이를 따라 뒤집고, 이미지들 간의 상관을 수행할 수 있다. 상관의 피크는 신체의 무게 중심을 표시할 수 있다. 다른 대안적 방법이 단지 에지들의 중심의 무게 중심 계산이다. 중심의 무게 중심 계산은 사용자 상의 광이 충분히 균일하지 않다면 덜 정확할 수 있지만, 이 기법은 더 빠를 수 있다. 다른 기법들이 패턴 인식, 눈, 코, 및 머리의 모양 검출에 기초할 수 있다. 일단 무게 중심이 찾아지면, 관련 윈도우가 이미지로부터 신체를 식별하기 위해 크로핑 (cropping) 될 수 있다. 또한, 머리의 선단의 강조된 에지는 화소들에서의 사용자의 신장을 산출할 수 있다. 이미지가 화소당 길이의 균일한 가중치를 가지므로, 총 높이 (신장) 는 그에 따라 계산될 수 있다. 가정은 모듈 501 변환이 배열들에 걸쳐 일관적인 조작된 이미지들, 예컨대, 1~5 미터 (m) 를 산출할 것이며, 여기서 화소들에서의 스크린 상의 사용자의 실제 신장은 실제 사용자 신장과 비례할 것이라는 것이다. 이 가정이 모든 거리들당 정확히 그 경우가 아니면 추가적인 팩터들이 추가될 수 있다.
모듈 508은 화소들에서 신체 부위들의 사이즈를 측정할 수 있다. 그 기법은 신체 부위를 추가로 강조하기 위한 초점 영역 상의 추가적인 프로세스일 수 있다. 도 13은 신체로부터 팔들과 손을 제거하고 특정 신체 측정치들을 구하기 위한 상이한 간격들을 가리키는 추가적인 프로세스들의 결과의 일 예를 도시한다. 그 간격들은 사용자의 이미지의 무게 중심 또는 수직 대칭 축을 통과할 수도 있는 수직 중앙선 (1301) 을 생성함으로써 계산될 수 있다. 그 다음에 수평 구간 선 (section line) 들이 신체 측정에 적합한 영역들을 생성하기 위해 추가될 수 있다. 예를 들어, 선 1303은 다리들이 몸통에 연결되는 로케이션을 나타내는 한편, 선들 (1304 및 1305) 은 허리의 가장 좁은 영역을 나타낸다.
화소들에서의 측정치들은 예측된 곡선에 따라 센티미터 (cm) 로 번역(translation)될 수 있으며, 예컨대, 목은 원통으로서 모델링될 수 있으며 그래서 화소들에서의 목의 측정된 폭은 2 x 화소 반경 (radials in pixels) 을 표현할 수 있고, 그러면 화소 반경은 캘리브레이션당 cm로 컨버팅될 수 있다. 남자의 버스트는 더 타원형의 모델을 갖고, 그래서 그 번역은 약간 상이할 것이다. 추가적인 사이드 측정치들이 이용 가능하다면, 이러한 측정치들은 더욱 정확한 정보를 모델에 제공하기 위해 추가될 수 있다.
모듈 510에서, 측정치는, 엉덩이들이 버스트와 허리보다 더 넓다면 (도 11 및 도 12 참조), 사용자의 신체 유형, 예컨대, "배 (pear)" 모양으로부터 추론될 수 있다. 덧붙여서, 일부 분석이 다음을 제안할 수 있다:
1. 심장 문제에 대한 신체 조건 건강 위험 등;
2. 사용자의 체형에 가장 잘 맞는 의류의 유형;
3. 이력 비교를 위한 사용자의 신체에서의 경향들;
4. 사용자의 체형에 기초한 집중 광고 (예컨대, 중배엽형 (Mesomorph) /내배엽형 (Endomorph) 이 그들의 체형에 맞는 최상의 영양을 위한 집중형 쿠폰들을 얻을 수 있다);
5. 신체 인식; 및
6. 신체 진단이 시간 경과에 따른 신체 변화들 (회전 상태, 유연성, 잠재적 종양 등) 을 모니터링할 수 있다.
사용자의 BMI에 대한 정보는 도 4에서 설명된 대상체 모델로부터 또는 도 5에서 설명된 바와 같은 이미지 BMI 분석으로부터 직접적으로 학습 또는 추정될 수 있다.
다양한 애플리케이션들에서 이미지에서의 특정 물품들의 텍스처를 "학습"하는 것이 유익하다. 다양한 실시형태들에 따르면, 양호한 해상도로 텍스처를 측정하기 위해, 대상체는 우선 이미지로부터 분리된다. 하나의 실시형태에서, 엘리먼트 또는 신체 부위를 세그먼트화한 후, 추가적인 미세 텍스처 재구축 또는 측정이 구현될 수 있다. 텍스처 측정은 2D, 또는 3D 센서 (카메라) 로 행해질 수 있다.
2D 센서를 이용하는 실시형태들에서, 다음 두 개의 예들이 구현될 수 있다. 사용자가 거울의 앞에서 움직이고 있을 것이므로, 시스템은 깊이 또는 텍스처를 계산하는데 사용될 두 개의 이미지들 (예컨대, 연속적인 이미지들) 을 캡처할 수 있다. 그렇게 하기 위한 다수의 방도들이 있고, 일 예로서, 시스템은 비디오로부터 둘 이상의 이미지들을 추출하고 무게 중심 검출에 기초하여 거리를 계산하고 그 거리를 텍스처의 입체적 계산을 위해 사용할 수 있다. 다시 말하면, 두 개의 카메라들을 사용하여 입체 이미지를 취하는 경우, 카메라들 간의 거리는 알려져서, 삼각측량이 두 개의 카메라들 간의 거리 및 그 카메라들의 광축 각도를 사용하여 수행될 수 있다. 하지만 하나의 카메라만이 있다면, 시스템은 동일한 카메라를 사용하지만 별개의 시간을 사용하여 두 개의 이미지들을 취한다. 결과적으로, 사용자는 두 개의 이미지들 간에 조금 이동될 것이다. 그 다음에 시스템은 두 개의 화상들간의 차이를 계산하고 역 삼각측량을 수행하였다. 이는, 예를 들어, 각각의 화상들의 무게 중심을 계산한 다음 두 개의 무게 중심들 간의 x-y 거리를 (예를 들어, 화소들에서) 계산함으로써 행해질 수 있다. 이는 두 개의 이미지들이 두 개의 카메라들을 사용하여 취해진 것처럼 역 삼각측량을 수행하는데 사용될 수 있다. 다른 포인터들이 거리를 계산하는데 사용될 수 있으며, 예컨대, 프로세서는 두 개의 화상들에서 눈들을 식별하고 두 개의 화상들에서의 눈들 간의 거리를 계산할 수 있다. 다른 옵션은 사용자의 회전, 즉, (r,O) 를 결정하고 그것을 사용하여 역 삼각측량을 수행하는 것이다. 이들 방법들 중 임의의 것에서, 카메라는 사용자의 무게 중심 위쪽의 높이에, 예컨대, 모니터의 상단에 위치될 수 있으므로, 역 삼각측량은 깊이를 계산하는데 사용될 수 있음으로써, 깊이 센서로서 역할을 할 수 있다.
대안으로, 시스템은 양쪽 모두의 이미지들에서 눈에 띄는 포인터들을 찾고 그것들을 일치시킬 것을 시도한 다음, 명확한 식별이 없는 모든 포인터들을 제거할 수 있다. 이는, 예컨대, 포인터들의 랜덤 세트로부터 유사한 거동을 갖는 그룹을 찾고 그들 포인터들을 사용하여 엘리먼트의 텍스처 측정 또는 3D 구축을 위한 화소 거리를 찾는 RANSAM 랜덤 샘플 매칭 기법을 사용하여 행해질 수 있다.
다른 옵션은 거리 및 신체 회전에 기초하여 거울 간의 거리를 추정하는 것이다. 예를 들어, 시스템이 사용자의 신체 포즈를 측정할 수 있다면, 그 시스템은 텍스처를 추정할 수 있다.
3D 센서로, 시스템은 2D에서와 동일한 것을 할 수 있지만, 동적 범위 및 정확도를 개선하기 위하여 시스템은 측정될 엘리먼트를 분리하는 것이 필요하다. 배경 감법 (background subtraction) 은 거친 깊이 측정 임계값에 의해 개선될 수 있다. 시스템은 모든 1 이상의 프레임들마다 텍스처를 추정하고 칼만 필터 또는 임의의 다른 보간 외삽 기법들에 의해 프레임들 간의 텍스처 변경들을 그저 평활화할 수 있다.
몇몇 실시형태들에서, 3D 센서만이 사용자의 아바타의 파라메트릭 모델을 제어하는데 사용될 깊이 측정치를 생성할 것이다. 사용자는 가상적으로 착의하고 360o 살펴볼 수 있다. 부가하여 시스템은 거울 애플리케이션 또는 화상 회의에 대한 포지션 움직임을 사용자에게 적용하도록 제어될 수 있다. 아바타를 사용자 움직임에 일치시키기 위해, 등록 포인터들이 다수의 방도들, 예컨대, 자동 현저 엘리먼트 검출 및 RANSAM 랜덤 샘플링 및 매칭 기법에서 할당될 수 있는 등록 기법이 사용될 수 있다. 일단 시스템이 포인터들을 갖는다면, 실제 사용자 움직임들에 기초하여 아바타를 움직이는 것이 더 쉽다. 깊이 센서 또는 3D 카메라로부터의 데이터는 유사한 매핑 변환 엔진을 통과할 수 있고 그 결과는 사용자의 더욱 정확한 3D 아바타의 기초가 될 수 있다. 아바타는 사용자에 대한 가상 엘리먼트들을 제시하기 위한 모델 베이스로서 완전히 또는 부분적으로 사용될 수 있다.
등록 매핑을 맞추는 다른 기법은 머리, 손들, 상체 다리들과 같은 이미지에서 엘리먼트를 식별하고 아바타의 움직임을 이들 엘리먼트들의 모션에 일치시키는 것이다. 모션은 모든 1 이상의 프레임들마다 측정 및 추정될 수 있고 및 부드럽고 거친 아바타 움직임이 칼만 필터 기법에 의해 행해질 수 있다. 아바타 모션은 실시간, 준 실시간, 또는 오프라인으로 행해질 수 있다.
몇몇 실시형태들에서, 시스템은 이미지들의 스트림을 (하나의 카메라, 두 개의 카메라들, 또는 3D 카메라 중 어느 하나로부터) 수신하고, 그 이미지들의 스트림을 사용하여 가상 현실을 실시간으로 생성한다. 카메라로부터의 원래의 이미지들은 버려지고, 대신에 가상 세계가 모니터 상에 제시된다. 실시간 이미지들이 가상 현실을 생성하는데 사용되므로, 가상 현실 이미지들은 카메라들에 의해 이미지화된 것과 같은 실제 세계를 충실하게 나타낸다. 따라서, 위에서 지적했듯이, 실시간 이미지들은 아바타를 실시간으로 생성하는데 사용될 수 있으며, 그 아바타는 캡처된 사용자를 이미지들에서 충실하게 나타낸다. 한편으로는, 배경과 사용자가 착용한 물품들은 변경될 수 있어서, 사용자의 아바타는 상이한 로케이션에서 사용자와 동일한 또는 상이한 물품들을 착용하고 있는 것처럼 디스플레이될 수 있다. 예를 들어, 사용자가 스키 코트를 입어 보면, 실시간 이미지들은 사용자에 대응하고 동일한 코트를 착용한 아바타를 생성하는데 사용될 수 있지만, 배경은 스키 슬로프를 디스플레이하기 위해 변경될 수 있어서, 사용자는 스키 슬로프 상에 코트를 착용한 자신을 이미지화할 수 있다.
다른 한편으로는, 사용자에 기초한 아바타를 사용하여 영화를 생성하기 위해서, 실시간 이미지들을 저장한 다음, 이미지들에 대해 오프라인으로 동작하여, 더 높은 프로세싱 능력이 이용 가능하게 되는 것이 또한 가능하다. 영화는 그 다음에 사용자에게, 예컨대, 인터넷을 통해 전송될 수 있다.
보안 및 다른 애플리케이션들
도 6은 멀티레벨 사용자 학습 및 인증을 위한 보안 시스템 애플리케이션의 일 예를 도시한다. 이는 가능한 흐름 구현의 단지 하나의 예이며, 다이어그램 모듈들 간의 흐름 또는 상이한 기능상의 분리의 임의의 조합이 본 발명의 부분이다.
이전의 도면들에서처럼, 디바이스 (601) 로부터의 스틸들 또는 비디오가 이미지 그래빙 모듈 (602) 에 입력될 수 있다. 이미지 그래빙 모듈 (602) 은 이전에 설명된 것들과 같은 트리거 이벤트에 의해 제어되고 이미지 그래빙 프로세스를 개시하기 위해 추적 정보 및 규칙들을 제공할 수 있는 트리거 이벤트 모듈 (607) 에 의해 프로세싱될 수 있다. 구체적으로는, 이미지 그래빙 모듈 (602) 은 입력 (601) 으로부터 이미지를 그래빙하고 그것을 추가적인 추적 정보 (실시간 기하학적 측정치) 와 함께 아이즈매치 변환 모듈 (603) 로 푸시할 수 있다. 추적 정보 및 이벤트 요건에 기초하여, 아이즈매치 변환 모듈 (603) 은 장면의 캘리브레이션된 이미지를 생성하기 위해 카메라 관점, 시야각 (angle of view) 등으로 조작할 변환을 계산할 수 있다. 덧붙여서, 아이즈매치 변환은 GPU/CPU/DSP에서, 클라우드 등에서 국소적으로 수행될 수 있다. 하나의 실시형태에서, 사용자에 대한 또는 장면의 기하학적 구조에 대한 고급 정보가 추적 알고리즘에 피드될 수 있고 캘리브레이션에 참여할 수도 있다. 추가적인 정보는 1회성 기하학적 정보, 예컨대, 사용자 신장, 그의 눈들 간의 거리 등으로서 제공될 수 있다. 그 경우 추가적인 기하학적 정보는 요구된 변환을 계산하기 위해 사용될 수 있다. 왜곡된 이미지 및 알려진 기하학적 정보 간의 차이는 변환을 계산하고 캘리브레이션하는데 사용될 수 있다.
아이즈매치 변환 모듈 (603) 로부터의 캘리브레이션된 출력은 그 다음에 보안 스캐너 모듈 (604) 로 피드될 수 있는데, 그 보안 스캐너 모듈은 장면 분석 모듈이라고 또한 지칭될 수 있다. 보안 스캐너 모듈 (604) 은, 다수의 기법들, 예컨대, 에지 검출, 통계적 에지 검출, IR 카메라, 마이크로파 센서, 3D 카메라, 단일 카메라 및 사용자가 회전하고 있는 경우의 다수의 컷들에 기초한 몸매 또는 신체 곡선 스캐닝 중 하나 이상을 학습하도록 적응될 수 있다. 신체의 완전한 3D 모델이 사용자가 비디오 카메라의 앞에서 회전하고 있는 경우 또한 취해질 수 있고 사용자의 의복은 도 4에 묘사된 기법 즉, 콜로그라마 등에서 설명된 바와 같은 알파 채널로 추출될 수 있다.
다른 학습 또는 인증 방법들이, 예를 들어, 아이템에 대한 시그너처가 데이터베이스에서 생성되고 소팅되게 하는 피륙 검출을 포함한다. 데이터베이스는 다수의 데이터베이스들 및 전자상거래 스토어들로부터 의복을 스캐닝함으로써 또는 오퍼레이터에 의해 정보를 능동적으로 스캐닝 및 업데이트함으로써 인터넷으로부터 업데이트될 수 있으며, 예를 들어, 보안 요원의 유니폼, 패브릭의 유형 등이 입력될 수 있다.
또한, 아이즈매치와 얼굴 인식의 조합은 오퍼레이터가 사용자의 신장 위쪽에, 예를 들어, 문 위쪽에서 약 30~45 도 아래로 향하게 카메라를 설치하는 것을 허용할 수 있으며, 이러한 설치는 사용자가 카메라 아래쪽에서 자유로이 움직이는 것을 허용한다. 이 시나리오에서, 예를 들어, 검출 가능한 얼굴 인식 범위는 카메라의 앞에서 약 1~5 미터이다. 이는 장점이 되는데 사용자의 머리가 +/-15 도의 각도에서 스캔된다면 알려진 얼굴 인식 시스템들이 매우 정확하지는 않아서이다.
추가적인 신체 인증 센서들이 음성, 냄새, 손바닥, 지문, 눈들, DNA, X-레이 센서들 또는 초음파에 대한 골격, 이빨, 체모, 인상, 컬러, 눈들, 혈액, 헤일로, 온도, 피부 표시 (skin marks), 귀들 등을 포함할 수 있다.
비디오, 스틸들 또는 분석된 데이터는 직접적으로 카메라로부터, 아이즈매치 변환 모듈 (604) 로부터, 프로세싱된 이미지로부터 또는 센서들로부터 나오는 데이터로부터 비디오/스틸 기록 모듈 (605) 로 기록될 수 있다.
시각적 비디오/이미지 또는 분석된 데이터는 사용자 스크린의 앞에서 디스플레이되며 (전체 신체 이하), 스크린 (606) 상에 디스플레이되기 위해 제어 센터로 또는 추가의 프로세싱 및 분석을 위한 모듈로 클라우드를 통해 전달될 수 있거나 또는 직접적으로 전달될 수 있다.
모듈들 (607, 608, 609 및 610) 은 모듈들 (107, 108, 109 및 110) 에 각각 유사하다 (도 1 및 그것의 연관된 설명들을 참조).
도 7은 병렬 또는 대역 내 카메라 조작을 위한 보안 시스템 애플리케이션의 일 예를 묘사한다.
도 7에서의 디바이스의 능력은 도 7에 묘사된 바와 같은 자립형 디바이스 내에 또는 카메라 DSP 능력의 부분으로서 존재할 수 있으며, 특징 활성화의 제어는 무선으로 또는 유선 인프라스트럭처를 통해 행해질 수 있다. 덧붙여서, 그 능력의 일부, 예컨대, 측정 및 추적이 원격 로케이션에서 지원될 수 있다. 덧붙여서, 디바이스는 카메라의 앞에서 전개될 수 있고 작은 스크린 상의 조작된 이미지를 카메라로 투영할 수 있다.
카메라 메인 스트림은 디바이스에 피드할 수 있거나 또는 그 디바이스는 카메라 메인 스트림을 태핑 (tapping) 및 스니핑 (sniffing) 하기 위해 적응될 수 있다. 프로세싱 후, 디바이스는 병렬 데이터를 오퍼레이터로 전송하도록 적응될 수 있다.
디바이스는 다수의 이미지 컴퓨팅 능력, 아이즈매치 기하학적 능력을, 예컨대, 아이즈매치 변환 모듈 (703) 내에, 신체 측정 및 사용자 인증을, 예컨대, 보안 스캐닝 모듈 (704) 내에, 그리고 증강 현실 능력들을, 예컨대, 증강 현실 모듈 (706) 내에 가질 수 있으며, 그 이미지는 메인 스트림 상에서 또는 메인 스트림에 대해 병렬로 조작될 수 있으며, 예컨대, 그 조작들은 사용자의 체형, 컬러, 사용자가 보유한 아이템들, 헤어 스타일, 완전한 사용자 사라짐 등의 변경을 포함할 수 있다. 이들 능력들은 보안 사용에 대해 매우 중요하다.
덧붙여서, 비디오 스트림은 로봇 같은 다른 디바이스, 헤드 마운트 디스플레이, 사용자 애플리케이션 등에 피드될 수 있다.
디바이스 기능을 제어하기 위한 인터페이스는 유선 또는 무선 인프라스트럭처를 통해 또는 로컬 또는 원격 로케이션에 대해 있을 수 있다. 측정 모듈은 디바이스 내에 또는 클라우드 내에 존재할 수 있다.
하나의 실시형태에서, 능력은, 예를 들어, 실시간 또는 오프라인으로 행해질 수 있다. 디바이스의 활성화는, 예를 들어, 주기적으로, 트리거 이벤트에 응답하여 또는 수동으로, 필요한 대로 또는 원하는 대로 행해질 수 있다.
디바이스는 다른 디바이스들, 예컨대, 사용자가 볼 수도 있는 이미지를 변경하기 위한 프로젝터 (위장 (camouflage)) 에 대한 실시간 제어 및 트리거들 또는 카메라의 앞에서 정확한 조정이 필요한 정확한 위협 제거 디바이스에 대한 트리거 이벤트를 지원할 수 있다.
비디오는 추가의 스테이션들과 실시간으로 공유될 수 있다. 비디오를 공유하는 다수의 방도들이 있다. 몇몇 예시적인 시나리오들이 아래에서 상세히 논의된다.
하나 이상의 다른 사용자들과 원격으로 거울 경험을 공유한다면, 사용자는 로컬 스테이션 상의 자신을 보고 원격 사용자는 그 사용자를 거울에서 보아 자신의 경험을 공유한다. 원격 사용자는 임의의 적합한 디바이스를 가질 수 있으며, 주요 경험은 거울의 앞에서 서 있고 검토를 위해 무엇인가를 하고 있는 사용자를 보는 것이다. 사용자는 아이즈매치 또는 임의의 다른 기술에 기초하여 자신의 거울 이미지를 볼 수 있을 것이다. 도 8a는 이 시나리오를 묘사한다. 원격 사용자는 사용자 브로드캐스트를 그냥 보며, 그 사용자에게 문자를 보내며, 그 사용자에게 말하고 그리고/또는 거울 스크린 상의 작은 윈도우에서 보이고 있을 수 있다.
도 8a는 비디오/음성 회의에서의 공유 거울 경험을 묘사한다. 도 8a에 도시된 바와 같이, 거울 경험은 클라우드에서 또는 다른 거울 스테이션을 통해 사용자/사용자들과 공유된 라이브일 수 있다. 첫 번째 경우, 사용자는 거울 모드에서 자신을 볼 수 있지만, 클라우드로 가는 비디오 스트림은 타측에서의 시선 방향 (gaze orientation) 을 정정하기 위해 다시 뒤집혀진 추가의 거울을 통과할 필요가 있다. 그래서, 사용자가 (거울 모드에서) 우측 또는 좌측을 보는 경우, 나머지 측의 자신의 눈들/시선은 자신이 우측 방향을 보았던 것처럼 우측 방향으로 이동할 것이다.
도 8b는 전신 비디오 회의의 공유를 묘사한다. 카메라가 타측으로 "있는 그대로" 스트리밍될 수 있는 일반 비디오 회의와는 대조적으로, 거울 스테이션에서, 타측으로 전송되고 있는 이미지는 원격 로케이션에서 좌우가 뒤집어지는 것이 필요하다. 이는 국소적으로 또는 원격 측에서 캡처된 거울을 뒤집음으로써 행해질 수 있다.
도 8b에서, 둘 이상의 사용자들이 전신 스테이션들에서 서로 통신하는 경우, 하나의 스테이션에서의 사용자/사용자들은 우측 배향에서도 다른 방향으로부터 사용자/사용자들을 볼 것이다. 도 8b에 도시된 바와 같이, 사용자는 로컬 스크린의 좌측에 서 있는 자신을 볼 수 있고, 사용자는 로컬 스크린의 우측에서 다른 사용자를 볼 수 있다. 이 경우 로컬 비디오는 이미 미러링되었고, 추가의 뒤집기/거울이 비디오를 원격 로케이션/로케이션들로 스트리밍하는 경우 (브로드캐스팅하는 경우) 에 필요할 것이다.
로컬 거울의 이 경험 및 다른 원격 로케이션 상의 시선 정정을 일치시키기 위한 로컬 또는 스트림형 비디오의 미러링, 뒤집기, 회전 등의 임의의 조합은 본 발명의 부분이다.
하나의 실시형태에서, 양쪽 모두의 스테이션들이 동일한 기하학적 특징 및 치수들로 아이즈매칭/캘리브레이션되며, 스테이션들의 매 스테이션은 전신 거울을 생성하고 그것을 원격 로케이션/로케이션들로 전송한다. 전신 및 아이즈매치 경험은 비디오 회의에서도 일어날 것이고, 사용자는 각각의 타인의 눈들을 들여다 보는 느낌을 받을 것이다.
하나의 실시형태에서, 하나를 초과하는 사용자가 하나의 로케이션에 있는 경우, 아이즈매치 또는 신체 왜곡 정정이 사용자당 추적 능력으로 사용자마다 또는 양쪽 모두에 대해 동시에 행해질 수 있다. 라인 효과를 제거하기 위하여, 이 경우, 증강 현실 능력이 위에서 설명된 바와 같이 배경을 대체할 수 있다. 증강 현실 모드에서, 콜로그라마 또는 다른 기법이 그 배경을 일반 배경으로 대체하는데 사용될 수 있다. 연결 라인은 사용자들 자신들에 대한 라인들 또는 불연속성을 제거하기 위해 사용자들 간에 위치될 수 있다.
하나의 실시형태에서, 두 개를 초과하는 스테이션들이 있는 경우, 스크린은 다수의 로케이션들로부터의 다수의 사용자들이 동시에 디스플레이되는 것을 허용하도록 분할될 수 있거나, 또는 다수의 스크린들이, 예를 들어, 도 8c에서 묘사된 바와 같이 하나가 다른 것 옆에 있게 위치될 수 있다. 구체적으로는, 도 8c는 분할 스크린 또는 다수의 스크린들이 있는 다수의 거울들/전신 스테이션들을 묘사한다. 도 8c에 도시된 바와 같이, 사용자들이 거울에서 묘사되는 순서는 정확한 시선의 전달을 허용한다. 사용자가, 예를 들어, 원격 스크린 상의 우측을 보고 있는 경우, 뒤집기 후, 그 사용자는 사용자가 원격 사용자를 향해 좌측을 보고 있는 것으로 보일 것이다.
이는 단지 일 예이고 스크린 근처의 또는 원격 로케이션에서의 임의의 수의 사용자들이 바른 (right) 시선 접근법을 허용하도록 편성되어야 한다. 하나의 실시형태에서, 추가의 시선 및 눈맞춤 (eye contact) 개선이 경험을 개선하기 위해 적용될 수 있다. 하나의 실시형태에서, 스크린은 3D 능력, 및 스크린에서의 사용자당 3D 능력을 포함할 수 있다.
하나의 실시형태에서, 일측에서의 아이즈매치 또는 임의의 컴퓨터화된 이미지 프로세싱에 더하여, 원격 로케이션은 로컬 사용자 추적에 기초하여 원단 (far end) 비디오에 대해 조작하는 추가의 컴퓨터화 능력을 가질 수 있으며, 예컨대, 사용자가 스크린에 가까이 있다면, 원단 비디오 또는 이미지는 약간 더 커 보이도록 프로세싱되고 라이브 세션의 더 나은 느낌을 제공하기 위해 투영될 것이다. 다른 예는 사용자가 하나의 단부에 더 가까이 있는 경우, 그 사용자는 원단의 더 넓은 FOV를 볼 것이라는 것이다.
사용자 인터페이스
본 발명은 가상 거울의 유용성을 용이하게 하기 위해 가상 거울 제어 및 가상 시스템 특징들을 포함한다. 가상 거울 제어 및 가상 시스템은, 예를 들어, 온, 오프, 재시작, 거울, 디스플레이, 유휴 등을 포함한 다양한 동작 모드들을 포함할 수 있다. 가상 거울 제어 및 가상 시스템은 자동, 수동 또는 자동 및 수동의 조합일 수 있는 사용자들의 인증 및 등록을 포함할 수 있다. 가상 거울 제어 및 가상 시스템은 사용자 경험을 용이하게 하고 향상시키는 최적의 동작 흐름을 포함할 수 있다.
가상 거울 제어 및 가상 시스템은, 예컨대, 자동 제스처, 음성, 눈 포인팅, 모바일 애플리케이션, 원격 전문가, 로컬 조력자 등의 거울을 제어하는 하나 이상의 인터페이스들을 포함할 수 있다. 가상 거울 제어 및 가상 시스템은, 레코딩된 비디오의 플레이 (자동/수동); 진보적 효과들 (아이템 컬러 조작, 증강 현실 특징들, 게이밍 특징들, 배경 변경, 3D 효과, 조명 효과 등); 스크린 모드 (배향/전체 사이즈 또는 분할 스크린); 친구들/전문가들과 실시간으로 계속해서 경험을 공유하는 공유 기법들 및 방법들; 디스플레이와 공유, 예를 들어, 가상 거울 또는 사용자 모바일 디바이스로부터 취해진 개인 비디오들 및 이미지들의 공유를 제어하는 모바일 사용자 애플리케이션; 일반 관리를 위한 소매 또는 기업 원격제어 (remote) (소매업자에게 고급 제어 및 분석 능력을 이용하여 실시간으로 사용자에 관한 정보를 제공); 및 거울을 작동하는 방법 (애니메이션, 비디오, 음성, 시각적 힌트들 등) 을 사용자에게 가르치는 모듈을 포함하는 인터페이스들의 포괄적인 조합을 포함할 수 있다.
도 14, 도 15 및 도 16은 거울 경험을 시뮬레이션하기 위해 함께 시퀀스화될 수 있는 가상 거울 사용자 인터페이스 (UI) 흐름의 예들을 묘사한다. 동작 시간 외에, 스크린을 피드하는 거울 스크린 및/또는 컴퓨테이션 디바이스는 디스플레이 전자기기의 급속한 노화를 없애기 위해 턴 오프되거나 또는 화면 보호기가 켜진 채로 있을 수 있다. 거울 스테이션은 자동으로 파워 업 되기 위해서 가능화 (enable) 될 수 있다. 거울 스테이션은 재부팅하고 정상 동작으로 진입하기 위해 원격 제어를 통해 국소적으로 또는 클라우드를 통해 제어될 수 있다.
시스템이 턴 온 되는 경우, 사용자가 거울 앞에 서기 전에, 시스템은 유휴 모드에서 동작하며, 이 유휴 모드 동안 제어기는 거울 반사를 모방하기 위해 변환을 제공할 수도 있거나 또는 하지 않을 수도 있다. 일단 사용자가 카메라의 시야 앞의 특정 구역에 들어서면, 프로세서는 레코딩된 이미지에서 사용자를 추적할 수 있다. 그 추적에 기초하여, 프로세서의 비디오 엔진은 거울 거동을 모방하기 위해 이미지의 변환을 계산할 수 있다.
거울 앞에 사용자가 없는 경우 정상적으로 동작 가능한 유휴 모드에서, 모니터는 화면 보호기, 정적 이미지, 비디오 클립들 등을 디스플레이할 수도 있다. 이들 예들의 모두는 "이미지"라는 용어가 비디오를 포함하는 유휴 이미지라고 지칭될 수도 있다. 유휴 모드 동안 모니터는 그 특정 인스턴스에서 카메라에 의해 기록된 배경 이미지를 또한 디스플레이할 수도 있다. 배경 이미지를 적절히 디스플레이하여서, 그 배경 이미지가 거울 반사처럼 보이게 하기 위하여, 제어기의 비디오 엔진은 디폴트 설정 (예컨대, 모니터로부터 2 미터) 을 취하고 카메라 스트림에 대해 2 미터 변환을 적용하여, 예를 들어, 도 14에서 묘사된 바와 같이 배경 환경에 대한 거울 효과를 생성할 수 있다.
다양한 실시형태들에서, 시스템은 카메라의 앞에서 사용자의 존재를 자동으로 인식할 수 있고 사용자 식별, 계정 매칭 등을 포함하는 거울 모방 절차를 자동으로 시작할 수 있다. 하나의 구현예에서, 사용자의 존재는 이미지에서의 변경들을 검출하고 사용자를 식별하는 카메라에 의해 캡처된 이미지들을 지속적으로 분석함으로써 행해진다. 하나의 예에서, 트리거 구역이 카메라 앞에서의 그리고 카메라의 시야 내의 카펫 상에 특정 표시를 사용하여 또는 매트를 배치함으로써 지정될 수 있다. 카펫에는 사용자의 추적 및 검출을 개선하는 특정 패턴 및 컬러가 설계될 수 있다. 덧붙여서, 카펫의 컬러들은, 예컨대, 특정 콘트라스트를 개선함으로써 비디오의 품질을 개선할 수 있다. 예를 들어, 더 밝은 컬러들이 조명 조건들을 개선하기 위해 그리고 결과적인 비디오의 품질을 개선하기 위해 사용될 수 있다. 하나의 실시형태에서, 카펫 상의 패턴은 약 5~10 cm에서 더 밝은 칼라와 더 어두운 칼라로 교번하고 있을 수 있어서, 사용자가 어두운 또는 밝은 컬러 신발로 서 있는 경우, 그 사용자 신발은 쉽게 검출 및 추적될 것이고, 최대 거리 에러는 컬러 분리 (color separation) 의 절반 보다 더 높지 않을 것이며, 즉, 5-10/2이다. 하나의 실시형태에서, 카펫은 사용자에게 거울을 동작하는 방법을 알려주는 사용자를 위한 명령들을 포함할 수 있다. 대안으로, 하나의 실시형태에서, 사용자가 자신의 손들 또는 음성이 아니라 자신의 발로 거울을 동작시키기 위해 수용 패드 상을 자신의 발로 밟을 수 있는 동작 디바이스가 제공될 수 있다. 하나의 실시형태에서, 거울은 사용자에게 올바른 로케이션에 설 것을 프롬프트할 수 있으며, 예컨대, 사용자가 다가가는 경우, 거울은 유휴 모드로 다시 스위칭할 수 있거나 또는 거울은 이미지에서 사용자 다리들을 자르는 등을 할 수 있다.
시스템은, 사용자가 거울 앞의 추적 또는 등록 구역에 발을 들여 놓는 경우, 제어기의 비디오 엔진이 반응하고 대상체 추적을 시작하도록 구성될 수 있다. 대상체 로케이션에 기초하여, 비디오 엔진은 거울 거동을 모방하기 위해 비디오 변환을 조정할 수 있다. 추적에 대한 추가의 입력은, 아이즈매치 프로세스에서 설명되는 바와 같이, 사용자의 신장, 공간적 로케이션, 포즈 등을 포함할 수 있다. 이 시점에서, 사용자는 시스템에 여전히 등록되어 있지 않으며, 그래서 사용자 식별의 추가적인 프로세스가 수행될 수 있다. 예를 들어, 인증은 얼굴 인식, 사용자가 스캐닝을 위해 시스템에 제시할 수 있는 특수 카드, 사용자 모바일 디바이스 (오디오, 무선, QR (Quick Response) 코드), 또는 다른 생체 등록 특징을 포함할 수 있다.
하나의 실시형태에서, 얼굴 인식이 당시의 전적으로 신뢰 가능한 100%가 아니므로, 추가적인 인식 특징들이 적절한 시간량, 이를테면 몇 초 동안 스크린 상에 팝업하기 위해서 디스플레이될 수 있다. 현재의 예에서, QR 브래킷 (1505) (도 15) 이 개방되고 사용자는 거울에 예컨대 스마트폰 상의, 자신의 고유 애플리케이션으로 전송되었던 QR 또는 QR 배지를 보여주고, 현재의 얼굴 이미지가 인증된 사용자와 연관됨을 시스템에 효과적으로 통신할 수 있다. 이 기법은 특정 사용자가 하나를 초과하는 얼굴 계정을 갖는 사건에서 반-자동 사용자 병합을 허용하는데 사용될 수 있다. 덧붙여서, 일단 얼굴 정보가 병합되면, 추가적인 얼굴 측정들 및/또는 개선들이 시간 경과에 따른 사용자의 인식을 개선하기 위해 수행될 수 있다. 다시 말하면, 사용자가 QR 코드를 사용하여 인증되는 경우, 현재 및 모든 과거의 세션들로부터의, 이 특정 코드에 연관된 얼굴 정보의 모두는 이 사용자에 대한 얼굴 인식 정보를 업데이트하는데 사용된다.
도 15에 예시된 하나의 특정 예에서, 모니터 상에 제시된 이미지는 비디오 이미지 상에 중첩된 프레임 (1505) 을 포함한다. 따라서, 모니터를 보는 사용자는 모니터 상의 자신의 인공 "반사"와 중첩된 프레임 또는 브래킷 (1505) 을 본다. 사용자는 그 다음에 코드를 제시할 수도 있어서, 그 코드는 모니터 상의 프레임 내에 맞게 된다. 하나의 예에서 코드는 카드 상의 인쇄된 바코드이다. 다른 예에 따르면, 사용자는 사용자의 모바일 디바이스, 예컨대, 스마트폰 상에 앱을 다운로드할 수도 있다. 그 앱은 사용자 또는 사용자의 스마트폰에 특히 대응하는 바코드, 이를테면 QR 코드를 포함한다. 사용자가 그 프레임을 보는 경우, 사용자는 앱을 열고 스마트폰이 프레임 내에 맞도록 스마트폰을 제시한다. 제어기는 그 다음에 그 코드를 그 프레임 내에서 식별함으로써 사용자를 식별한다.
사용자가 식별되는 경우, 사용자의 계정은 열릴 수 있고 마지막 기록들이 디스플레이될 수 있으며, 예컨대, 하나의 실시형태에서, 섬네일 구성 (1510) 이 도 15에 묘사된 것과 같이 디스플레이될 수 있다. 대안으로, 임의의 다른 이미지 제어 막대 (control bar) 가 디스플레이될 수 있다. 사용자가 식별되지 않으면, 사용자 등록 프로세스가 시작될 수 있으며, 그러면, 수 초 후, 새로운 계정이 열릴 수 있고 거울은 기록을 자동으로 시작하도록 구성될 수 있다. 예를 들어, 사용자가 식별되지 않는다면, QR과 같은 코드가 모니터 상에 디스플레이될 수 있어서, 사용자는 그 코드를 모바일 디바이스로 스캔하여 앱을 다운로드할 수 있다. 그 앱이 다운로드되고 사용자가 등록 프로세스를 완료한 경우, 사용자의 디바이스 상의 앱은 향후의 방문 시에 그 프레임에 제시될 수 있는 코드를 포함할 것이다.
하나의 실시형태에서, 시스템은 N 초의 비디오 클립을 기록 및 저장할 수 있으며, 예컨대, 10~13 초는, 사용자가 특정 아이템을 보는 도중 좋은 인상을 얻는 것을 허용하는데 충분한 시간이고, 예컨대, 사용자 몸을 돌리는 것 등을 포함할 수 있다. 그래서, 사용자가 거울 상의 현재 아이템을 계속 조사할 수도 있고 제어기가 거울 모방을 위한 변환을 계속 수행할 수도 있는 반면, 시스템은 전체 세션의 서브-섹션만을 기록한다. 이 서브-세션은, 예컨대 클라우드 상의, 데이터베이스 내에 저장될 수도 있으며, 동일한 사용자의 미래의 세션들 동안 이용 가능할 수도 있으며, 사용자의 디바이스 상으로의 다운로드를 위해 이용 가능할 수도 있고 그리고/또는 그 사용자에 의한 다른 사용자들 또는 디바이스들로의 전송을 위해 이용 가능할 수도 있다. 예를 들어, 사용자는 그 세션을 소셜 미디어 또는 다른 애플리케이션들로 업로드할 수 있을 수도 있다.
하나의 실시형태에서, 비록 거울이 사용자를 인식하는 경우 그 거울은 기록을 자동으로 시작하도록 구성될 수도 있지만, 사용자가 이러한 자동-인식을 원하지 않는다면, 거울은 비디오를 국소적으로 저장하도록 구성될 수 있으며, 사용자는 이전의 섬네일들 중 하나를 트리거할 수 있고, 거울은 디스플레이 모드로 스위칭하도록 구성될 수 있고 거울은 비디오를 플레이하도록 구성될 수 있다. 다시 말하면, 사용자는 특정 장면이 사용자에 의해 잘리고 시스템에 저장되지 않게 하는 프로세스를 실행하도록 프롬프트될 수 있다.
하나의 실시형태에서, 하나 이상의 섬네일들 (1510) 이 거울 상에 추가될 수 있으며, 이는 스크린이 좁은 구성, 예컨대, 21:9, 또는 임의의 다른 광폭 스크린 구성인 경우 유용할 수 있다. 하나의 실시형태에서, 섬네일 (1510) 은 거울 스트림 옆의 또는 모방된 비디오 스트림 하의 별도의 막대에서 팝업하도록 디스플레이될 수 있다. 이 특징은 스크린이 모방된 거울 스트림에 대해 요구된 또는 할당된 것보다 더 넓은 경우 유용할 수 있다. 하나의 실시형태에서, 여섯 개 (6) 섬네일들 (1510) 이 사용자에게 제시되지만, 임의의 적합한 수의 섬네일들이 제시될 수 있다. 섬네일들의 사이즈는 디스플레이에 대한 합리적인 비율을 지원하도록 구성 가능할 수 있다. 각각의 섬네일 (1510) 은 사용자의 이전 세션에 대한 하이퍼링크를 포함하며, 그 이전 세션은 하이퍼링크를 활성화함으로써 액세스될 수 있다. 그 하이퍼링크는, 예컨대, 손 동작, 마우스, 원격 제어 (remote control) 등과 같은 다양한 방법들에 의해 활성화될 수도 있다. 하나의 예에서, 제어기는 이미지에서 사용자의 손을 식별한다. 사용자가 손을 위아래로 움직임에 따라, 제어기는 그 동작을 추종하고 대응하는 섬네일을 강조표시한다. 사용자가 주먹을 만들려고 자신의 손을 닫는 경우, 제어기는 그 특정 순간에 강조표시되었던 섬네일에 대응하는 하이퍼링크를 활성화시킨다.
하나의 실시형태에서, 예를 들어, 도 15에서 알 수 있듯이, 기록 표시자 (1520) 가 또한 디스플레이될 수 있다. 기록 표시자는 "REC", 적색 원 등과 같은 어구의 디스플레이를 포함할 수 있다.
또한, 텍스트 또는 사용자의 이름은 도 15에서 1515에서 보여진 바와 같이 디스플레이될 수 있다. 하나의 실시형태에서, 추가적인 패스워드가 사용자와 연관되고 텍스트 (1515) 로서 디스플레이될 수 있고, 사용자는 이 패스워드 기반 인증을 하고 그것을 등록 프로세스에 적용할 수 있다. 하나의 실시형태에서, 직원 또는 사용자 자신이 폰, 이메일, NFC 시그널링 또는 임의의 다른 식별 정보를 입력하고 즉석에서 또는 나중에 클라우드 상의 데이터베이스에 대한 링크를 획득할 수 있다.
하나의 실시형태에서, 추가적인 제어 능력, 예컨대, 기록 시작, 비디오 소거, 조명과 같은 비디오 효과들의 추가, 컬러 변경들, 배경 선택 등이 또한 추가될 수 있다. 하나의 실시형태에서, 모든 비디오들이 클라우드에 업로드될 수 있고 얼마간의 사전프로그램된 시구간 후에 로컬 스테이션으로부터 소거될 수 있다. 하나의 실시형태에서, 비디오들은 기록 후에 프로세싱될 수 있어 증강 현실 효과를 반영하기 위해 또는 BMI/재단(tailor)/몸매 측정치들 분석을 위해 비디오를 변경하거나 또는 비디오를 개선하는 추가적인 효과가 있다. 하나의 실시형태에서, 비디오 기록은 추가의 분석을 위한 환경의 오디오 기록을 포함할 수 있다. 하나의 실시형태에서, 비디오 기록은 사용자들의 MAC을 기록하기 위한 환경의 WLAN 기록을 포함할 수 있고, 나중에 추가의 상관을 이용하여, 모바일 디바이스의 MAC을 사용자에게 연관시키도록 적응될 수 있다.
본 발명은 사용자의 거울 제어를 용이하게 하는 시스템을 포함한다. 하나의 실시형태에서, 사용자가 미리 정의된 구역에 여전히 있고 거울에 의해 한번 인식되었다면, 그 사용자가 여전히 거기에 서 있고 그 밖에 누구도 인식되고 있지 않는 한, 그 사용자는 거울을 제어, 예컨대, 이미지들/비디오들을 플레이, 시작 및 중지, 이미지들/비디오들을 삭제, 증강 현실 특징들을 추가하는 등을 할 수 있을 것이다. 사용자는 제스처 제어를 통해 또는 자신의 디바이스, 예컨대, 스마트폰으로부터, 소매 애플리케이션의 부분으로서의 전용 애플리케이션 또는 추가적인 제어 특징들을 통해 거울을 또한 제어할 수 있다. 하나의 실시형태에서, 제스처 제어는 몇몇 기본적 기능을 가능화할 수 있고 사용자 애플리케이션은 제스처 제어에 비하여 훨씬 더 많은 기능을 가능화하는 것이 허용될 수 있다. 하나의 실시형태에서, 가게의 점원 또는 클라우드에서 가상적으로/원격으로 이용 가능한 보조자가 거울을 동작함에 있어서 사용자를 보조할 수 있다. 하나의 실시형태에서, 사용자는 UI에 대한 자신 소유의 선호들을 자신의 애플리케이션으로부터 또는 웹으로부터 설정할 수 있다. 모든 사용자 전용 설정들이 사용자의 계정에 추가될 수 있으며, 예컨대, 사용자는 세션 기록의 시간 길이, 섬네일들의 수 등을 변경할 수 있다.
디폴트 모드에서, 사용자는 자신의 마지막 n 개의 비디오들을 볼 수 있다. 그 비디오들은 특정 거울 로케이션에서 취해졌을 수도 있거나 또는 취해지지 않았을 수도 있지만, 중앙 저장 로케이션에서, 예컨대, 클라우드로부터 액세스될 수도 있다. 사용자는 로컬 시착 비디오들의 섬네일들의 외형을 설정할 수 있다. 자신의 애플리케이션으로부터, 사용자는 모든 섬네일들을 보고 특정 섬네일에 연관된 비디오의 플레이를 활성화하기 위해 그러한 섬네일들 또는 임의의 다른 선정 방법을 터치할 수 있다.
하나의 실시형태에서, 섬네일들 (1510) 은, 예를 들어, 도 15에서 알수 있는 바와 같이 모방된 거울 스트림의 상단에서 팝업하도록 구성된다. 그 섬네일들은 실시간 거울-모방 비디오가 플레이되고 있는 경우 또는 예를 들어 도 16에서 보인 바와 같이 제스처 제어 식별이 없는 분할 모드에서 배경으로 전송될 수 있다. 사용자는 스크린을, 예를 들어 도 16에서 보인 바와 같은 분할 모드로 또한 설정할 수 있다. 구체적으로는, 도 16은 사용자가 스크린의 일측에서 여전히 자신을 실시간으로 볼 수 있고 나머지 반에서는 이전에 기록된 비디오들을 플레이할 수 있는 나란히 있는 설정을 묘사한다.
하나의 실시형태에서, 사용자의 원격 제어는 식별된 사용자 정보를 자동으로 획득할 수 있고 그래서 점원은 사용자 링크를 자신의 등록을 위한 계정에 전송할 수 있거나 또는 옷 컬러들의 변경 또는 대체로 옷의 변경 같은 추가적인 능력에 관해서 사용자를 도울 수 있다.
하나의 실시형태에서, 사용자는 자신의 모바일 디바이스를 사용하여 자신에게 실시간으로 조언할 수 있는 원격 전문가 또는 친구와 거울에서의 화상 통화를 개시할 수 있다. 그 통화는 전용 애플리케이션 또는 스카이프 같은 임의의 다른 서드파티 애플리케이션에서 될 수 있다. 거울 비디오 스트림은 로컬 스카이프로 피드될 수 있고 원격 사용자는 거울 스트림을 실시간으로 얻을 수 있다. 예를 들어, 실시간 또는 저장된 거울 모방 비디오가 사용자의 디바이스로, 예컨대, WiFi 접속을 사용하여 전송될 수 있다. 그 앱은 그 다음에 다운로드된 또는 스트리밍된 비디오와 통신 앱, 이를테면 스카이프의 커플링을 가능하게 한다. 한편, 그 앱은 스트리밍 거울 모방 비디오에 대한 서드파티 클라우드 액세스를 실시간으로 가능하게 하기 위해 사용자가 링크를, 예컨대, 이메일 또는 SMS를 통해 전송하는 것을 가능하게 할 수도 있다.
도 17은 제안된 사용 흐름의 하나의 실시형태를 묘사한다. 구체적으로는, 도 17은 도 14, 도 15 및 도 16과 그것들의 연관된 설명들에 묘사된 추가적인 실시형태들의 사용자의 사용 흐름의 일 실시형태를 묘사한다. 단계 1701에서 거울은 유휴 포지션에 있고, 그 시간 동안 유휴 이미지가 모니터 상에 제시된다. 유휴 이미지는, 예컨대, 화면 보호기, 광고방송들, 슬라이드 쇼, 또는 카메라의 앞에서의 바로 그 시야의 이미지일 수도 있고 시야의 거울 반사를 모방하기 위해 제어기에 의해 뒤바뀔 수도 있다.
단계 1702에서, 사용자가 거울에 접근하고 사용자의 존재가, 예컨대, 모션 센서에 의해 또는 카메라에 의해 보인 이미지에서의 변경을 검출함으로써 감지됨에 따라, 시스템은 거울 모드에서 동작을 개시한다. 다시 말하면, 제어기는 사용자의 이미지에 대한 변환 동작을 수행하여서, 모니터 상에 제시된 이미지는 거울에서의 사용자의 반사를 모방한다. 단계 1703에서, 시스템은 사용자를 식별하고 인증하기 위해 인증 절차를 개시한다. 예를 들어, 하나의 실시형태에서 시스템은 얼굴 인식을 사용하여 사용자를 식별하고 인증하는 반면 다른 실시형태에서 사용자는 WiFi, 블루투스, NFC 등과 같은 능력들을 갖는 스마트폰과 같은 디바이스를 사용하여 인증될 수도 있다. 예를 들어, 하나의 실시형태에서 얼굴 인식은 사용자를 식별하는데 사용되지만, 두 번째 단계, 예컨대, QR 코드의 사용이 사용자를 인증하기 위해 사용된다. 사용자가 인증되지 않았다면, 예컨대, 새로운 사용자라면, 그 사용자는 계정을 열 것이 프롬프트될 수도 있다. 예를 들어, QR 코드가 모니터 상에 제시되어, 사용자가 모바일 디바이스를 사용하여 QR 코드를 스캔하는 것을 가능하게 함으로써, 사용자의 디바이스에 앱을 다운로드할 수도 있다. 그렇지 않다면, 또는 사용자가 계정을 열 것을 거절하면, 사용자는 게스트로서 진행할 수도 있지만, 일부 특징들, 이를테면 저장된 이미지들에 대한 원격 액세스는, 게스트 액세스에 의해 이용 가능하지 않을 수도 있다.
단계 1704에서 사용자에게는 디스플레이를 통한 사용자 제어가 주어진다. 하나의 실시형태에서, 특정 제어 선호들은 각각의 특정 사용자에 대해 저장되고 일단 사용자가 인식된다면 활성화된다. 그렇지 않으면, 일반 사용자 인터페이스, 예컨대, 손 제스처 활성화 인터페이스가 가능화된다. 하나의 실시형태에서, 사용자가 인식되었거나 또는 동일한 세션에서 여러 의상 (outfit) 들을 입어 본 경우, 사전 시도들은 메인 디스플레이 측의 섬네일들로서 제시된다. 사용자가 섬네일들의 옆에 대응하는 손을 들어 올리는 경우, 그 손의 높이에 의존하여, 대응하는 섬네일이 선택을 위해 강조표시된다. 사용자가 손을 들거나 또는 내림에 따라, 손의 높이에 대응하는 다른 섬네일이 선택을 위해 강조표시된다. 그 다음에, 사용자가 자신의 주먹을 쥐는 경우, 강조표시된 섬네일은 선택되고 대응하는 이미지 또는 비디오는 메인 스크린 상에 디스플레이된다.
1705에서 도시된 바와 같이, 각각의 세션의 이미지들 및 비디오는 클라우드 상에 저장될 수도 있고, 예컨대 스마트폰들, 테블릿들 등을 사용하여 원격으로 액세스 가능할 수도 있다. 따라서, 사용자는 친구들과 원격으로 대화하고 사용자가 입어보는 의상에 대한 그들의 의견을 얻을 수도 있다. 예를 들어, 사용자는 친구에게 기록된 시도에 대한 또는 시스템으로부터의 라이브 스트리밍 비디오에 대한 링크를 전송할 수도 있다. 따라서, 사용자는 원격으로 위치된 사람들과 쇼핑 경험을 공유할 수도 있다.
더구나, 1705에서 또한 도시된 바와 같이, 시스템이 사용자를 식별하고 사용자의 파라미터들, 예컨대, 체중, 신장 등을 또한 계산할 수 있으므로, 시스템은 이들 파라미터들에 기초하여 사용자에게 추천될 이용 가능한 아이템들의 데이터베이스에 액세스할 수 있을 수도 있다. 더 구체적으로는, 사용자가 동일한 세션 내에서 상이한 두 개의 셔츠들의 두 번의 시도들을 기록했다면, 시스템은 사용자가 셔츠를 구매함에 관심 있어 한다고 해독하고 대안적 추천, 즉, 상이한 셔츠들의 추천, 또는 호의적 추천, 예컨대, 입고 있는 셔츠들과 잘 어울리는 특정 바지의 추천 중 어느 하나를 할 수 있다. 또한, 시스템이 셔츠 및 셔츠의 브랜드를 식별할 수 있으므로, 그 시스템은 1706에서 예시된 바와 같이, 그 제조업자로부터의 특정 인센티브를 제공할 수도 있다.
또한, 1706에서 사용자에게는 의복을 실제로 변경하는 일 없이 컬러들을 변경하는 능력이 제공될 수도 있다. 위에서 설명된 바와 같이, 다수의 마스크들 또는 층들의 사용에 의해, 시스템은 사용자가 착용하고 있는 것과 같은 패브릭의 실감나는 시각적 효과를 유지하면서도 물품의 컬러를 변경할 수 있다. 시스템이 음영의 층, 텍스처의 층, 반사의 층 등을 유지할 수도 있으므로, 컬러 층은 모든 다른 층들을 유지하면서도 변경될 수도 있어서, 렌더링된 이미지는 이전의 이미지의 특성들의 모두를 컬러만을 변경하면서 유지한다.
거울 앞에서의 경험의 흐름의 복잡화를 피하기 위하여, 무료 (complimentary) 애플리케이션이 추가적인 특징들 및 설정들을 가능하게 할 수도 있으며, 예컨대, 제스처 제어가 마음에 드는 고급 사용자가 촉각 인터페이스 애플리케이션의 사용 없이 고급 특징들을 동작시키는 것을 도울 더 많은 제스처들을 가능하게 할 수 있다. 손 제스처들이 편안하지 않은 사용자들의 경우, 이러한 사용자들에게는 기본적인 자동화 특징들이 제공될 수 있고 모바일 애플리케이션은 다른 고급 기능을 동작시키기 위해 사용될 수 있다.
하나의 실시형태에서, 거울 스테이션은 사용자의 거동을 식별하고 제스처 제어를 사용자가 그 거울 스테이션을 동작하려고 시도하는 방법, 예컨대, 일부 사용자들은 가리킬 것이며, 일부 사용자들은 잡을 것이고, 일부 사용자들은 섬네일을 동작시키기 위해 푸시할 것인 그러한 방법에 맞도록 구성될 수도 있다. 시스템은 사용자당 프로파일 제어를 학습 및 업데이트하도록 적응될 수 있다.
하나의 실시형태에서, 거울 스테이션은 사용자에 대한 명령을 지원할 수 있어서, 시스템이 거울을 올바른 방식으로 제어하고 있지 않은 사용자를 식별하는 경우, 짧은 설명이 팝업 되고 프로세스를 통해 사용자를 안내할 수 있다.
하나의 실시형태에서, 거울은 사용자의 시스템과의 친숙도에 관한 정보에 기초하여, 예컨대, 사용자가 처음 사용자인지의 여부에 기초하여, 사용자에 대한 시스템에서의 비디오들의 수에 기초하여, 시스템이 명령들을 가능화할 것을 사용자가 요구했던 마지막 시간에 기초하여 미리 결정된 특성들을 데모로 보여주도록 적응될 수 있으며, 비교적 더 간단한 기능의 음성 지원을 제공하도록 적응될 수 있으며, 원격 전문가 지원을 제공하도록 적응될 수 있다는 등등이다.
하나의 실시형태에서, 미리 정의된 수의 섬네일들의 개념은, 도 15와 도 16에 도시된 바와 같이, 섬네일들의 슬라이드 메뉴로 대체될 수 있다.
예를 들어 도 15 및 도 16에서 묘사된 바와 같은 정상 동작 모드에서, 사용자는 자신의 손들을 위와 아래로 움직여 섬네일들을 선택할 수 있으며, 일단 사용자의 손이 정지하면, 가장 가까운 섬네일이 선정될 수 있고 사용자가 선택에 대한 피드백을 받도록 지정될 수 있다. 예를 들어, 청색 음영이 그것의 선정을 나타내기 위하여 선택된 섬네일 주위에 제공될 수 있다. 사용자가 섬네일에 있는 자신의 손들/손가락들을 잡거나, 푸시하거나, 또는 가리키는 경우, 비디오는 디스플레이 모드 설정에 기초한 플레이를 시작할 수 있고, 사용자는 또한 비디오를 정지시키고 다른 동작들 등을 수행할 수 있다. 예를 들어, 일단 사용자가 플레이되는 비디오를 정지시키면, 홀드 막대 (hold bar) 가 플레이되는 비디오의 스테이터스를 지정하기 위해 그리고 사용자의 커맨드가 거울 스테이션에 의해 수락되었음을 사용자에게 다시 확인시키기 위해 섬네일 상에 디스플레이될 수 있다.
하나의 실시형태에서, 동작을 추가로 단순화하기 위해, 손에 의한 제스처 제어는 심지어 사용자가 자신의 손들을 상하 대신에 좌우로 또는 임의의 다른 방향으로 이동시키더라도 섬네일 간의 점프를 검출하도록 구성될 수 있다. 시스템은 사용자의 손 움직임들의 폭 (span) 및 속도에 자신을 적응시키도록 구성될 수 있어서, 사용자는 그 선정을 볼 수 있고 그래서 자신의 움직임의 속력 및 폭을 적응시킬 수 있다.
실시형태들은 모니터 상에 거울 모방 이미지를 디스플레이하기 위해서 모니터, 카메라, 및 프로세서를 동작시키기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 프로세서와 그 프로세서에 의한 실행을 위한 프로그램을 저장하는 메모리를 갖는 디바이스 상에, 사용자에 대해 감지하기 위한 명령들; 모니터 상에 거울 모방 이미지를 디스플레이하기 위한 거울 모방 모드를 개시하기 위한 명령들; 인증 프로세스를 개시하기 위한 명령들; 및 사용자에게 모니터를 제어할 것을 프롬프트하가 위한 명령들을 포함하는 프로그램을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체에서 구현될 수도 있다.
증강 머천다이징 (merchandizing)
거울 시스템은 사용자들에 대한 더 나은 서비스를 가능하게 하며, 상품을 홍보하고 상인들에게 피드백을 제공함으로써 증강 머천다이징을 제공하는데 사용될 수 있다. 거울은 비즈니스 프로세스를 보완 및 증강하도록 구성될 수 있다. 본 발명에 따른 거울 스테이션은 시장에서의 새로운 디바이스이므로, 수익 흐름 (revenue stream) 을 생성하기 위한 거울의 용도 역시 고유하다. 다음 몇 개의 실시형태들은 액티브 거울이 비즈니스를 증강하는데 그리고 새로운 수익 흐름을 생성하는데 사용될 수 있는 방법에 관한 예들을 제공하는 세부사항을 포함한다.
예를 들어, 하나의 실시형태에서, 특정 브랜드 또는 파트너의 로고 또는 임의의 다른 로고가 기록된 비디오에 추가될 수 있으며, 그래서 사용자는, 예컨대, 브랜드의 로고가 있는 비디오를 얻을 것이고, 사용자는 결과적인 비디오를 자신의 친구들과 공유할 수 있다. 결과적으로, 시스템 앞에서의 단일 세션이 특정한 아이템 및/또는 브랜드를 홍보하는데 사용될 수도 있다. 예를 들어, 사용자가 소셜 네트워크 사이트에 세션을 업로드하면, 그 세션은 많은 사람들이 볼 수도 있으며, 그들의 모두는 중첩된 로고에 노출될 것이다.
하나의 실시형태에서, 거울은 유사한 체형을 갖는 다른 사용자가 이전에 입어 보았던 아이템에 의해 설득력 있는 증강 현실 능력을 제공하도록 구성될 수 있다. 이 매칭 기법은 훨씬 더 많은 설득력 있는 경험을 산출하고 더 나은 추천들을 사용자에게 제공한다.
거울은 광고방송들, 쿠폰들 및 로고들을 유휴 모드에서 거울 속에, 거울의 특정 부분 내에, 또는 분할 스크린 모드를 통해 삽입할 수 있다. 거울은 광고방송들, 쿠폰들 및 로고들을 기록된 비디오들 속에 또한 도입할 수 있으며 그래서 사용자는 그 비디오를 광고방송/쿠폰/로고와 함께 볼 수 있다. 이들 디스플레이들은 광고로서 판매될 수 있다. 사용자는 광고방송/쿠폰/로고를, 예컨대, 세션을 소셜 네트워크 사이트들에 업로드함으로써 공유할 수 있다. 사용자는 광고방송/쿠폰/로고를 공유하는 대가로 인센티브가 제공될 수 있다.
사용자의 의류의 시착 세션은 BMI, 성별, 출신, 나이, 신체 측정치들, 얼굴 표정, 목소리 표현 (voice expression), 권장 사이즈들 등과 같은 측정치들 및/또는 특성들에 대해 분석될 수 있다. 이 데이터는 전자상거래 애플리케이션들 속에 통합될 수 있다. 이 데이터는 높은 값이 되고 사용자 및 브랜드들 등과의 계약에 기초하여 브랜드들, 사용자, 서드 파티와 공유될 수 있다. 본 발명 이용하면, 수익 흐름이 사용자에 대한 분석된 데이터로부터, 예를 들어, 기록된 세션들에 따른 집중되고 정확한 광고를 사용자에게 제시함으로써 생성될 수 있다.
사용자가 특정 구매를 생각하는 경우 거울은 사용자가 전문가들, 친구 또는 조언자를 관여시키는 것을 허용하는 서비스로서 구성될 수 있다. 추가적인 수익은 원격 전문가의 조언에 관련된 판매 기회들을 홍보함으로써 본 발명을 사용하여 생성될 수 있다. 전문가들은 사용자에 의해 등급부여될 수 있고, 사용자는 자신의 즐겨찾는 (favorite) 전문가를 고르거나 브랜드에 의해 지정된 전문가를 선택할 수 있다.
사용자에게는, 예를 들어, 상이한 컬러들을 갖는 사용자가 입어 본 특정 아이템에 대한 제안 및/또는 인센티브를 포함하는 디스플레이가 제시될 수 있다. 이 방법은 연쇄판매 (up-selling) 를 홍보할 추가의 기회를 제시한다. 증강 현실은 연쇄판매를 홍보하는데 사용될 수 있다. 구체적으로는, 거울 및 다른 사용자 시도들에 의해 획득된 정보에 기초하여, 더욱 경쟁력 있는 증강 현실 디스플레이가 사용자 및 유사한 체형을 갖는 유사한 사용자들에 관한 정보의 조합에 기초하여 생성될 수 있다.
하나의 실시형태에서, 사용자의 소셜 네트워크는 사용자를 돕는 방식으로 통합되고 그리고/또는 아이템에 대한 사용자의 고려에 관한 코멘트를 할 수 있다. 시스템은 사용자의 비디오들을 공유하도록 구성될 수 있다. 소셜 네트워킹 특징들은 주소를 가진 (addressable) 고객들의 데이터베이스를 확대하는데 사용될 수 있다.
하나의 실시형태에서, 사용자는 자신 소유의 사진들을 업로드할 수 있으며, 비디오 엔진들은 이미지들을 프로세싱하고 BMI, 얼굴, 출신 등의 유사한 분석을 제공하도록 구성될 수 있다. 시스템은 전자상거래 애플리케이션들에 대한 권장 사이즈들을 제공할 수 있다. 시스템은 상이한 컬러들로 구입되었던 아이템을 보여줄 수 있다. 이런 방식으로, 거울은 심지어 사용자가 거울 자체의 앞에 물리적으로 서 있지 않는 경우에도 적절한 데이터베이스를 위한 마케팅 정보를 획득하기 위해 사용될 수 있다.
하나의 실시형태에서, 사용자는 자신의 예측된 사이즈를 애플리케이션에서 보고 측정치들을 업데이트할 수 있는데, 그 측정치들은 사이즈 예측 모델을 개선하고 특정 브랜드들에 대한 조정들을 포함시키는데 사용될 수 있다.
물리적 설계
본 발명은 장비의 기계적 설계 및 외형 설계를 포함한다. 스크린은 벽 상에 수직으로 또는 수평으로 서 있도록 장착될 수 있거나 또는 수직 및 수평 간에 스위칭 가능할 수 있다 (더 큰 또는 유사한 기계적 솔루션에 의해, 스크린은 경사지며, 회전되는 등이 될 수 있다). 스크린은 전용 스탠드 상에 장착되거나, 벽 상에 장착되거나 또는 벽 뒤에 장착될 수 있다. 스크린이 벽 내에 있는 경우, 열 환기 덕트가 스크린 및 컴퓨팅 디바이스를 지원하기 위해 제공되어야 한다.
하나의 실시형태에서, 스크린은, 예컨대, 21:9의 거울의 비율을 가질 수 있다.
하나의 실시형태에서, 스크린은 일정 비율, 즉, 16:9를 가질 수 있고, 디스플레이의 설정은 거울 비율, 즉, 21:9가 되도록 양측의 분할 스크린 또는 어두운 막대들이 될 수 있다.
하나의 실시형태에서, 스크린은 어두운 컬러들에서 보일 수 있는 반사들을 제거하는 무광택 마무리가 될 수 있다. 다르게 말하면, 사용자가 흑색을 착용하고 스크린이 무광택 마무리가 되지 않은 경우, 사용자는 자신의 진정한 거울 반사를 볼 수 있으며, 이 효과는 원하는 것이 아니고 가상 거울 효과를 줄이며, 왜곡시키거나 또는 완전히 못쓰게 할 수 있다.
프레임은 도 14, 도 15 및 도 16에서 묘사된 방식으로 제시될 수 있다. 최소 프레임이 사용될 수 있거나 또는 프레임은 벽 뒤에 숨겨질 수 있다.
하나의 실시형태에서, 카메라들 또는 제어형 카메라들은 프레임 내에 위치될 수 있다. 카메라는 스크린 프레임 위쪽에 장착될 수 있으며, 숨겨질 수 있고 벽 상에 장착될 수 있다. 카메라에는 이미지로부터 필터링 제거될 수 있는 음영이 제공될 수 있다. 카메라가 아래를 향하므로, 카메라 본체의 대부분을 숨길 덮개가 멀리서 뷰를 차단할 수 있다.
스크린은 LED, LCD, 플라즈마, 안경, 프로젝터 등일 수 있다.
더 높은 품질 비디오들이 되게 하는 더 나은 백색 균형을 가능하게 하는 배경이 사용될 수 있다.
조명이 백색, 노란색의 조합 또는 임의의 스폿 조합 또는 프로젝터 조합을 포함할 수 있고 비디오 품질 및 컬러들을 개선하도록 구성될 수 있다.
전용 카펫이 배경 변경들을 허용하기 위해, 사용자 구역을 정의하기 위해, 거울 앞에서의 사용자 검출 및 추적을 개선하기 위해, 사용자에게 설 곳을 지시하기 위해 그리고 사용자에게 거울을 동작시키는 방법을 알리기 위해 사용될 수 있다.
결론
위의 식별된 모듈들 또는 프로그램들의 각각은 위에서 설명된 기능을 수행하기 위한 명령들의 세트에 대응한다. 이들 모듈들 및 프로그램들 (즉, 명령들의 세트들) 은 별도의 소프트웨어 프로그램들, 프로시저들 또는 모듈들로서 구현될 필요는 없고, 따라서 이들 모듈들의 다양한 서브 세트들이 다양한 실시형태들에서 결합 또는 아니면 재배열될 수도 있다. 몇몇 실시형태들에서, 메모리는 위에서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장할 수도 있다. 더욱이, 메모리는 위에서 설명되지 않은 추가적인 모듈들 및 데이터 구조들을 저장할 수도 있다.
본 개시물의 예시된 양태들은 특정한 태스크들이 통신 네트워크를 통해 링크되어 있는 원격 프로세싱 디바이스들에 의해 수행되는 분산형 컴퓨팅 환경들에서 또한 실시될 수도 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈들은 국소 및 원격 메모리 저장 디바이스들 양쪽 모두에 위치될 수 있다.
더구나, 본원에서 설명되는 다양한 컴포넌트들이 본 발명(들)의 실시형태들을 구현하기 위하여 적합한 값의 회로 엘리먼트들 및 컴포넌트들을 포함할 수 있는 전기 회로(들)을 포함할 수 있다는 것이 이해된다. 더욱이, 다수의 다양한 컴포넌트들이 하나 이상의 집적회로 (IC) 칩들 상에 구현될 수 있다는 것이 이해될 수 있다. 예를 들어, 하나의 실시형태에서, 컴포넌트들의 세트가 단일 IC 칩으로 구현될 수 있다. 다른 실시형태들에서, 개별 컴포넌트들 중 하나 이상이 별개의 IC 칩들 상에 제작 또는 구현된다.
위에서 설명된 것은 본 발명의 실시형태들의 예들을 포함한다. 물론, 청구된 요지를 설명할 목적으로 컴포넌트들 또는 수법들의 모든 상상 가능한 조합을 설명하는 것이 가능하지 않지만, 본 발명의 많은 추가의 조합들 및 치환들이 가능하다는 것이 이해된다. 따라서, 청구된 요지는, 첨부된 청구항들의 사상 및 범위 내에 있는 모든 그러한 개조들, 수정들 및 변형들을 포함하는 것으로 의도된다. 더구나, 요약서에서 설명되는 것을 포함하는 본 개시물의 예시된 실시형태들의 위의 설명은, 망라하도록 의도되지도 또는 개시된 실시형태들을 개시된 정확한 형태들로 제한하도록 의도되지도 않았다. 특정 실시형태들 및 예들이 예시의 목적을 위해 설명되지만, 당업자가 인식할 수 있듯이, 이러한 실시형태들 및 예들의 범위 내에서 고려되는 다양한 수정들이 가능하다.
특히 그리고 위에서 설명된 컴포넌트들, 디바이스들, 회로들, 시스템들 등에 의해 수행된 다양한 기능들에 관하여, 이러한 컴포넌트들을 설명하는데 사용된 용어들은, 다르다고 나타내지 않는 한, 심지어 개시된 구조와는 구조적으로 동등하지 않더라도, 청구된 요지의 본원에서 설명되는 예시적 양태들에서의 기능을 수행하는 설명된 컴포넌트의 특정 기능을 수행하는 임의의 컴포넌트 (예컨대, 기능적 동등물) 에 대응하는 것으로 의도된다. 이 점에서, 본원에서 새로 도입된 것은 청구된 요지의 다양한 방법들의 액트들 및/또는 이벤트들을 수행하기 위한 컴퓨터 실행가능 명령들을 갖는 컴퓨터 판독가능 저장 매체뿐만 아니라 시스템을 포함한다는 것이 또한 인식될 것이다.
전술한 시스템들/회로들/모듈들은 여러 컴포넌트들/블록들 간의 상호작용에 관하여 설명되었다. 이러한 시스템들/회로들 및 컴포넌트들/블록들이 그들 컴포넌트들 또는 특정된 서브-컴포넌트들, 특정된 컴포넌트들 또는 서브-컴포넌트들의 일부, 및/또는 추가적인 컴포넌트들을 포함할 수 있고, 전술한 것들의 다양한 치환들 및 조합들에 따라 포함할 수 있다는 것이 이해될 수 있다. 서브-컴포넌트들은 부모 컴포넌트들 (계층적) 내에 포함되는 것과는 다른 컴포넌트들에 통신적으로 커플링된 컴포넌트들로서 또한 구현될 수 있다. 덧붙여, 하나 이상의 컴포넌트들이 주합적 (aggregate) 기능을 제공하는 단일 컴포넌트로 결합될 수도 있거나 또는 여러 별개의 서브-컴포넌트들로 분할될 수도 있고, 임의의 하나 이상의 중간 층들, 이를테면 관리 층이, 통합된 기능을 제공하기 위하여 이러한 서브-컴포넌트들에 통신적으로 커플링하도록 제공될 수 있다는 것에 주의해야 한다. 본원에서 설명되는 임의의 컴포넌트들은 본원에서 구체적으로 설명되지 않았지만 당업자가 알고 있는 하나 이상의 다른 컴포넌트들과 또한 상호작용할 수도 있다.
덧붙여서, 본 혁신의 특정 특징이 여러 구현예들 중 하나에 대해서만 개시되었을 수도 있지만, 이러한 특징은 임의의 주어진 또는 특정 애플리케이션에 대해 바람직하고 유익할 수도 있도록 다른 구현예들의 하나 이상의 다른 특징들과 결합될 수도 있다. 더욱이, "포함한다 (includes)", "포함하는 (including)", "갖는다 (has)", "포함한다 (contains)"라는 용어들과 그 변형들, 및 다른 유사한 단어들이 상세한 설명 또는 청구항들 중 어느 하나에 사용된 결과로, 이들 용어들은 임의의 추가적인 또는 다른 엘리먼트들을 포함하는 일 없이 개방형 연결 단어로서 "포함하는"이란 용어를 유사한 방식으로 포함하도록 의도된다.
본원에서 사용되는 바와 같이, "컴포넌트", "모듈", "시스템" 등의 용어들은 컴퓨터 관련 엔티티, 하드웨어 (예컨대, 회로), 하드웨어 및 소프트웨어의 조합, 소프트웨어 중 어느 하나, 또는 하나 이상의 특정 기능들을 갖는 가동 기계에 관련된 엔티티를 지칭하도록 일반적으로 의도된다. 예를 들어, 컴포넌트가 프로세서 상에서 실행 중인 프로세스 (예컨대, 디지털 신호 프로세서), 프로세서, 오브젝트, 실행가능물 (executable), 실행 스레드 (thread of execution), 프로그램, 및/또는 컴퓨터일 수도 있지만 그것들로 제한되지 않는다. 예시로서, 제어기 상에서 실행중인 애플리케이션 및 제어기 둘 다가 하나의 컴포넌트일 수 있다. 하나 이상의 컴포넌트들이 프로세스 및/또는 실행 스레드 내에 상주할 수도 있고 컴포넌트가 하나의 컴퓨터 상에 국소화될 수도 있거나 그리고/또는 둘 이상의 컴퓨터들 상에 분산될 수도 있다. 게다가, "디바이스"가 특수하게 설계된 하드웨어; 하드웨어가 특정 기능을 수행하는 것을 가능하게 하는 그 하드웨어 상의 소프트웨어의 실행에 의해 특수화된 일반화된 하드웨어; 컴퓨터-판독가능 매체 상에 저장된 소프트웨어; 또는 그것들의 조합이 될 수 있다.
컴퓨팅 디바이스들은, 컴퓨터 판독가능 저장 매체들 및/또는 통신 매체들을 포함할 수 있는 다양한 매체들을 통상 포함한다. 컴퓨터 판독가능 저장 매체들은 일반적으로, 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 저장 매체들일 수 있으며, 보통 비일시적 특성으로 되고, 휘발성 매체 및 비휘발성 매체, 착탁실 매체 및 비-착탈식 매체 양쪽 모두를 포함할 수 있다. 비제한적인 예로서, 컴퓨터 판독가능 저장 매체들은 컴퓨터-판독가능 명령들, 프로그램 모듈들, 구조화된 데이터, 또는 비구조화 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술에 관련하여 구현될 수 있다. 컴퓨터 판독가능 저장 매체들은 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크 (DVD) 또는 다른 광 디스크 스토리지, 자기 카세트들, 자기 테이프, 자기 디스크 스토리지 또는 기타 자기 저장 디바이스들, 또는 원하는 정보를 저장하는데 사용될 수 있는 다른 유형의(tangible) 및/또는 비-일시적인 매체들을 비제한적으로 포함한다. 컴퓨터 판독가능 저장 매체들은 하나 이상의 국소 또는 원격 컴퓨팅 디바이스들에 의해, 예컨대, 액세스 요청들, 쿼리들 또는 다른 데이터 취출 프로토콜들을 통해, 매체에 의해 저장된 정보에 관한 다양한 동작들을 위해 액세스될 수 있다.
통신 매체들은 보통, 변조된 데이터 신호, 예컨대, 반송파 또는 다른 전송 메커니즘과 같은 일시적일 수 있는 데이터 신호에서의 컴퓨터-판독가능 명령들, 데이터 구조들, 프로그램 모듈들 또는 다른 구조화된 또는 비구조화 데이터를 수록하고, 임의의 정보 전달 또는 전송 매체들을 포함한다. "변조된 데이터 신호" 또는 신호들이란 용어들은 하나 이상의 신호들 내에 정보를 인코딩하는 방식으로 설정 또는 변경된 하나 이상의 그 특성들을 갖는 신호를 지칭한다. 비제한적인 예로서, 통신 매체들은 유선 매체들 이를테면 유선 네트워크 또는 직접 유선 접속과, 무선 매체들 이를테면 음향, RF, 적외선 및 다른 무선 매체들을 포함한다.
위에서 설명된 예시적인 시스템들의 관점에서, 설명된 요지에 따라 구현될 수 있는 수법들은 다양한 도면들의 흐름도들에 관하여 더 잘 이해될 것이다. 설명의 간단함을 위해, 그 수법들은 일련의 액트들로서 도시되고 설명된다. 그러나, 본 개시물에 따른 액트들은 다양한 순서들로 및/또는 동시에, 그리고 본원에서 제시되고 설명되지 않은 다른 액트들과 함께 일어날 수 있다. 더욱이, 모든 예시된 액트들이 개시된 요지에 따라 수법들을 구현하기 위해 요구되는 것은 아닐 수도 있다. 덧붙여서, 당업자들은 그 수법들이 상태도 또는 이벤트들을 통해 일련의 상호관련된 상태들로서 대안적으로 표현될 수 있다는 것을 이해하고 인정할 것이다. 덧붙여, 본 명세서에서 개시된 수법들이 이러한 수법들을 컴퓨팅 디바이스들로 전송 및 전달하는 것을 용이하게 하기 위해 제조품 상에 저장되어 있을 수 있다는 것이 인정되어야 한다. 제조품이란 용어는, 본원에서 사용되는 바와 같이, 임의의 컴퓨터-판독가능 디바이스 또는 저장 매체들로부터 액세스 가능한, 예컨대, 클라우드에 커플링된 서버 상에 저장된 컴퓨터 프로그램을 포함하도록 의도된다.
앞서의 설명은, 설명의 목적으로, 특정 실시형태들을 참조하여 설명되었다. 그러나, 위에서의 구체적인 논의들은 망라하는 의도는 아니거나 또는 본 개시물을 개시된 바로 그 형태들로 제한하는 의도는 아니다. 많은 수정들 및 변형들이 위의 교시들의 관점에서 가능하다. 실시형태들은 그 양태들의 원리들 및 그것의 실제 적용들을 최상으로 설명하기 위하여 선택되고 기술되었으며, 이로써 다른 당업자들이 그 양태들 및 다양한 실시형태들을 꾀하는 특정 사용에 적합한 대로의 다양한 수정들과 함께 최상으로 이용하는 것을 가능하게 한다.
Claims (10)
- 프로세서에 의한 실행을 위한 프로그램을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 프로그램은,
디지털 이미지를 획득하는 단계;
상기 디지털 이미지 내의 대상체의 선택을 수신하는 단계;
상기 대상체 내에 있는 것으로 추정된 복수의 대표 화소들을 선택하는 단계;
상기 복수의 대표 화소들로부터 대표 컬러를 계산하는 단계;
상기 디지털 이미지의 화소들을 선택하고 각각의 화소에 대해 상기 대표 컬러에 대한 유클리드 거리를 계산하는 단계, 및 상기 유클리드 거리가 설정 임계값 내에 있다면, 상기 화소를 상기 대상체에 속한 것으로서 식별하는 단계
를 포함하는 단계들을 수행함으로써 디지털 이미지에서 대상체를 분리하기 위한 명령들을 포함하고,
상기 디지털 이미지의 화소들을 선택하는 단계는, 상기 디지털 이미지를 형성하는 상기 화소들의 모두로부터 벡터를 생성하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 제 1 항에 있어서,
상기 대표 컬러를 계산하는 단계는 각각의 선택된 화소의 RGB 값을 XYZ 컬러 공간으로 변환하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 제 2 항에 있어서,
상기 대표 컬러를 계산하는 단계는, 각각의 선택된 화소에 대해, 하기 거리를 계산하는 단계를 더 포함하며:
X,Y, 및 Z는 상기 선택된 화소들의 평균 XYZ 값들이며, xi, yi, 및 zi는 i번째 선택된 화소의 XYZ 값들이고, k는 선택된 화소들의 총 수이며,
그리고 i번째 선택된 화소의 계산된 거리가 설정 임계값보다 더 크다면, 상기 화소는 상기 대표 컬러를 계산하는 것으로부터 제외되는, 비일시적 컴퓨터 판독가능 저장 매체. - 제 1 항에 있어서,
상기 대상체의 기하학적 추정치를 페치하는 단계, 및 상기 유클리드 거리의 계산으로부터 상기 기하학적 추정치 외부에 속하는 모든 화소들을 제외시키는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 제 1 항에 있어서,
IR 이미지를 획득하고 상기 대상체에 의해 점유된 상기 디지털 이미지에서의 영역을 획득하기 위해서 상기 디지털 이미지에 상기 IR 이미지를 등록하는 단계, 및 상기 유클리드 거리의 계산으로부터 상기 영역 외부에 속하는 모든 화소들을 제외시키는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 제 1 항에 있어서,
상기 대상체의 이미지 텍스처, 및 상기 유클리드 거리의 계산으로부터 상기 대상체의 상기 이미지 텍스처의 모든 화소들을 제외시키는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 제 1 항에 있어서,
상기 대상체의 경계를 결정하는 단계, 및 상기 경계 외부에 속하는 모든 화소들을 상기 대상체에 속하지 않은 것으로서 라벨링하는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 제 1 항에 있어서,
상기 대상체의 경계를 결정하는 단계, 및 상기 설정 임계값 외부의 계산된 유클리드 거리를 갖는 각각의 화소에 대해, 상기 화소가 상기 경계 내에 있는지 여부를 결정하고 상기 경계 내에 있다면, 상기 화소를 상기 대상체에 속한 것으로서 재라벨링하는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 제 1 항에 있어서,
복수의 마스크들을 생성하는 단계를 더 포함하며, 각각의 마스크는 상기 대상체를 표현하는 이미지의 하나의 속성에 대응하는, 비일시적 컴퓨터 판독가능 저장 매체. - 제 9 항에 있어서,
상기 마스크들은 그레이 스케일, RGB, XYZ, 흑색 및 백색, 색상 (hue), 채도 (saturation), 흡수, 및 밝기로부터 선택되는, 비일시적 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361862025P | 2013-08-04 | 2013-08-04 | |
| US61/862,025 | 2013-08-04 | ||
| US201361892368P | 2013-10-17 | 2013-10-17 | |
| US61/892,368 | 2013-10-17 | ||
| KR1020167005737A KR102266361B1 (ko) | 2013-08-04 | 2014-04-16 | 거울을 가상화하는 디바이스들, 시스템들 및 방법들 |
| PCT/US2014/034333 WO2015020703A1 (en) | 2013-08-04 | 2014-04-16 | Devices, systems and methods of virtualizing a mirror |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167005737A Division KR102266361B1 (ko) | 2013-08-04 | 2014-04-16 | 거울을 가상화하는 디바이스들, 시스템들 및 방법들 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210073611A true KR20210073611A (ko) | 2021-06-18 |
| KR102506341B1 KR102506341B1 (ko) | 2023-03-03 |
Family
ID=52461830
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167005737A KR102266361B1 (ko) | 2013-08-04 | 2014-04-16 | 거울을 가상화하는 디바이스들, 시스템들 및 방법들 |
| KR1020217017921A KR102506341B1 (ko) | 2013-08-04 | 2014-04-16 | 거울을 가상화하는 디바이스들, 시스템들 및 방법들 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167005737A KR102266361B1 (ko) | 2013-08-04 | 2014-04-16 | 거울을 가상화하는 디바이스들, 시스템들 및 방법들 |
Country Status (8)
| Country | Link |
|---|---|
| EP (1) | EP3028177B1 (ko) |
| JP (1) | JP6389888B2 (ko) |
| KR (2) | KR102266361B1 (ko) |
| CN (2) | CN105556508B (ko) |
| AU (1) | AU2014304760B2 (ko) |
| IL (1) | IL243910B (ko) |
| RU (1) | RU2668408C2 (ko) |
| WO (1) | WO2015020703A1 (ko) |
Families Citing this family (74)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11681422B2 (en) * | 2010-02-16 | 2023-06-20 | John W. Rowles | Methods for a user selectable digital mirror |
| KR102471447B1 (ko) * | 2016-02-03 | 2022-11-28 | 엘지전자 주식회사 | 미러형 디스플레이 장치 및 그 제어방법 |
| US10169922B2 (en) * | 2016-02-16 | 2019-01-01 | Microsoft Technology Licensing, Llc | Reality mixer for mixed reality |
| JP2019516191A (ja) * | 2016-05-03 | 2019-06-13 | レオニ カーベル ゲーエムベーハー | 操作者の強調された視認のための色の区分けを備える映像システム |
| KR101664940B1 (ko) * | 2016-05-12 | 2016-10-12 | (주)엘리비젼 | 가상현실을 이용한 헤어 스마트 미러 시스템 |
| CN106127732B (zh) * | 2016-06-13 | 2019-01-01 | 深圳市太赫兹科技创新研究院 | 微波图像中人体性别检测方法和装置 |
| WO2018005884A1 (en) * | 2016-06-29 | 2018-01-04 | EyesMatch Ltd. | System and method for digital makeup mirror |
| KR102193036B1 (ko) * | 2016-07-05 | 2020-12-18 | 삼성전자주식회사 | 디스플레이장치, 디스플레이장치의 구동방법 및 컴퓨터 판독가능 기록매체 |
| JP6986034B2 (ja) * | 2016-07-08 | 2021-12-22 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 意味情報を提供するための装置およびそれを動作させる方法 |
| KR20180023609A (ko) * | 2016-08-26 | 2018-03-07 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| WO2018048902A1 (en) | 2016-09-06 | 2018-03-15 | Platform Orthopedic Solutions Inc | A system, platform, device and method for personalized shopping |
| KR20180035434A (ko) * | 2016-09-29 | 2018-04-06 | 삼성전자주식회사 | 디스플레이 장치 및 그의 제어 방법 |
| CN106730814A (zh) * | 2016-11-22 | 2017-05-31 | 深圳维京人网络科技有限公司 | 基于ar及人脸识别技术的海洋捕鱼类游戏 |
| US20180160777A1 (en) | 2016-12-14 | 2018-06-14 | Black Brass, Inc. | Foot measuring and sizing application |
| CN106693361A (zh) * | 2016-12-23 | 2017-05-24 | 武汉市马里欧网络有限公司 | 一种基于超声波手势识别的ar换装游戏投影方法及系统 |
| KR102339381B1 (ko) * | 2017-01-06 | 2021-12-15 | 나이키 이노베이트 씨.브이. | 자동 쇼핑 어시스턴트를 이용한 개인화 쇼핑을 위한 시스템, 플랫폼 및 방법 |
| CN107168619B (zh) * | 2017-03-29 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 用户生成内容处理方法和装置 |
| KR101886754B1 (ko) * | 2017-05-04 | 2018-09-10 | 국방과학연구소 | 머신 러닝을 위한 학습 이미지 생성 장치 및 방법 |
| CN107105310B (zh) * | 2017-05-05 | 2020-07-10 | 广州盈可视电子科技有限公司 | 一种视频直播中人物形象替换方法、装置和一种录播系统 |
| CN107105311B (zh) * | 2017-05-25 | 2020-06-19 | 北京小米移动软件有限公司 | 直播方法及装置 |
| CN107274725B (zh) * | 2017-05-26 | 2019-08-02 | 华中师范大学 | 一种基于镜面反射的移动增强现实型卡片识别方法 |
| WO2018227349A1 (zh) * | 2017-06-12 | 2018-12-20 | 美的集团股份有限公司 | 控制方法、控制器、智能镜子和计算机可读存储介质 |
| CN107230237A (zh) * | 2017-06-19 | 2017-10-03 | 歌尔科技有限公司 | 信息处理方法及装置 |
| JP6765657B2 (ja) * | 2017-06-27 | 2020-10-07 | 公立大学法人会津大学 | 認証装置、認証方法及びコンピュータプログラム |
| KR102649617B1 (ko) | 2017-06-27 | 2024-03-19 | 나이키 이노베이트 씨.브이. | 자동화된 쇼핑 어시스턴트를 사용하는 개인화된 쇼핑을 위한 시스템, 플랫폼 및 방법 |
| CN107707839A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法及装置 |
| CN107590481A (zh) * | 2017-09-28 | 2018-01-16 | 北京小米移动软件有限公司 | 穿衣镜、数据处理方法及装置 |
| CN107692701A (zh) * | 2017-10-10 | 2018-02-16 | 北京奇虎科技有限公司 | 一种智能镜子的显示方法及装置 |
| CN107808128B (zh) * | 2017-10-16 | 2021-04-02 | 深圳市云之梦科技有限公司 | 一种虚拟形象重建人体五官测量的方法及系统 |
| US11120515B1 (en) | 2017-11-03 | 2021-09-14 | Wells Fargo Bank, N.A. | Property enhancement analysis |
| CN109963145B (zh) * | 2017-12-25 | 2024-04-26 | 广东虚拟现实科技有限公司 | 视觉显示系统及方法，以及头戴显示装置 |
| CN108038467B (zh) * | 2017-12-26 | 2019-05-31 | 南京信息工程大学 | 一种镜像图与粗细层次结合的稀疏人脸识别方法 |
| CN111788623B (zh) * | 2018-01-06 | 2023-02-28 | 凯尔Os公司 | 智能镜系统及其使用方法 |
| CN112236778B (zh) * | 2018-04-06 | 2024-04-16 | 西门子股份公司 | 使用cad模型作为先验的从图像中的对象识别 |
| CN108693123A (zh) * | 2018-04-22 | 2018-10-23 | 北京工业大学 | 激光干涉仪测量导轨直线运动精度的一种快速校准方法 |
| CN111640176A (zh) | 2018-06-21 | 2020-09-08 | 华为技术有限公司 | 一种物体建模运动方法、装置与设备 |
| CN109254664B (zh) * | 2018-09-20 | 2022-04-29 | 鎏玥（上海）科技有限公司 | 一种实时追踪人体镜中影像的系统 |
| KR101961072B1 (ko) * | 2018-11-12 | 2019-03-21 | 김현기 | 온라인용 크레인 게임기 및 크레인게임 시스템 |
| CN109671142B (zh) * | 2018-11-23 | 2023-08-04 | 南京图玩智能科技有限公司 | 一种智能美妆方法及智能美妆镜 |
| CN109597204A (zh) * | 2018-12-21 | 2019-04-09 | 梁枫 | 一种基于平面镜反射获取用户光学图像信息的方法及系统 |
| KR102707337B1 (ko) * | 2019-01-28 | 2024-09-20 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 그래픽 객체 제어 방법 |
| RU2702495C1 (ru) * | 2019-03-13 | 2019-10-08 | Общество с ограниченной ответственностью "ТрансИнжКом" | Способ и система сбора информации для устройства совмещенной реальности в режиме реального времени |
| CN109976519B (zh) * | 2019-03-14 | 2022-05-03 | 浙江工业大学 | 一种基于增强现实的交互显示装置及其交互显示方法 |
| US11240560B2 (en) * | 2019-05-06 | 2022-02-01 | Google Llc | Assigning priority for an automated assistant according to a dynamic user queue and/or multi-modality presence detection |
| CN110232667B (zh) * | 2019-06-17 | 2021-06-04 | 厦门美图之家科技有限公司 | 图像畸变修正方法、装置、电子设备及可读存储介质 |
| US11462000B2 (en) * | 2019-08-26 | 2022-10-04 | Apple Inc. | Image-based detection of surfaces that provide specular reflections and reflection modification |
| WO2021040156A1 (ko) * | 2019-09-01 | 2021-03-04 | 엘지전자 주식회사 | 신체 측정 디바이스 및 그 제어 방법 |
| CN110599593B (zh) * | 2019-09-12 | 2021-03-23 | 北京三快在线科技有限公司 | 数据合成的方法、装置、设备及存储介质 |
| KR102283904B1 (ko) | 2019-10-28 | 2021-08-02 | 주식회사 베이리스 | 딥러닝에 기반한 이미지의 객체 인식 시스템 및 그 인식 방법 |
| KR20210094247A (ko) | 2020-01-21 | 2021-07-29 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어방법 |
| JP6929979B2 (ja) * | 2020-01-31 | 2021-09-01 | ユニ・チャーム株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
| CN111294548B (zh) * | 2020-02-20 | 2021-06-04 | 深圳市鹏创软件有限公司 | 画面翻转方法、装置、设备与计算机可读存储介质 |
| CN111449684B (zh) * | 2020-04-09 | 2023-05-05 | 济南康硕生物技术有限公司 | 心脏超声标准扫查切面快速获取方法及系统 |
| WO2021227859A1 (zh) * | 2020-05-13 | 2021-11-18 | 华为技术有限公司 | 图像显示方法、装置、终端设备、存储介质及程序产品 |
| JP7231257B2 (ja) | 2020-05-15 | 2023-03-01 | 株式会社知財アシスト | 姿見装置および姿見装置用のミラーユニットならびにプログラム |
| CN116235210A (zh) | 2020-05-29 | 2023-06-06 | 耐克创新有限合伙公司 | 用于处理捕获的图像的系统和方法 |
| CN111610847B (zh) * | 2020-05-29 | 2022-05-17 | Oppo广东移动通信有限公司 | 第三方应用程序的页面展示方法、装置、电子设备 |
| CN111667584B (zh) * | 2020-06-09 | 2024-02-09 | 福州市极化律网络科技有限公司 | 多用户的虚拟世界探索方法及存储介质 |
| KR20220028951A (ko) | 2020-08-31 | 2022-03-08 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| US20220111518A1 (en) * | 2020-10-13 | 2022-04-14 | Autodesk, Inc. | Techniques for robot control based on generated robot simulations |
| KR102620689B1 (ko) * | 2020-11-26 | 2024-01-05 | 주식회사 원인터내셔널 | 도어 영상 분석 기반의 ai 비서 장치 및 시스템 |
| JP7414707B2 (ja) * | 2020-12-18 | 2024-01-16 | トヨタ自動車株式会社 | 画像表示システム |
| KR102396638B1 (ko) * | 2021-02-09 | 2022-05-12 | 주식회사 아라니아 | 포토 카드로부터의 영상 속 객체 크기를 조정하는 영상 재생 방법 |
| KR102396641B1 (ko) * | 2021-02-10 | 2022-05-12 | 주식회사 아라니아 | 포토카드로부터 영상의 동작 시점 및 객체크기를 동기화하는 영상 재생 방법 |
| KR102396640B1 (ko) * | 2021-02-10 | 2022-05-12 | 주식회사 아라니아 | 포토 카드로부터의 영상 속 객체 크기 및 시작 시간을 조정하는 영상재생방법 |
| JPWO2022177007A1 (ko) * | 2021-02-22 | 2022-08-25 | ||
| IT202100005693A1 (it) * | 2021-03-11 | 2021-06-11 | Habits Italia S R L | Dispositivo riflettente a realtà aumentata |
| KR102687741B1 (ko) * | 2021-03-22 | 2024-07-22 | 광운대학교 산학협력단 | 가상현실에서 정교한 3 차원 조작을 위한 가상 거울의 자동 제어 방법 및 그를 위한 장치 |
| CN113362263B (zh) * | 2021-05-27 | 2023-09-15 | 百度在线网络技术（北京）有限公司 | 变换虚拟偶像的形象的方法、设备、介质及程序产品 |
| CN115497130A (zh) * | 2021-06-18 | 2022-12-20 | 华为技术有限公司 | 人脸图像显示方法、可读存储介质、程序产品及电子设备 |
| CN117546201A (zh) * | 2021-06-30 | 2024-02-09 | 株式会社半导体能源研究所 | 电子设备 |
| KR102527398B1 (ko) | 2021-11-23 | 2023-04-28 | 엔에이치엔클라우드 주식회사 | 화상미팅 프로그램 기반의 가상 피팅 방법 및 그 시스템 |
| WO2023218861A1 (ja) * | 2022-05-12 | 2023-11-16 | 株式会社Ｎｔｔドコモ | シミュレーション装置 |
| CN115686870B (zh) * | 2022-12-29 | 2023-05-16 | 深圳开鸿数字产业发展有限公司 | 并行计算方法、终端及计算机可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006221520A (ja) * | 2005-02-14 | 2006-08-24 | Chuden Gijutsu Consultant Kk | 画像特徴量抽出システムおよび方法 |
| KR20120011216A (ko) * | 2010-07-28 | 2012-02-07 | 엘지전자 주식회사 | 이동 단말기에서 영상 합성방법 |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5230039A (en) * | 1991-02-19 | 1993-07-20 | Silicon Graphics, Inc. | Texture range controls for improved texture mapping |
| US5937081A (en) * | 1996-04-10 | 1999-08-10 | O'brill; Michael R. | Image composition system and method of using same |
| JPH09284583A (ja) * | 1996-04-17 | 1997-10-31 | Toppan Printing Co Ltd | 色修正装置 |
| US5923776A (en) * | 1996-05-23 | 1999-07-13 | The United States Of America As Represented By The Secretary Of The Navy | Object extraction in images |
| US6366694B1 (en) * | 1998-03-26 | 2002-04-02 | Intel Corporation | Integrated color interpolation and color space conversion algorithm from 8-bit Bayer pattern RGB color space to 24-bit CIE XYZ color space |
| US6195467B1 (en) * | 1999-03-25 | 2001-02-27 | Image Processing Technologies, Inc. | Method and apparatus for sharpening a grayscale image |
| JP3698633B2 (ja) * | 2000-10-25 | 2005-09-21 | 株式会社タニタ | 体型判定装置 |
| GB0109720D0 (en) * | 2001-04-20 | 2001-06-13 | Koninkl Philips Electronics Nv | Display apparatus and image encoded for display by such an apparatus |
| US7953648B2 (en) * | 2001-11-26 | 2011-05-31 | Vock Curtis A | System and methods for generating virtual clothing experiences |
| US20030110099A1 (en) * | 2001-12-11 | 2003-06-12 | Philips Electronics North America Corporation | Virtual wearing of clothes |
| US7197165B2 (en) * | 2002-02-04 | 2007-03-27 | Canon Kabushiki Kaisha | Eye tracking using image data |
| US8045007B2 (en) * | 2004-12-24 | 2011-10-25 | Fujifilm Corporation | Image capturing system and image capturing method |
| US7634502B2 (en) * | 2005-01-24 | 2009-12-15 | Paul Colton | System and method for improved content delivery |
| EP2884738A1 (en) * | 2005-03-01 | 2015-06-17 | Nissi Vilcovsky | Method to enable appearance comparison of a user |
| US9269157B2 (en) * | 2005-03-01 | 2016-02-23 | Eyesmatch Ltd | Methods for extracting objects from digital images and for performing color change on the object |
| JP2007004427A (ja) * | 2005-06-23 | 2007-01-11 | Fujifilm Holdings Corp | 画像表示システムおよび画像表示装置ならびにプログラム |
| US20070040033A1 (en) * | 2005-11-18 | 2007-02-22 | Outland Research | Digital mirror system with advanced imaging features and hands-free control |
| JP4742168B2 (ja) * | 2006-05-22 | 2011-08-10 | アクシス アーベー | ビデオ監視カメラが検出した対象物の特性を識別する方法および機器 |
| US8270709B2 (en) * | 2006-08-31 | 2012-09-18 | Corel Corporation | Color selection and/or matching in a color image |
| US8508546B2 (en) * | 2006-09-19 | 2013-08-13 | Adobe Systems Incorporated | Image mask generation |
| US8004536B2 (en) * | 2006-12-01 | 2011-08-23 | Adobe Systems Incorporated | Coherent image selection and modification |
| KR20090012651A (ko) * | 2007-07-31 | 2009-02-04 | 주식회사 에프엑스코드 | 3차원 의상 데이터를 이용한 가상 의상의 데코레이션 방법 |
| US8174539B1 (en) | 2007-08-15 | 2012-05-08 | Adobe Systems Incorporated | Imprint for visualization and manufacturing |
| US8019182B1 (en) * | 2007-08-20 | 2011-09-13 | Adobe Systems Incorporated | Digital image modification using pyramid vignettes |
| US20100284616A1 (en) * | 2008-02-01 | 2010-11-11 | Dan Dalton | Teeth locating and whitening in a digital image |
| CN100592342C (zh) * | 2008-03-21 | 2010-02-24 | 中国科学院计算技术研究所 | 一种用于人体-服装冲突检测的候选集的建立方法 |
| US8184175B2 (en) * | 2008-08-26 | 2012-05-22 | Fpsi, Inc. | System and method for detecting a camera |
| US8000727B1 (en) * | 2008-10-15 | 2011-08-16 | Sprint Communications Company L.P. | Optical image processing for accessing building control from a wireless communication device |
| CN101667250A (zh) * | 2009-10-10 | 2010-03-10 | 上海水晶石信息技术有限公司 | 基于CamShift算法与手形遮罩的手识别装置及其方法 |
| CN101833731A (zh) * | 2010-04-30 | 2010-09-15 | 翁荣森 | 针对销售终端的服饰智能搭配系统及方法 |
| US8730297B2 (en) * | 2010-11-15 | 2014-05-20 | Cisco Technology, Inc. | System and method for providing camera functions in a video environment |
| US8542398B2 (en) * | 2010-12-21 | 2013-09-24 | Hewlett-Packard Development Company, L.P. | Method and system to select a trim size |
| US8688559B2 (en) * | 2011-03-08 | 2014-04-01 | Bank Of America Corporation | Presenting investment-related information on a mobile communication device |
| JP2012253483A (ja) * | 2011-06-01 | 2012-12-20 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
| RU115085U1 (ru) * | 2011-08-26 | 2012-04-20 | Дмитрий Васильевич Головацкий | Трехмерная примерочная "mamagi" |
| US8913300B2 (en) * | 2011-10-04 | 2014-12-16 | Google Inc. | Occlusion of vector image data |
| US20130088562A1 (en) * | 2011-10-07 | 2013-04-11 | Hanwha Solution & Consulting Co., Ltd | Communication terminal for providing silhouette function on video screen for video call and method thereof |
| CN102663398A (zh) * | 2012-03-31 | 2012-09-12 | 上海博康智能信息技术有限公司 | 一种彩色图像颜色特征提取方法及装置 |
-
2014
- 2014-04-16 JP JP2016531604A patent/JP6389888B2/ja active Active
- 2014-04-16 CN CN201480051213.5A patent/CN105556508B/zh active Active
- 2014-04-16 CN CN201910662187.4A patent/CN110609617B/zh active Active
- 2014-04-16 AU AU2014304760A patent/AU2014304760B2/en active Active
- 2014-04-16 WO PCT/US2014/034333 patent/WO2015020703A1/en active Application Filing
- 2014-04-16 RU RU2016107189A patent/RU2668408C2/ru active
- 2014-04-16 KR KR1020167005737A patent/KR102266361B1/ko active IP Right Grant
- 2014-04-16 EP EP14833667.0A patent/EP3028177B1/en active Active
- 2014-04-16 KR KR1020217017921A patent/KR102506341B1/ko active IP Right Grant
-
2016
- 2016-02-02 IL IL243910A patent/IL243910B/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006221520A (ja) * | 2005-02-14 | 2006-08-24 | Chuden Gijutsu Consultant Kk | 画像特徴量抽出システムおよび方法 |
| KR20120011216A (ko) * | 2010-07-28 | 2012-02-07 | 엘지전자 주식회사 | 이동 단말기에서 영상 합성방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2016107189A3 (ko) | 2018-03-16 |
| KR102506341B1 (ko) | 2023-03-03 |
| JP6389888B2 (ja) | 2018-09-12 |
| EP3028177A1 (en) | 2016-06-08 |
| AU2014304760A1 (en) | 2016-02-25 |
| CN110609617A (zh) | 2019-12-24 |
| RU2016107189A (ru) | 2017-09-07 |
| JP2016532197A (ja) | 2016-10-13 |
| KR102266361B1 (ko) | 2021-06-16 |
| KR20160041965A (ko) | 2016-04-18 |
| IL243910A0 (en) | 2016-04-21 |
| EP3028177A4 (en) | 2017-05-10 |
| IL243910B (en) | 2021-03-25 |
| AU2014304760B2 (en) | 2020-01-16 |
| RU2668408C2 (ru) | 2018-09-28 |
| CN105556508B (zh) | 2019-08-16 |
| BR112016002493A2 (pt) | 2017-08-01 |
| CN105556508A (zh) | 2016-05-04 |
| WO2015020703A1 (en) | 2015-02-12 |
| EP3028177B1 (en) | 2024-07-10 |
| CN110609617B (zh) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102266361B1 (ko) | 거울을 가상화하는 디바이스들, 시스템들 및 방법들 | |
| US9369638B2 (en) | Methods for extracting objects from digital images and for performing color change on the object | |
| US8970569B2 (en) | Devices, systems and methods of virtualizing a mirror | |
| US8976160B2 (en) | User interface and authentication for a virtual mirror | |
| US8982110B2 (en) | Method for image transformation, augmented reality, and teleperence | |
| US10109315B2 (en) | Devices, systems and methods for auto-delay video presentation | |
| EP3243331B1 (en) | Devices, systems and methods for auto-delay video presentation | |
| US20240193833A1 (en) | System and method for digital makeup mirror | |
| US9167155B2 (en) | Method and system of spacial visualisation of objects and a platform control system included in the system, in particular for a virtual fitting room | |
| JP2019510297A (ja) | ユーザの真実の人体モデルへの仮想的な試着 | |
| KR101720016B1 (ko) | 미러 디스플레이를 구비한 특징점 기반 의상 피팅 시스템 및 방법 | |
| WO2018005884A1 (en) | System and method for digital makeup mirror | |
| US12086871B2 (en) | Digital imaging systems and methods for detecting user-specific apparel fit | |
| JP6929979B2 (ja) | 表示制御装置、表示制御方法および表示制御プログラム | |
| BR112016002493B1 (pt) | Método para realizar mudança de cor em um objeto dentro de uma imagem digital |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |