KR102456024B1 - 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 뉴럴 네트워크 - Google Patents
눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 뉴럴 네트워크 Download PDFInfo
- Publication number
- KR102456024B1 KR102456024B1 KR1020217006298A KR20217006298A KR102456024B1 KR 102456024 B1 KR102456024 B1 KR 102456024B1 KR 1020217006298 A KR1020217006298 A KR 1020217006298A KR 20217006298 A KR20217006298 A KR 20217006298A KR 102456024 B1 KR102456024 B1 KR 102456024B1
- Authority
- KR
- South Korea
- Prior art keywords
- color value
- eye image
- image
- pixel
- contour
- Prior art date
Links
- 238000003709 image segmentation Methods 0.000 title abstract description 28
- 238000013528 artificial neural network Methods 0.000 title description 31
- 238000000034 method Methods 0.000 claims abstract description 280
- 210000001747 pupil Anatomy 0.000 claims abstract description 212
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 174
- 230000011218 segmentation Effects 0.000 claims description 211
- 238000012545 processing Methods 0.000 claims description 52
- 210000003786 sclera Anatomy 0.000 claims description 41
- 230000003190 augmentative effect Effects 0.000 abstract description 4
- 230000001179 pupillary effect Effects 0.000 abstract 1
- 210000001508 eye Anatomy 0.000 description 597
- 210000000554 iris Anatomy 0.000 description 161
- 238000012549 training Methods 0.000 description 73
- 230000008569 process Effects 0.000 description 64
- 238000010606 normalization Methods 0.000 description 54
- 238000011176 pooling Methods 0.000 description 47
- 230000006870 function Effects 0.000 description 17
- 210000000744 eyelid Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 210000000720 eyelash Anatomy 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 241000256837 Apidae Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000003491 skin Anatomy 0.000 description 2
- CVOFKRWYWCSDMA-UHFFFAOYSA-N 2-chloro-n-(2,6-diethylphenyl)-n-(methoxymethyl)acetamide;2,6-dinitro-n,n-dipropyl-4-(trifluoromethyl)aniline Chemical compound CCC1=CC=CC(CC)=C1N(COC)C(=O)CCl.CCCN(CCC)C1=C([N+]([O-])=O)C=C(C(F)(F)F)C=C1[N+]([O-])=O CVOFKRWYWCSDMA-UHFFFAOYSA-N 0.000 description 1
- 240000000015 Iris germanica Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000019552 anatomical structure morphogenesis Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Eye Examination Apparatus (AREA)
Abstract
눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 시스템들 및 방법들이 개시된다. 일 양상에서, 눈 이미지를 수신한 후에, 증강 현실 디바이스와 같은 디바이스는 눈 이미지의 품질 추정 및 세그먼팅된 눈 이미지 둘 모두를 생성하기 위해, 병합된 아키텍처를 갖는 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱할 수 있다. 세그먼팅된 눈 이미지는 배경 구역, 공막 구역, 홍채 구역 또는 동공 구역을 포함할 수 있다. 다른 양상에서, 병합된 아키텍처를 갖는 콘볼루션 뉴럴 네트워크는 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위해 트레이닝될 수 있다. 또 다른 양상에서, 디바이스는 세그먼팅된 눈 이미지를 사용하여 동공 윤곽 및 홍채 윤곽과 같은 눈 윤곽들을 결정할 수 있다. 디바이스는 눈 윤곽들을 사용하여 홍채 코드 또는 바이오메트릭 인증을 컴퓨팅하기 위해 홍채 구역의 극 이미지를 생성할 수 있다.
Description
[0001] 본 출원은, 2016년 9월 29일에 출원되고 발명의 명칭이 NEURAL NETWORK FOR EYE IMAGE SEGMENTATION AND IMAGE QUALITY ESTIMATION인 러시아 특허 출원 번호 제2016138608호를 우선권으로 주장하며, 그리하여, 이 출원의 내용들은 그 전체가 인용에 의해 본원에 포함된다.
[0002] 본 개시내용은 일반적으로 눈 이미지 세그먼테이션(eye image segmentation)을 위한 시스템들 및 방법들에 관한 것으로, 보다 구체적으로 눈 이미지 세그먼테이션 및 이미지 품질 추정 둘 모두를 위해 콘볼루션 뉴럴 네트워크(convolutional neural network)를 이용하는 것에 관한 것이다.
[0003] 개인 바이오메트릭 식별의 분야에서, 가장 효과적인 알려진 방법들 중 하나는 인간의 눈, 주로, 홍채 또는 망막의 자연 발생 패턴들을 이용하는 것이다. 홍채 및 망막 둘 모두에서, 홍채의 경우에, 스트로마의 섬유들로부터 또는 망막의 경우에 혈관들의 패턴들로부터 컬러의 패턴들이 개인 바이오메트릭 식별을 위해 사용된다. 어느 경우든, 이 패턴들은 이 조직의 형태 형성 시에 랜덤 이벤트들에 의해 후성유전적으로(epigenetically) 생성되며, 이는, 이 패턴들이 유전적으로 동일한(일란성) 쌍둥이들에 대해서도 구별될 것임을 의미한다
[0004] 종래의 홍채 코드는 홍채의 이미지로부터 추출된 비트 스트링이다. 홍채 코드를 컴퓨팅하기 위해, 눈 이미지가 세그먼팅되어 공막 및 동공으로부터 홍채를 분리하고, 세그먼팅된 눈 이미지가 극 또는 의사-극좌표들에 맵핑되고, 복소-값 2-차원 웨이블릿들(예컨대, Gabor 또는 Haar)을 사용하여 위상 정보가 추출된다. 통상적인 홍채 코드는 웨이블릿 콘볼루션들(wavelet convolutions)의 부호들에 기초한 비트 스트링이며 2048 비트를 갖는다. 홍채 코드에는 분석된 구역이 눈꺼풀, 속눈썹, 정반사들에 의해 폐색되었는지 또는 노이즈에 의해 손상되었는지 여부를 나타내는 동일한 비트 수를 갖는 마스크가 동반될 수 있다. 이러한 홍채 코드의 사용은 다수의 일반적인 홍채-기반 바이오메트릭 태스크들, 이를테면, 여권 데이터로부터의 승객들의 식별에 대한 표준이다.
[0005] 동공 및 공막으로부터 홍채를 분리하기 위해 눈 이미지를 세그먼팅하는 프로세스는 다수의 난제들을 갖는다.
[0006] 일 양상에서, 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 방법이 개시된다. 이 방법은 하드웨어 프로세서의 제어 하에 있으며, 눈 이미지를 수신하는 단계; 눈 이미지의 세그먼테이션을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계; 및 눈 이미지의 품질 추정을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계를 포함하고, 콘볼루션 뉴럴 네트워크는 세그먼테이션 타워 및 품질 추정 타워를 포함하고, 세그먼테이션 타워는 세그먼테이션 층들 및 공유 층들을 포함하고, 품질 추정 타워는 품질 추정 층들 및 공유 층들을 포함하고, 공유 층들의 제1 출력 층은 세그먼테이션 타워의 제1 입력 층 및 세그먼테이션 타워의 제2 입력 층에 연결되고, 공유 층들의 제1 출력 층은 품질 추정 층의 입력 층에 연결되고, 눈 이미지를 수신하는 단계는 공유 층들의 입력 층에 의해 눈 이미지를 수신하는 단계를 포함한다.
[0007] 다른 양상에서, 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 방법이 개시된다. 이 방법은 하드웨어 프로세서의 제어 하에 있으며, 눈 이미지를 수신하는 단계; 눈 이미지의 세그먼테이션을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계; 및 눈 이미지의 품질 추정을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계를 포함한다.
[0008] 또 다른 양상에서, 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위해 콘볼루션 뉴럴 네트워크를 트레이닝하기 위한 방법이 개시된다. 이 방법은 하드웨어 프로세서의 제어 하에 있으며, 눈 이미지들의 트레이닝 세트를 획득하는 단계; 눈 이미지들의 트레이닝 세트를 콘볼루션 뉴럴 네트워크에 제공하는 단계; 및 눈 이미지들의 트레이닝 세트로 콘볼루션 뉴럴 네트워크를 트레이닝하는 단계를 포함하고, 콘볼루션 뉴럴 네트워크는 세그먼테이션 타워 및 품질 추정 타워를 포함하고, 세그먼테이션 타워는 세그먼테이션 층들 및 공유 층들을 포함하고, 품질 추정 타워는 품질 추정 층들 및 공유 층들을 포함하고, 공유 층들의 출력 층은 세그먼테이션 타워의 제1 입력 층 및 세그먼테이션 타워의 제2 입력 층에 연결되고, 공유 층들의 출력 층은 품질 추정 층의 입력 층에 연결된다.
[0009] 추가의 양상에서, 의미론적으로(schematically) 세그먼팅된 눈 이미지에서 눈 윤곽들을 결정하기 위한 방법이 개시된다. 이 방법은 하드웨어 프로세서의 제어 하에 있으며, 복수의 픽셀들을 포함하는 눈 이미지의 의미론적으로 세그먼팅된 눈 이미지를 수신하는 단계 ― 의미론적으로 세그먼팅된 눈 이미지의 픽셀은 컬러 값을 갖고, 의미론적으로 세그먼팅된 눈 이미지의 픽셀의 컬러 값은 제1 컬러 값, 제2 컬러 값, 제3 컬러 값 및 제4 컬러 값이고, 제1 컬러 값은 눈 이미지의 배경에 대응하고, 제2 컬러 값은 눈 이미지 내의 눈의 공막에 대응하고, 제3 컬러 값은 눈 이미지 내의 눈의 홍채에 대응하고, 제4 컬러 값은 눈 이미지 내의 눈의 동공에 대응함 ― ; 의미론적으로 세그먼팅된 눈 이미지를 이용하여 동공 윤곽을 결정하는 단계; 의미론적으로 세그먼팅된 눈 이미지를 이용하여 홍채 윤곽을 결정하는 단계; 및 의미론적으로 세그먼팅된 눈 이미지에서 무관한 영역에 대한 마스크를 결정하는 단계를 포함한다.
[0010] 다른 양상에서, 의미론적으로 세그먼팅된 눈 이미지에서 눈 윤곽들을 결정하기 위한 방법이 개시된다. 이 방법은 하드웨어 프로세서의 제어 하에 있으며, 눈 이미지의 의미론적으로 세그먼팅된 눈 이미지를 수신하는 단계; 의미론적으로 세그먼팅된 눈 이미지를 이용하여 눈 이미지에서 눈의 동공 윤곽을 결정하는 단계; 의미론적으로 세그먼팅된 눈 이미지를 이용하여 눈 이미지에서 눈의 홍채 윤곽을 결정하는 단계; 및 눈 이미지에서 무관한 영역에 대한 마스크를 결정하는 단계를 포함한다.
[0011] 본 명세서에서 설명되는 청구 대상의 하나 이상의 구현들의 세부사항들은, 아래의 첨부 도면들 및 설명에서 기술된다. 다른 특징들, 양상들, 및 이점들은 설명, 도면들, 및 청구항들로부터 명백해질 것이다. 이 개요 또는 다음의 상세한 설명 어느 것도, 본 발명의 청구 대상의 범위를 한정하거나 제한하는 것으로 의도되지 않는다.
[0012] 도 1은 공유 층들을 공유하는 세그먼테이션 타워 및 품질 추정 타워를 포함하는 병합된 아키텍처를 갖는 예시적인 콘볼루션 뉴럴 네트워크의 블록도이다.
[0013] 도 2는 눈 이미지에서의 예시적인 눈을 개략적으로 예시한다.
[0014] 도 3a 내지 도 3c는 병합된 아키텍처를 갖는 예시적인 콘볼루션 뉴럴 네트워크를 도시한다.
[0015] 도 4는 도 3에 예시된 병합된 콘볼루션 뉴럴 네트워크 아키텍처를 갖는 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지들을 세그먼팅하는 예시적인 결과들을 도시한다.
[0016] 도 5는 병합된 아키텍처를 갖는 콘볼루션 뉴럴 네트워크를 생성하는 예시적인 프로세스의 흐름도이다.
[0017] 도 6은 병합된 아키텍처를 갖는 콘볼루션 뉴럴 네트워크를 이용하여 눈 이미지를 세그먼팅하는 예시적인 프로세스의 흐름도이다.
[0018] 도 7은 세그먼팅된 눈 이미지에서 동공 윤곽, 홍채 윤곽 및 무관한 이미지 영역에 대한 마스크를 결정하는 예시적인 프로세스의 흐름도이다.
[0019] 도 8은 예시적인 의미론적으로 세그먼팅된 눈 이미지를 개략적으로 예시한다.
[0020] 도 9는 세그먼팅된 눈 이미지에서 동공 윤곽 또는 홍채 윤곽을 결정하는 예시적인 프로세스의 흐름도이다.
[0021] 도 10a 내지 도 10c는 예시적인 동공 윤곽 결정을 개략적으로 예시한다.
[0022] 도 11은 도 7 및 도 9에 예시된 예시적인 프로세스를 사용하여 동공 윤곽들, 홍채 윤곽들 및 무관한 이미지 영역들에 대한 마스크들을 결정하는 예시적인 결과들을 도시한다.
[0023] 도 12a 및 도 12b는 도 7 및 도 9에 도시된 예시적인 프로세스들을 통해 동공 윤곽들 및 홍채 윤곽들을 피팅한 후에 획득된 극좌표들에서 홍채 이미지들에 대해 트리플렛 네트워크 아키텍처를 갖는 콘볼루션 뉴럴 네트워크를 트레이닝하는 예시적인 결과들을 도시한다.
[0024] 도 13은 트리플렛 네트워크 아키텍처를 갖는 예시적인 콘볼루션 뉴럴 네트워크의 블록도이다.
[0025] 도 14는 웨어러블 디스플레이 시스템의 예를 개략적으로 예시한다.
[0026] 도면들 전체에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응성(correspondence)을 표시하는 데 재사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하려는 의도는 아니다.
[0013] 도 2는 눈 이미지에서의 예시적인 눈을 개략적으로 예시한다.
[0014] 도 3a 내지 도 3c는 병합된 아키텍처를 갖는 예시적인 콘볼루션 뉴럴 네트워크를 도시한다.
[0015] 도 4는 도 3에 예시된 병합된 콘볼루션 뉴럴 네트워크 아키텍처를 갖는 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지들을 세그먼팅하는 예시적인 결과들을 도시한다.
[0016] 도 5는 병합된 아키텍처를 갖는 콘볼루션 뉴럴 네트워크를 생성하는 예시적인 프로세스의 흐름도이다.
[0017] 도 6은 병합된 아키텍처를 갖는 콘볼루션 뉴럴 네트워크를 이용하여 눈 이미지를 세그먼팅하는 예시적인 프로세스의 흐름도이다.
[0018] 도 7은 세그먼팅된 눈 이미지에서 동공 윤곽, 홍채 윤곽 및 무관한 이미지 영역에 대한 마스크를 결정하는 예시적인 프로세스의 흐름도이다.
[0019] 도 8은 예시적인 의미론적으로 세그먼팅된 눈 이미지를 개략적으로 예시한다.
[0020] 도 9는 세그먼팅된 눈 이미지에서 동공 윤곽 또는 홍채 윤곽을 결정하는 예시적인 프로세스의 흐름도이다.
[0021] 도 10a 내지 도 10c는 예시적인 동공 윤곽 결정을 개략적으로 예시한다.
[0022] 도 11은 도 7 및 도 9에 예시된 예시적인 프로세스를 사용하여 동공 윤곽들, 홍채 윤곽들 및 무관한 이미지 영역들에 대한 마스크들을 결정하는 예시적인 결과들을 도시한다.
[0023] 도 12a 및 도 12b는 도 7 및 도 9에 도시된 예시적인 프로세스들을 통해 동공 윤곽들 및 홍채 윤곽들을 피팅한 후에 획득된 극좌표들에서 홍채 이미지들에 대해 트리플렛 네트워크 아키텍처를 갖는 콘볼루션 뉴럴 네트워크를 트레이닝하는 예시적인 결과들을 도시한다.
[0024] 도 13은 트리플렛 네트워크 아키텍처를 갖는 예시적인 콘볼루션 뉴럴 네트워크의 블록도이다.
[0025] 도 14는 웨어러블 디스플레이 시스템의 예를 개략적으로 예시한다.
[0026] 도면들 전체에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응성(correspondence)을 표시하는 데 재사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하려는 의도는 아니다.
개요
[0027] 2048 비트를 갖는 종래의 웨이블릿-기반 홍채 코드는 홍채 식별을 위해 사용될 수 있다. 그러나 홍채 코드는 이미지 크로핑(cropping), 이미지 블러링(blurring), 이미지들을 캡처하는 동안 조명 상태들, 눈꺼풀 및 속눈썹에 의한 폐색(occlusion), 및 이미지 화각(angle of view)을 포함하는 변동들에 민감할 수 있다. 부가적으로, 홍채 코드를 컴퓨팅하기 전에, 눈 이미지는 동공 구역 및 주변 공막 구역으로부터 홍채 구역를 분리하기 위해 세그먼팅될 필요가 있다.
[0028] CNN(convolutional neural network)은 눈 이미지들을 세그먼팅하는 데 사용될 수 있다. 눈 이미지들은 눈과 눈 주위의 부분들 이를테면, 눈꺼풀들, 눈썹들, 속눈썹들, 눈을 둘러싼 피부를 포함하는 눈의 눈 주위 구역을 포함할 수 있다. 눈 이미지는 눈 이미지에서 눈의 동공 구역, 홍채 구역 또는 공막 구역을 생성하도록 세그먼팅될 수 있다. 눈 이미지는 또한 눈 이미지 내의 눈 주위의 눈꺼풀과 같은 피부를 포함하는 눈 이미지의 배경을 생성하도록 세그먼팅될 수 있다. 세그먼팅된 눈 이미지는 홍채 코드를 컴퓨팅하는 데 사용될 수 있으며, 이는 결국 홍채 식별을 위해 사용될 수 있다. 홍채 식별에 유용하거나 적합한 눈 이미지 세그먼테이션을 생성하기 위해, 눈 이미지 또는 세그먼팅된 눈 이미지의 품질이 결정되거나 추정될 수 있다. 결정된 눈 이미지 또는 세그먼팅된 눈 이미지의 품질에 따라, 홍채 식별에 유용하거나 적합하지 않을 수 있는 눈 이미지들이 결정되고 후속 홍채 식별로부터 필터링될 수 있다. 예컨대, 눈 깜박임들, 흐릿한 눈 이미지들 또는 부적절하게 세그먼팅된 눈 이미지들을 캡처하는 눈 이미지들은 홍채 식별에 유용하거나 적합하지 않을 수 있다. 열등한 품질의 눈 이미지들 또는 세그먼팅된 눈 이미지들을 필터링함으로써, 홍채 식별이 개선될 수 있다. 부적절하게 세그먼팅된 눈 이미지들을 생성하는 한 가지 가능한 원인은 눈 이미지들을 세그먼팅하기 위해 콘볼루션 뉴럴 네트워크를 트레이닝할 때 부적절하게 세그먼팅된 눈 이미지들과 유사한 불충분한 수의 눈 이미지들을 갖는 것이다.
[0029] 본원에서 개시된 시스템들 및 방법들은 눈 이미지 세그먼테이션 및 이미지 품질 추정과 관련된 다양한 난제들을 해결한다. 예컨대, DNN(deep neural network)과 같은 콘볼루션 뉴럴 네트워크는 눈 이미지 세그먼테이션 및 이미지 품질 추정 둘 모두를 수행하는 데 사용될 수 있다. 눈 이미지 세그먼테이션 및 이미지 품질 추정 둘 모두를 수행하기 위한 CNN은 병합된 아키텍처를 가질 수 있다. 병합된 아키텍처를 갖는 CNN은 눈 이미지들을 세그먼팅하는 세그먼테이션 타워, 및 눈 이미지들의 품질 추정들을 결정하여 열등한 품질의 눈 이미지들이 필터링될 수 있게 하는 품질 추정 타워를 포함할 수 있다. 세그먼테이션 타워는 공유 층들에 연결된 세그먼테이션 층들을 포함할 수 있다. 세그먼테이션 층들은 세그먼테이션 타워에 고유하고 품질 추정 타워와 공유되지 않는 CNN 층들일 수 있다. 품질 추정 타워는 공유 층들에 연결된 품질 추정 층들을 포함할 수 있다. 품질 추정 층들은 품질 추정 타워에 고유하고 세그먼테이션 타워와 공유되지 않는 CNN 층일 수 있다. 공유 층들은 세그먼테이션 타워 및 품질 추정 타워에 의해 공유되는 CNN 층들일 수 있다.
[0030] 세그먼테이션 타워는 눈 이미지들을 세그먼팅하여 눈 이미지들의 세그먼테이션들을 생성할 수 있다. 세그먼테이션 타워(또는 품질 추정 타워)의 공유 층들은 그의 입력으로서 눈 이미지, 예컨대 120 x 160 그레이스케일 이미지를 수신할 수 있다. 세그먼테이션 타워는 세그먼테이션 타워 출력을 생성할 수 있다. 세그먼테이션 타워 출력은 다수의 이미지들, 예컨대, 눈 이미지의 동공 구역, 홍채 구역, 공막 구역 또는 배경 구역 각각에 대해 하나씩 4개의 이미지들을 포함할 수 있다. 품질 추정 타워는 눈 이미지들 또는 세그먼팅된 눈 이미지들의 품질 추정들을 생성할 수 있다.
[0031] 병합된 아키텍처를 갖는 콘볼루션 뉴럴 네트워크를 트레이닝할 때, 다수의 커널들이 학습될 수 있다. 커널은, 그의 입력에 적용될 때, 그 특정한 학습된 커널에 대한 응답을 보여주는 결과적인 특징 맵을 생성한다. 결과적인 특징 맵은 그 후, 더 작은 특징 맵을 생성하기 위해 풀링 동작(pooling operation)을 통해 결과적인 특징 맵을 다운 샘플링하는 CNN의 다른 층의 커널에 의해 프로세싱될 수 있다. 프로세스는 그 후 그의 결과적인 특징 맵들을 컴퓨팅하기 위해 새로운 커널을 학습하도록 반복될 수 있다.
[0032] 병합된 CNN 아키텍처의 세그먼테이션 타워(또는 품질 추정 타워)는 인코딩-디코딩 아키텍처를 구현할 수 있다. 세그먼테이션 타워(또는 품질 추정 타워)의 앞선 층들, 이를테면, 공유 층들은 특징 맵들의 공간 치수를 점진적으로 감소시키고 층들에 의해 컴퓨팅된 특징 맵들의 수를 증가시킴으로써 눈 이미지를 인코딩할 수 있다. 세그먼테이션 타워(또는 품질 추정 타워)의 일부 층들, 이를테면, 세그먼테이션 층들(또는 품질 추정 층들)의 마지막 층들은 특징 맵들의 공간 치수를 오리지널 눈 이미지 크기로 다시 점진적으로 증가시키고 층들에 의해 컴퓨팅된 특징 맵들의 수를 감소시킴으로써 인코딩된 눈 이미지를 디코딩할 수 있다.
[0033] 세그먼테이션 타워 및 품질 추정 타워 둘 모두를 포함하는 병합된 CNN 아키텍처의 가능한 이점은 트레이닝 동안, CNN의 공유 층들이 세그먼테이션 및 이미지 품질 둘 모두에 유용한 특징 맵들을 발견한다는 것이다. 따라서, 그러한 CNN은, 하나는 세그먼테이션에 대한 것이고 다른 하나는 품질 추정에 대한 것인 별개의 CNN들의 사용과 비교하여(여기서 각각의 별개의 CNN에 대한 특징 맵들은 거의 또는 전혀 관계가 없을 수 있음) 유리할 수 있다.
예시적인 콘볼루션 뉴럴 네트워크
[0034] 도 1은 공유 층들(112)을 공유하는 세그먼테이션 타워(104) 및 품질 추정 타워(108)를 포함하는 병합된 아키텍처를 갖는 예시적인 콘볼루션 뉴럴 네트워크(100)의 블록도이다. 콘볼루션 뉴럴 네트워크(100), 이를테면, DNN(deep neural network)은 눈 이미지 세그먼테이션 및 이미지 품질 추정 둘 모두를 수행하는 데 사용될 수 있다. 병합된 아키텍처를 갖는 CNN(100)은 세그먼테이션 타워(104) 및 품질 추정 타워(108)를 포함할 수 있다. 세그먼테이션 타워(104)는 공유 층들(112)에 연결된 세그먼테이션 층들(116)을 포함할 수 있다. 공유 층들(112)은 세그먼테이션 타워(104) 및 품질 추정 타워(108)에 의해 공유되는 CNN 층들일 수 있다. 공유 층들(112)의 출력 층은 세그먼테이션 층들(116)의 입력 층에 연결될 수 있다. 공유 층들(112)의 하나 이상의 출력 층들은 세그먼테이션 층들(116)의 하나 이상의 입력 층들에 연결될 수 있다. 세그먼테이션 층들(116)은 세그먼테이션 타워(104)에 고유하고 품질 추정 타워(108)와 공유되지 않는 CNN 층들일 수 있다.
[0035] 품질 추정 타워(108)는 품질 추정 층들(120) 및 공유 층들(112)을 포함할 수 있다. 품질 추정 층들(120)은 품질 추정 타워(108)에 고유하고 세그먼테이션 타워(104)와 공유되지 않는 CNN 층들일 수 있다. 공유 층들(112)의 출력 층은 품질 추정 층들(120)의 입력 층에 연결된 공유 층(112)일 수 있다. 품질 추정 층들(120)의 입력 층은 공유 층들(112)의 출력 층에 연결될 수 있다. 공유 층들(112)의 하나 이상의 출력 층들은 품질 추정 층들(120)의 하나 이상의 입력 층들에 연결될 수 있다.
[0036] 공유 층들(112)은 상이한 구현들에서 세그먼테이션 층들(116) 또는 품질 추정 층들(120)에 상이하게 연결될 수 있다. 예컨대, 공유 층들(112)의 출력 층은 세그먼테이션 층들(116)의 하나 이상의 입력 층들 또는 품질 추정 층들(120)의 하나 이상의 입력 층들에 연결될 수 있다. 다른 예로서, 공유 층들(112)의 출력 층은 세그먼테이션 층들(116)의 하나 이상의 입력 층들 및 품질 추정 층들(120)의 하나 이상의 입력 층들에 연결될 수 있다. 공유 층들(112)의 상이한 수의 출력 층들, 이를테면, 1개, 2개, 3개 또는 그 이상의 출력 층들이 세그먼테이션 층들(116) 또는 품질 추정 층들(120)의 입력 층들에 연결될 수 있다. 세그먼테이션 층들(116) 또는 품질 추정 층들(120)의 상이한 수의 입력 층들 이를테면, 1개, 2개, 3개 또는 그 초과의 입력 층들이 공유 층들(112)의 출력 층들에 연결될 수 있다.
[0037] 세그먼테이션 타워(104)는 눈 이미지의 세그먼테이션들을 생성하도록 눈 이미지(124)를 프로세싱할 수 있다. 도 2는 눈 이미지(124)에서의 예시적인 눈(200)을 개략적으로 예시한다. 눈(200)은 눈꺼풀들(204), 공막(208), 홍채(212) 및 동공(216)을 포함한다. 곡선(216a)은 동공(216)과 홍채(212) 사이의 동공 경계를 도시하고, 곡선(212a)은 홍채(212)와 공막(208)(눈의 "흰자위") 사이의 변연 경계를 도시한다. 눈꺼풀들(204)은 상위 눈꺼풀(204a) 및 하위 눈꺼풀(204b)을 포함한다.
[0038] 도 1을 참조하면, 세그먼테이션 타워(104)(또는 품질 추정 타워(108))의 공유 층들(112)의 입력 층은 그의 입력으로서 눈 이미지(124), 예컨대 120 x 160 그레이스케일 이미지를 수신할 수 있다. 세그먼테이션 타워(104)는 세그먼테이션 타워 출력(128)을 생성할 수 있다. 세그먼테이션 타워 출력(128)은 다수의 이미지들, 예컨대, 눈 이미지(124)의 동공(216), 홍채(212), 공막(208), 또는 배경에 대응하는 각각의 구역마다 하나씩, 4개의 이미지들을 포함할 수 있다. 눈 이미지의 배경은 눈 이미지(124)에서 눈꺼풀들, 눈썹들, 속눈썹들 또는 눈을 둘러싸는 피부에 대응하는 구역들을 포함할 수 있다. 일부 구현들에서, 세그먼테이션 타워 출력(128)은 세그먼팅된 눈 이미지를 포함할 수 있다. 세그먼팅된 눈 이미지는 세그먼팅된 동공, 홍채, 공막 또는 배경을 포함할 수 있다.
[0039] 품질 추정 타워(108)는 눈 이미지(124)의 품질 추정과 같은 품질 추정 타워 출력을 생성하도록 눈 이미지(124)를 프로세싱할 수 있다. 눈 이미지(124)의 품질 추정은 양호한 품질 추정 분류 또는 불량 품질 추정 분류인 이진 분류일 수 있다. 눈 이미지(124)의 품질 추정은 눈 이미지(124)가 양호한 품질 추정 분류를 가질 확률을 포함할 수 있다. 눈 이미지(124)가 양호할 확률이 고품질 임계치(이를테면, 75%, 85%, 95%)를 초과하는 경우, 이미지는 양호한 것으로 분류될 수 있다. 반대로, 일부 실시예들에서, 확률이 저품질 임계치(이를테면, 25%, 15%, 5%) 미만인 경우, 눈 이미지(124)는 불량인 것으로 분류될 수 있다.
[0040] 콘볼루션 뉴럴 네트워크(100)를 트레이닝할 때, 다수의 커널들이 학습된다. 커널은, 입력 눈 이미지(124) 또는 이전의 CNN 층에 의해 컴퓨팅된 특징 맵에 적용될 때, 그 특정 커널에 대한 그의 입력의 응답을 보여주는 결과적인 특징 맵을 생성한다. 결과적인 특징 맵은 그 후, 더 작은 특징 맵을 생성하기 위해 풀링 동작을 통해 결과적인 특징 맵을 다운 샘플링하는 콘볼루션 뉴럴 네트워크(100)의 다른 층의 커널에 의해 프로세싱될 수 있다. 프로세스는 그 후 새로운 커널들의 결과적인 특징 맵들을 컴퓨팅하기 위해 그 새로운 커널들을 학습하도록 반복될 수 있다. 따라서, 공유 층들은 유리하게는, 세그먼테이션 타워(104) 및 품질 추정 타워(108)를 트레이닝할 때 동시에 트레이닝될 수 있다.
[0041] 세그먼테이션 타워(104)(또는 품질 추정 타워(108))는 인코딩-디코딩 아키텍처를 구현할 수 있다. 세그먼테이션 타워(104)(또는 품질 추정 타워(108))의 초기 층들, 이를테면, 공유 층들(112)은 특징 맵들의 공간 치수를 점진적으로 감소시키고 층들에 의해 컴퓨팅된 특징 맵들의 수를 증가시킴으로써 눈 이미지(124)를 인코딩할 수 있다. 공간 치수를 감소시키는 것은 유리하게는, 세그먼테이션 타워(104)(또는 품질 추정 타워(108))의 중간 층들의 특징 맵들의 글로벌 컨텍스트 인지(global context aware)를 산출할 수 있다.
[0042] 그러나 공간 치수를 감소시키는 것은, 예컨대 동공 경계 또는 변연 경계와 같은 세그먼테이션 경계들에서 정확도 저하를 초래할 수 있다. 일부 구현들에서, 세그먼테이션 타워(104)(또는 품질 추정 타워(108))의 층은 공유 층들(104)의 출력 층들과 같은 상이한 층들로부터의 특징 맵들을 연접(concatenate)할 수 있다. 결과적인 연접된 특징 맵들은 유리하게는, 다중-스케일(multi-scale)일 수 있는데, 그 이유는, 다수의 스케일들로 추출된 특징들은 로컬 및 글로벌 컨텍스트 둘 모두를 제공하는 데 사용될 수 있고 앞선 층들의 특징 맵들은 더 높은 주파수 세부사항들(이는 더 선명한 세그먼테이션 경계들로 이어짐)을 보유할 수 있기 때문이다.
[0043] 일부 구현들에서, 3 픽셀 x 3 픽셀보다 큰 커널 크기를 갖는 콘볼루션 층은 연속적인 3 픽셀 x 3 픽셀 콘볼루션 층으로 대체될 수 있다. 연속적인 3 픽셀 x 3 픽셀 콘볼루션 층을 통해, 콘볼루션 뉴럴 네트워크(100)는 유리하게는, 더 작거나 더 빨라질 수 있다.
[0044] 세그먼테이션 타워(104)(또는 품질 추정 타워(108))의 일부 층들, 이를테면, 세그먼테이션 층들(116)(또는 품질 추정 층들(120))의 마지막 층들은 특징 맵들의 공간 치수를 오리지널 눈 이미지 크기로 다시 점진적으로 증가시키고 특징 맵들의 수를 감소시킴으로써 인코딩된 눈 이미지를 디코딩할 수 있다. 콘볼루션 뉴럴 네트워크(100)의 일부 층들, 예컨대, 품질 추정 층들(120)의 마지막 2개의 층들은 완전히 연결될 수 있다.
예시적인 콘볼루션 뉴럴 네트워크 층들
[0045] 콘볼루션 뉴럴 네트워크(100)는 하나 이상의 뉴럴 네트워크 층들을 포함할 수 있다. 뉴럴 네트워크 층은 그의 입력에 선형 또는 비선형 변환들을 적용하여 그의 출력을 생성할 수 있다. 뉴럴 네트워크 층은 콘볼루션 층, 정규화 층(예컨대, 밝기 정규화 층, BN(batch normalization) 층, LCN(local contrast normalization) 층 또는 LRN(local response normalization) 층), 정류된 선형 층, 업샘플링 층, 연접 층, 풀링 층, 완전 연결된 층, 선형의 완전 연결된 층, 소프트사인(softsign) 층, 반복(recurrent) 층, 또는 이들의 임의의 조합일 수 있다.
[0046] 콘볼루션 층은 그의 입력에 콘볼루션들을 적용하거나 콘볼빙(convolve)하는 커널들의 세트를 적용하여 그의 출력을 생성할 수 있다. 정규화 층은 예컨대, L2 정규화를 통해 그의 입력의 밝기를 정규화하여 그의 출력을 생성하는 밝기 정규화 층일 수 있다. 정규화 층은 그의 출력으로서 복수의 정규화된 이미지들을 생성하기 위해 복수의 이미지들의 밝기를 서로에 대해 한 번에 정규화할 수 있는 BN(batch normalization) 층일 수 있다. 밝기를 정규화하기 위한 방법들의 비-제한적인 예들은 LCN(local contrast normalization) 또는 LRN(local response normalization)을 포함한다. 로컬 콘트라스트 정규화는 0의 평균 및 1의 분산(variance)을 갖도록 각각의 픽셀 단위로 이미지의 로컬 구역들을 정규화함으로써 이미지의 콘트라스트를 비선형적으로 정규화할 수 있다. 로컬 응답 정규화는 0의 평균 및 1의 분산을 갖도록 로컬 입력 구역들에 걸쳐 이미지들을 정규화할 수 있다. 정규화 층은 눈 세그먼테이션들 및 품질 추정들의 컴퓨테이션을 가속시킬 수 있다.
[0047] 정류된 선형 층은 ReLU(rectified linear layer unit) 층 또는 PReLU(parameterized rectified linear layer unit) 층일 수 있다. ReLU 층은 그의 출력을 생성하기 위해 그의 입력에 ReLU 함수를 적용할 수 있다. ReLU 함수(ReLU(x))는 예컨대 max(0, x)일 수 있다. PReLU 층은 그의 출력을 생성하기 위해 그의 입력에 PReLU 함수를 적용할 수 있다. PReLU 함수(PReLU(x))는 예컨대, x ≥ 0이면 x 그리고 x < 0 이면 ax일 수 있으며, 여기서 a는 양수이다.
[0048] 업샘플링 층은 그의 출력을 생성하도록 그의 입력을 업샘플링할 수 있다. 예컨대, 업샘플링 층은 최근접 이웃 방법 또는 비큐빅 보간(bicubic interpolation) 방법과 같은 업샘플링 방법들을 사용하여 8 픽셀 x 10 픽셀 출력을 생성하기 위해 4 픽셀 x 5 픽셀 입력을 업샘플링할 수 있다. 연접 층은 그의 출력을 생성하도록 그의 입력을 연접할 수 있다. 예컨대, 연접 층은 하나의 20 픽셀 x 20 픽셀 특징 맵을 생성하기 위해 4개의 5 픽셀 x 5 픽셀 특징 맵을 연접할 수 있다. 다른 예로서, 연접 층은 8개의 5 픽셀 x 5 픽셀 특징 맵들을 생성하기 위해 4개의 5 픽셀 x 5 픽셀 특징 맵들 및 4개의 5 픽셀 x 5 픽셀 특징 맵들을 연접할 수 있다. 풀링 층은 그의 출력을 생성하기 위해 그의 입력을 다운 샘플링하는 풀링 함수를 적용할 수 있다. 예컨대 풀링 층은 20 픽셀 x 20 픽셀 이미지를 10 픽셀 x 10 픽셀 이미지로 다운 샘플링할 수 있다. 풀링 함수의 비-제한적인 예들은 최대 풀링, 평균 풀링 또는 최소 풀링을 포함한다.
[0049] 완전 연결된 층의 노드는 이전 층의 모든 노드들에 연결된다. 선형의 완전 연결된 층은 선형 분류기와 유사하게, 양호한 품질 또는 불량 품질과 같은 두 개의 출력 값들을 갖는 완전 연결된 층일 수 있다. 소프트사인 층은 그의 입력에 소프트사인 함수를 적용할 수 있다. 소프트사인 함수(softsign(x))는 예컨대, 
일 수 있다. 소프트사인 층은 엘리먼트-당 이상치들의 영향을 무시할 수 있다. 엘리먼트-당 이상치는, 눈 이미지들에서 돌발적인 명점(bright spot) 또는 눈꺼풀 폐색으로 인해 발생할 수 있다.
[0050] 시점(t)에서, 반복 층은 숨김 상태(s(t))를 컴퓨팅할 수 있고, 반복적(recurrent) 연결은 시간(t)에서의 숨김 상태(s(t))를 후속 시점(t+1)에서의 입력으로서 반복 층에 제공할 수 있다. 반복 층은 시간(t)에서의 숨김 상태(s(t))에 기초하여 시간(t+1)에서 그의 출력을 컴퓨팅할 수 있다. 예컨대, 반복 층은 시간(t+1)에서의 그의 출력을 컴퓨팅하기 위해 시간(t)에서의 숨김 상태(s(t))에 소프트사인 함수를 적용할 수 있다. 시간(t+1)에서의 반복 층의 숨김 상태는 입력으로서 시간(t)에서의 반복 층의 숨김 상태(s(t))를 갖는다. 반복 층은 예컨대, ReLU 함수를 그의 입력에 적용함으로써 숨김 상태(s(t+1))를 컴퓨팅할 수 있다.
[0051] 콘볼루션 뉴럴 네트워크(100)에서 뉴럴 네트워크 층들의 수는 상이한 구현들에서 상이할 수 있다. 예컨대, 콘볼루션 뉴럴 네트워크(100)에서 뉴럴 네트워크 층들의 수는 100개일 수 있다. 뉴럴 네트워크 층의 입력 유형은 상이한 구현들에서 상이할 수 있다. 예컨대, 뉴럴 네트워크 층은 그의 입력으로서 뉴럴 네트워크 층의 출력을 수신할 수 있다. 뉴럴 네트워크 층의 입력은 상이한 구현들에서 상이할 수 있다. 예컨대, 뉴럴 네트워크 층의 입력은 뉴럴 네트워크 층의 출력을 포함할 수 있다.
[0052] 뉴럴 네트워크 층의 입력 크기 또는 출력 크기는 상당히 클 수 있다. 뉴럴 네트워크 층의 입력 크기 또는 출력 크기는 n x m일 수 있으며, 여기서 n은 입력 또는 출력의 픽셀 단위의 높이를 나타내고 m은 픽셀 단위의 폭을 나타낸다. 예컨대, n x m은 120 픽셀 x 160 픽셀일 수 있다. 뉴럴 네트워크 층의 입력 또는 출력의 채널 크기는 상이한 구현들에서 상이할 수 있다. 예컨대, 뉴럴 네트워크 층의 입력 또는 출력의 채널 크기는 8일 수 있다. 따라서, 뉴럴 네트워크 층은 그의 입력으로서 8개의 채널들 또는 특징 맵들을 수신할 수 있거나 또는 그의 출력으로서 8개의 채널들 또는 특징 맵들을 생성할 수 있다. 뉴럴 네트워크 층의 커널 크기는 상이한 구현들에서 상이할 수 있다. 커널 크기는 n x m일 수 있으며, 여기서 n은 커널의 픽셀 단위의 높이를 나타내고 m은 픽셀 단위의 폭을 나타낸다. 예컨대, n 또는 m은 3 픽셀일 수 있다. 뉴럴 네트워크 층의 스트라이드(stride) 크기는 상이한 구현들에서 상이할 수 있다. 예컨대, 뉴럴 네트워크 층의 스트라이드 크기는 3일 수 있다. 뉴럴 네트워크 층은 그의 입력에 패딩, 예컨대, n x m 패딩을 적용할 수 있으며, 여기서 n은 패딩의 높이를 나타내고, m은 폭을 나타낸다. 예컨대, n 또는 m은 하나의 픽셀일 수 있다.
예시적인 공유 층들
[0053] 도 3a 내지 도 3c는 병합된 아키텍처를 갖는 예시적인 콘볼루션 뉴럴 네트워크(100)를 도시한다. 도 3a는 콘볼루션 뉴럴 네트워크(100)의 세그먼테이션 타워(104)의 공유 층들(112)의 예시적인 아키텍처를 도시한다. 공유 층들(112)의 입력 층은 1 x 1 패딩(1 픽셀 x 1 픽셀)을 부가한 후 3 x 3 커널들(3 픽셀 x 3 픽셀)로 입력 눈 이미지(124)(120 x 160 그레이스케일 이미지)를 콘볼빙하는 콘볼루션 층(302a)일 수 있다. 패딩을 부가하고 그의 입력을 콘볼빙한 후, 콘볼루션 층(302a)은 각각의 채널이 120 x 160 특징 맵인 8개의 출력 채널들을 생성하며, 이는 콘볼루션 층(302a)을 나타내는 블록에서 8 x 120 x 160으로서 표시된다. 8개의 출력 채널들은 LRN(local response normalization) 층(302b), BN(batch normalization) 층(302c) 및 ReLU(rectified linear layer unit) 층(302d)에 의해 프로세싱될 수 있다.
[0054] ReLU 층(302d)은 8개의 출력 채널들(120 x 160 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 ReLU 층(302d)의 출력을 콘볼빙하는 콘볼루션 층(304a)에 연결될 수 있다. 8개의 출력 채널들은 배치 정규화 층(304c) 및 ReLU 층(304d)에 의해 프로세싱될 수 있다. ReLU 층(304d)은 8개의 출력 채널들(60 x 80 특징 맵들)을 생성하도록 2 x 2 스트라이드(2 픽셀 x 2 픽셀)를 사용하여 2 x 2 커널들로 ReLU 층(304d)의 출력을 풀링하는 최대 풀링(MAX POOLING) 층(306a)에 연결될 수 있다.
[0055] 최대 풀링 층(306a)은 16개의 출력 채널들(60 x 80 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 최대 풀링 층(306a)의 출력을 콘볼빙하는 콘볼루션 층(308a)에 연결될 수 있다. 16개의 출력 채널들은 배치 정규화 층(308c) 및 ReLU 층(308d)에 의해 프로세싱될 수 있다.
[0056] ReLU 층(308d)은 16개의 출력 채널들(60 x 80 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 ReLU 층(308d)의 출력을 콘볼빙하는 콘볼루션 층(310a)에 연결될 수 있다. 16개의 출력 채널들은 배치 정규화 층(310c) 및 ReLU 층(310d)에 의해 프로세싱될 수 있다. ReLU 층(310d)은 16개의 출력 채널들(30 x 40 특징 맵들)을 생성하도록 2 x 2 스트라이드를 사용하여 2 x 2 커널들로 ReLU 층(310d)의 출력을 풀링하는 최대 풀링 층(312a)에 연결될 수 있다.
[0057] 최대 풀링 층(312a)은 32개의 출력 채널들(30 x 40 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 최대 풀링 층(312a)의 출력을 콘볼빙하는 콘볼루션 층(314a)에 연결될 수 있다. 콘볼루션 뉴럴 네트워크(100)를 트레이닝할 때 트레이닝 사이클 동안, 콘볼루션 층(314a)의 가중치 값들의 30%는 0.3의 드롭아웃 비(dropout ratio)에 대해 0의 값들로 랜덤으로 세팅될 수 있다. 32개의 출력 채널들은 배치 정규화 층(314c) 및 ReLU 층(314d)에 의해 프로세싱될 수 있다.
[0058] ReLU 층(314d)은 32개의 출력 채널들(30 x 40 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 ReLU 층(314d)의 출력을 콘볼빙하는 콘볼루션 층(316a)에 연결될 수 있다. 32개의 출력 채널들은 배치 정규화 층(316c) 및 ReLU 층(316d)에 의해 프로세싱될 수 있다. ReLU 층(316d)은 32개의 출력 채널들(15 x 20 특징 맵들)을 생성하도록 2 x 2 스트라이드를 사용하여 2 x 2 커널들로 ReLU 층(316d)의 출력을 풀링하는 최대 풀링 층(318a)에 연결될 수 있다.
[0059] 최대 풀링 층(318a)은 32개의 출력 채널들(15 x 20 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 최대 풀링 층(318a)의 출력을 콘볼빙하는 콘볼루션 층(320a)에 연결될 수 있다. 콘볼루션 뉴럴 네트워크(100)를 트레이닝할 때 트레이닝 사이클 동안, 콘볼루션 층(320a)의 가중치 값들의 30%는 0.3의 드롭아웃 비(dropout ratio)에 대해 0의 값들로 랜덤으로 세팅될 수 있다. 32개의 출력 채널들은 배치 정규화 층(320c) 및 ReLU 층(320d)에 의해 프로세싱될 수 있다.
[0060] ReLU 층(320d)은 32개의 출력 채널들(15 x 20 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 ReLU 층(320d)의 출력을 콘볼빙하는 콘볼루션 층(322a)에 연결될 수 있다. 32개의 출력 채널들은 배치 정규화 층(322c) 및 ReLU 층(322d)에 의해 프로세싱될 수 있다. ReLU 층(322d)은 32개의 출력 채널들(8 x 10 특징 맵들)을 생성하도록 1 x 0 패딩을 부가한 후에 2 x 2 스트라이드를 사용하여 2 x 2 커널들로 ReLU 층(322d)의 출력을 풀링하는 최대 풀링 층(324a)에 연결될 수 있다. 최대 풀링 층(324a)은 세그먼테이션 층들(116)의 입력 층에 연결될 수 있다.
[0061] 최대 풀링 층(324a)은 32개의 출력 채널들(8 x 10 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 최대 풀링 층(324a)의 출력을 콘볼빙하는 콘볼루션 층(326a)에 연결될 수 있다. 콘볼루션 뉴럴 네트워크(100)를 트레이닝할 때 트레이닝 사이클 동안, 콘볼루션 층(326a)의 가중치 값들의 30%는 0.3의 드롭아웃 비(dropout ratio)에 대해 0의 값들로 랜덤으로 세팅될 수 있다. 32개의 출력 채널들은 배치 정규화 층(326c) 및 ReLU 층(326d)에 의해 프로세싱될 수 있다. 최대 풀링 층(324a)은 세그먼테이션 층들(116)에 연결될 수 있다.
[0062] ReLU 층(326d)은 32개의 출력 채널들(8 x 10 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 ReLU 층(326d)의 출력을 콘볼빙하는 콘볼루션 층(328a)에 연결될 수 있다. 32개의 출력 채널들은 배치 정규화 층(328c) 및 ReLU 층(328d)에 의해 프로세싱될 수 있다. ReLU 층(328d)은 32개의 출력 채널들(4 x 5 특징 맵들)을 생성하도록 2 x 2 스트라이드를 사용하여 2 x 2 커널들로 ReLU 층(328d)의 출력을 풀링하는 최대 풀링 층(330a)에 연결될 수 있다. 최대 풀링 층(330a)은 세그먼테이션 층들(116) 및 품질 추정 층들(120)에 연결될 수 있다.
[0063] 도 3a의 예시적인 공유 층들(112)은 인코딩 아키텍처를 구현한다. 예시적인 공유 층들(112)은 특징 맵들의 공간 치수를 점진적으로 감소시키고 층들에 의해 컴퓨팅된 특징 맵들의 수를 증가시킴으로써 눈 이미지(124)를 인코딩한다. 예컨대, 콘볼루션 층(302a)은 각각의 채널이 120 x 160 특징 맵인 8개의 출력 채널들을 생성하는 반면, 콘볼루션 층(326a)은 각각의 채널이 8 x 10 특징 맵인 32개의 출력 채널들을 생성한다.
예시적인 세그먼테이션 층들
[0064] 도 3b는 콘볼루션 뉴럴 네트워크(100)의 세그먼테이션 타워(104)의 세그먼테이션 층들(116)의 예시적인 아키텍처를 도시한다. 세그먼테이션 층들(116)의 입력 층은 공유 층들(112)의 최대 풀링 층(330a)에 연결된 평균 풀링 층(332a)일 수 있다. 평균 풀링 층(332a)은 32개의 출력 채널들(1 x 1 특징 맵들, 즉 각각이 1 픽셀 x 1 픽셀의 치수를 갖는 특징 맵들)을 생성하기 위해 4 x 5 커널들(4 픽셀 x 5 픽셀)로 최대 풀링 층(330a)의 출력을 풀링할 수 있다. 평균 풀링 층(332a)은 32개의 출력 채널들(4 x 5 특징 맵들)을 생성하기 위해 -1 x 0 패딩(-1 픽셀 x 0 픽셀)을 갖는 최근접 이웃 방법을 사용하는 업샘플링 층(334a)에 연결될 수 있다.
[0065] 연접 층(336a)은 공유 층들(112)의 최대 풀링 층(330a)에 연결된 세그먼테이션 층들(116)의 입력 층일 수 있다. 연접 층(336a)은 또한 업샘플링 층(334a)에 연결될 수 있다. 연접 층(336a)은 최대 풀링 층(330a) 및 업샘플링 층(334a)으로부터 수신된 입력을 연접한 후, 64개의 출력 채널들(4 × 5 특징 맵들)을 생성할 수 있다. 2개의 층들로부터의 출력들을 연접함으로써, 다수의 스케일들로 추출된 특징들은, 로컬 및 글로벌 둘 모두의 맥락을 제공하는 데 사용될 수 있고 앞선 층들의 특징 맵들은 더 높은 주파수 세부사항들(이는 더 선명한 세그먼테이션 경계들로 이어짐)을 보유할 수 있다. 따라서, 연접 층(336a)에 의해 생성된 결과적인 연접된 특징 맵들은 유리하게는 다중-스케일일 수 있다. 연접 층(336a)은 64개의 출력 채널들(8 x 10 특징 맵들)을 생성하기 위해 최근접 이웃 방법을 사용하는 업샘플링 층(338a)에 연결될 수 있다. 콘볼루션 뉴럴 네트워크(100)를 트레이닝할 때 트레이닝 사이클 동안, 업샘플링 층(338a)의 가중치 값들의 30%는 0.3의 드롭아웃 비(dropout ratio)에 대해 0의 값들로 랜덤으로 세팅될 수 있다.
[0066] 업샘플링 층(338a)은 32개의 출력 채널들(8 x 10 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 업샘플링 층(338a)의 출력을 콘볼빙하는 콘볼루션 층(340a)에 연결될 수 있다. 32개의 출력 채널들은 배치 정규화 층(340c) 및 ReLU 층(340d)에 의해 프로세싱될 수 있다. ReLU 층(340d)은 32개의 출력 채널들(8 x 10 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 ReLU 층(340d)의 출력을 콘볼빙하는 콘볼루션 층(342a)에 연결될 수 있다. 32개의 출력 채널들은 배치 정규화 층(342c) 및 ReLU 층(342d)에 의해 프로세싱될 수 있다.
[0067] 연접 층(344a)은 공유 층들(112)의 최대 풀링 층(324a)에 연결된 세그먼테이션 층들(116)의 입력 층일 수 있다. 연접 층(344a)은 또한 ReLU 층(342a)에 연결될 수 있다. 연접 층(344a)은 ReLU 층(342a) 및 최대 풀링 층(324a)으로부터 수신된 입력을 연접한 후, 64개의 출력 채널들(64개의 8 × 10 특징 맵들)을 생성한다. 연접 층(344a)은 64개의 출력 채널들(15 x 20 특징 맵들)을 생성하기 위해 최근접 이웃 방법을 사용하는 업샘플링 층(346a)에 연결될 수 있다. 콘볼루션 뉴럴 네트워크(100)를 트레이닝할 때 트레이닝 사이클 동안, 업샘플링 층(346a)의 가중치 값들의 30%는 0.3의 드롭아웃 비(dropout ratio)에 대해 0의 값들로 랜덤으로 세팅될 수 있다.
[0068] 업샘플링 층(346a)은 32개의 출력 채널들(15 x 20 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 업샘플링 층(346a)의 출력을 콘볼빙하는 콘볼루션 층(348a)에 연결될 수 있다. 32개의 출력 채널들은 배치 정규화 층(348c) 및 ReLU 층(348d)에 의해 프로세싱될 수 있다. ReLU 층(348d)은 32개의 출력 채널들(15 x 20 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 ReLU 층(348d)의 출력을 콘볼빙하는 콘볼루션 층(350a)에 연결될 수 있다. 32개의 출력 채널들은 배치 정규화 층(350c) 및 ReLU 층(350d)에 의해 프로세싱될 수 있다.
[0069] ReLU 층(350d)은 32개의 출력 채널들(30 x 40 특징 맵들)을 생성하기 위해 최근접 이웃 방법을 사용하는 업샘플링 층(352a)에 연결될 수 있다. 콘볼루션 뉴럴 네트워크(100)를 트레이닝할 때 트레이닝 사이클 동안, 업샘플링 층(352a)의 가중치 값들의 30%는 0.3의 드롭아웃 비(dropout ratio)에 대해 0의 값들로 랜덤으로 세팅될 수 있다.
[0070] 업샘플링 층(352a)은 32개의 출력 채널들(30 x 40 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 업샘플링 층(352a)의 출력을 콘볼빙하는 콘볼루션 층(354a)에 연결될 수 있다. 32개의 출력 채널들은 배치 정규화 층(354c) 및 ReLU 층(354d)에 의해 프로세싱될 수 있다. ReLU 층(354d)은 32개의 출력 채널들(30 x 40 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 ReLU 층(354d)의 출력을 콘볼빙하는 콘볼루션 층(356a)에 연결될 수 있다. 32개의 출력 채널들은 배치 정규화 층(356c) 및 ReLU 층(356d)에 의해 프로세싱될 수 있다.
[0071] ReLU 층(356d)은 32개의 출력 채널들(60 x 80 특징 맵들)을 생성하기 위해 최근접 이웃 방법을 사용하는 업샘플링 층(358a)에 연결될 수 있다. 업샘플링 층(358a)은 16개의 출력 채널들(60 x 80 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 업샘플링 층(358a)의 출력을 콘볼빙하는 콘볼루션 층(360a)에 연결될 수 있다. 16개의 출력 채널들은 배치 정규화 층(360c) 및 ReLU 층(360d)에 의해 프로세싱될 수 있다. ReLU 층(360d)은 16개의 출력 채널들(60 x 80 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 ReLU 층(360d)의 출력을 콘볼빙하는 콘볼루션 층(362a)에 연결될 수 있다. 16개의 출력 채널들은 배치 정규화 층(362c) 및 ReLU 층(362d)에 의해 프로세싱될 수 있다.
[0072] ReLU 층(362d)은 16개의 출력 채널들(120 x 160 특징 맵들)을 생성하기 위해 최근접 이웃 방법을 사용하는 업샘플링 층(364a)에 연결될 수 있다. 업샘플링 층(364a)은 4개의 출력 채널들(120 x 160 출력 이미지들)을 생성하도록 2 x 2 패딩을 부가한 후에, 5 x 5 커널들로 업샘플링 층(364a)의 출력을 콘볼빙하는 콘볼루션 층(366a)에 연결될 수 있다. 콘볼루션 층(366a)은 세그먼테이션 층들(116)의 출력 층일 수 있다. 눈 이미지(124)의 동공(216), 홍채(212), 공막(208), 또는 배경에 대응하는 각각의 구역마다 하나씩, 4개의 출력 이미지들은 세그먼테이션 타워 출력(128)일 수 있다. 일부 구현들에서, 세그먼테이션 타워 출력(128)은 눈 이미지(124)의 동공(216), 홍채(212), 공막(208), 또는 배경에 대응하는 각각의 구역마다 하나씩, 4개의 컬러 값들을 갖는 이미지일 수 있다.
[0073] 도 3b의 예시적인 세그먼테이션 층들(116)은 디코딩 아키텍처를 구현한다. 예시적인 세그먼테이션 층들(116)은, 특징 맵들의 공간 치수를 오리지널 눈 이미지 크기로 다시 점진적으로 증가시키고 특징 맵들의 수를 감소시킴으로써 인코딩된 눈 이미지를 디코딩한다. 예컨대, 평균 풀링 층(332a)은 각각의 채널이 1 x 1 특징 맵인 32개의 출력 채널들을 생성하는 반면, 콘볼루션 층(366a)은 각각의 채널이 120 x 160 특징 맵인 4개의 출력 채널들을 생성한다.
예시적인 품질 추정 층들
[0074] 도 3c는 콘볼루션 뉴럴 네트워크(100)의 품질 추정 타워(108)의 품질 추정 층들(120)의 예시적인 아키텍처를 도시한다. 품질 추정 층들(120)의 입력 층은 콘볼루션 층(368a)일 수 있다. 콘볼루션 층(368a)은 32개의 출력 채널들(4 x 5 특징 맵들, 즉 4 픽셀 x 5 픽셀의 치수를 갖는 특징 맵들)을 생성하기 위해 1 x 1 패딩(1 픽셀 x 1 픽셀)을 부가한 후에 3 x 3 커널들(3 픽셀 x 3 픽셀)로 공유 층들(112)의 최대 풀링 층(330a)의 출력을 콘볼빙할 수 있다. 콘볼루션 뉴럴 네트워크(100)를 트레이닝할 때 트레이닝 사이클 동안, 콘볼루션 층(368a)의 가중치 값들의 50%는 0.5의 드롭아웃 비(dropout ratio)에 대해 0의 값들로 랜덤으로 세팅될 수 있다. 32개의 출력 채널들은 배치 정규화 층(368c) 및 ReLU 층(368d)에 의해 프로세싱될 수 있다.
[0075] ReLU 층(368d)은 16개의 출력 채널들(4 x 5 특징 맵들)을 생성하도록 1 x 1 패딩을 부가한 후에, 3 x 3 커널들로 ReLU 층(368d)의 출력을 콘볼빙하는 콘볼루션 층(370a)에 연결될 수 있다. 16개의 출력 채널들은 배치 정규화 층(370c) 및 ReLU 층(370d)에 의해 프로세싱될 수 있다. ReLU 층(370d)은 16개의 출력 채널들(1 x 1 특징 맵들)을 생성하도록 4 x 5 커널들로 ReLU 층(370d)의 출력을 풀링할 수 있는 평균 풀링 층(372a)에 연결될 수 있다.
[0076] 평균 풀링 층(370d)은 8개의 출력 채널들(1 픽셀 × 1 픽셀 특징 맵들)을 생성하는 선형의 완전 연결된 층(374a)에 연결될 수 있다. 콘볼루션 뉴럴 네트워크(100)를 트레이닝할 때 트레이닝 사이클 동안, 선형의 완전 연결된 층(374a)의 가중치 값들의 50%는 0.5의 드롭아웃 비(dropout ratio)에 대해 0의 값들로 랜덤으로 세팅될 수 있다. 8개의 출력 채널들은 배치 정규화 층(374c) 및 ReLU 층(374d)에 의해 프로세싱될 수 있다. ReLU 층(374d)은 적어도 2개의 출력 채널들(1 × 1 특징 맵들)을 생성하는 선형의 완전 연결된 층(376a)에 연결될 수 있다. 선형의 완전 연결된 층(376a)은 품질 추정 층들(120)의 출력 층일 수 있다. 적어도 2개의 출력 채널들은 양호한 품질 추정에 대응하는 하나의 채널 및 불량 품질 추정에 대응하는 하나의 채널을 갖는 품질 추정 타워 출력(128)일 수 있다.
콘볼루션 뉴럴 네트워크들의 예시적인 트레이닝
[0077] 상이한 CNN(convolutional neural network)들은 2개의 방식들에서 서로 상이할 수 있다. CNN들의 아키텍처, 예컨대, 층들의 수 및 층들이 어떻게 상호연결되는지는 상이할 수 있다. 하나의 층으로부터 다른 층으로 전파되는 효과의 세기에 영향을 줄 수 있는 가중치들은 상이할 수 있다. 층의 출력은 자신의 입력들의 가중된 합의 일부 비선형 함수일 수 있다. CNN의 가중치들은, 이러한 합산들에서 나타나는 가중치들일 수 있고, 생물학적 시스템에서 뉴럴 연결의 시냅스 세기와 대략 유사할 수 있다.
[0078] CNN(100)을 트레이닝하는 프로세스는 눈 이미지들(124)의 트레이닝 세트를 CNN(100)에 제시하는 프로세스이다. 트레이닝 세트는 입력 데이터 및 대응하는 기준 출력 데이터 둘 모두를 포함할 수 있다. 이러한 트레이닝 세트는 예시적인 입력들 및 대응하는 기준 출력들 둘 모두를 포함할 수 있다. 트레이닝의 프로세스를 통해, CNN(100)의 가중치들은, 트레이닝 세트로부터의 특정 입력 데이터가 주어지면, 네트워크의 출력이 그 입력 데이터에 대응하는 기준 출력과(가능한 근접하게) 매칭하게 되도록, 증분적으로 학습될 수 있다.
[0079] 따라서, 일부 구현들에서, 병합된 아키텍처를 갖는 CNN(100)은 눈 이미지들(124)의 세그먼테이션들 및 품질 추정들을 학습하도록 눈 이미지들(124)의 트레이닝 세트를 사용하여 트레이닝된다. 트레이닝 사이클 동안, 트레이닝되는 세그먼테이션 타워(104)는, 눈 이미지(124)의 동공(216), 홍채(212), 공막(208), 또는 배경에 대응하는 각각의 구역마다 하나씩, 4개의 출력 이미지들을 포함할 수 있는 세그먼테이션 타워 출력(128)을 생성하기 위해 트레이닝 세트의 눈 이미지(124)를 프로세싱할 수 있다. 트레이닝되는 품질 추정 타워(108)는 눈 이미지(124)의 품질 추정 타워 출력(132)을 생성하기 위해 트레이닝 세트의 눈 이미지(124)를 프로세싱할 수 있다. 눈 이미지(124)의 세그먼테이션 타워 출력(128)과 눈 이미지(124)의 기준 세그먼테이션 타워 출력 사이의 차이가 컴퓨팅될 수 있다. 눈 이미지(124)의 기준 세그먼테이션 타워 출력은, 눈 이미지(124)의 동공(216), 홍채(212), 공막(208), 또는 배경에 대응하는 각각의 구역마다 하나씩, 4개의 기준 출력 이미지들을 포함할 수 있다. 눈 이미지(124)의 품질 추정 타워 출력(132)과 눈 이미지(124)의 기준 품질 추정 타워 출력 사이의 차이가 컴퓨팅될 수 있다.
[0080] CNN(100)의 파라미터들은 차이들 중 하나 또는 둘 모두에 기초하여 업데이트될 수 있다. 예컨대, CNN(100)의 세그먼테이션 층들(116)의 파라미터들은 눈 이미지(124)의 세그먼테이션 타워 출력(128)과 눈 이미지(124)의 기준 세그먼테이션 타워 출력 사이의 차이에 기초하여 업데이트될 수 있다. 다른 예로서, CNN(100)의 품질 추정 층들(120)의 파라미터들은 눈 이미지(124)의 품질 추정 타워 출력(132)과 눈 이미지(124)의 기준 품질 추정 타워 출력 사이의 차이에 기초하여 업데이트될 수 있다. 또 다른 예로서, 공유 층들(112)의 파라미터들은 둘 모두의 차이들에 기초하여 업데이트될 수 있다. 추가의 예로서, CNN(100)의 세그먼테이션 층들(116)의 파라미터들 또는 CNN(100)의 품질 추정 층들(120)의 파라미터들은 둘 모두의 차이들에 기초하여 업데이트될 수 있다. 2개의 차이들은 상이한 구현들에서 공유 층들(112), 세그먼테이션 층들(116) 또는 품질 추정 층들(130)의 파라미터들에 상이하게 영향을 미칠 수 있다. 예컨대, 세그먼테이션 타워 출력(128)과 기준 세그먼테이션 타워 출력 사이의 차이는, 품질 추정 타워 출력(132)과 기준 품질 추정 타워 출력 사이의 차이의 효과에 비해, 공유 층들(112) 또는 세그먼테이션 층들(116)의 파라미터들에 더 크게 영향을 미칠 수 있다.
[0081] 트레이닝 사이클 동안, 콘볼루션 뉴럴 네트워크(100)의 파라미터들의 퍼센티지가 0의 값들로 세팅될 수 있다. 퍼센티지는 예컨대, 0.05 ― 0.50의 드롭아웃 비에 대해 5% ― 50%일 수 있다. 트레이닝 사이클 동안 0의 값들로 세팅된 CNN(100)의 파라미터들은 상이한 구현들에서 상이할 수 있다. 예컨대, 0의 값들로 세팅된 CNN(100)의 파라미터들은 랜덤으로 선택될 수 있다. 다른 예로서, CNN(100)의 파라미터들 중 30%가 0의 값들로 세팅되는 경우, CNN(100)의 각각의 층의 파라미터들 중 약 30%가 0의 값들로 랜덤으로 세팅될 수 있다.
[0082] 병합된 아키텍처를 갖는 콘볼루션 뉴럴 네트워크(100)를 트레이닝할 때, 다수의 커널들이 학습된다. 커널은 그의 입력에 적용될 때, 그 특정한 학습된 커널에 대한 응답을 보여주는 결과적인 특징 맵을 생성한다. 결과적인 특징 맵은 그 후, 더 작은 특징 맵을 생성하기 위해 풀링 동작(pooling operation)을 통해 결과적인 특징 맵을 샘플링하는 CNN의 다른 층의 커널에 의해 프로세싱될 수 있다. 프로세스는 그 후 그의 결과적인 특징 맵들을 컴퓨팅하기 위해 새로운 커널을 학습하도록 반복될 수 있다.
예시적인 눈 이미지들 및 세그먼팅된 눈 이미지들
[0083] 도 4는 도 3에 예시된 병합된 콘볼루션 네트워크 아키텍처를 갖는 콘볼루션 뉴럴 네트워크(100)를 사용하여 눈 이미지들(124)을 세그먼팅하는 예시적인 결과들을 도시한다. 도 4의 패널(a)은 도 4의 패널(b)에 도시된 눈 이미지의 세그먼테이션을 도시한다. 눈 이미지의 세그먼테이션은 눈 이미지의 배경 구역(404a), 공막 구역(408a), 홍채 구역(412a) 또는 동공 영역(416a)을 포함한다. 도 4의 패널(b)에 도시된 눈 이미지의 품질 추정은 1.000의 양호한 품질 추정이었다. 따라서, 눈 이미지의 품질 추정은 양호한 품질 추정이었다.
[0084] 도 4의 패널(c)는 도 4의 패널(d)에 도시된 눈 이미지의 세그먼테이션을 도시한다. 눈 이미지의 세그먼테이션은 눈 이미지의 배경 구역(404c), 공막 구역(408c), 홍채 구역(412c) 또는 동공 영역(416c)을 포함한다. 도 4의 패널(d)에 도시된 눈 이미지의 품질 추정은 0.997의 양호한 품질 추정이었다. 따라서, 눈 이미지의 품질 추정은 양호한 품질 추정이었다.
[0085] 도 4의 패널(e)은 도 4의 패널(f)에 도시된 눈 이미지의 세그먼테이션을 도시한다. 도 4의 패널(f)에 도시된 눈 이미지에서 눈의 공막, 홍채 및 동공은 눈의 눈꺼풀들에 의해 폐색되었다. 눈 이미지의 세그먼테이션은 눈 이미지의 배경 구역(404e), 공막 구역(408e), 홍채 구역(412e) 또는 동공 영역(416e)을 포함한다. 도 4의 패널(f)에 도시된 눈 이미지의 품질 추정은 0.009의 양호한 품질 추정이었다. 따라서, 눈 이미지의 품질 추정은 불량 품질 추정이었다.
[0086] 도 4의 패널(g)은 도 4의 패널(h)에 도시된 눈 이미지의 세그먼테이션을 도시한다. 도 4의 패널(h)에 도시된 눈 이미지에서 눈의 공막, 홍채 및 동공은 눈의 눈꺼풀들에 의해 폐색되었다. 또한, 눈 이미지는 흐릿하다. 눈 이미지의 세그먼테이션은 눈 이미지의 배경 구역(404g), 공막 구역(408g), 홍채 구역(412g) 또는 동공 영역(416g)을 포함한다. 도 4의 패널(h)에 도시된 눈 이미지의 품질은 0.064의 양호한 품질 추정이었다. 따라서, 눈 이미지의 품질 추정은 불량 품질 추정이었다.
눈 이미지 세그먼테이션 및 이미지 품질 추정에 대한 예시적인 프로세스
[0087] 도 5는 병합된 아키텍처를 갖는 콘볼루션 뉴럴 네트워크(100)를 생성하는 예시적인 프로세스(500)의 흐름도이다. 프로세스(500)는 블록(504)에서 시작한다. 블록(508)에서, CNN(convolutional neural network)(100)의 공유 층들(112)이 생성된다. 공유 층들(112)은 복수의 층들 및 복수의 커널들을 포함할 수 있다. 공유 층들(112)을 생성하는 것은, 복수의 층들을 생성하는 것, 적절한 커널 크기들, 스트라이드들 또는 패딩들을 갖는 복수의 커널들을 생성하는 것, 또는 복수의 층들의 연속적인 층들을 연결하는 것을 포함할 수 있다.
[0088] 블록(512)에서, CNN(100)의 세그먼테이션 층들(116)이 생성된다. 세그먼테이션 층들(116)은 복수의 층들 및 복수의 커널들을 포함할 수 있다. 세그먼테이션 층들(116)을 생성하는 것은, 복수의 층들을 생성하는 것, 적절한 커널 크기들, 스트라이드들 또는 패딩들을 갖는 복수의 커널들을 생성하는 것, 또는 복수의 층들의 연속적인 층들을 연결하는 것을 포함할 수 있다. 블록(516)에서, 공유 층들(112)의 출력 층은 CNN(100)의 세그먼테이션 타워(104)를 생성하기 위해 세그먼테이션 층들(116)의 입력 층에 연결될 수 있다.
[0089] 블록(520)에서, CNN(100)의 품질 추정 층들(120)이 생성된다. 품질 추정 층들(120)은 복수의 층들 및 복수의 커널들을 포함할 수 있다. 품질 추정 층들(120)을 생성하는 것은, 복수의 층들을 생성하는 것, 적절한 커널 크기들, 스트라이드들 또는 패딩들을 갖는 복수의 커널들을 생성하는 것, 또는 복수의 층들의 연속적인 층들을 연결하는 것을 포함할 수 있다. 블록(524)에서, 공유 층들(112)의 출력 층은 CNN(100)의 품질 추정 타워(108)를 생성하기 위해 품질 추정 층들(120)의 입력 층에 연결될 수 있다. 프로세스(500)는 블록(528)에서 종료한다.
[0090] 도 6은 병합된 아키텍처를 갖는 콘볼루션 뉴럴 네트워크(100)를 이용하여 눈 이미지(124)를 세그먼팅하는 예시적인 프로세스(600)의 흐름도이다. 프로세스(600)는 블록(604)에서 시작한다. 블록(608)에서, 뉴럴 네트워크는 눈 이미지(124)를 수신한다. 예컨대, CNN(100)의 공유 층들(112)의 입력 층은 눈 이미지(124)를 수신할 수 있다. 사용자 디바이스의 이미지 센서(예컨대, 디지털 카메라)는 사용자의 눈 이미지(124)를 캡처할 수 있고, 뉴럴 네트워크는 이미지 센서로부터 눈 이미지(124)를 수신할 수 있다.
[0091] 블록(608)에서 눈 이미지(124)를 수신한 후, 뉴럴 네트워크는 블록(612)에서 눈 이미지(124)를 세그먼팅한다. 예컨대, CNN(100)의 세그먼테이션 타워(104)는 눈 이미지(124)의 세그먼테이션을 생성할 수 있다. 세그먼테이션 타워(104)의 출력 층은 세그먼테이션 타워(104)의 다른 층들과 함께, 눈 이미지(124)에서 눈의 동공 구역, 홍채 구역, 공막 구역 또는 배경 구역을 포함하는 눈 이미지(124)의 세그먼테이션을 컴퓨팅할 수 있다.
[0092] 블록(616)에서, 뉴럴 네트워크는 눈 이미지(124)의 품질 추정을 컴퓨팅한다. 예컨대, CNN(100)의 품질 추정 타워(108)는 눈 이미지(124)의 품질 추정을 생성할 수 있다. 품질 추정 타워(108)의 출력 층은 품질 추정 타워(108)의 다른 층들과 함께, 양호한 품질 추정 또는 불량 품질 추정과 같은, 눈 이미지(124)의 품질 추정을 컴퓨팅할 수 있다.
동공 윤곽, 홍채 윤곽 및 부관한 이미지 영역에 대한 마스크를 결정하는 예시적인 프로세스
[0093] 종래의 홍채 코드는 홍채의 이미지로부터 추출된 비트 스트링이다. 홍채 코드를 컴퓨팅하기 위해, 눈 이미지는 예컨대, 도 1에 예시된 병합된 아키텍처를 갖는 콘볼루션 뉴럴 네트워크(100)를 사용하여 동공 및 공막으로부터 홍채를 분리하도록 세그먼팅된다. 그 후, 세그먼팅된 눈 이미지는 위상 정보가 복소-값의 2-차원 웨이블릿들(예컨대, Gabor 또는 Haar)을 사용하여 추출될 수 있기 전에, 극 또는 의사-극좌표들로 맵핑될 수 있다. 홍채의 극(또는 의사-극) 이미지를 생성하는 하나의 방법은, 동공 윤곽을 결정하는 것, 홍채 윤곽을 결정하는 것, 그리고 결정된 동공 윤곽 및 결정된 홍채 윤곽을 사용하여 극 이미지를 생성하는 것을 포함할 수 있다.
[0094] 도 7은 세그먼팅된 눈 이미지에서 동공 윤곽, 홍채 윤곽 및 무관한 이미지 영역에 대한 마스크를 결정하는 예시적인 프로세스(700)의 흐름도이다. 프로세스(700)는 블록(704)에서 시작한다. 블록(708)에서, 세그먼팅된 눈 이미지가 수신된다. 세그먼팅된 눈 이미지는 세그먼팅된 동공, 홍채, 공막 또는 배경을 포함할 수 있다. 사용자 디바이스는 사용자의 눈 이미지(124)를 캡처하고 세그먼팅된 눈 이미지를 컴퓨팅할 수 있다. 사용자 디바이스는 세그먼팅된 눈 이미지를 컴퓨팅하기 위해 도 3a 내지 도 3c에 예시된 병합된 아키텍처를 갖는 예시적인 CNN(convolutional neural network)(100) 또는 도 6에 예시된 예시적인 프로세스(600)를 구현할 수 있다.
[0095] 세그먼팅된 눈 이미지는 의미론적으로 세그먼팅된 눈 이미지일 수 있다. 도 8은 예시적인 의미론적으로 세그먼팅된 눈 이미지(800)를 개략적으로 예시한다. 의미론적으로 세그먼팅된 눈 이미지(800)는 도 2에 예시된 눈(200)의 이미지로부터 컴퓨팅될 수 있다. 의미론적으로 세그먼팅된 눈 이미지(800)는 n 픽셀 x m 픽셀의 치수를 가질 수 있으며, 여기서 n은 의미론적으로 세그먼팅된 눈 이미지(800)의 픽셀 단위의 높이를 나타내고 m은 픽셀 단위의 폭을 나타낸다.
[0096] 의미론적으로 세그먼팅된 눈 이미지(800)의 픽셀은 4개의 컬러 값들 중 하나를 가질 수 있다. 예컨대, 의미론적으로 세그먼팅된 눈 이미지(800)의 픽셀(804)은 눈 이미지의 배경(808)에 대응하는 컬러 값(도 8에서 "제1 컬러 값"으로 표시됨)을 가질 수 있다. 눈 이미지의 배경(808)에 대응하는 컬러 값은 1과 같은 숫자 값을 가질 수 있다. 눈 이미지의 배경(808)은 눈꺼풀들, 눈썹들, 속눈썹들 또는 눈(200)을 둘러싸는 피부에 대응하는 구역들을 포함할 수 있다. 다른 예로서, 의미론적으로 세그먼팅된 눈 이미지(800)의 픽셀은 눈 이미지에서 눈(200)의 공막(208)에 대응하는 컬러 값(도 8에서 "제2 컬러 값"으로 표시됨)을 가질 수 있다. 눈 이미지에서 눈(200)의 공막(208)에 대응하는 컬러 값은 2와 같은 숫자 값을 가질 수 있다. 다른 예로서, 의미론적으로 세그먼팅된 눈 이미지(800)의 픽셀은 눈 이미지에서 눈(200)의 홍채(212)에 대응하는 컬러 값(도 8에서 "제3 컬러 값"으로 표시됨)을 가질 수 있다. 눈 이미지에서 눈(200)의 홍채(212)에 대응하는 컬러 값은 3과 같은 숫자 값을 가질 수 있다. 다른 예로서, 의미론적으로 세그먼팅된 눈 이미지(800)의 픽셀(812)은 눈 이미지에서 눈(200)의 동공(216)에 대응하는 컬러 값(도 8에서 "제4 컬러 값"으로 표시됨)을 가질 수 있다. 눈 이미지에서 눈(200)의 동공(216)에 대응하는 컬러 값은 4와 같은 숫자 값을 가질 수 있다. 도 8에서, 곡선(216a)은 동공(216)과 홍채(212) 사이의 동공 경계를 도시하고, 곡선(212a)은 홍채(212)와 공막(208)(눈의 "흰자위") 사이의 변연 경계를 도시한다.
[0097] 도 7을 참조하면, 블록(712)에서, 눈 이미지에서 눈(200)의 동공 윤곽이 결정될 수 있다. 동공 윤곽은 동공(216)과 홍채(212) 사이의 동공 경계를 도시하는 곡선(216a)일 수 있다. 동공 윤곽은 도 9에 예시된 예시적인 프로세스(900)(아래에서 보다 상세히 설명됨)를 사용하여 결정될 수 있다. 블록(716)에서, 눈 이미지에서 눈(200)의 홍채 윤곽이 결정될 수 있다. 홍채 윤곽은 홍채(212)와 공막(208) 사이의 변연 경계를 도시하는 곡선(212a)일 수 있다. 홍채 윤곽은 도 9에 예시된 예시적인 프로세스(900)(아래에서 보다 상세히 설명됨)를 사용하여 결정될 수 있다. 동공 윤곽 및 홍채 윤곽을 결정하기 위해 사용되는 프로세스들은 동일할 수 있거나, 또는 예컨대, 동공 크기 및 홍채 크기가 상이할 수 있기 때문에 각각의 결정에 대해 최적화될 수 있다.
[0098] 블록(720)에서, 눈 이미지에서 무관한 영역에 대한 마스크 이미지가 결정될 수 있다. 마스크 이미지는 n 픽셀 x m 픽셀의 치수를 가질 수 있으며, 여기서 n은 마스크 이미지의 픽셀 단위의 높이를 나타내고 m은 픽셀 단위의 폭을 나타낸다. 의미론적으로 세그먼팅된 눈 이미지(800)의 치수 및 마스크 이미지의 치수는 동일하거나 상이할 수 있다. 마스크는 이진 마스크 이미지일 수 있다. 이진 마스크 이미지의 픽셀은 0의 값 또는 1의 값을 가질 수 있다. 의미론적으로 세그먼팅된 눈 이미지(800)의 대응하는 픽셀이 예컨대, 3의 숫자 값과 같은 제3 컬러 값 이상의 값을 갖는 경우, 이진 마스크 이미지의 픽셀은 0의 값을 가질 수 있다. 의미론적으로 세그먼팅된 눈 이미지(800)의 대응하는 픽셀이 예컨대, 3의 숫자 값과 같은 제3 컬러 값 이상의 값을 갖지 않는 경우, 이진 마스크 이미지의 픽셀은 1의 값을 가질 수 있다. 일부 구현에서, 프로세스(700)는 의미론적으로 세그먼팅된 눈 이미지에서 동공 윤곽, 홍채 윤곽, 및 무관한 영역에 대한 마스크를 사용하여 눈 이미지에서 눈(200)의 홍채(212)의 극 이미지를 선택적으로 생성할 수 있다. 프로세스(700)는 블록(724)에서 종료한다.
동공 윤곽 또는 홍채 윤곽을 결정하는 예시적인 프로세스
[0099] 도 9는 세그먼팅된 눈 이미지에서 동공 윤곽 또는 홍채 윤곽을 결정하는 예시적인 프로세스(900)의 흐름도이다. 프로세스(900)는 블록(904)에서 시작한다. 블록(908)에서, 이진 이미지는 의미론적으로 세그먼팅된 눈 이미지(800)와 같은 세그먼팅된 눈 이미지로부터 생성될 수 있다. 도 10a는 블록(904)에서 생성된 예시적인 이진 이미지(1000A)를 개략적으로 예시한다. 이진 이미지(1000A)는 n 픽셀 x m 픽셀의 치수를 가질 수 있으며, 여기서 n은 이진 이미지(1000A)의 픽셀 단위의 높이를 나타내고 m은 픽셀 단위의 폭을 나타낸다. 세그먼팅된 눈 이미지 또는 의미론적으로 세그먼팅된 눈 이미지(800)의 치수 및 이진 이미지(1000A)의 치수는 동일하거나 상이할 수 있다.
[0100] 의미론적으로 세그먼팅된 눈 이미지(800)의 대응하는 픽셀이 임계 컬러 값 예컨대, "제4 컬러 값" 이상이 아닌 값을 갖는 경우, 이진 이미지(1000A)의 픽셀(1004a)은 0의 컬러 값을 가질 수 있다. 의미론적으로 세그먼팅된 눈 이미지(800)의 대응하는 픽셀이 임계 컬러 값 예컨대, "제4 컬러 값" 이상의 값을 갖는 경우, 이진 이미지(1000A)의 픽셀(1012a)은 1의 컬러 값을 가질 수 있다. 일부 구현들에서, 이진 이미지(1000A)의 픽셀들은 0 또는 1 이외의 값들을 가질 수 있다. 예컨대, 이진 이미지(1000A)의 픽셀(1004a)은 "제3 컬러 값"의 컬러 값, 이를테면, 3의 숫자 값을 가질 수 있다. 이진 이미지(1000A)의 픽셀(1012a)은 "제4 컬러 값"의 컬러 값, 이를테면, 4의 숫자 값을 가질 수 있으며, 여기서 "제4 컬러 값"은 "제3 컬러 값"보다 크다.
[0101] 도 9를 참조하면, 블록(912)에서, 이진 이미지(1000A)의 윤곽들 결정된다. 예컨대, 이진 이미지(1000A)의 윤곽들은 예컨대, OpenCV findContours 함수(opencv.org에서 이용 가능함)를 사용하여 결정될 수 있다. 도 10b는 이진 이미지(1000A)의 예시적인 윤곽(1016)을 개략적으로 예시한다. 도 9를 참조하면, 블록(916)에서, 윤곽 보더(contour border)가 결정될 수 있다. 윤곽 보더는 이진 이미지(1000A)에서 최장 윤곽일 수 있다. 이진 이미지(1000A)의 윤곽(1016)은 이진 이미지(1000A)에서 최장 윤곽일 수 있다. 윤곽(1016)은 픽셀(1024a)과 같은 이진 이미지(1000A)의 복수의 픽셀들을 포함할 수 있다.
[0102] 블록(920)에서, 윤곽 지점 바운딩 박스(contour points bounding box)(예컨대, 도 10b의 윤곽 지점 바운딩 박스(1020))가 결정된다. 윤곽 지점 바운딩 박스(1020)는 윤곽 보더(1016)와 같이 최장 윤곽 보더를 둘러싸는 최소(smallest) 직사각형일 수 있다. 블록(924)에서, 지점 영역 크기가 결정될 수 있다. 지점 영역 크기는 도 10b의 이진 이미지(1000A)에서 윤곽 지점 바운딩 박스(1020)의 대각선(1028)일 수 있다.
[0103] 블록(928)에서, 제2 이진 이미지는 의미론적으로 세그먼팅된 눈 이미지(800)와 같은 세그먼팅된 눈 이미지로부터 생성될 수 있다. 도 10c는 예시적인 제2 이진 이미지(1000C)를 개략적으로 예시한다. 제2 이진 이미지(1000C)는 n 픽셀 x m 픽셀의 치수를 가질 수 있으며, 여기서 n은 제2 이진 이미지(1000C)의 픽셀 단위의 높이를 나타내고 m은 픽셀 단위의 폭을 나타낸다. 이진 이미지(1000A)의 치수 및 이진 이미지(1000A)의 치수는 동일하거나 상이할 수 있다.
[0104] 의미론적으로 세그먼팅된 눈 이미지(800)의 대응하는 픽셀이 임계 컬러 값 예컨대, "제3 컬러 값" 이상이 아닌 값을 갖는 경우, 제2 이진 이미지(1000C)의 픽셀(1004c)은 0의 컬러 값을 가질 수 있다. 의미론적으로 세그먼팅된 눈 이미지(800)의 대응하는 픽셀이 임계 컬러 값 예컨대, "제3 컬러 값" 이상의 값을 갖는 경우, 제2 이진 이미지(1000C)의 픽셀(1012c)은 1의 컬러 값을 가질 수 있다. 일부 구현들에서, 제2 이진 이미지(1000C)의 픽셀들은 0 또는 1 이외의 값들을 가질 수 있다. 예컨대, 제2 이진 이미지(1000C)의 픽셀(1004c)은 "제2 컬러 값"의 컬러 값, 이를테면, 2의 숫자 값을 가질 수 있다. 제2 이진 이미지(1000B)의 픽셀(1012c)은 "제3 컬러 값"의 컬러 값, 이를테면, 3의 숫자 값을 가질 수 있으며, 여기서 "제3 컬러 값"은 "제2 컬러 값"보다 크다.
[0105] 도 9를 참조하면, 블록(932)에서, 이진 이미지(1000A)의 픽셀(1024a)에 대응하는 제2 이진 이미지(1000C)의 픽셀(예컨대, 도 10의 픽셀 1024c)이 결정된다. 제2 이진 이미지(1000C)의 치수 및 이진 이미지(1000A)의 치수가 동일한 경우, 픽셀(1024c)은 제2 이진 이미지(1000C)에서 (m1; n1)의 좌표를 가질 수 있고, 픽셀(1024a)은 이진 이미지(1000A)에서 (m1; n1)의 좌표를 가질 수 있고, 여기서, m1은 폭 방향의 좌표를 나타내고, n1은 높이 방향의 좌표를 나타낸다. 픽셀(1024c)과, 0의 컬러 값을 갖고 픽셀(1024c)에 가장 근접한, 제2 이진 이미지(1000C)의 픽셀 사이의 거리가 결정된다. 예컨대, 거리는, 픽셀(1024c)과, 0의 컬러 값을 갖고 픽셀(1024c)에 가장 근접한, 제2 이진 이미지(1000C)의 픽셀(1036) 사이의 도 10c의 거리(1032)일 수 있다. 거리(1032)는 예컨대 OpenCV distanceTransform 함수를 사용하여 결정될 수 있다.
[0106] 블록(936)에서, 픽셀(1024a)은, 그것이 동공 윤곽을 결정하기에 부적절한 경우, 윤곽(1016)의 픽셀들로부터 제거될 수 있다. 픽셀(1024a)은, 거리(1032)가 미리 결정된 임계치보다 작은 경우 동공 윤곽을 결정하기에 부적절할 수 있다. 미리 결정된 임계치는 도 10b의 윤곽 지점 바운딩 박스(1020)의 대각선(1028)의 크기 또는 지점 영역 크기와 같은 윤곽 지점 바운딩 박스(1020)의 크기로 곱해지는 프랙션(fraction)일 수 있다. 프랙션은 0.02 내지 0.20의 범위에 있을 수 있다. 예컨대, 프랙션은 0.08일 수 있다.
[0107] 블록(940)에서, 동공 윤곽은 곡선(이를테면, 타원)을 잔여 픽셀들에 피팅함으로써 윤곽 보더(1016)의 잔여 픽셀들로부터 결정될 수 있다. 타원은 예컨대 OpenCV fitEllipse 함수를 사용하여 결정될 수 있다. 프로세스(900)는 블록(944)에서 종료한다. 도 10a 내지 도 10c가 동공 윤곽을 결정하기 위해 프로세스(900)를 사용하는 것을 예시하는 데 사용되었지만, 프로세스(900)는 또한 홍채 윤곽을 결정하는 데 사용될 수 있다.
예시적인 동공 윤곽 및 홍채 윤곽 결정
[0108] 도 11은 도 7 및 도 9에 예시된 예시적인 프로세스들(700 및 900)을 사용하여 홍채 윤곽들, 동공 윤곽들 및 무관한 이미지 영역들에 대한 마스크들을 결정하는 예시적인 결과들을 도시한다. 도 11의 패널들(a-f)은 눈 이미지의 홍채 윤곽, 동공 윤곽 및 무관한 이미지 영역에 대한 마스크를 결정한 예시적인 결과들을 도시한다. 도 11의 패널(a)은 눈 이미지를 도시한다. 도 11의 패널(b)은 도 3에 예시된 병합된 콘볼루션 네트워크 아키텍처를 갖는 콘볼루션 뉴럴 네트워크(100)를 사용하여 도 11의 패널(a)의 눈 이미지의 의미론적으로 세그먼팅된 눈 이미지를 도시한다. 의미론적으로 세그먼팅된 눈 이미지들은, 1의 숫자 컬러 값을 갖는 배경 구역(1104a), 2의 숫자 컬러 값을 갖는 공막 구역(1108a), 3의 숫자 컬러 값을 갖는 홍채 구역(1112a) 또는 4의 숫자 컬러 값을 갖는 눈 이미지의 동공 구역(1116a)을 포함한다.
[0109] 도 11의 패널(c)는, 블록(936)에서 프로세스(900)를 사용하여 결정된 도 11의 패널(a)에 도시된 눈 이미지 상에 오버레이되는 동공의 윤곽 보더의 잔여 픽셀들(1120a) 및 홍채의 윤곽 보더의 잔여 픽셀들(1124a)을 도시한다. 도 11의 패널(d)은, 도 11의 패널(b)에 도시된 의미론적으로 세그먼팅된 눈 이미지 상에 오버레이되는 동공의 윤곽 보더의 잔여 픽셀들(1120a) 및 홍채의 윤곽 보더의 잔여 픽셀들(1124a)을 도시한다. 도 11의 패널(e)은 블록(940)에서 프로세스(900)에 의해 동공의 윤곽 보더의 잔여 픽셀들(1120a) 및 홍채의 윤곽 보더의 잔여 픽셀들(1124a)을 피팅함으로써 결정되는 동공의 타원(1128a) 및 홍채의 타원(1132a)을 도시한다. 도 11의 패널(f)은 블록(720)에서 프로세스(700)에 의한 눈 이미지 내의 무관한 영역에 대한 이진 마스크 이미지를 도시한다. 이진 마스크 이미지는 도 11의 패널(b)에 도시된 의미론적으로 세그먼팅된 눈 이미지의 홍채 구역(1112a) 및 동공 구역(1116a)에 대응하는 구역(1136a)을 포함한다. 이진 마스크 이미지는 또한 배경 구역(1104a) 및 공막 구역(1108a)에 대응하는 구역(1140a)을 포함한다.
[0110] 도 11의 패널들(a-f)과 유사하게, 도 11의 패널들(g-l)은 다른 눈 이미지의 홍채 윤곽, 동공 윤곽 및 무관한 이미지 영역에 대한 마스크를 결정한 예시적인 결과들을 도시한다.
세그먼팅된 극 이미지들에 대해 트레이닝된 트리플릿 네트워크 아키텍처를 갖는 CNN을 사용한 예시적인 홍채 인증
[0111] 도 12a 및 도 12b는 도 7 및 도 9에 도시된 예시적인 프로세스를 통해 동공 윤곽들 및 홍채 윤곽들을 피팅한 후에 획득된 극좌표들에서 홍채 이미지들에 대해 트리플렛 네트워크 아키텍처를 갖는 CNN(convolutional neural network)을 트레이닝하는 예시적인 결과들을 도시한다. 트리플렛 네트워크 아키텍처는 도 13에 도시되고 아래에서 더 상세히 설명된다.
[0112] 도 12a는 확률 밀도 대 임베딩 거리의 히스토그램 플롯이다. 동일한 대상들의 홍채 이미지들은 임베딩 공간에서 함께 더 근접했고 상이한 대상들의 홍채 이미지들은 임베딩 공간에서 서로 더 멀리 떨어져 있었다. 도 12b는 TPR(true positive rate) 대 FPR(false positive rate)의 ROC(receiver operating characteristic) 곡선이다. ROC 곡선 아래 영역은 99.947%였다. 트리플릿 네트워크 아키텍처를 갖는 CNN을 트레이닝하기 위해 극좌표들의 홍채 이미지들을 사용하면, 0.884%의 EER이 달성되었다.
트리플릿 네트워크 아키텍처
[0113] 인간의 눈의 이미지들을 사용하여, 트리플릿 네트워크 아키텍처를 갖는 CNN(convolutional neural network)은, 더 높은 치수 눈 이미지 공간으로부터 더 낮은 치수 임베딩 공간으로 맵핑되는 임베딩을 학습하기 위해 트레이닝될 수 있다. 눈 이미지 공간의 치수는 상당히 클 수 있다. 예컨대, 256 픽셀들 x 256 픽셀들의 눈 이미지는 잠재적으로 수천 또는 수만의 자유도를 포함할 수 있다. 도 13은 트리플렛 네트워크 아키텍처를 갖는 예시적인 콘볼루션 뉴럴 네트워크(1300)의 블록도이다. CNN(1300)은 임베딩(1304)(Emb)을 학습하도록 트레이닝될 수 있다. 임베딩(1304)은, 더 높은 치수 눈 이미지 공간에서의 눈 이미지(Img)(1308)를 더 낮은 치수 임베딩 공간에서의 눈 이미지의 임베딩 공간 표현(EmbImg)으로 맵핑하는 함수일 수 있다. 예컨대, Emb(Img) = EmbImg이다. 눈 이미지(Img)(1308)는 도 7 및 도 9에 도시된 예시적인 프로세스로 결정된 동공 윤곽 및 홍채 윤곽을 사용하여 컴퓨팅된 극좌표의 홍채 이미지일 수 있다.
[0114] 임베딩 공간 표현, 즉, 임베딩 공간에서의 눈 이미지의 표현은 n-치수 실수 벡터들일 수 있다. 눈 이미지의 임베딩 공간 표현은 n-치수 눈 설명일 수 있다. 임베딩 공간에서의 표현들의 치수는 상이한 구현들에서 상이할 수 있다. 예컨대, 치수는 16 내지 2048의 범위에 있을 수 있다. 일부 구현들에서, n은 128이다. 임베딩 공간 표현들의 엘리먼트들은 실수들에 의해 표현될 수 있다. 일부 아키텍처들에서, 임베딩 공간 표현은 트레이닝 동안 n개의 부동 소수점 수들로서 표현되지만, 이는 인증을 위해 n 바이트로 양자화될 수 있다. 따라서, 일부 경우들에서, 각각의 눈 이미지는 n-바이트 표현으로 표현된다. 더 큰 치수를 갖는 임베딩 공간에서의 표현들은 더 낮은 치수를 갖는 표현들보다 더 양호하게 수행될 수 있지만, 더 많은 트레이닝을 요구할 수 있다. 임베딩 공간 표현들은, 예컨대, 단위 길이를 가질 수 있다.
[0115] CNN(1300)는, 눈 이미지들이 임베딩 공간에서 함께 클러스터링되기 때문에, 임베딩 공간의 한 사람(또는 한 사람의 왼쪽 또는 오른쪽 눈)의, 이미징 조건들과 독립적인 눈 이미지들 사이의 거리가 짧도록, 임베딩(1304)을 학습하게 트레이닝될 수 있다. 대조적으로, 상이한 사람들(또는 한 사람의 상이한 눈)의 한 쌍의 눈 이미지들 사이의 거리는 임베딩 공간에서 클 수 있는 데, 그 이유는 눈 이미지들이 임베딩 공간에서 함께 클러스터링되지 않기 때문이다. 따라서, 임베딩 공간에서 동일한 사람으로부터의 눈 이미지들 사이의 거리, 즉, 임베딩 거리는 임베딩 공간에서 상이한 사람들로부터의 눈 이미지들 사이의 거리보다 더 짧을 수 있다. 양쪽 눈 이미지들 사이의 거리는, 예컨대, 양쪽 눈 이미지들의 임베딩 공간 표현들 사이의 유클리드 거리(L2 놈)일 수 있다.
[0116] 한 사람의 양쪽 눈 이미지들, 예컨대, 앵커 눈 이미지(ImgA)(1312a)와 포지티브 눈 이미지(ImgP)(1312p) 사이의 거리는 임베딩 공간에서 짧을 수 있다. 상이한 사람들의 양쪽 눈 이미지들, 예컨대, 앵커 눈 이미지(ImgA)(1312a)와 네거티브 눈 이미지(ImgN)(1312n) 사이의 거리는 임베딩 공간에서 더 클 수 있다. ImgA(1312a)는 "앵커" 이미지인데, 그 이유는, 그의 임베딩 공간 표현이 동일한 사람의 눈 이미지(예컨대, ImgP(1312p)) 및 상이한 사람들의 눈 이미지(예컨대, ImgN(1312n))의 임베딩 공간 표현들과 비교될 수 있기 때문이다. ImgA(1312p)는 "포지티브" 이미지인데, 그 이유는, ImgP(1312p) 및 ImgA(1312a)가 동일한 사람의 눈 이미지들이기 때문이다. ImgN(1312n)은 "네거티브" 이미지인데, 그 이유는, ImgN(1312n) 및 ImgA(1312a)가 상이한 사람들의 눈 이미지들이기 때문이다. 따라서, 임베딩 공간에서 ImgA(1312a)와 ImgP(1312p) 사이의 거리는 임베딩 공간에서 ImgA(1312a)와 ImgN(1312N) 사이의 거리보다 더 짧을 수 있다.
[0117] 임베딩 네트워크(Emb)(1304)는 더 높은 치수 눈 이미지 공간으로부터의 ImgA(1312a), ImgP(1312p), 및 ImgN(1312n)을 앵커 임베딩 이미지(EmbA)(1316a), 포지티브 임베딩 이미지(EmbP)(1316a), 및 네거티브 임베딩 이미지(EmbN)(1316n)로 맵핑할 수 있다. 예컨대, Emb(ImgA) = EmbA; Emb(ImgP) = EmbP; 그리고 Emb(ImgN) = EmbN이다. 따라서, 임베딩 공간에서 EmbA(1316a)와 EmbP(1316a) 사이의 거리는 임베딩 공간에서 EmbP(1316a)와 EmbN(1316n) 사이의 거리보다 더 짧을 수 있다.
[0118] 임베딩(1304)을 학습하기 위해, 눈 이미지들(1308)의 트레이닝 세트(T1)가 사용될 수 있다. 눈 이미지들(1380)은 도 7 내지 도 9에 도시된 예시적인 프로세스들로 결정된 동공 윤곽 및 홍채 윤곽을 사용하여 컴퓨팅된 극좌표들의 홍채 이미지들일 수 있다. 눈 이미지들(1308)은 왼쪽 눈들 및 오른쪽 눈들의 이미지들을 포함할 수 있다. 눈 이미지들(1308)은 라벨들과 연관될 수 있고, 여기서 라벨들은 다른 사람의 눈 이미지들로부터 한 사람의 눈 이미지들을 구별한다. 라벨들은 또한 사람의 왼쪽 눈 및 오른쪽 눈의 눈 이미지들을 구별할 수 있다. 트레이닝 세트(T1)는 눈 이미지 및 라벨(Img; Label)의 쌍들을 포함할 수 있다. (Img: Label) 쌍들의 트레이닝 세트(T1)가 눈 이미지 데이터 저장소로부터 수신될 수 있다.
[0119] 임베딩(1304)을 학습하기 위해, 트리플릿 네트워크 아키텍처를 갖는 CNN(1300)은 3개의 동일한 임베딩 네트워크들 예컨대, 앵커 임베딩 네트워크(ENetworkA)(1320a), 포지티브 임베딩 네트워크(ENetworkP)(1320p) 및 네거티브 임베딩 네트워크(ENetworkN)(1320n)를 포함할 수 있다. 임베딩 네트워크들(1320a, 1320p, 또는 1320n)은 눈 이미지 공간으로부터의 눈 이미지들을 임베딩 공간의 눈 이미지들의 임베딩 공간 표현들로 맵핑할 수 있다. 예컨대, ENetworkA(1320a)는 ImgA(1312a)를 EmbA(1316a)로 맵핑할 수 있다. ENetworkA(1320p)는 ImgP(1312p)를 EmbP(1316p)로 맵핑할 수 있다. ENetworkN(1320n)는 ImgN(1312n)을 EmbN(1316n)으로 맵핑할 수 있다.
[0120] 트리플릿 네트워크 아키텍처를 갖는 콘볼루션 뉴럴 네트워크(1300)는 눈 이미지들의 트리플릿들을 포함하는 트리플릿 트레이닝 세트(T2)로 임베딩(1304)을 학습할 수 있다. 트리플릿의 양쪽 눈 이미지들은 동일한 사람으로부터의 이미지들이고, 예컨대, ImgA(1312a) 및 ImgP(1312p)이다. 트리플릿의 제3 눈 이미지는 상이한 사람으로부터의 이미지이고, 예컨대, ImgN(1312n)이다. ENetworkA(1320a), ENetworkP(1320p), 및 ENetworkN(1320n)은 (ImgA; ImgP; ImgN)의 트리플릿들을 (EmbA; EmbP; EmbN)의 트리플릿들로 맵핑할 수 있다. 눈 인증 트레이너(1304)는 (Img; Label) 쌍들의 트레이닝 세트(T1)로부터 트리플릿 트레이닝 세트(T2)를 생성할 수 있다.
[0121] ImgA(1312a), ImgP(1312p) 또는 ImgN(1312n)은 상이한 구현들에서 상이할 수 있다. 예컨대, ImgA(1312a) 및 ImgP(1312p)는 한 사람의 눈 이미지들일 수 있고, ImgN(1312n)는 다른 사람의 눈 이미지일 수 있다. 다른 예로서, ImgA(1312a) 및 ImgP(1312p)는 한 사람의 왼쪽 눈의 이미지들일 수 있고, ImgN(1312n)는 그 사람의 오른쪽 눈의 이미지이거나 또는 다른 사람의 눈 이미지일 수 있다.
[0122] 트리플릿 네트워크 아키텍처는, 임베딩 공간에서의 사람의 눈 이미지가 임베딩 공간에서의 임의의 다른 사람의 눈 이미지보다, 임베딩 공간에서의 동일한 사람의 모든 다른 눈 이미지들에 더 근접하도록 임베딩(1304)을 학습하는 데 사용될 수 있다. 예컨대, 
며, 여기서 
는 임베딩 공간에서 EmbA(1316a)와 EmbP(1316p) 사이의 절대 거리를 나타내며, 
는 임베딩 공간에서 EmbA(1316a)와 EmbN(1316n) 사이의 절대 거리를 나타낸다.
[0123] 일부 구현들에서, 트리플릿 네트워크 아키텍처는, 임베딩 공간 내의 사람의 왼쪽 눈의 이미지가 그 사람의 오른쪽 눈의 임의의 이미지보다 또는 임베딩 공간 내의 다른 사람의 임의의 눈 이미지보다, 임베딩 공간 내의 동일한 사람의 왼쪽 눈의 모든 이미지들에 더 근접하도록, 임베딩(1304)을 학습하는 데 사용될 수 있다.
[0124] 임베딩 공간 표현들의 치수는 상이한 구현들에서 상이할 수 있다. EmbA(1316a), EmbP(1316p), 및 EmbN(1316n)의 치수는 동일할 수 있는데, 예컨대, 431일 수 있다. 임베딩 공간 표현의 길이는 상이한 구현들에서 상이할 수 있다. 예컨대, EmbA(1316a), EmbP(1316p) 또는 EmbN(1316n)는 L2 정규화를 사용하여 임베딩 공간에서 단위 길이를 갖도록 정규화될 수 있다. 따라서, 눈 이미지들의 임베딩 공간 표현들은 임베딩 공간의 하이퍼스피어(hypersphere) 상에 있다.
[0125] 트리플릿 네트워크 아키텍처는 EmbA(1316a), EmbP(1316p) 및 EmbN(1316n)을 비교하도록 구성된 트리플릿 손실 층(1324)을 포함할 수 있다. 트리플릿 손실 층(1324)으로 학습된 임베딩(1304)은 임베딩 공간에서 아주 근접한 지점들의 클러스터 또는 단일 지점 상에 한 사람의 눈 이미지들을 맵핑할 수 있다. 트리플릿 손실 층(1324)은 임베딩 공간에서 동일한 사람의 눈 이미지들, 예컨대 EmbA(1316a)와 EmbP(1316p) 사이의 거리를 최소화할 수 있다. 트리플릿 손실 층(1324)은 임베딩 공간에서 상이한 사람들의 눈 이미지들, 예컨대 EmbA(1316a)와 EmbN(1316n) 사이의 거리를 최대화할 수 있다.
[0126] 트리플릿 손실 층(1324)은 다수의 방식들로 EmbA(1316a), EmbP(1316p) 및 EmbN(1316n)을 비교할 수 있다. 예컨대, 트리플릿 손실 층(1324)은,
을 컴퓨팅함으로써, EmbA(1316a), EmbP(1316p) 및 EmbN(1316n)을 비교할 수 있다.
여기서, 
는 임베딩 공간에서 EmbA(1316a)와 EmbP(1316p) 사이의 절대 거리를 나타내며, 
는 EmbA(1316a)와 EmbN(1316n) 사이의 절대 거리를 나타내며, m은 마진을 나타낸다. 마진은 상이한 구현들에서 상이할 수 있다. 예컨대, 마진은 0.16 또는 0.01 내지 1.0의 범위의 다른 수일 수 있다. 따라서, 일부 구현들에서, 임베딩(1304)은, 동일한 사람으로부터의 눈 이미지들 사이의 임베딩 공간에서의 거리가 상이한 사람들로부터의 눈 이미지들 사이의 임베딩 공간에서의 거리보다 짧도록, 복수의 사람들의 눈 이미지들로부터 학습될 수 있다. 수학식(1)의 특정 구현의 관점에서, 동일한 사람으로부터의 모든 눈 이미지들 사이의 임베딩 공간에서의 거리의 제곱은 작고, 상이한 사람들로부터의 한 쌍의 눈 이미지들 사이의 임베딩 공간에서의 거리의 제곱은 크다.
[0127] EmbA(1316a), EmbP(1316p) 및 EmbN(1316n)을 비교하는 데 사용되는 마진(m)의 함수는 상이한 구현들에서 상이할 수 있다. 예컨대, 마진(m)은 임베딩 공간에서의 한 사람의 눈 이미지들의 각각의 쌍과 다른 모든 사람들의 눈 이미지들 간에 마진을 적용(enforce)할 수 있다. 따라서, 한 사람의 눈 이미지들의 임베딩 공간 표현들은 임베딩 공간에서 근접하게 함께 클러스터링될 수 있다. 동시에, 상이한 사람들의 눈 이미지들의 임베딩 공간 표현들은 유지되거나 최대화될 수 있다. 다른 예로서, 마진(m)은 한 사람의 왼쪽 눈의 이미지들의 각각의 쌍과, 그 사람의 오른쪽 눈의 이미지들 또는 모든 다른 사람들의 눈 이미지들 간에 마진을 적용할 수 있다.
[0128] 임베딩(1304)의 학습의 반복 동안, 트리플릿 손실 층(1324)은 상이한 수들의 트리플릿들에 대해 EmbA(1316a), EmbP(1316p) 및 EmbN(1316n)을 비교할 수 있다. 예컨대, 트리플릿 손실 층(1324)은 트리플릿 트레이닝 세트(T2)의 모든 트리플릿들(EmbA; EmbP; EmbN)에 대해 EmbA(1316a), EmbP(1316p) 및 EmbN(1316n)을 비교할 수 있다. 다른 예로서, 트리플릿 손실 층(1324)은 트리플릿 트레이닝 세트(T2)의 트리플릿들(EmbA; EmbP; EmbN)의 배치(batch)에 대해 EmbA(1316a), EmbP(1316p) 및 EmbN(1316n)을 비교할 수 있다. 배치 내의 트리플릿들의 수는 상이한 구현들에서 상이할 수 있다. 예컨대, 배치는 (EmbA; EmbP; EmbN)의 64 트리플릿들을 포함할 수 있다. 다른 예로서, 배치는 트리플릿 트레이닝 세트(T2)의 모든 트리플릿들(EmbA; EmbP; EmbN)을 포함할 수 있다.
[0129] 임베딩(1304)의 학습의 반복 동안, 트리플릿 손실 층(1324)은 트리플릿 손실을 컴퓨팅함으로써 트리플릿들(EmbA; EmbP; EmbN)의 배치에 대해 EmbA(1316a), EmbP(1316p) 및 EmbN(1316n)을 비교할 수 있다. 트리플릿 손실들은 예컨대,
일 수 있으며, 여기서, n은 트리플릿들의 배치 내의 트리플릿들의 수를 나타내고, EmbA(i), EmbP(i), EmbN(i)은 트리플릿들의 배치에서의 i번째 EmbA(1316a), EmbP(1316p) 및 EmbN(1316n)을 나타낸다.
[0130] 임베딩(1304)의 학습 동안, 눈 인증 트레이너(1304)는, 트리플릿들(EmbA; EmbP; EmbN)의 배치 사이의 비교, 예컨대 트리플릿들(EmbA; EmbP; EmbN)의 배치 사이의 트리플릿 손실에 기초하여 ENetworkA(1320a), ENetworkP(1320p) 및 ENetworkN(1320n)을 업데이트할 수 있다. 눈 인증 트레이너는(1304), 주기적으로 예컨대, 매 반복 마다 또는 매 1,000번째 반복들 마다 ENetworkA(1320a), ENetworkP(1320p) 및 ENetworkN(1320n)을 업데이트할 수 있다. 눈 인증 트레이너(1304)는 임베딩 공간을 최적화시키기 위해 ENetworkA(1320a), ENetworkP(1320p) 및 ENetworkN(1320n)을 업데이트할 수 있다. 임베딩 공간을 최적화시키는 것은 상이한 구현들에서 상이할 수 있다. 예컨대, 임베딩 공간을 최적화시키는 것은 수학식(2)을 최소화하는 것을 포함할 수 있다. 다른 예로서, 임베딩 공간을 최적화시키는 것은 EmbA(1316a)와 EmbP(1316p) 사이의 거리를 최소화하는 것 및 EmbA(1316a)와 EmbN(1316n) 사이의 거리를 최대화하는 것을 포함할 수 있다.
[0131] 임베딩 공간을 최적화시키는 반복들 이후, 다음들, 즉 더 높은 치수 눈 이미지 공간으로부터의 눈 이미지들을 더 낮은 치수 임베딩 공간에서의 눈 이미지들의 표현들로 맵핑하는 임베딩(1304); 또는 사용자 디바이스가, 사용자의 눈 이미지의 임베딩 공간 표현이 임베딩 공간에서의 인가된 사용자의 눈 이미지와 충분히 유사하여서, 사용자가 인가된 사용자로서 인증되어야 하는지를 결정하기 위한 임계값(1328) 중 하나 이상이 컴퓨팅될 수 있다. 임베딩(1304) 또는 임계 값(1328)은 임베딩(1304) 또는 임계 값(1328)을 컴퓨팅할 수 있거나 그의 컴퓨팅에 사용해야 하는 눈 이미지들의 특징들을 특정하지 않고 결정될 수 있다.
[0132] 임계값(1328)은 상이한 구현들에서 상이할 수 있다. 예컨대, 임계값(1328)은 임베딩(1304)을 학습하는 마지막 반복 동안 (ImgA; ImgP; ImgN) 트리플릿들로부터 결정된 동일한 사람의 눈 이미지들 사이의 최대 거리일 수 있다. 다른 예로서, 임계값(1328)은 임베딩(1304)을 학습하는 마지막 반복 동안 (ImgA; ImgP; ImgN) 트리플릿들로부터 결정된 동일한 사람의 눈 이미지들 사이의 중간 거리일 수 있다. 또 다른 예로서, 임계값(1328)은 임베딩(1304)을 학습하는 마지막 반복 동안 (ImgA; ImgP; ImgN) 트리플릿들로부터 결정된 상이한 사람들의 눈 이미지들 사이의 최대 거리보다 작을 수 있다.
[0133] 임베딩(1304)을 학습하기 위해 요구되는 반복들의 수는 상이한 구현들에서 상이할 수 있다. 예컨대, 반복들의 수는 100,000일 수 있다. 다른 예로서, 반복들의 수는 미리 결정되지 않을 수 있고, 이를테면 2%의 EER(equal error rate)을 갖는 만족스러운 특성들을 갖는 임베딩(1304)을 학습하기 위해 요구되는 반복들에 의존할 수 있다. 또 다른 예로서, 반복들의 수는 만족스러운 트리플릿 손실을 획득하기 위해 요구되는 반복들에 의존할 수 있다.
[0134] 인가되지 않은 사용자들 및 인가된 사용자들을 구별하는 임베딩(1304)의 능력은 상이한 구현들에서 상이할 수 있다. 예컨대, 임베딩(1304)의 FPR(false positive rate)은 0.01%일 수 있으며; 임베딩(1304)의 TPR(true positive rate)은 99.99%일 수 있다. 다른 예로서, 임베딩(1304)의 FNR(false negative rate)은 0.01%일 수 있으며; 임베딩(1304)의 TNR(true negative rate)은 99.99%일 수 있다. 예컨대, 임베딩(1304)의 EER(equal error rate)은 1%일 수 있다.
예시적인 웨어러블 디스플레이 시스템
[0135] 일부 실시예들에서, 사용자 디바이스는 웨어러블 디스플레이 디바이스들일 수 있거나 이에 포함될 수 있으며, 이는 보다 몰입형 VR(virtual reality), AR(augmented reality), 또는 MR(mixed reality) 경험을 유리하게 제공할 수 있고, 여기서, 디지털방식으로 재생된 이미지들 또는 이미지들의 부분들은, 그것들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 착용자에게 제시된다.
[0136] 이론에 의해 제한됨이 없이, 인간 눈이 통상적으로 깊이 지각을 제공하기 위하여 유한 수의 깊이 평면들을 해석할 수 있다고 여겨진다. 결과적으로, 지각된 깊이의 매우 믿을 만한 시뮬레이션은, 눈에, 이들 제한된 수의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다. 예컨대, 도파관들의 스택을 포함하는 디스플레이들은 사용자, 또는 뷰어의 눈들의 전면에 포지셔닝되게 착용되도록 구성될 수 있다. 도파관들의 스택은, 이미지 주입 디바이스(예컨대, 이산 디스플레이들, 또는 하나 이상의 광섬유들을 통해 이미지 정보를 파이핑(pipe)하는 멀티플렉싱된 디스플레이의 출력 단부들)로부터의 광을 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산 양들)로 뷰어의 눈으로 지향시키기 위해 복수의 도파관들을 사용함으로써 눈/뇌에 3차원 지각을 제공하는데 활용될 수 있다.
[0137] 일부 실시예들에서, 도파관들의 2개의 스택들(뷰어의 각각의 눈마다 하나씩)은 각각의 눈에 상이한 이미지들을 제공하기 위해 활용될 수 있다. 일 예로서, 증강 현실 장면은 AR 기술의 착용자가 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼을 피처링(featuring)하는 실세계 공원-형 세팅을 보도록 이루어질 수 있다. 이들 아이템들에 더하여, AR 기술의 착용자는 또한, 그가 실세계 플랫폼 상에 서 있는 로봇 동상, 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화-형 아바타 캐릭터를 "보는 것"을 지각할 수 있더라도, 로봇 동상 및 호박벌은 실세계에 존재하지 않는다. 도파관들의 스택(들)은 입력 이미지에 대응하는 광 필드를 생성하는 데 사용될 수 있고, 일부 구현들에서 웨어러블 디스플레이는 웨어러블 광 필드 디스플레이를 포함한다. 광 필드 이미지들을 제공하기 위한 웨어러블 디스플레이 디바이스 및 도파관 스택들의 예들은 미국 특허 공보 제2015/0016777호에서 설명되며, 그리하여, 이 특허 공보는 그것이 포함하는 전부에 대해 그 전체가 인용에 의해 본원에 포함된다.
[0138] 도 14는 디스플레이 시스템 착용자 또는 뷰어(1404)에 VR, AR 또는 MR 경험을 제시하는 데 사용될 수 있는 웨어러블 디스플레이 시스템(1400)의 예를 예시한다. 웨어러블 디스플레이 시스템(1400)은 본원에서 설명된 애플리케이션들 또는 실시예들 중 임의의 것(예컨대, 눈 이미지 세그먼테이션, 눈 이미지 품질 추정, 동공 윤곽 결정 또는 홍채 윤곽 결정)을 수행하도록 프로그래밍될 수 있다. 디스플레이 시스템(1400)은 디스플레이(1408), 및 그 디스플레이(1408)의 기능을 지원하기 위한 다양한 기계 및 전자 모듈들 및 시스템들을 포함한다. 디스플레이(1408)는 디스플레이 시스템 착용자 또는 뷰어(1404)에 의해 착용 가능하고 그리고 착용자(1404)의 눈들의 전면에 디스플레이(1408)를 포지셔닝하도록 구성된 프레임(1412)에 커플링될 수 있다. 디스플레이(1408)는 광 필드 디스플레이일 수 있다. 일부 실시예들에서, 스피커(1416)는 프레임(1412)에 커플링되고 사용자의 외이도에 인접하게 포지셔닝되고, 일부 실시예들에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/성형 가능(shapeable) 사운드 제어를 제공한다. 디스플레이(1408)는 이를테면, 유선 리드 또는 무선 연결성에 의해, 다양한 구성들로 장착될 수 있는, 이를테면, 프레임(1412)에 고정되게 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정되게 부착되거나, 헤드폰들에 내장되거나, 그렇지 않으면 사용자(1404)에게 제거 가능하게 부착될 수 있는 (예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(1424)에 동작 가능하게 커플링(1420)된다.
[0139] 로컬 프로세싱 및 데이터 모듈(1424)은 하드웨어 프로세서는 물론, 비일시적인 디지털 메모리 이를테면, 비-휘발성 메모리(예컨대, 플래시 메모리)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 데이터는 a) 센서들(예컨대 프레임(1412)에 동작 가능하게 커플링되거나 그렇지 않으면 착용자(1404)에게 부착될 수 있음), 이를테면, 이미지 캡처 디바이스들(이를테면, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스(compass)들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyro)들로부터 캡처되고; 및/또는 b) 원격 프로세싱 모듈(1428) 및/또는 원격 데이터 리포지토리(repository)(1432)를 사용하여 취득 및/또는 프로세싱되는 (가능하게는, 이러한 프로세싱 또는 리트리벌(retrieval) 후 디스플레이(1408)에 전달하기 위한) 데이터를 포함할 수 있다. 로컬 프로세싱 및 데이터 모듈(1424)은 통신 링크들(1436, 1440)에 의해, 이를테면, 유선 또는 무선 통신 링크들을 통해 원격 프로세싱 모듈(1428) 및 원격 데이터 리포지토리(1432)에 동작 가능하게 커플링될 수 있어서, 이들 원격 모듈들(1428, 1432)은 서로 동작 가능하게 커플링되고 자원들로서 로컬 프로세싱 및 데이터 모듈(1424)에 대해 이용 가능하게 된다. 이미지 캡처 디바이스(들)는 눈 이미지 세그먼테이션, 눈 이미지 품질 추정, 동공 윤곽 결정 또는 홍채 윤곽 결정 절차들에서 사용되는 눈 이미지들을 캡처하는 데 사용될 수 있다.
[0140] 일부 실시예들에서, 원격 프로세싱 모듈(1428)은 데이터 및/또는 이미지 정보, 이를테면, 이미지 캡처 디바이스에 의해 캡처된 비디오 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 비디오 데이터는 로컬 프로세싱 및 데이터 모듈(1424) 및/또는 원격 데이터 리포지토리(1432)에 로컬로 저장될 수 있다. 일부 실시예들에서, 원격 데이터 리포지토리(1432)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션들은 로컬 프로세싱 및 데이터 모듈(1424)에서 수행되어, 원격 모듈로부터 완전히 자율적인 사용을 허용한다.
[0141] 일부 구현들에서, 로컬 프로세싱 및 데이터 모듈(1424) 및/또는 원격 프로세싱 모듈(1428)은 본원에서 개시된 눈 이미지 세그먼테이션, 눈 이미지 품질 추정, 동공 윤곽 결정, 또는 홍채 윤곽 결정의 실시예들을 수행하도록 프로그래밍된다. 예컨대, 로컬 프로세싱 및 데이터 모듈(1424) 및/또는 원격 프로세싱 모듈(1428)은 도 5, 도 6, 도 7 또는 도 9를 참조하여 설명된 프로세스들(500, 600, 700 또는 900)의 실시예들을 수행하도록 프로그래밍될 수 있다. 로컬 프로세싱 및 데이터 모듈(1424) 및/또는 원격 프로세싱 모듈(1428)은, 예컨대, 착용자(1404)의 아이덴티티를 식별 또는 인증하기 위해, 바이오메트릭 추출 시에 본원에서 개시된 눈 이미지 세그먼테이션, 눈 이미지 품질 추정, 동공 윤곽 결정 또는 홍채 윤곽 결정 기술들을 사용하도록 프로그래밍될 수 있다. 이미지 캡처 디바이스는 특정 애플리케이션에 대한 비디오(예컨대, 눈 추적 애플리케이션의 경우 착용자의 눈의 비디오 또는 제스처 식별 애플리케이션의 경우 착용자의 손 또는 손가락의 비디오)를 캡처할 수 있다. 비디오는 CNN(100)을 이용하여 프로세싱 모듈들(1424, 1428) 중 하나 또는 둘 모두에 의해 분석될 수 있다. 일부 경우들에서, 눈 이미지 세그먼테이션, 눈 이미지 품질 추정, 동공 윤곽 결정, 또는 홍채 윤곽 결정 중 적어도 일부를 (예컨대, "클라우드"의) 원격 프로세싱 모듈에 분담(off-loading)하는 것은 효율성 또는 컴퓨테이션들의 속도를 개선할 수 있다. CNN(100)의 파라미터들(예컨대, 가중치들, 바이어스 기간(bias term)들, 풀링 층들에 대한 서브샘플링 팩터들, 상이한 층들에서의 커널들의 수 및 크기, 특징 맵들의 수 등)은 데이터 모듈들(1424 및/또는 1432)에 저장될 수 있다.
[0142] 비디오 분석의 결과들(예컨대, CNN(100)의 출력)은 부가적인 동작들 또는 프로세싱을 위해 프로세싱 모듈들(1424, 1428) 중 하나 또는 둘 모두에 의해 사용될 수 있다. 예컨대, 다양한 CNN 애플리케이션들에서, 바이오메트릭 식별, 눈-추적, 제스처들, 객체들, 포즈들의 인식 또는 분류 등은 웨어러블 디스플레이 시스템(1400)에 의해 사용될 수 있다. 예컨대, 착용자의 눈(들)의 비디오는 눈 이미지 세그먼테이션 또는 이미지 품질 추정에 사용될 수 있으며, 이는 결국, 디스플레이(1408)를 통한 착용자(1404)의 홍채 윤곽 결정 또는 동공 윤곽 결정을 위해 프로세싱 모듈들(1424, 1428)에 의해 사용될 수 있다. 웨어러블 디스플레이 시스템(1400)의 프로세싱 모듈들(1424, 1428)은 본원에서 설명된 비디오 또는 이미지 프로세싱 애플리케이션들 중 임의의 것을 수행하기 위해 눈 이미지 세그먼테이션, 눈 이미지 품질 추정, 동공 윤곽 결정, 또는 홍채 윤곽 결정의 하나 이상의 실시예들로 프로그래밍될 수 있다.
[0143] CNN(100)의 실시예들은 눈 이미지들을 세그먼팅하고 다른 바이오메트릭 애플리케이션들에서 이미지 품질 추정을 제공하는 데 사용될 수 있다. 예컨대, (예컨대, 공항들, 기차역들 등과 같은 교통수단 정류소들이나 보안 시설들에 사용되는 것과 같이) 사용자(이를테면, 예컨대, 보안 시설의 노동자들 또는 승객들)의 눈들을 스캔 및 분석하는 데 사용되는 바이오메트릭 보안 시스템의 눈 스캐너는 CNN(100)의 실시예들을 사용하여 눈 이미지들을 프로세싱하도록 프로그래밍된 눈-이미징 카메라 및 하드웨어를 포함할 수 있다. 이를테면, 바이오메트릭 식별(예컨대, 홍채 코드들을 생성함), 시선 추적(eye gaze tracking) 등을 위해 CNN(100)의 다른 애플리케이션들이 가능하다.
부가적인 양상들
[0144] 제1 양상에서, 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 방법이 개시된다. 이 방법은 하드웨어 프로세서의 제어 하에 있으며, 눈 이미지를 수신하는 단계; 눈 이미지의 세그먼테이션을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계; 및 눈 이미지의 품질 추정을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계를 포함하고, 콘볼루션 뉴럴 네트워크는 세그먼테이션 타워 및 품질 추정 타워를 포함하고, 세그먼테이션 타워는 세그먼테이션 층들 및 공유 층들을 포함하고, 품질 추정 타워는 품질 추정 층들 및 공유 층들을 포함하고, 공유 층들의 제1 출력 층은 세그먼테이션 타워의 제1 입력 층 및 세그먼테이션 타워의 제2 입력 층에 연결되고, 공유 층들의 제1 출력 층은 품질 추정 층의 입력 층에 연결되고, 눈 이미지를 수신하는 단계는 공유 층들의 입력 층에 의해 눈 이미지를 수신하는 단계를 포함한다.
[0145] 제2 양상에서, 제1 양상의 방법에 있어서, 공유 층들의 제2 출력 층은 세그먼테이션 타워의 제3 입력 층에 연결된다.
[0146] 제3 양상에서, 제1 양상 또는 제2 양상의 방법에 있어서, 눈 이미지의 세그먼테이션을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계는 세그먼테이션 타워를 사용하여 눈 이미지의 세그먼테이션을 생성하는 단계를 포함하고, 세그먼테이션 타워의 출력 층의 출력은 눈 이미지의 세그먼테이션이다.
[0147] 제4 양상에서, 제3 양상의 방법에 있어서, 눈 이미지의 세그먼테이션은 눈 이미지의 배경, 공막, 홍채, 또는 동공을 포함한다.
[0148] 제5 양상에서, 제1 양상 내지 제4 양상 중 어느 한 양상의 방법에 있어서, 눈 이미지의 품질 추정을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계는 품질 추정 타워를 사용하여 눈 이미지의 품질 추정을 생성하는 단계를 포함하고, 품질 추정 타워의 출력 층의 출력은 눈 이미지의 품질 추정을 포함한다.
[0149] 제6 양상에서, 제1 양상 내지 제5 양상 중 어느 한 양상의 방법에 있어서, 눈 이미지의 품질 추정은 양호한 품질 추정 또는 불량 품질 추정이다.
[0150] 제7 양상에서, 제1 양상 내지 제6 양상 중 어느 한 양상의 방법에 있어서, 공유 층들, 세그먼테이션 층들 또는 품질 추정 층들은 콘볼루션 층, 밝기 정규화 층, 배치 정규화 층, 정류된 선형(rectified linear) 층, 업샘플링 층, 연접 층, 풀링 층, 완전 연결된 층, 선형의 완전 연결된 층, 소프트사인(softsign) 층, 또는 이들의 임의의 조합을 포함한다.
[0151] 제8 양상에서, 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 방법이 개시된다. 이 방법은 하드웨어 프로세서의 제어 하에 있으며, 눈 이미지를 수신하는 단계; 눈 이미지의 세그먼테이션을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계; 및 눈 이미지의 품질 추정을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계를 포함한다.
[0152] 제9 양상에서, 제8 양상의 방법에 있어서, 콘볼루션 뉴럴 네트워크는 세그먼테이션 타워 및 품질 추정 타워를 포함하고, 세그먼테이션 타워는 세그먼테이션 층들 및 공유 층들을 포함하고, 품질 추정 타워는 품질 추정 층들 및 공유 층들을 포함하고, 눈 이미지를 수신하는 단계는 공유 층들의 입력 층에 의해 눈 이미지를 수신하는 단계를 포함한다.
[0153] 제10 양상에서, 제9 양상의 방법에 있어서, 공유 층들의 제1 출력 층은 세그먼테이션 타워의 제1 입력 층에 연결된다.
[0154] 제11 양상에서, 제10 양상의 방법에 있어서, 공유 층들의 제1 출력 층은 세그먼테이션 타워의 제2 입력 층에 연결된다.
[0155] 제12 양상에서, 제10 양상 또는 제11 양상의 방법에 있어서, 공유 층들의 제1 출력 층은 품질 추정 타워의 입력 층에 연결된다.
[0156] 제13 양상에서, 제9 양상 내지 제12 양상 중 어느 한 양상의 방법에 있어서, 눈 이미지의 세그먼테이션을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계는 세그먼테이션 타워를 사용하여 눈 이미지의 세그먼테이션을 생성하는 단계를 포함하고, 세그먼테이션 타워의 출력 층의 출력은 눈 이미지의 세그먼테이션이다.
[0157] 제14 양상에서, 제9 양상 내지 제13 양상 중 어느 한 양상의 방법에 있어서, 눈 이미지의 세그먼테이션은 눈 이미지의 배경, 공막, 홍채, 또는 동공을 포함한다.
[0158] 제15 양상에서, 제9 양상 내지 제14 양상 중 어느 한 양상의 방법에 있어서, 눈 이미지의 품질 추정을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계는 품질 추정 타워를 사용하여 눈 이미지의 품질 추정을 생성하는 단계를 포함하고, 품질 추정 타워의 출력 층의 출력은 눈 이미지의 품질 추정이다.
[0159] 제16 양상에서, 제9 양상 내지 제15 양상 중 어느 한 양상의 방법에 있어서, 공유 층들, 세그먼테이션 층들 또는 품질 추정 층들은 콘볼루션 층, 배치 정규화 층, 정류된 선형 층, 업샘플링 층, 연접 층, 풀링 층, 완전 연결된 층, 선형의 완전 연결된 층, 또는 이들의 임의의 조합을 포함한다.
[0160] 제17 양상에서, 제16 양상의 방법에 있어서, 배치 정규화 층은 배치 로컬 콘트라스트 정규화 층 또는 배치 로컬 응답 정규화 층이다.
[0161] 제18 양상에서, 제9 양상 내지 제17 양상 중 어느 한 양상의 방법에 있어서, 공유 층들, 세그먼테이션 층들 또는 품질 추정 층들은 밝기 정규화 층, 소프트사인 층, 또는 이들의 임의의 조합을 포함한다.
[0162] 제19 양상에서, 제8 양상 내지 제18 양상 중 어느 한 양상의 방법에 있어서, 눈 이미지는 인증을 위해 사용자 디바이스의 이미지 센서에 의해 캡처된다.
[0163] 제20 양상에서, 제8 양상 내지 제19 양상 중 어느 한 양상의 방법에 있어서, 눈 이미지의 세그먼테이션은 대부분 눈 이미지의 홍채 부분으로 구성된다.
[0164] 제21 양상에서, 제8 양상 내지 제19 양상 중 어느 한 양상의 방법에 있어서, 눈 이미지의 세그먼테이션은 대부분 눈 이미지의 망막 부분으로 구성된다.
[0165] 제22 양상에서, 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위해 콘볼루션 뉴럴 네트워크를 트레이닝하기 위한 방법이 개시된다. 이 방법은 하드웨어 프로세서의 제어 하에 있으며, 눈 이미지들의 트레이닝 세트를 획득하는 단계; 눈 이미지들의 트레이닝 세트를 콘볼루션 뉴럴 네트워크에 제공하는 단계; 및 눈 이미지들의 트레이닝 세트로 콘볼루션 뉴럴 네트워크를 트레이닝하는 단계를 포함하고, 콘볼루션 뉴럴 네트워크는 세그먼테이션 타워 및 품질 추정 타워를 포함하고, 세그먼테이션 타워는 세그먼테이션 층들 및 공유 층들을 포함하고, 품질 추정 타워는 품질 추정 층들 및 공유 층들을 포함하고, 공유 층들의 출력 층은 세그먼테이션 타워의 제1 입력 층 및 세그먼테이션 타워의 제2 입력 층에 연결되고, 공유 층들의 출력 층은 품질 추정 층의 입력 층에 연결된다.
[0166] 제23 양상에서, 제22 양상의 방법에 있어서, 눈 이미지들의 트레이닝 세트로 콘볼루션 뉴럴 네트워크를 트레이닝하는 단계는, 눈 이미지의 세그먼테이션을 생성하기 위해 세그먼테이션 타워를 사용하여 트레이닝 세트의 눈 이미지를 프로세싱하는 단계; 눈 이미지의 품질 추정을 생성하기 위해 품질 추정 타워를 이용하여 트레이닝 세트의 눈 이미지를 프로세싱하는 단계; 눈 이미지의 세그먼테이션과 눈 이미지의 기준 세그먼테이션 사이의 제1 차이를 컴퓨팅하는 단계; 눈 이미지의 품질 추정과 눈 이미지의 기준 품질 추정 사이의 제2 차이를 컴퓨팅하는 단계; 제1 차이 및 제2 차이를 이용하여 콘볼루션 뉴럴 네트워크의 파라미터들을 업데이트하는 단계를 포함한다.
[0167] 제24 양상에서, 제23 양상의 방법에 있어서, 제1 차이 및 제2 차이를 이용하여 콘볼루션 뉴럴 네트워크의 파라미터들을 업데이트하는 단계는 콘볼루션 뉴럴 네트워크를 트레이닝할 때 제1 트레이닝 사이클 동안 콘볼루션 뉴럴 네트워크의 파라미터들의 제1 퍼센티지를 0의 값들로 세팅하는 단계를 포함한다.
[0168] 제25 양상에서, 제24 양상의 방법에 있어서, 콘볼루션 뉴럴 네트워크를 트레이닝할 때 제1 트레이닝 사이클 동안 콘볼루션 뉴럴 네트워크의 파라미터들의 제1 퍼센티지를 0의 값들로 세팅하는 단계는 콘볼루션 뉴럴 네트워크를 트레이닝할 때 제1 트레이닝 사이클 동안 콘볼루션 뉴럴 네트워크의 파라미터들의 제1 퍼센티지를 0의 값들로 랜덤으로 세팅하는 단계를 포함한다.
[0169] 제26 양상에서, 제24 양상 또는 제25 양상의 방법에 있어서, 제1 차이 및 제2 차이를 이용하여 콘볼루션 뉴럴 네트워크의 파라미터들을 업데이트하는 단계는 콘볼루션 뉴럴 네트워크를 트레이닝할 때 제2 트레이닝 사이클 동안 콘볼루션 뉴럴 네트워크의 파라미터들의 제2 퍼센티지를 0의 값들로 세팅하는 단계를 더 포함한다.
[0170] 제27 양상에서, 제26 양상의 방법에 있어서, 콘볼루션 뉴럴 네트워크를 트레이닝할 때 제2 트레이닝 사이클 동안 콘볼루션 뉴럴 네트워크의 파라미터들의 제2 퍼센티지를 0의 값들로 세팅하는 단계는 콘볼루션 뉴럴 네트워크를 트레이닝할 때 제2 트레이닝 사이클 동안 콘볼루션 뉴럴 네트워크의 파라미터들의 제2 퍼센티지를 0의 값들로 랜덤으로 세팅하는 단계는 포함한다.
[0171] 제28 양상에서, 제27 양상의 방법에 있어서, 제1 퍼센티지 또는 제2 퍼센티지는 50% 내지 30%이다.
[0172] 제29 양상에서, 제23 양상 내지 제28 양상 중 어느 한 양상의 방법에 있어서, 눈 이미지의 세그먼테이션은 눈 이미지의 배경, 공막, 홍채, 또는 동공을 포함하고, 눈 이미지의 기준 세그먼테이션은 눈 이미지의 기준 배경, 기준 공막, 기준 홍채, 또는 기준 동공을 포함한다.
[0173] 제30 양상에서, 제22 양상 내지 제28 양상 중 어느 한 양상의 방법에 있어서, 공유 층들, 세그먼테이션 층들 또는 품질 추정 층들은 콘볼루션 층, 밝기 정규화 층, 배치 정규화 층, 정류된 선형 층, 업샘플링 층, 연접 층, 풀링 층, 완전 연결된 층, 선형의 완전 연결된 층, 소프트사인(softsign) 층, 또는 이들의 임의의 조합을 포함한다.
[0174] 제31 양상에서, 컴퓨터 시스템이 개시된다. 컴퓨터 시스템은, 하드웨어 프로세서; 및 하드웨어 프로세서에 의해 실행될 때 프로세서로 하여금 제1 양상 내지 제30 양상 중 어느 한 양상의 방법을 수행하게 하는 명령들이 저장되어 있는 비-일시적인 메모리를 포함한다.
[0175] 제32 양상에서, 제31 양상의 컴퓨터 시스템에 있어서, 컴퓨터 시스템은 모바일 디바이스를 포함한다.
[0176] 제33 양상에서, 제32 양상의 컴퓨터 시스템에 있어서, 모바일 디바이스는 웨어러블 디스플레이 시스템을 포함한다.
[0177] 제34 양상에서, 의미론적으로 세그먼팅된 눈 이미지에서 눈 윤곽들을 결정하기 위한 방법이 개시된다. 이 방법은 하드웨어 프로세서의 제어 하에 있으며, 복수의 픽셀들을 포함하는 눈 이미지의 의미론적으로 세그먼팅된 눈 이미지를 수신하는 단계 ― 의미론적으로 세그먼팅된 눈 이미지의 픽셀은 컬러 값을 갖고, 의미론적으로 세그먼팅된 눈 이미지의 픽셀의 컬러 값은 제1 컬러 값, 제2 컬러 값, 제3 컬러 값 및 제4 컬러 값이고, 제1 컬러 값은 눈 이미지의 배경에 대응하고, 제2 컬러 값은 눈 이미지 내의 눈의 공막에 대응하고, 제3 컬러 값은 눈 이미지 내의 눈의 홍채에 대응하고, 제4 컬러 값은 눈 이미지 내의 눈의 동공에 대응함 ― ; 의미론적으로 세그먼팅된 눈 이미지를 이용하여 동공 윤곽을 결정하는 단계; 의미론적으로 세그먼팅된 눈 이미지를 이용하여 홍채 윤곽을 결정하는 단계; 및 의미론적으로 세그먼팅된 눈 이미지에서 무관한 영역에 대한 마스크를 결정하는 단계를 포함한다.
[0178] 제35 양상에서, 제34 양상의 방법에 있어서, 제1 컬러 값은 제2 컬러 값보다 크고, 제2컬러 값은 제3 컬러 값보다 크고, 제3 컬러 값은 제4 컬러 값보다 크다.
[0179] 제36 양상에서, 제34 양상 또는 제35 양상의 방법에 있어서, 의미론적으로 세그먼팅된 눈 이미지를 이용하여 동공 윤곽을 결정하는 단계는, 복수의 픽셀들을 포함하는 제1 이진 이미지를 생성하는 단계 ― 제1 이진 이미지의 제1 이진 이미지 픽셀의 컬러 값은, 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제4 컬러 값 이상인 값을 갖는 경우 제4 컬러 값이고, 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제4 컬러 값 이상이 아닌 값을 갖는 경우 제3 컬러 값임 ― ; 제1 이진 이미지에서 윤곽들을 결정하는 단계; 동공 윤곽 보더로서 제1 이진 이미지 내의 결정된 윤곽들 중 최장 윤곽을 선택하는 단계; 동공 윤곽 보더를 에워싸는 동공 윤곽 지점 바운딩 박스를 결정하는 단계; 동공 윤곽 지점 바운딩 박스의 대각선으로서 동공 지점 영역 크기를 컴퓨팅하는 단계; 복수의 픽셀들을 포함하는 제2 이진 이미지를 생성하는 단계 ― 제2 이진 이미지의 복수의 픽셀들의 제2 이진 이미지 픽셀의 컬러 값은, 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제3 컬러 값 이상인 값을 갖는 경우 제3 컬러 값이고, 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제3 컬러 값 이상이 아닌 값을 갖는 경우 제2 컬러 값임 ― ; 동공 윤곽 보더의 동공 윤곽 보더 픽셀에 대해: 제2 컬러 값의 컬러 값을 갖고 동공 윤곽 보더 픽셀에 가장 근접한, 제2 이진 이미지의 가장 근접한 픽셀을 결정하는 단계; 동공 윤곽 보더 픽셀과 제2 이진 이미지의 가장 근접한 픽셀 사이의 거리를 결정하는 단계; 및 동공 윤곽 보더 픽셀과 제2 이진 이미지의 가장 근접한 픽셀 사이의 거리가 미리 결정된 동공 윤곽 임계치보다 작은 경우, 동공 윤곽 보더로부터 동공 윤곽 보더 픽셀을 제거하는 단계; 및 동공 윤곽 보더의 잔여 픽셀들로부터 동공 윤곽을 타원으로서 결정하는 단계를 포함한다.
[0180] 제37 양상에서, 제34 양상 내지 제36 양상 중 어느 한 양상의 방법에 있어서, 의미론적으로 세그먼팅된 눈 이미지를 이용하여 홍채 윤곽을 결정하는 단계는, 복수의 픽셀들을 포함하는 제3 이진 이미지를 생성하는 단계 ― 제3 이진 이미지의 복수의 픽셀들의 제3 이진 이미지 픽셀의 컬러 값은, 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제3 컬러 값 이상인 값을 갖는 경우 제3 컬러 값이고, 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제3 컬러 값 이상이 아닌 값을 갖는 경우 제2 컬러 값임 ― ; 제3 이진 이미지에서 윤곽들을 결정하는 단계; 홍채 윤곽 보더로서 제3 이진 이미지 내의 결정된 윤곽들 중 최장 윤곽을 선택하는 단계; 홍채 윤곽 보더를 에워싸는 홍채 윤곽 지점 바운딩 박스를 결정하는 단계; 홍채 윤곽 지점 바운딩 박스의 대각선으로서 홍채 지점 영역 크기를 컴퓨팅하는 단계; 복수의 픽셀들을 포함하는 제4 이진 이미지를 생성하는 단계 ― 제4 이진 이미지의 복수의 픽셀들의 제4 이진 이미지 픽셀의 컬러 값은, 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제2 컬러 값 이상인 값을 갖는 경우 제2 컬러 값이고, 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제2 컬러 값 이상이 아닌 값을 갖는 경우 제1 컬러 값임 ― ; 윤곽 보더의 홍채 윤곽 보더 픽셀에 대해: 제1 컬러 값의 컬러 값을 갖고 홍채 윤곽 보더 픽셀에 가장 근접한, 제4 이진 이미지의 가장 근접한 픽셀을 결정하는 단계; 홍채 윤곽 보더 픽셀과 제4 이진 이미지의 가장 근접한 픽셀 사이의 거리를 결정하는 단계; 및 홍채 윤곽 보더 픽셀과 제4 이진 이미지의 가장 근접한 픽셀 사이의 거리가 미리 결정된 홍채 윤곽 임계치보다 작은 경우, 홍채 윤곽 보더로부터 홍채 윤곽 보더 픽셀을 제거하는 단계; 및 홍채 윤곽 보더의 잔여 픽셀들로부터 타원을 결정함으로써 홍채 윤곽을 결정하는 단계를 포함한다.
[0181] 제38 양상에서, 제34 양상 내지 제37 양상 중 어느 한 양상의 방법에 있어서, 눈 이미지에서 무관한 영역에 대한 마스크를 결정하는 단계는, 복수의 픽셀들을 포함하는 이진 마스크 이미지를 생성하는 단계 ― 이진 마스크 이미지의 이진 마스크 이미지 픽셀은 컬러 값을 가짐 ― ; 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제3 컬러 값 이상의 값을 갖는 경우, 이진 마스크 이미지 픽셀의 컬러 값을 제3 컬러 값으로 세팅하는 단계; 및 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제3 컬러 값 이상이 아닌 값을 갖는 경우, 이진 마스크 이미지 픽셀의 컬러 값을 제2 컬러 값으로 세팅하는 단계를 포함한다.
[0182] 제39 양상에서, 제36 양상 내지 제38 양상 중 어느 한 양상의 방법에 있어서, 미리 결정된 동공 윤곽 임계치는 동공 지점 영역 크기로 곱해지는 프랙션이고, 프랙션은 0.02 내지 0.20의 범위에 있다.
[0183] 제40 양상에서, 제37 양상 내지 제39 양상 중 어느 한 양상의 방법에 있어서, 미리 결정된 홍채 윤곽 임계치는 홍채 지점 영역 크기로 곱해지는 프랙션이고, 프랙션은 0.02 내지 0.20의 범위에 있다.
[0184] 제41 양상에서, 제34 양상 내지 제40 양상 중 어느 한 양상의 방법은, 의미론적으로 세그먼팅된 눈 이미지에서 동공 윤곽, 홍채 윤곽, 및 무관한 영역에 대한 마스크를 사용하여 눈 이미지로부터 눈 이미지의 눈의 홍채의 극 이미지를 생성하는 단계를 더 포함한다.
[0185] 제42 양상에서, 제34 양상 내지 제41 양상 중 어느 한 양상의 방법에 있어서, 복수의 픽셀들을 포함하는 눈 이미지의 의미론적으로 세그먼팅된 눈 이미지를 수신하는 단계는, 눈 이미지를 수신하는 단계; 의미론적으로 세그먼팅된 눈 이미지를 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계; 및 눈 이미지의 품질 추정을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계를 포함하고, 콘볼루션 뉴럴 네트워크는 세그먼테이션 타워 및 품질 추정 타워를 포함하고, 세그먼테이션 타워는 세그먼테이션 층들 및 공유 층들을 포함하고, 품질 추정 타워는 품질 추정 층들 및 공유 층들을 포함하고, 공유 층들의 제1 출력 층은 세그먼테이션 타워의 제1 입력 층 및 세그먼테이션 타워의 제2 입력 층에 연결되고, 공유 층들의 제1 출력 층은 품질 추정 층의 입력 층에 연결되고, 눈 이미지를 수신하는 단계는 공유 층들의 입력 층에 의해 눈 이미지를 수신하는 단계를 포함한다.
[0186] 제43 양상에서, 의미론적으로 세그먼팅된 눈 이미지에서 눈 윤곽들을 결정하기 위한 방법이 개시된다. 이 방법은 하드웨어 프로세서의 제어 하에 있으며, 눈 이미지의 의미론적으로 세그먼팅된 눈 이미지를 수신하는 단계; 의미론적으로 세그먼팅된 눈 이미지를 이용하여 눈 이미지에서 눈의 동공 윤곽을 결정하는 단계; 의미론적으로 세그먼팅된 눈 이미지를 이용하여 눈 이미지에서 눈의 홍채 윤곽을 결정하는 단계; 및 눈 이미지에서 무관한 영역에 대한 마스크를 결정하는 단계를 포함한다.
[0187] 제44 양상에서, 제43 양상의 방법에 있어서, 의미론적으로 세그먼팅된 눈 이미지의 치수 및 마스크 이미지의 치수는 동일하다.
[0188] 제45 양상에서, 제43 양상 또는 제44 양상의 방법에 있어서, 의미론적으로 세그먼팅된 눈 이미지는 복수의 픽셀들을 포함하고, 의미론적으로 세그먼팅된 눈 이미지의 픽셀의 컬러 값은 눈 이미지의 배경, 눈 이미지 내의 눈의 공막, 눈 이미지 내의 눈의 홍채, 또는 눈 이미지 내의 눈의 동공에 대응한다.
[0189] 제46 양상에서, 제45 양상의 방법에 있어서, 의미론적으로 세그먼팅된 눈 이미지의 픽셀의 컬러 값은 제1 컬러 값, 제2 컬러 값, 제3 컬러 값 또는 제4 컬러 값이고, 제1 컬러 값은 눈 이미지의 배경에 대응하고, 제2 컬러 값은 눈 이미지 내의 눈의 공막에 대응하고, 제3 컬러 값은 눈 이미지 내의 눈의 홍채에 대응하고, 제4 컬러 값은 눈 이미지 내의 눈의 동공에 대응한다.
[0190] 제47 양상에서, 제46 양상의 방법에 있어서, 제1 컬러 값은 제2 컬러 값보다 크고, 제2컬러 값은 제3 컬러 값보다 크고, 제3 컬러 값은 제4 컬러 값보다 크다.
[0191] 제48 양상에서, 제46 양상 또는 제47 양상의 방법에 있어서, 의미론적으로 세그먼팅된 눈 이미지를 이용하여 동공 윤곽을 결정하는 단계는, 의미론적으로 세그먼팅된 눈 이미지로부터 제1 이진 이미지를 생성하는 단계; 제1 이진 이미지에서 최장 동공 윤곽을 결정하는 단계; 세그먼팅된 눈 이미지로부터 제2 이진 이미지를 생성하는 단계; 제2 이진 이미지를 이용하여, 동공 윤곽을 결정하는데 부적절한, 최장 동공 윤곽의 최장 동공 윤곽 픽셀을 제거하는 단계; 및 제1 이진 이미지에서 최장 동공 윤곽의 잔여 픽셀들로부터 동공 윤곽을 타원으로서 결정하는 단계를 포함한다.
[0192] 제49 양상에서, 제48 양상의 방법에 있어서, 제1 이진 이미지의 픽셀은, 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제4 컬러 값 이상인 값을 갖는 경우 제1 이진 이미지 컬러 값을 갖고, 그렇지 않은 경우 제2 이진 이미지 컬러 값을 갖고, 제1 이진 이미지 컬러 값은 제2 이진 이미지 컬러 값보다 크고, 제2 이진 이미지의 픽셀은, 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제3 컬러 값 이상인 값을 갖는 경우 제1 이진 이미지 컬러 값을 갖고, 그렇지 않은 경우 제2 이진 이미지 컬러 값을 갖는다.
[0193] 제50 양상에서, 제48 양상 또는 제49 양상의 방법에 있어서, 제2 이진 이미지를 이용하여, 동공 윤곽을 결정하는데 부적절한, 최장 동공 윤곽의 최장 동공 윤곽 픽셀을 제거하는 단계는, 최장 동공 윤곽 픽셀과, 제2 이진 이미지 컬러 값을 가지며 최장 동공 윤곽 픽셀에 가장 근접한, 제2 이진 이미지의 픽셀 사이의 거리를 결정하는 단계; 및 거리가 미리 결정된 동공 윤곽 임계치보다 작은 경우, 최장 동공 윤곽으로부터 최장 동공 윤곽 픽셀을 제거하는 단계를 포함한다.
[0194] 제51 양상에서, 제50 양상의 방법에 있어서, 최장 동공 윤곽 픽셀과, 제2 이진 이미지 컬러 값을 가지며 최장 동공 윤곽 픽셀에 가장 근접한, 제2 이진 이미지의 픽셀 사이의 거리를 결정하는 단계는, 최장 동공 윤곽 픽셀에 대응하는 제2 이진 이미지의 픽셀과, 제2 이진 이미지 컬러 값을 가지며 최장 동공 윤곽 픽셀에 대응하는 제2 이진 이미지의 픽셀에 가장 근접한, 제2 이진 이미지의 픽셀 사이의 거리를 결정하는 단계를 포함한다.
[0195] 제52 양상에서, 제48 양상 또는 제49 양상의 방법은, 제1 이진 이미지에서 최장 동공 윤곽을 둘러싸는 최소 바운딩 박스를 결정하는 단계를 더 포함한다.
[0196] 제53 양상에서, 제52 양상의 방법은, 제1 이진 이미지에서 최장 동공 윤곽을 둘러싸는 최소 바운딩 박스의 크기를 결정하는 단계를 더 포함한다.
[0197] 제54 양상에서, 제53 양상의 방법에 있어서, 제1 이진 이미지에서 최장 동공 윤곽을 둘러싸는 최소 바운딩 박스의 크기는 제1 이진 이미지에서 최장 동공 윤곽을 둘러싸는 최소 바운딩 박스의 대각선이다.
[0198] 제55 양상에서, 제53 양상 또는 제54 양상의 방법에 있어서, 미리 결정된 동공 윤곽 임계치는 제1 이진 이미지에서 최장 동공 윤곽을 둘러싸는 최소 바운딩 박스의 크기로 곱해지는 프랙션이고, 프랙션은 0.02 내지 0.20의 범위에 있다.
[0199] 제56 양상에서, 제48 양상 내지 제55 양상 중 어느 한 양상의 방법에 있어서, 의미론적으로 세그먼팅된 눈 이미지를 이용하여 홍채 윤곽을 결정하는 단계는, 의미론적으로 세그먼팅된 눈 이미지로부터 제3 이진 이미지를 생성하는 단계; 제1 이진 이미지에서 최장 홍채 윤곽을 결정하는 단계; 의미론적으로 세그먼팅된 눈 이미지로부터 제4 이진 이미지를 생성하는 단계; 제4 이진 이미지를 이용하여, 홍채 윤곽을 결정하는데 부적절한, 최장 홍채 윤곽의 최장 홍채 윤곽 픽셀을 제거하는 단계; 및 제1 이진 이미지에서 최장 홍채 윤곽의 잔여 픽셀들로부터 홍채 윤곽을 타원으로서 결정하는 단계를 포함한다.
[0200] 제57 양상에서, 제56 양상의 방법에 있어서, 제3 이진 이미지의 픽셀은, 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제3 컬러 값 이상인 값을 갖는 경우 제1 이진 이미지 컬러 값을 갖고, 그렇지 않은 경우 제2 이진 이미지 컬러 값을 갖고, 제4 이진 이미지의 픽셀은, 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제2 컬러 값 이상인 값을 갖는 경우 제1 이진 이미지 컬러 값을 갖고, 그렇지 않은 경우 제2 이진 이미지 컬러 값을 갖는다.
[0201] 제58 양상에서, 제56 양상 또는 제57 양상의 방법에 있어서, 제4 이진 이미지를 이용하여, 홍채 윤곽을 결정하는데 부적절한, 최장 홍채 윤곽의 최장 홍채 윤곽 픽셀을 제거하는 단계는, 최장 홍채 윤곽 픽셀과, 제2 이진 이미지 컬러 값을 가지며 최장 홍채 윤곽 픽셀에 가장 근접한, 제4 이진 이미지의 픽셀 사이의 거리를 결정하는 단계; 및 최장 홍채 윤곽 픽셀과 제4 이진 이미지의 픽셀 사이의 거리가 미리 결정된 홍채 윤곽 임계치보다 작은 경우, 최장 홍채 윤곽으로부터 최장 홍채 윤곽 픽셀을 제거하는 단계를 포함한다.
[0202] 제59 양상에서, 제58 양상의 방법에 있어서, 최장 홍채 윤곽 픽셀과, 제2 이진 이미지 컬러 값을 가지며 최장 홍채 윤곽 픽셀에 가장 근접한, 제4 이진 이미지의 픽셀 사이의 거리를 결정하는 단계는, 최장 홍채 윤곽 픽셀에 대응하는 제4 이진 이미지의 픽셀과, 제2 이진 이미지 컬러 값의 컬러 값을 가지며 최장 홍채 윤곽 픽셀에 대응하는 제4 이진 이미지의 픽셀에 가장 근접한, 제4 이진 이미지의 픽셀 사이의 거리를 결정하는 단계를 포함한다.
[0203] 제60 양상에서, 제56 양상 또는 제57 양상의 방법은, 제3 이진 이미지에서 최장 홍채 윤곽을 둘러싸는 최소 바운딩 박스를 결정하는 단계를 더 포함한다.
[0204] 제61 양상에서, 제60 양상의 방법은, 제3 이진 이미지에서 최장 홍채 윤곽을 둘러싸는 최소 바운딩 박스의 크기를 결정하는 단계를 더 포함한다.
[0205] 제62 양상에서, 제61 양상의 방법에 있어서, 제3 이진 이미지에서 최장 홍채 윤곽을 둘러싸는 최소 바운딩 박스의 크기는 제3 이진 이미지에서 최장 홍채 윤곽을 둘러싸는 최소 바운딩 박스의 대각선이다.
[0206] 제63 양상에서, 제61 양상 또는 제62 양상의 방법에 있어서, 미리 결정된 홍채 윤곽 임계치는 제1 이진 이미지에서 최장 홍채 윤곽을 둘러싸는 최소 바운딩 박스의 크기로 곱해지는 프랙션이고, 프랙션은 0.02 내지 0.20의 범위에 있다.
[0207] 제64 양상에서, 제49 양상 내지 제63 양상 중 어느 한 양상의 방법에 있어서, 눈 이미지에서 무관한 영역에 대한 마스크를 결정하는 단계는, 복수의 픽셀들을 포함하는 이진 마스크 이미지를 생성하는 단계를 포함하고, 이진 마스크 이미지의 픽셀은, 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 제3 컬러 값 이상인 값을 갖는 경우 제1 이진 이미지 컬러 값을 갖고, 그렇지 않은 경우 제2 이진 이미지 컬러 값을 갖는다.
[0208] 제65 양상에서, 제43 양상 내지 제64 양상 중 어느 한 양상의 방법은, 의미론적으로 세그먼팅된 눈 이미지에서 동공 윤곽, 홍채 윤곽, 및 무관한 영역에 대한 마스크를 사용하여 눈 이미지로부터 눈 이미지의 눈의 홍채의 극 이미지를 생성하는 단계를 더 포함한다.
[0209] 제66 양상에서, 제43 양상 내지 제65 양상 중 어느 한 양상의 방법에 있어서, 눈 이미지의 의미론적으로 세그먼팅된 눈 이미지를 수신하는 단계는, 눈 이미지를 수신하는 단계; 눈 이미지의 세그먼테이션을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계; 및 눈 이미지의 품질 추정을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계를 포함한다.
[0210] 제67 양상에서, 제43 양상 내지 제66 양상 중 어느 한 양상의 방법에 있어서, 눈 이미지의 의미론적으로 세그먼팅된 눈 이미지를 수신하는 단계는, 눈 이미지를 수신하는 단계; 의미론적으로 세그먼팅된 눈 이미지를 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계; 및 눈 이미지의 품질 추정을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하는 단계를 포함한다.
[0211] 제68 양상에서, 컴퓨터 시스템이 개시된다. 컴퓨터 시스템은, 하드웨어 프로세서; 및 하드웨어 프로세서에 의해 실행될 때 프로세서로 하여금 제34 양상 내지 제67 양상 중 어느 한 양상의 방법을 수행하게 하는 명령들이 저장되어 있는 비-일시적인 메모리를 포함한다.
[0212] 제69 양상에서, 제68 양상의 컴퓨터 시스템에 있어서, 컴퓨터 시스템은 모바일 디바이스를 포함한다.
[0213] 제70 양상에서, 제69 양상의 컴퓨터 시스템에 있어서, 모바일 디바이스는 웨어러블 디스플레이 시스템을 포함한다. 웨어러블 디스플레이 시스템은 머리-장착 증강 또는 가상 현실 디스플레이 시스템을 포함할 수 있다.
[0214] 제71 양상에서, 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 시스템으로서, 시스템은, 눈 이미지를 획득하도록 구성된 눈-이미징 카메라; 눈 이미지를 저장하도록 구성된 비-일시적인 메모리; 비-일시적인 메모리와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는, 눈 이미지를 수신하고; 눈 이미지의 세그먼테이션을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하고; 그리고 눈 이미지의 품질 추정을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하도록 프로그래밍되고, 콘볼루션 뉴럴 네트워크는 세그먼테이션 타워 및 품질 추정 타워를 포함하고, 세그먼테이션 타워는 세그먼테이션 층들 및 공유 층들을 포함하고, 품질 추정 타워는 품질 추정 층들 및 공유 층들을 포함하고, 공유 층들의 제1 출력 층은 세그먼테이션 타워의 제1 입력 층 및 세그먼테이션 타워의 제2 입력 층에 연결되고, 제1 입력 층 또는 제2 입력 층 중 적어도 하나는 연접 층을 포함하고, 공유 층들의 제1 출력 층은 품질 추정 층의 입력 층에 연결되고, 눈 이미지는 공유 층들의 입력 층에 의해 수신된다.
[0215] 제72 양상에서, 제71 양상의 시스템에 있어서, 공유 층들의 제2 출력 층은 세그먼테이션 타워의 제3 입력 층에 연결되고, 제3 입력 층은 연접 층을 포함한다.
[0216] 제73 양상에서, 제71 양상 또는 제72 양상의 시스템에 있어서, 눈 이미지의 세그먼테이션을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하기 위해, 하드웨어 프로세서는, 세그먼테이션 타워를 사용하여 눈 이미지의 세그먼테이션을 생성하도록 프로그래밍되고, 세그먼테이션 타워의 출력 층의 출력은 눈 이미지의 세그먼테이션을 포함한다.
[0217] 제74 양상에서, 제71 양상 내지 제73 양상 중 어느 한 양상의 시스템에 있어서, 눈 이미지의 세그먼테이션은 눈 이미지의 배경, 공막, 홍채, 또는 동공을 포함한다.
[0218] 제75 양상에서, 제74 양상의 시스템에 있어서, 하드웨어 프로세서는 추가로, 눈 이미지의 세그먼테이션을 이용하여 눈 이미지에서 눈의 동공 윤곽을 결정하고; 눈 이미지의 세그먼테이션을 이용하여 눈 이미지에서 눈의 홍채 윤곽을 결정하고; 그리고 눈 이미지에서 무관한 영역에 대한 마스크를 결정하도록 프로그래밍된다.
[0219] 제76 양상에서, 제71 양상 내지 제75 양상 중 어느 한 양상의 시스템에 있어서, 공유 층들은, 특징 맵들의 공간 치수를 감소시키고 공유 층들에 의해 컴퓨팅된 특징 맵들의 수를 증가시킴으로써 눈 이미지를 인코딩하도록 구성된다.
[0220] 제77 양상에서, 제76 양상의 시스템에 있어서, 세그먼테이션 층들은, 특징 맵들의 공간 치수를 증가시키고 특징 맵들의 수를 감소시킴으로써, 공유 층들에 의해 인코딩된 눈 이미지를 디코딩하도록 구성된다.
[0221] 제78 양상에서, 제71 양상 내지 제77 양상 중 어느 한 양상의 시스템에 있어서, 눈 이미지의 품질 추정을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하기 위해, 하드웨어 프로세서는, 품질 추정 타워를 사용하여 눈 이미지의 품질 추정을 생성하도록 프로그래밍되고, 품질 추정 타워의 출력 층의 출력은 눈 이미지의 품질 추정을 포함한다.
[0222] 제79 양상에서, 제71 양상 내지 제78 양상 중 어느 한 양상의 시스템에 있어서, 품질 추정 타워는 적어도 2개의 출력 채널들을 출력하도록 구성되고, 적어도 2개의 채널들 중 제1 채널은 양호한 품질 추정을 포함하고, 적어도 2개의 채널들 중 제2 채널은 불량 품질 추정을 포함한다.
[0223] 제80 양상에서, 제71 양상 내지 제79 양상 중 어느 한 양상의 시스템에 있어서, 공유 층들, 세그먼테이션 층들 또는 품질 추정 층들은 콘볼루션 층, 밝기 정규화 층, 배치 정규화 층, 정류된 선형 층, 업샘플링 층, 연접 층, 풀링 층, 완전 연결된 층, 선형의 완전 연결된 층, 소프트사인 층, 또는 이들의 임의의 조합을 포함한다.
[0224] 제81 양상에서, 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 시스템으로서, 시스템은, 눈 이미지를 획득하도록 구성된 눈-이미징 카메라; 눈 이미지를 저장하도록 구성된 비-일시적인 메모리; 비-일시적인 메모리와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는, 눈 이미지를 수신하고; 눈 이미지의 세그먼테이션을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하고; 그리고 눈 이미지의 품질 추정을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하도록 프로그래밍되고, 콘볼루션 뉴럴 네트워크는 세그먼테이션 타워 및 품질 추정 타워를 포함하고, 세그먼테이션 타워는 세그먼테이션 층들 및 공유 층들을 포함하고, 품질 추정 타워는 품질 추정 층들 및 공유 층들을 포함하고, 세그먼테이션 층들은 품질 추정 타워와 공유되지 않고, 품질 추정 층들은 세그먼테이션 타워와 공유되지 않고, 눈 이미지는 공유 층들의 입력 층에 의해 수신된다.
[0225] 제82 양상에서, 제81 양상의 시스템에 있어서, 공유 층들의 제1 출력 층은 세그먼테이션 타워의 제1 입력 층에 연결된다.
[0226] 제83 양상에서, 제82 양상의 시스템에 있어서, 공유 층들의 제1 출력 층은 세그먼테이션 타워의 제2 입력 층에 연결되고, 제1 입력 층 또는 제2 입력 층은 연접 층을 포함한다.
[0227] 제84 양상에서, 제82 양상 또는 제83 양상의 시스템에 있어서, 공유 층들의 제1 출력 층은 추가로, 품질 추정 타워의 입력 층에 연결된다.
[0228] 제85 양상에서, 제81 양상 내지 제84 양상 중 어느 한 양상의 시스템에 있어서, 눈 이미지의 세그먼테이션을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하기 위해, 하드웨어 프로세서는, 세그먼테이션 타워를 사용하여 눈 이미지의 세그먼테이션을 생성하도록 프로그래밍되고, 세그먼테이션 타워의 출력 층의 출력은 눈 이미지의 세그먼테이션을 포함한다.
[0229] 제86 양상에서, 제81 양상 내지 제85 양상 중 어느 한 양상의 시스템에 있어서, 눈 이미지의 세그먼테이션은 눈 이미지의 배경, 공막, 홍채, 또는 동공을 포함한다.
[0230] 제87 양상에서, 제81 양상 내지 제86 양상 중 어느 한 양상의 시스템에 있어서, 눈 이미지의 품질 추정을 생성하기 위해 콘볼루션 뉴럴 네트워크를 사용하여 눈 이미지를 프로세싱하기 위해, 하드웨어 프로세서는, 품질 추정 타워를 사용하여 눈 이미지의 품질 추정을 생성하도록 프로그래밍되고, 품질 추정 타워의 출력 층의 출력은 눈 이미지의 품질 추정을 포함한다.
[0231] 제88 양상에서, 제81 양상 내지 제87 양상 중 어느 한 양상의 시스템에 있어서, 공유 층들, 세그먼테이션 층들 또는 품질 추정 층들은 콘볼루션 층, 배치 정규화 층, 정류된 선형 층, 업샘플링 층, 연접 층, 풀링 층, 완전 연결된 층, 선형의 완전 연결된 층, 또는 이들의 임의의 조합을 포함한다.
[0232] 제89 양상에서, 제88 양상의 시스템에 있어서, 배치 정규화 층은 배치 로컬 콘트라스트 정규화 층 또는 배치 로컬 응답 정규화 층이다.
[0233] 제90 양상에서, 제81 양상 내지 제89 양상 중 어느 한 양상의 시스템에 있어서, 공유 층들, 세그먼테이션 층들 또는 품질 추정 층들은 밝기 정규화 층, 소프트사인 층, 또는 이들의 임의의 조합을 포함한다.
[0234] 제91 양상에서, 제71 양상 내지 제90 양상 중 어느 한 양상의 방법은, 시스템의 사용자에게 가상 이미지들을 디스플레이하도록 구성된 디스플레이를 더 포함한다.
[0235] 제92 양상에서, 제91 양상의 시스템에 있어서, 디스플레이는 광 필드 디스플레이 또는 다수의 깊이 평면의 가상 이미지들을 디스플레이하도록 구성된 디스플레이를 포함한다.
[0236] 제93 양상에서, 제71 양상 내지 제92 양상 중 어느 한 양상의 시스템에 있어서, 하드웨어 프로세서는 추가로, 눈 이미지의 세그먼테이션으로부터 바이오메트릭 시그니처를 계산하도록 프로그래밍되고, 세그먼테이션은 콘볼루션 뉴럴 네트워크의 세그먼테이션 타워에 의해 생성된다.
[0237] 제94 양상에서, 제93 양상의 시스템에 있어서, 바이오메트릭 시그니처는 홍채 코드를 포함한다.
결론
[0238] 본원에서 설명되고 그리고/또는 첨부 도면들에 도시되는 프로세스들, 방법들 및 알고리즘들 각각은 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 주문형 회로 및/또는 특유 및 특정 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 이 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들) 또는 특수 목적 컴퓨터들, 특수 목적 회로 등을 포함할 수 있다. 코드 모듈은 실행 가능 프로그램으로 컴파일되어 링크되거나, 동적 링크 라이브러리에 설치될 수 있거나, 또는 인터프리팅된 프로그래밍 언어로 작성될 수 있다. 일부 구현들에서, 특정한 동작들 및 방법들은, 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0239] 추가로, 본 개시내용의 기능성의 소정의 구현들은 충분히 수학적으로, 계산상으로 또는 기술적으로 복잡하여, (적절한 전문화된 실행 가능한 명령들을 활용하는) 주문형 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스들은 예컨대, 수반되는 계산들의 양(volume) 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해 그 기능성들을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 다수의 프레임들(각각의 프레임은 수백만개의 픽셀들을 가짐)을 포함할 수 있고, 상업적으로 합리적인 시간량 내에 원하는 이미지 프로세싱 태스크(예컨대, 병합된 아키텍처를 갖는 CNN(100)을 사용한 눈 이미지 세그먼테이션 및 품질 추정) 또는 애플리케이션을 제공하기 위해, 특별히 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.
[0240] 코드 모듈들 또는 임의의 유형의 데이터는, 임의의 유형의 비-일시적인 컴퓨터-판독 가능 매체, 이를테면, 하드 드라이브들, 솔리드 스테이트 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비-휘발성 저장소, 이들의 조합들 등을 포함하는 물리적 컴퓨터 저장소 상에 저장될 수 있다. 방법들 및 모듈들(또는 데이터)은 또한, 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 일부로서) 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독 가능 송신 매체들 상에서 송신될 수 있고, (예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 일부로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 유형의 비-일시적인 유형의(tangible) 컴퓨터 저장소에 지속적으로 또는 다른 방식으로 저장될 수 있거나, 또는 컴퓨터-판독 가능 송신 매체를 통해 통신될 수 있다.
[0241] 본원에서 설명되고 그리고/또는 첨부된 도면들에 도시되는 흐름도들에서의 임의의 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 프로세스의 단계들 또는 (예컨대, 논리적 또는 산술적) 특정 기능들을 구현하기 위한 하나 이상의 실행 가능 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드 부분들을 잠재적으로 나타내는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에서 제공된 예시적인 예들에서 조합되거나, 재배열되거나, 이들에 부가되거나, 이들로부터 제거되거나, 수정되거나, 또는 다른 방식으로 변할 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들 중 일부 또는 전부를 수행할 수 있다. 본원에 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않고, 그에 관련된 블록들, 단계들 또는 상태들은 적절한 다른 시퀀스들로, 예컨대, 직렬로, 병렬로 또는 일부 다른 방식으로 수행될 수 있다. 태스크들 또는 이벤트들은 개시된 예시적인 실시예들에 부가되거나 그로부터 제거될 수 있다. 또한, 본원에서 설명된 구현들에서의 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이며, 모든 구현들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들은 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 다수의 구현 변동들이 가능하다.
[0242] 프로세스들, 방법들 및 시스템들은 네트워크(또는 분산형) 컴퓨팅 환경에서 구현될 수 있다. 네트워크 환경들은, 전사적(enterprise-wide) 컴퓨터 네트워크들, 인트라넷들, LAN(Local Area Network)들, WAN(Wide Area Network)들, PAN(Personal Area Network)들, 클라우드 컴퓨팅 네트워크들, 크라우드-소스드(crowd-sourced) 컴퓨팅 네트워크들, 인터넷 및 월드 와이드 웹(World Wide Web)을 포함한다. 네트워크는 유선 또는 무선 네트워크 또는 임의의 다른 유형의 통신 네트워크일 수 있다.
[0243] 본 개시내용의 시스템들 및 방법들 각각은 몇몇 혁신적인 양상들을 가지며, 그 양상들 중 어떠한 단일 양상도 본원에서 개시된 바람직한 속성들을 전적으로 담당하거나 이를 위해 요구되지 않는다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브조합들은 본 개시내용의 범위 내에 속하는 것으로 의도된다. 본 개시내용에서 설명된 구현들에 대한 다양한 수정들은 당업자들에게 자명할 수 있으며, 본원에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않으면서 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본 명세서에 도시된 구현들로 제한되도록 의도되는 것이 아니라, 본 명세서에 개시된 본 개시내용, 원리들 및 신규한 특성들과 일치하는 가장 넓은 범위에 부합할 것이다.
[0244] 별개의 구현들의 맥락에서 본 명세서에 설명된 소정의 특징들은 또한, 단일 구현으로 조합하여 구현될 수 있다. 대조적으로, 단일 구현의 맥락에서 설명된 다양한 특징들은 또한, 별개로 다수의 구현들로 또는 임의의 적절한 서브조합으로 구현될 수 있다. 더욱이, 특징들이 소정의 조합들로 작용하는 것으로 위에서 설명되고 심지어 초기에 이와 같이 청구될 수 있지만, 일부 경우들에서, 청구된 조합으로부터의 하나 이상의 특징들은 그 조합으로부터 제거될 수 있고, 청구된 조합은 서브조합 또는 서브조합의 변동에 관련될 수 있다. 단일 특징 또는 특징들의 그룹이 각각의 그리고 모든 각각의 실시예에 필요하거나 필수적인 것은 아니다.
[0245] 구체적으로 달리 언급되지 않거나 또는 사용된 맥락 내에서 달리 이해되지 않으면, 본원에서 사용된 조건어, 이를테면, 다른 것들 중에서도, "할 수 있다(can, could, might, may)", "예컨대" 등은 일반적으로, 소정의 실시예들이 소정의 특징들, 엘리먼트들, 및/또는 단계들을 포함하지만 다른 실시예들은 이들을 포함하지 않는다는 것을 전달하도록 의도된다. 따라서, 그러한 조건어는 일반적으로, 특징들, 엘리먼트들, 및/또는 단계들이 하나 이상의 실시예들을 위해 어떤 식으로든 요구된다는 것을, 또는 하나 이상의 실시예들이, 저자 입력 또는 프롬프팅(prompting)을 이용하거나 또는 그러한 것을 이용함이 없이, 이들 특징들, 엘리먼트들, 및/또는 단계들이 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예들에서 수행되어야 하는지를 판단하기 위한 로직을 반드시 포함한다는 것을 암시하도록 의도되진 않는다. "포함하는(comprising, including), "갖는(having)" 등의 용어들은 동의어이며, 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되며, 부가적인 엘리먼트들, 특징들, 행동들, 동작들 등을 배제하지 않는다. 또한, "또는"이라는 용어는 (그의 배타적인 의미가 아니라) 그의 포괄적인 의미로 사용되어서, 예컨대, 리스트의 엘리먼트들을 연결하기 위해 사용될 때, "또는"이라는 용어는 리스트 내의 엘리먼트들 중 하나, 일부, 또는 전부를 의미한다. 또한, 본 명세서 및 첨부된 청구항들에서 사용된 바와 같은 단수 표현은 달리 특정되지 않는 한 "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 해석될 것이다.
[0246] 본원에서 사용된 바와 같이, 리스트의 아이템들 “중 적어도 하나”를 지칭하는 어구는 단일 멤버들을 포함하여 그 아이템들의 임의의 조합을 지칭한다. 예로서, "A, B 또는 C 중 적어도 하나"는 A; B; C; A와 B; A와 C; B와 C; 그리고 A와 B와 C를 커버하는 것으로 의도된다. 특정하게 다르게 언급되지 않으면, 어구 "X, Y 또는 Z 중 적어도 하나"와 같은 접속어는, 아이템, 용어 등이 X, Y 또는 Z 중 적어도 하나일 수 있다는 것을 전달하기 위해 일반적으로 사용되는 맥락으로 달리 이해된다. 따라서, 이러한 접속어는 일반적으로, 소정의 실시예들이 X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재할 것을 요구하는 것을 암시하는 것으로 의도되지 않는다.
[0247] 유사하게, 동작들이 특정한 순서로 도면들에 도시될 수 있지만, 원하는 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정한 순서 또는 순차적인 순서로 수행될 필요가 없거나, 모든 예시된 동작들이 수행될 필요가 없다는 것이 인지될 것이다. 추가로, 도면들은 흐름도의 형태로 둘 이상의 예시적인 프로세스들을 개략적으로 도시할 수 있다. 그러나, 도시되지 않은 다른 동작들이, 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 이상의 부가적인 동작들은, 예시된 동작들 중 임의의 동작 이전에, 이후에, 동시에, 또는 그 중간에 수행될 수 있다. 부가적으로, 동작들은 다른 구현들에서 재배열되거나 재순서화될 수 있다. 소정의 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 또한, 위에서 설명된 구현에서의 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 그러한 분리를 요구하는 것으로서 이해되지는 않아야 하고, 그리고 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로, 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 부가적으로, 다른 구현들은 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에서 열거된 액션들은, 상이한 순서로 수행될 수 있으며, 그럼에도 불구하고 원하는 결과들을 달성할 수 있다.
Claims (71)
- 의미론적으로(schematically) 세그먼팅(segment)된 눈 이미지에서 눈 윤곽들을 결정하기 위한 방법으로서,
복수의 픽셀들을 포함하는 눈 이미지의 의미론적으로 세그먼팅된 눈 이미지를 수신하는 단계 ― 상기 의미론적으로 세그먼팅된 눈 이미지의 픽셀은 컬러 값을 갖고, 상기 의미론적으로 세그먼팅된 눈 이미지의 픽셀의 컬러 값은 제1 컬러 값, 제2 컬러 값, 제3 컬러 값 또는 제4 컬러 값이고, 상기 제1 컬러 값은 상기 눈 이미지의 배경에 대응하고, 상기 제2 컬러 값은 상기 눈 이미지 내의 눈의 공막에 대응하고, 상기 제3 컬러 값은 상기 눈 이미지 내의 눈의 홍채에 대응하고, 상기 제4 컬러 값은 상기 눈 이미지 내의 눈의 동공에 대응함 ―;
상기 의미론적으로 세그먼팅된 눈 이미지를 이용하여 동공 윤곽을 결정하는 단계; 및
상기 의미론적으로 세그먼팅된 눈 이미지를 이용하여 홍채 윤곽을 결정하는 단계
를 포함하고,
상기 의미론적으로 세그먼팅된 눈 이미지를 이용하여 동공 윤곽을 결정하는 단계는,
동공 윤곽 보더(border)를 결정하는 단계;
상기 동공 윤곽 보더로부터 복수의 픽셀들을 제거하는 단계; 및
상기 동공 윤곽 보더의 잔여 픽셀들로부터 동공 윤곽을 타원으로서 결정하는 단계
를 포함하고, 그리고
상기 동공 윤곽 보더를 결정하는 단계는,
복수의 픽셀들을 포함하는 제1 이진 이미지를 생성하는 단계 ― 상기 제1 이진 이미지의 제1 이진 이미지 픽셀의 컬러 값은 상기 제3 컬러 값 또는 상기 제4 컬러 값임 ―;
상기 제1 이진 이미지에서 윤곽들을 결정하는 단계; 및
상기 제1 이진 이미지 내의 결정된 윤곽들 중 최장 윤곽을 동공 윤곽 보더로서 선택하는 단계
를 포함하는, 방법. - 제1 항에 있어서,
상기 제1 컬러 값은 상기 제2 컬러 값보다 크고, 상기 제2 컬러 값은 상기 제3 컬러 값보다 크고, 그리고 상기 제3 컬러 값은 상기 제4 컬러 값보다 큰, 방법. - 삭제
- 삭제
- 제1 항에 있어서,
상기 동공 윤곽 보더를 에워싸는 동공 윤곽 지점 바운딩 박스를 결정하는 단계;
상기 동공 윤곽 지점 바운딩 박스의 대각선으로서 동공 지점 영역 크기를 컴퓨팅하는 단계; 및
상기 동공 지점 영역 크기에 기반하여 동공 윤곽 임계치를 결정하는 단계
를 포함하는, 방법. - 제1 항에 있어서,
복수의 픽셀들을 포함하는 제2 이진 이미지를 생성하는 단계 ― 상기 제2 이진 이미지의 복수의 픽셀들 중 제2 이진 이미지 픽셀의 컬러 값은 상기 제2 컬러 값 또는 상기 제3 컬러 값임 ―
를 포함하는, 방법. - 제6 항에 있어서,
상기 동공 윤곽 보더로부터 복수의 픽셀들을 제거하는 단계는,
상기 동공 윤곽 보더의 동공 윤곽 보더 픽셀에 대해:
상기 제2 컬러 값의 컬러 값을 갖고 상기 동공 윤곽 보더 픽셀에 가장 근접한, 제2 이진 이미지의 가장 근접한 픽셀을 결정하는 단계;
상기 동공 윤곽 보더 픽셀과 상기 제2 이진 이미지의 가장 근접한 픽셀 사이의 거리를 결정하는 단계; 및
상기 동공 윤곽 보더 픽셀과 상기 제2 이진 이미지의 가장 근접한 픽셀 사이의 거리가 동공 윤곽 임계치보다 작은 경우, 상기 동공 윤곽 보더로부터 상기 동공 윤곽 보더 픽셀을 제거하는 단계
를 포함하는, 방법. - 제1 항에 있어서,
상기 제1 이진 이미지의 상기 제1 이진 이미지 픽셀의 컬러 값은, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제4 컬러 값 이상인 값을 갖는 경우 상기 제4 컬러 값이고, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제4 컬러 값 이상이 아닌 값을 갖는 경우 상기 제3 컬러 값인, 방법. - 제6 항에 있어서,
상기 제2 이진 이미지의 복수의 픽셀들 중 상기 제2 이진 이미지 픽셀의 컬러 값은, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상인 값을 갖는 경우 상기 제3 컬러 값이고, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상이 아닌 값을 갖는 경우 상기 제2 컬러 값인, 방법. - 제5 항에 있어서,
상기 동공 윤곽 임계치는 상기 동공 지점 영역 크기로 곱해지는 프랙션(fraction)이고, 상기 프랙션은 0.02 내지 0.20의 범위에 있는, 방법. - 제1 항에 있어서,
상기 의미론적으로 세그먼팅된 눈 이미지를 이용하여 홍채 윤곽을 결정하는 단계는,
홍채 윤곽 보더를 결정하는 단계;
상기 홍채 윤곽 보더로부터 복수의 픽셀들을 제거하는 단계; 및
상기 홍채 윤곽 보더의 잔여 픽셀들로부터 홍채 윤곽을 타원으로서 결정하는 단계
를 포함하는, 방법. - 제11 항에 있어서,
상기 홍채 윤곽 보더를 결정하는 단계는,
복수의 픽셀들을 포함하는 제3 이진 이미지를 생성하는 단계 ― 상기 제3 이진 이미지의 복수의 픽셀들 중 제3 이진 이미지 픽셀의 컬러 값은 상기 제2 컬러 값 또는 상기 제3 컬러 값임 ―;
상기 제3 이진 이미지에서 윤곽들을 결정하는 단계; 및
상기 제3 이진 이미지 내의 결정된 윤곽들 중 최장 윤곽을 홍채 윤곽 보더로서 선택하는 단계
를 포함하는, 방법. - 제12 항에 있어서,
상기 홍채 윤곽 보더를 에워싸는 홍채 윤곽 지점 바운딩 박스를 결정하는 단계;
상기 홍채 윤곽 지점 바운딩 박스의 대각선으로서 홍채 지점 영역 크기를 컴퓨팅하는 단계; 및
상기 홍채 지점 영역 크기에 기반하여 홍채 윤곽 임계치를 결정하는 단계
를 포함하는, 방법. - 제11 항에 있어서,
복수의 픽셀들을 포함하는 제4 이진 이미지를 생성하는 단계 ― 상기 제4 이진 이미지의 복수의 픽셀들 중 제4 이진 이미지 픽셀의 컬러 값은 상기 제1 컬러 값 또는 상기 제2 컬러 값임 ―
를 포함하는, 방법. - 제11 항에 있어서,
상기 홍채 윤곽 보더로부터 복수의 픽셀들을 제거하는 단계는,
상기 윤곽 보더의 홍채 윤곽 보더 픽셀에 대해:
상기 제1 컬러 값의 컬러 값을 갖고 상기 홍채 윤곽 보더 픽셀에 가장 근접한, 제4 이진 이미지의 가장 근접한 픽셀을 결정하는 단계;
상기 홍채 윤곽 보더 픽셀과 상기 제4 이진 이미지의 가장 근접한 픽셀 사이의 거리를 결정하는 단계; 및
상기 홍채 윤곽 보더 픽셀과 상기 제4 이진 이미지의 가장 근접한 픽셀 사이의 거리가 홍채 윤곽 임계치보다 작은 경우, 상기 홍채 윤곽 보더로부터 상기 홍채 윤곽 보더 픽셀을 제거하는 단계
를 포함하는, 방법. - 제12 항에 있어서,
상기 제3 이진 이미지의 복수의 픽셀들 중 상기 제3 이진 이미지 픽셀의 컬러 값은, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상인 값을 갖는 경우 상기 제3 컬러 값이고, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상이 아닌 값을 갖는 경우 상기 제2 컬러 값인, 방법. - 제14 항에 있어서,
상기 제4 이진 이미지의 복수의 픽셀들 중 상기 제4 이진 이미지 픽셀의 컬러 값은, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제2 컬러 값 이상인 값을 갖는 경우 상기 제2 컬러 값이고, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제2 컬러 값 이상이 아닌 값을 갖는 경우 상기 제1 컬러 값인, 방법. - 제13 항에 있어서,
상기 홍채 윤곽 임계치는 상기 홍채 지점 영역 크기로 곱해지는 프랙션이고, 상기 프랙션은 0.02 내지 0.20의 범위에 있는, 방법. - 제1 항에 있어서,
상기 의미론적으로 세그먼팅된 눈 이미지에서 무관한 영역을 커버하기 위한 이진 마스크를 결정하는 단계를 포함하는, 방법 - 제19 항에 있어서,
상기 눈 이미지에서 무관한 영역을 커버하기 위한 이진 마스크를 결정하는 단계는,
복수의 픽셀들을 포함하는 이진 마스크 이미지를 생성하는 단계 ― 상기 이진 마스크 이미지의 이진 마스크 이미지 픽셀은 컬러 값을 가짐 ―;
상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상인 값을 갖는 경우, 상기 이진 마스크 이미지 픽셀의 컬러 값을 상기 제3 컬러 값으로 세팅하는 단계; 및
상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상이 아닌 값을 갖는 경우, 상기 이진 마스크 이미지 픽셀의 컬러 값을 상기 제2 컬러 값으로 세팅하는 단계
를 포함하는, 방법. - 제19 항에 있어서,
상기 무관한 영역은 상기 홍채 윤곽에 의해 정의된 영역 외부의 상기 의미론적으로 세그먼팅된 눈 이미지의 부분을 포함하는, 방법. - 제19 항에 있어서,
상기 의미론적으로 세그먼팅된 눈 이미지에 상기 이진 마스크를 적용하여 상기 무관한 영역을 배제하는 상기 눈 이미지의 부분을 포함하는 관련 눈 이미지를 생성하는 단계; 및
상기 관련 눈 이미지로부터 바이오메트릭 시그니처(biometric signature)를 계산하는 단계
를 포함하는, 방법. - 제22 항에 있어서,
상기 바이오메트릭 시그니처는 홍채 코드를 포함하는, 방법. - 제19 항에 있어서,
상기 동공 윤곽, 상기 홍채 윤곽 및 상기 의미론적으로 세그먼팅된 눈 이미지의 무관한 영역에 대한 이진 마스크를 사용하여 상기 눈 이미지로부터 상기 눈 이미지의 눈의 홍채의 극 이미지를 생성하는 단계
를 더 포함하는, 방법. - 제1 항에 있어서,
상기 복수의 픽셀들을 포함하는 눈 이미지의 의미론적으로 세그먼팅된 눈 이미지를 수신하는 단계는,
눈 이미지를 수신하는 단계;
상기 의미론적으로 세그먼팅된 눈 이미지를 생성하기 위해 콘볼루션 뉴럴 네트워크(convolution neural network)를 사용하여 상기 눈 이미지를 프로세싱하는 단계; 및
상기 눈 이미지의 품질 추정을 생성하기 위해 상기 콘볼루션 뉴럴 네트워크를 사용하여 상기 눈 이미지를 프로세싱하는 단계를 포함하고,
상기 콘볼루션 뉴럴 네트워크는 세그먼테이션 타워 및 품질 추정 타워를 포함하고,
상기 세그먼테이션 타워는 세그먼테이션 층들 및 공유 층들을 포함하고, 상기 품질 추정 타워는 품질 추정 층들 및 상기 공유 층들을 포함하고,
상기 공유 층들의 제1 출력 층은 상기 세그먼테이션 타워의 제1 입력 층 및 상기 세그먼테이션 타워의 제2 입력 층에 연결되고,
상기 공유 층들의 상기 제1 출력 층은 상기 품질 추정 층의 입력 층에 연결되고, 그리고
상기 눈 이미지를 수신하는 단계는 상기 공유 층들의 입력 층에 의해 상기 눈 이미지를 수신하는 단계를 포함하는, 방법. - 의미론적으로(schematically) 세그먼팅(segment)된 눈 이미지에서 눈 윤곽들을 결정하기 위한 방법으로서,
복수의 픽셀들을 포함하는 눈 이미지의 의미론적으로 세그먼팅된 눈 이미지를 수신하는 단계 ― 상기 의미론적으로 세그먼팅된 눈 이미지의 픽셀은 컬러 값을 갖고, 상기 의미론적으로 세그먼팅된 눈 이미지의 픽셀의 컬러 값은 제1 컬러 값, 제2 컬러 값, 제3 컬러 값 또는 제4 컬러 값이고, 상기 제1 컬러 값은 상기 눈 이미지의 배경에 대응하고, 상기 제2 컬러 값은 상기 눈 이미지 내의 눈의 공막에 대응하고, 상기 제3 컬러 값은 상기 눈 이미지 내의 눈의 홍채에 대응하고, 상기 제4 컬러 값은 상기 눈 이미지 내의 눈의 동공에 대응함 ―;
상기 의미론적으로 세그먼팅된 눈 이미지를 이용하여 동공 윤곽을 결정하는 단계; 및
상기 의미론적으로 세그먼팅된 눈 이미지를 이용하여 홍채 윤곽을 결정하는 단계
를 포함하고,
상기 의미론적으로 세그먼팅된 눈 이미지를 이용하여 홍채 윤곽을 결정하는 단계는,
홍채 윤곽 보더를 결정하는 단계;
상기 홍채 윤곽 보더로부터 복수의 픽셀들을 제거하는 단계; 및
상기 홍채 윤곽 보더의 잔여 픽셀들로부터 홍채 윤곽을 타원으로서 결정하는 단계
를 포함하고, 그리고
상기 홍채 윤곽 보더를 결정하는 단계는,
복수의 픽셀들을 포함하는 제3 이진 이미지를 생성하는 단계 ― 상기 제3 이진 이미지의 복수의 픽셀들 중 제3 이진 이미지 픽셀의 컬러 값은 상기 제2 컬러 값 또는 상기 제3 컬러 값임 ―;
상기 제3 이진 이미지에서 윤곽들을 결정하는 단계; 및
상기 제3 이진 이미지 내의 결정된 윤곽들 중 최장 윤곽을 홍채 윤곽 보더로서 선택하는 단계
를 포함하는, 방법. - 제26 항에 있어서,
상기 제1 컬러 값은 상기 제2 컬러 값보다 크고, 상기 제2 컬러 값은 상기 제3 컬러 값보다 크고, 그리고 상기 제3 컬러 값은 상기 제4 컬러 값보다 큰, 방법. - 제26 항에 있어서,
상기 의미론적으로 세그먼팅된 눈 이미지를 이용하여 동공 윤곽을 결정하는 단계는,
동공 윤곽 보더(border)를 결정하는 단계;
상기 동공 윤곽 보더로부터 복수의 픽셀들을 제거하는 단계; 및
상기 동공 윤곽 보더의 잔여 픽셀들로부터 동공 윤곽을 타원으로서 결정하는 단계
를 포함하는, 방법. - 제28 항에 있어서,
상기 동공 윤곽 보더를 결정하는 단계는,
복수의 픽셀들을 포함하는 제1 이진 이미지를 생성하는 단계 ― 상기 제1 이진 이미지의 제1 이진 이미지 픽셀의 컬러 값은 상기 제3 컬러 값 또는 상기 제4 컬러 값임 ―;
상기 제1 이진 이미지에서 윤곽들을 결정하는 단계; 및
상기 제1 이진 이미지 내의 결정된 윤곽들 중 최장 윤곽을 동공 윤곽 보더로서 선택하는 단계
를 포함하는, 방법. - 제29 항에 있어서,
상기 동공 윤곽 보더를 에워싸는 동공 윤곽 지점 바운딩 박스를 결정하는 단계;
상기 동공 윤곽 지점 바운딩 박스의 대각선으로서 동공 지점 영역 크기를 컴퓨팅하는 단계; 및
상기 동공 지점 영역 크기에 기반하여 동공 윤곽 임계치를 결정하는 단계
를 포함하는, 방법. - 제28 항에 있어서,
복수의 픽셀들을 포함하는 제2 이진 이미지를 생성하는 단계 ― 상기 제2 이진 이미지의 복수의 픽셀들 중 제2 이진 이미지 픽셀의 컬러 값은 상기 제2 컬러 값 또는 상기 제3 컬러 값임 ―
를 포함하는, 방법. - 제31 항에 있어서,
상기 동공 윤곽 보더로부터 복수의 픽셀들을 제거하는 단계는,
상기 동공 윤곽 보더의 동공 윤곽 보더 픽셀에 대해:
상기 제2 컬러 값의 컬러 값을 갖고 상기 동공 윤곽 보더 픽셀에 가장 근접한, 제2 이진 이미지의 가장 근접한 픽셀을 결정하는 단계;
상기 동공 윤곽 보더 픽셀과 상기 제2 이진 이미지의 가장 근접한 픽셀 사이의 거리를 결정하는 단계; 및
상기 동공 윤곽 보더 픽셀과 상기 제2 이진 이미지의 가장 근접한 픽셀 사이의 거리가 동공 윤곽 임계치보다 작은 경우, 상기 동공 윤곽 보더로부터 상기 동공 윤곽 보더 픽셀을 제거하는 단계
를 포함하는, 방법. - 제29 항에 있어서,
상기 제1 이진 이미지의 상기 제1 이진 이미지 픽셀의 컬러 값은, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제4 컬러 값 이상인 값을 갖는 경우 상기 제4 컬러 값이고, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제4 컬러 값 이상이 아닌 값을 갖는 경우 상기 제3 컬러 값인, 방법. - 제31 항에 있어서,
상기 제2 이진 이미지의 복수의 픽셀들 중 상기 제2 이진 이미지 픽셀의 컬러 값은, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상인 값을 갖는 경우 상기 제3 컬러 값이고, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상이 아닌 값을 갖는 경우 상기 제2 컬러 값인, 방법. - 제30 항에 있어서,
상기 동공 윤곽 임계치는 상기 동공 지점 영역 크기로 곱해지는 프랙션(fraction)이고, 상기 프랙션은 0.02 내지 0.20의 범위에 있는, 방법. - 제26 항에 있어서,
상기 홍채 윤곽 보더를 에워싸는 홍채 윤곽 지점 바운딩 박스를 결정하는 단계;
상기 홍채 윤곽 지점 바운딩 박스의 대각선으로서 홍채 지점 영역 크기를 컴퓨팅하는 단계; 및
상기 홍채 지점 영역 크기에 기반하여 홍채 윤곽 임계치를 결정하는 단계
를 포함하는, 방법. - 제26 항에 있어서,
복수의 픽셀들을 포함하는 제4 이진 이미지를 생성하는 단계 ― 상기 제4 이진 이미지의 복수의 픽셀들 중 제4 이진 이미지 픽셀의 컬러 값은 상기 제1 컬러 값 또는 상기 제2 컬러 값임 ―
를 포함하는, 방법. - 제26 항에 있어서,
상기 홍채 윤곽 보더로부터 복수의 픽셀들을 제거하는 단계는,
상기 윤곽 보더의 홍채 윤곽 보더 픽셀에 대해:
상기 제1 컬러 값의 컬러 값을 갖고 상기 홍채 윤곽 보더 픽셀에 가장 근접한, 제4 이진 이미지의 가장 근접한 픽셀을 결정하는 단계;
상기 홍채 윤곽 보더 픽셀과 상기 제4 이진 이미지의 가장 근접한 픽셀 사이의 거리를 결정하는 단계; 및
상기 홍채 윤곽 보더 픽셀과 상기 제4 이진 이미지의 가장 근접한 픽셀 사이의 거리가 홍채 윤곽 임계치보다 작은 경우, 상기 홍채 윤곽 보더로부터 상기 홍채 윤곽 보더 픽셀을 제거하는 단계
를 포함하는, 방법. - 제26 항에 있어서,
상기 제3 이진 이미지의 복수의 픽셀들 중 상기 제3 이진 이미지 픽셀의 컬러 값은, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상인 값을 갖는 경우 상기 제3 컬러 값이고, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상이 아닌 값을 갖는 경우 상기 제2 컬러 값인, 방법. - 제37 항에 있어서,
상기 제4 이진 이미지의 복수의 픽셀들 중 상기 제4 이진 이미지 픽셀의 컬러 값은, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제2 컬러 값 이상인 값을 갖는 경우 상기 제2 컬러 값이고, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제2 컬러 값 이상이 아닌 값을 갖는 경우 상기 제1 컬러 값인, 방법. - 제36 항에 있어서,
상기 홍채 윤곽 임계치는 상기 홍채 지점 영역 크기로 곱해지는 프랙션이고, 상기 프랙션은 0.02 내지 0.20의 범위에 있는, 방법. - 제26 항에 있어서,
상기 의미론적으로 세그먼팅된 눈 이미지에서 무관한 영역을 커버하기 위한 이진 마스크를 결정하는 단계를 포함하는, 방법 - 제42 항에 있어서,
상기 눈 이미지에서 무관한 영역을 커버하기 위한 이진 마스크를 결정하는 단계는,
복수의 픽셀들을 포함하는 이진 마스크 이미지를 생성하는 단계 ― 상기 이진 마스크 이미지의 이진 마스크 이미지 픽셀은 컬러 값을 가짐 ―;
상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상인 값을 갖는 경우, 상기 이진 마스크 이미지 픽셀의 컬러 값을 상기 제3 컬러 값으로 세팅하는 단계; 및
상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상이 아닌 값을 갖는 경우, 상기 이진 마스크 이미지 픽셀의 컬러 값을 상기 제2 컬러 값으로 세팅하는 단계
를 포함하는, 방법. - 제42 항에 있어서,
상기 무관한 영역은 상기 홍채 윤곽에 의해 정의된 영역 외부의 상기 의미론적으로 세그먼팅된 눈 이미지의 부분을 포함하는, 방법. - 제42 항에 있어서,
상기 의미론적으로 세그먼팅된 눈 이미지에 상기 이진 마스크를 적용하여 상기 무관한 영역을 배제하는 상기 눈 이미지의 부분을 포함하는 관련 눈 이미지를 생성하는 단계; 및
상기 관련 눈 이미지로부터 바이오메트릭 시그니처(biometric signature)를 계산하는 단계
를 포함하는, 방법. - 제45 항에 있어서,
상기 바이오메트릭 시그니처는 홍채 코드를 포함하는, 방법. - 제42 항에 있어서,
상기 동공 윤곽, 상기 홍채 윤곽 및 상기 의미론적으로 세그먼팅된 눈 이미지의 무관한 영역에 대한 마스크를 사용하여 상기 눈 이미지로부터 상기 눈 이미지의 눈의 홍채의 극 이미지를 생성하는 단계
를 더 포함하는, 방법. - 제26 항에 있어서,
상기 복수의 픽셀들을 포함하는 눈 이미지의 의미론적으로 세그먼팅된 눈 이미지를 수신하는 단계는,
눈 이미지를 수신하는 단계;
상기 의미론적으로 세그먼팅된 눈 이미지를 생성하기 위해 콘볼루션 뉴럴 네트워크(convolution neural network)를 사용하여 상기 눈 이미지를 프로세싱하는 단계; 및
상기 눈 이미지의 품질 추정을 생성하기 위해 상기 콘볼루션 뉴럴 네트워크를 사용하여 상기 눈 이미지를 프로세싱하는 단계를 포함하고,
상기 콘볼루션 뉴럴 네트워크는 세그먼테이션 타워 및 품질 추정 타워를 포함하고,
상기 세그먼테이션 타워는 세그먼테이션 층들 및 공유 층들을 포함하고, 상기 품질 추정 타워는 품질 추정 층들 및 상기 공유 층들을 포함하고,
상기 공유 층들의 제1 출력 층은 상기 세그먼테이션 타워의 제1 입력 층 및 상기 세그먼테이션 타워의 제2 입력 층에 연결되고,
상기 공유 층들의 상기 제1 출력 층은 상기 품질 추정 층의 입력 층에 연결되고, 그리고
상기 눈 이미지를 수신하는 단계는 상기 공유 층들의 입력 층에 의해 상기 눈 이미지를 수신하는 단계를 포함하는, 방법. - 의미론적으로(schematically) 세그먼팅(segment)된 눈 이미지에서 눈 윤곽들을 결정하기 위한 방법으로서,
복수의 픽셀들을 포함하는 눈 이미지의 의미론적으로 세그먼팅된 눈 이미지를 수신하는 단계 ― 상기 의미론적으로 세그먼팅된 눈 이미지의 픽셀은 컬러 값을 갖고, 상기 의미론적으로 세그먼팅된 눈 이미지의 픽셀의 컬러 값은 제1 컬러 값, 제2 컬러 값, 제3 컬러 값 또는 제4 컬러 값이고, 상기 제1 컬러 값은 상기 눈 이미지의 배경에 대응하고, 상기 제2 컬러 값은 상기 눈 이미지 내의 눈의 공막에 대응하고, 상기 제3 컬러 값은 상기 눈 이미지 내의 눈의 홍채에 대응하고, 상기 제4 컬러 값은 상기 눈 이미지 내의 눈의 동공에 대응함 ―;
상기 의미론적으로 세그먼팅된 눈 이미지를 이용하여 동공 윤곽을 결정하는 단계;
상기 의미론적으로 세그먼팅된 눈 이미지를 이용하여 홍채 윤곽을 결정하는 단계; 및
상기 의미론적으로 세그먼팅된 눈 이미지에서 무관한 영역을 커버하기 위한 이진 마스크를 결정하는 단계
를 포함하고,
상기 눈 이미지에서 무관한 영역을 커버하기 위한 이진 마스크를 결정하는 단계는,
복수의 픽셀들을 포함하는 이진 마스크 이미지를 생성하는 단계 ― 상기 이진 마스크 이미지의 이진 마스크 이미지 픽셀은 컬러 값을 가짐 ―;
상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상인 값을 갖는 경우, 상기 이진 마스크 이미지 픽셀의 컬러 값을 상기 제3 컬러 값으로 세팅하는 단계; 및
상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상이 아닌 값을 갖는 경우, 상기 이진 마스크 이미지 픽셀의 컬러 값을 상기 제2 컬러 값으로 세팅하는 단계
를 포함하는, 방법. - 제49 항에 있어서,
상기 제1 컬러 값은 상기 제2 컬러 값보다 크고, 상기 제2 컬러 값은 상기 제3 컬러 값보다 크고, 그리고 상기 제3 컬러 값은 상기 제4 컬러 값보다 큰, 방법. - 제49 항에 있어서,
상기 의미론적으로 세그먼팅된 눈 이미지를 이용하여 동공 윤곽을 결정하는 단계는,
동공 윤곽 보더(border)를 결정하는 단계;
상기 동공 윤곽 보더로부터 복수의 픽셀들을 제거하는 단계; 및
상기 동공 윤곽 보더의 잔여 픽셀들로부터 동공 윤곽을 타원으로서 결정하는 단계
를 포함하는, 방법. - 제51 항에 있어서,
상기 동공 윤곽 보더를 결정하는 단계는,
복수의 픽셀들을 포함하는 제1 이진 이미지를 생성하는 단계 ― 상기 제1 이진 이미지의 제1 이진 이미지 픽셀의 컬러 값은 상기 제3 컬러 값 또는 상기 제4 컬러 값임 ―;
상기 제1 이진 이미지에서 윤곽들을 결정하는 단계; 및
상기 제1 이진 이미지 내의 결정된 윤곽들 중 최장 윤곽을 동공 윤곽 보더로서 선택하는 단계
를 포함하는, 방법. - 제52 항에 있어서,
상기 동공 윤곽 보더를 에워싸는 동공 윤곽 지점 바운딩 박스를 결정하는 단계;
상기 동공 윤곽 지점 바운딩 박스의 대각선으로서 동공 지점 영역 크기를 컴퓨팅하는 단계; 및
상기 동공 지점 영역 크기에 기반하여 동공 윤곽 임계치를 결정하는 단계
를 포함하는, 방법. - 제51 항에 있어서,
복수의 픽셀들을 포함하는 제2 이진 이미지를 생성하는 단계 ― 상기 제2 이진 이미지의 복수의 픽셀들 중 제2 이진 이미지 픽셀의 컬러 값은 상기 제2 컬러 값 또는 상기 제3 컬러 값임 ―
를 포함하는, 방법. - 제54 항에 있어서,
상기 동공 윤곽 보더로부터 복수의 픽셀들을 제거하는 단계는,
상기 동공 윤곽 보더의 동공 윤곽 보더 픽셀에 대해:
상기 제2 컬러 값의 컬러 값을 갖고 상기 동공 윤곽 보더 픽셀에 가장 근접한, 제2 이진 이미지의 가장 근접한 픽셀을 결정하는 단계;
상기 동공 윤곽 보더 픽셀과 상기 제2 이진 이미지의 가장 근접한 픽셀 사이의 거리를 결정하는 단계; 및
상기 동공 윤곽 보더 픽셀과 상기 제2 이진 이미지의 가장 근접한 픽셀 사이의 거리가 동공 윤곽 임계치보다 작은 경우, 상기 동공 윤곽 보더로부터 상기 동공 윤곽 보더 픽셀을 제거하는 단계
를 포함하는, 방법. - 제52 항에 있어서,
상기 제1 이진 이미지의 상기 제1 이진 이미지 픽셀의 컬러 값은, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제4 컬러 값 이상인 값을 갖는 경우 상기 제4 컬러 값이고, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제4 컬러 값 이상이 아닌 값을 갖는 경우 상기 제3 컬러 값인, 방법. - 제54 항에 있어서,
상기 제2 이진 이미지의 복수의 픽셀들 중 상기 제2 이진 이미지 픽셀의 컬러 값은, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상인 값을 갖는 경우 상기 제3 컬러 값이고, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상이 아닌 값을 갖는 경우 상기 제2 컬러 값인, 방법. - 제53 항에 있어서,
상기 동공 윤곽 임계치는 상기 동공 지점 영역 크기로 곱해지는 프랙션(fraction)이고, 상기 프랙션은 0.02 내지 0.20의 범위에 있는, 방법. - 제49 항에 있어서,
상기 의미론적으로 세그먼팅된 눈 이미지를 이용하여 홍채 윤곽을 결정하는 단계는,
홍채 윤곽 보더를 결정하는 단계;
상기 홍채 윤곽 보더로부터 복수의 픽셀들을 제거하는 단계; 및
상기 홍채 윤곽 보더의 잔여 픽셀들로부터 홍채 윤곽을 타원으로서 결정하는 단계
를 포함하는, 방법. - 제59 항에 있어서,
상기 홍채 윤곽 보더를 결정하는 단계는,
복수의 픽셀들을 포함하는 제3 이진 이미지를 생성하는 단계 ― 상기 제3 이진 이미지의 복수의 픽셀들 중 제3 이진 이미지 픽셀의 컬러 값은 상기 제2 컬러 값 또는 상기 제3 컬러 값임 ―;
상기 제3 이진 이미지에서 윤곽들을 결정하는 단계; 및
상기 제3 이진 이미지 내의 결정된 윤곽들 중 최장 윤곽을 홍채 윤곽 보더로서 선택하는 단계
를 포함하는, 방법. - 제60 항에 있어서,
상기 홍채 윤곽 보더를 에워싸는 홍채 윤곽 지점 바운딩 박스를 결정하는 단계;
상기 홍채 윤곽 지점 바운딩 박스의 대각선으로서 홍채 지점 영역 크기를 컴퓨팅하는 단계; 및
상기 홍채 지점 영역 크기에 기반하여 홍채 윤곽 임계치를 결정하는 단계
를 포함하는, 방법. - 제59 항에 있어서,
복수의 픽셀들을 포함하는 제4 이진 이미지를 생성하는 단계 ― 상기 제4 이진 이미지의 복수의 픽셀들 중 제4 이진 이미지 픽셀의 컬러 값은 상기 제1 컬러 값 또는 상기 제2 컬러 값임 ―
를 포함하는, 방법. - 제59 항에 있어서,
상기 홍채 윤곽 보더로부터 복수의 픽셀들을 제거하는 단계는,
상기 윤곽 보더의 홍채 윤곽 보더 픽셀에 대해:
상기 제1 컬러 값의 컬러 값을 갖고 상기 홍채 윤곽 보더 픽셀에 가장 근접한, 제4 이진 이미지의 가장 근접한 픽셀을 결정하는 단계;
상기 홍채 윤곽 보더 픽셀과 상기 제4 이진 이미지의 가장 근접한 픽셀 사이의 거리를 결정하는 단계; 및
상기 홍채 윤곽 보더 픽셀과 상기 제4 이진 이미지의 가장 근접한 픽셀 사이의 거리가 홍채 윤곽 임계치보다 작은 경우, 상기 홍채 윤곽 보더로부터 상기 홍채 윤곽 보더 픽셀을 제거하는 단계
를 포함하는, 방법. - 제60 항에 있어서,
상기 제3 이진 이미지의 복수의 픽셀들 중 상기 제3 이진 이미지 픽셀의 컬러 값은, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상인 값을 갖는 경우 상기 제3 컬러 값이고, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제3 컬러 값 이상이 아닌 값을 갖는 경우 상기 제2 컬러 값인, 방법. - 제62 항에 있어서,
상기 제4 이진 이미지의 복수의 픽셀들 중 상기 제4 이진 이미지 픽셀의 컬러 값은, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제2 컬러 값 이상인 값을 갖는 경우 상기 제2 컬러 값이고, 상기 의미론적으로 세그먼팅된 눈 이미지의 대응하는 픽셀이 상기 제2 컬러 값 이상이 아닌 값을 갖는 경우 상기 제1 컬러 값인, 방법. - 제61 항에 있어서,
상기 홍채 윤곽 임계치는 상기 홍채 지점 영역 크기로 곱해지는 프랙션이고, 상기 프랙션은 0.02 내지 0.20의 범위에 있는, 방법. - 제49 항에 있어서,
상기 무관한 영역은 상기 홍채 윤곽에 의해 정의된 영역 외부의 상기 의미론적으로 세그먼팅된 눈 이미지의 부분을 포함하는, 방법. - 제49 항에 있어서,
상기 의미론적으로 세그먼팅된 눈 이미지에 상기 이진 마스크를 적용하여 상기 무관한 영역을 배제하는 상기 눈 이미지의 부분을 포함하는 관련 눈 이미지를 생성하는 단계; 및
상기 관련 눈 이미지로부터 바이오메트릭 시그니처(biometric signature)를 계산하는 단계
를 포함하는, 방법. - 제68 항에 있어서,
상기 바이오메트릭 시그니처는 홍채 코드를 포함하는, 방법. - 제49 항에 있어서,
상기 동공 윤곽, 상기 홍채 윤곽 및 상기 의미론적으로 세그먼팅된 눈 이미지의 무관한 영역에 대한 이진 마스크를 사용하여 상기 눈 이미지로부터 상기 눈 이미지의 눈의 홍채의 극 이미지를 생성하는 단계
를 더 포함하는, 방법. - 제49 항에 있어서,
상기 복수의 픽셀들을 포함하는 눈 이미지의 의미론적으로 세그먼팅된 눈 이미지를 수신하는 단계는,
눈 이미지를 수신하는 단계;
상기 의미론적으로 세그먼팅된 눈 이미지를 생성하기 위해 콘볼루션 뉴럴 네트워크(convolution neural network)를 사용하여 상기 눈 이미지를 프로세싱하는 단계; 및
상기 눈 이미지의 품질 추정을 생성하기 위해 상기 콘볼루션 뉴럴 네트워크를 사용하여 상기 눈 이미지를 프로세싱하는 단계를 포함하고,
상기 콘볼루션 뉴럴 네트워크는 세그먼테이션 타워 및 품질 추정 타워를 포함하고,
상기 세그먼테이션 타워는 세그먼테이션 층들 및 공유 층들을 포함하고, 상기 품질 추정 타워는 품질 추정 층들 및 상기 공유 층들을 포함하고,
상기 공유 층들의 제1 출력 층은 상기 세그먼테이션 타워의 제1 입력 층 및 상기 세그먼테이션 타워의 제2 입력 층에 연결되고,
상기 공유 층들의 상기 제1 출력 층은 상기 품질 추정 층의 입력 층에 연결되고, 그리고
상기 눈 이미지를 수신하는 단계는 상기 공유 층들의 입력 층에 의해 상기 눈 이미지를 수신하는 단계를 포함하는, 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020227035459A KR102583040B1 (ko) | 2016-09-29 | 2017-05-25 | 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 뉴럴 네트워크 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016138608A RU2016138608A (ru) | 2016-09-29 | 2016-09-29 | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
| RU2016138608 | 2016-09-29 | ||
| PCT/US2017/034482 WO2018063451A1 (en) | 2016-09-29 | 2017-05-25 | Neural network for eye image segmentation and image quality estimation |
| KR1020197011904A KR102225527B1 (ko) | 2016-09-29 | 2017-05-25 | 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 뉴럴 네트워크 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197011904A Division KR102225527B1 (ko) | 2016-09-29 | 2017-05-25 | 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 뉴럴 네트워크 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227035459A Division KR102583040B1 (ko) | 2016-09-29 | 2017-05-25 | 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 뉴럴 네트워크 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210025729A KR20210025729A (ko) | 2021-03-09 |
| KR102456024B1 true KR102456024B1 (ko) | 2022-10-17 |
Family
ID=61686461
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227035459A KR102583040B1 (ko) | 2016-09-29 | 2017-05-25 | 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 뉴럴 네트워크 |
| KR1020217006298A KR102456024B1 (ko) | 2016-09-29 | 2017-05-25 | 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 뉴럴 네트워크 |
| KR1020197011904A KR102225527B1 (ko) | 2016-09-29 | 2017-05-25 | 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 뉴럴 네트워크 |
| KR1020237032251A KR20230137500A (ko) | 2016-09-29 | 2017-05-25 | 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 뉴럴 네트워크 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227035459A KR102583040B1 (ko) | 2016-09-29 | 2017-05-25 | 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 뉴럴 네트워크 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197011904A KR102225527B1 (ko) | 2016-09-29 | 2017-05-25 | 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 뉴럴 네트워크 |
| KR1020237032251A KR20230137500A (ko) | 2016-09-29 | 2017-05-25 | 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 뉴럴 네트워크 |
Country Status (10)
| Country | Link |
|---|---|
| US (4) | US10445881B2 (ko) |
| EP (1) | EP3518731A4 (ko) |
| JP (3) | JP6785952B2 (ko) |
| KR (4) | KR102583040B1 (ko) |
| CN (2) | CN110022753B (ko) |
| AU (1) | AU2017337317B2 (ko) |
| CA (1) | CA3038031A1 (ko) |
| IL (2) | IL265534B2 (ko) |
| RU (1) | RU2016138608A (ko) |
| WO (1) | WO2018063451A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE2251254A1 (en) * | 2022-10-28 | 2024-04-29 | Kontigo Care Ab | Method for estimating pupil size |
Families Citing this family (91)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US9495590B1 (en) * | 2015-04-23 | 2016-11-15 | Global Bionic Optics, Ltd. | Extended depth-of-field biometric system |
| EP3485425B1 (en) | 2016-07-14 | 2023-08-23 | Magic Leap, Inc. | Deep neural network for iris identification |
| US10802992B2 (en) | 2016-08-12 | 2020-10-13 | Xilinx Technology Beijing Limited | Combining CPU and special accelerator for implementing an artificial neural network |
| US10643124B2 (en) * | 2016-08-12 | 2020-05-05 | Beijing Deephi Intelligent Technology Co., Ltd. | Method and device for quantizing complex artificial neural network |
| RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
| EP3542250A4 (en) | 2016-11-15 | 2020-08-26 | Magic Leap, Inc. | DEPTH LEARNING SYSTEM FOR DETECTION OF RUBBERS |
| WO2018106542A1 (en) | 2016-12-05 | 2018-06-14 | Magic Leap, Inc. | Virtual user input controls in a mixed reality environment |
| DE112017006136T5 (de) * | 2016-12-05 | 2019-08-22 | Avigilon Corporation | System und Verfahren zur CNN-Schichtenteilung |
| US10963676B2 (en) * | 2016-12-23 | 2021-03-30 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
| WO2018170421A1 (en) | 2017-03-17 | 2018-09-20 | Magic Leap, Inc. | Room layout estimation methods and techniques |
| JP6930223B2 (ja) * | 2017-05-31 | 2021-09-01 | 富士通株式会社 | 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法 |
| US11647903B2 (en) * | 2017-06-01 | 2023-05-16 | University Of Washington | Smartphone-based digital pupillometer |
| IL271929B (en) | 2017-07-26 | 2022-07-01 | Magic Leap Inc | Neural network training with displays of user interface devices |
| WO2019060283A1 (en) | 2017-09-20 | 2019-03-28 | Magic Leap, Inc. | PERSONALIZED NEURONAL FOLLOW-UP NETWORK |
| CN107633295B (zh) * | 2017-09-25 | 2020-04-28 | 南京地平线机器人技术有限公司 | 用于适配神经网络的参数的方法和装置 |
| AU2018354257A1 (en) | 2017-10-26 | 2020-05-14 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
| US10853691B1 (en) * | 2018-01-25 | 2020-12-01 | Apple Inc. | Neural network architecture |
| US11393251B2 (en) | 2018-02-09 | 2022-07-19 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| EP3750028B1 (en) | 2018-02-09 | 2022-10-19 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
| EP3750029A1 (en) | 2018-02-09 | 2020-12-16 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters using a neural network |
| JP7013017B2 (ja) * | 2018-03-20 | 2022-01-31 | 国立研究開発法人産業技術総合研究所 | 演算システム |
| US10949969B1 (en) * | 2018-03-20 | 2021-03-16 | Welch Allyn, Inc. | Pupil edge region removal in digital imaging |
| JP2019177032A (ja) * | 2018-03-30 | 2019-10-17 | 株式会社ニデック | 眼科画像処理装置、および眼科画像処理プログラム |
| CN108629744B (zh) * | 2018-04-09 | 2021-07-30 | 北京无线电计量测试研究所 | 一种图像增强方法 |
| US10671855B2 (en) | 2018-04-10 | 2020-06-02 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
| CN108875787B (zh) * | 2018-05-23 | 2020-07-14 | 北京市商汤科技开发有限公司 | 一种图像识别方法及装置、计算机设备和存储介质 |
| JP2019208851A (ja) * | 2018-06-04 | 2019-12-12 | 株式会社ニデック | 眼底画像処理装置および眼底画像処理プログラム |
| JP7079483B2 (ja) * | 2018-06-18 | 2022-06-02 | 国立研究開発法人産業技術総合研究所 | 情報処理方法、システム及びプログラム |
| EP3811182A4 (en) | 2018-06-22 | 2021-07-28 | Magic Leap, Inc. | METHOD AND SYSTEM FOR PERFORMING EYE TRACKING USING AN OFF-AXIAL CAMERA |
| WO2020023399A1 (en) | 2018-07-23 | 2020-01-30 | Magic Leap, Inc. | Deep predictor recurrent neural network for head pose prediction |
| CN109087310B (zh) * | 2018-07-24 | 2022-07-12 | 深圳大学 | 睑板腺纹理区域的分割方法、系统、存储介质及智能终端 |
| WO2020022027A1 (ja) * | 2018-07-26 | 2020-01-30 | 富士フイルム株式会社 | 学習装置及び学習方法 |
| US10713491B2 (en) * | 2018-07-27 | 2020-07-14 | Google Llc | Object detection using spatio-temporal feature maps |
| US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
| CN109360183B (zh) * | 2018-08-20 | 2021-05-11 | 中国电子进出口有限公司 | 一种基于卷积神经网络的人脸图像质量评估方法和系统 |
| CN109377498B (zh) * | 2018-08-31 | 2021-08-20 | 大连理工大学 | 基于循环神经网络的交互式抠图方法 |
| US10229346B1 (en) * | 2018-09-04 | 2019-03-12 | StradVision, Inc. | Learning method, learning device for detecting object using edge image and testing method, testing device using the same |
| CN109325954B (zh) * | 2018-09-18 | 2021-08-10 | 北京旷视科技有限公司 | 图像分割方法、装置及电子设备 |
| US11048977B1 (en) * | 2018-09-27 | 2021-06-29 | Apple Inc. | Method and device for pixel-level object segmentation |
| US11232635B2 (en) | 2018-10-05 | 2022-01-25 | Magic Leap, Inc. | Rendering location specific virtual content in any location |
| EP3644275A1 (en) * | 2018-10-22 | 2020-04-29 | Koninklijke Philips N.V. | Predicting correctness of algorithmic segmentation |
| WO2020093042A1 (en) * | 2018-11-02 | 2020-05-07 | Deep Lens, Inc. | Neural networks for biomedical image analysis |
| US10977548B2 (en) | 2018-12-05 | 2021-04-13 | Bank Of America Corporation | Generation of capsule neural networks for enhancing image processing platforms |
| US11263419B2 (en) * | 2018-12-11 | 2022-03-01 | Shanghai Harvest Intelligence Technology Co., Ltd | Biometric analysis structure, method and neural network with coded mask |
| EP3912013A1 (en) | 2019-01-16 | 2021-11-24 | Pupil Labs GmbH | Methods for generating calibration data for head-wearable devices and eye tracking system |
| US10325179B1 (en) * | 2019-01-23 | 2019-06-18 | StradVision, Inc. | Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same |
| AU2020226648B2 (en) | 2019-02-21 | 2023-03-02 | Case Western Reserve University | Processing three-dimensional (3D) ultrasound images |
| CN110059586B (zh) * | 2019-03-29 | 2022-03-15 | 电子科技大学 | 一种基于空洞残差注意力结构的虹膜定位分割系统 |
| JP2022527818A (ja) * | 2019-04-10 | 2022-06-06 | アイウェア・テク・ソシエテ・アノニム | ユーザの眼に関連する幾何学的変数を推定する方法及びシステム |
| CN110046588B (zh) * | 2019-04-22 | 2019-11-01 | 吉林大学 | 一种具有盗取攻击应对机制的异质虹膜认证方法 |
| US11435820B1 (en) * | 2019-05-16 | 2022-09-06 | Facebook Technologies, Llc | Gaze detection pipeline in an artificial reality system |
| US11676422B2 (en) | 2019-06-05 | 2023-06-13 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| US11176368B2 (en) | 2019-06-13 | 2021-11-16 | International Business Machines Corporation | Visually focused first-person neural network interpretation |
| US11301677B2 (en) * | 2019-06-14 | 2022-04-12 | Tobil AB | Deep learning for three dimensional (3D) gaze prediction |
| CN110309914A (zh) * | 2019-07-03 | 2019-10-08 | 中山大学 | 基于边缘服务器与移动端设备协同的深度学习模型推理加速方法 |
| FR3098960B1 (fr) * | 2019-07-16 | 2021-07-16 | Idemia Identity & Security France | Procédé d’extraction d’un vecteur caractéristique à partir d’une image d’entrée représentative d’un iris au moyen d’un réseau de neurones entrainable de bout-en-bout |
| CN110490083A (zh) * | 2019-07-23 | 2019-11-22 | 苏州国科视清医疗科技有限公司 | 一种基于快速人眼语义分割网络的瞳孔精确检测方法 |
| CN114303117A (zh) * | 2019-08-19 | 2022-04-08 | 奇跃公司 | 使用离轴相机的眼睛跟踪和注视估计 |
| WO2021048682A1 (ja) * | 2019-09-12 | 2021-03-18 | 株式会社半導体エネルギー研究所 | 分類方法 |
| US11568605B2 (en) | 2019-10-15 | 2023-01-31 | Magic Leap, Inc. | Cross reality system with localization service |
| WO2021076757A1 (en) * | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system supporting multiple device types |
| RU2716914C1 (ru) * | 2019-10-22 | 2020-03-17 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Юго-Западный государственный университет" (ЮЗГУ) | Способ автоматической классификации рентгеновских изображений с использованием масок прозрачности |
| WO2021087065A1 (en) | 2019-10-31 | 2021-05-06 | Magic Leap, Inc. | Cross reality system with quality information about persistent coordinate frames |
| CN110929672B (zh) * | 2019-11-28 | 2024-03-01 | 联想(北京)有限公司 | 瞳孔定位方法和电子设备 |
| CN114762008A (zh) | 2019-12-09 | 2022-07-15 | 奇跃公司 | 简化的虚拟内容编程的交叉现实系统 |
| US11869535B1 (en) * | 2019-12-12 | 2024-01-09 | Amazon Technologies, Inc. | Character-level emotion detection |
| CN111191605A (zh) * | 2019-12-31 | 2020-05-22 | 上海电力大学 | 一种基于级联神经网络的多任务虹膜快速定位方法 |
| CN114945943A (zh) * | 2020-01-13 | 2022-08-26 | 谷歌有限责任公司 | 基于虹膜大小估计深度 |
| CN115398314A (zh) | 2020-02-13 | 2022-11-25 | 奇跃公司 | 使用多分辨率帧描述符进行地图处理的交叉现实系统 |
| CN111353060B (zh) * | 2020-03-16 | 2020-11-06 | 黄华 | 基于区块链的云计算大数据图片存储方法及系统 |
| JP7452628B2 (ja) * | 2020-03-27 | 2024-03-19 | 日本電気株式会社 | 判定装置、方法及びプログラム |
| US11921917B2 (en) | 2020-04-07 | 2024-03-05 | Eyetech Digital Systems, Inc. | Compact eye-tracking camera systems and methods |
| US10996753B1 (en) | 2020-04-07 | 2021-05-04 | Eyetech Digital Systems, Inc. | Multi-mode eye-tracking with independently operable illuminators |
| KR102497990B1 (ko) * | 2020-08-13 | 2023-02-09 | 순천향대학교 산학협력단 | 전이학습을 이용한 안저 이미지 품질 평가 장치 및 방법 |
| US20230267616A1 (en) * | 2020-09-02 | 2023-08-24 | Singapore Health Services Pte Ltd | Image segmentation system and method |
| CN116648716A (zh) * | 2020-12-24 | 2023-08-25 | 华为技术有限公司 | 通过指示特征图数据进行解码 |
| US11688200B2 (en) * | 2020-12-28 | 2023-06-27 | Fortinet, Inc. | Joint facial feature extraction and facial image quality estimation using a deep neural network (DNN) trained with a custom-labeled training dataset and having a common DNN backbone |
| CN112669289A (zh) * | 2020-12-30 | 2021-04-16 | 科大讯飞股份有限公司 | 影像质量评估方法、装置、电子设备及存储介质 |
| CN112733794B (zh) * | 2021-01-22 | 2021-10-15 | 腾讯科技（深圳）有限公司 | 人脸图像的视线矫正方法、装置、设备及存储介质 |
| US20240161479A1 (en) * | 2021-03-25 | 2024-05-16 | Sri International | Polarized Image Enhancement using Deep Neural Networks |
| JP2022172755A (ja) * | 2021-05-07 | 2022-11-17 | 富士通株式会社 | 生成プログラム、生成方法、および情報処理装置 |
| US20230081128A1 (en) * | 2021-09-16 | 2023-03-16 | Samsung Electronics Co., Ltd. | Picture quality-sensitive semantic segmentation for use in training image generation adversarial networks |
| CN113780234B (zh) * | 2021-09-24 | 2024-03-12 | 北京航空航天大学 | 一种边缘指导的人眼图像解析方法 |
| WO2023157070A1 (ja) | 2022-02-15 | 2023-08-24 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
| US12002290B2 (en) | 2022-02-25 | 2024-06-04 | Eyetech Digital Systems, Inc. | Systems and methods for hybrid edge/cloud processing of eye-tracking image data |
| CN115807685B (zh) * | 2023-01-20 | 2023-04-28 | 太原理工大学 | 矿用锚护装备钻锚作业的自动控制系统 |
| CN116110574B (zh) | 2023-04-14 | 2023-06-20 | 武汉大学人民医院（湖北省人民医院） | 一种基于神经网络实现的眼科智能问诊方法和装置 |
| CN117523208B (zh) * | 2024-01-08 | 2024-04-16 | 暨南大学 | 基于图像语义分割与分类的身份识别方法与系统 |
| CN118351589B (zh) * | 2024-06-12 | 2024-08-27 | 湖南火眼医疗科技有限公司 | 图像处理方法、装置、设备、存储介质及程序产品 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004206444A (ja) * | 2002-12-25 | 2004-07-22 | Matsushita Electric Ind Co Ltd | 個人認証方法および虹彩認証装置 |
| US20150324974A1 (en) * | 2012-12-05 | 2015-11-12 | Eye-Cu Life Systems Ltd. | Computerized iridodiagnosis |
| JP2015536519A (ja) * | 2012-12-10 | 2015-12-21 | エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ | バイオメトリク虹彩照合システム |
Family Cites Families (75)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5291560A (en) | 1991-07-15 | 1994-03-01 | Iri Scan Incorporated | Biometric personal identification system based on iris analysis |
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| US5583795A (en) | 1995-03-17 | 1996-12-10 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for measuring eye gaze and fixation duration, and method therefor |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| DE60332328D1 (de) | 2002-03-13 | 2010-06-10 | Imax Corp | Systeme und verfahren für ein digitales remastering oder anderweitiges modifizieren von beweglichen bildern oder anderen bildsequenzdaten |
| US8098901B2 (en) | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
| KR20050025927A (ko) | 2003-09-08 | 2005-03-14 | 유웅덕 | 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법 |
| US7248720B2 (en) | 2004-10-21 | 2007-07-24 | Retica Systems, Inc. | Method and system for generating a combined retina/iris pattern biometric |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| JP4824420B2 (ja) | 2006-02-07 | 2011-11-30 | アイテック株式会社 | 視線ベクトル検出方法及び同装置 |
| WO2008016724A2 (en) | 2006-03-03 | 2008-02-07 | Honeywell International, Inc. | An iris recognition system having image quality metrics |
| US7970179B2 (en) | 2006-09-25 | 2011-06-28 | Identix Incorporated | Iris data extraction |
| US8363783B2 (en) | 2007-06-04 | 2013-01-29 | Oraya Therapeutics, Inc. | Method and device for ocular alignment and coupling of ocular structures |
| US8098891B2 (en) | 2007-11-29 | 2012-01-17 | Nec Laboratories America, Inc. | Efficient multi-hypothesis multi-human 3D tracking in crowded scenes |
| EP2257636A4 (en) | 2008-07-03 | 2014-10-15 | Nec Lab America Inc | EPITHELIAL LAYER DETECTOR AND RELATED METHODS |
| WO2010011785A1 (en) * | 2008-07-23 | 2010-01-28 | Indiana University Research & Technology Corporation | System and method for a non-cooperative iris image acquisition system |
| US8768014B2 (en) * | 2009-01-14 | 2014-07-01 | Indiana University Research And Technology Corp. | System and method for identifying a person with reference to a sclera image |
| EP3138475B1 (en) | 2010-01-22 | 2023-10-25 | AMO Development, LLC | Apparatus for automated placement of scanned laser capsulorhexis incisions |
| US8345984B2 (en) | 2010-01-28 | 2013-01-01 | Nec Laboratories America, Inc. | 3D convolutional neural networks for automatic human action recognition |
| US8948467B2 (en) * | 2010-08-06 | 2015-02-03 | Honeywell International Inc. | Ocular and iris processing system and method |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| CN103688208B (zh) | 2010-12-24 | 2017-06-06 | 奇跃公司 | 人体工程学头戴式显示设备和光学系统 |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| BR112013034009A2 (pt) | 2011-05-06 | 2017-02-07 | Magic Leap Inc | mundo de presença digital remota simultânea massiva |
| JP2013038602A (ja) | 2011-08-08 | 2013-02-21 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
| EP3404894B1 (en) | 2011-10-28 | 2020-02-12 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| CA2858208C (en) | 2011-11-23 | 2019-01-15 | Magic Leap, Inc. | Three dimensional virtual and augmented reality display system |
| EP2841991B1 (en) | 2012-04-05 | 2020-01-08 | Magic Leap, Inc. | Wide-field of view (fov) imaging devices with active foveation capability |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| NZ702897A (en) | 2012-06-11 | 2017-03-31 | Magic Leap Inc | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
| US9141916B1 (en) | 2012-06-29 | 2015-09-22 | Google Inc. | Using embedding functions with a deep network |
| KR101506525B1 (ko) | 2012-07-31 | 2015-03-27 | 도꾸리쯔교세이호징 가가꾸 기쥬쯔 신꼬 기꼬 | 주시점 검출 장치, 주시점 검출 방법, 개인 파라미터 산출 장치, 개인 파라미터 산출 방법, 프로그램, 및 컴퓨터 판독 가능한 기록 매체 |
| US8369595B1 (en) * | 2012-08-10 | 2013-02-05 | EyeVerify LLC | Texture features for biometric authentication |
| AU2013315607A1 (en) | 2012-09-11 | 2015-04-02 | Magic Leap, Inc | Ergonomic head mounted display device and optical system |
| US10151875B2 (en) | 2013-01-15 | 2018-12-11 | Magic Leap, Inc. | Ultra-high resolution scanning fiber display |
| IL298018B2 (en) | 2013-03-11 | 2024-04-01 | Magic Leap Inc | System and method for augmentation and virtual reality |
| US9147154B2 (en) | 2013-03-13 | 2015-09-29 | Google Inc. | Classifying resources using a deep network |
| NZ735747A (en) | 2013-03-15 | 2019-10-25 | Magic Leap Inc | Display system and method |
| WO2014182769A1 (en) * | 2013-05-07 | 2014-11-13 | The Johns Hopkins University | Automated and non-mydriatic fundus-perimetry camera for irreversible eye diseases |
| US9275308B2 (en) | 2013-05-31 | 2016-03-01 | Google Inc. | Object detection using deep neural networks |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US20140380249A1 (en) | 2013-06-25 | 2014-12-25 | Apple Inc. | Visual recognition of gestures |
| CN103431840B (zh) * | 2013-07-31 | 2016-01-20 | 北京智谷睿拓技术服务有限公司 | 眼睛光学参数检测系统及方法 |
| AU2014337171B2 (en) | 2013-10-16 | 2018-11-15 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
| US9202144B2 (en) | 2013-10-30 | 2015-12-01 | Nec Laboratories America, Inc. | Regionlets with shift invariant neural patterns for object detection |
| US10095917B2 (en) | 2013-11-04 | 2018-10-09 | Facebook, Inc. | Systems and methods for facial representation |
| JP6236296B2 (ja) | 2013-11-14 | 2017-11-22 | 株式会社デンソーアイティーラボラトリ | 学習装置、学習プログラム、及び学習方法 |
| CN103632137B (zh) * | 2013-11-15 | 2016-08-24 | 长沙理工大学 | 一种人眼虹膜图像分割方法 |
| WO2015081313A2 (en) | 2013-11-27 | 2015-06-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| US9430829B2 (en) | 2014-01-30 | 2016-08-30 | Case Western Reserve University | Automatic detection of mitosis using handcrafted and convolutional neural network features |
| EP3100098B8 (en) | 2014-01-31 | 2022-10-05 | Magic Leap, Inc. | Multi-focal display system and method |
| JP6509883B2 (ja) | 2014-01-31 | 2019-05-08 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 多焦点表示システムおよび方法 |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| IL231862A (en) | 2014-04-01 | 2015-04-30 | Superfish Ltd | Image representation using a neural network |
| WO2015164807A1 (en) | 2014-04-25 | 2015-10-29 | Texas State University | Detection of brain injury and subject state with eye movement biometrics |
| KR20200127267A (ko) | 2014-05-09 | 2020-11-10 | 아이플루언스, 인크. | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
| NZ764905A (en) | 2014-05-30 | 2022-05-27 | Magic Leap Inc | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
| US9536293B2 (en) | 2014-07-30 | 2017-01-03 | Adobe Systems Incorporated | Image assessment using deep convolutional neural networks |
| US20160034811A1 (en) | 2014-07-31 | 2016-02-04 | Apple Inc. | Efficient generation of complementary acoustic models for performing automatic speech recognition system combination |
| US9659384B2 (en) * | 2014-10-03 | 2017-05-23 | EyeEm Mobile GmbH. | Systems, methods, and computer program products for searching and sorting images by aesthetic quality |
| WO2016054779A1 (en) | 2014-10-09 | 2016-04-14 | Microsoft Technology Licensing, Llc | Spatial pyramid pooling networks for image processing |
| EP3161728B1 (en) * | 2014-10-10 | 2023-05-17 | Beijing Kuangshi Technology Co., Ltd. | Hierarchical interlinked multi-scale convolutional network for image parsing |
| CN104408717A (zh) | 2014-11-24 | 2015-03-11 | 北京航空航天大学 | 一种基于着色分离的病理图像颜色质量综合评价方法 |
| KR102276339B1 (ko) | 2014-12-09 | 2021-07-12 | 삼성전자주식회사 | Ｃｎｎ의 근사화를 위한 학습 장치 및 방법 |
| USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
| NZ740299A (en) | 2015-08-21 | 2019-08-30 | Magic Leap Inc | Eyelid shape estimation using eye pose measurement |
| CN105303185A (zh) * | 2015-11-27 | 2016-02-03 | 中国科学院深圳先进技术研究院 | 虹膜定位方法及装置 |
| EP3485425B1 (en) | 2016-07-14 | 2023-08-23 | Magic Leap, Inc. | Deep neural network for iris identification |
| CN114495249A (zh) | 2016-07-14 | 2022-05-13 | 奇跃公司 | 使用角膜曲率的虹膜边界估计 |
| RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
-
2016
- 2016-09-29 RU RU2016138608A patent/RU2016138608A/ru not_active Application Discontinuation
-
2017
- 2017-05-25 AU AU2017337317A patent/AU2017337317B2/en not_active Expired - Fee Related
- 2017-05-25 CN CN201780073170.4A patent/CN110022753B/zh active Active
- 2017-05-25 KR KR1020227035459A patent/KR102583040B1/ko active IP Right Grant
- 2017-05-25 CA CA3038031A patent/CA3038031A1/en active Pending
- 2017-05-25 IL IL265534A patent/IL265534B2/en unknown
- 2017-05-25 JP JP2019516390A patent/JP6785952B2/ja active Active
- 2017-05-25 IL IL308022A patent/IL308022A/en unknown
- 2017-05-25 KR KR1020217006298A patent/KR102456024B1/ko active IP Right Grant
- 2017-05-25 KR KR1020197011904A patent/KR102225527B1/ko active IP Right Grant
- 2017-05-25 US US15/605,567 patent/US10445881B2/en active Active
- 2017-05-25 EP EP17856946.3A patent/EP3518731A4/en active Pending
- 2017-05-25 KR KR1020237032251A patent/KR20230137500A/ko not_active Application Discontinuation
- 2017-05-25 WO PCT/US2017/034482 patent/WO2018063451A1/en unknown
- 2017-05-25 CN CN202210134787.5A patent/CN114495250A/zh active Pending
-
2019
- 2019-09-13 US US16/570,418 patent/US11100644B2/en active Active
-
2020
- 2020-05-22 JP JP2020089392A patent/JP7035110B2/ja active Active
-
2021
- 2021-08-20 US US17/407,763 patent/US11776131B2/en active Active
-
2022
- 2022-03-02 JP JP2022031663A patent/JP7253087B2/ja active Active
-
2023
- 2023-08-24 US US18/455,093 patent/US20240029269A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004206444A (ja) * | 2002-12-25 | 2004-07-22 | Matsushita Electric Ind Co Ltd | 個人認証方法および虹彩認証装置 |
| US20150324974A1 (en) * | 2012-12-05 | 2015-11-12 | Eye-Cu Life Systems Ltd. | Computerized iridodiagnosis |
| JP2015536519A (ja) * | 2012-12-10 | 2015-12-21 | エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ | バイオメトリク虹彩照合システム |
Non-Patent Citations (2)
| Title |
|---|
| Deep Cross Residual Learning for Multitask Visual Recognition, 2006.04. |
| FLEXIBLE IMAGE SEGMENTATION AND QUALITY ASSESSMENT FOR REAL-TIME IRIS RECOGNITION, IEEE, 2009. |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE2251254A1 (en) * | 2022-10-28 | 2024-04-29 | Kontigo Care Ab | Method for estimating pupil size |
| WO2024091171A1 (en) * | 2022-10-28 | 2024-05-02 | Kontigo Care Ab | Method for estimating pupil size |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102456024B1 (ko) | 눈 이미지 세그먼테이션 및 이미지 품질 추정을 위한 뉴럴 네트워크 | |
| JP7237137B2 (ja) | 虹彩識別のためのディープニューラルネットワーク | |
| US11538280B2 (en) | Eyelid shape estimation using eye pose measurement | |
| US20220058808A1 (en) | Real Time Perspective Correction on Faces | |
| KR20210028185A (ko) | 사람 자세 분석 시스템 및 방법 | |
| KR20220074715A (ko) | 이미지 처리 방법 및 장치 | |
| NZ788647A (en) | Neural network for eye image segmentation and image quality estimation | |
| CN118710562A (zh) | 视线矫正方法、装置、计算机设备和可读存储介质 | |
| WO2023056149A1 (en) | Image processing framework for performing object depth estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |