KR101909006B1

KR101909006B1 - 화상 위치 맞춤 장치, 화상 위치 맞춤 방법, 및 화상 위치 맞춤 프로그램

Info

Publication number: KR101909006B1
Application number: KR1020177000056A
Authority: KR
Inventors: 아츠시 나카자와; 크리스티안 니츄케
Original assignee: 고쿠리츠켄큐카이하츠호진 카가쿠기쥬츠신코키코
Priority date: 2014-07-24
Filing date: 2015-07-23
Publication date: 2018-10-17
Anticipated expiration: 2035-07-23
Also published as: CN106575439B; US20170169578A1; CN106575439A; EP3188129A1; JP6371849B2; EP3188129A4; WO2016013634A1; KR20170020839A; JPWO2016013634A1; US10628948B2

Abstract

화상 위치 맞춤 장치는 제 1 화상을 구면 광선 맵으로 옮기는 사상인 제 1 사상과 제 2 화상을 구면 광선 맵으로 옮기는 사상인 제 2 사상을 결정하는 매핑부와, 제 1 화상 중의 한점과, 해당 한점과 대응하는 제 2 화상 중의 한점을 검출함으로써 대응점 쌍을 추출하는 대응점 쌍 추출부와, 구면 광선 맵에 있어서의 제 1 화상의 상과, 구면 광선 맵에 있어서의 제 2 화상의 상을 위치 정합시키는 회전 사상을, 대응점 쌍을 구성하는 제 1 화상 중의 한점의 위치 및 국소 특징량, 및 대응점 쌍을 구성하는 제 2 화상 중의 한점의 위치 및 국소 특징량에 의거하여 도출하는 회전 사상 도출부와, 제 1 사상과 회전 사상과 제 2 사상에 의거하여 제 1 화상의 데이터를 제 2 화상의 데이터에 대하여 위치 맞춤하여 제 2 화상에 대하여 위치 맞춤된 제 1 화상의 데이터를 생성하는 레지스트레이션부를 갖는다.

Description

화상 위치 맞춤 장치, 화상 위치 맞춤 방법, 및 화상 위치 맞춤 프로그램{IMAGE REGISTRATION DEVICE, IMAGE REGISTRATION METHOD, AND IMAGE REGISTRATION PROGRAM}

본 발명은 화상의 위치 맞춤(레지스트레이션(registration), 얼라인먼트(alignment))을 위한 장치에 관한 것이다.

특허문헌 1에는 피험자가 주시하고 있는 점(주시점) 및 동 피험자의 개인 파라미터를 추정하는 장치가 기재되어 있다. 상기 장치는 피험자의 안구의 상이 포함되는 화상(안구 화상)을 취득하고, 해당 안구 화상으로부터 안구의 자세(즉, 안구의 광축 방향)를 추정함과 아울러, 피험자의 시선 방향(주시 방향)을 추정한다. 그리고, 상기 장치는 안구의 광축 방향과 시선 방향 사이의 편차량을 개인 파라미터로서 정량화한다.

국제 공개 제 2014/021169호 팸플릿

안구를 촬상하여 얻어지는 화상(안구 화상)에는 일반적으로 안구의 각막에서 경면 반사한 광의 상(각막 표면 반사상)이 포함된다. 해당 각막 표면 반사상은 피험자가 실제로 보고 있는 광경과 대응하고 있다. 이것을 이용하여, 예를 들면 그러한 각막 표면 반사상을 포함하는 안구 화상과, 피험자 주위의 풍경의 화상(씬 화상)을 이용하여 피험자가 본 광경을 복원하려고 하는 시도가 최근 활발하게 행해지고 있다. 이러한 연구 및 그 성과로부터 파생하는 다양한 어플리케이션에 있어서는 안구 화상과, 안구 화상과는 별도로 피험자의 주위의 풍경을 촬상하여 취득되는 씬 화상의 위치 맞춤(레지스트레이션)은 매우 중요한 기술이다.

그러나, 각막 표면 반사상에 많은 노이즈 성분이 포함되기 때문에, 안구 화상과 씬 화상의 위치 맞춤(레지스트레이션, 얼라인먼트)을 로버스트하게 행하는 것은 곤란했다.

본 발명은, 예를 들면 안구 화상과 씬 화상과 같은 2개 또는 그 이상의 화상 사이에서 상호 위치 맞춤(레지스트레이션, 얼라인먼트)을 로버스트하게 행할 수 있는 장치를 제공한다.

본 발명의 일 양태는,

제 1 화상의 데이터 및 제 2 화상의 데이터를 취득하는 취득부와,

제 1 화상의 데이터 및 제 2 화상의 데이터를 격납하는 기억부와,

제 1 화상을 구면 광선 맵으로 옮기는 사상인 제 1 사상과, 제 2 화상을 구면 광선 맵으로 옮기는 사상인 제 2 사상을 결정하는 매핑부와,

제 1 화상 중의 한점과, 해당 한점과 대응하는 제 2 화상 중의 한점을 검출함으로써 대응점 쌍을 추출하는 대응점 쌍 추출부와,

구면 광선 맵에 있어서의 제 1 화상의 상과, 구면 광선 맵에 있어서의 제 2 화상의 상을 위치 정합시키는 회전 사상을, 대응점 쌍을 구성하는 제 1 화상 중의 한점의 위치 및 국소 특징량, 및 대응점 쌍을 구성하는 제 2 화상 중의 한점의 위치 및 국소 특징량에 의거하여 도출하는 회전 사상 도출부와,

제 1 사상과, 회전 사상과, 제 2 사상에 의거하여 기억부에 격납된 제 1 화상의 데이터를, 기억부에 격납된 제 2 화상의 데이터에 대하여 위치 맞춤하여 제 2 화상에 대하여 위치 맞춤된 제 1 화상의 데이터를 생성하는 레지스트레이션부를 갖는 화상 위치 맞춤 장치이다.

(발명의 효과)

본 발명의 실시형태에 의한 화상 위치 맞춤 장치는 2개 또는 그 이상의 화상 사이에서 상호 위치 맞춤(레지스트레이션, 얼라인먼트)을 로버스트하게 행할 수 있다.

도 1은 아이 카메라 및 씬 카메라의 배치예를 나타내는 도이다.
도 2는 아이 카메라가 촬상한 안구 화상의 예(a), 및 씬 카메라가 촬상한 씬 화상의 예(b)를 나타내는 도이다.
도 3은 실시형태에 의한 화상 위치 맞춤 방법의 개략을 나타내는 도이다.
도 4는 실시형태에 의한 화상 위치 맞춤 장치의 구성을 나타내는 블록도이다.
도 5는 화상 위치 맞춤 장치가 실행하는 화상 위치 맞춤의 처리 흐름을 나타내는 플로우차트이다.
도 6은 취득한 안구 화상 및 씬 화상, 및 좌우 반전을 실시한 안구 화상의 예를 나타내는 도이다.
도 7은 약투시 투영 모델을 사용한 안구 자세 추정의 방법을 설명하는 도이다.
도 8은 안구 화상 및 씬 화상에 있어서의 초기 대응점 쌍의 예를 나타내는 도이다.
도 9는 안구 화상 및 씬 화상에 있어서의 복수 세트의 초기 대응점 쌍의 예를 나타내는 도이다.
도 10은 도 5의 스텝 S5에서의 처리(RANRESAC 처리)의 상세를 나타내는 플로우차트이다.
도 11은 제 i 세트의 초기 대응점 쌍을 나타내는 도이다.
도 12는 안구 화상에 있어서 부차적 대응점을 랜덤하게 플롯한 예를 나타내는 도이다.
도 13은 제 i 세트의 초기 대응점 쌍에서의 대응 관계에 따라서 도출된 워핑 함수에 의거하여 안구 화상 상에 랜덤하게 플롯된 부차적 대응점에 대응하는 씬 화상 상의 부차적 대응점을 플롯한 예를 나타내는 도이다.
도 14는 레지스트레이션된 안구 화상의 예, 및 파인 레지스트레이션(미세 조정)의 실행의 예를 나타내는 도이다.
도 15는 실시형태에 의한 얼라인먼트 장치를 사용한 응용예(시점 추정)를 나타내는 도이다.
도 16은 실시형태에 의한 얼라인먼트 장치를 사용한 응용예(주변 시야 추정)를 나타내는 도이다.
도 17은 실시형태에 의한 얼라인먼트 장치를 사용한 응용예(홍채 인증용 화상의 생성)를 나타내는 도이다.

1. 발명에 이른 경위

도 1에 나타내는 바와 같은 시스템을 예로 들어, 본 발명에 이른 경위를 설명한다. 동 도의 시스템은 피험자의 안구(20)(중, 주로 각막(21))를 촬상하는 아이 카메라(911e)와, 피험자가 보고 있는 광경(씬)을 촬상하는(촬상 방향이 피험자의 시선 방향과 대략 일치하도록 설치되어 있는) 씬 카메라(911s)를 갖는다. 동 시스템에는 도시되지 않은 컴퓨터가 더 포함되고, 그 컴퓨터가 아이 카메라(911e)가 촬상한 화상(안구 화상)으로부터 피험자의 시선 방향을 추정함과 아울러, 씬 카메라(911s)가 촬상한 화상(씬 화상)을 이용하여 피험자가 보고 있는 광경을 고세밀하게 복원하는 것을 시도한다.

도 2는 도 1의 시스템의 아이 카메라(911e) 및 씬 카메라(911s)가 촬상하는 안구 화상 및 씬 화상의 예를 나타내는 도이다. 도 2(a)는 아이 카메라(911e)가 촬상한 피험자의 안구의 화상(안구 화상)(Ie9)의 예이다. 도 2(b)는 씬 카메라(911s)가 촬상한 피험자가 본 광경(씬)의 화상(씬 화상)(Is9)의 예이다.

상기한 컴퓨터는(예를 들면, 영역(I930e)에 보여지도록) 각막 표면에서의 반사광의 상으로부터 피험자가 보고 있는 광경(씬)을 추정한다. 그리고, 컴퓨터는 해당 씬에 대응하는 영상을 씬 화상(Is9), 예를 들면 영역(I930s)으로부터 구하고, 이 결과를 근거로 하여 고세밀한 씬 화상(Is9)을 사용하여 피험자가 본 광경을 복원하려고 한다.

그러나, 안구 화상(Ie9)을 보면, 각막 표면 반사상의 콘트라스트는 비교적 낮고, 또한 각막 표면 반사상에는 홍채의 텍스처(Iit)나, 속눈썹(Iel) 및 속눈썹의 그림자(Isel)라고 한 노이즈가 넘쳐나고 있다. 또한, 각막이 곡면상의 표면을 갖기 때문에, 각막에 비추는 씬의 영상은 비선형적인 변형을 받고 있다. 그 때문에, 종래의 화상 위치 맞춤의 방법에서는 안구 화상(Ie9)과 씬 화상(Is9)을 로버스트하게 위치 맞춤하는 것은 곤란했다.

2. 본 발명의 실시형태의 개요

그래서, 본원 발명자는 이하에 설명하는 신규한 화상 위치 맞춤을 위한 장치 및 방법을 제안한다. 우선, 여기에서는 도 3을 참조하여, 본 발명의 실시형태에 의한 화상 위치 맞춤 장치가 실행하는 화상 위치 맞춤 방법의 개요를 설명한다.

본 발명의 실시형태에 의한 화상 위치 맞춤 장치는 안구 화상(Ie)과 씬 화상(Is)의 데이터를 취득하고, 메모리 등의 기억 수단에 격납한다. 그리고, 화상 위치 맞춤 장치는 씬 화상(Is) 및 안구 화상(Ie) 각각을 구면 광선 맵(구면 광선 환경, Environmental Map(EM))으로 옮기는 사상(제 1 사상 및 제 2 사상)을 결정한다. 여기서의 「구면 광선 맵」이란 화상을 촬상한 수단을 중심으로 하여 해당 중심에 입사하는 광을 소정의 반경을 갖는 구면에 매핑할 때에 생성되는 촬상 수단을 둘러싸는 광선 환경에 관한 맵이다. 도 3(c)는 씬 화상(Is)에 관한 구면 광선 맵(EMs)의 예이고, 동 도에는 구면 광선 맵(EMs)에 있어서의 씬 화상의 상이 나타내어져 있다. 도 3(d)는 안구 화상(Ie)에 관한 구면 광선 맵(EMe)의 예이고, 동 도에는 구면 광선 맵(EMe)에 있어서의 안구 화상의 상이 나타내어져 있다. 여기에서는 씬 화상(Is)을 구면 광선 맵(EMs)으로 옮기는(변환하는) 사상(변환 함수)을 As()라고 하고, 안구 화상(Ie)의 각막 표면 반사상을 구면 광선 맵(EMe)으로 옮기는(변환하는) 사상(함수)을 L()라고 하고 있다. 예를 들면, 씬 화상(Is)의 화소(x₁)는 사상(As)에 의해 구면 광선 맵(EMs) 상의 As(x₁)으로 옮겨지고, 안구 화상(Ie)의 화소(x₂)는 사상(L)에 의해 구면 광선 맵(EMe) 상의 L(x₂)으로 옮겨진다.

이어서, 화상 위치 맞춤 장치는 씬 화상(Is)(제 1 화상)과, 안구 화상(Ie)(제 2 화상)(의 각막 표면 반사상) 사이에서 대응하는 특징점의 페어(이하에서 「초기 대응점 쌍」이라고 불리는 점 쌍)를 적어도 한 쌍(예를 들면, 점(p)과 점(q)의 한 쌍) 구한다. 화상 위치 맞춤 장치는 여기에서의 대응점의 검출을 위해서, 기존의 방법(SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features) 등)을 사용할 수 있다. SIFT나 SURF라고 한 기존의 특징점 검출의 방법에서는 검출된 대응점 쌍의 각 특징점(점(p), 점(q)) 각각에 관한 국소 특징량으로서, 방향(오리엔테이션)의 정보(θ_p, θ_q)를 산출할 수 있다. 화상 위치 맞춤 장치는 이 오리엔테이션의 정보(θ_p 및 θ_q)와 대응점(특징점)(점(p), 점(q))의 위치의 정보를 이용하여, 구면 광선 맵(EMs) 상의 씬 화상의 상을 구면 광선 맵(EMe) 상의 각막 표면 반사상에 대하여 위치 정합시키는 회전 사상(R)을 결정한다. 여기에서는 구면 광선 맵(EMs)과 구면 광선 맵(EMe)이 실질적으로 동일하다고 가정하고, 그러므로 상기 위치 정합은 회전 사상(R)에 의해 표현 가능한 것을 가정하고 있다. (즉, 예를 들면, 씬 화상(Is)의 화소(q₁)는 사상(As)에 의해 구면 광선 맵(EMs) 상의 As(q)으로 옮겨지고, 구면 광선 맵(EMs) 상의 씬 화상의 상의 화소 As(q)에 있어서의 오리엔테이션의 정보는 As'(q, θ_q)라고 표현되고, 안구 화상(Ie)의 화소(p)는 사상(L)에 의해 구면 광선 맵(EMs)과 공통되는 구면 광선 맵(EMs) 상의 L(p)로 옮겨지고, 구면 광선 맵(EMe) 상의 안구 화상(의 각막 표면 반사상)의 상의 화소 L(p)에 있어서의 오리엔테이션의 정보는 L'(p, θ_p)라고 표현된다.)

최후에, 화상 위치 맞춤 장치는 안구 화상(Ie)의 각 화소에 대하여, 사상(L()), 회전 사상(R)의 역사상((R^-1), 사상(As())의 역사상((As()^-1)(도 중의 워핑 함수 W(W=As()^-1·R^-1·L()))을 적용함으로써, 안구 화상(Ie)의 각 화소를 씬 화상(Is)에 대하여 위치 맞춤(레지스트레이션, 얼라인먼트)한다. 즉, 본 실시형태에 의하면, 화상 위치 맞춤의 문제는 구면 광선 맵 상에서의 2개의 상의 위치 정합의 문제에 귀착된다. 구면 상의 위치 정합의 문제에 귀착됨으로써, 레지스트레이션에 필요한 구해야 할 파라미터의 수가 저감되는 효과가 나타난다. 그 때문에, 본 화상 위치 맞춤 장치는 단 1세트의 초기 대응점 쌍(특징점(p)과 특징점(q)에서 구성되는 페어)을 구함으로써 위치 맞춤이 가능해진다. 즉, 본 화상 위치 맞춤 장치가 실행하는 화상 위치 맞춤 방법에 있어서는 단 1세트의 초기 대응점 쌍(의 각 특징점의 위치 및 국소 특징량(오리엔테이션))을 결정하기만 하면 정확하게 레지스트레이션을 실행 가능하다. 이 의미에서, 본 화상 위치 맞춤 장치가 실행하는 화상 위치 맞춤은 로버스트하다. 즉, 정확한 초기 대응점 쌍을 복수 세트 추출하는 것이 곤란한 경우에도, 본 화상 위치 맞춤 장치는 단 1세트의 초기 대응점 쌍을 결정하기만 하면 정확하게 레지스트레이션을 실행 가능하다는 의미에서, 본 방법은 로버스트하다. 또한, 화상 위치 맞춤 장치는 초기 대응점 쌍의 검출 및 해당 초기 대응점 쌍을 구성하는 각 점에서의 국소 특징량(예를 들면, 오리엔테이션의 정보)의 산출에 상기 SIFT 및 SURF 이외에도, MSER(Maximally Stable External Regions)이라고 한 방법을 사용할 수 있다.

또한, 화상 위치 맞춤 장치가 상기 「1세트의 초기 대응점 쌍」을 결정하는 공정도 신규한 특징을 갖고 있다. 본 명세서에서는 이 신규하고 특징적인 초기 대응점 쌍 추출 공정을 「RANRESAC」(RANdom RESAmple Consensus)라고 한다. RANRESAC는 한마디로 말하면, 2화상의 복수의 초기 대응점 쌍의 후보로부터 가장 대응이 좋은 1세트의 초기 대응점 쌍을 결정하여 해당 1세트의 초기 대응점 쌍에 의거하여 화상의 위치 맞춤을 하는 것이다. RANRESAC는 최적인 단 1세트의 최적인 초기 대응점 쌍에 의거하여 화상의 위치 맞춤을 하는 점에 있어서, 위치 맞춤에 많은 적절한(잘 대응한) 대응점 쌍을 필요로 하는 RANSAC(RANdom SAmple Consensus)와 크게 상위한다. 또한, 이 RANRESAC가 적용 가능한 2화상은 안구 화상과 씬 화상의 조합으로 한정되지 않는다.

이하에서는 안구 화상(의 각막 표면 반사상)과 씬 화상 사이에서의 화상 위치 맞춤(레지스트레이션)을 예로서, 본 발명의 실시형태에 의한 화상 위치 맞춤 장치 및 방법을 설명한다. 그러나, 본 발명은 말할 것도 없는 일이지만, 안구 화상 및 씬 화상으로 한정되지 않고, 다양한 화상에 대해서 상호 위치 맞춤(레지스트레이션, 얼라인먼트)을 행할 수 있다.

3. 화상 위치 맞춤 장치의 구성

도 4는 본 발명의 실시형태에 의한 화상 위치 맞춤 장치(10)의 구성을 나타내는 개략도이다. 화상 위치 맞춤 장치(10)는 피험자의 안구(20)(중, 주로 각막(21))를 촬상하는 아이 카메라(11e)로부터 화상 데이터(「안구 화상」의 데이터)를 취득하기 위한 제 1 영상 인터페이스(3e)와, 피험자가 보고 있는 광경(씬)을 촬상하는(촬상 방향 및 화각이 피험자의 시선 방향(안구의 광축 방향)과 대략 일치하도록(또는 시선 방향을 포함하도록) 설치되어 있는) 씬 카메라(11s)로부터 화상 데이터(「씬 화상」의 데이터)를 취득하기 위한 제 2 영상 인터페이스(3s)를 구비하고 있다. 또한, 화상 위치 맞춤 장치(10)는 제 1 및 제 2 영상 인터페이스(3e, 3s)를 통하여 장치(10)에 입력되어 기억부(2)에 격납된 씬 화상 및 안구 화상의 데이터를 이용하여 양쪽 화상의 위치 맞춤을 행하는 연산부(1)(제어부)와, 안구 화상의 데이터나 씬 화상의 데이터라고 한 각종 데이터 및 연산부(1)가 실행하는 프로그램 등을 격납하는 기억부(2)를 구비한다. 또한, 화상 위치 맞춤 장치(10)는 아이 카메라(11e)와 씬 카메라(11s)와 함께 화상 위치 맞춤 시스템을 구성한다.

연산부(1)는 소정의 프로그램(화상 위치 맞춤 프로그램)을 실행함으로써, 화상 위치 맞춤 장치의 매핑부, 대응점 추출부, 회전 사상 도출부 및 레지스트레이션부로서 동작한다.

입력부(5)는 외부의 연산 장치에 대한 데이터 인터페이스, 및 유저로부터의 데이터 입력을 접수하는 유저 인터페이스를 포함하고, 유저 인터페이스는 마우스, 키보드라고 한 입력 장치를 포함한다.

또한, 연산부(1)는 장치(10)의 전체의 동작을 제어하는 제어부로서도 동작한다. 해당 제어 동작의 하나로서, 연산부(1)는 씬 카메라(11s) 및 아이 카메라(11e)의 동작(촬영 등)을 제어해도 좋다.

연산부(1)는, 소위 중앙 처리 장치(CPU, Central Processing Unit)이다. 그러나, 연산부(1)의 구성은 CPU 및 그 주변의 보조 회로로 한정되지 않는다. 연산부(1)는 소정의 연산 처리에 특화한 GPU(Graphics Processing Unit) 등이어도 좋다. 또는, 연산부(1)는 ASIC(Application Specific Integrated Circuit)나, FPGA(Field-Programmable Gate Array)과 같은 프로그램 가능 논리 소자나, 마이크로 콘트롤러라고 한 프로세서로서 실장하는 것도 가능하다. 연산부(1)는 CPU 등의 상기 요소를 복수 조합하여 구성되어도 좋고, 또한 연산부(1)를 구성하는 요소는 상기 예로 한정되는 것은 아니다. 연산부(1)는 기억부(2)에 격납된 화상 위치 맞춤 프로그램을 실행함으로써, 본 발명의 실시형태에 의한 화상 위치 맞춤 방법을 실행할 수 있다. 또한, 화상 위치 맞춤 프로그램은 플렉시블 디스크, 광디스크, 플래시 메모리 등에 기록되어도 좋고, 또한 인터넷 등의 네트워크를 통하여 송신되어도 좋다.

기억부(2)는 각종 데이터 및 연산부(1)가 실행하는 화상 위치 맞춤 프로그램 등을 격납한다. 기억부(2)는, 예를 들면 ROM(Read-Only memory) 및 RAM(Random Access Memory)이다. 기억부(2)에는 화상 위치 맞춤 프로그램 외, 씬 카메라(11s) 및 아이 카메라(11e)의 카메라 내부 매트릭스(camera internal matrix)가 유지되어 있다. (카메라 내부 매트릭스란 카메라 내부 파라미터를 그 요소에 포함하는 매트릭스 형식의 데이터이다.) 카메라 내부 매트릭스의 데이터는 화상 위치 맞춤 전에 외부로부터 기억부(2)로 로딩하여 기억부(2)에 격납되어져도 좋고, 또는 카메라 내부 매트릭스의 데이터는 화상 위치 맞춤 프로그램에 포함되어도 좋다. 또는, 화상 위치 맞춤 장치(10)는 화상 위치 맞춤 전에 연산부(1)(CPU)의 제어 하, 씬 카메라(11s) 및 아이 카메라(11e)에 대해서 카메라 캘리브레이션을 행함으로써 각각의 카메라 내부 매트릭스를 구하여 그들을 기억부(2)에 격납하도록 동작해도 좋다.

출력부(4)는 연산부(1)가 행한 화상 위치 맞춤의 결과를 출력한다. 출력부(4)는, 예를 들면 모니터 디스플레이이고, 또는 프린터이다. 또는, 출력부(4)는 하드디스크나 플래시 메모리라고 한 외부 기억 장치나, 네트워크를 통하여 접속된 다른 컴퓨터와의 접속을 실현하기 위한 인터페이스 기구를 구비해도 좋다.

4. 화상 위치 맞춤의 흐름

이어서, 도 5∼도 14를 참조하여 화상 위치 맞춤 장치(10)의 연산부(1)(도 4)가 화상 위치 맞춤 프로그램을 실행했을 때에 행하는 처리에 대해서 설명한다.

도 5는 화상 위치 맞춤 장치(10)(도 4)가 실행하는 화상 위치 맞춤의 처리의 흐름을 나타내는 플로우차트이다.

스텝 S1에 있어서, 연산부(1)(도 4)는 취득부로서 동작하고, 아이 카메라(11e)가 촬상한 안구 화상 및 씬 카메라(11s)가 촬상한 씬 화상을 취득한다. 도 6(a)는 그와 같이 하여 취득된 씬 화상(Is)의 예이고, 도 6(b)는 동일한 방법으로 취득된 안구 화상(Ie')의 예이다. 취득한 씬 화상(Is) 및 안구 화상(Ie')은 기억부(2)(도 4)에 격납된다.

스텝 S2에 있어서, 연산부(1)(도 4)는 계속해서 취득부로서 동작하고, 취득한 안구 화상(Ie)을 좌우측 방향에 대해서 반전시킨다. 이것은 안구 화상(Ie)의 각막 표면 반사 상에 포함되는 씬의 방향을 씬 화상(Is)에 있어서의 씬의 상의 방향과 일치시키기 위해서이다. 도 6(c)는 그와 같이 하여 반전된 안구 화상(Is)의 예이다. 반전된 안구 화상(Is)은 기억부(2)(도 4)에 격납된다. 이후, 연산부(1)는 반전된 안구 화상(Is)을 이용하여 처리를 행한다. 또한, 화상의 반전의 처리는 안구 화상(Ie) 대신에, 씬 화상(Is)에 대하여 실시되어도 좋다.

스텝 S3에 있어서, 연산부(1)(도 4)는 매핑부로서 동작하고, 씬 화상(Is)을 구면 광선 맵(EMs)으로 옮기는 사상(As())(도 3)과, 안구 화상(Ie)(의 각막 표면 반사상)을 구면 광선 맵(EMe)으로 옮기는 사상(L())(도 3)을 결정한다.

씬 화상(Is)을 구면 광선 맵(EMs)으로 옮기는 사상(As())(도 3)은 다음과 같이 하여 결정된다. 연산부(1)(도 4)는 기억부(2)(도 4)에 격납되어 있는 씬 카메라(11s)의 3×3 카메라 내부 매트릭스(Ks)를 판독한다. 그리고, 연산부(1)는 사상(As())을 다음식

에 따라 결정한다. (여기서, 벡터(q)는 씬 화상(Is) 중의 점(화소)을 가리키는 벡터이다. 씬 화상(Is) 중의 점(q)는 사상(As())에 의해 벡터(As(q))가 가리키는 구면 광선 맵(EMs) 상의 점으로 옮겨진다.) 연산부(1)는 이와 같이 하여 결정한 사상(As())(변환 함수)을 기억부(2)에 격납한다.

한편, 연산부(1)는 다음과 같이 하여 안구 화상(Ie)을 구면 광선 맵(EMe)으로 옮기는 사상(L())(도 3)을 결정한다.

사상(L())의 결정 방법에 대해서, 주로 도 7을 참조하여 설명한다. 도 7(a)은 구면(각막구(21_SPH)의 표면)의 일부로 간주한 각막(21)과, 아이 카메라(11e)(원점 O)로 구성되는 비강체 반사 굴절 결상계(non-rigid catadioptric imaging system)의 약투시 투영 모델이다. 도 7(b)는 원점 O측에서 보았을 경우의 투영면(IP)의 예 도이다. 도 7(c)는 안구의 광축 방향 벡터(g)와 각도(φ 및 τ)의 관계를 설명하는 도이다. 이 약투시 투영 모델에 있어서는 각막(21)은 각막구(21_SPH)를 각막 가장자리(21_L)에서 잘라낸 부분 구면으로 간주할 수 있다. 또한 여기에서는 각막(21)의 대표 치수(반경(r_L), 각막 가장자리 중심(I)과 구면(21_SPH)의 중심(C) 사이의 거리(d_LC))로서, 고정값(인간의 평균값)을 채용하는 것으로 한다.

안구의 자세는 각막 가장자리 중심(I)의 위치와, 안구 광축 방향(g)으로 정할 수 있다. Z_cam 축 방향에 관한 것으로서, 각막(21)의 두께는 충분히 얇다고 가정하면, 거의 원형인 각막 가장자리(21_L)는 투영면(IP)에 있어서, (원형을 포함한) 타원(21_LP)이 된다. 이 타원(21_LP)은 중심(i_I), 장축의 길이(r_max), 단축의 길이(r_min), 및, 회전각(φ)의 4개의 파라미터로 정할 수 있다. 각막 가장자리(21_L)의 중심의 위치는 투영면(IP)에 있어서의 타원(21_LP)의 중심(i_I), 및 각막(21)과 카메라(원점 O) 사이의 거리(d)(d=r_L·f/r_max, (f는 초점거리))라고 정할 수 있다. 즉, 각막(21L)의 중심을 가리키는 위치 벡터를 벡터(I)라고 하면, I=d·Ke^- ¹i_I라고 나타낼 수 있고, 여기서 Ke는 씬 카메라(11s)의 3×3 카메라 내부 매트릭스이다.

이어서, 안구 광축 방향(g)(이것은 피험자의 시선 방향과 대략 일치한다.)은 방향 벡터(g)=[sin(τ)sin(φ)-sin(τ)cos(φ)-cos(τ)]^T라고 나타낼 수 있고, 여기서, 각도(τ)는 아이 카메라(11e)의 결상면(투영면(IP))에 대한 각막 가장자리(21L)의 경사, 즉 τ＝±arccos(r_min/r_max)이고, 각도(φ)는 동 결상면에 대한 타원(21_LP)의 회전각이다.(도 7(a)부터 (c)를 참조)

이어서, 각막구(21_SPH)의 중심(C)의 위치에 대해서 고찰한다. 각막구(21_SPH)의 반경(r_C)을 대략 7.7밀리미터(인간의 평균값)라고 하면, 각막구 중심(C)은 광축 방향(g)의 마이너스 방을 따라 각막 가장자리 중심(I)으로부터 대략 5.6밀리미터(d_LC ²=r_C ²-r_L ²)의 위치에 있는 것을 알았다.

이상을 근거로, 안구 화상(Ie)(도 6(c))으로서 결상되는 광의 경로의 역경로(안구 화상(Ie)의 화소(p)로부터 나온 광이 각막(21) 상의 점(P)으로 반사하여 씬 내의 광원으로 향하는 경로)를 고려한다. 아이 카메라(11e)(도 4)의 3×3 카메라 내부 매트릭스를 Ke라고 하면, 아이 카메라(11e)의 정규화 역투영 벡터(Ae(p))는

로 나타낼 수 있고, 여기서 벡터(p)는 안구 화상 중의 픽셀(p)의 위치 벡터이다. 각막(21) 상의 점(P)에 있어서 반사한 광이 안구 화상의 픽셀(p)에 결상 할 때, 점(P)의 위치 벡터는 P=t₁×Ae(p)라고 나타낼 수 있다. 각막구(21_SPH)의 중심을 C로 하여, 관계식 ||P-C||²=r_C ²를 t₁에 대해서 푼다.

여기서, 정의로부터 ||Ae(p)||²=1이기 때문에,

를 얻는다. 각막 표면에 있어서의 반사광에 흥미가 있으므로, 2개의 t₁ 중에서 값이 작은 쪽을 채용한다. 이에 따라, 안구 화상의 픽셀(p)에 결상하는 광의 각막(21) 상에 있어서의 반사점(P)이 정해진다. 이상으로부터, 안구 화상의 픽셀(p)에 결상하는 광의 경로의 씬 중의 점을 나타내는 벡터(L(p))와, 각막 표면 상의 점(P)에 있어서의 법선 벡터(N(p))는 다음식

으로 구할 수 있다. 상기 식을 사용함으로써 안구 화상(Ie)의 적어도 눈동자 영역의 화소의 영상에 대해서 각막 표면에서 반사한 광의 광원의 방향을 특정할 수 있다. 즉, 상기 식으로부터, 각막 표면 반사상에 관한 구면 광선 맵(EMe)(도 3)을 구성할 수 있다. 다시 말하면, 식(5)의 L()은 안구 화상(Ie)(도 6)의 각막 표면 반사상을 상기 비강체 반사 굴절 결상계에 관한 구면 광선 맵으로 옮기는 사상(변환 함수)이다.

연산부(1)(도 4)는 매핑부로서 동작하여 상기 식 (2)부터 (5)에 해당하는 연산을 행함으로써, 안구 화상(Ie)의 각막 표면 반사상을 구면 광선 맵(EMe)으로 옮기는 사상(L())(도 3)을 결정한다. 해당 연산에 사용되는 계산 알고리즘은 화상 위치 맞춤 프로그램 내에 격납되어 있다. (여기서, 벡터(p)는 안구 화상(Is)의 각막 표면 반사상 중의 점(화소)을 가리키는 벡터이다. 안구 화상(Is)의 각막 표면 반사상 중의 점(p)은 사상(L())에 의해 벡터(L(p))가 가리키는 구면 광선 맵(EMe) 상의 점으로 옮겨진다.) 연산부(1)는 이와 같이 하여 결정된 사상(L())을 기억부(2)에 격납한다.

도 5로 돌아가서, 스텝 S4에 있어서, 연산부(1)는 대응점 추출부로서 동작하고, 도 8 및 도 9에 나타내는 바와 같이 씬 화상(Is)(도 6(a)) 및 안구 화상(Ie)(도 6(c))에 있어서 회전 스케일 불변한 특징점(LP_s1 및 LP_e1 등)을 검출하고, 그들 특징점 각각의 국소 특징량을 산출한다. 특징점의 검출 및 국소 특징량의 산출은, 예를 들면 SIFT를 따르면 좋다. 특징점의 검출 및 국소 특징량의 산출에 필요한 알고리즘은 기억부(2)에 격납된 화상 위치 맞춤 프로그램 내에 격납되어 있다. 예를 들면, SIFT 특징량을 사용하는 경우, 연산부(1)가 산출하는 국소 특징량은 1. 위치의 정보(벡터(x)), 2. 오리엔테이션의 정보(θ^x), 3. 특징 벡터(벡터(F(x)), 4. 스케일 파라미터(s^x)의 4개의 성분으로 구성된다. 따라서, 국소 특징량은 안구 화상(Ie)의 i번째의 특징점(p)에 대해서

{p_i, F(p_i), θ_i ^p, s_i ^p}, 씬 화상(Is)의 i번째의 특징점(q)에 대해서

{q_i, F(q_i), θ_i ^q, s_i ^q}으로 표현할 수 있다. 연산부(1)는 검출한 특징점의 위치 및 국소 특징량을 기억부(2)에 격납한다.

이어서, 연산부(1)는 계속해서 대응점 추출부로서 동작하고, SIFT 등에 따라서 검출한 특징점 및 산출한 국소 특징량에 근거하여 씬 화상(Is) 중의 특징점(LP_s1등)과, 안구 화상(Ie) 중의 특징점(LP_s1등)의 대응점 매칭(CP1 등)을 행한다. 도 8은 1번째의 초기 대응점 쌍(CP1)을 예시한다. 연산부(1)는 도 9에 나타내는 바와 같이 대응점 매칭을 복수회 행하여, 복수 세트(M세트)의 초기 대응점 쌍(CP₁∼CP_M)을 구한다. 그리고, 연산부(1)는 대응점(LP_s1∼LP_sM 및 LP_e1∼LP_eM)의 위치, 및 초기 대응점 쌍(CP₁∼CP_M)의 대응 관계의 정보를 기억부(2)에 격납한다.

다음에. 스텝 S5에 있어서, 연산부(1)는 스텝 S4에서 구한 초기 대응점 쌍(CP₁∼CP_M) 각각에 대해서, 각 초기 대응점 쌍(CP₁, CP₂,…CP_M-1, 또는 CP_M)의 대응 관계에 의거하여 구면 광선 맵(EMs) 상에서의 씬 화상(Is)의 상과, 구면 광선 맵(EMe) 상에서의 안구 화상(Ie)(의 각막 표면 반사상)의 상을 위치 정합시키는(3×3 매트릭스) 회전 사상(R)을 다음식

에 따라 도출하고, 회전 사상(R)을 이용하여 안구 화상(Ie)의 화소를 씬 화상(Is)의 화소와 레지스트레이션하는 변환 함수(워핑 함수(W))를 도출한다. 식(6)에 있어서의 벡터(p) 및 벡터(q)는 초기 대응점 쌍(CP₁, CP₂,…CP_M-1, 또는 CP_M)을 구성하는 씬 화상(Is) 및 안구 화상(Ie)의 점(LP_s1, LP_s2,…, LP_sM-1 또는 LP_sM, 및 LP_e1, LP_e2,…, LP_eM-1 또는 LP_eM)이다. 또한, 씬 카메라(11s)를 구성하는 광학계와, 아이 카메라(11e) 및 각막(21)으로 구성되는 결상계는 양자와도, 실질적으로 동일한 광선 환경에 있는 것을 가정하고 있다. (이 가정에 의해, 안구 화상(Ie)과 씬 화상(Is)의 레지스트레이션(워핑 함수(W)의 도출신)은 회전 사상(R)의 도출에 귀착된다.)

연산부(1)는 다음과 같이 표현되는 계산 알고리즘에 따라서 회전 사상(R)을 도출한다.

식(1) 및 식 (6) 및 도 3 등으로부터 명백한 바와 같이, 씬 화상(Is)의 i번째의 대응점(LP_si)과 안구 화상(Ie)의 i번째의 대응점(LP_ei)으로 구성되는 초기 대응점 쌍(CP_i)의 대응 관계에 따른 회전 사상(R_i)은

이고, 여기서

이다. 식(7)의 해트 기호(「^」)는 규격화된 벡터를 나타내고, L'() 및 As'()는 이차원으로 나타내어진 오리엔테이션의 정보를 구면 광선 맵에 있어서의 삼차원적인 오리엔테이션 정보로 변환하는 함수이다. 제 i 번째의 초기 대응점 쌍(CP_i)의 대응 관계에 따른 회전 사상(R_i)을 사용하면, 다음식

으로부터, 제 i 번째의 초기 대응점 쌍(CP_i)의 대응 관계에 따른 변환 사상(워핑 함수(Wi))이 정해진다. 워핑 함수(Wi)는 제 i 번째의 초기 대응점 쌍(CP_i)의 대응 관계에 따라서 안구 화상(Ie)의 화소를 씬 화상(Is)의 화소에 대하여 레지스트레이션하는 사상이다. 연산부(1)는 초기 대응점 쌍(CP₁∼CP_M)과 대응시키고, 워핑 함수(Wi)(i:1∼M)를 기억부(2)에 격납한다.

도 5로 돌아가서, 스텝 S6에 있어서, 연산부(1)(도 4)는 대응점 쌍 추출부로서 동작하고, M세트의 초기 대응점 쌍 각각의 대응 관계를 평가하여 가장 높게 평가된 점 쌍으로 구성되는 초기 대응점 쌍을 대응점 쌍으로서 추출한다(「RANRESAC」처리). 보다 구체적으로는 연산부(1)는 RANRESAC 처리에 있어서는 상기 초기 대응점 쌍 중 1세트의 점 쌍의 대응 관계를 따르도록, 상기 제 1 화상 및 상기 제 2 화상에 있어서 복수의 부차적 대응점 쌍을 특정하여 그들 부차적 대응점 쌍의 대응 관계를 평가함으로써, 상기 초기 대응점 쌍의 1세트의 점 쌍의 대응 관계를 평가한다. 그리고, 가장 높게 평가된 점 쌍으로 구성되는 초기 대응점 쌍을 최적인 초기 대응점 쌍으로서 추출한다. 즉, 연산부(1)는 스텝 S5에 있어서 초기 대응점 쌍(CP_i)에 따라 구한 워핑 함수(W_i)를 이용하여 안구 화상(Ie) 및 씬 화상(Is)에 있어서 부차적인 대응점 쌍을 더 구하고, 그들 부차적인 대응점 쌍에 관한 화상 상관 관계를 계산하여 워핑 함수(W_i)의 정확성을 평가함으로써, 복수(M개)의 워핑 함수(W_i) 중으로부터 최적인 워핑 함수(W)를 결정한다.

도 10은 최적인 초기 대응점 쌍을 결정하기 위한 처리(RANRESAC의 처리)의 상세를 나타내는 플로우차트이다. 연산부(1)는 대응점 쌍 추출부로서 동작하고, 도 10에 나타내어진 처리를 실행한다.

스텝 S61에 있어서, 연산부(1)는 대응점 쌍 추출부로서 동작하고, i번째의 대응점 쌍(CP_i)(도 11)에 근거하여 구한 워핑 함수(W_i)를 이용하여 부차적인 대응점 쌍을 생성한다. 구체적으로는 연산부(1)는 안구 화상(Ie)의 각막의 영역을 검출하고, 각막의 영역 내에서 랜덤하게 K개의 점(SLP_ei)(도 12)을 설정한다. 그리고, 연산부(1)는 워핑 함수(Wi)를 이용하여 각막 영역 내의 K개의 점(SLP_ei) 각각과 대응하는 씬 화상(Is) 중의 점(SLP_si)(도 13)을 추출하고, K세트의 부차적인 대응점 쌍을 추출한다. 이들 부차적인 대응점 쌍은

으로 표현할 수도 있고, 여기서 벡터(p_j*)는 안구 화상(Ie)의 각막 영역 내의 랜덤하게 선택된 점을 가리키는 위치 벡터이다.

이어서, 스텝 S62에 있어서, 연산부(1)는 대응점 쌍 추출부로서 동작하고, 상기 부차적인 대응점 쌍의 그룹(워핑 함수(W_i)(i는 소여의 정수(i=1∼M))에 따라서 구해진 부차적 대응점 쌍 군)에 대해서, 국소적인 텍스처의 상관성 및 방향의 유사도를 척도로서 유사도를 평가한다. 구체적으로는 연산부(1)는 이하의 평가 함수를 이용하여 유사도를 평가한다.

상기 식의 우변 제 1 항은 텍스처의 유사도를 나타내고, 우변 제 2 항은 방향의 유사도를 나타내고 있다. 동 항의 σ_t, σ_o, α는 텍스처의 상관성과 방향의 유사도의 무게를 정의하는 정의 정수이다. (·,·)는 벡터의 내적이다. q_j ^*는 W(p_j ^*)를 나타낸다.

연산부(1)는 M세트의 초기 대응점 쌍 각각의 부차적인 대응점 쌍의 그룹에 대해서 식(10)을 사용하여 평가를 행한다(스텝 S63).

그리고, 연산부(1)는 스텝 S64에 있어서, 대응점 쌍 추출부로서 동작하고, 가장 유사도가 높다고 평가된 부차적인 대응점 쌍의 그룹, 즉

로 정해지는 제 i' 번째의 초기 대응점 쌍(CP_i _') 및 그 워핑 함수(W_i _')를 특정한다.

또한, 부차적인 대응점 쌍을 구성하는 각 점에 있어서의 국소 특징의 스케일 파라미터를 적절하게 설정하는 것이 중요하다. 이상적으로는 스케일 파라미터는 구면 광선 맵에 있어서 동일한 크기(공간 볼륨)를 차지하도록 조정되면 좋다. 여기에서는 다음식

에 따라서, 각 화상에서의 점(p, q)에 있어서의 스케일 파라미터의 비율을 구한다. 여기서, s_i ^p는 유저가 설정한 각막 표면 반사상에 있어서의 스케일 파라미터이고, s_i ^q는 대응하는 씬 화상 중의 점(q)에서의 스케일 파라미터이다.

도 5로 돌아가서, 스텝 S7에 있어서, 연산부(1)는 레지스트레이션부로서 동작하고, 스텝 S6에서 결정한 워핑 함수(W_i _')를 이용하여 안구 화상(Ie)(의 각막 표면 반사상)을 씬 화상(Is)에 대하여 위치 맞춤(레지스트레이션, 얼라인먼트)하고, 위치 맞춤된 안구 화상의 데이터를 생성한다. 도 14(a)는 그와 같이 하여 구한 위치 맞춤된 안구 화상(의 각막 표면 반사상)(IeR)이다.

도 5의 스텝 S8에 있어서, 연산부(1)는 레지스트레이션부로서 동작하고, 스텝 S6에서 결정한 워핑 함수(W_i _')의 미세 조정(파인 레지스트레이션)을 행한다. 미세 조정이 실시된 안구 화상의 데이터는 기억부(2)(도 4)에 격납된다. 본 스텝에서는 연산부(1)는 각막구 중심(C)의 위치(도 7), 즉 거리(d_LC)의 길이, 및 투영면(IP)에 있어서의 타원의 회전각(φ)을 미소 변동시켜 식(10)에 따른 평가를 반복하여 행하고, 평가값을 수속시킨다. 수속에는 내점법을 사용한다. 도 14(c)는 파인 레지스트레이션 전의 화상(IeR)을 씬 화상(Is)과 포갠 화상이다. 도 14(d)는 파인 레지스트레이션 후의 화상(IeR)을 씬 화상(Is)과 포갠 화상이다. 도 14(c) 및 (d)를 보면 알 수 있듯이, 파인 레지스트레이션 처리에 의해 레지스트레이션의 정밀도가 더 향상한다.

이와 같이, 화상 위치 맞춤 장치(10)(도 4)는 단 1세트의 대응점 쌍(스텝 S6에서 결정된 최적의 초기 대응점 쌍)에 의거하여 변환 사상(워핑 함수(W_i'())을 결정할 수 있다. 그렇게 함으로써, 안구 화상(Ie)의 씬 화상(Is)에 대한 위치 맞춤(레지스트레이션)을 로버스트하게 실행할 수 있다. 또한, 화상 위치 맞춤 장치(10)(도 4)는 RANRESAC 처리를 행하여 상기 단 1세트의 대응점 쌍을 적절하게 결정할 수 있다. 즉, 본 화상 위치 맞춤 장치는 RANRESAC 처리에 의해 적절하게 1세트의 초기 대응점 쌍을 결정하고, 정확하게 레지스트레이션을 실행 가능하다. 이 의미에서, 본 화상 위치 맞춤 장치가 실행하는 화상 위치 맞춤은 로버스트하다. 즉, 정확한 초기 대응점 쌍을 복수 세트 추출하는 것이 곤란한 경우에도, 본 화상 위치 맞춤 장치는 단 1세트의 초기 대응점 쌍을 결정하기만 하면 정확하게 레지스트레이션을 실행 가능하다는 의미에서, 본 방법은 로버스트하다.

또한, 상기 실시형태에서는 안구 화상(Ie)을 씬 화상(Is)에 대하여 위치 맞춤하는 예를 나타냈지만, 반대로 씬 화상(Is)을 안구 화상(Ie)에 대하여 위치 맞춤하는 것도 당연히 가능하다. 또한, 본 실시형태에 의한 화상 위치 맞춤 장치(10)가 위치 맞춤할 수 있는 화상은 안구 화상(Ie)과 씬 화상(Is)의 조합으로 한정되지 않는다. 또한, 상기 실시형태에서는 화상 위치 맞춤 장치(10)는 자동 장치에 접속된 촬상 장치(아이 카메라(11e) 및 씬 카메라(11s)(도 4))로부터 위치 맞춤해야 할 화상의 데이터를 취득하고 있다. 그러나, 화상 위치 맞춤 장치(10)는 그러한 촬상 장치 이외의 장치(화상 데이터베이스 등)로부터 1개 또는 2개 이상의 화상의 데이터를 취득하고, 해당 화상에 대해서 위치 맞춤을 실행할 수 있다. 예를 들면, 화상 위치 맞춤 장치(10)는 네트워크를 통하여 Google Street View라고 한 오픈 데이터 베이스로부터 화상의 데이터를 취득하고, 해당 화상과 아이 카메라(11e)가 촬상한 안구 화상(Ie)(도 6) 사이에서 위치 맞춤을 행해도 좋다. 또는, 화상 위치 맞춤 장치(10)는 하나 또는 복수의 외부의 장치(예를 들면, 화상의 데이터베이스)나 광디스크, 플래시 메모리라고 한 기록 매체로부터 복수의 화상의 데이터를 취득하고, 해당 복수의 화상 사이에서 위치 맞춤을 행해도 좋다. 이들 경우도, 취득된 각 화상을 구면 광선 맵으로 옮기는 사상은 화상 위치 맞춤 장치(10)가 적당하게 화상 위치 맞춤 처리에 앞서, 미리 준비하면 좋다. 이 준비의 방법은 당업자에 있어서는 자명하다.

또한, 화상 위치 맞춤 장치(10)는 화상 위치 맞춤 프로그램을 기억부(2)(도 4)에 격납하고, 해당 프로그램은 위에서 설명한 다양한 양의 계산에 필요한 계산 알고리즘을 격납하고 있다. (그러나, 당연히 계산 알고리즘의 일부 또는 전부는 화상 위치 맞춤 프로그램과는 별도로 기억부(2)에 격납되어도 좋다.)

5. 실험 결과

본 실시형태에 의한 화상 위치 맞춤 장치(10)(도 4)를 사용한 화상 위치 맞춤 실험의 결과를 나타낸다. 본 실험에 있어서는 각막 표면 반사상(안구 화상(Ie)) 및 씬 화상(Is)을 안정적으로 동시 촬영하기 위해서, 아이 카메라(11e)(도 4) 및 씬 카메라(11s)(도 4)로서 2대의 소형 보드 카메라(IDS UI-1241LE-C-HQ, 1/1.8'' CMOS, 1280×1024 pixel) 및 헤드 마운트 시스템으로 이루어지는 시스템을 구성했다. 상기 시스템에서는 아이 카메라(11e)(f=12mm, (H,V)=(33.3,24.8)deg)는 안구(20)로부터 70∼110밀리미터 정도 떨어진 거리에 위치하고, 눈동자 직경을 약 400∼450화소 정도의 크기로 촬영했다. 저조도 환경에서의 촬영시에는 아이 카메라(11e)의 게인 및 노출 파라미터를 조정했다. 아이 카메라(11e) 및 씬 카메라(11s)는 화상 위치 맞춤 장치(10)(퍼스널 컴퓨터, PC)에 접속된 상태에서 10fps로 화상을 취득했다.

4명의 피험자 각각에 대해서, 옥외 및 옥내의 환경에서 3개소씩 데이터의 취득을 행했다. 취득 후, 수동으로 폐검의 프레임을 제거한 후 10프레임마다에 눈동자 윤곽 추출을 행했다.

본 실시형태에 의한 화상 위치 맞춤 방법(1-point RANRESAC), 및 비교하기 위해서 2-point RANSAC 및 2-point RANRESAC를 PC에 실장하여 실험을 행했다.

2-point RANSAC에서는 초기 대응점 쌍으로부터 2세트의 초기 대응점 쌍을 랜덤하게 선택하고, 해당 2세트의 대응점 쌍으로부터 워핑 함수를 추정했다. 그 후에, 나머지의 초기 대응점 쌍을 이용하여 어떤 조합이 정확하게 변환(레지스트레이션)할 수 있었는지를 카운트한다. 이것을 500회 반복하고, 그 중에서 얻어진 해답(워핑 함수) 중 최선의 것을 워핑 함수로 결정한다.

2-point RANRESAC에서는 2-point RANSAC와 마찬가지로 하여 워핑 함수를 추정했다. 그 후에, RANRESAC법에 따라서 평가를 행했다. 이것을 2-point RANSAC와 마찬가지로, 500회 반복하여 최선의 해답을 선택했다.

모든 실험에 있어서, MATLAB 2013b의 Computer Vision System Toolbox 상에서 실장된 SURF 국소 특징을 사용하고, PC(Intel Core i7 3.2 GHz,16GB RAM)를 사용했다. 또한, 파라미터에는 (σ_t, σ_o, α, s^p)=(0.2, 0.2, 0.3, 0.5)을 설정했다. 본 실시형태에 의한 방법(1-point RANRESAC) 및 2-point RANRESAC에서의 랜덤 샘플링의 점수(점 쌍의 세트 수)(K)는 200으로 했다.

표 1∼표 7에 위치 맞춤의 정밀도(성공률)를 나타낸다. 위치 맞춤에 필요한 시간은 1프레임당 37.0초(실시형태에 의한 화상 위치 맞춤 방법(1-point RANRESAC)), 14.47초(2-point RANSAC), 180.47초(2-point RANRESAC)이었다.

실시형태에 의한 화상 위치 맞춤 방법에서는 옥외 씬에서 85.5%(표 1∼표 3), 옥내 씬(표 4∼표 6)에서 86.3%의 성공률이고, 2-point RANSAC 및 2-point RANRESAC를 대폭 상회하고 있다. 2-point RANRESAC는 1-point RANRESAC(본 실시형태)보다는 성공률이 열악하지만, 동일한 회전 행렬 추정을 행하는 2-point RANSAC와 비교하여 성공률의 점에서 상회하고 있다. 이로부터, RANRESAC법이 노이즈 상황에 관하여 로버스트한 것을 확인할 수 있었다.

6. 응용예

본 실시형태에 의한 화상 위치 맞춤 장치 및 화상 위치 맞춤 방법은 안구 화상(Ie)의 각막 표면 반사상과 씬 화상(Is)의 매칭을 가능하게 한다. 이하, 본 실시형태를 이용하여 실현되는 응용 용도의 예를 소개한다.

6.1. 주시점의 추정

본 실시형태에 의한 화상 위치 맞춤 장치를 사용한 주시점 추정을 설명한다. 이 주시점의 추정에 의해, 예를 들면 유저가 눈으로 보고 있는 풍경의 화상을 추출하고, Google 스트리트뷰 등의 화상을 참조함으로써 유저가 보고 있는 물체나 장소를 특정할 수 있다. 이 기술은, 예를 들면 AR(Augmented Reality) 시스템에의 응용이 가능하다. 본 실시형태에 의한 화상 위치 맞춤 장치를 사용한 주시점 추정에 있어서는 종래의 예와 다르고, 아이 카메라와 씬 카메라의 상대적 위치 관계의 캘리브레이션이 불필요하다. 또한, 동 상대적 위치 관계를 고정화할 필요도 없다.

우선, 연산부(1)는 시점 추출부로서 동작하고, 공지의 방법에 의해 안구 화상으로부터 안구의 자세를 검출함으로써 피험자의 주시 반사점(GRP)(도 15)을 검출한다. 여기에서의 주시 반사점(GRP)이란 피험자의 안구의 광축과 거의 일치하는 시선 방향으로부터 도래한 광이 각막 표면에 있어서 반사하는 점이다. (공지의 방법에 대해서는, 예를 들면 국제 공개 팸플릿 WO2014/021169A1을 참조) 그리고, 연산부(1)는 안구 화상(Ie)을 씬 화상(Is)에 레지스트레이션하는 워핑 함수(W)를 도출한다. 그리고 최후에, 연산부(1)는 씬 화상(Is)에 있어서의 안구 화상(Ie)의 주시 반사점(GRP)에 대응하는 점(GRP')(도 15)을 구한다. 씬 화상(Is)에 있어서의 점(GRP')은 피험자가 주시하고 있는 광경(주시점)에 해당한다.

이와 같이 하여, 본 실시형태에 의한 화상 위치 맞춤 장치에 의해 피험자가 주시하고 있는 광경(주시점)을 씬 화상(Is) 중에서 추출하는 것이 가능하게 된다. 즉 이상과 같이, 본 실시형태에 의한 화상 위치 맞춤 장치는 주시점 추출 시스템으로서도 동작한다.

6.1.1. 디스플레이 장치에의 응용

상기 주시점 추출 시스템으로서 동작하는 화상 위치 맞춤 장치를 사용한 디스플레이 장치를 설명한다. 이 기술은, 예를 들면 AR(Augmented Reality) 시스템에의 응용이 가능하다. 이 디스플레이 장치(AR시스템)에 있어서는 종래의 예와 다르고, 아이 카메라와 씬 카메라의 상대적 위치 관계의 캘리브레이션이 불필요하다. 또한, 동 상대적 위치 관계를 고정화할 필요도 없다. 이 디스플레이 장치는 본 실시형태에 의한 화상 위치 맞춤 장치와 마찬가지로 도 4에 나타내는 구성을 갖는다. 출력부(4)는 화상을 표시하는 모니터 디스플레이다. 연산부(1)는 출력부(4)에 씬 화상(Is)을 표시시킴과 아울러, 상술한 바와 같이 추출한 씬 화상(Is)에 있어서의 씬 화상 중의 임의인 점의 위치에 소정의 화상을 겹쳐서 표시한다. 이것에 의해 AR 시스템에 의한 중첩 표시를 행할 수 있다.

6.2. 주변 시야의 추정

또한, 본 실시형태에 의한 화상 위치 맞춤 장치 및 화상 위치 맞춤 방법에 의해, 피험자의 주변 시야를 씬 화상(Is)으로 복원할 수도 있게 된다.

우선, 연산부(1)는 시야 추정부로서 동작하고, 안구 화상(Ie)을 이용하여 안구의 자세(광축)를 특정하고, 안구의 광축에 대하여 소정의 각도(예를 들면, 10도, 20도,…90도)를 이루는 방향으로부터 도래한 광이 각막 표면에 있어서 반사된 점을 특정한다(도 16). 이들 점은 안구 화상(Ie)에 있어서, 곡선을 그리도록 분포된다. 이어서, 연산부(1)는 이들 점에 대응하는 점을 본 실시형태에 의해 결정된 워핑 함수(W)를 사용하여 씬 화상(Is) 내에서 검출한다. 검출된 점 군은 피험자의 주변 시야(주시점을 중심으로 하여 소정의 각도로 넓어지는 영역)의 영역을 형성한다.

이와 같이 하여, 본 실시형태에 의한 화상 위치 맞춤 장치에 의해 피험자의 주변 시야의 영역을 씬 화상(Is) 중에서 추출하는 것이 가능하게 된다. 즉, 화상 위치 맞춤 장치는 씬 화상(Is)에 있어서 피험자의 주변 시야의 영역을 추정할 수 있고, 즉 주변 시야의 추정 시스템으로서도 동작한다.

6.3. 홍채 인식에의 응용

기존 홍채 인식의 방법에서는 각막 표면에서의 경면 반사를 억제하기 위해서 적외선 조명을 이용하여 안구의 화상을 취득하고 있다. 이에 대하여 본 실시형태에 의한 화상 위치 맞춤 장치를 사용하면, 씬 화상을 이용하여 안구 화상에 포함되는 경면 반사(각막 표면 반사상)를 제거할 수 있게 된다.

우선, 본 실시형태에 의한 화상 위치 맞춤 장치의 연산부(1)는 안구 화상(Ie)(도 17)과 씬 화상(Is)(도 17) 사이의 워핑 함수(W)를 도출한다. 연산부(1)는 이 워핑 함수(W)를 이용하여 씬 화상(Is)을 안구 화상(Ie)에 대하여 위치 맞춤한다. 연산부(1)는 홍채 화상 생성부로서 동작하고, 위치 맞춤된 씬 화상(Is)을 안구 화상(Ie)에 있어서의 씬 화상(Is)에 대응하는 부분으로부터 감산함으로써, 안구 화상(Is)의 각막 표면 반사상을 제거하여 홍채 화상을 생성한다. 도 17의 화상(I_it)은 그와 같이 하여 각막의 경면 반사가 효과적으로 제거된 안구 화상, 즉 홍채 화상이다. 이와 같이, 본 실시형태에 의한 화상 위치 맞춤 장치에 의하면, 안구 화상(Is)에 포함된 각막의 경면 반사를 효과적으로 제거할 수 있고, 노이즈가 없는 홍채 화상(I_it)을 얻을 수 있다. 이에 따라, 각막 표면에서의 경면 반사를 억제하기 위해서 조명에 적외광을 사용할 필요가 없어진다. 그 후에, 연산부(1)는 인식부로서 동작하고, 홍채 화상에 대하여 공지의 방법을 이용하여 홍채 인식 처리를 행한다.

이와 같이, 본 실시형태에 의한 화상 위치 맞춤 장치는 적외선 조명뿐만 아니라, 가시광선 영역의 조명을 이용하여 안구 화상을 취득했을 경우에도 효과적으로 각막의 경면 반사를 제거할 수 있고, 정밀도가 좋은 홍채 화상을 얻을 수 있다. 이와 같이 하여 얻어진 홍채 화상을 사용함으로써 홍채 인식의 정밀도를 향상시키는 것이 가능하게 된다. 즉, 본 실시형태에 의한 화상 위치 맞춤 장치는 홍채 인식 시스템으로서도 동작한다.

이상의 점으로부터, 본 실시형태는 이하의 시스템 및 방법도 개시하고 있다.

(1) 피험자의 안구를 촬영한 화상인 제 1 화상 및 피험자의 시선 방향의 피사체를 촬영한 화상인 제 2 화상을 취득하는 취득부와,

상기 제 1 화상을 구면 광선 맵으로 옮기는 사상인 제 1 사상과, 상기 제 2 화상을 구면 광선 맵으로 옮기는 사상인 제 2 사상을 결정하는 매핑부와,

상기 제 1 화상 중의 한점과, 해당 한점과 대응하는 상기 제 2 화상 중의 한점을 검출함으로써 대응점 쌍을 추출하는 대응점 쌍 추출부와,

상기 구면 광선 맵에 있어서의 상기 제 1 화상의 상과 상기 구면 광선 맵에 있어서의 상기 제 2 화상의 상을 위치 정합시키는 회전 사상을, 상기 대응점 쌍을 구성하는 상기 제 1 화상 중의 한점의 위치 및 국소 특징량, 및 상기 대응점 쌍을 구성하는 상기 제 2 화상 중의 한점의 위치 및 국소 특징량에 의거하여 도출하는 회전 사상 도출부와,

상기 제 1 화상으로부터 안구의 자세를 검출함으로써 상기 제 1 화상 상에서 주시 반사점을 검출하고,

상기 제 1 사상과, 상기 회전 사상과, 상기 제 2 사상에 의거하여 상기 제 2 화상 중의 상기 주시 반사점에 대응하는 점을, 피험자가 주시하고 있는 점으로서 구하는 시점 추출부를 갖는 주시점 추출 시스템.

(2) (1)의 주시점 추출 시스템을 구비하는 표시 시스템(AR 시스템).

(3) 피험자의 안구를 촬영한 화상인 제 1 화상 및 피험자의 시선 방향의 피사체를 촬영한 화상인 제 2 화상을 취득하는 취득부와,

상기 제 1 화상으로부터 안구의 광축을 특정하고, 상기 광축에 대하여 소정의 각도를 이루는 방향으로부터 도래한 광이 각막 표면에 있어서 반사된 점을 특정하고, 상기 제 1 사상과 상기 회전 사상과 상기 제 2 사상에 의거하여 상기 제 2 화상으로부터 상기 특정한 반사점 군을, 피험자의 주변 시야의 영역을 형성하는 점 군으로서 검출하는 시야 추정부를 갖는 주변 시야 추정 시스템.

(4) 피험자의 시선 방향의 피사체를 촬영한 화상인 제 1 화상 및 피험자의 안구를 촬영한 화상인 제 2 화상을 취득하는 취득부와,

상기 제 1 화상의 데이터 및 상기 제 2 화상의 데이터를 격납하는 기억부와,

상기 제 1 사상과, 상기 회전 사상과, 상기 제 2 사상에 의거하여 상기 기억부에 격납된 상기 제 1 화상의 데이터를 상기 기억부에 격납된 상기 제 2 화상의 데이터에 대하여 위치 맞춤하여 상기 제 2 화상에 대하여 위치 맞춤된 상기 제 1 화상의 데이터를 생성하는 레지스트레이션부와,

위치 맞춤된 상기 제 1 화상을 상기 제 2 화상으로부터 감산하여 홍채 화상을 생성하는 홍채 화상 생성부와,

상기 홍채 화상을 이용하여 홍채 인식을 행하는 인식부를 갖는 홍채 인식 시스템.

(5) 피험자의 안구를 촬영한 화상인 제 1 화상 및 피험자의 시선 방향의 피사체를 촬영한 화상인 제 2 화상을 취득하는 스텝과,

연산부가 상기 제 1 화상을 구면 광선 맵으로 옮기는 사상인 제 1 사상과, 상기 제 2 화상을 구면 광선 맵으로 옮기는 사상인 제 2 사상을 결정하는 스텝과,

연산부가 상기 제 1 화상 중의 한점과, 해당 한점과 대응하는 상기 제 2 화상 중의 한점을 검출함으로써 대응점 쌍을 추출하는 스텝과,

연산부가 상기 구면 광선 맵에 있어서의 상기 제 1 화상의 상과 상기 구면 광선 맵에 있어서의 상기 제 2 화상의 상을 위치 정합시키는 회전 사상을, 상기 대응점 쌍을 구성하는 상기 제 1 화상 중의 한점의 위치 및 국소 특징량, 및 상기 대응점 쌍을 구성하는 상기 제 2 화상 중의 한점의 위치 및 국소 특징량에 의거하여 도출하는 스텝과,

연산부가 상기 제 1 화상으로부터 안구의 자세를 검출함으로써 상기 제 1 화상 상에서 주시 반사점을 검출하는 스텝과,

연산부가 상기 제 1 사상과, 상기 회전 사상과, 상기 제 2 사상에 의거하여 상기 제 2 화상 중의 상기 주시 반사점에 대응하는 점을, 피험자가 주시하고 있는 점으로서 요구하는 스텝을 갖는 주시점 추출 방법.

(6) 연산부가 피험자의 안구를 촬영한 화상인 제 1 화상 및 피험자의 시선 방향의 피사체를 촬영한 화상인 제 2 화상을 취득하는 스텝과,

연산부가 상기 제 1 화상으로부터 안구의 광축을 특정하고, 상기 광축에 대하여 소정의 각도를 이루는 방향으로부터 도래한 광이 각막 표면에 있어서 반사된 점을 특정하고, 상기 제 1 사상과 상기 회전 사상과 상기 제 2 사상에 의거하여 상기 제 2 화상으로부터 상기 특정한 반사점 군을 피험자의 주변 시야의 영역을 형성하는 점 군으로서 검출하는 스텝을 갖는 주변 시야 추정 방법.

(7) 피험자의 시선 방향의 피사체를 촬영한 화상인 제 1 화상 및 피험자의 안구를 촬영한 화상인 제 2 화상을 취득하는 스텝과,

상기 제 1 화상의 데이터 및 상기 제 2 화상의 데이터를 격납하는 스텝과,

연산부가 상기 제 1 사상과, 상기 회전 사상과, 상기 제 2 사상에 의거하여 상기 기억부에 격납된 상기 제 1 화상의 데이터를 상기 기억부에 격납된 상기 제 2 화상의 데이터에 대하여 위치 맞춤하여 상기 제 2 화상에 대하여 위치 맞춤된 상기 제 1 화상의 데이터를 생성하는 스텝과,

연산부가 위치 맞춤된 상기 제 1 화상을 상기 제 2 화상으로부터 감산하여 홍채 화상을 생성하는 스텝과,

연산부가 상기 홍채 화상을 이용하여 홍채 인식을 행하는 스텝을 갖는 홍채 인식 방법.

이상, 본 발명을 특정한 실시형태와 관련시켜 설명했지만, 당업자에 있어서는 다른 많은 변경, 수정, 치환, 삭제, 응용이 명백하다. 그 때문에, 본 발명은 여기에서의 특정 개시로 한정되는 것은 아니고, 첨부의 청구범위에 의해서만 한정된다.

Claims

피험자의 안구를 촬영한 화상인 제 1 화상의 데이터 및 피험자의 시선 방향의 피사체를 촬영한 화상인 제 2 화상의 데이터를 취득하는 취득부와,
상기 제 1 화상의 데이터 및 상기 제 2 화상의 데이터를 격납하는 기억부와,
상기 제 1 화상을 구면 광선 맵으로 옮기는 사상인 제 1 사상과, 상기 제 2 화상을 구면 광선 맵으로 옮기는 사상인 제 2 사상을 결정하는 매핑부와,
상기 제 1 화상 중의 한점과, 해당 한점과 대응하는 상기 제 2 화상 중의 한점을 검출함으로써 대응점 쌍을 추출하는 대응점 쌍 추출부와,
상기 구면 광선 맵에 있어서의 상기 제 1 화상의 상과 상기 구면 광선 맵에 있어서의 상기 제 2 화상의 상을 위치 정합시키는 회전 사상을, 상기 대응점 쌍을 구성하는 상기 제 1 화상 중의 한점의 위치 및 오리엔테이션의 정보를 포함하는 국소 특징량, 및 상기 대응점 쌍을 구성하는 상기 제 2 화상 중의 한점의 위치 및 오리엔테이션의 정보를 포함하는 국소 특징량에 의거하여 도출하는 회전 사상 도출부와,
상기 제 1 사상과, 상기 회전 사상과, 상기 제 2 사상에 의거하여 상기 기억부에 격납된 상기 제 1 화상의 데이터를 상기 기억부에 격납된 상기 제 2 화상의 데이터에 대하여 위치 맞춤하여 상기 제 2 화상에 대하여 위치 맞춤된 상기 제 1 화상의 데이터를 생성하는 레지스트레이션부를 갖는 화상 위치 맞춤 장치.
삭제
제 1 항에 있어서,
상기 대응점 쌍 추출부는 상기 대응점 쌍의 후보로서, 상기 제 1 화상의 점과 상기 제 2 화상의 점으로 구성되는 대응점 쌍 후보를 복수 세트 검출하고, 상기 복수 세트의 대응점 쌍 후보 각각의 점 쌍의 대응 관계를 평가하여, 가장 높게 평가된 점 쌍으로 구성되는 대응점 쌍 후보를 상기 대응점 쌍으로서 추출하는 것을 특징으로 하는 화상 위치 맞춤 장치.
제 3 항에 있어서,
상기 대응점 쌍 추출부는 상기 대응점 쌍 후보를 구성하는 상기 제 1 화상의 점과 상기 제 2 화상의 점의 대응 관계에 따라서 상기 제 1 화상 및 상기 제 2 화상으로부터 추출된 점 쌍으로 구성되는 복수의 부차적 대응점 쌍의 대응 관계를 평가함으로써, 상기 대응점 쌍 후보의 대응 관계를 평가하는 것을 특징으로 하는 화상 위치 맞춤 장치.
삭제
제 1 화상을 촬영하는 제 1 카메라와,
제 2 화상을 촬영하는 제 2 카메라와,
상기 제 1 화상과 상기 제 2 화상의 위치 맞춤을 행하는 제 1, 3, 4 항 중 어느 한 항에 기재된 화상 위치 맞춤 장치를 구비한 것을 특징으로 하는 화상 위치 맞춤 시스템.
피험자의 안구를 촬영한 화상인 제 1 화상의 데이터 및 피험자의 시선 방향의 피사체를 촬영한 화상인 제 2 화상의 데이터를 취득하는 취득 스텝과,
상기 제 1 화상의 데이터 및 상기 제 2 화상의 데이터를 기억부에 격납하는 기억 스텝과,
연산부가 상기 제 1 화상을 구면 광선 맵으로 옮기는 사상인 제 1 사상과, 상기 제 2 화상을 구면 광선 맵으로 옮기는 사상인 제 2 사상을 결정하는 매핑 스텝과,
연산부가 상기 제 1 화상 중의 한점과, 해당 한점과 대응하는 상기 제 2 화상 중의 한점을 검출함으로써 대응점 쌍을 추출하는 대응점 쌍 추출 스텝과,
연산부가 상기 구면 광선 맵에 있어서의 상기 제 1 화상의 상과 상기 구면 광선 맵에 있어서의 상기 제 2 화상의 상을 위치 정합시키는 회전 사상을, 상기 대응점 쌍을 구성하는 상기 제 1 화상 중의 한점의 위치 및 오리엔테이션의 정보를 포함하는 국소 특징량, 및 상기 대응점 쌍을 구성하는 상기 제 2 화상 중의 한점의 위치 및 오리엔테이션의 정보를 포함하는 국소 특징량에 의거하여 도출하는 회전 사상 도출 스텝과,
연산부가 상기 제 1 사상과, 상기 회전 사상과, 상기 제 2 사상에 의거하여 상기 기억부에 격납된 상기 제 1 화상의 데이터를 상기 기억부에 격납된 상기 제 2 화상의 데이터에 대하여 위치 맞춤하여 상기 제 2 화상에 대하여 위치 맞춤된 상기 제 1 화상의 데이터를 생성하는 레지스트레이션 스텝을 갖는 화상 위치 맞춤 방법.
컴퓨터로 판독가능한 기록매체에 저장된 화상 위치 맞춤 프로그램으로서,
상기 화상 위치 맞춤 프로그램은 상기 컴퓨터에,
피험자의 안구를 촬영한 화상인 제 1 화상의 데이터 및 피험자의 시선 방향의 피사체를 촬영한 화상인 제 2 화상의 데이터를 취득하는 취득 스텝과,
상기 제 1 화상의 데이터 및 상기 제 2 화상의 데이터를 기억부에 격납하는 기억 스텝과,
상기 제 1 화상을 구면 광선 맵으로 옮기는 사상인 제 1 사상과, 상기 제 2 화상을 구면 광선 맵으로 옮기는 사상인 제 2 사상을 결정하는 매핑 스텝과,
상기 제 1 화상 중의 한점과, 해당 한점과 대응하는 상기 제 2 화상 중의 한점을 검출함으로써 대응점 쌍을 추출하는 대응점 쌍 추출 스텝과,
상기 구면 광선 맵에 있어서의 상기 제 1 화상의 상과 상기 구면 광선 맵에 있어서의 상기 제 2 화상의 상을 위치 정합시키는 회전 사상을, 상기 대응점 쌍을 구성하는 상기 제 1 화상 중의 한점의 위치 및 오리엔테이션의 정보를 포함하는 국소 특징량, 및 상기 대응점 쌍을 구성하는 상기 제 2 화상 중의 한점의 위치 및 오리엔테이션의 정보를 포함하는 국소 특징량에 의거하여 도출하는 회전 사상 도출 스텝과,
상기 제 1 사상과, 상기 회전 사상과, 상기 제 2 사상에 의거하여 상기 기억부에 격납된 상기 제 1 화상의 데이터를 상기 기억부에 격납된 상기 제 2 화상의 데이터에 대하여 위치 맞춤하여 상기 제 2 화상에 대하여 위치 맞춤된 상기 제 1 화상의 데이터를 생성하는 레지스트레이션 스텝을 실행시키는 것을 특징으로 하는 컴퓨터로 판독가능한 기록매체에 저장된 화상 위치 맞춤 프로그램.
피험자의 안구를 촬영한 화상인 제 1 화상 및 피험자의 시선 방향의 피사체를 촬영한 화상인 제 2 화상을 취득하는 취득부와,
상기 제 1 화상을 구면 광선 맵으로 옮기는 사상인 제 1 사상과, 상기 제 2 화상을 구면 광선 맵으로 옮기는 사상인 제 2 사상을 결정하는 매핑부와,
상기 제 1 화상 중의 한점과, 해당 한점과 대응하는 상기 제 2 화상 중의 한점을 검출함으로써 대응점 쌍을 추출하는 대응점 쌍 추출부와,
상기 구면 광선 맵에 있어서의 상기 제 1 화상의 상과 상기 구면 광선 맵에 있어서의 상기 제 2 화상의 상을 위치 정합시키는 회전 사상을, 상기 대응점 쌍을 구성하는 상기 제 1 화상 중의 한점의 위치 및 오리엔테이션의 정보를 포함하는 국소 특징량, 및 상기 대응점 쌍을 구성하는 상기 제 2 화상 중의 한점의 위치 및 오리엔테이션의 정보를 포함하는 국소 특징량에 의거하여 도출하는 회전 사상 도출부와,
상기 제 1 화상으로부터 안구의 자세를 검출함으로써 상기 제 1 화상 상에서 주시 반사점을 검출하고, 상기 제 1 사상과, 상기 회전 사상과, 상기 제 2 사상에 의거하여 상기 제 2 화상 중의 상기 주시 반사점에 대응하는 점을 피험자가 주시하고 있는 점으로서 구하는 시점 추출부를 갖는 주시점 추출 시스템.
제 9 항에 기재된 주시점 추출 시스템을 구비한 표시 시스템.
피험자의 안구를 촬영한 화상인 제 1 화상 및 피험자의 시선 방향의 피사체를 촬영한 화상인 제 2 화상을 취득하는 취득부와,
상기 제 1 화상을 구면 광선 맵으로 옮기는 사상인 제 1 사상과, 상기 제 2 화상을 구면 광선 맵으로 옮기는 사상인 제 2 사상을 결정하는 매핑부와,
상기 제 1 화상 중의 한점과, 해당 한점과 대응하는 상기 제 2 화상 중의 한점을 검출함으로써 대응점 쌍을 추출하는 대응점 쌍 추출부와,
상기 구면 광선 맵에 있어서의 상기 제 1 화상의 상과 상기 구면 광선 맵에 있어서의 상기 제 2 화상의 상을 위치 정합시키는 회전 사상을, 상기 대응점 쌍을 구성하는 상기 제 1 화상 중의 한점의 위치 및 국소 특징량, 및 상기 대응점 쌍을 구성하는 상기 제 2 화상 중의 한점의 위치 및 국소 특징량에 의거하여 도출하는 회전 사상 도출부와,
상기 제 1 화상으로부터 안구의 광축을 특정하고, 상기 광축에 대하여 소정의 각도를 이루는 방향으로부터 도래한 광이 각막 표면에 있어서 반사된 점을 특정하고, 상기 제 1 사상과 상기 회전 사상과 상기 제 2 사상에 의거하여 상기 제 2 화상으로부터 상기 특정한 반사점 군을 피험자의 주변 시야의 영역을 형성하는 점 군으로서 검출하는 시야 추정부를 갖는 주변 시야 추정 시스템.
피험자의 시선 방향의 피사체를 촬영한 화상인 제 1 화상 및 피험자의 안구를 촬영한 화상인 제 2 화상을 취득하는 취득부와,
상기 제 1 화상의 데이터 및 상기 제 2 화상의 데이터를 격납하는 기억부와,
상기 제 1 화상을 구면 광선 맵으로 옮기는 사상인 제 1 사상과, 상기 제 2 화상을 구면 광선 맵으로 옮기는 사상인 제 2 사상을 결정하는 매핑부와,
상기 제 1 화상 중의 한점과, 해당 한점과 대응하는 상기 제 2 화상 중의 한점을 검출함으로써 대응점 쌍을 추출하는 대응점 쌍 추출부와,
상기 구면 광선 맵에 있어서의 상기 제 1 화상의 상과 상기 구면 광선 맵에 있어서의 상기 제 2 화상의 상을 위치 정합시키는 회전 사상을, 상기 대응점 쌍을 구성하는 상기 제 1 화상 중의 한점의 위치 및 국소 특징량, 및 상기 대응점 쌍을 구성하는 상기 제 2 화상 중의 한점의 위치 및 국소 특징량에 의거하여 도출하는 회전 사상 도출부와,
상기 제 1 사상과, 상기 회전 사상과, 상기 제 2 사상에 의거하여 상기 기억부에 격납된 상기 제 1 화상의 데이터를 상기 기억부에 격납된 상기 제 2 화상의 데이터에 대하여 위치 맞춤하여 상기 제 2 화상에 대하여 위치 맞춤된 상기 제 1 화상의 데이터를 생성하는 레지스트레이션부와,
위치 맞춤된 상기 제 1 화상을 상기 제 2 화상으로부터 감산하여 홍채 화상을 생성하는 홍채 화상 생성부와,
상기 홍채 화상을 이용하여 홍채 인식을 행하는 인식부를 갖는 홍채 인식 시스템.
피험자의 안구를 촬영한 화상인 제 1 화상 및 피험자의 시선 방향의 피사체를 촬영한 화상인 제 2 화상을 취득하는 스텝과,
연산부가 상기 제 1 화상을 구면 광선 맵으로 옮기는 사상인 제 1 사상과, 상기 제 2 화상을 구면 광선 맵으로 옮기는 사상인 제 2 사상을 결정하는 스텝과,
연산부가 상기 제 1 화상 중의 한점과, 해당 한점과 대응하는 상기 제 2 화상 중의 한점을 검출함으로써 대응점 쌍을 추출하는 스텝과,
연산부가 상기 구면 광선 맵에 있어서의 상기 제 1 화상의 상과 상기 구면 광선 맵에 있어서의 상기 제 2 화상의 상을 위치 정합시키는 회전 사상을, 상기 대응점 쌍을 구성하는 상기 제 1 화상 중의 한점의 위치 및 오리엔테이션의 정보를 포함하는 국소 특징량, 및 상기 대응점 쌍을 구성하는 상기 제 2 화상 중의 한점의 위치 및 오리엔테이션의 정보를 포함하는 국소 특징량에 의거하여 도출하는 스텝과,
연산부가 상기 제 1 화상으로부터 안구의 자세를 검출함으로써 상기 제 1 화상 상에서 주시 반사점을 검출하는 스텝과,
연산부가 상기 제 1 사상과, 상기 회전 사상과, 상기 제 2 사상에 의거하여 상기 제 2 화상 중의 상기 주시 반사점에 대응하는 점을 피험자가 주시하고 있는 점으로서 구하는 스텝을 갖는 주시점 추출 방법.
연산부가 피험자의 안구를 촬영한 화상인 제 1 화상 및 피험자의 시선 방향의 피사체를 촬영한 화상인 제 2 화상을 취득하는 스텝과,
연산부가 상기 제 1 화상을 구면 광선 맵으로 옮기는 사상인 제 1 사상과, 상기 제 2 화상을 구면 광선 맵으로 옮기는 사상인 제 2 사상을 결정하는 스텝과,
연산부가 상기 제 1 화상 중의 한점과, 해당 한점과 대응하는 상기 제 2 화상 중의 한점을 검출함으로써 대응점 쌍을 추출하는 스텝과,
연산부가 상기 구면 광선 맵에 있어서의 상기 제 1 화상의 상과 상기 구면 광선 맵에 있어서의 상기 제 2 화상의 상을 위치 정합시키는 회전 사상을, 상기 대응점 쌍을 구성하는 상기 제 1 화상 중의 한점의 위치 및 국소 특징량, 및 상기 대응점 쌍을 구성하는 상기 제 2 화상 중의 한점의 위치 및 국소 특징량에 의거하여 도출하는 스텝과,
연산부가 상기 제 1 화상으로부터 안구의 광축을 특정하고, 상기 광축에 대하여 소정의 각도를 이루는 방향으로부터 도래한 광이 각막 표면에 있어서 반사된 점을 특정하고, 상기 제 1 사상과 상기 회전 사상과 상기 제 2 사상에 의거하여 상기 제 2 화상으로부터 상기 특정한 반사점 군을 피험자의 주변 시야의 영역을 형성하는 점 군으로서 검출하는 스텝을 갖는 주변 시야 추정 방법.
피험자의 시선 방향의 피사체를 촬영한 화상인 제 1 화상 및 피험자의 안구를 촬영한 화상인 제 2 화상을 취득하는 스텝과,
상기 제 1 화상의 데이터 및 상기 제 2 화상의 데이터를 기억부에 격납하는 스텝과,
연산부가 상기 제 1 화상을 구면 광선 맵으로 옮기는 사상인 제 1 사상과, 상기 제 2 화상을 구면 광선 맵으로 옮기는 사상인 제 2 사상을 결정하는 스텝과,
연산부가 상기 제 1 화상 중의 한점과, 해당 한점과 대응하는 상기 제 2 화상 중의 한점을 검출함으로써 대응점 쌍을 추출하는 스텝과,
연산부가 상기 구면 광선 맵에 있어서의 상기 제 1 화상의 상과 상기 구면 광선 맵에 있어서의 상기 제 2 화상의 상을 위치 정합시키는 회전 사상을, 상기 대응점 쌍을 구성하는 상기 제 1 화상 중의 한점의 위치 및 국소 특징량, 및 상기 대응점 쌍을 구성하는 상기 제 2 화상 중의 한점의 위치 및 국소 특징량에 의거하여 도출하는 스텝과,
연산부가 상기 제 1 사상과, 상기 회전 사상과, 상기 제 2 사상에 의거하여 상기 기억부에 격납된 상기 제 1 화상의 데이터를 상기 기억부에 격납된 상기 제 2 화상의 데이터에 대하여 위치 맞춤하여 상기 제 2 화상에 대하여 위치 맞춤된 상기 제 1 화상의 데이터를 생성하는 스텝과,
연산부가 위치 맞춤된 상기 제 1 화상을 상기 제 2 화상으로부터 감산하여 홍채 화상을 생성하는 스텝과,
연산부가 상기 홍채 화상을 이용하여 홍채 인식을 행하는 스텝을 갖는 홍채 인식 방법.