CN102472621B - 图像处理装置及图像处理方法 - Google Patents

Abstract

图像处理装置(10)具备：摄像元件(20)，拍摄图像；光学系统(22)，用于将被摄体的像成像在摄像元件(20)上；以及距离计测部(16)，基于在图像中产生的模糊的大小，计测作为到被摄体的距离的被摄体距离；光学系统(22)的特性满足如下条件：在距离计测部(16)中计测的被摄体距离的范围之中，与将焦点位置对准于与光学系统(22)最近侧和最远侧的情况下的像倍率的变化为规定的像素数以下，同时，光学系统(22)的基于像高的点扩散函数的差异为对由距离计测部(16)进行的被摄体距离的计测不产生影响的规定的大小以下。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及基于从单一的视点拍摄的多张图像计测场景的进深的图像处理装置。

背景技术

提出了用来以非接触的方式计测某3维场景的进深、即到各被摄体的距离的各种方法。这些方法大致分为主动的方法和被动的方法。主动的方法是将红外线、超声波或激光等照射在被摄体上、基于到反射波返回来为止的时间或反射波的角度等计算到被摄体的距离的方法。被动的方法是基于被摄体的像计算距离的方法。尤其在使用摄像机计测到被摄体的距离的情况下，广泛地使用不需要用来照射红外线等的装置的被动的方法。

被动的方法也提出了许多方法，作为其中之一，提出了基于因焦点的变化而产生的模糊来计测距离的称作Depth from Defocus(散焦测距，以下记为DFD)的方法。DFD具有不需要多个摄像机、能够根据少量的图像进行距离计测等的特征。

以下，对DFD的原理简单地说明。

如果设拍摄图像为I(x，y)、表示没有由透镜带来的模糊的状态的原图像为S(x，y)，则两者之间成立如式(1)那样的关系。

[数式1]

I(x，y)＝S(x，y)*h(x，y，d(x，y))…(1)

这里，h表示示出光学系统的模糊的状态的点扩散函数(Point SpreadFunction，以下记为PSF)，d(x，y)表示位置(x，y)的从透镜的主点到被摄体的距离(以下，称作“被摄体距离”)。此外，式中的“*”表示卷积运算。

式(1)包含S(x，y)和d(x，y)作为未知数。这里，在同一个场景中拍摄改变了焦点位置的图像I₂(x，y)。改变焦点位置相当于对同一被摄体距离的PSF变化。即，式(2)成立。

[数式2]

I₂(x，y)＝S(x，y)*h′(x，y，d(x，y))…(2)

这里，h’表示与h不同的焦点位置上的PSF。通过解这些式子，能够求出场景的原图像S(x，y)和被摄体距离d(x，y)，以非专利文献1为代表，提出了各种解法。

这里成为问题的是，通常的光学系统如果使焦点位置变化，则像倍率随之变化。如果像倍率变化，则在拍摄图像I(x，y)与拍摄图像I₂(x，y)之间，对应的原图像S(x，y)的位置变化，所以不能进行正确的距离计测。针对于此，在专利文献1及专利文献2中，公开了使用不发生像倍率的变化的远心光学系统的方法。

先行技术文献

专利文献

专利文献1：日本专利第2963990号公报

专利文献2：日本专利第3481631号公报

非专利文献

非专利文献1：“Depth from Defocus：a spatial domain approach”，M.Subbarao，G.Surya，International Journal of Computer Vision，Vol.13，No.3，pp.271-294，1994

发明概要

发明要解决的问题

但是，在专利文献1及专利文献2所记载的方法中大体上存在两个问题。

首先，作为第一个问题，需要使用远心光学系统这在光学上成为较大的限制，透镜设计的自由度大幅下降。

第二个问题是关于模糊的均匀性。在拍摄图像中的、光轴上的图像与光轴外的图像中模糊方式、即PSF大为不同的情况下，在DFD的各算法中不能对图像整体使用一律的PSF来适用处理。因此，距离计算处理变得复杂。因而，希望在图像整体中模糊方式均匀。但是，在使用远心光学系统的情况下，并不一定能够保证模糊方式均匀。

发明内容

本发明是鉴于上述情况而做出的，目的是提供一种具备像倍率的变化量足够小、并且能够拍摄在图像整体中具有均匀的模糊的图像的光学系统的图像处理装置及图像处理方法。

用于解决问题的手段

有关本发明的一技术方案的图像处理装置，具备：摄像元件，拍摄图像；光学系统，用于将被摄体的像成像在上述摄像元件上；以及距离计测部，基于在上述图像中产生的模糊的大小，计测作为到上述被摄体的距离的被摄体距离；上述光学系统的特性满足如下条件：上述距离计测部中计测的上述被摄体距离的范围之中，将焦点位置对准于与上述光学系统最近侧和最远侧的情况下的像倍率的变化为规定的像素数以下，同时，上述光学系统的基于像高的点扩散函数的差异为对由上述距离计测部进行的上述被摄体距离的计测不产生影响的规定的大小以下。

根据这样的结构，由于光学系统的特性被限制在对距离计测处理不产生实质性的影响的范围中，所以不需要采用在距离计测处理中按照图像中的位置改变处理等的机构而能够在图像整体中保证均匀的精度。

此外，其特征也可以是，在通过使上述摄像元件移动来进行上述光学系统的焦点位置的变化的情况下，上述光学系统的向上述摄像元件的主光线的入射角θ满足以下的式(3)。

[数式3]

$\left|\mathrm{\&theta;}\right|<{\tan }^{-1}\left(\frac{1}{\mathrm{FB}\min D}(1-\frac{f}{u_{\min }})\right)...\left(3\right)$

其中，F是上述光学系统的F数，f是上述光学系统的焦距，minD是表示在上述距离计测部中能够检测的模糊的最小的大小的像素数，B是在上述距离计测部中计测的上述被摄体距离的阶段数，u_min是在上述距离计测部中计测的上述被摄体距离的范围之中与上述光学系统最近侧的距离。

根据这样的结构，能够保证由焦点的变化带来的像倍率的变化量低于在距离计测处理中能够辨别的大小。即，改变了焦点位置的多个拍摄图像上的相同的坐标被与原图像S(x，y)的单一的坐标建立对应。

此外，也可以是，在通过使上述光学系统中包含的透镜移动来进行上述光学系统的焦点位置的变化的情况下，在上述距离计测部中计测的上述被摄体距离的范围之中将焦点位置对准于与上述光学系统最近侧的情况下的上述摄像元件的像的大小、与将焦点位置对准于与上述光学系统最远侧的情况下的上述摄像元件的像的大小之差δy满足以下的式(4)。

[数式4]

|δy|＜d  …(4)

其中，d是上述摄像元件的像素的大小。根据这样的结构，能够保证由焦点的变化带来的像倍率的变化量低于在距离计测处理中能够辨别的大小。即，改变了焦点位置的多个拍摄图像上的相同的坐标被与原图像S(x，y)的单一的坐标建立对应。

此外，其特征也可以是，在上述光学系统中，各像高的像面弯曲量δq满足以下的式(5)。

[数式5]

$\left|\mathrm{\&delta;q}\right|<\frac{u_{\max }}{u_{\max }-f}\mathrm{Fd}\min D...\left(5\right)$

其中，F是上述光学系统的F数，f是上述光学系统的焦距，minD是表示在上述距离计测部中能够检测的模糊的最小的大小的像素数，u_max是在上述距离计测部中计测的上述被摄体距离的范围之中与上述光学系统最远侧的距离，d是上述摄像元件的像素的大小。

根据这样的结构，能够保证由像面弯曲带来的轴外的模糊的量低于在距离计测处理中能够辨别的大小。由此，对于相同的被摄体距离成为相同程度的模糊的大小，能够降低距离计测处理的误差。

此外，其特征也可以是，在上述光学系统中，各像高的弧矢像面弯曲量δqs及切线像面弯曲量δqt分别满足以下的式(6)及式(7)。

[数式6]

$\left|\mathrm{\&delta;qs}\right|<\frac{u_{\max }}{u_{\max }-f}\mathrm{Fd}\min D...\left(6\right)$

$\left|\mathrm{\&delta;qt}\right|<\frac{u_{\max }}{u_{\max }-f}\mathrm{Fd}\min D...\left(7\right)$

其中，F是上述光学系统的F数，f是上述光学系统的焦距，minD是表示在上述距离计测部中能够检测的模糊的最小的大小的像素数，u_max是在上述距离计测部中计测的上述被摄体距离的范围之中与上述光学系统最远侧的距离，d是上述摄像元件的像素的大小。

根据这样的结构，能够保证由像散带来的轴外的模糊的量低于在距离计测处理中能够辨别的大小。由此，在图像整体中模糊的形态变得更均匀，能够降低对图像整体采用一律的PSF而进行距离计测处理时的误差。

此外，其特征也可以是，在上述光学系统中，各像高的彗形像差量δc满足以下的式(8)。

[数式7]

|δc|＜d min D  …(8)

其中，minD是表示在上述距离计测部中能够检测的模糊的最小的大小的像素数，d是上述摄像元件的像素的大小。

根据这样的结构，能够保证由彗形像差带来的轴外的模糊的量低于在距离计测处理中能够辨别的大小。由此，在图像整体中模糊的形态变得更均匀，能够降低对图像整体采用一律的PSF而进行距离计测处理时的误差。

发明效果

根据有关本发明的图像处理装置，能够将像倍率的变化量、以及轴上和轴外的模糊的不均匀度保持在不影响到距离计测的图像处理的范围中。因此，在图像处理时不用考虑像倍率的调整等，并且即使对图像整体采用均匀的处理，也不会发生由透镜的性能引起的误差。

附图说明

图1是表示本发明的实施方式1的图像处理装置的结构的图。

图2A是示意地表示透镜的成像关系的图。

图2B是示意地表示像倍率随着像面的位置而变化的状况的图。

图3是示意地表示像面的移动量与像倍率的变化量的关系的图。

图4是示意地表示像面的位置与弥散圆的大小的关系的图。

图5A是示意地表示像面弯曲的图。

图5B是示意地表示像散的图。

图5C是示意地表示彗形像差的图。

图6是示意地表示像面弯曲量与弥散圆的大小的关系的图。

图7是示意地表示彗形像差的大小的图。

图8是表示实施方式1的光学系统的透镜形状的图。

图9是表示用来实现本发明的图像处理装置的最小结构的图。

具体实施方式

(实施方式1)

以下，参照附图对本发明的实施方式进行说明。图1是表示有关本发明的实施方式1的图像处理装置的功能性的结构的模块图。

图像处理装置10具备摄像部12、帧存储器14、距离计测部16、控制部18。

摄像部12包括CCD(Charge Coupled Device：电荷耦合设备)传感器或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器等摄像元件20、和用来使被摄体像成像在摄像元件20上的光学系统22而构成，拍摄被摄体像摄像并输出图像。

帧存储器14是用来将图像以帧单位存储的存储器，存储由摄像部12输出的图像等。

距离计测部16基于由摄像部12拍摄的图像计测被摄体距离。作为距离计测的方法，以非专利文献1中记载的方法为代表，可以使用普遍使用的周知的DFD算法。

控制部18包括CPU、和保存控制程序的ROM及RAM等而构成，控制图像处理装置10具备的各功能块。

接着，对光学系统22应满足的性能的条件依次说明。

(像倍率变化)

图2A是示意地表示透镜的成像关系的图。根据透镜的公式，从透镜32的主点(以下，简单称作“主点”)到被摄体面的距离u与从主点到像面的距离v之间，成立由以下的式(9)表示的关系。

[数式8]

$\frac{1}{f}=\frac{1}{u}+\frac{1}{v}...\left(9\right)$

其中，f是透镜32的焦距。此时，假设被摄体的大小为y，被摄体像的大小为y’。根据式(9)，在焦距f为一定的条件下，如果从主点到被摄体面的距离u变化，则从主点到像面的距离v也相应地变化。如果距离v变化，则如图2B那样，像的大小y”也相应地变化。这是因为通过开口的中心的主光线34相对于光轴36倾斜地入射到像面上。对主光线34的入射角与像的大小的变化量的关系更详细地说明。

如图3所示，如果设在距离计测部16中计测的被摄体距离的范围中、将焦点位置对准于与光学系统22最近的位置和最远的位置时的、从主点到像面的距离v的变化量为δv、主光线34的入射角为θ，则相对于上述基准位置的像的大小y的变化量δy可以用以下的式(10)求出。

[数式9]

δy＝δvtanθ…(10)

这里，如果δy的绝对值比摄像元件的一个像素的大小d小，则可以认为实质上像的大小没有变化。即，为了即使从主点到像面的距离v变化像的大小也不变化，需要满足以下的式(11)。

[数式10]

d＞δvtan|θ|…(11)

为了满足式(11)，需要δv或θ中的至少一方小。但是，为了进行基于DFD的距离计测，需要模糊随着焦点的变化而变化，所以不能使δv太小。以下，基于图4对δv与模糊的大小的关系进行说明。

现在，设透镜32的焦距为f，从主点到被摄体面的距离为u，假设在从对焦位置离开δv的位置上有像面。在忽视了衍射带来的影响的情况下，表示此时发生的模糊的大小的弥散圆的直径D用以下的式(12)表示。

[数式11]

$D=\frac{\mathrm{\&delta;v}}{F}(1-\frac{f}{u})...\left(12\right)$

其中，F是光学系统22的F数(F-number，焦距比数)。决定δv的值以使该直径D成为对于DFD的距离计测足够的大小。如果将在DFD的算法中能够辨别的模糊的大小的单位设为minD像素、且只要能够进行B阶段的距离计测(将距离用阶段数B表示时的距离计测)就可以，则可知D只要满足以下的式(13)就可以。

[数式12]

D＞dB min D…(13)

根据式(12)及式(13)，为了得到对于DFD而言足够的模糊的大小，δv需要满足式(14)。

[数式13]

$\mathrm{\&delta;v}>\frac{u}{u-f}\mathrm{dFB}\min D...\left(14\right)$

根据式(11)及式(14)，为了得到像的大小的变化足够小、和对于DFD而言模糊足够大，主光线34的入射角θ应满足的条件用以下的式(15)表示。因而，只要将光学系统22设计成满足式(15)就可以。

[数式14]

$\left|\mathrm{\&theta;}\right|<{\tan }^{-1}\left(\frac{1}{\mathrm{FB}\min D}(1-\frac{f}{u})\right)...\left(15\right)$

根据式(15)，u越小，则右边的值越小。因而，如果设利用DFD进行距离计测的被摄体距离的范围之中与光学系统22最近侧的距离为u_min，则在式(15)中满足u＝u_min时的左边的值为θ的大小的实质上的上限。

在本实施方式中，假定了通过使摄像元件20移动来进行光学系统22的焦点位置的变化的情况，但焦点位置的变化也可以通过使光学系统22中包含的透镜移动来进行。

当设焦点位置变化前(将焦点位置对准于距离计测部16中计测的被摄体距离的范围之中与光学系统22最近侧的情况下)的摄像元件20的像的大小为y’、焦点位置变化后(将焦点位置对准于距离计测部16中计测的被摄体距离的范围之中与光学系统22最远侧的情况下)的摄像元件20的像的大小为y”时，如果它们的差δy的绝对值比摄像元件的一个像素的大小d小，则可以认为像的大小实质上没有变化，所以需要满足以下的式(16)。

[数式15]

|δy|＜d  …(16)

但是，需要通过上述光学系统中包含的透镜的移动，得到与前面同样对于DFD而言足够的模糊的量。因此，在焦点变化前焦点对准于被摄体距离u的位置的被摄体的情况下，焦点变化后的来自相同被摄体的光的模糊的大小D需要满足式(13)。

(轴外像差：像面弯曲)

如上所述，在DFD中，希望模糊在图像整体中均匀。所谓的赛德尔(Seidel)的5像差中的、对模糊的均匀性有影响的是分别在图5A、图5B及图5C中所示的像面弯曲、像散及彗形像差这3个。以下，对这些像差的容许量进行说明。

首先，对图5A所示的像面弯曲进行说明。像面弯曲是轴外光的对焦点不存在于包括轴上光线的对焦点且相对于光轴垂直的面上、而是在光轴方向上位于前后的现象。在假定在图像整体中模糊均匀来进行基于DFD的距离计测的情况下，实际上处于等距离的被摄体的模糊成为根据视场角而不同的大小，所以被计测为被摄体处于不同的距离。以下，对像面弯曲的容许量进行说明。

如图6所示，假设由某视场角的光线61带来的像面弯曲量是δq。其中，δq以从被摄体面朝向像面62的方向为正。设透镜32的焦距为f、从主点到被摄体面的距离为u，在将衍射带来的影响忽视的情况下，针对该视场角的弥散圆的直径D_q用以下的式(17)表示。

[数式16]

$D_q=\frac{\left|\mathrm{\&delta;q}\right|}{F}(1-\frac{f}{u})...\left(17\right)$

其中，F是光学系统22的F数。如果D_q比在DFD的算法中能够辨别的最小的模糊的大小d*minD小，则实质上能够忽视其影响。为了满足该条件，各像高的像面弯曲量δq需要满足以下的式(18)。因而，只要将光学系统22设计成满足式(18)就可以。

[数式17]

$\left|\mathrm{\&delta;q}\right|<\frac{u}{u-f}\mathrm{Fd}\min D...\left(18\right)$

根据式(18)，u越大则右边的值越小。因而，如果设利用DFD进行距离计测的距离范围之中与光学系统22最远侧的距离为u_max，则在式(18)中满足u＝u_max时的δq的值成为δq的大小的实质上的上限。

(轴外像差：像散)

接着，对图5B所示的像散进行说明。像散是在相对于光轴为同心圆方向(弧矢(Sagittal)方向)的光束和放射方向(切线(tangential)方向)的光束中对焦位置不同的现象。如果存在像散，则发生在轴外、模糊不扩散为均等的圆形、而成为纵长或横长的椭圆形等的现象，在图像整体中破坏模糊的形状的均匀性。

像散量被定义为包括弧矢方向及切线方向的各方向上的对焦点且相对于光轴垂直的面、与包括轴上光线的对焦点且相对于光轴垂直的面的距离、即像面弯曲。因而，当设各像高的弧矢方向的像面弯曲量为δqs、切线方向的像面弯曲量为δqt时，能够通过将光学系统22设计成它们变化为δq而满足式(18)，来实质上忽视像散的影响。即，只要将光学系统22设计成满足式(19)及式(20)就可以。

[数式18]

$\left|\mathrm{\&delta;qs}\right|<\frac{u_{\max }}{u_{\max }-f}\mathrm{Fd}\min D...\left(19\right)$

$\left|\mathrm{\&delta;qt}\right|<\frac{u_{\max }}{u_{\max }-f}\mathrm{Fd}\min D...\left(20\right)$

根据式(19)，u越大则右边的值越小。因而，如果设利用DFD进行距离计测的距离范围之中与光学系统22最远侧的距离为u_max，则在式(19)中满足u＝u_max时的δqs的值成为δqs的大小的实质上的上限。同样，在式(20)中，满足u＝u_max时的δqt的值成为δqt的大小的实质上的上限。

(轴外像差：彗形像差)

最后，对图5C所示的彗形像差进行说明。彗形像差是通过轴外光的主光线和外侧的光线形成的像的大小不同的现象。如果存在彗形像差，则在轴外，模糊不均等地扩散，成为拖尾那样的形状，仍在图像全体中破坏模糊的形状的均匀性。以下，对彗形像差的容许量进行说明。

现在，假设被摄体位置处于无限远。此时，如图7所示，彗形像差量δc被定义为由通过开口的中心的主光线71形成的像、与由通过开口的最外侧的光线72形成的像的大小的差。其中，δc以像变大的方向为正。因而，如果各像高的δc的大小比在DFD的算法中能够辨别的最小的模糊的大小dminD小，则实质上可以忽视该影响。为此，需要满足以下的式(21)。因而，只要将光学系统22设计成满足式(21)就可以。

[数式19]

|δc|＜d min D…(21)

另外，到目前为止的各条件的说明是关于使用单透镜时的条件的说明，但本发明的实施方式的光学系统22的结构并不限定于单透镜。在此情况下，作为焦距及F数，通过光学系统22整体的合成焦距及F数决定各条件。

另外，关于像倍率变化及像面弯曲，基于有限的被摄体距离设定了上限，但为了使计算简略化，也可以将被摄体距离设为无限远而进行这些计算。

(具体的数值实施例)

表1中表示有关本实施方式的光学系统22的具体的数值实施例，图8中表示形状。另外，R、d、nd、vd分别表示各面的曲率半径(单位：mm)、面间隔(单位：mm)、d线的折射率，阿贝数。此外，面号码的*表示非球面。在图8中将面号码用数字表示。非球面形状用以下的式(22)表示。

[数式20]

$Z=\frac{{\mathrm{cr}}^2}{1+\sqrt{1-(1+k)c^2{r}^2}}+A_4{r}^4+A_6{r}^6+A_8{r}^8+A_{10}{r}^{10}+A_{12}{r}^{12}...\left(22\right)$

这里，c＝1/R，k是圆锥系数，A₄、A₆、A₈、A₁₀、A₁₂分别是4次、6次、8次、10次、12次的非球面系数。

[表1]

面号码	R	d	nd	vd
					1*	4.30	2.55	1.531	56.04
2	9.08	0.75
					3(孔径光阑)	∞	0.70
4*	-8.75	1.39	1.585	29.91
					5*	-15.13	2.40
6*	-5.59	2.90	1.585	29.91
					7*	6.39	0.50
8*	12.11	4.66	1.531	56.04
					9*	-5.56	0.50
10	7.91	5.86	1.531	56.04
					11*	13.00	4.61
12(像面)	∞	-

此外，各非球面的圆锥系数k及非球面系数A₄、A₆、A₈、A₁₀、A₁₂表示在表2中。表2的面号码与表1的面号码相同。

[表2]

另外，假设焦距是15.78mm，F数是2.8，半视场角是14.97°。此外，与DFD相关的参数，设摄像元件的像素的大小d为2.4μm、在DFD的算法中能够辨别的模糊的大小的单位minD为2像素、进深检测的阶段数B为16阶段，进行距离计测的被摄体距离为1m到10m的范围。即，u_min＝1m，u_max＝10m。此时，根据式(15)、式(18)、式(21)，需要：主光线的入射角θ满足|θ|＜0.629°、像面弯曲量δq满足|δq|＜13.46μm、彗形像差量δc满足|δc|＜4.80μm。

表3中表示表1的光学系统22的相对于F线、d线、C线的各像高的主光线的入射角θF、θd、θC(单位：度)。

[表3]

像高	θF	θd	θC
				10％	0.111	0.126	0.133
20％	0.209	0.238	0.253
				30％	0.280	0.324	0.345
40％	0.314	0.373	0.401
				50％	0.309	0.383	0.419
60％	0.268	0.360	0.403
				70％	0.200	0.312	0.365
80％	0.102	0.240	0.304
				90％	0.072	0.102	0.183
100％	0.470	0.234	0.128

表4中表示表1的光学系统22的相对于F线、d线、C线的弧矢像面弯曲量δqsF、δqsd、δqsC、切线像面弯曲量δqtF、δqtd、δqtC。另外，这里表示的像面弯曲量表示各波长的相对于轴上像面位置的变位量，单位是μm。

[表4]

像高	δqsF	δqtF	δqsd	δqtd	δqsC	δqtC
							10％	-0.268	-1.942	0.046	-1.165	0.178	-0.832
20％	-0.810	-6.270	0.387	-3.482	0.892	-2.287
							30％	-1.095	-9.532	1.398	-4.297	2.450	-2.042
40％	-0.837	-10.042	3.166	-2.833	4.853	0.283
							50％	-0.274	-8.792	5.262	-0.837	7.588	2.595
60％	0.000	-7.286	6.935	-0.340	9.830	2.622
							70％	-0.605	-5.407	7.490	-1.420	10.835	0.208
80％	-2.480	-1.744	6.504	-2.224	10.166	-2.561
							90％	-0.600	4.055	3.695	-0.674	7.587	-2.764
100％	-12.529	1.219	-1.909	-2.125	2.309	-3.355

表5中表示表1的光学系统22的相对于F线、d线、C线的彗形像差量δcF、δcd、δcC(单位：μm)。

[表5]

像高	δcF	δcd	δcC
				10％	0.561	0.922	1.456
20％	-0.022	0.796	1.905
				30％	-1.676	-0.266	1.480
40％	-3.136	-1.037	1.397
				50％	-3.284	-0.501	2.635
60％	-2.627	0.670	4.459
				70％	-3.169	0.092	4.343
80％	-3.941	-2.413	1.480
				90％	1.719	-1.028	1.949
100％	-1.079	-1.799	2.378

对于任何像高、任何波长都满足指定的条件。因此，像倍率的变化量、和轴上及轴外的模糊的不均匀度被保持在不影响到距离计测的图像处理的范围，所以在图像处理时不考虑像倍率的调整等，并且即使对图像整体适用均匀的处理，也不会发生起因于透镜的性能的误差。

另外，这里公开的实施方式在所有的方面都是例示，而不应被认为是限制性的。本发明的范围不由上述说明而由权利要求书表示，意味着包含与权利要求书等价的意义及范围内的全部变更。

另外，图9是表示用来实现本发明的图像处理装置的最小结构的图，图像处理装置10只要具备摄像部12和距离计测部16就可以。

此外，本发明也可以作为包括上述图像处理装置具备的距离计测部执行的处理作为步骤的方法实现。

此外，本发明也可以作为将上述图像处理装置具备的距离计测部集成化的集成电路实现。

此外，本发明也可以作为用来使计算机执行上述图像处理装置具备的距离计测部执行的处理的程序实现。

工业实用性

本发明由于能够基于从单一的视点拍摄的图像进行距离计测，所以能够应用到全部摄像设备中。特别是，具有在图像整体中均匀的模糊的特性，不需要按照图像的地方切换处理，所以最适合要求较高的距离计测精度的用途、及需要将处理量抑制得较少的用途。

标号说明

10图像处理装置

12摄像部

14帧存储器

16距离计测部

18控制部

20摄像元件

22光学系统

Claims (5)

1.一种图像处理装置，具备：

摄像元件，拍摄图像；

光学系统，用于将被摄体的像成像在上述摄像元件上；以及

距离计测部，基于在上述图像中产生的模糊的大小，计测作为到上述被摄体的距离的被摄体距离；

上述光学系统的特性满足如下条件：在上述距离计测部中计测的上述被摄体距离的范围之中，将焦点位置对准于与上述光学系统最近侧和最远侧的情况下的像倍率的变化为规定的像素数以下，同时，上述光学系统的基于像高的点扩散函数的差异为对由上述距离计测部进行的上述被摄体距离的计测不产生影响的规定的大小以下，

其中，在使上述光学系统的焦点位置变化的情况下，在上述距离计测部中计测的上述被摄体距离的范围之中，将焦点位置对准于与上述光学系统最近侧的情况下的上述摄像元件的像的大小、与将焦点位置对准于与上述光学系统最远侧的情况下的上述摄像元件的像的大小之差δy满足以下的式(1)，

[数式1]

|δy|＜d…(1)

其中，d是上述摄像元件的一个像素的大小。

2.如权利要求1所述的图像处理装置，

上述光学系统中，各像高的像面弯曲量δq满足以下的式(2)，

[数式2]

$\left|\mathrm{\&delta;q}\right|<\frac{u_{\max }}{u_{\max }-f}\mathrm{Fd}\min D\&CenterDot;\&CenterDot;\&CenterDot;\left(2\right)$

其中，F是上述光学系统的焦距比数即F数，f是上述光学系统的焦距，minD是表示在上述距离计测部中能够检测的模糊的最小的大小的像素数，u_max是在上述距离计测部中计测的上述被摄体距离的范围之中与上述光学系统最远侧的距离，d是上述摄像元件的像素的大小。

3.如权利要求1所述的图像处理装置，

上述光学系统中，各像高的弧矢像面弯曲量δqs及切线像面弯曲量δqt分别满足以下的式(3)及式(4)，

[数式3]

$\left|\mathrm{\&delta;qs}\right|<\frac{u_{\max }}{u_{\max }-f}\mathrm{Fd}\min D\&CenterDot;\&CenterDot;\&CenterDot;\left(3\right)$

$\left|\mathrm{\&delta;qt}\right|<\frac{u_{\max }}{u_{\max }-f}\mathrm{Fd}\min D\&CenterDot;\&CenterDot;\&CenterDot;\left(4\right)$

其中，F是上述光学系统的焦距比数即F数，f是上述光学系统的焦距，minD是表示在上述距离计测部中能够检测的模糊的最小的大小的像素数，u_max是在上述距离计测部中计测的上述被摄体距离的范围之中与上述光学系统最远侧的距离，d是上述摄像元件的像素的大小。

4.如权利要求1所述的图像处理装置，

上述光学系统中，各像高的彗形像差量δc满足以下的式(5)，

[数式4]

|δc|＜dminD…(5)

其中，minD是表示在上述距离计测部中能够检测的模糊的最小的大小的像素数，d是上述摄像元件的像素的大小。

5.一种图像处理方法，是如下图像处理装置的图像处理方法，

该图像处理装置具备：

摄像元件，拍摄图像；

光学系统，用于将被摄体的像成像在上述摄像元件上；以及

距离计测部，基于在上述图像中产生的模糊的大小，计测作为到上述被摄体的距离的被摄体距离；

上述图像处理方法包括：上述距离计测部基于在上述图像中产生的模糊的大小，计测上述被摄体距离的步骤；

上述光学系统的特性满足如下条件：在上述距离计测部中计测的上述被摄体距离的范围之中，将焦点位置对准于与上述光学系统最近侧和最远侧的情况下的像倍率的变化为规定的像素数以下，同时，上述光学系统的基于像高的点扩散函数的差异为对由上述距离计测部进行的上述被摄体距离的计测不产生影响的规定的大小以下，

其中，在使上述光学系统的焦点位置变化的情况下，在上述距离计测部中计测的上述被摄体距离的范围之中，将焦点位置对准于与上述光学系统最近侧的情况下的上述摄像元件的像的大小、与将焦点位置对准于与上述光学系统最远侧的情况下的上述摄像元件的像的大小之差δy满足以下的式(1)，

[数式1]

|δy|＜d…(1)

其中，d是上述摄像元件的一个像素的大小。