CN103211574B

CN103211574B - 图像处理设备和图像处理方法

Info

Publication number: CN103211574B
Application number: CN201310021768.2A
Authority: CN
Inventors: 岩濑好彦; 牧平朋之; 佐藤真; 宫田和英; 富田律也; 新畠弘之; 木边乃介
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-01-20
Filing date: 2013-01-21
Publication date: 2016-08-03
Anticipated expiration: 2033-01-21
Also published as: JP2013165952A; KR20130085978A; EP2617351B1; US9033499B2; EP2617351A1; US20130188138A1; JP5988772B2; CN103211574A; KR101570666B1

Abstract

本发明提供一种图像处理设备和图像处理方法，图像处理设备包括：眼底图像获取单元，用于获取眼的眼底图像；断层图像获取单元，用于获取眼的偏振敏感断层图像；以及显示控制单元，用于使显示单元显示叠加在眼底图像的与偏振敏感断层图像中示出的眼的预定层中的不连续部分相对应的位置上的、表示不连续部分的显示形态。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种用于处理被检体的图像的图像处理设备和图像处理方法，本发明尤其涉及一种用于处理被检眼的断层图像的图像处理设备和图像处理方法。

背景技术

使用多波长光的干涉的光学相关断层成像(OCT)技术使得能够获取样本(特别是眼底)的高分辨率断层图像。

近年来，除眼底组织的形状的通常OCT图像以外，眼科OCT设备还可以使用作为眼底组织的光学特性的偏振参数(即，延迟(retardation)和方向)来获取偏振敏感OCT图像。

偏振敏感OCT(PS-OCT)可以使用偏振参数形成偏振敏感OCT图像，并且可以对眼底组织进行区分和分割。PS-OCT利用了眼的视网膜(或者眼底)中的某些层与其它层不同地反射偏振光这一事实。国际公开WO2010/122118A1说明了一种使用被调制成了圆偏振光束作为用于检查样本的测量光束的偏振敏感OCT。然后，通过将干涉光束分割成相互垂直的两个线偏振光束来进行检测，从而生成由于眼底中的不同层与偏振光的相互作用而对不同层进行不同成像的偏振敏感OCT图像。

发明内容

通常，在被检眼患有导致视网膜色素上皮(RPE)层的缺失部分的疾病时，在被检眼的偏振敏感OCT图像中可识别出该缺失部分(即，预定层中的不连续部分)。对于这类缺失部分，希望提供一种能够提供对于诊断有用的信息的图像处理设备。

根据本发明的一个方面，一种图像处理设备，包括：眼底图像获取单元，用于获取眼的眼底图像；断层图像获取单元，用于获取眼的偏振敏感断层图像；以及显示控制单元，用于使显示单元在所述眼底图像的与所述偏振敏感断层图像中示出的眼的预定层中的不连续部分相对应的位置处叠加显示表示所述不连续部分的显示形态。

根据本发明的另一方面，一种图像处理方法，包括以下步骤：获取眼的眼底图像；获取眼的偏振敏感断层图像；以及在所述眼底图像的与所述偏振敏感断层图像中的眼的预定层中的不连续部分相对应的位置处叠加显示表示所述不连续部分的显示形态。

根据本发明的典型实施例，可以将与缺失部分(即，预定层中的不连续部分)相对应的位置显示在眼底的图像上，从而使得可以提供对于诊断有用的信息。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将显而易见。

附图说明

包含在说明书中并构成说明书的一部分的附图，示出本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。

图1是示出根据本发明典型实施例的图像处理设备的示意图。

图2A、2B、2C、2D和2E示出由信号处理单元所生成的图像的例子。

图3是示出根据本典型实施例的处理的流程图。

图4示出根据本典型实施例的图像处理设备的显示单元上的显示画面的显示例子。

图5示出根据本典型实施例的图像处理设备的显示单元上的显示画面的显示例子。

图6示出根据本典型实施例的图像处理设备的显示单元上的显示画面的显示例子。

图7示出根据本典型实施例的图像处理设备的显示单元上的显示画面的显示例子。

图8示出根据本典型实施例的图像处理设备的显示单元上的显示画面的显示例子。

图9示出根据本典型实施例的图像处理设备的显示单元上的显示画面的显示例子。

图10示出根据本典型实施例的图像处理设备的显示单元上显示的二维层厚度图的例子。

图11示出根据本典型实施例的图像处理设备的显示单元上的显示画面的显示例子。

图12示出根据本典型实施例的图像处理设备的显示单元上的显示画面的显示例子。

具体实施方式

下面参考附图详细说明本发明的各种典型实施例、特征和方面。

根据本发明典型实施例的图像处理设备能够在眼底的图像(眼底图像)上显示与预定层中的不连续部分(例如，RPE层中的缺失部分)相对应的位置。该图像处理设备因而可以提供对于诊断有用的信息。例如，图11示出叠加在眼底图像1101上的、表示(如在断层图像1103中可见的)被检眼的RPE层中的不连续的显示形态1102(即，二维区域)。更具体地，希望将叠加在眼底图像1101上的显示形态1102显示在与表示偏振状态的断层图像1103(即，偏振敏感OCT图像)中的被检眼的RPE层1105中的不连续区域1104相对应的位置处。可以将这类断层图像称为偏振敏感断层图像或者表示偏振状态的断层图像，以区别于断层强度图像或者传统断层图像(稍后说明)。在这种情况下，希望从由表示偏振状态的多个二维断层图像所形成的三维断层图像提取三维层区域作为(例如)RPE层。此外，希望基于该三维层区域，将三维不连续区域识别为不连续部分。

此外，希望将表示RPE层的显示形态1105叠加显示在断层强度图像1103上。在对通过在断层强度图像1103上叠加表示RPE层的显示形态1105所获得的图像和通过在眼底图像1101上叠加表示不连续的显示形态1102所获得的图像进行并排显示的情况下，用户可以通过将它们相互关联而容易地确认各图像中的缺失部分。在这种情况下，希望表示偏振状态的断层图像的获取位置和断层强度图像的获取位置是被检眼内的同一位置。可以在获取时、或者在此后使用摄像后处理，调整所获取的表示偏振状态的断层图像的位置和所获取的断层强度图像的位置，并且然后可以叠加显示形态1102和1105。

而且，希望在监视器的显示画面的显示区域上，在眼底照片1106上叠加显示眼底图像1101，如图12所示，其中，眼底照片1106是利用眼底照相机所拍摄的彩色眼底图像。结果，用户可以确认彩色眼底图像中的缺失部分的位置，其中，与单色眼底图像相比，彩色眼底图像更容易识别，并且有利于诊断。眼底图像1101是与眼底照片1106相比范围更窄的图像。希望基于诸如血管等的特征区域对眼底照片1106和眼底图像1101进行配准。此外，希望在使得强度相对低的区域透明的情况下，将眼底图像1101叠加在眼底照片1106上。用户因而可以容易地确认彩色眼底图像中的缺失部分的位置，从而使得这类显示形态有利于诊断。

此外，如果在断层强度图像1103中存在多个不连续部分1104，则希望图像处理设备包括诸如鼠标等的用于用户指定不连续部分之一的指定单元。在这种情况下，希望根据利用指定单元的指定，将多个不连续部分1104中的指定部分的显示形态改变成与其它不连续部分的显示形态不同的格式，即，不同颜色或者形状，或者进行突出显示。此外，希望改变与指定部分相对应的眼底图像1101中的不连续部分的显示形态，使得其不同于其它不连续部分的显示形态。用户因而可以容易地区分指定部分和其它部分，因而这样的显示形态有利于诊断。

此外，通过指定单元所指定的部分可以是眼底图像1101中的多个不连续部分1102中的一个。在这种情况下，如上所述，希望根据通过指定单元的指定，将指定部分的显示形态改变成不同于其它不连续部分的显示形态。此外，还希望根据通过指定单元的指定而改变与指定部分相对应的断层强度图像1103中的不连续部分的显示形态，以使得其变成不同于其它不连续部分的显示形态的显示形态。结果，即使在图像中存在多个缺失部分时，用户也可以容易地确认这两个图像中的相应缺失部分的位置。

此外，代替如上所述的眼底强度图像，眼底图像1101可以是诸如(稍后说明的)延迟图或者双折射图等的表示偏振状态的眼底图像(即，偏振敏感眼底图像)。

根据本发明典型实施例的摄像设备可应用于诸如被检眼、皮肤和内脏等的被检体。此外，根据本典型实施例的摄像设备可以是眼科设备或者内窥镜。下面说明使得能够实现上述期望效果的、根据优选实施例的方法和设备。具体地，说明获取偏振敏感眼底图像和强度眼底图像的方法、以及获取偏振敏感断层图像和断层强度图像的方法。随后说明(例如，使用偏振均匀度图)区分和指定眼中的层的方法、以及(例如，使用延迟图像或者双折射图像)发现和诊断这些层中的不连续的方法。

图1是示出作为根据本典型实施例的摄像设备的例子的眼科设备的示意图。可以将下述信号处理单元190中的至少一部分当作为图像处理设备。可选地，可以将信号处理单元190和眼科设备一起当作为图像处理设备。

参考图1，眼科设备包括偏振敏感OCT(PS-OCT)100、偏振敏感扫描激光检眼器(PS-SLO)140、前眼部摄像单元160、内部固视灯170和控制单元200。

通过点亮内部固视灯170、使被检眼注视内部固视灯170、并且使用通过前眼部摄像单元160所拍摄的眼的前眼部的图像，对准眼科设备。在完成对准之后，PS-OCT100和PS-SLO140进行眼底摄像。

下面说明PS-OCT100的结构。

由超发光二极管(SLD)所构成的光源101，即，低相干光源发射中心波长为850nm、并且带宽为50nm的光。可以使用诸如放大自发辐射(ASE)光源等的可以发射低相干光的任意光源作为光源101。

通过偏振保持(PM)光纤102和偏振控制器103将从光源101发射的光引导至具有偏振保持功能的光纤耦合器104。然后将光束分割成测量光束(以下称为“用于断层图像的测量光束”或者“OCT测量光束”)和与测量光束相对应的参考光束。

偏振控制器103调整从光源101发射的光束的偏振状态，并且将光束调整成线偏振光束。光纤耦合器104的分支比为90(参考光束)：10(测量光束)。

经由PM光纤105从准直器106输出测量光束作为平行光束。输出的测量光束经由X扫描器107、透镜108和109、以及Y扫描器110到达分色镜111。X扫描器107包括在眼底Er的水平方向上扫描测量光束的电流镜(galvanomirror)，并且Y扫描器110包括在在眼底Er的垂直方向上扫描测量光束的电流镜。X扫描器107和Y扫描器110被驱动控制单元180控制，并且能够在眼底Er的期望范围内扫描测量光束。可以将在眼底上扫描测量光束的范围当作为测量光束的照射位置和包括断层图像的获取位置的断层图像的获取范围。此外，X扫描器107和Y扫描器110是PS-OCT的扫描单元的例子，并且可以被配置为共用的XY扫描器。分色镜111反射具有波长800nm～900nm的光，并且使其它波长的光透过。

被分色镜111反射的测量光束经由透镜112穿过被配置为相对于作为转动轴的光轴从P偏振方向向S偏振方向倾斜45°角的λ/4偏振片113。光束的相位因而偏移90°，并且使该光束偏振成圆偏振光束。λ/4偏振片113是用于调整测量光束的偏振状态的测量光束用的偏振调整构件的例子。如果使用下述PS-SLO光学系统，则可以将λ/4偏振片设置在PS-OCT光学系统的部分和PS-SLO光学系统的部分之间的共用的光路上。结果，可以相对降低在由PS-OCT光学系统和PS-SLO光学系统所获取的图像中产生的偏振状态的偏差。在这种情况下，可以将用于PS-SLO的扫描单元和用于PS-OCT的扫描单元配置在相互共轭的位置，并且可以将它们配置成与被检眼的瞳孔共轭。λ/4偏振片113的倾斜是λ/4偏振片113的状态的例子，并且在包括偏振分束器的光纤耦合器123的偏振分束面的光轴为转动轴的情况下，该倾斜是相对于预定位置的角度。

此外，可以将λ/4偏振片113插入光路和从光路移除。例如，可以将λ/4偏振片113机械地配置成围绕光轴或者与光轴平行的轴作为转动轴而转动。结果，可以实现能够在SLO光学系统和PS-SLO光学系统之间容易地切换的紧凑型设备。此外，可以实现能够在OCT光学系统和PS-OCT光学系统之间容易地切换的紧凑型设备。

因而，通过以倾斜45°角度配置λ/4偏振片113，使入射至被检眼的光束偏振成圆偏振光束。然而，由于被检眼的特性，光束在眼底Er可能没有变成圆偏振光束。为了解决这一问题，驱动控制单元180可以进行控制以精细调整λ/4偏振片113的倾斜。

被安装在台116上的调焦透镜114使被偏振成圆偏振光束的测量光束经由被检眼的前眼部Ea，聚焦于眼底Er的视网膜的层。视网膜的各层对照射眼底Er的测量光束进行反射和散射，并且经由上述光路使其返回到光纤耦合器104。

另一方面，经由PM光纤117从准直器118输出被光纤耦合器104分支的参考光束作为平行光束。与测量光束类似，通过被配置为相对于作为转动轴的光轴从P偏振向S偏振倾斜22.5°角度的λ/4偏振片119，使输出的参考光束偏振。λ/4偏振片119是用于调整参考光束的偏振状态的参考光束用的偏振调整构件的例子。通过被安装在相干门(coherencegate)台121上的镜122，经由色散补偿玻璃120反射参考光束，并且使其返回至光纤耦合器104。参考光束穿过λ/4偏振片119两次，从而线偏振光束返回至光纤耦合器104。

通过驱动控制单元180控制相干门台121以处理被检眼的轴长的差。相干门是在测量光束的光路上与参考光束的光路长度相对应的位置。根据本典型实施例，参考光束的光路长度是可变的。然而，不局限于此，只要可以改变测量光束和参考光束的光路长度的差即可。

将返回至光纤耦合器104的返回光束和参考光束合成为干涉光束(还称为合成光束)。将干涉光束入射至包括偏振分束器的光纤耦合器123，并且以分支比50：50将其分割成不同偏振方向的P偏振光束和S偏振光束。

经由PM光纤124和准直器130，通过光栅131对P偏振光束进行分光，并且通过透镜132和线阵照相机133接收该P偏振光束。类似地，经由PM光纤125和准直器126，通过光栅127对S偏振光束进行分光，并且通过透镜128和线阵照相机129接收该S偏振光束。将光栅127和131、以及线阵照相机129和133配置成与各偏振方向的方向相一致。

输出由线阵照相机129和133各自所接收到的光束，作为与光强度相对应的电信号。作为断层图像生成单元的例子的信号处理单元190然后接收输出的电信号。

可以基于偏振分束器的偏振分束面的倾斜，自动调整λ/4偏振片113和119的倾斜。还可以相对于连接眼底的视盘和黄斑的中心的虚拟线，自动调整λ/4偏振片113和119的倾斜。在这种情况下，希望倾斜检测单元(未示出)检测λ/4偏振片113和119的倾斜。倾斜检测单元可以检测当前倾斜，并且检测倾斜是否达到了预定倾斜。此外，可以基于接收光的强度来检测λ/4偏振片113和119的倾斜，并且可以调整该倾斜以使得达到预定强度。此外，可以将表示该倾斜的对象显示在图形用户界面(GUI)上，并且用户可以使用鼠标调整该倾斜。而且，通过基于作为偏振基准的垂直方向而调整偏振分束器、以及λ/4偏振片113和119，可以获取相同结果。

下面说明PS-SLO140的结构。

根据本典型实施例，光源141，即，半导体激光器发射中心波长为780nm的光束。经由PM光纤142将从光源141发射的测量光束(以下称为眼底图像用的测量光束或者SLO测量光束)传送至偏振控制器145，在偏振控制器145，将其转换成线偏振光束，并且从准直器143输出作为平行光束。输出的测量光束然后穿过穿孔镜144的穿孔部，并且经由透镜155、X扫描器146、透镜147和148、以及Y扫描器149到达分色镜154。X扫描器146包括在眼底Er的水平方向上扫描测量光束的电流镜，并且Y扫描器149包括在眼底Er的垂直方向上扫描测量光束的电流镜。X扫描器146和Y扫描器149被驱动控制单元180控制，并且能够在眼底Er的期望范围内扫描测量光束。此外，X扫描器146和Y扫描器149是PS-SLO的扫描单元的例子，并且可以被配置成共用的XY扫描器。分色镜154反射波长为760nm～800nm的光，并且使其它波长的光透过。

被分色镜154反射的线偏振测量光束经由与PS-OCT100相同的光路，到达眼底Er。

眼底Er对照射眼底Er的测量光束进行反射和散射，并且该测量光束经由上述光路到达穿孔镜144。然后经由透镜150，通过偏振分束器151将由穿孔镜144反射的光束分割成不同偏振方向的光束(即，根据本典型实施例，分割成P偏振光束和S偏振光束)。通过各个雪崩光电二极管(APD)152和153接收分割出的光束，将其转换成电信号，并且信号处理单元190接收该电信号，其中，信号处理单元190是眼底图像生成单元的例子。

穿孔镜144的位置与被检眼的瞳孔的位置共轭。穿孔镜144对由利用测量光束照射的眼底Er所反射和散射的光中、穿过瞳孔的周边区域的光进行反射。

根据本典型实施例，PS-OCT和PS-SLO都使用PM光纤。然而，在偏振控制器控制偏振的情况下，通过使用单模光纤(SMF)可以获得相同结构和效果。

下面说明前眼部摄像单元160。

前眼部摄像单元160使用包括发出波长为1000nm的照射光的发光二极管(LED)115-a和115-b的照射光源115照射前眼部Ea。由前眼部Ea反射的光经由透镜114、偏振片113、透镜112、以及分色镜111和154，到达分色镜161。分色镜161反射波长980nm～1100nm的光，并且使其它波长的光透过。然后经由透镜162、163和164，通过前眼部照相机165接收由分色镜161所反射的光。将由前眼部照相机165所接收到的光转换成电信号，并且信号处理单元190接收该电信号。

下面说明内部固视灯170。

内部固视灯170包括内部固视灯显示单元171和透镜172。使用以矩阵形状所配置的多个LED作为内部固视灯显示单元171。根据要摄像的区域，通过驱动控制单元180所进行的控制，改变LED的发光位置。经由透镜172将从内部固视灯显示单元171所发射的光引导至被检眼。内部固视灯显示单元171发射波长为520nm的光，并且驱动控制单元180显示期望图案。

下面说明用于控制根据本典型实施例的整个设备的控制单元200。

控制单元200包括驱动控制单元180、信号处理单元190、显示控制单元191和显示单元192。

驱动控制单元180控制如上所述的各单元。

信号处理单元190基于从线阵照相机129和133、APD152和153、以及前眼部照相机165所输出的信号而生成图像，分析所生成的图像，并且生成分析结果的视觉信息。下面详细说明图像生成处理。

显示控制单元191将通过眼底图像获取单元(未示出)和断层图像获取单元(未示出)所获取的、由断层图像生成单元和眼底图像生成单元所生成的图像显示在显示单元192的显示画面上。显示单元192可以是液晶显示器。可以经由有线或者无线通信，将由信号处理单元190所生成的图像数据发送给显示控制单元191。在这种情况下，可以将显示控制单元191当作为图像处理设备。此外，眼底图像获取单元可以包括SLO光学系统，并且断层图像获取单元可以包括OCT光学系统，作为各自的摄像系统。根据本典型实施例，如果被检体是除被检眼以外的被检体，则可以将眼底图像(即，眼底强度图像)表示为平面图像(即，平面强度图像)，并且可以将眼底图像获取单元表示为平面图像获取单元。

显示单元192基于由显示控制单元191所进行的控制，显示表示下述各种类型的信息的显示形态。可以经由有线或者无线通信，将来自显示控制单元191的图像数据发送给显示单元192。此外，显示单元192包括在控制单元200中。然而，不局限于此，并且显示单元192可以与控制单元200分开。此外，可以使用作为便携式装置的例子的、通过集成显示控制单元191和显示单元192所构成的平板。在这种情况下，希望在显示单元中包括触摸面板功能，从而使得用户可以操作触摸面板来移动图像的显示位置、放大和缩小图像、以及改变要显示的图像。

下面说明信号处理单元190所进行的图像生成和图像分析处理。

信号处理单元190对从各线阵照相机129和133所输出的干涉信号进行一般谱域(SD-)OCT中所使用的重构处理。信号处理单元190从而生成与第一偏振光束相对应的断层图像和与第二偏振光束相对应的断层图像，即，各自基于偏振成分的两个断层图像。

更具体地，信号处理单元190对干涉信号进行固定模式噪声消除。通过对所检测到的多个A扫描信号进行平均化、从而提取固定模式噪声、并且从输入的干涉信号减去所提取的固定模式噪声，来进行固定模式噪声消除。

信号处理单元190然后将干涉信号的波长变换成波数，并且对该信号进行傅立叶变换，从而生成表示偏振状态的断层信号。

信号处理单元190对两个偏振成分的干涉信号进行上述处理，从而生成两个断层图像。

此外，信号处理单元190与X扫描器146和Y扫描器149的驱动同步地对从APD152和153输出的信号进行配准。信号处理单元190从而生成与第一偏振光束相对应的眼底图像和与第二偏振光束相对应的眼底图像，即，各自基于偏振成分的两个眼底图像。

此外，信号处理单元190根据上述两个断层信号，生成断层强度图像。

更具体地，断层强度图像与传统OCT中的断层图像大体相同。使用公式(1)，根据从各线阵照相机129和133所获取的断层信号A_H和A_V，计算断层强度图像的像素值r。

r = \sqrt{A_{H}^{2} + A_{V}^{2}} - - - (1)

此外，同样地，信号处理单元190根据这两个眼底图像，生成眼底强度图像。

图2A示出视盘的断层强度图像的例子。

当从光路移除λ/4偏振片113时，显示控制单元191可以在显示单元192上显示使用传统OCT技术所获取的断层强度图像、或者使用传统SLO技术所获取的眼底强度图像。

此外，信号处理单元190根据相互垂直的偏振成分的断层图像，生成延迟图像。

延迟图像中各像素的值δ是表示在构成断层图像的各像素的位置处、被检眼的垂直偏振成分和水平偏振成分受到的影响的比的值。使用公式(2)，根据各断层信号A_H和A_V计算值δ。

δ = \arctan [\frac{A_{V}}{A_{B}}] - - - (2)

图2B示出如上所述生成的视盘的延迟图像的例子。对于各B扫描图像，可以通过计算公式(2)获取延迟图像。如上所述，延迟图像是表示被检眼的两个偏振光束受到的影响的差的断层图像。参考图2B，将表示上述比的值显示为彩色断层图像。较暗的阴影部分表示比的值小，并且较亮的阴影部分表示比的值大。结果，生成延迟图像，这使得能够识别存在双折射的层。更详细的说明，参考“E.Gotzingeretal.，Opt.Express13，10217，2005”。

此外，同样地，信号处理单元190可以基于来自APD152和153的输出，生成眼底的平面方向上的延迟图像。

信号处理单元190根据针对多个B扫描图像所获取的延迟图像，生成延迟图。

更具体地，信号处理单元190检测各B扫描图像中的视网膜色素上皮(RPE)。由于RPE消除了偏振，所以信号处理单元190搜索各A扫描的沿深度方向在从内界膜(ILM)起的不包括RPE的范围内的延迟分布。信号处理单元190然后将延迟的最大值设置为A扫描的延迟的代表值。

信号处理单元190对所有延迟图像进行上述处理，从而生成延迟图。

图2C示出视盘的延迟图的例子。参考图2C，较暗的阴影部分表示A_V:A_H的比的值小，并且较亮的阴影部分表示该比的值大。视盘的具有双折射的层是视网膜神经纤维层(RNFL)。产生δ的值的A_V:A_H的比受到RNFL的双折射和RNFL的厚度的影响。实际上，如下双折射特性针对具有第一偏振的光束给出的检测强度值比针对具有第二偏振的光束给出的检测强度值大很多：该双折射特性使得具有第一偏振的光束能够穿过具有该双折射特性的层，而禁止具有第二偏振的光束穿过。因此，例如，A_V可以比A_H大很多，与层不具有双折射特性相比，对于A_V/A_H给出更大的值。结果，表示该比的值(δ)在RNFL厚的地方变大，并且在RNFL薄的地方变小。因此，可以使用延迟图识别整个眼底的RNFL的厚度，并且可以用于青光眼的诊断。

信号处理单元190在先前生成的延迟图像的各A扫描图像中，对ILM～RNFL(即，视网膜的前两层)的范围的延迟δ的值进行线性近似。信号处理单元190然后将所获取的斜率确定为A扫描图像中的视网膜的位置处的双折射。换句话说，由于延迟是RNFL中的距离和双折射的积，所以通过绘制各A扫描图像中的深度和延迟的值来获取线性关系。结果，使用最小二乘法对该绘制图进行线性近似，并且所获取的斜率变成A扫描图像中的RNFL的双折射的值。信号处理单元190对所有获取的延迟图像进行上述处理，并且生成表示双折射的图。

图2D示出视盘的双折射图的例子。双折射图直接绘制出双折射的值。结果，当即使RNFL的厚度没有变化，而RNFL的纤维结构变化时，可以将该变化显示为双折射的变化。

信号处理单元190使用公式(3)，根据所获取的断层信号A_H和A_V、以及断层信号A_H和A_V之间的相位差ΔΦ，计算各像素的Stokes矢量S。

s = (\begin{matrix} I \\ Q \\ U \\ V \end{matrix}) = (\begin{matrix} A_{H}^{2} + A_{V}^{2} \\ A_{H}^{2} - A_{V}^{2} \\ 2 A_{H} A_{V} \cos Δφ \\ 2 A_{H} A_{V} \sin Δφ \end{matrix}) - - - (3)

在这种情况下，根据在计算这两个断层图像时所获取的各信号的相位Φ_H和Φ_V，计算ΔΦ作为ΔΦ=Φ_V–Φ_H。

然后在各B扫描图像中，信号处理单元190设置在测量光束的主扫描方向上约为70μm、并且在深度方向上约为18μm的大小的窗口。信号处理单元190然后利用各窗口内的数量C，对针对各像素所计算出的Stokes矢量的各要素进行平均化，并且使用公式(4)计算窗口内的偏振均匀度(DOPU)。

DOPU = \sqrt{Q_{m}^{2} + U_{m}^{2} + V_{m}^{2}} - - - (4)

在公式(4)中，Q_m、U_m和V_m是通过对各窗口内的Stokes矢量中的要素Q、U和V进行平均化所获取的值。信号处理单元190对B扫描图像中的所有窗口进行上述处理，并且生成如图2E所示的视盘的DOPU图像。如上所述，DOPU图像是表示这两个类型的偏振的偏振均匀度的断层图像。

DOPU是表示偏振的均匀性的值，并且在保持偏振时变成接近“1”，而且在消除或者没有保持偏振时，变成小于“1”。由于视网膜的结构中的RPE消除了偏振状态，所以DOPU图像中与RPE相对应的部分的DOPU的值变得小于其它部分中的值。参考图2E，较亮的阴影部分表示RPE。DOPU图像示出诸如消除偏振的RPE等的层，因而即使在RPE由于疾病而变形时，与强度变化相比，也可以确实获取RPE的图像。

此外，同样地，信号处理单元190可以基于来自APD152和153的输出，生成眼底的平面方向上的DOPU图像。

根据本典型实施例，将上述与第一和第二偏振光束相对应的断层图像(图2A)、延迟图像(图2B)和DOPU图像(图2E)称为表示偏振状态的断层图像。此外，根据本典型实施例，将上述延迟图(图2C)和双折射图(图2D)还称为表示偏振状态的眼底图像。

信号处理单元190使用上述强度图像进行断层图像的分割。

更具体地，信号处理单元190对要处理的断层图像应用作为一种类型的平滑滤波器的中值滤波器和作为一种类型的边缘检测方法的Sobel滤波器。信号处理单元190从而生成各个图像(以下称为中值图像和Sobel图像)。信号处理单元190然后根据所生成的中值图像和Sobel图像，生成各A扫描的轮廓。信号处理单元190根据中值图像生成强度值的轮廓，并且根据Sobel图像生成梯度的轮廓。信号处理单元190检测根据Sobel图像所生成的轮廓的峰。此外，信号处理单元190通过参考与检测到的峰前后的区域以及所检测到的峰之间的区域相对应的中值图像的轮廓，提取视网膜的各层的边界。

此外，信号处理单元190测量A扫描线方向上的各层厚度，并且生成各层的层厚度图。

下面说明根据本典型实施例的图像处理设备所进行的操作。

图3是示出根据本典型实施例的图像处理设备所进行的操作的流程图。

在步骤S101，使图像处理设备和位于图像处理设备上的被检眼对准。下面说明本典型实施例所特有的用于进行对准的处理。由于X、Y和Z方向上的工作距离的对准、调焦和相干门的调整是普通的，因而省略对其的说明。

图4示出在进行调整时显示单元192上所显示的窗口400。参考图4，显示区域410，即，第一显示区域的例子显示通过PS-SLO140拍摄的、由信号处理单元190所生成的眼底图像411。在眼底图像411上叠加表示PS-OCT100的摄像范围的框412。

操作者通过点击和拖动诸如鼠标等的指示装置(未示出)、并且利用窗口400上所显示的光标进行指定，来在驱动控制单元180的控制下设置摄像范围。换句话说，操作者使用光标指定框412，并且使用拖动操作移动框412。结果，驱动控制单元180控制扫描器的驱动角度，并且设置摄像范围。根据本典型实施例，鼠标包括用于在用户在两个方向上手动移动鼠标时检测移动信号的传感器、用于检测用户按下了按钮的左右鼠标按钮、以及可以在前后和左右方向上移动的两个鼠标按钮之间的轮机构。此外，显示单元可以包括触摸面板功能，并且操作者可以在触摸面板上指定获取位置。当然，可以使用诸如操纵杆、键盘键或者触摸屏等的任何类型的指示装置。

下面说明λ/4偏振片113的调整。

参考图4，显示用于调整λ/4偏振片113的角度的指示器413和414。当用户使用指示装置进行指示时，基于驱动控制单元180的控制，调整λ/4偏振片113的角度。指示器413用于指示逆时针方向上的调整，并且指示器414用于指示顺时针方向上的调整。指示器413和414旁边显示的数值表示λ/4偏振片113的当前角度。显示控制单元191可以在显示单元192上与指示器413并排显示用于调整λ/4偏振片119的角度的指示器，或者代替指示器413，显示用于调整λ/4偏振片119的角度的指示器。

操作者通过操作鼠标来使用鼠标给出指示，从而使得在作为第三显示区域的例子的显示区域430和作为第四显示区域的例子的显示区域440上分别显示的各偏振光束的断层图像的强度变得相同。可以随同各偏振光束的断层图像431和441一起显示峰强度值，或者可以显示各干涉信号的波形，从而使得操作者在查看峰强度值或者波形时进行调整。各偏振光束的断层图像431和441分别是与第一偏振光束和第二偏振光束相对应的断层图像的例子。希望在各偏振光束的断层图像431和441(或者下述断层图像531和541)上显示各图像的类型。例如，可以显示表示P偏振光束的字母“P”和表示S偏振光束的字母“S”。结果，这种显示可以防止用户错误识别图像。代替被叠加在图像上，可以将这些字母显示在图像上方或者旁边，只要将该显示配置成与图像相关联即可。

这时，对于作为第二显示区域的例子的显示区域420，不必显示任何信息。如果要进行自动调整，则可以在显示区域420上显示诸如通知“调整λ/4偏振片”的消息等的当前调整状态。此外，可以在窗口400上进行诸如左眼或右眼等的表示患者信息、或者诸如摄像模式等的摄像信息的显示。此外，希望相对于光路重复插入和移除λ/4偏振片113，以交替获取眼底强度图像和表示偏振状态的断层图像。结果，即使最小尺寸的眼科设备中的显示控制单元191也可以在显示区域410上显示眼底强度图像，并且在显示区域420上显示表示偏振状态的断层图像。

希望按照下面的顺序进行调整：使用前眼部图像或者角膜亮点的配准调整、使用表示偏振状态的眼底图像的焦点调整、使用表示偏振状态的断层图像的相干门调整、以及λ/4偏振片的调整。此外，希望在使用表示偏振状态的断层图像调整相干门之前，确定表示偏振状态的断层图像的获取位置。然而，可以在用于获取表示偏振状态的眼底图像的中心区域的初始设置中确定获取位置。因而可以简单进行调整以获取精确表示偏振状态的断层图像，其中，与表示偏振状态的眼底图像相比，该断层图像更精细并且对应于更窄的范围。在这种情况下，可以响应于相干门的调整的完成、或者响应于用于获取表示偏振状态的图像的信号的输入，自动调整λ/4偏振片。此外，在启动眼科设备时，可以在初始设置画面上预先调整λ/4偏振片，从而使得无需针对每一摄像调整λ/4偏振片。

此外，如果可以相对于光路插入和移除λ/4偏振片，则希望按照下面的顺序进行调整：使用前眼部图像或者角膜亮点的配准调整、使用SLO眼底图像的焦点调整、使用OCT断层图像的相干门调整、以及在将λ/4偏振片插入光路之后的λ/4偏振片的调整。因此，可以使用用户直观上习惯的通常的SLO眼底图像和OCT断层图像，在获取表示偏振状态的图像之前进行调整。还可以通过在进行焦点调整之后插入λ/4偏振片，使用表示PS-OCT的偏振状态的断层图像来调整相干门。在这种情况下，可以响应于相干门的调整的完成、或者响应于用于获取表示偏振状态的图像的信号的输入，自动插入λ/4偏振片。

此外，可以在使用SLO眼底图像粗略调整焦点之后，使用OCT断层图像精细调整焦点。

此外，可以按照上述顺序自动进行所有这些调整，或者可以通过用户将光标调整至与显示单元上所显示的各类型的调整相对应的滑块、并且进行拖动来进行这些调整。此外，如果要插入或者移除λ/4偏振片，则可以在显示单元上显示用于指示相对于光路插入或者移除λ/4偏振片的图标。

在图3所示的步骤S102、步骤S103和步骤S104中，光源101和141各自发射测量光束。线阵照相机129和133、以及APD152和153然后接收返回光束，并且信号处理单元190如上所述生成和分析各图像。

下面说明在步骤S105进行的用于输出所生成的图像和分析结果的处理。

在信号处理单元190完成各图像的生成和分析之后，显示控制单元191基于该结果生成输出信息。显示控制单元191然后将输出信息输出给显示单元192并且在显示单元192上进行显示。

图5示出根据本典型实施例的显示单元192的显示例子。

参考图5，显示在显示单元192上的窗口500包括显示区域510、520、530和540。

作为第一显示区域的例子的显示区域510显示眼底图像511，并且在眼底图像511上叠加表示断层图像的位置的矩形框512。显示眼底强度图像作为眼底图像511。然而，可以基于偏振信号生成眼底图像。

作为第二显示区域的例子的显示区域520显示断层图像521。此外，显示区域520显示作为用于选择要显示的断层图像的类型的选择单元的例子的按钮522、523、524和525。代替使用按钮522、523、524和525，用户可以通过菜单选择断层图像的类型。在图5所示的例子中，用户选择了按钮522。通过选择要查看的不同图像，用户可以看出与眼有关的不同信息，并且判断在特定层中是否存在不连续部分，并且还判断这些不连续部分处于哪些层。

作为第三显示区域的例子的显示区域530和作为第四显示区域的例子的显示区域540基于在生成断层图像521时所使用的各偏振信号，分别显示断层图像531和541。显示区域530和540还可以根据操作者经由菜单的指示，显示基于各偏振信号的各眼底图像，其中，根据该各偏振信号生成了显示区域510上所显示的眼底图像。

希望通过叠加如图5、6和7的各个显示区域的左上所示、以字符所写的“强度”、“延迟”和“DOPU”等的表示图像的类型的显示形态，显示断层强度图像521、以及下述的延迟图像621和DOPU图像721。结果，可以防止用户错误地识别图像。代替被叠加在图像上，可以将图像的类型显示在图像的上方或者旁边，只要将这些字符配置成与图像相关联即可。

如果操作者选择了按钮523，则可以将显示区域520上显示的断层图像改变成如图6所示的延迟图像621。延迟图像使得用户能够看出例如RNFL中的不连续。

参考图6，与图5相同，显示区域530和540分别显示断层图像531和541。

如果操作者然后选择了按钮524，则可以将显示区域520上显示的断层图像改变成如图7所示的DOPU图像721。DOPU图像使得能够看出RPE和要查看的RPE中的不连续。

参考图7，显示区域530显示强度图像521，并且显示区域540显示延迟图像621。希望设置用于选择针对各显示区域的图像的按钮。用户因而能够容易地选择要比较的图像，诸如表示不同偏振状态的多个断层图像。

如果操作者选择了按钮525，则可以将显示区域520上显示的断层图像改变成如图8所示的表示分割结果的图像821。参考图8，在断层图像上叠加表示层边界的彩色线段，并且将其显示在图像821上，而且突出显示RPE(该附图中以点状阴影所示)。突出显示操作者使用光标所选择的层，并且在所示情况下，该层可以是RPE。突出显示视网膜中的不同层，这使得用户能够区分层，并且能够判断在层中是否存在不连续部分，而且如果存在，还可以判断不连续部分位于哪些层中。

显示区域540显示在进行分割时使用的断层图像841、以及按钮842和843。如果如图8所示，操作者选择了按钮843而不是按钮842，则可以将强度图像841切换成例如表示突出显示的层的层厚度(以及该厚度内的任何不连续)的、如图9所示的图形941。

此外，参考图9，可以将所选择的层的厚度信息(例如，如图10所示的二维层厚度图)显示在显示区域530上。参考图10，通过不同颜色(或者灰色阴影，如图10所示)表现所选择的层的厚度。代替图10所示的所选择的层的厚度，可以显示累积图像。累积图像是指通过在深度方向(Z方向)上将三维OCT图像的至少一部分相加在一起所生成的二维图像。可以基于特定层或者整个PS-OCT生成累积图像。此外，根据本典型实施例，根据操作者的指示来改变要显示的图像。然而，可以通过菜单选择诸如疾病名称等的与要诊断的疾病有关的信息，并且可以在各显示区域上显示针对疾病预先设置了优先级顺序的图像。此外，在显示区域510或者530等上，可以显示如图11所示的、通过叠加表示眼底图像1101上的不连续的显示形态1102所获得的图像。此外，在显示区域510或者530等上，可以显示如图12所示的、通过在眼底照片1106上叠加眼底图像1101所获得的图像。

此外，代替上述图像，显示控制单元191可以在显示单元192的显示区域之一上显示延迟图或者双折射图。此外，显示控制单元191可以在眼底强度图像511上叠加显示延迟图和双折射图。在这种情况下，希望在由框512所示的区域上叠加显示延迟图或者双折射图。

如上所述，根据本典型实施例，可以将所生成的各图像有效率呈现给操作者。

此外，操作者可以利用简便操作选择所需图像。特别地，通过预先将疾病名称与要显示的图像相关联，操作变得更简便。

此外，可以容易地进行测量光束的偏振调整。

根据本典型实施例，显示上述图像的显示区域的位置不局限于此。例如，可以将眼底图像显示在显示画面的左显示区域中。此外，要显示的图像的数量不局限于此。例如，在进行调整时，可以在显示画面上并排显示眼底图像和断层图像(即，两个图像)。然后可以在进行摄像之后改变显示方法，并且随同眼底图像一起，可以在显示画面上并排显示表示不同偏振状态的多个断层图像。此外，配置按钮522、523、524和525的顺序和位置不局限于此。

还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。

Claims

1.一种图像处理设备，包括：

眼底图像获取单元，用于获取眼的眼底图像；

断层图像获取单元，用于获取眼的偏振敏感三维断层图像，

其特征在于，所述图像处理设备还包括：

层提取单元，用于从所述偏振敏感三维断层图像提取眼的眼底的预定三维层区域；

识别单元，用于识别所提取的预定三维层区域中的不连续部分；以及

显示控制单元，用于使显示单元在所述眼底图像的与所识别出的不连续部分相对应的位置处叠加显示表示所识别出的不连续部分的显示形态。

2.根据权利要求1所述的图像处理设备，其中，所述断层图像获取单元获取眼的断层强度图像，以及

所述显示控制单元使所述显示单元在所述断层强度图像上叠加显示表示眼的所述预定三维层区域的显示形态。

3.根据权利要求2所述的图像处理设备，其中，所述断层图像获取单元基于所述偏振敏感三维断层图像，获取所述断层强度图像。

4.根据权利要求2所述的图像处理设备，其中，所述偏振敏感三维断层图像的获取位置和所述断层强度图像的获取位置是眼的同一位置。

5.根据权利要求1所述的图像处理设备，其中，所述显示控制单元使所述显示单元将叠加了表示所述不连续部分的显示形态的眼底图像叠加显示在眼的彩色眼底图像上。

6.根据权利要求1所述的图像处理设备，其中，还包括指定单元，所述指定单元用于在眼的所述预定三维层区域中存在多个不连续部分的情况下指定所述眼底图像中的所述多个不连续部分中的至少一个不连续部分，

其中，所述显示控制单元使所述显示单元以与其它不连续部分不同的形态，显示所指定的不连续部分的显示形态。

7.根据权利要求6所述的图像处理设备，其中，所述断层图像获取单元获取眼的断层强度图像，

所述显示控制单元使所述显示单元在所述断层强度图像上叠加显示表示眼的所述预定三维层区域的显示形态，以及

所述显示控制单元将眼的断层强度图像中的所指定的不连续部分的显示形态改变成与其它不连续部分不同的显示形态。

8.根据权利要求1所述的图像处理设备，其中，所述断层图像获取单元获取由眼的多个二维偏振敏感断层图像所形成的偏振敏感三维断层图像，

所述识别单元基于所述预定三维层区域，识别作为所述不连续部分的三维不连续区域，以及

所述显示控制单元使所述显示单元在所述眼底图像的与所述三维不连续区域相对应的二维区域上叠加显示表示所述不连续部分的显示形态。

9.一种图像处理方法，包括以下步骤：

获取眼的眼底图像；

获取眼的偏振敏感三维断层图像，

其特征在于，所述图像处理方法还包括：

从所述偏振敏感三维断层图像提取眼的眼底的预定三维层区域；

识别所提取的预定三维层区域中的不连续部分；以及

在所述眼底图像的与所识别出的不连续部分相对应的位置处叠加显示表示所识别出的不连续部分的显示形态。

10.根据权利要求9所述的图像处理方法，其中，还包括：

利用不同地偏振的两个光束照射眼的眼底；

接收与所述两个光束相对应的反射光束；

基于接收到的各个反射光束，显示两个偏振敏感断层图像；

调整位于所述两个光束的光路中的λ/4偏振片，以调整所接收到的反射光束的相对强度；以及

显示由偏振调整后的、所接收到的反射光束的干涉所产生的断层强度图像。