CN113805641B - 一种光子神经网络 - Google Patents

Abstract

本发明提供了一种光子神经网络，包括激光器阵列、调制器阵列、第一合束器、调制器、分束器、延时线、第二合束器和探测器；激光器阵列发出多束波长不同的激光；调制器阵列对激光器阵列输出的激光进行调制，将卷积核的权重加载到激光器阵列发出的光上；该第一合束器将调制后的多束激光合束，得到第一光束；调制器对第一光束进行调制，将待处理信息加载到第一光束上；分束器将加载待处理信息的第一光束分束，得到波长不同的多束光；延时线使分束后的多束光产生等差延时；第二合束器将产生等差延时后的多束光合束，得到第二光束；探测器接收第二光束，实现信号的错位相加。减少了控制电路的数目，同时也消除了因性能差异导致的计算误差。

Description

一种光子神经网络

技术领域

本发明涉及集成光子领域，尤其涉及一种光子神经网络。

背景技术

近些年来，人工智能技术已经深入到了我们社会生活的方方面面。尤其是最近十年以来，人工智能技术的运算规模越来越大，对硬件的依赖程度也越来越高。根据人工智能研究组织OpenAI统计，2012-2020年深度人工神经网络的浮点计算量呈惊人的速率增长，约每3-4个月就会翻一番，远超集成电路摩尔定律的增长速率。同时，摩尔定律已经逐渐逼近半导体技术的物理极限和微电子技术制作工艺的限制，正在面临失效的问题。由于人工智能算法中90％以上的计算量都是矩阵运算，而光子网络非常适合进行矩阵计算。所以，发展光子神经网络成为进行大规模人工智能运算的一种有效解决方案。然而，目前已经提出的片上光子神经网络主要是基于马赫-曾德尔干涉仪(MZI)构成的，当卷积核(n×n)的规模变大，即矩阵运算规模变大时，MZI的数量会呈指数级增长，这大大增加了光子神经网络的面积。同时，光子神经网络中每一个MZI都需要两个电学端口来对其实现相位变化的控制，大规模的光子神经网络也需要更多数量的电学端口。此外，光子神经网络的每一个输入端和输出端都需要连接一个调制器和探测器来分别实现待处理信号的输入和完成处理后信号的输出。随着光子神经网络卷积核规模的增大，调制器和探测器的数量也会呈线性增加。由于光子神经网络的不同端口间的信号是通过不同的调制器/探测器来实现信号的输入/输出。所以，调制器/探测器之间的性能差异可能会导致相同的信号经过之后，发生不同的输入/输出。尤其是对于高精度运算，这一差异的影响将会更大。例如，当与光子神经网络的不同通道连接的调制器/探测器之间的性能差异大于1％时，该神经网络的运算精度将低于6bit。这极大地限制了光子神经网络的计算精度。

发明内容

本发明提供了一种光子神经网络，包括：激光器阵列、调制器阵列、第一合束器、调制器、分束器、延时线、第二合束器和探测器；

所述激光器阵列用于发出多束波长不同的激光；

所述调制器阵列用于对所述激光器阵列1输出的激光进行调制，将卷积核的权重加载到所述激光器阵列发出的不同波长的光上；

所述第一合束器用于将加载权重后的多束激光合束，得到第一光束；

所述调制器用于对所述第一光束进行调制，将待处理信息加载到所述第一光束上；

所述分束器用于将加载待处理信息的所述第一光束分束，得到波长不同的多束光；

所述延时线用于使分束后的多束光产生等差延时；

所述第二合束器用于将产生等差延时后的多束光合束，得到第二光束；

所述探测器用于接收所述第二光束，实现信号的错位相加。

可选地，还包括：移相器；

所述移相器设置于所述延时线与所述第二合束器之间；

所述移相器用于改变波导的群折射率n_g，引起延时线中时延量的变化，即等差延时的变化。

可选地，还包括：光学引线键合；

所述光学引线键合用于连接所述调制器阵列与所述第一合束器；

经过所述调制器阵列调制后的多束光通过所述光学引线键合进入所述第一合束器。

可选地，所述等差延时的时延公差Δτ与所述调制器的带宽BW_m成反比；

所述延时线的长度与光速c和所述时延公差成正比，与波导的群折射率n_g成反比。

可选地，所述激光器阵列1的通道数卷积核中权重个数；对于n×n的卷积核，通道数为n²；对于n×m的卷积核，通道数为nm，其中，n和m均为任意大于等于1的整数。

可选地，所述第一合束器、所述分束器或者所述第二合束器由以下器件构成：阵列波导光栅、多模干涉耦合器或宽带定向耦合器等器件。

可选地，对于n×n的卷积核，所述调制器阵列的工作带宽BW_e与所述调制器4的工作带宽BW_m间满足如下公式：

BW_m≥N×n²×BW_e，其中，N表示人工智能架构中卷积核的运算次数，n表示卷积核的大小；

对于n×m的卷积核，所述调制器阵列的工作带宽BW_e与所述调制器的工作带宽BW_m间满足如下公式：

BW_m≥N×n×m×BW_e，其中，N表示人工智能架构中卷积核的运算次数，n×m表示卷积核的大小。

可选地，所述激光器阵列和所述调制器阵列的中心波长间隔δλ的典型值在0.4nm-4.8nm之间，满足如下公式：

δλ<ΔΛ/n²，其中，n表示卷积核的大小，Λ表示所述调制器的波长工作范围。

可选地，所述激光器阵列的波长间隔的典型值在0.2nm-4.8nm之间，所述第一合束器的波长间隔的典型值在0.2nm-4.8nm之间，所述分束器的波长间隔的典型值在0.2nm-4.8nm之间，所述第二合束器的波长间隔的典型值在0.2nm-4.8nm之间。

可选地，所述激光器阵列和所述调制器阵列采用三五族半导体材料；所述第一合束器、所述调制器、所述分束器、所述延时线、所述第二合束器和所述探测器采用硅基或碳基衬底材料。

本申请实施例中提供的一种光子神经网络，包括激光器阵列、调制器阵列、第一合束器、调制器、分束器、延时线、第二合束器、探测器；该激光器阵列用于发出多束波长不同的激光；该调制器阵列用于对该激光器阵列输出的激光进行调制，将卷积核的权重加载到该激光器阵列发出的不同波长的光上；该第一合束器用于将加载权重后的多束激光合束，得到第一光束；该调制器用于对该第一光束进行调制，将待处理信息加载到该第一光束上；该分束器用于将加载待处理信息的该第一光束分束，得到波长不同的多束光；该延时线用于使分束后的多束光产生等差延时；该第二合束器用于将产生等差延时后的多束光合束，得到第二光束；该探测器用于接收该第二光束，实现信号的错位相加。

本申请实施例中提供的一个或多个技术方案，可以通过一个调制器将待处理信息加载到多束光束上，并通过一个探测器接收多束光上的信号，完成错位相加。避免了多个调制器和多个探测器需要的多个控制电路，减少了控制电路的数目，同时也消除了因多个调制器间性能差异和多个探测器间的性能差异导致的计算误差。

附图说明

在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：

图1示出了根据本发明示例性实施例的光子神经网络的示意图；

图2示出了根据本发明示例性实施例的卷积核示意图；

图3示出了根据本发明示例性实施例的错位相加计算的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

本发明实施例提供了一种光子神经网络，如图1所示，包括：激光器阵列1、调制器阵列2、第一合束器3、调制器4、分束器5、延时线6、第二合束器7和探测器8。

激光器阵列1用于发出多束波长不同的激光，激光器阵列部分用作光子神经网络的光源，其中，激光的数量与卷积核中的权重数量相等。

调制器阵列2用于对激光器阵列1输出的激光进行调制，将卷积核的权重加载到激光器阵列1发出的不同波长的光上，用来实现光子神经网络中的矩阵网络。其中，采用激光器阵列1和调制器阵列2可以降低器件的整体体积。示例性地，调制器阵列将卷积核中的权重加载到了从激光器阵列中发出的激光上，经过调制器阵列2调制后的每一束光都包括了卷积核中的一个权重。卷积核中的权重可以根据激光器阵列1发出的光束的波长有规律的加载，例如可以按照波长从大到小或者从小到大的顺序对光束加载对应的卷积核权重，本实施例不对加载权重的具体方法进行限定。

为了保证激光器阵列1中发出的每一束光都进行了调制，激光器阵列1的通道数和调制器阵列2的通道数相等。

调制器阵列2可以是能够对光实现调制的任意调制器阵列，包括但不仅限于电吸收调制器、电光调制器、热光调制器和声光调制器等，本实施例不对调制器阵列2的种类进行限定。

第一合束器3用于将加载权重后的多束激光合束，得到第一光束。经过第一合束器3后，带有卷积核权重信息的多束激光合成第一光束，可以通过一个调制器进行调制，将待处理的信息加载到光束上。避免了通过多个调制器对每一束光进行调制，因为调制器性能差异引入误差。第一合束器3用于将多数光合束，示例性地，第一合束器包括但不仅限于阵列波导光栅、多模干涉耦合器和级联宽带方向耦合器等，本实施例不对第一合束器3的具体类型进行限定。为了保证每一束光都进行合束，第一合束器3的通道数与激光器阵列1的通道数一致。

调制器4用于对第一光束进行调制，将待处理信息加载到第一光束上。其中，待处理信息可以是图像或声音等信息，在此不对待处理信息的种类做限定。通过调制器4将待处理信息加载到第一光束上，由于光的独立传播原理，合成第一光束的每一束光都加载了待处理信息，并且完成了卷积核权重与待处理信息的相乘。示例性地，调制器4包括但不仅限于马赫曾德尔调制器，这里对于调制器的要求是带宽要大，能够涵盖激光器阵列中的所有波长，在此不对调制器4的具体类型做限定。

在一些可选实施例中，将待处理信息调制到第一光束上时，构成第一光束的每一光束都被调制上了全部的待处理信息。此时每一光束上加载的信息是光束在调制器阵列2处被加载的卷积核权重与全部待处理信息的乘法运算的乘积。由于在卷积神经网络中，仅需要将每束光加载的权重与特定位置的待处理信息的乘法运算结果进行相加，且每束光对应的待处理信息的位置不同，因此需要将每束光上加载的信息错位相加。

分束器5用于将加载待处理信息的第一光束分束，得到波长不同的多束光。经过调制器4后的第一光束包括了从激光器阵列1发出的每一束光束，其中每一束光束都完成了该光束携带的卷积核权重与待处理信息的乘法运算。通过分束器5将第一光束分束，为了保证分束后的光与经过第一合束器3后的光一一对应，分束器5的通道数与第一合束器3的通道数相等。示例性地，分束器5可以是阵列波导光栅、多模干涉耦合器或级联宽带方向耦合器等，在此不对分束器5的具体类型做限定。

延时线6用于使分束后的多束光产生等差延时，其中，产生等差延时指每束光的时延量不同，但时延量呈等差数列，用于将每束光上加载的信息错位，使同一时刻探测器探测到的信息恰好是同一卷积核内的信息。为了保证每束光都产生延时，延时线的数量与激光器阵列1的通道数相等。示例性地，延时线的结构可以是单模波导或多模波导，波导的宽度和高度可以根据光子神经网络的需要进行设计，在此不对延时线的结构、宽度及高度进行限定。示例性地，延时线的波导结构可以包括条型波导、脊型波导、平板波导、阶跃型波导或渐变型波导，在此不对延时线的波导结构做限定。

第二合束器7用于将产生等差延时后的多束光合束，得到第二光束；合成第二光束的多束光束间产生了等差延时。示例性地，第二合束器7包括但不仅限于阵列波导光栅、多模干涉耦合器或级联宽带方向耦合器等，在此不对合束器的种类进行限定。

探测器8用于接收第二光束，实现信号的错位相加。第二光束中有延迟的波长不同的多数光照射到探测器8上，探测器对每一时刻接收到的光信号完成加法运算，因为不同波长的光之间产生了等差延时，因此探测器可以完成卷积核内的信息的加法运算，实现整个卷积神经网络的功能。示例性地，探测器可以是光电探测器，在此不对探测器的类型做限定。

示例性地，如图2和图3所示，本发明示例性实施例的错位相加过程如下：图2表示部分待处理信息，图2中加厚的框表示卷积神经网络中的卷积核，卷积核中的数字仅仅表示该部分信息在卷积核中的位置，不表示该部分包括的信息。图3表示光子神经网络错位相加的过程，λ₁-λ₉依次表示九束波长不同的光束，探测器8在同一时刻只接收一数列上的信息并将接收到的信息进行加法运算，图3中竖框与图2卷积核相对应，探测器8在某一时刻接收到图3中竖框内的信息并将接收到的信息相加，就完成了对卷积核中内容的加法运算，实现了卷积神经网络的功能。图3中的数字仅表示该位置与图2中卷积核内的信息的对应关系，不表示该部分包含的信息。

通过本实施例提供的光子神经网络，可以通过一个探测器和一个调制器完成对待处理信息特征的提取，实现卷积神经网络的功能。避免了多个调制器所需的多个控制回路导致光子神经网络的面积大、集成度低的问题。同时仅有一个探测器和调制器，也防止了因为各个调制器和/或探测器之间的性能差异引入系统误差。可以实现集成度和计算精度都较高的光子神经网络。

在一些可选的实施例中，为了保证各光束间产生的等差延时的准确性，防止在同一时刻照射到探测器上的不是一个卷积核内的信息，卷积神经网络还可以包括移相器9；移相器在延时线6与第二合束器7之间；移相器9用于改变波导的群折射率n_g，引起延时线中时延量的变化。通过移相器对延时线中时延量的改变，可以控制每一束光束间的时延量严格相等，在多束光束间产生精确的等差延时。移相器9可以包括热光移相器、电光移相器或声光移相器等，在此不对移相器的具体种类做限定。

在一些可选地实施例中，还可以通过光束的光强表示卷积核的权重。示例性的，调制器阵列2可以通过改变激光器阵列1发出光束的光强来加载卷积核权重信息。例如以第一光强代表卷积核权重是1，当该光束代表的权重是0.5时，该光束的光强就调整为第一光强的一半，当该光束代表的权重是3时，该光束的光强就可以调整为第一光强的3倍。本说明书仅表示一种可行的实施方式，不对调制器阵列2的具体调制方式做限定。示例性地，还可以通过改变光的相位、偏振态等方式来表示卷积核权重信息。

在一些可选地实施例中，为了简化光学系统的安装过程，还可以包括光学引线键合10；光学引线键合10用于连接调制器阵列2与第一合束器3；经过调制器阵列2调制后的多束光通过光学引线键合10进入第一合束器3。光学引线键合是实现不同材料衬底的器件间的单片集成的一种有效方式，通过3D打印波导结构，将两种不同材料衬底上的器件连接在一起。相比于其他混合集成技术，这种方案成本更低，良率更高。在本可选实施例中可以有效实现不同衬底间器件的混合集成，降低制作成本，提高良率。

在一些可选实施例中，等差延时的时延公差Δτ与调制器的带宽BW_m成反比，即Δτ＝1/BW_m，否则会导致信号相加时发生错位，降低识别准确率。为了保证延时线6能够提供准确的时延量，延时线6的长度ΔL可以与光速c和时延公差Δτ成正比，与延时线6使用材料的群折射率n_g成反比，即ΔL＝c*Δτ/n_g，保证光在通过对应的延时线6后，可以产生准确的延时。

在一些可选实施例中，激光器阵列1的通道数等于卷积核中权重个数；对于n×n的卷积核，通道数为n²；对于n×m的卷积核，通道数为nm，其中，n和m均为任意大于等于1的整数。例如，对于正方形卷积核，卷积核的规模是3，激光器阵列的通道数就是9。对于长宽不相等的非正方形卷积核，n为3，m为4，则激光器阵列的通道数就是12。激光器发出的每一束光束代表了卷积核中的一个权重，在卷积神经网络中，卷积核多为正方形的矩阵。

在一些可选实施例中，对于n×n的卷积核，调制器阵列2的工作带宽BWe与调制器4的工作带宽BWm间满足如下公式：

BWm≥N×n²×BWe，式中，N表示人工智能计算过程中卷积核的运算次数，n表示卷积核的大小。

对于n×m的卷积核，调制器阵列2的工作带宽BW_e与调制器4的工作带宽BW_m间满足如下公式：

BW_m≥N×n×m×BW_e，其中，N表示人工智能架构中卷积核的运算次数，n×m表示卷积核的大小。

因为人工智能模型是一个卷积核与图片中的所有信息去逐步进行卷积运算，所以，芯片上待处理信息的加载频率要高于卷积核中权重的变化频率。如果待处理信息的加载频率小于权重变化频率，则会引起准确性的下降或工作中带宽的浪费，即工作带宽小于器件实际带宽。

在一些可选实施例中，激光器阵列1和调制器阵列2的中心波长间隔δλ的典型值在0.4nm-4.8nm之间，具体大小满足如下公式：

δλ<ΔΛ/n²，式中，n表示卷积核的大小，Λ表示调制器4的波长工作范围。

如果波长间隔过大，则要求调制器4的工作带宽足够宽，否则会出现待处理信息加载到不同波长上出现不同，降低网络准确性。

在一些可选实施例中，激光器阵列1的波长间隔的典型值在0.2nm-4.8nm之间，第一合束器3的波长间隔的典型值在0.2nm-4.8nm之间，分束器5的波长间隔的典型值在0.2nm-4.8nm之间，第二合束器7的波长间隔的典型值在0.2nm-4.8nm之间。

上述典型值与器件目前的制作能力相关，这些值是基于目前的工艺制作能力来确定的。如果波长间隔过大，则要求调制器4的工作带宽足够宽，否则会出现待处理信息加载到不同波长上出现不同的结果，降低网络准确性。

为了保证光子神经网络运算结果的准确性，激光器阵列1各通道间输出光功率和调制器阵列2的特性需进行提前测试与标定。探测器8的工作带宽等于调制器4的工作带宽，探测器8的波长工作范围应大于或等于调制器4的波长工作范围。激光器阵列1的中心波长和调制器阵列2的中心波长一致。第一合束器3、分束器5、第二合束器7的中心波长和激光器阵列的中心波长一致。

在一些可选地实施例中，激光器阵列1和电吸收调制器阵列2可以采用三五族半导体材料进行制作；三五族半导体材料为镓砷或铟磷或与二者之一晶格匹配的三五族半导体材料。调制器4、延时线6、探测器8和移相器9可以采用硅基或碳基衬底材料进行制作。本实施例仅表达一种可选地实施方式，不对光电器件的制作方式和材料做限定。

在一些可选地实施例中，可以采用混合集成的方式，将两种不同衬底的光器件连接在一起，形成光子神经网络。本实施例仅表达一种可选地实施方式，不对光子神经网络的集成方式做限定。

综上所述，本发明实施例中的光子神经网络只需要一组调制器/探测器来分别实现信号的输入和输出，提高了光子神经网络的计算精度。同时光子神经网络中的矩阵运算部分是通过调制器和延时线相结合的方案来实现的，电学端口数目不大于MZI构成的矩阵结构的1/n；网络整体面积不大于MZI构成光子神经网络的1/n。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种光子神经网络，其特征在于，包括：

激光器阵列(1)、调制器阵列(2)、第一合束器(3)、调制器(4)、分束器(5)、延时线(6)、第二合束器(7)和探测器(8)；

所述激光器阵列(1)用于发出多束波长不同的激光；

所述调制器阵列(2)用于对所述激光器阵列(1)输出的激光进行调制，将卷积核的权重加载到所述激光器阵列(1)发出的不同波长的激光上；

所述第一合束器(3)用于将加载权重后的多束激光合束，得到第一光束；

所述调制器(4)用于对所述第一光束进行调制，将待处理信息加载到所述第一光束上；

所述分束器(5)用于将加载待处理信息的所述第一光束分束，得到波长不同的多束光；

所述延时线(6)用于使分束后的多束光产生等差延时；

所述第二合束器(7)用于将产生等差延时后的多束光合束，得到第二光束；

所述探测器(8)用于接收所述第二光束，实现信号的错位相加。

2.根据权利要求1所述的光子神经网络，其特征在于，还包括：移相器(9)；

所述移相器(9)设置于所述延时线(6)与所述第二合束器(7)之间；

所述移相器(9)用于改变波导的群折射率n_g，引起延时线中时延量的变化。

3.根据权利要求1所述的光子神经网络，其特征在于，还包括：光学引线键合(10)；

所述光学引线键合(10)用于连接所述调制器阵列(2)与所述第一合束器(3)；

经过所述调制器阵列(2)调制后的多束光通过所述光学引线键合(10)进入所述第一合束器(3)。

4.根据权利要求1所述的光子神经网络，其特征在于，

所述等差延时的时延公差Δτ与所述调制器的带宽BW_m成反比；

所述延时线(6)的长度与光速c和所述时延公差Δτ成正比，与波导的群折射率n_g成反比。

5.根据权利要求1所述的光子神经网络，其特征在于，所述激光器阵列(1)的通道数等于卷积核中权重个数；对于n×n的卷积核，通道数为n²；对于n×m的卷积核，通道数为nm，其中，n和m均为任意大于等于1的整数。

6.根据权利要求1所述的光子神经网络，其特征在于，所述第一合束器(3)、所述分束器(5)或者所述第二合束器(7)由以下器件构成：

阵列波导光栅、多模干涉耦合器或宽带定向耦合器。

7.根据权利要求1所述的光子神经网络，其特征在于，对于n×n的卷积核，所述调制器阵列(2)的工作带宽BW_e与所述调制器(4)的工作带宽BW_m间满足如下公式：

BW_m≥N×n²×BW_e，其中，N表示人工智能架构中卷积核的运算次数，n×n表示卷积核的大小；

对于n×m的卷积核，所述调制器阵列(2)的工作带宽BW_e与所述调制器(4)的工作带宽BW_m间满足如下公式：

BW_m≥N×n×m×BW_e，其中，N表示人工智能架构中卷积核的运算次数，n×m表示卷积核的大小。

8.根据权利要求1所述的光子神经网络，其特征在于，所述激光器阵列(1)和所述调制器阵列(2)的中心波长间隔δλ的典型值在0.4nm-4.8nm之间，满足如下公式：

δλ<ΔΛ/n²，其中，n×n表示卷积核的大小，Λ表示所述调制器(4)的波长工作范围。

9.根据权利要求1所述的光子神经网络，其特征在于，所述激光器阵列(1)的波长间隔的典型值在0.2nm-4.8nm之间；所述第一合束器(3)的波长间隔的典型值在0.2nm-4.8nm之间；所述分束器(5)的波长间隔的典型值在0.2nm-4.8nm之间；所述第二合束器(7)的波长间隔的典型值在0.2nm-4.8nm之间。

10.根据权利要求1至9中任一所述的光子神经网络，其特征在于，所述激光器阵列(1)和所述调制器阵列(2)采用三五族半导体材料；所述第一合束器(3)、所述调制器(4)、所述分束器(5)、所述延时线(6)、所述第二合束器(7)和所述探测器(8)采用硅基或碳基衬底材料。