CN108959728B - 基于深度学习的射频器件参数优化方法 - Google Patents

Abstract

本发明公开基于深度学习的射频器件参数优化方法。首先利用Tensorflow进行训练，从数据集中提取出射频器件的几何参数和信号频率作为输入项，以及其对应的S参数信息作为真实值。将原始数据进行初始化并进行切分，构造多层神经网络，将切分好的数据送入神经网络利用优化算法进行训练，训练完成保存模型。接着利用遗传算法进行优化，输入待优化的参数的范围，并确定优化目标值，设定允许误差。初始化种群，调用Tensorflow模型对种群进行预测，计算适应度，不断的进行选择、交叉、变异直到选择出最佳优化结果。

Description

基于深度学习的射频器件参数优化方法

技术领域

本发明属于微波射频工程技术领域，涉及一种基于深度学习的射频器件参数优化方法。

背景技术

随着无线通信技术的飞速发展，信息社会进入5G通信和云计算时代，目前以及今后微波射频器件的市场需求将持续快速增长。随着人工智能算法的快速发展，深度神经网络有模拟高度复杂非线性映射的能力，深度学习框架可以方便的使用它设计封装的接口，性能和效率很高。

对于微波射频工程上的射频器件参数优化设计，一般工程软件进行参数扫描的仿真计算。而电磁仿真算法存在算法计算量大、非常耗时的问题。且参数扫描只能匹配扫描间隔上的参数，准确度低。部分研究使用遗传优化算法，但是仍然需依据仿真算法或工具，若遗传种群过大，非常耗时。本发明基于深度学习的射频器件参数优化方法，集成了深度学习快速预测和遗传算法全局优化，解决了上述问题。

发明内容

本发明的目的是针对现有技术的不足，提供了一种基于深度学习的射频器件参数优化方法，计算快、精度高。

本发明所采用的技术方案如下：

步骤(1)、获取原始数据及数据预处理

将预处理后的现有射频器件的几何参数(如对微带线矩形螺旋电感来说其器件参数为：长度l₁，宽度l₂)和添加到上述器件上的信号频率freq作为训练模型的输入项x，取上述射频器件输入项x对应的已知电磁参数即S参数(以2端口网络为例，S参数包括S11实部，S11虚部，S12实部，S12虚部，S21实部，S21虚部，S22实部，S22虚部)作为训练模型的真实值y；

上述各类现有射频器件的输入项x预处理过程：具体操作为归一化处理，将其值映射到[-1,1]区间，这里使用离差标准化见公式(1)：

其中x_min为x的最小值，x_max为x的最大值；

步骤(2)、对步骤(1)处理后的现有射频器件的输入参数，以及所对应的S参数进行训练集和测试集的切分。

作为优选，取70％作为训练集，30％作为测试集。

步骤(3)、将数据切分好后使用深度学习框架构建深度多层神经网络：

3.1将上述步骤(1)预处理后的现有射频器件几何参数和添加到器件上的信号频率freq作为输入项，设置为神经网络的输入层，上述射频器件对应的电磁参数(即S参数)作为输出项，设置为神经网络的输出层；

3.2在输入层和输出层之间连接两个以上隐藏层，其中每个隐藏层内设置K个神经元(可以是100个)；在隐藏层后加上Relu激活函数为神经网络加入非线性因素，激活函数后添加dropout层，整个网络使用全连接架构。

Relu激活函数使神经网路能拟合非线性模型，这种激活函数的拟合速度快，并且在反向传播的时候不会出现梯度消失的现象。在激活函数后添加一层dropout层，是为了防止出现过拟合现象。

步骤(4)、训练上述深度多层神经网络模型，定义损失函数调用优化算法通过反向传播改变神经网络输入项x_i的权重参数W_i和偏执参数b，进而减小损失值，直至满足终止条件。

所述的损失函数使用均方误差函数(MSE,mean squared error)：

其中i表示第i个样本，y_i表示输入项x_i所对应的真实值，y′_i表示输入项x_i通过神经网络计算得到的预测值,n表示输入到神经网络的样本个数。

本发明中使用的优化算法是Adam算法，Adam算法是一种自适应算法，会存储之前衰减的平方梯度，同时它也会保存之前衰减的梯度。在进行优化时可以自己调节学习率使损失函数在进行优化时避免陷入局部最小值或者鞍点导致训练无法继续进行下去。

终止条件为当损失值f(θ)小于预先设定的损失阈值时向神经网络中传入测试集数据，且如果测试集数据放入神经网络后计算得到的损失值小于预先设定的损失阈值的平方。

步骤(5)、采用遗传算法优化深度多层神经网络模型,优化的目标是向优化算法中传入一个希望得到的结果即优化目标值，通过遗传算法能得到此结果的全局最优解。

在上述训练好的深度多层神经网络模型中输入待优化射频器件几何参数数据集、输入信号的频率freq数据集的变化范围，S参数优化目标值和允许误差(默认1×10^-8)(表示S参数目标值与S参数预测值间的误差)。

设定种群(表示输入项)数据集内个体个数。根据设定个体个数，对个体进行随机赋值(即随机取值)。调用之前训练好的深度多层神经网络模型，对种群中的所有个体进行预测，得到若干S参数预测值；

然后采用遗传算法的适应度进行选择、交叉、变异，得到适应度最高的个体即误差最小的个体，此时与S参数优化目标值相比较，若满足允许误差范围直接输出该个体，即得到了最佳的S参数；否则循环进行选择、交叉和变异，直到满足允许误差为止。

所述的适应度，见公式(3)：

FIT_(s,s＇)＝1/|s-s′|公式 (3)

其中s为S参数预测值，s′为S参数目标值。

本发明的有益效果是：基于训练好的模型输入待优化射频器件的几何参数信息可以精确快速预测到原本非常耗时的电磁仿真算法计算结果(如S参数)。同时当已知S参数的值时也可以利用遗传算法快速得到射频器件的最优尺寸信息，非常精确。

附图说明

图1为本发明方法流程图；

图2为螺旋电感结构图；

图3为深度多层神经网络；

图4为损失值变化图；

图5为Tensorflow预测的S参数结果与ADS对比图；(a)S参数的幅度对比(b)

S参数的相位对比；

图6为螺旋电感参数优化过程图。

具体实施方式

下面结合附图和实施案例对本技术作进一步详细说明。

如图1所示，为本发明基于深度学习的射频器件参数优化方法的流程图。实例讲解一个优化螺旋电感的例子。螺旋电感的结构图如图2所示。

使用谷歌深度学习框架Tensorflow进行训练。本案例中使用的是微带线矩形螺旋电感。取其长度l₁，宽度l₂，输入的信号频率freq将其作为训练模型的输入项x，取上述射频器件输入项x对应的已知电磁参数即S参数(S11实部，S11虚部，S12实部，S12虚部，S21实部，S21虚部，S22实部，S22虚部)作为训练模型的真实值y。

继续进行数据预处理操作，具体操作是对输入项x进行归一化操作，这里使用离差标准化，公式为：

其中x_min为x的最小值，x_max为x的最大值，将输入向量x限定在[-1,1]区间内，目的是防止在后续优化过程中延不同的梯度方向优化时需要不停调整学习率，使求损失函数最小值的过程成为效率低下的“之字形”下降。这种归一化操作也能使之后使用的Adam优化算法能够发挥最佳效果。

将数据预处理之后需要对这些原始数据进行切分，这里可以直接调用sklearn库的model_selection模块的tarin_test_split函数将输入项x和S参数组成的真实值y切分为70％的x_train，y_train训练数据集，和30％的x_test，y_test的测试数据集。

将数据切分好之后构建深度多层神经网络，多层神经网络利用公式体现为：

y＝σ(Wⁿ…σ(W²σ(W¹x+b¹)+b²)…+bⁿ)

其中W为权重参数，b为偏执参数，σ()为激活函数，经过多层激活函数后神经网络有了更多的非线性特征。将需要进行训练的射频器件的输入项x设置为神经网络的输入层，确定其矩阵为n行3列其中n为每次送入神经网络的样本个数，这里根据送入神经网络样本的batch_size(batch_size代表每一批训练样本的个数)来确定，3代表螺旋电感的参数l₁,l₂,freq，即输入层有3个神经元，散射S参数值设置为神经网络中的输出层，确定其为100行8列的矩阵(100代表连接上一个隐层的神经元的个数，8代表S11实部，S11虚部，S12实部，S12虚部，S21实部，S21虚部，S22实部，S22虚部)即输出层的神经元个数为8。再在输入和输出层之间连接隐藏层，在这里取两个隐藏层，每个隐藏层之内都有100个神经元，在神经元之后加上Relu激活函数来为神经网络加入非线性因素，Relu激活函数的公式为：

f(x)＝max(0,x)

这样使输入到激活函数中凡是小于0的部分，输出值全部等于0被抑制掉，从而能使神经网络能拟合非线性模型，可以看出Relu激活函数的导数非常简单，在大于0的部分导数为1。这种激活函数的拟合速度快，并且在反向传播求导的时候不会出现梯度消失的现象。为了防止出现过拟合现象增强模型的泛化能力，在每层隐藏层经过激活函数后添加了一层dropout层，dropout操作的作用是在一次神经网络训练的时候随机从某一隐藏层中丢弃掉某些神经元，其dropout的比例为50％，整个网络使用全连接架构神经网络架构,如图3所示。

建好神经网络之后定义损失函数，使用均方误差函数(MSE,mean squarederror)：

其中i表示第i个样本，y_i表示训练模型输入项x_i所对应的真实值，y′_i表示输入项x_i通过神经网络计算得到的预测值,n表示输入到神经网络的样本个数。

定义好均方误差损失函数之后调用Tensorflow库中的自适应优化算法Adam算法tf.train.AdamOptimizer()，Adam算法的公式为：

估算梯度均值：m_t＝β₁m_t-1+(1-β₁)g_t

估算梯度平方均值：

考虑迭代次数对梯度均值进行矫正：

考虑迭代次数对梯度平方均值进行矫正：

更新权值和偏置：

其中g_t为第t次迭代损失函数的梯度，β₁，β₂为延迟因子，m_t,v_t分别是对梯度的一阶矩估计和二阶矩估计，

是对m_t和v_t的校正，这样可以近似为对期望的无偏估计。θ_t+1是θ_t更新后的参数,η，ε是两个常数。在进行损失函数的下降优化时Adam优化算法使用迭代次数与延迟因子对梯度均值和梯度平方均值进行矫正，加速学习速度和效率，并且可以自己调节学习率,这里设置学习率基数α＝0.001，延迟因子β₁＝0.9，β₂＝0.999，ε＝10^-8。初始化时令迭代次数t＝0，偏置和权值矩阵θ₀为均值为0、方差很小的随机矩阵，m₀＝0，v₀＝0。Adam算法使损失函数在进行优化时不容易陷入局部最小值或者鞍点导致训练无法继续进行下去。

当优化算法确定好之后就在Tensorflow深度学习框架中开启一个会话(Session)，利用tf.global_variables_initializer()函数来对会话中所有的参数进行初始化。利用Session.run()中的feed_dic＝赋值操作，向深度神经网络模型中传递训练集数据x_train，y_train，使用批量下降(Mini-batches Learning)方法，batch_size取100，每次只取所有样本中的100个随机样本进行一次迭代，迭代完成一次之后AdamOptimizer()优化算法集成的反向传播算法会自动更新一次权重参数W和偏执项b。这样在训练完一次所有样本(一个epoch)的时候就已经更新多次W参数和偏执项b,在训练的时候不断循环epoch，直到满足误差要求f(θ)<1×10^-2。

当训练的模型的损失值f(θ)小于1×10^-2时向神经网络中传入测试集数据x_test，y_test如果测试集数据放入神经网络之后计算得到的损失值小于终止条件1×10^-4时则结束训练，损失值的变化情况如图4所示，一开始损失值震荡幅度比较大，这是因为我们每一次梯度下降都是在min-batch上跑的而不是在整个数据集上，数据的差异可能会导致这样的效果，但随着训练次数的增加损失值震动幅度减小，且损失值收敛并且不断趋近于1×10^-4。当训练结束后，调用tf.train.Saver()函数，将这个深度学习网络所在的Session进行保存，保存为.ckpt格式文件。

训练结束后开始进行优化操作，优化算法使用遗传算法，先输入待优化射频器件几何参数(l₁，l₂)及添加到器件上的信号频率freq的变化范围(l₁为[30,40]，l₂为[20,25]，freq为[1,20])然后确定S参数目标值(这里取S参数中的S11实部为优化目标，目标值设为0.8)，可选允许误差(默认1×10-8)。设定种群的大小为500个个体，根据参数的范围为种群中所有的个体的l₁,l₂,freq参数进行随机的初始化赋值。之后调用训练好的tensorflow模型进行预测，预测过程搭建和训练过程完全一致的神经网络，调用train.Saver的restore()函数调用保存好的模型，预测出500个个体的S参数并取出S11参数实部与优化目标值0.8做差值，将差值作为误差。计算所有个体的适应度(fitness)公式为：

FIT_(s,s′)＝1/|s-s′|

其中s为S参数预测值，s′为S参数优化目标值。

确定好适应度之后就需要对种群进行选择(selection)，具体操作是采用轮盘赌方法：1、种群大小为500，个体s_i的适应度为

则个体s_i被选择的概率为

2、计算累计概率

3、产生均匀分布0～1的随机数r。

4、将r与q_i比较如果q_i-1≤r≤q_i，则选择第i个体进入到下一代新种群。

5、反复执行3和4直至新群体的个数等于500为止。

接下来对选择出来新种群的个体进行交叉配对(crossover)本设计采用的是算术交叉方式，公式为：

由两个个体通过线性组合，来组成新个体。其中，

和

是交叉之后的个体，

和

是从种群中随机选择的两个个体，α是交叉的一个常数，取值为(0,1]，交叉的概率取0.8。

在交叉配对的同时要对一部分新个体进行变异，变异的概率为0.01，变异的公式为：

是变异后的个体，

是变异前的个体，k是变异的一个常数项，取值范围为(0,1)，s_max是个体上限，s_min是个体的下限，r是产生的随机数。当选择项随机数pick>0.5进行第一种变异方式，当pick<0.5进行第二种变异方式。

经过选择、交叉配对、变异之后得到的新一代种群后取出适应度值最高的个体即误差最小的个体，比较优化目标值的允许误差，若满足误差允许范围则输出最优个体，如果还不满足误差范围，继续计算适应度对新一代种群进行选择，交叉配对，变异，直到误差值满足误差范围，输出结果。此时就根据期望的S11的实部值0.8得到了最佳的l₁，l₂，freq参数。

如图5所示，Tensorflow预测的S参数结果与ADS对比图，包括S参数的幅度对比与S参数的相位对比，本例的螺旋电感Tensorflow预测的S参数结果与ADS的仿真结果幅值和相位的均方误差为7.34×10^-5，效果非常好。

如图6所示，螺旋电感参数优化过程图。优化目标为螺旋电感的散射S11参数，迭代7次达到误差小于1×10^-8，结果非常精确和快速。

上述实施例并非是对于本发明的限制，本发明并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。

Claims (1)

1.基于深度学习的射频器件参数优化方法，其特征在于该方法包括以下步骤：

步骤(1)、获取原始数据及数据预处理

将预处理后的现有射频器件的几何参数和添加到器件上的信号频率freq作为训练模型的输入项x，将上述射频器件输入项x对应的已知电磁参数作为训练模型的真实值y；

上述各类现有射频器件的输入项x预处理过程：具体操作为归一化处理，将其值映射到[-1,1]区间，使用离差标准化见公式(1)：

其中x_min为x的最小值，x_max为x的最大值；

步骤(2)、对步骤(1)处理后的现有射频器件的输入参数，以及所对应的S参数进行训练集和测试集的切分；

步骤(3)、将数据切分好后使用深度学习框架构建深度多层神经网络：

3.1将上述步骤(1)预处理后的现有射频器件几何参数和添加到器件上的信号频率freq作为输入项，设置为神经网络的输入层，上述射频器件对应的电磁参数作为输出项，设置为神经网络的输出层；

3.2在输入层和输出层之间连接两个以上隐藏层，其中每个隐藏层内设置K个神经元；在神经元后加上Relu激活函数为神经网络加入非线性因素，激活函数后添加dropout层，整个网络使用全连接架构；

步骤(4)、训练上述深度多层神经网络模型，定义损失函数调用优化算法通过反向传播改变神经网络输入项x_i的权重参数W_i和偏执参数b，进而减小损失值，直至满足终止条件；

所述的损失函数使用均方误差函数：

其中i表示第i个样本，y_i表示输入项x_i所对应的真实值，y′_i表示输入项x_i通过神经网络计算得到的预测值,n表示输入到神经网络的样本个数；

终止条件为当损失值f(θ)小于预先设定的损失阈值时向神经网络中传入测试集数据，且如果测试集数据放入神经网络后计算得到的损失值小于预先设定的损失阈值的平方；

步骤(5)、采用遗传算法优化深度多层神经网络模型：

在上述训练好的深度多层神经网络模型中输入待优化射频器件几何参数数据集、输入信号的频率freq数据集的变化范围、S参数优化目标值和允许误差；

将输入项视为种群，设定种群数据集内个体个数；根据设定个体个数，对个体进行随机赋值；调用上述训练好的深度多层神经网络模型，对种群中的所有个体进行预测，得到若干S参数预测值；

然后采用遗传算法的适应度进行选择、交叉、变异，得到适应度最高的个体即误差最小的个体，此时与S参数优化目标值相比较，若满足允许误差范围直接输出该个体，即得到最佳的S参数；否则循环进行选择、交叉和变异，直到满足允许误差为止；

所述的适应度，见公式(3)：

FIT_(s,s′)＝1/|s-s′|公式(3)

其中s为S参数预测值，s′为S参数目标值。

Images