半导体激光器储备池计算系统的工作点选取方法*

花飞 方捻 王陆唐

(上海大学,特种光纤与光接入网重点实验室,特种光纤与先进通信国际合作联合实验室,上海先进通信与数据科学研究院,上海 200444)

半导体激光器储备池计算系统的性能受很多因素的影响,如虚节点间隔、激光器的偏置电流和反馈强度等.对于光注入信号方式,注入强度和频率失谐的大小也会影响系统的性能,使得工作点更难确定.为此,本文以10阶非线性自回归移动平均任务为基础,提出一种选取半导体激光器储备池计算系统的最佳反馈强度与注入强度的方法.该方法通过寻找在某一反馈强度和连续光注入条件下,对应于储备池的注入锁定状态的最小注入强度来确定注入锁定状态的边缘;沿此边缘,通过测试系统性能选取最佳反馈强度以及与之配套的注入强度.综合前人对其他参数的研究,进一步提出完整工作点参数的选取方法.在所选取的工作点参数下,仅用50个虚节点即获得低至0.3431的归一化均方根误差,说明所提出的工作点选取方法是可行的.通过混沌时间序列预测和手写数字识别任务,验证了该方法对回归和分类问题的通用性.

1 引 言

半导体激光器在受到外部扰动,如光注入、光反馈和光电反馈等情况下会展现出丰富的非线性动力学状态,包括单周期、倍周期、多周期、混沌状态等[1-10].这些非线性动力学状态可用于产生光学频率梳[3,4]、混沌保密通信[5-8]、随机数产生[9]和储备池计算 (reservoir computing,RC)[10]等领域,其中储备池计算是一种简化了训练过程的递归神经网络.利用单个非线性节点加延迟反馈环结构的非线性动力学系统可以在硬件上实现储备池计算[11-14].特别是利用光反馈半导体激光器构成的储备池计算系统,由于其固有的短的时间尺度,使得其可以更快地处理信息,引起了人们的广泛关注.2013年1月Brunner等[10]首次提出半导体激光器储备池计算系统,输入信号可以采用电或光两种方式注入储备池,并发现在激光器的偏置电流接近阈值电流时获得的RC性能是最好的,最佳的虚节点间隔约为激光器的弛豫振荡周期的0.2倍.之后,Hicke等[15]对比了不同反馈方式对于储备池计算性能的影响.Nguimdo等[16]发现储备池的相位响应比强度响应更快,也研究了自发辐射噪声和输出层噪声对RC性能的影响.Oliver等[17]研究了不同反馈条件下偏置电流对半导体激光器一致性的影响.Nakayama等[18]以半导体激光器储备池为基础,提出用混沌Mask丰富节点动态,提升了储备池计算的性能.Qin等[19]将半导体激光器RC系统运用在光分组头识别上,该应用是首个运用光储备池计算解决光学实际问题的案例.Fischer等[20]研究了光反馈强度与频率失谐对于储备池一致性的影响,表明半导体激光器储备池在较小的频率失谐下更容易获得一致性.Bueno等[21]研究了不同频率失谐下储备池的一致性与记忆能力的关系,认为最长的记忆能力位于调制光注入下注入锁定状态和部分注入锁定状态之间.Hou等[22]提出双光反馈半导体激光器的储备池结构,通过仿真验证了该结构可以丰富储备池的内部动态响应、提升储备池计算的性能.Argyris等[23]利用半导体激光器储备池计算系统解决光纤传输中信号失真的问题.

综上所述,对于半导体激光器储备池计算系统的研究主要在不同因素对储备池计算性能的影响和如何提升储备池计算性能以及储备池计算的具体应用等方面,对于如何选择一个合适的工作状态,还没有一个明确的方法.而半导体激光器储备池计算系统的性能受很多因素的影响,特别是研究较多的采用光注入信号方式的系统,其性能的影响因素更多,包括虚节点间隔[10,18,21]、偏置电流[10,15]、频率失谐[20,21]、反馈强度和注入强度等.前三个参数已经可以根据相关研究进行比较合理的设置.而对反馈强度和注入强度的选择,大都是通过多次尝试来确定,没有方法可依,这给储备池计算带来了很大的不确定性[15].尽管文献[18]提出最佳反馈强度在一致性边缘,但那只是在特定的注入强度下得出的结论,当注入强度和反馈强度同时变化时,是否还成立,不得而知.因此,本文以 10阶非线性自回归移动平均 (nonlinear auto regressive moving average of the 10 th order,NARMA10)为基础,通过仿真研究,对比不同注入强度下储备池的一致性范围和最佳反馈强度的大小,发现当注入强度较高时,最佳反馈强度与一致性边缘无关.进一步研究发现,对于不同的注入强度和反馈强度,RC的最佳性能都出现在连续光注入下储备池的注入锁定状态的边缘.因此,提出一种利用连续光注入下储备池的注入锁定状态边缘确定反馈强度和注入强度的方法.并综合前人的研究成果,总结出一个完整工作点参数的选取方法.通过该方法,可以快速高效地选取包括反馈强度和注入强度在内的多个参数,避免了确定工作点参数时的盲目尝试.

本文的结构安排如下: 第2节给出了半导体激光器储备池计算系统的模型;第3节主要研究了同时改变注入强度和反馈强度对储备池计算性能的影响以及连续光注入下储备池的非线性状态与其RC性能的关系,从而提出确定反馈强度和注入强度的方法以及完整工作点参数的选取方法;第4节通过时间序列预测和手写数字识别任务验证了所提工作点选取方法的通用性;第5节对全文进行了总结.

2 半导体激光器储备池计算系统的模型

类似于传统储备池计算,半导体激光器储备池计算系统也分为三层,分别是输入层、储备池层和输出层,如图1所示.由于储备池层只有一个半导体激光器承担非线性节点的功能,在输入层无法像传统RC那样并行输入,所以将输入信号经过预处理后,通过时分复用的方式输入储备池层.预处理过程主要包括对输入信号的每个数据点保持一个T的时间,再乘以一个Mask信号.储备池层则通过虚节点的形式将输入信号映射到整个反馈环中.输出层通过输出连接权值与储备池内部虚节点状态的加权求和得到输出信号y.而输出连接权值在训练阶段通过简单的伪逆计算就可以得到.预处理后的输入信号可以经过光相位调制或者强度调制后注入到储备池中.这里,我们选用相位调制进行信号注入.

该储备池计算系统可以用半导体激光器加相位调制光注入的Lang-Kobayashi方程描述[17,24]:

图1 半导体激光器储备池计算系统示意图Fig.1.Schematic diagram of semiconductor laser reservoir computing system.

其中E表示响应激光器的慢变电场复振幅,N表示载流子浓度,α表示线宽增强因子,G是增益系数,N0表示透明载流子浓度,ε表示饱和增益系数,τp和τs分别是光子寿命和载流子寿命,ξ是自发辐射噪声,J和ω分别是响应激光器的偏置电流和角频率,kf和τ分别表示反馈强度与反馈时延,Δf是驱动激光器与响应激光器的频率失谐;Ed和kinj表示驱动激光器的电场和注入强度,Id是驱动激光器的输出光强,S(t)=γ s(t),γ 为输入尺度因子,s(t)为经过预处理后的输入信号.

3 工作点选取方法的研究

3.1 其他参数的选取

关于偏置电流、频率失谐、虚节点间隔、反馈时延、输入尺度因子对半导体激光器储备池计算系统的影响,已经有了比较深入的研究,因此,我们在前人研究的基础上先对半导体激光器RC系统的这些参数进行了设置.根据文献[10,15],响应激光器的偏置电流应该设置在阈值电流左右,这里我们取偏置电流为阈值电流的1.05倍.驱动激光器与响应激光器的频率失谐一般固定在一个比较小的值,从而使光注入信号的半导体激光器储备池更容易进入注入锁定状态[21],故令 Δf=—4 GHz.虚节点间隔一般设置为系统固有的时间尺度,即响应激光器的弛豫振荡周期的五分之一左右,过大或者过小的虚节点间隔都会导致虚节点之间耦合能力的下降.该激光器在连续光注入时弛豫振荡频率为 5.7 GHz[18],因此,我们设置其虚节点间隔 θ为0.04 ns.我们的研究目标是确定工作点参数,只关注不同参数下RC性能指标的相对大小,所以,虚节点数M不必取太大,以免运算时间过长.这里设置 M 为 50,则反馈时延 τ=(M+1)×θ=2.04 ns,即我们采用了去同步的预处理方法[13,18].不同任务需要的输入尺度因子是不同的,但对于同一任务而言,其最佳输入尺度因子是固定的,不会随着其他参数的改变而改变[18].因此,我们随机选择一组参数值,测试某一任务的同一样本在不同输入尺度因子下的性能,选取性能最佳的那个输入尺度因子为该任务的γ值.对于NARMA10任务,其γ值选为0.001.在仿真过程中用均值为零,方差为 2.5×108的高斯噪声来模拟自发辐射噪声.其他参数见表1.

3.2 NARMA10基准任务及其性能评价指标

储备池计算适合处理与时间相关的任务,因此,我们以一个既需要较长记忆能力,同时也是与时间相关的NARMA10任务,作为储备池计算的基准任务.NARMA10任务就是对一个离散的10阶非线性自回归移动平均的动态系统建模,是在储备池计算领域广为使用的一种基准任务,用来衡量一个储备池计算系统的回归性能.它的数据生成方程是[11]:

表1 部分仿真参数Table 1.Partial simulation parameters.

其中,yn+1是目标输出;un是输入数据,是在 [0,0.5]之间按均匀分布随机生成的实数.由于当前的输出与前1-10时刻的输出以及前1个时刻和前10个时刻的输入都有关,所以NARMA10要求储备池有较长的记忆能力.

对于该任务,我们使用2000个数据点作为训练样本,1000个数据点作为测试样本,并使用二进制Mask信号对训练样本和测试样本进行预处理.使用归一化均方根误差作为半导体激光器储备池计算系统对NARMA10任务处理性能的衡量指标.其值越小表示性能越好,归一化均方根误差定义如下[19]:

3.3 不同注入强度下储备池的一致性随反馈强度的变化

一致性是用来衡量一个非线性系统的可重复性的指标[21,22],它可以通过调制光注入下两次不同初始状态和不同噪声情况下的响应激光器输出功率的互相关值来量化表示.如果两次输出功率的互相关值为1,则该系统具有一致性,如果互相关值小于1,则没有获得一致性.互相关值的计算公式为[21]

其中 Cr1,r2表示激光器第一次和第二次输出功率的互相关值,Pr1,r2分别是激光器第一次和第二次的输出功率,σr1,r2是两次输出功率的方差,表示两次输出功率的平均值.

我们先固定注入强度为一个较弱的值,以预处理后NARMA10任务的信号作为调制信号,研究不同反馈强度下储备池的一致性,并与相同条件下该RC系统对NARMA10任务的测试性能相比较.在注入强度为8 ns—1的时候,不同反馈强度下储备池的一致性和系统对NARMA10任务的测试性能的结果如图2所示.从图2(a)可以看出,在注入强度不变的情况下,互相关值会随着反馈强度的降低逐渐由小于1的值升高到1,在反馈强度为8 ns—1时,互相关值刚好达到1,储备池获得了一致性.不妨称该反馈强度为一致性的临界反馈强度kfc.在一致性区域内继续降低反馈强度,储备池计算系统的性能指标NRMSE会先下降再升高,如图2(b)所示.当反馈强度为 7 ns—1时,储备池计算取得了最小 NRMSE.最佳反馈强度 7 ns—1与 kfc(8 ns—1)的差距 Δkf为 1 ns—1.验证了在一致性的临界反馈强度处,储备池计算系统的性能并不是最好的,最佳性能要在一致性边缘获得[18].但是一致性边缘有多大的范围,或者Δkf有多大,文献[18]却没有明确给出,而且也不确定注入强度对Δkf有多大影响.

图2 在注入强度为 8 ns—1和不同反馈强度下,(a)储备池一致性的互相关值,(b) NARMA10 任务的 NRMSEFig.2.(a) Cross correlation of the reservoir consistency;(b) NRMSE of NARMA10 task under the injection strength of 8 ns—1 and different feedback strengths.

于是,我们改变注入强度进行多次计算.结果发现,当注入强度比较小时,确实可以在一致性边缘找到最小NRMSE,但当注入强度继续增加时,Δkf越来越大,很难再以一致性边缘来确定储备池计算的最佳反馈强度.图3给出了一个较大的注入强度 23 ns—1下,储备池的一致性和 NARMA10 任务的测试性能随反馈强度的变化情况.最佳反馈强度 15 ns—1与 kfc(27 ns—1)的差距 Δkf增大为 12 ns—1.

因此,我们认为,利用一致性来寻找储备池计算的最佳反馈强度只适合注入较弱的情况,在注入较强时,最佳反馈强度与一致性边缘并无直接联系,仍然需要反复尝试才能确定.

图3 在注入强度为 23 ns—1和不同反馈强度下,(a) 储备池一致性的互相关值,(b) NARMA10 任务的 NRMSEFig.3.(a) Cross correlation of the reservoir consistency;(b) NRMSE of NARMA10 task under the injection strength of 23 ns—1 and different feedback strengths.

3.4 同时改变注入强度和反馈强度对储备池计算性能的影响

既然不同注入强度下最佳反馈强度的大小不同,那么就有必要研究注入强度和反馈强度同时改变对储备池计算系统性能的影响.固定其他参数,仅改变反馈强度和注入强度,对比不同参数下半导体激光器储备池计算系统对NARMA10任务的测试结果,如图4所示.

图4 不同反馈强度和注入强度下半导体激光器RC系统对NARMA10任务的测试性能Fig.4.Test performances of the RC system based on semiconductor lasers for NARMA10 task under different feedback strengths and injection strengths.

由仿真结果发现,最佳性能基本处于斜率近似为1.5的两条橙色虚线所夹的带状区域.在固定的注入强度下,NARMA10任务的NRMSE随着反馈强度的增加先减小再增大,其中,当反馈强度穿过带状区域后,NRMSE 迅速上升.另一方面,只有当反馈强度超过 13 ns—1之后,NRMSE 才能小于0.3440,且反馈强度继续增大,仍然可以得到比较好的结果,但超过 13 ns—1过多时,测试性能开始下降.这说明,当光反馈达到一定强度后,所提供的记忆能力已经满足该任务的要求,之后再增大反馈强度也无助于提高储备池计算的性能,反而会使其下降.从储备池的三大属性来看,储备池的渐衰记忆能力由半导体激光器的反馈强度决定[11].在反馈强度为 13 ns—1时,储备池已经满足了 NARMA10任务对于记忆能力的需求.继续增加反馈强度,记忆能力则持续增加,但过长的记忆能力只会引入很久以前输入信号产生的状态,干扰了近期的输入信号对当前状态产生的影响,最终使得储备池计算的性能降低.

3.5 连续光注入下储备池的非线性状态与其RC性能的关系

既然用一致性边缘不能确定强光注入下的反馈强度,我们索性去掉调制信号,将连续光注入到储备池中,观察不同的储备池工作状态下,RC系统对NARMA10任务的处理性能.不断改变反馈强度和注入强度,得到连续光注入下储备池在不同参数下的非线性状态,其结果如图5所示.图5中,P1,P2,MP,CO 和 IL 分别代表单周期振荡、倍周期振荡、多周期振荡、混沌振荡和注入锁定状态.这里,注入锁定状态指储备池的响应激光器按照外部驱动激光器的光频振荡.通过光谱观察法,根据响应激光器的振荡频率是否与驱动激光器的光频一致,可以准确判断响应激光器是否进入注入锁定状态,或通过观察相图是否为一个稳定的点,判断响应激光器是否进入注入锁定状态.当注入强度较小或者较大时,储备池的非线性动态行为相对比较简单,只出现 IL,P1 和 CO 状态.但是储备池受到中等强度的注入时,其非线性动态非常丰富,一般都会经历IL,P1,MP三个状态重新回到P1状态,而在个别注入强度下,其动态行为变得更加丰富,随反馈强度的增大,其状态演化会经历IL,P1,MP,P2,MP 和 P1 等多个非线性状态.

图5 连续光注入、不同反馈强度和注入强度下的储备池的非线性状态Fig.5.Nonlinear states of the reservoir under the injection of continuous waveform light,different feedback strengths and injection strengths.

对比图5和图4可以发现,注入锁定状态与其他状态的边界和图4中的带状区域非常相似,即在注入锁定状态的边缘,储备池计算系统都能获得较好的性能.为了探究其原因,我们对比了RC性能较好和一般两种情况对应的连续光注入下储备池的输出功率,如图6所示,这里用标准化输出功率,指输出功率减去其均值后再除以其方差所得到的值.由图6(a)可以看到,RC性能较好对应的连续光注入下储备池的输出功率的弛豫振荡时间Tro1较长,此时储备池处于较弱的注入锁定状态.随着注入强度的增加,连续光注入下的储备池进入强注入锁定状态,其输出功率的驰豫振荡时间变短(参见图6(b)Tro2),说明储备池的弛豫振荡受到抑制,信号注入时所产生的瞬态响应也将受到抑制,从而使得储备池计算对任务的处理能力有所下降.从储备池的属性来看,在连续光注入下,储备池刚进入注入锁定状态时,对应的储备池获得了一致性.但是,随着注入锁定状态程度的加强,储备池产生动态变化的能力下降,储备池的输出与注入的信号完全相同,使得储备池失去了渐衰记忆能力,最终使得储备池计算性能降低.

图6 RC 性能 (a)较好,(b)一般两种情况对应的连续光注入下储备池的输出功率Fig.6.Output powers of the reservoir with the injection of continuous waveform light under (a) better RC performance,(b) general RC performance.

通过图5和图6也可以辅助说明,在图2和图3中为什么随着反馈强度增加,NRMSE先下降后上升.因为在图2和图3中,当反馈强度较小时,响应激光器都工作在较强的注入锁定状态,信号注入时产生的瞬态响应被抑制,而随着反馈强度的增加,注入锁定状态的程度逐渐减弱,储备池的瞬态响应逐渐丰富,所以NRMSE逐渐下降.当NRMSE下降到最低点时,响应激光器恰好处于注入锁定状态的边缘.反馈强度继续增加,响应激光器由注入锁定状态变成了单周期状态或多周期状态,储备池失去了一致性,其NRMSE开始上升.即使在一致性区域内,过大的反馈强度也会造成过长的记忆能力,干扰系统的性能,NRMSE 也会上升,如图3 所示.因此,储备池计算系统的性能明显受响应激光器的动态行为影响,需要选取合适的参数,使储备池工作在需要的非线性状态.

3.6 工作点的选取方法

综上所述,只要在连续光注入下储备池的注入锁定状态边缘选取反馈强度和注入强度即可.但只有储备池的记忆能力与任务的需要相匹配才能取得好的性能,而记忆能力由反馈强度决定,因此我们可以顺着注入锁定状态的边缘,通过RC性能指标的对比,确定最佳的反馈强度和注入强度.性能指标最佳,说明记忆能力匹配,反馈强度就是最佳的.由于最佳反馈强度是在注入锁定状态边缘选取的,此时的注入强度也是最佳的.

结合之前其他参数的确定方法,可以总结出半导体激光器储备池计算系统的完整工作点参数的选取方法,其步骤如下: 1)设置偏置电流在阈值电流附近、频率失谐为一个接近于零的较小值;通过对某一任务样本在不同输入尺度因子γ下的性能测试,选取最合适的γ值;根据连续光注入下半导体激光器储备池的驰豫振荡周期τ0设置虚节点间隔 θ在 0.2τ0左右,再根据需要的虚节点数 M,确定反馈时延 τ=(M+k)θ,k 为整数,且 0 ≤ k＜M;2)随机初始化反馈强度和注入强度,把连续光注入半导体激光器储备池,利用相图或者其他方法判断储备池的工作状态,如果不是注入锁定状态,则逐渐增加注入强度,反之则减少注入强度,直到找到注入锁定状态下的最小注入强度,即找到某一反馈强度下的注入锁定状态边缘;3)在此参数下对储备池计算系统进行训练,然后把一个校验信号输入到储备池中,计算测试结果的NRMSE或其他性能指标并记录;4)同比例缩放反馈强度和注入强度,对比所取得的性能指标,最好的RC性能对应的注入强度和反馈强度即是最佳的,至此,半导体激光器储备池计算系统的工作点参数全部确定.

从不同初始化状态寻找最佳反馈强度和注入强度的过程如图7所示.如果初始的反馈强度和注入强度在 Start 1 或者 Start 2 位置,则增加注入强度,直到储备池刚进入注入锁定状态.如果初始的反馈强度和注入强度处于Start 3位置,则减少注入强度,直到储备池工作在注入锁定状态边缘.找到注入锁定状态边缘后,剩下的过程就都一样了,即按照步骤 3),4)进行计算,便可找到最佳的反馈强度和注入强度.

按照该方法,找到的最佳反馈强度和注入强度分别是 15 ns—1和 23 ns—1,获得的 NARMA10 任务的NRMSE为0.3431.仅用50个虚节点即获得如此低的NRMSE,说明所提出的工作点选取方法是可行的.

图7 从三种不同的初始化状态选取最佳反馈强度和注入强度的过程Fig.7.The process of selecting the optimal feedback strength and injection strength from three different initialization states.

4 工作点选取方法的通用性验证

我们分别利用Santa Fe时间序列预测任务和MNIST手写数字识别任务,验证该工作点选取方法对机器学习的两大任务——预测和分类的通用性.Santa Fe 数据集包含 9000 个数据点,是由远红外激光器工作在混沌振荡状态产生,任务的目的是为了进行下一步预测[10,18].对于Santa Fe任务,选取数据集中的3000个点作为训练数据,1000个数据点用于测试,通过二进制Mask预处理后注入到储备池中.手写数字识别任务基于美国国家标准与技术局组建的MNIST数据库[25].我们将原始手写数字图片的灰度值归一化在0—1之间,并只选取数据集中的两个数字“0”和“1”作为我们的数据集.对于手写数字识别任务,选取1000张图片作为训练数据,500张图片作为测试数据.与Santa Fe任务不同的是,由于手写数字识别任务的每一个样本数据都是一个二维的矩阵,因此,我们先将其转换为一个一维的数据,再用二进制Mask信号预处理后注入到储备池中.

其他参数不变,根据图5所示的连续光注入下储备池的非线性状态图,选取一组刚处于注入锁定状态时的反馈强度和注入强度,分别为 6.5 ns—1和8 ns—1.在这些参数下,RC 系统对 Santa Fe 任务的NRMSE为0.1518,而手写数字识别得到的错误率为7.6%.通过同比例改变反馈强度和注入强度的大小,Santa Fe 任务在反馈强度为 15 ns—1、注入强度为25 ns—1时,取得了最佳的结果,其NRMSE=0.1045.手写数字识别则是在反馈强度为 9 ns—1、注入强度为 13 ns—1时,取得了最好结果,错误率为2.24%.这里,错误率指被错误识别的手写数字样本占总的测试数字样本的百分比.

因为不同的任务有不同的记忆能力要求,记忆能力又与反馈强度有关,分类任务对记忆能力的要求较低,所以其最佳反馈强度较小,而预测任务对记忆能力要求较高,所需要的反馈强度就比较大.但从图5可知,两个任务需要的最佳工作点对应的储备池工作状态都属于较弱的注入锁定状态,即注入锁定状态的边缘.在参数不断改变的过程中,对于每个注入强度,其最佳性能对应的反馈强度都处于注入锁定状态的边缘.

因此,利用本文提出的选取工作点的方法也可以快速找到Santa Fe时间序列预测和MNIST手写数字识别两个任务的最佳参数.这说明,尽管工作点选取方法是基于NARMA10任务提出的,但对其他机器学习任务也是适用的,具有通用性.

5 结 论

本文通过比较不同注入强度下储备池的一致性区域和最佳反馈强度的大小,发现当注入强度较高时,最佳反馈强度离一致性边缘比较远,无法通过一致性边缘确定.通过对比连续光注入下不同反馈强度和注入强度的储备池的非线性状态与相应的RC系统对NARMA10任务的处理性能,发现最佳性能都出现在连续光注入下储备池的注入锁定状态的边缘.因此,提出了一种利用连续光注入下储备池的注入锁定状态边缘选取注入强度和反馈强度的方法.通过这种方法可以较快地设置最佳的反馈强度和注入强度,再结合前人对其他参数的研究,即可解决半导体激光器RC系统的工作点参数难以选取的问题.最后利用Santa Fe时间序列预测和MNIST手写数字识别任务验证了所提出的工作点选取方法的通用性.