面向不确定CSI随机接入网络的深度稳健资源分配

吴伟华，柴冠华，杨清海，刘润滋

（1.西安电子科技大学通信工程学院，陕西 西安 710071；2.西安建筑科技大学信息与控制工程学院，陕西 西安 710055）

1 引言

本文研究了随机接入网络中的资源分配问题，它是长期演进未授权频谱网络（LTE-U,long term evolution-unlicensed）[1]、车联网（IoV,Internet of vehicle）[2]和物联网（IoT,Internet of things）[3]等研究热点的关键技术。在随机接入机制下，同一感知范围内的节点可以通过竞争协议共享频谱，如载波侦听多址接入（CSMA,carrier sense multiple access）技术。对于那些位于载波侦听外、干扰范围内的设备，需要精心设计功率控制方案，以确保相互干扰在侦听的阈值以下。

在随机接入无线网络中，衰落信道的状态信息称为传输链路的信道状态信息（CSI,channel state information），包括通信CSI（C-CSI,communication-CSI）和不同感知范围内链路之间的干扰信道状态信息（I-CSI,interference-CSI）。尽管先前工作[4-5]都提出了一些随机接入无线网络的资源分配方案，然而它们考虑的都是瞬时系统的性能。由于无线网络的信道状态信息都是随机变化的，因此在设计资源分配时应在满足平均开销约束的前提下最大化系统的平均性能。然而，优化系统的平均性能会给功率控制带来很大的困难。这是因为所有无线网络中的功率控制都可以看作关于网络状态的函数。在考虑系统的平均性能时，功率控制变成了关于衰落信道状态稠密集的函数，这导致功率控制具有很高的维数。无线网络中的非线性收发电路和多小区间的相互干扰通常会导致一个非凸的资源管理问题。然而，在大多数情况下，非凸优化问题没有闭式解，需要通过注水（water-filling）[6]算法或加权最小均方误差（WMMSE,weighted minimum mean square error）[7]等迭代算法获得次优解。在这些方案中，需要多次迭代实现算法收敛，这势必会导致一个较大的时延。考虑到深度神经网络（DNN，deep neural network）可以用于处理大规模、高维度和高复杂度问题的特性，它被广泛应用于解决通信网络中的资源分配问题。文献[8]提出了一种监督学习的方法，用于近似基于WMMSE 算法的资源分配策略。但需要指出的是，基于监督学习的资源管理策略所获得的网络性能不会超过WMMSE 算法。除此之外，文献[9]引入了非监督学习方法直接训练深度神经网络获得最优的网络性能。通过在DNN 的损失函数中添加违反约束的惩罚项，可以将约束优化问题转化为无约束的DNN 训练问题，从而保证利用DNN获得的结果是可行的。然而，惩罚因子属于神经网络中的超参数，确定惩罚因子需要消耗大量的计算资源。

由于“学习优化”方法可以用DNN 来代替传统的优化算法，因此它已经被应用到许多网络资源管理的场景[10-11]。文献[12]表明“学习优化”方法的计算时间复杂度远小于传统算法。通过使用无监督的学习策略，“学习优化”方法可以避免训练大量的标签数据[13-15]。基于“学习优化”框架，本文将随机接入无线网络中的功率控制问题看作一个学习问题。通过无监督训练，得到一个能够近似最优功率控制函数的DNN 架构。

考虑到信道估计和量化的误差、信道反馈的时延和其他限制因素，获得的C-CSI 和I-CSI 通常都是不确定的[16]。根据这些不确定的CSI，DNN 得到的功率控制方案会造成网络性能的下降。文献[17-18]表明，不确定CSI 下的功率控制将导致传输速率的剧烈波动。更重要的是，它可能对其他链路造成超过预先设定阈值的干扰，从而导致网络中断。因此，有必要设计一个稳健的DNN 架构，能够在CSI 不确定情况下进行稳定的传输。

基于以上考虑，本文提出了一个面向不确定CSI 随机接入网络的深度稳健资源分配框架。所提框架采用无监督学习策略，将无线网络的优化目标视为一个学习问题。首先，为了解决不确定的CSI问题，利用稳健优化技术将优化问题转化为一个稳健问题。随后，提出了一个由2 个神经网络单元构成的级联DNN 架构：一个是不确定CSI 处理单元，另一个是功率控制单元。不确定的CSI 首先输入不确定的处理单元中，以获得可行的CSI 值。然后，功率控制单元根据处理后的CSI 值得到最优功率控制方案。最后，提出了一种交替迭代训练算法来联合训练不确定CSI 处理单元和功率控制单元。

2 系统模型

在本文考虑的场景中，多个无线链路共用同一频谱资源，这些链路通过使用CSMA 协议访问频谱。为了确定传输机会和避免碰撞，在数据传输之前，链路需要感知信道状态。如图1 所示，本文将链路n的载波感知范围内的链路集表示为Cn，将载波感知范围外、干扰范围内的链路集表示为In。用h=[h1,h2,…,hN]T∈Η表示通信链路C-CSI。此外，h的概率分布可以用m(h) 表示。I-CSI 表示为g=[g1,g2,…,gN]，其中g的概率分布可以用m(g)表示。一般来说，链路的资源分配可以看作C-CSI 和I-CSI 的函数，即p(x)∈P，其中x=(h,g)。在饱和流量的假设下，可以认为在相同CSMA范围内的链路之间的接入机会是均等的[19-20]。因此链路n的传输机会可以通过计算，即接入时间平均分配给个链路。

因此，链路n的吞吐量可以表示为

其中，a表示信道传输效率，B和N0分别表示带宽和高斯白噪声的功率密度。

在随机接入无线网络中，假如链路n受到来自In的干扰小于预先定义的阈值就可以接入信道，即

其中，Qn表示干扰阈值。

本文的目标是找到使系统遍历吞吐量最大化的资源分配函数p(x) 。这个问题可以表示为

求解该优化问题有许多困难。首先，优化变量p(x)是一个函数，这表明式(3)属于高计算复杂度的函数优化问题。如果无线信道有d个离散值，则需要计算个资源分配变量。其次，信道分布函数m(h) 和m(g)都是未知的。最后，C-CSI 和I-CSI都不可避免地具有误差，这将影响系统性能并导致干扰超过预定义的阈值。

3 基于椭圆不确定集的稳健优化

在实际的无线网络中，由于回程链路容量有限或信道估计的误差，参数h和g是不确定的。因此，本文假设C-CSI 和I-CSI 中的部分状态信息可用。根据文献[21]可知，不确定C-CSI 和I-CSI 虽然没有统计规律，但却是有界的。本文利用椭圆集来描述不确定CSI 的范围，然后提出稳健优化方法来解决不确定CSI 的问题。

3.1 信道的不确定性

链路n上的I-CSI 可以建模成估计CSI 和一个加性误差之和

其中，gn、和Δgn分别是确定值、估计值和误差值向量。为了对I-CSI 的误差进行建模，并表示不同不确定信道的相关性，误差范围被建模成如下椭圆集

其中，Mn∈RK×K表示加权矩阵，R表示实数集，表示一般范数，nη表示不确定范围的误差界。在实际的无线网络中，有多种测量η的方法。例如，可以通过计算信道模拟器生成的信道增益估计值与真实值之间的差来测量。此外，还可以根据信道误差的特定分布来计算η。

同理，C-CSI 表示为

其中，h、和Δh分别是确定值、估计值和信道误差。因此C-CSI 的误差范围可以建模为

其中，K∈RK×K是一个可逆的加权矩阵。确定δ使用和式(5)相同的方法。

为了优化最坏情况，同时考虑所有不确定的参数，稳健最大化问题可以表示为

不难看出，若无线信道都是确定的，式(8)将简化为式(3)。由于干扰约束的无限性，式(8)属于半无限规划问题，这类问题很难处理。此外，内层关于h的吞吐量的极小化是一个凹极小化问题，一般是NP 难问题。

3.2 不确定的I-CSI 的等效最坏情况

为了保证所有g满足干扰约束，需要

将式(11)结果代入式(8)，获得转换后的优化问题为

然而，内层关于h的吞吐量的极小化仍然是一个凹极小化问题，这使函数优化变量p(x) 仍然难以求解。

3.3 基于DNN 的学习

为了克服函数变量优化的困难，可以使用深度学习框架。利用参数化的方法来近似资源分配函数，即

定理1假设是定义在稠密集的连续函数。对于由sigmoid函数构成的DNN存在ε≥0 使

定理1 的证明可以参考文献[22]。定理1 表明，对于给定的集合X，存在一个参数为θ的DNN，它能够在任意小的误差范围内近似任意连续函数p(x)。因此，可以用精心设计的来表征未知的资源分配函数p(x) 。

接下来，本文通过构造DNN 来有效地解决资源分配问题。DNN 由若干层组成，每一层由一个线性操作和一个激活函数组成。特别地，对于一个L层的DNN，记为l={1,…,L}，第l层的维数为ql。对于第l层，首先由构成线性运算，然后通过激活函数进行非线性运算。如果第l层输入为，则第l层的输出为。DNN 输出wL与第一层输入w0相关。为了满足隐藏的约束p(x)∈P，将输出层的激活函数σL定义为凸集P上的投影运算。激活函数σ和DNN 的层数是通过仿真确定的超参数。DNN 的线性权重矩阵Wl和偏置bl通过学习获得。因此，对于式(12)中的资源分配问题，可以用一个L层来学习，即

其中，θ={Wl,bl：∀l=1,…,L}。

3.4 级联DNN 架构

在式(12)中，优化变量p(x) 和h相互耦合。由于内层是一个凹极小化问题，无法得到关于h的闭式解，但是其最优解可以看作网络状态的函数，即。为了使2 个最优变量解耦，本文提出一个交替迭代算法来求解式(12)。在这个方法中，首先根据可行的，也就是式(12)的外层最大化问题。然后，基于前一次迭代得到的资源分配解，求得最优，也就是式(12)的内层极小化。基于这个交替迭代过程，本文提出了2 个级联神经网络架构，如图2 所示。第一个架构用于处理估计的信道状态信息，第二个架构用于资源分配。接下来，详细讨论这2 个神经网络。

图2 级联神经网络的结构

3.4.1 解决内层最小化问题

其中，w∈Rq为该DNN 的参数。然后，求解内层关于参数w的最小化问题。由Jensen 不等式可知

求解式(17)中的优化问题需要学习参数w，因此引入与约束相关的非负乘子μ。拉格朗日方程可以表示为

对偶函数定义为

对偶问题写为

定理2假设存在一个严格可行点h，它满足式(17)中严格不等式的约束条件。若概率分布中没有正的概率点，则对偶间隙为0，即

由定理2 可知，式(17)的对偶间隙为0。然后，本文提出一种原始-对偶优化方法来训练神经网络。μt的更新可通过投影次梯度法计算，即

在给定μt下，原式(18)是一个凹极小化问题，一般是NP 难问题。然而，基于DL 技术，可以通过DNN 的训练来近似其最优值。DNN 对应的损失函数为

然后，通过式(21)和式(22)，利用基于原始-对偶的训练算法，联合优化DNN 参数和对偶变量μ。

3.4.2 处理外层最大化问题

在第一个神经网络之后，将可行的C-CSI 的x输入第二个参数为ϖ∈Rq的资源分配神经网络中，即

则外部最大化问题可以表示为

引入与约束相关的非负乘子λ，式(24)的拉格朗日函数由目标均值和加权约束组成，表示为

对偶函数定义为

同时对偶问题为

因此，拉格朗日乘子可以通过投影次梯度法来计算

同时，第二个神经网络的损失函数为

在式(28)和式(29)中，通过min-batch 样本集合X上的样本均值来近似平均系统性能和平均约束。接下来，给出基于交替迭代的训练算法，如算法1所示。在该算法中，Ptotal和Pav分别是多时隙的总发射功率和平均发射功率。

算法1交替迭代训练算法

repeat：令t=t+1 ；

1) 内层最小化

repeat：

令t1=t1+1 ；

until 收敛

2) 外层最大化

局部初始化：t2=0,

repeat：

令t2=t2+1；取样一个batchS∈X；

until 收敛

until 收敛

4 仿真结果

在仿真过程中，假设6 个CSMA 网络共用同一频谱，并且不同CSMA 网络中链路之间的干扰关系如图3 所示。在图3 中，每个三角代表一个CSMA 网络，三角之间的连线表示2 个不同的CSMA 网络存在相互干扰。

图3 不同CSMA 网络之间的干扰关系

为了方便起见，用Q=Qn,∀n表示所有链路的干扰阈值。用η=ηn,∀n和δ=δn,∀n表示所有参数不确定范围的标准化误差界。在仿真过程中，。其中，δ=0.2，η=0.2。未授权频谱上的路径损耗可以建模为PL(d)=-15.3 -50lg (d[m])[24]。需要注意的是，CSMA 网络采用时分多址接入（TDMA,time division multiple access）方式工作，假设网络在饱和状态下工作，所以每一个CSMA 网络（三角形）有且仅有一条链路处于传输状态。因此，在每一时刻t，需要统计的信息包括6 个CSMS 网络的C-CSI（6 个三角形）和对应的14 个I-CSI（7 条连线）。不确定性处理单元神经网络的输入为C-CSI，输出为准确的C-CSI，设置了2 个隐藏层，输入层、隐藏层、输出层的神经元个数分别为6、12 和6。资源分配单元的输入为准确C-CSI 和I-CSI，输出为CSMA 网络的发射功率，设置了3 个隐藏层，输入层、隐藏层和输出层的神经元个数分别为20、40 和6。此外，DNN采用sigmoid 激活函数，权重的初始化采用标准正态分布。两个DNN 单元都属于全连接神经网络。通信网络参数设置如表1 所示。

表1 通信网络参数设置

为了确保输出值在一定的范围内，最后一层隐藏层的输出被输入sigmoid 函数中进行缩放。在仿真中，本文假设P的范围为[0,10]。为了减少信道增益的最大值和最小值之间的巨大差异，输入数据采用了归一化技术[11]。在原变量和对偶变量的更新中，采用min-batch 梯度下降的方法，min-batch 大小设置为10。从总样本集（通过信道建模随机生成）中选取min-batch 大小的数据作为一次训练的样本。DNN 的学习率为0.001。此外，训练集由10 000 个样本组成，并在5 000 个样本的测试集上测试训练DNN 的性能。训练和测试都在Pyhton 3.6 和tensorflow 1.4.0 上执行。

第一个仿真研究了不确定的C-CSI 对系统吞吐量性能的影响。本文比较了稳健策略和非稳健策略。图4(a)描绘了训练过程中的系统吞吐量性能，图4(b)给出了基于测试信道集的系统吞吐量的概率密度函数（PDF,probability density function）。由图4(a)可知，经过10 000 次训练之后，稳健算法可以收敛。此外，由于C-CSI 值的估计误差，非稳健策略下的瞬时吞吐量波动较大。与非稳健策略相比，稳健策略的吞吐量较小。从图4(a)观察到，稳健策略对应的吞吐量较稳定。通过图4(b)可以说明，在稳健策略下，系统吞吐量的PDF 成为一个尖锐的脉冲。这是因为稳健策略有一个不确定处理单元，它可以在不确定的C-CSI 范围内最小化系统吞吐量的波动。

图4 不确定的C-CSI 对吞吐量的影响

图5 不确定的I-CSI 对干扰约束的影响

图6 说明了不同策略下的网络吞吐量与干扰阈值Q的关系。在图6 中，理想非稳健策略将输入CSI 视为准确CSI，因此可以将其获得的吞吐量视为理论上界。图6 中不同策略下的吞吐量随着干扰门限Q的增加而增加，这是由于干扰门限随着发射功率增加，导致系统的吞吐量上升。图6 还表明，稳健策略下的吞吐量小于上限。这是因为稳健策略中部分功率用于满足干扰约束。此外，与非稳健策略下的有效吞吐量相比，稳健策略的吞吐量显著提高。这表明了稳健操作的必要性。

图6 不同的策略的系统吞吐量与干扰阈值的关系

图7 比较了稳健策略和非稳健策略的性能。结果表明，随着δ的增大，稳健策略的吞吐量有所降低。此外，当δ较小时，稳健策略比非稳健策略更有效；当δ较大时，这种优势更明显。这是因为在任何情况下，稳健策略都能满足干扰约束。此外，随着δ的增加，稳健策略下的吞吐量急剧下降，而非稳健策略下的吞吐量几乎保持不变。这是因为稳健策略有一个不确定处理单元，它以牺牲部分吞吐量为代价稳定系统的传输。虽然非稳健策略下的吞吐量保持不变，但波动很大，如图4 所示。

图7 稳健和非稳健策略下的系统吞吐量与所有CSI 不确定的关系

5 结束语

本文研究了面向不确定的CSI 随机接入网络中基于学习的资源分配问题。根据不确定的CSI模型，给出了一种不确定处理策略，并提出了一个由不确定CSI 处理单元和功率控制单元构成的级联DNN 架构。随后，提出了交替迭代训练算法，用于联合训练不确定处理单元和功率控制单元。最后，仿真结果揭示了不确定CSI模型下DNN的性能。