语义网络-【2023年第4期】面向语义感知通信网络的多维资源优化

【语义通信】专题 • 5

《移动通信》2023年第4期

面向语义感知通信网络的多维资源优化*

秦志金1，冀泽霖2，严蕾3，陶晓明1

（1.清华大学电子工程系，北京 100084;

2.伦敦玛丽女王大学电子工程及计算机学院，伦敦 E1 4NS；

3.西安电子科技大学通信工程学院，陕西 西安 710071）

*基金项目：国家自然科学基金项目（62293484，61925105）

【摘 要】语义通信的目的在于传输信源数据中的语义信息，通过语义提取和压缩可大幅减少网络中需要传输的数据量，降低带宽消耗和传输时延，同时在提高传输可靠性上展现出了巨大潜力。传统通信中资源分配方案都是以优化比特传输速率而设计的，并不适用于聚焦语义信息传输的语义通信网络。为利用语义通信系统优势，需要从语义层面考虑资源分配方案的设计，以进一步提高信息传输效率。首先梳理并总结了目前语义感知通信网络中资源分配技术的研究进展，然后通过分析语义感知资源分配面临的挑战，提出了一种基于任务卸载的多维资源联合优化架构，最后以面向文本的语义任务为例，给出了两种语义感知资源分配方案，通过仿真证明了方案的有效性。

【关键词】语义通信；资源分配；深度学习

doi:10.3969/j.issn.1006-1010.20230304-0001

中图分类号：TN929.5 文献标志码：A

文章编号：1006-1010(2023)04-0025-06

引用格式：秦志金,冀泽霖,严蕾,等. 面向语义感知通信网络的多维资源优化[J]. 移动通信, 2023,47(4): 25-30.

QIN Zhijn, JI Zelin, YAN Lei, et al. Multidimensional Resource Optimization for Semantic-Aware Communication Networks[J]. Mobile Communications, 2023,47(4): 25-30.

0 引言

随着移动互联网的发展以及移动设备的普及，移动数据迎来了飞速的增长，用户对于通信的体验质量以及通信场景也有了更高的要求。国家十四五规划明确指出要布局未来第六代（6G）移动通信网络技术储备，发展6G是国家重大战略部署。而6G场景下所传输的海量数据会带来巨大的通信开销以及时延，已有的通信架构已经无法满足日益增长的通信需求，因此通信体系和架构亟需变革。

根据Shannon和Weaver的理论[1-2]，通信的第一个层级为语法通信，通信系统作为信息的管道，进行信息符号的准确传输。在语法通信中，通信的目标是准确地传输符号。但是，通信系统设计的过程中并未考虑符号背后所包含的语义信息是否能被准确传递，无法满足多模态业务的多样化需求。另外，现有通信系统的传输速率已经逼近香农容量极限。因此，迫切需要从语法通信向语义通信转变，传输消息的内在含义，满足未来通信系统的智能化、协同化、个性化需求。通信的第二个层次为语义通信，其目标为跳出准确传输符号的限制，从语义层面出发解决通信问题，实现语义信息的交换[3-4]。语义通信技术的核心是信源中所包含的语义信息的准确表征与高效传输，语义信息（笔误修改）可以被用来完成具体的下游任务，从而实现感知的目的，进而实现从语义层面到语用层面的突破，即第三层次的通信。

香农范式下通信资源分配的目标是最大化比特传输速率。而对于语义感知网络中的资源分配，期待可以打破香农理论和基于比特的传输框架的限制，提高语义域的通信效率。

1 语义通信系统中资源优化技术的研究进展

1.1 面向任务目标的资源优化

现有深度学习赋能的语义通信经历了从传输单模态信源，包括文本[5-6]、语音[7]、图片[8-9]及视频[10]，到传输多模态[11-12]（扩展背景，增加引用文献）信源的发展。对于语义感知通信网络中的资源优化，目前的大多数文献是基于实际的语义系统以及特定的语义相关问题进行问题建模和算法设计。Wang等[13]在面向文本传输的语义通信架构中，利用知识图谱提取了文本的语义信息，并优化了资源块分配和传输的语义信息特征。用户的总语义相似度被用作衡量和评估语义通信系统的性能。经过仿真实验验证，此项工作有效地减少了传输的数据量，提高了任务性能。同样，Liu等[14]也通过考虑语义特征的重要性来构建语义感知网络中的资源分配模型，其中语义特征是根据语义信息的重要性来选择的。通过优化带宽分配、功率和语义压缩比来最大化基于图像的语义通信的成功率。Kalfa等[15]提出一种面向任务的语义网络架构，可根据特定的任务对网络功能进行灵活裁剪。类似地，文献[16-17]从语义信号处理的角度出发，提出了一种任务驱动的语义通信架构用于信号重构或信息处理，使得各个设备根据所服务的任务进行语义感知的采样，并基于此提出了一种多址接入方案。然而，这些工作主要针对某些特定的语义任务提出问题并设计算法，并未对语义通信效率进行评估和优化，因此无法最大化无线资源的利用率。

1.2 语义信息传输性能指标

为了探索传输效率的性能，最大限度地利用无线通信资源进行语义信息的传输，Xia等[18]提出了一种新的语义传输性能指标，即面向消息的系统吞吐量。他们利用一个基于Transformer的模型得到比特传输速率与该性能指标之间的映射关系。

构建了对应的资源分配模型来优化基站选择和带宽分配。值得注意的是，该模型中考虑了不同基站的知识库匹配问题，用户与基站的知识库匹配度越高，语义传输性能越好。然而，该方案是从消息层面对无线资源进行了优化，并未从语义层面考虑该问题。应对这一挑战，Yan等[19-20]定义了语义传输速率、语义频谱效率、语义服务质量（QoE）等新型语义信息传输指标，并基于此对语义信息传输效率进行了优化，验证了通过有效的资源管理传输更多的语义信息的可行性。

然而，由于目前语义通信系统的语义编解码器通常基于计算量较大的Transformer模型，考虑到计算资源的限制，本地设备可能无法执行语义编码和解码过程，上述语义感知资源优化方案并未考虑计算资源对语义通信系统性能的限制，因此有必要从实际角度考虑无线通信资源和计算资源的联合优化。此外，现有语义感知网络中资源优化方案的研究中，语义信息传输性能评估方法及相关性能指标仍需进一步探索，以便更精准地刻画语义信息传输效率，评估语义通信系统相比于现有通信系统的优势。

2 面向语义通信的多维资源联合优化技术

针对当前语义通信网络中资源优化问题面临的挑战，本文提出了语义特征感知的多维联合资源优化架构，整体技术路线如图1所示。首先从语义层面分析了网络信息传输效率，设计适用于语义特征感知网络的性能评价指标，并建立面向多任务多模态共存网络的语义感知资源优化模型，联合优化了语义压缩、传输环境、通信资源和计算资源的多维资源配置；然后，提出了语义感知的任务卸载网络框架，将用户端侧的计算任务卸载到云端；最后基于所提框架和新型语义评价指标，给出了该多维资源联合优化问题的求解思路。

2.1 语义特征感知的多维资源优化模型构建

语义感知网络中存在不同的语义传输任务，包括单模态任务（文本传输、图像传输、图像分类等）和多模态任务（视觉问答、图文检索等）。针对语义感知网络中多任务多模态共存的需求，网络性能优化问题可以建模如下：

其中，

表示语义感知网络中的任务集合，

表示执行传输任务i的用户集合，

表示用户n的语义传输性能，该变量取决于用户n的语义压缩率、智能传输环境、无线资源配置及计算资源配置语义网络，Bn表示给用户n分配的带宽资源，pn表示用户n的发射功率，kn表示用户n的语义压缩率，ln表示给用户n分配的边缘计算服务器的计算资源，rn表示用户n的智能环境参数。该模型的优化变量、优化目标、约束条件之间的关系如图2所示，详述如下。

优化变量：除了现有资源分配模型中考虑的无线传输资源相关变量，包括功率、带宽等，与语义通信系统性能相关的参数也应作为优化变量以提高语义传输性能。具体来说，（1）由于语义通信系统中不同的语义压缩率决定了接收端的语义保真度，进而影响任务性能，同时语义压缩率也影响用户对无线资源的需求量，因此，语义压缩率需与无线传输资源联合优化；（2）考虑到语义通信系统需要利用语义知识库进行语义特征提取及任务结果推演，需要强大的计算能力辅助，而计算资源与传输资源相互制约，共同决定网络性能，因此计算资源优化也应被考虑在内；（3）智能传输环境（比如智能反射面等）对网络传输性能有不可忽视的影响，应当结合语义压缩、无线资源及计算资源的约束，对传输环境进行联合优化。

优化目标：基于所构建的语义信息传输性能评估指标，语义感知网络资源分配的优化目标可设为网络中所有用户的语义传输性能之和。用户的语义传输性能取决于用户的语义信息量、语义压缩率、智能环境参数、发送功率、带宽、计算资源等因素。

约束条件：从无线资源受限的角度看，需要对用户分配的频谱资源进行限制，比如带宽或资源块数目等（C1）；从用户本身能量以及计算能力受限的角度考虑，需要对发射功率（C2）和语义压缩率（C3）进行限制；对于智能传输环境优化，需考虑所对应的传输环境参数约束（C5），比如，对于考虑智能反射面的信道环境，需考虑幅度和相位优化的范围；同时考虑边缘计算服务器的可用计算资源（C4），寻求其与传输资源的平衡，从而保证不同用户的语义传输需求；此外，为了保证网络中不同任务的完成情况，应保证任务性能不低于某一阈值（C6）。值得注意的是，对多模态任务，多个用户共同决定任务性能，因此执行同一任务的用户应同时被分配足够的无线资源以保证任务执行，即当用户n1和用户n2执行同一个双模态任务，共同决定该任务性能时，满足

。

2.2 语义感知的任务卸载网络架构设计

边缘计算技术为计算能力较差的设备提供了一种解决方案，即本地用户可以将计算任务卸载到边缘服务器上，由计算能力强大的边缘服务器来执行这些任务。Ji等[10]利用语义编码器提取机器翻译任务中句子的语义信息，从而可以将任务卸载到边缘服务器或在本地解码和翻译。

本质上讲，语义感知的任务卸载系统可以将本地任务的高计算负载转换为低通信负载的语义信息，并将其卸载到具有低计算负载的边缘服务器上。如图3所示，语义任务卸载过程包括如下的几个步骤：（1）本地用户利用语义编码器提取任务中包含的语义信息；（2）本地用户上传语义任务到边缘服务器；（3）边缘服务器通过语义解码器解码任务信息并执行任务；（4）本地用户从边缘服务器下载任务执行结果。

2.3 资源优化算法简介

当信道状态信息已知且时延容忍度较高时，上述构建的资源优化问题可以通过将多维资源优化问题解耦成多个子问题，再通过传统的凸优化算法或匹配算法等求解。然而，语义感知网络中存在多种面向不同任务的语义通信系统，因而需要满足多样的语义通信性能需求、无线资源需求以及计算资源需求，造成算法计算复杂度过高，无法满足低时延等场景下的用户需求。此种场景下，可以利用强化学习的思想对多维资源联合分配问题进行求解，通过联邦学习进行分布式训练，减小通信开销以及训练复杂度。这样，神经网络训练在线下进行，而线上仅需要进行有限次的浮点数计算，即可得到资源分配结果，可显著降低算法复杂度。

强化学习驱动的多维资源优化：由于优化变量较多且同时存在离散变量和连续性变量，在设计强化学习算法时，可以利用基于值函数的方法，对信道选择等离散变量进行优化，利用基于策略梯度的方法对功率等连续变量进行优化，从而减小动作空间的大小，降低神经网络训练的内存需求，提高收敛速度。每次训练中，基于这两个神经网络输出的结果，计算此次训练的回报，并通过梯度回传对神经网络进行优化，直至网络收敛，得到最优参数配置。

联邦学习驱动的低复杂度资源优化算法：当网络中用户数增加，采用集中式资源分配算法需重新设计神经网络结构，重新训练，以满足所有设备的资源分配需求，训练复杂度会显著增加。为解决这一问题，可以采用联邦学习的思想进行分布式训练。网络中的用户在本地进行计算能力内的小规模训练，将训练参数上传至中心服务器进行加权计算，再广播至各个网络中的用户，当由新用户加入时，仅需要进行几个训练周期的调整，便可为其分配合适的资源，满足其通信需求。

3 资源优化技术的仿真与测试

针对上述技术，本文以基于文本的语义传输系统为例，分别在蜂窝网络场景和边缘任务卸载场景中验证提出资源优化技术的有效性。其中，语义通信的编、解码器由Xie等[6,11]提出的基于深度学习的语义通信系统（DeepSC）实现。

3.1 蜂窝网络下语义感知的资源优化

针对单任务场景下的语义特征感知的资源优化问题，Yan等[19]提出了一种最大化语义谱效的资源分配方案，充分发挥了语义通信系统在低信噪比条件下的性能优势，在保证语义传输准确度的前提下，显著提高了语义感知网络的语义传输效率。该方案以文本传输任务为例，对信道选择及语义符号数目进行联合优化，通过选择不同的语义符号数来实现对文本信息的压缩，信道条件好时，压缩力度更大，所使用的带宽更少，传输效率更高；信道条件差时，压缩力度较小，使用更多的语义符号来提高语义准确度。同时，此工作提出了一种公平对比方案，可将传统的基于比特的谱效转化为语义谱效，从而使语义感知的资源分配模型和传统资源分配模型的公平对比成为可能。图4对比了不同信道数量下语义感知的资源分配与传统蜂窝网络下（4G、5G）资源分配技术的语义频谱效率对比，证明所提出方法可以大大提升语义频谱效率。值得注意的是，虽然理想通信系统可以达到最高的比特率，但在语义频谱效率的角度下无法超过语义感知的资源分配方式。图5的仿真证明，使用传统信源编码方案时，当编码一个单词所需的平均比特数超过27比特语义网络，语义系统的语义传输谱效优于香农速率可达的理想通信系统。

3.2 语义感知的任务卸载系统

针对语义编码器高计算量的问题，Ji等[21]提出了语义感知的任务卸载系统，并采用基于近端策略优化的分布式强化学习算法（MAPPO）。通过联合优化卸载策略、传输功率和计算功率，最小化了用户设备的能量消耗。如图6所示，通过与本地执行（Local）、远程执行（Remote）和离散优化（DQN）算法的对比，仿真结果表明所提出的算法可以大大降低任务执行的能量消耗且非常接近通过穷举搜索得到的最低能量消耗。此外，还研究了任务能耗与输出语义维度的关系。可以注意到，随着输出维度的增加，能量消耗具有下降趋势，这是因为具有更高维度的语义特征拥有更高的精度，可以提高语义传输性能以及语义相似度，从而避免任务执行失败。

4 结束语

随着人工智能的蓬勃发展，对智能应用的空前需求加速了无线通信从追求高数据传输速率的传统架构向人机物智能架构的转变。作为通信系统的第二级革命，深度学习赋能的语义通信已经被证实对信道变化具有较强的鲁棒性，在低信噪比情况下通信性能显著优于传统通信。本文总结了具有代表性的针对语义通信的资源分配方法，并探讨了语义资源与其他传输、计算资源的联合配置。在此之上，建立了语义传输性能评价指标，并构建了语义感知系统中的多维资源优化模型。最后，通过在面向文本的语义感知系统中执行提出的资源优化方法，验证了通过合理的资源分配可以提高语义通信系统的性能。

目前语义感知的资源优化方法大多着眼于优化语义通信的系统级表现。随着6G网络以及物联网技术的进一步发展，未来的资源分配技术将转变为以用户为中心，联合考虑不同用户的数据模态以及资源偏好，从而设计分布式的多模态、多任务的语义感知网络，并实现压缩-计算-传输多维资源的最优配置。

参考文献：（上下滑动浏览）

[1]Shannon C E. A mathematical theory of communication[J]. The Bell system technical journal, 1948,27(3): 379-423.

[2]Weaver W. Recent contributions to the mathematical theory of communication[J]. ETC: a review of general semantics, 1953: 261-281.

[3]Qin Z, Tao X, Lu J, et al. Semantic Communications: Principles and Challenges[J]. arXiv preprint arxiv:2201.01389, 2022.

[4]Weng Z, Qin Z, Tao X, et al. Deep learning enabled semantic communications with speech recognition and synthesis[J]. IEEE Transactions on Wireless Communications, 2023.

[5]Güler B, Yener A, Swami A. The semantic communication game[J]. IEEE Transactions on Cognitive Communications and Networking, 2018,4(4): 787-802.

[6]Xie H, Qin Z, Li G Y, et al. Deep learning enabled semantic communication systems[J]. IEEE Transactions on Signal Processing, 2021,69: 2663-2675.

[7]Weng Z, Qin Z. Semantic communication systems for speech transmission[J]. IEEE Journal on Selected Areas in Communications, 2021,39(8): 2434-2444.

[8]Jankowski M, Gündüz D, Mikolajczyk K. Wireless image retrieval at the edge[J]. IEEE Journal on Selected Areas in Communications, 2020,39(1): 89-100.

[9]Kang X, Song B, Guo J, et al. Task-oriented image transmission for scene classification in unmanned aerial systems[J]. IEEE Transactions on Communications, 2022,70(8): 5181-5192.

[10]Tung T Y, Gündüz D. Deepwive: Deep-learning-aided wireless video transmission[J]. IEEE Journal on Selected Areas in Communications, 2022,40(9): 2570-2583.

[11]Xie H, Qin Z, Tao X, et al. Task-oriented multi-user semantic communications[J]. IEEE Journal on Selected Areas in Communications, 2022,40(9): 2584-2597.

[12]Zhang G, Hu Q, Qin Z, et al. A Unified Multi-Task Semantic Communication System with Domain Adaptation[C]. 2022 IEEE Global Communications Conference (GLOBECOM). IEEE, 2022: 1-6.

[13]Wang Y, Chen M, Saad W, et al. Performance optimization for semantic communications: An attention-based learning approach[C]//2021 IEEE Global Communications Conference (GLOBECOM). IEEE, 2021: 1-6.

[14]Liu C, Guo C, Yang Y, et al. Bandwidth and power allocation for task-oriented semantic communication[J]. arXiv preprint arXiv:2201.10795, 2022.

[15][Kalfa M, Gok M, Atalik A, et al. Towards goal-oriented semantic signal processing: Applications and future challenges[J]. Digital Signal Processing, 2021,119: 103134.

[16]Uysal E, Kaya O, Ephremides A, et al. Semantic communications in networked systems[J]. arXiv preprint arXiv:2103.05391, 2021.

[17]Blanchart P. Fast learning methods adapted to the user specificities: application to earth observation image information mining[D]. Télécom ParisTech, 2011.

[18]Xia L, Sun Y, Li X, et al. Wireless resource management in intelligent semantic communication networks[J]. arXiv preprint arXiv:2202.07632, 2022.

[19]Yan L, Qin Z, Zhang R, et al. Resource allocation for text semantic communications[J]. IEEE Wireless Communications Letters, 2022.

[20]Yan L, Qin Z, Zhang R, et al. QoE-aware resource allocation for semantic communication networks[J]. arXiv preprint arXiv:2205.14530, 2022.

[21]Ji Z, Qin Z. Energy-efficient task offloading for semantic-aware networks [J]. arXiv preprint arXiv: 2301.08376, 2023.

★扫描二维码，到知网阅读下载本篇论文

大师兄永久会员

收藏 海报 链接