基于深度强化学习的蜂窝网资源分配算法

廖晓闽; 严少虎; 石嘉; 谭震宇; 赵钟灵; 李赞

doi:10.11959/j.issn.1000-436x.2019002

您当前的位置：

首页 >

文章列表页 >

基于深度强化学习的蜂窝网资源分配算法

专题：5G与AI | 更新时间：2024-06-05

- 基于深度强化学习的蜂窝网资源分配算法
- Deep reinforcement learning based resource allocation algorithm in cellular networks
- 通信学报 2019年40卷第2期页码：11-18
- 作者机构：
  
  1. 西安电子科技大学综合业务网理论及关键技术国家重点实验室，陕西西安 710071
  2. 国防科技大学信息通信学院，陕西西安 710106
  3. 中国电子科技集团公司第二十九研究所，四川成都 610036
- 作者简介：
  
  [ "廖晓闽（1984- ），女，江西德兴人，西安电子科技大学博士生，国防科技大学信息通信学院副教授，主要研究方向为频谱管控、隐蔽通信。" ]
  [ "严少虎（1976- ），男，四川绵竹人，博士，中国电子科技集团公司第二十九研究所高级工程师，主要研究方向为频谱管控、体系集成。" ]
  [ "石嘉（1987- ），男，陕西西安人，博士，西安电子科技大学副教授，主要研究方向为无线系统资源分配、毫米波通信、隐蔽通信等。" ]
  [ "谭震宇（1987- ），男，广西玉林人，西安电子科技大学博士生，主要研究方向为无线频谱管理。" ]
  [ "赵钟灵（1995- ），男，河北张家口人，西安电子科技大学博士生，主要研究方向为频谱资源管理。" ]
  [ "李赞（1975- ），女，陕西西安人，西安电子科技大学教授、博士生导师，主要研究方向为隐蔽通信、频谱管控。" ]
- 基金信息：
  
  国家自然科学基金重点资助项目(61631015)
- DOI：10.11959/j.issn.1000-436x.2019002
  中图分类号： TN929.5
- 网络首发：2019-02，
  
  纸质出版：2019-02-25
- 稿件说明：
移动端阅览
廖晓闽, 严少虎, 石嘉, 等. 基于深度强化学习的蜂窝网资源分配算法[J]. 通信学报, 2019,40(2):11-18.

Xiaomin LIAO, Shaohu YAN, Jia SHI, et al. Deep reinforcement learning based resource allocation algorithm in cellular networks[J]. Journal on Communications, 2019, 40(2): 11-18.
廖晓闽, 严少虎, 石嘉, 等. 基于深度强化学习的蜂窝网资源分配算法[J]. 通信学报, 2019,40(2):11-18. DOI： 10.11959/j.issn.1000-436x.2019002.

Xiaomin LIAO, Shaohu YAN, Jia SHI, et al. Deep reinforcement learning based resource allocation algorithm in cellular networks[J]. Journal on Communications, 2019, 40(2): 11-18. DOI： 10.11959/j.issn.1000-436x.2019002.

摘要

针对蜂窝网资源分配多目标优化问题，提出了一种基于深度强化学习的蜂窝网资源分配算法。首先构建深度神经网络（DNN），优化蜂窝系统的传输速率，完成算法的前向传输过程；然后将能量效率作为奖惩值，采用Q-learning机制来构建误差函数，利用梯度下降法来训练DNN的权值，完成算法的反向训练过程。仿真结果表明，所提出的算法可以自主设置资源分配方案的偏重程度，收敛速度快，在传输速率和系统能耗的优化方面明显优于其他算法。

Abstract

In order to solve multi-objective optimization problem

a resource allocation algorithm based on deep reinforcement learning in cellular networks was proposed.Firstly

deep neural network (DNN) was built to optimize the transmission rate of cellular system and to complete the forward transmission process of the algorithm.Then

the Q-learning mechanism was utilized to construct the error function

which used energy efficiency as the rewards.The gradient descent method was used to train the weights of DNN

and the reverse training process of the algorithm was completed.The simulation results show that the proposed algorithm can determine optimization extent of optimal resource allocation scheme with rapid convergence ability

it is obviously superior to the other algorithms in terms of transmission rate and system energy consumption optimization.

关键词

Keywords

references

HUANG J , YIN Y , ZHAO Y , et al . A game-theoretic resource allocation approach for intercell device-to-device communications in cellular networks [J ] . IEEE Transactions on Emerging Topics in Computing , 2016 , 4 ( 4 ): 475 - 486 .

WANG J , CHOU S . Secure strategy proof ascending-price spectrum auction [C ] // IEEE Symposium on Privacy-Aware Computing . 2017 : 96 - 106 .

YANG T , ZHANG R , CHENG X , et al . Graph coloring based resource sharing scheme(GCRS) for D2D communications underlaying full-duplex cellular networks [J ] . IEEE Transactions on Vehicular Technology , 2017 , 66 ( 8 ): 7506 - 7517 .

TAKSHI H,DOĞAN G , ARSLAN H . Joint optimization of device to device resource and power allocation based on genetic algorithm [J ] . IEEE Access , 2018 , 6 : 21173 - 21183 .

CHALLITA U , DONG L , SAAD W . Proactive resource management for ITE in unlicensed spectrum:a deep learning perspective [J ] . IEEE Transactions on Wireless Communications , 2018 , 17 ( 7 ): 4674 - 4689 .

LEE W . Resource allocation for multi-channel underlay cognitive radio network based on deep neural network [J ] . IEEE Communications Letters , 2018 , 22 ( 9 ): 1942 - 1945 .

LIU S , HU X , WANG W . Deep reinforcement learning based dynamic channel allocation algorithm in multibeam satellite systems [J ] . IEEE Access , 2018 , 6 : 15733 - 15742 .

赵慧 , 张学 , 刘明 , 等 . 实现无线传输能量效率最大化的功率控制新方法 [J ] . 计算机应用 , 2013 , 33 ( 2 ): 365 - 368 .

ZHAO H , ZHANG X , LIU M , et al . New power control scheme with maximum energy efficiency in wireless transmission [J ] . Journal of Computer Application , 2013 , 33 ( 2 ): 365 - 368 .

GAO X Z , HAN H C , YANG K , et al . Energy efficiency optimization for D2D communications based on SCA and GP method [J ] . China Communications , 2017 , 14 ( 3 ): 66 - 74 .

SUTTON R S , BARTO A G . Reinforcement learning:an introduction [M ] . Massachusetts : MIT PressPress , 2017 .

焦李成 , 杨进 , 杨淑媛 , 等 . 深度学习、优化与识别 [M ] . 北京 : 清华大学出版社 , 2017 .

JIAO L C , ZHAO J , YANG S Y , et al . Deep learning,optimization and recognition [M ] . Beijing : Tsinghua University PressPress , 2017 .

浏览量

3936

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

智能反射表面辅助的车载边缘任务卸载和资源分配策略

基于图卷积神经网络的超密集物联网资源分配策略

基于深度强化学习的计算卸载与资源分配策略

智能网联汽车多样化服务场景下功率与频谱联合优化算法