基于DQN的车载边缘网络任务分发卸载算法

赵海涛; 张唐伟; 陈跃; 赵厚麟; 朱洪波

doi:10.11959/j.issn.1000-436x.2020160

您当前的位置：

首页 >

文章列表页 >

基于DQN的车载边缘网络任务分发卸载算法

学术论文 | 更新时间：2024-06-05

- 基于DQN的车载边缘网络任务分发卸载算法
- Task distribution offloading algorithm of vehicle edge network based on DQN
- 通信学报 2020年41卷第10期页码：172-178
- 作者机构：
  
  1. 南京邮电大学教育部泛在网络健康服务系统工程研究中心，江苏南京 210003
  2. 南京邮电大学江苏省无线通信重点实验室，江苏南京 210003
  3. 南京邮电大学通信与信息工程学院，江苏南京 210003
- 作者简介：
  
  [ "赵海涛（1983– ），男，江苏南京人，博士，南京邮电大学教授、硕士生导师，主要研究方向为无线多媒体建模、容量预测和无线网络编码等" ]
  [ "张唐伟（1994– ），男，安徽安庆人，南京邮电大学硕士生，主要研究方向为移动边缘计算、无线系统资源分配等" ]
  [ "陈跃（1996– ），男，安徽宿州人，南京邮电大学硕士生，主要研究方向为物联网路由优化和边缘计算等" ]
  [ "赵厚麟（1950– ），男，江苏高邮人，博士，南京邮电大学兼职教授、博士生导师，主要研究方向为IPv6技术标准实现及其在下一代信息网络中的应用、下一代网络（NGN）关键技术及标准化研究等" ]
  [ "朱洪波（1956– ），男，江苏扬州人，博士，南京邮电大学教授、博士生导师，主要研究方向为无线通信与电磁兼容、移动通信、宽带无线技术等" ]
- 基金信息：
  
  国家自然科学基金资助项目(61771252);江苏省自然科学基金资助项目(BK20171444);江苏省高等学校自然科学研究基金资助项目(18KJA510005);江苏省科技成果转化专项基金资助项目(BA2019058);江苏省“333高层次人才培养工程”基金资助项目(JSCX17_0224)
- DOI：10.11959/j.issn.1000-436x.2020160
  中图分类号： TP399
- 网络首发：2020-10，
  
  纸质出版：2020-10-25
- 稿件说明：
移动端阅览
赵海涛, 张唐伟, 陈跃, 等. 基于DQN的车载边缘网络任务分发卸载算法[J]. 通信学报, 2020,41(10):172-178.

Haitao ZHAO, Tangwei ZHANG, Yue CHEN, et al. Task distribution offloading algorithm of vehicle edge network based on DQN[J]. Journal on Communications, 2020, 41(10): 172-178.
赵海涛, 张唐伟, 陈跃, 等. 基于DQN的车载边缘网络任务分发卸载算法[J]. 通信学报, 2020,41(10):172-178. DOI： 10.11959/j.issn.1000-436x.2020160.

Haitao ZHAO, Tangwei ZHANG, Yue CHEN, et al. Task distribution offloading algorithm of vehicle edge network based on DQN[J]. Journal on Communications, 2020, 41(10): 172-178. DOI： 10.11959/j.issn.1000-436x.2020160.

摘要

为实现车辆终端用户任务执行时延与处理速率、能耗的最佳均衡关系，针对车联网的边缘接入环境，提出了一种基于深度 Q 网络（DQN）的计算任务分发卸载算法。首先根据层次分析法对不同车辆终端的计算任务进行优先级划分，从而为计算任务处理速率赋予不同的权重建立关系模型；然后引入基于深度Q网络的边缘计算方法，以计算任务处理速率加权和为优化目标建立任务卸载模型；最后建立基于 DQN 的车辆终端自主最优任务卸载策略，最大化卸载决策制定模型的长期效用。仿真结果表明，相比Q学习算法，所提算法有效提高了任务执行效率。

Abstract

In order to achieve the best balance between latency

computational rate and energy consumption

for a edge access network of IoV

a distribution offloading algorithm based on deep Q network (DQN) was considered.Firstly

these tasks of different vehicles were prioritized according to the analytic hierarchy process (AHP)

so as to give different weights to the task processing rate to establish a relationship model.Secondly

by introducing edge computing based on DQN

the task offloading model was established by making weighted sum of task processing rate as optimization goal

which realized the long-term utility of strategies for offloading decisions.The performance evaluation results show that

compared with the Q-learning algorithm

the average task processing delay of the proposed method can effectively improve the task offload efficiency.

关键词

Keywords

references

NING Z , FENG Y F , COLLOTTA M , et al . Deep learning in edge of vehicles:exploring trirelationship for data transmission [J ] . IEEE Transactions on Industrial Informatics , 2019 , 15 ( 10 ): 5737 - 5746 .

ZHOU H , XU W , CHEN J . Evolutionary V2X technologies toward the Internet of vehicles:challenges and opportunities [J ] . Proceedings of the IEEE , 2020 , 108 ( 2 ): 308 - 323 .

POPLI S , JHA R K , JAIN S . A survey on energy efficient narrowband Internet of things (NBloT):architecture,application and challenges [J ] . IEEE Access , 2019 ( 7 ): 16739 - 16776 .

谢人超 , 廉晓飞 , 贾庆民 , 等 . 移动边缘计算卸载技术综述 [J ] . 通信学报 , 2018 , 39 ( 11 ): 138 - 155 .

XIE R C , LIAN X F , JIA Q M , et al . Overview of mobile edge computing offload technology [J ] . Journal on Communications , 2018 , 39 ( 11 ): 138 - 155 .

XIE J , JIA Y , CHEN Z , et al . Efficient task completion for parallel offloading in vehicular fog computing [J ] . China Communications , 2019 , 16 ( 11 ): 42 - 45 .

HUANG K B , ZHU G X , YOU C S , et al . Communication,computing,and learning on the edge [C ] // 2018 IEEE International Conference on Communication Systems . Piscataway:IEEE Press , 2018 : 268 - 273 .

MAO Y , YOU C , ZHANG J , et al . A survey on mobile edge computing:the communication perspective [J ] . IEEE Communications Surveys ＆ Tutorials , 2017 , 19 ( 4 ): 2322 - 2358 .

ZHANG J , LETAIEF K B . Mobile edge intelligence and computing for the Internet of vehicles [J ] . Proceedings of the IEEE , 2020 , 108 ( 2 ): 246 - 261 .

KETYKO I , KECSKES L , NEMES C , et al . Multi-user computation offloading as multiple knapsack problem for 5G mobile edge computing [C ] // 2016 European Conference on Networks and Communications . Piscataway:IEEE Press , 2016 : 225 - 229 .

ZAHO J , LI Q , GONG Y , et al . Computation offloading and resource allocation for cloud assisted mobile edge computing in vehicular networks [J ] . IEEE Transactions on Vehicular Technology , 2019 , 68 ( 8 ): 7944 - 7956 .

MENG X , WANG W , WANG Y , et al . Closed-form delay-optimal computation offloading [J ] . Mobile Edge Computing Systems , 2019 , 18 ( 10 ): 4653 - 4667 .

DU J , ZHAO L , FENG J , et al . Computation offloading and resource allocation in mixed fog/cloud computing systems with min-max fairness guarantee [J ] . IEEE Transactions on Communications , 2017 , 66 ( 4 ): 1 - 3 .

郭辉 , 芮兰兰 , 高志鹏 . 车辆终端边缘网络中基于多参数 MDP 模型的动态服务迁移策略 [J ] . 通信学报 , 2020 , 41 ( 1 ): 1 - 14 .

GUO H , RUI L L , GAO Z P . Dynamic service migration strategy based on multi-parameter MDP model in vehicle edge network [J ] . Journal on Communications , 2020 , 41 ( 1 ): 1 - 14 .

LI J , GAO H , LYU T , et al . Deep reinforcement learning based computation offloading and resource allocation for MEC [C ] // 2018 IEEE Wireless Communications and Networking Conference . Piscataway:IEEE Press , 2018 : 1 - 6 .

ARULKUMARAN K , DEISENROTH M P , BRUNDAGE M , et al . Deep reinforcement learning:a brief survey [J ] . IEEE Signal Processing Magazine , 2017 , 34 ( 6 ): 26 - 38 .

MAO Q , FEI H , QI H . Deep learning for intelligent wireless networks:a comprehensive survey [J ] . IEEE Communications Surveys ＆ Tutorials , 2018 , 20 ( 4 ): 2595 - 2621 .

HUANG Y L , SUN W L . An AHP-based risk assessment for an industrial IoT cloud [C ] // 2018 IEEE International Conference on Software Quality,Reliability and Security Companion . Piscataway:IEEE Press , 2018 : 637 - 638 .

余翔 , 刘一勋 , 石雪琴 , 等 . 车联网场景下的移动边缘计算卸载策略 [J ] . 计算机工程 , 2020 ,doi:10.19678/j.issn.1000-3428.0056850.

YU X , LIU Y X , SHI X Q , et al . Offloading strategy for mobile edge computing in Vehicle Network [J ] . Computer Engineering , 2020 ,doi:10.19678/j.issn.1000-3428.0056850.

陈山枝 , 胡金玲 , 时岩 . LTE-V2X车联网技术、标准与应用 [J ] . 电信科学 , 2018 , 34 ( 4 ): 1 - 11 .

CHEN S Z , HU J L , SHI Y . LTE-V2X car networking technology,standards and applications [J ] . Telecommunications Science , 2018 , 34 ( 4 ): 1 - 11 .

王寒松 . 车联网中基于 MEC 的计算任务卸载策略研究 [D ] . 北京:北京邮电大学 , 2019 .

WANG H S . Research of computing offloading scheme for MEC-enabled vehicular networks [D ] . Beijing:Beijing University of Posts and Telecommunications , 2019 .

浏览量

2585

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

面向低时延服务的非正交多址接入与反向散射通信融合边缘计算网络设计与优化

基于Stackelberg博弈和DQN的多类型蜜罐部署方案

基于IPv6+的智能车联算网调度方案设计与实现

基于双链区块链的空天地融合车载网络安全认证方案

能量感知的点云视频流传输与边缘卸载联合优化