基于Q-learning算法的vEPC虚拟网络功能部署方法

袁泉; 汤红波; 黄开枝; 王晓雷; 赵宇

doi:10.11959/j.issn.1000-436x.2017173

您当前的位置：

首页 >

文章列表页 >

基于Q-learning算法的vEPC虚拟网络功能部署方法

学术通信 | 更新时间：2024-06-05

- 基于Q-learning算法的vEPC虚拟网络功能部署方法
- Deployment method for vEPC virtualized network function via Q-learning
- 通信学报 2017年38卷第8期页码：172-182
- 作者机构：
  
  1. 国家数字交换系统工程技术研究中心，河南郑州 450002
  2. 移动互联网安全技术国家工程实验室，北京 100876
- 作者简介：
  
  [ "袁泉（1991-），男，山东青岛人，国家数字交换系统工程技术研究中心硕士生，主要研究方向为移动通信网络、网络功能虚拟化。" ]
  [ "汤红波（1968-），男，湖北孝感人，国家数字交换系统工程技术研究中心博士生导师，主要研究方向为移动通信网络、新型网络体系结构。" ]
  [ "黄开枝（1973-），女，安徽滁州人，博士，国家数字交换系统工程技术研究中心博士生导师，主要研究方向为无线移动通信、无线物理层安全。" ]
  [ "王晓雷（1982-），田，山东淄博人，国家数字交换系统工程技术研究中心讲师，主要研究方向为移动通信网络、新型网络体系结构等。" ]
  [ "赵宇（1984-），男，吉林辽源人，国家数字交换系统工程技术研究中心讲师，主要研究方向为移动通信网络、新型网络体系结构等。" ]
- 基金信息：
  
  国家高技术研究发展计划（“863”计划）基金资助项目(2015AA01A706);国家自然科学基金创新群体基金资助项目(61521003);国家科技支撑计划基金资助项目(2014BAH30B01)
- DOI：10.11959/j.issn.1000-436x.2017173
  中图分类号： TN915.81
- 网络出版日期：2017-08，
  
  纸质出版日期：2017-08-25
- 稿件说明：
移动端阅览
袁泉, 汤红波, 黄开枝, 等. 基于Q-learning算法的vEPC虚拟网络功能部署方法[J]. 通信学报, 2017,38(8):172-182.

Quan YUAN, Hong-bo TANG, Kai-zhi HUANG, et al. Deployment method for vEPC virtualized network function via Q-learning[J]. Journal on communications, 2017, 38(8): 172-182.
袁泉, 汤红波, 黄开枝, 等. 基于Q-learning算法的vEPC虚拟网络功能部署方法[J]. 通信学报, 2017,38(8):172-182. DOI： 10.11959/j.issn.1000-436x.2017173.

Quan YUAN, Hong-bo TANG, Kai-zhi HUANG, et al. Deployment method for vEPC virtualized network function via Q-learning[J]. Journal on communications, 2017, 38(8): 172-182. DOI： 10.11959/j.issn.1000-436x.2017173.

摘要

针对虚拟化演进分组核心网（vEPC）环境下，现有虚拟网络功能（VNF）部署方法无法在优化时延的同时保证服务链部署收益的问题，提出一种改进的基于Q-1earning算法的vEPC虚拟网络功能部署方法。在传统0-1规划模型的基础上，采用马尔可夫决策过程建立了 vEPC 服务链部署的空间—时间优化模型，并设计了改进的Q-1earning算法求解。该方法同时考虑了空间维度下的EPC服务链虚拟映射和时间维度下的VNF生命周期管理，实现了VNF部署的收益—时延多目标优化。仿真结果表明，与其他VNF部署方法相比，该方法在降低网络时延的同时提高了VNF部署的收益和请求接受率。

Abstract

In the context of vEPC，a method of virtua1ized network function（VNF）dep1oyment via an improved Q-1earning a1gorithm was proposed to so1ve the prob1em that the existing methods cannot achieve the optimization of time de1ay and revenue of VNF dep1oyment simu1taneous1y.To get the optima1 dep1oyment po1icy in both space dimension and time dimension，a Markov decision process mode1 of vEPC service function chain dep1oyment on the basis of the traditiona1 0-1 programming mode1 was estab1ished and a so1ution with an improved Q-1earning a1gorithm was proposed.The method had taken fu11 consideration of both virtua1 network embedding in space dimension and orchestration of VNF 1ife cyc1e in time dimension，and thus，the mu1ti-objective optimization of revenue and de1ay cou1d be attained.Simu1ation shows that the method can reduce network de1ay whi1e increasing the revenue and the ratio of request acceptance compared with other dep1oyment methods.

关键词

Keywords

references

SAMA M R , CONTRERAS L M , KAIPPALLIMALIL J , et al . Software-defined control of the virtualized mobile packet core [J ] . IEEE Communications Magazine , 2015 , 53 ( 2 ): 107 - 115 .

TALEB T , CORICI M , PARADA C , et al . EASE:EPC as a service to ease mobile core network deployment over cloud [J ] . IEEE Network , 2015 , 29 ( 2 ): 78 - 88 .

MOENS H , DE F . VNF-P:a model for efficient placement of virtualized network functions [C ] // IEEE International Conference on Network and Service Management . 2014 : 418 - 423 .

CLAYMAN S , MAINI E , GALIS A , et al . The dynamic placement of virtual network functions [C ] // IEEE International Conference on Network Operations and Management Symposium . 2014 : 1 - 9 .

BASTA A , KELLERER W , HOFFMANN M , et al . Applying NFV and SDN to LTE mobile core gateways,the functions placement problem [C ] // ACM Workshop on All Things Cellular:Operations,Applications,＆ Challenges , 2014 : 33 - 38 .

江逸茗 , 兰巨龙 , 周惠琴 . 网络虚拟化环境下的资源监控策略 [J ] . 电子与信息学报 , 2014 , 36 ( 3 ): 708 - 714 .

JIANG Y M , LAN J L , ZHOU H Q . Resource monitoring policy for network virtualization environment [J ] . Journal of Electronics ＆ Information Technology , 2014 , 36 ( 3 ): 708 - 714 .

MIJUMBI R , SERRAT J , GORRICHO J L , et al . Design and evaluation of algorithms for mapping and scheduling of virtual network functions [C ] // IEEE Conference on Network Softwarization . 2015 : 1 - 9 .

HAN B , GOPALAKRISHNAN V , JI L S , et al . Network function virtualization:challenges and opportunities for innovations [J ] . IEEE Communications Magazine , 2015 , 53 ( 2 ): 90 - 97 .

BASTA A , KELLERER W , HOFFMANN M , et al . A virtual SDN-enabled LTE EPC architecture:a case study for S-/P-Gateways functions [C ] // IEEE International Conference on SDN for Future Networks and Services . 2013 : 1 - 7 .

FISCHER A , BOTERO J F , TILL BECK M , et al . Virtual network embedding:a survey [J ] . IEEE Communications Surveys ＆ Tutorials , 2013 , 15 ( 4 ): 1888 - 1906 .

ROSS S M . Stochastic processes [J ] . John Wiley ＆ Sons Inc New York , 1996 , 48 ( 1 ): 528 - 529 .

SONG H , LIU C , LAWARRÉE J , et al . Optimal electricity supply bidding by Markov decision process [J ] . IEEE Transactions on Power Systems , 2000 , 15 ( 2 ): 618 - 624 .

WATKINS C , DAYAN P . Q-learning [J ] . Machine Learning , 1992 , 8 ( 3-4 ): 279 - 292 .

BUSONIU L , BABUSKA R . Reinforcement learning and dynamic programming using function approximators [M ] . Florida : CRC PressPress , 2010 .

DUONG T , CHU Y , NGUYEN T , et al . Virtual machine placement via Q-learning with function approximation [C ] // 2015 IEEE Global Communications Conference . 2015 : 1 - 6 .

ZEGURA E W , CALVERT K L , ACHARJEE S B . How to model an internetwork [C ] // IEEE Conference of Computer Societies,Networking the Next Generation . 1996 : 594 - 602 .

ORLOWSKI S , WESSÄLY R , PIÓRO M , et al . 0-survivable network design library [J ] . Networks , 2010 , 55 ( 3 ): 276 - 286 .

浏览量

1686

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

OTN+5G教育专网，赋能数字化转型——以深圳市宝安区教育专网建设为例

IPv6与5G融合的新型数字底座研究与构建

移动通信网的内生安全共性问题及破解之道

高精度室内定位研究评述及未来演进展望

基于迭代联合传输的超密集网络动态干扰协调方案