QL-STCT：一种SDN链路故障智能路由收敛方法

李传煌; 陈泱婷; 唐晶晶; 楼佳丽; 谢仁华; 方春涛; 王伟明; 陈超

doi:10.11959/j.issn.1000-436x.2022038

您当前的位置：

首页 >

文章列表页 >

QL-STCT：一种SDN链路故障智能路由收敛方法

学术论文 | 更新时间：2024-06-05

- QL-STCT：一种SDN链路故障智能路由收敛方法
- QL-STCT: an intelligent routing convergence method for SDN link failure
- 通信学报 2022年43卷第2期页码：131-142
- 作者机构：
  
  浙江工商大学信息与电子工程学院（萨塞克斯人工智能学院），浙江杭州 310018
- 作者简介：
  
  [ "李传煌（1980-），男，江西九江人，博士，浙江工商大学教授、硕士生导师，主要研究方向为软件定义网络、开放可编程网络、边缘计算、人工智能应用" ]
  [ "陈泱婷（1998-），女，浙江绍兴人，浙江工商大学硕士生，主要研究方向为软件定义网络、人工智能应用等" ]
  [ "唐晶晶（1998-），女，浙江杭州人，浙江工商大学硕士生，主要研究方向为软件定义网络、人工智能应用等" ]
  [ "楼佳丽（1998-），女，浙江东阳人，浙江工商大学硕士生，主要研究方向为软件定义网络、人工智能应用等" ]
  [ "谢仁华（1997-），男，浙江临海人，浙江工商大学硕士生，主要研究方向为软件定义网络、人工智能应用等" ]
  [ "方春涛（1995-），男，浙江建德人，浙江工商大学硕士生，主要研究方向为软件定义网络、人工智能应用等" ]
  [ "王伟明（1964-），男，浙江遂昌人，博士，浙江工商大学教授、硕士生导师，主要研究方向为新一代网络架构、开放可编程网络" ]
  [ "陈超（1986-），男，浙江湖州人，博士，浙江工商大学副教授、硕士生导师，主要研究方向为下一代无线通信网络技术、网络编码、机器/深度学习等" ]
- 基金信息：
  
  国家自然科学基金资助项目(61871468);国家自然科学基金资助项目(61801427);国家自然科学基金资助项目(62111540270);浙江省新型网络标准与应用技术重点实验室基金资助项目(2013E10012);浙江省重点研发计划基金资助项目(2020C01079)
- DOI：10.11959/j.issn.1000-436x.2022038
  中图分类号： TP393
- 网络首发：2022-02，
  
  纸质出版：2022-02-25
- 稿件说明：
移动端阅览
李传煌, 陈泱婷, 唐晶晶, 等. QL-STCT：一种SDN链路故障智能路由收敛方法[J]. 通信学报, 2022,43(2):131-142.

Chuanhuang LI, Yangting CHEN, Jingjing TANG, et al. QL-STCT: an intelligent routing convergence method for SDN link failure[J]. Journal on Communications, 2022, 43(2): 131-142.
李传煌, 陈泱婷, 唐晶晶, 等. QL-STCT：一种SDN链路故障智能路由收敛方法[J]. 通信学报, 2022,43(2):131-142. DOI： 10.11959/j.issn.1000-436x.2022038.

Chuanhuang LI, Yangting CHEN, Jingjing TANG, et al. QL-STCT: an intelligent routing convergence method for SDN link failure[J]. Journal on Communications, 2022, 43(2): 131-142. DOI： 10.11959/j.issn.1000-436x.2022038.

摘要

针对软件定义网络（SDN）链路故障发生时的路由收敛问题，提出了 Q-Learning 子拓扑收敛技术（QL-STCT）实现软件定义网络链路故障时的路由智能收敛。首先，选取网络中的部分节点作为枢纽节点，依据枢纽节点进行枢纽域的划分。然后，以枢纽域为单位构建区域特征，利用特征提出强化学习智能体探索策略来加快强化学习收敛。最后，通过强化学习构建子拓扑网络用于规划备用路径，并保证在周期窗口内备用路径的性能。实验仿真结果表明，所提方法能够有效提高链路故障网络的收敛速度与性能。

Abstract

Aiming at the problem of routing convergence when SDN link failure occurs

a Q-Learning sub-topological convergence technique (QL-STCT) was proposed to realize intelligent route convergence when SDN links fail.Firstly

some nodes were selected in the network as hub nodes and divides the hub domains according to the hub nodes

and the regional features were constructed with the hub domain as the unit.Secondly

the reinforcement learning agent exploration strategy was proposed by using the features to accelerate the convergence of reinforcement learning.Finally

a sub-topology network was constructed through reinforcement learning to plan the alternate path and ensure the performance of the alternate path in the periodic window.Experimental simulation results show that the proposed method effectively improves the convergence speed and performance of the link failure network.

关键词

Keywords

references

邓书华 , 卢泽斌 , 罗成程 , 等 . SDN 研究简述 [J ] . 计算机应用研究 , 2014 , 31 ( 11 ): 3208 - 3213 .

DENG S H , LU Z B , LUO C C , et al . Outline of software defined networking [J ] . Application Research of Computers , 2014 , 31 ( 11 ): 3208 - 3213 .

ABDALLAH S , KAYSSI A , ELHAJJ I H , et al . Network convergence in SDN versus OSPF networks [C ] // Proceedings of 2018 Fifth International Conference on Software Defined Systems (SDS) . Piscataway:IEEE Press , 2018 : 130 - 137 .

ABDALLAH S , KAYSSI A , ELHAJJ I H , et al . Performance analysis of SDN vs OSPF in diverse network environments [J ] . Concurrency and Computation:Practice and Experience , 2020 :doi.org/10.1002/cpe.5410.

NOTO M , SATO H . A method for the shortest path search by extended Dijkstra algorithm [C ] // Proceedings of 2000 IEEE International Conference on Systems,Man and Cybernetics . Piscataway:IEEE Press , 2000 : 2316 - 2320 .

龙昭华 , 叶二伟 , 董瑞芳 . SDN 中基于多指标的链路负载均衡模型 [J ] . 计算机工程与设计 , 2019 , 40 ( 4 ): 948 - 952 , 1084 .

LONG Z H , YE E W , DONG R F . Load balancing model based on multi-indexes in SDN [J ] . Computer Engineering and Design , 2019 , 40 ( 4 ): 948 - 952 , 1084 .

YAN J Y , ZHANG H L , SHUAI Q J , et al . HiQoS:an SDN-based multipath QoS solution [J ] . China Communications , 2015 , 12 ( 5 ): 123 - 133 .

池亚平 , 高聪 , 陈颖 , 等 . SDN 架构下的链路分离路径算法的研究 [J ] . 计算机应用与软件 , 2018 , 35 ( 9 ): 183 - 188 , 235 .

CHI Y P , GAO C , CHEN Y , et al . Research on link disjointed path algorithm in SDN architecture [J ] . Computer Applications and Software , 2018 , 35 ( 9 ): 183 - 188 , 235 .

周飞杰 , 张坤丽 , 王国卿 , 等 . SDN 中基于遗传机制的自适应路由算法研究 [J ] . 计算机工程与应用 , 2019 , 55 ( 2 ): 86 - 91 , 186 .

ZHOU F J , ZHANG K L , WANG G Q , et al . Research of adaptive SDN routing algorithm based on genetic mechanism [J ] . Computer Engineering and Applications , 2019 , 55 ( 2 ): 86 - 91 , 186 .

杨洋 , 杨家海 , 秦董洪 . 数据中心网络多路径路由算法 [J ] . 清华大学学报(自然科学版) , 2016 , 56 ( 3 ): 262 - 268 .

YANG Y , YANG J H , QIN D H . Multipath routing algorithm for data center networks [J ] . Journal of Tsinghua University (Science and Technology) , 2016 , 56 ( 3 ): 262 - 268 .

农黄武 , 黄传河 , 黄晓鹏 . 基于 SDN 的胖树数据中心网络的多路径路由算法 [J ] . 计算机科学 , 2016 , 43 ( 6 ): 32 - 34 , 76 .

NONG H W , HUANG C H , HUANG X P . SDN-based multipath routing algorithm for fat-tree data center networks [J ] . Computer Science , 2016 , 43 ( 6 ): 32 - 34 , 76 .

ARINEITWE F , SERUGUNDA J , OKELLO D . Development of the protocol for inter-autonomous systems routing in software defined networks [C ] // 2021 IEEE 11th Annual Computing and Communication Workshop and Conference (CCWC) . Piscataway:IEEE Press , 2021 : 414 - 422 .

FU Q X , SUN E C , MENG K , et al . Deep Q-learning for routing schemes in SDN-based data center networks [J ] . IEEE Access , 2020 , 8 : 103491 - 103499 .

HAN Q W , CHENG S , ZENG L Q . An intellectual routing algorithm based on SDN [C ] // Proceedings of 2020 IEEE/CIC International Conference on Communications in China (ICCC) . Piscataway:IEEE Press , 2020 : 1144 - 1149 .

程成 . SDN 下基于强化学习的路由规划算法研究 [D ] . 杭州:浙江工商大学 , 2018 .

CHENG C . Research on routing algorithm based on reinforcement learning in SDN [D ] . Hangzhou:Zhejiang Gongshang University , 2018 .

CHEN Y R , REZAPOUR A , TZENG W G , et al . RL-routing:an SDN routing algorithm based on deep reinforcement learning [J ] . IEEE Transactions on Network Science and Engineering , 2020 , 7 ( 4 ): 3185 - 3199 .

任晓龙 , 吕琳媛 . 网络重要节点排序方法综述 [J ] . 科学通报 , 2014 , 59 ( 13 ): 1175 - 1197 .

REN X L , LYU L Y . Review of ranking nodes in complex networks [J ] . Chinese Science Bulletin , 2014 , 59 ( 13 ): 1175 - 1197 .

高阳 , 陈世福 , 陆鑫 . 强化学习研究综述 [J ] . 自动化学报 , 2004 , 30 ( 1 ): 86 - 100 .

GAO Y , CHEN S F , LU X . Research on reinforcement learning technology:a review [J ] . Acta Automatica Sinica , 2004 , 30 ( 1 ): 86 - 100 .

YU H Z , BERTSEKAS D P . On boundedness of Q-learning iterates for stochastic shortest path problems [J ] . Mathematics of Operations Research , 2013 , 38 ( 2 ): 209 - 227 .

陈建平 , 邹锋 , 刘全 , 等 . 一种基于生成对抗网络的强化学习算法 [J ] . 计算机科学 , 2019 , 46 ( 10 ): 265 - 272 .

CHEN J P , ZOU F , LIU Q , et al . Reinforcement learning algorithm based on generative adversarial networks [J ] . Computer Science , 2019 , 46 ( 10 ): 265 - 272 .

檀朝东 , 蔡振华 , 邓涵文 , 等 . 基于强化学习的煤层气井螺杆泵排采参数智能决策 [J ] . 石油钻采工艺 , 2020 , 42 ( 1 ): 62 - 69 .

TAN C D , CAI Z H , DENG H W , et al . Intelligent decision making on PCP production parameters of CBM wells based on reinforcement learning [J ] . Oil Drilling ＆ Production Technology , 2020 , 42 ( 1 ): 62 - 69 .

MUTHUMANIKANDAN V , VALLIYAMMAI C . Link failure recovery using shortest path fast rerouting technique in SDN [J ] . Wireless Personal Communications , 2017 , 97 ( 2 ): 2475 - 2495 .

浏览量

1424

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于Q-learning的跨域服务链映射机制

基于RL-WGAN的5G网络异常数据生成方法

融合SDN与目标导向分层强化学习的覆盖组播路由方法

FTTR C-WAN架构下多AP协同的Co-EDCA机制研究

基于IPv6+的智能车联算网调度方案设计与实现