基于事件存储引擎的可观测系统的设计与实现

陈红茜; 邱小彬; 屈阳; 曹磊; 王居正; 陈昕

doi:10.11959/j.issn.1000-436x.2024256

您当前的位置：

首页 >

文章列表页 >

基于事件存储引擎的可观测系统的设计与实现

智慧校园 | 更新时间：2024-12-31

- 基于事件存储引擎的可观测系统的设计与实现
- Design and implementation of observability system based on event storage engine
- 通信学报 2024年45卷第Z2期页码：177-185
- 作者机构：
  
  1.中国农业大学信息化办公室（网络技术中心），北京 100083
  2.农业农村部设施农业工程重点实验室，北京 100083
  3.中国农业大学信息与电气工程学院，北京 100083
- 作者简介：
  
  [ "陈红茜（1987- ），女，湖南常德人，博士，中国农业大学高级工程师，主要研究方向为计算机软件系统、数据库技术、校园信息化、农业信息化等。" ]
  [ "邱小彬（1977- ），男，福建龙岩人，中国农业大学高级工程师，主要研究方向为计算机技术、校园信息化等。" ]
  [ "屈阳（1996- ），女，北京人，中国农业大学助理工程师，主要研究方向为计算机软件系统、计算机网络、校园信息化等。" ]
  [ "曹磊（1990- ），女，吉林延边人，中国农业大学中级工程师，主要研究方向为计算机技术、校园信息化等。" ]
  [ "王居正（1990- ），男，北京人，中国农业大学中级工程师，主要研究方向为计算机软件系统、数据库技术、校园信息化等。" ]
  [ "陈昕（1974- ），男，甘肃白银人，博士，中国农业大学副教授，主要研究方向为农业信息化、教育信息化等。" ]
- 基金信息：
  
  科技创新2030-“新一代人工智能”重大基金资助项目(2021ZD0113800)
- DOI：10.11959/j.issn.1000-436x.2024256
  中图分类号： TP315
- 收稿日期：2024-08-15，
  
  纸质出版日期：2024-11-30
- 稿件说明：
移动端阅览
陈红茜,邱小彬,屈阳等.基于事件存储引擎的可观测系统的设计与实现[J].通信学报,2024,45(Z2):177-185.

CHEN Hongxi,QIU Xiaobin,QU Yang,et al.Design and implementation of observability system based on event storage engine[J].Journal on Communications,2024,45(Z2):177-185.
陈红茜,邱小彬,屈阳等.基于事件存储引擎的可观测系统的设计与实现[J].通信学报,2024,45(Z2):177-185. DOI： 10.11959/j.issn.1000-436x.2024256.

CHEN Hongxi,QIU Xiaobin,QU Yang,et al.Design and implementation of observability system based on event storage engine[J].Journal on Communications,2024,45(Z2):177-185. DOI： 10.11959/j.issn.1000-436x.2024256.

摘要

为了解决近 10 年软件架构剧变、新技术普及引起的软件系统复杂性增加，从而使软件 bug、系统故障排查困难陡增等问题，针对起源于传统单体服务的监控系统，提出了一种更具灵活性、效率更高的监控系统的设计、实现方法。将传统的监控数据源进行抽象，统一为事件模型，并设计相应的存储引擎，提供统一的查询、写入 API，最后基于该事件存储引擎构建了可观测系统，提供更加丰富、强大的查询、分析能力。最终的应用效果表明，相对于传统的监控系统，所构建的可观测系统在故障排查、问题分析等方面的效率得到了大幅提升。

Abstract

To solve the challenges posed by the significant increase in software system complexity due to the drastic changes in software architecture and the widespread adoption of new technologies over the past decade—challenges that have led to a surge in software bugs and difficulties in system failure troubleshooting

a design and implementation method for a more flexible and efficient monitoring system tailored to traditional monolithic service-based monitoring systems was proposed. The method abstracted traditional monitoring data sources into a unified event model and designed a corresponding storage engine that offered a unified query and write API. Based on the event storage engine

an observability system was constructed

providing richer and more powerful querying and analysis capabilities. The final application results demonstrate that

compared to traditional monitoring systems

the observability system developed in this paper significantly enhances efficiency in troubleshooting and problem analysis.

关键词

Keywords

references

ZHANG Z H , ZHAN J F , LI Y , et al . Precise request tracing and performance debugging for multi-tier services of black boxes [C ] // Proceedings of the 2009 IEEE/IFIP International Conference on Dependable Systems & Networks . Piscataway : IEEE Press , 2009 : 337 - 346 .

LAI C A , KIMBALL J , ZHU T , et al . Milliscope: a fine-grained monitoring framework for performance debugging of n-tier web services [C ] // Proceedings of the 2017 IEEE 37th International Conference on Distributed Computing Systems (ICDCS) . Piscataway : IEEE Press , 2017 : 92 - 102 .

MI H B , WANG H M , ZHOU Y F , et al . Toward fine-grained, unsupervised, scalable performance diagnosis for production cloud computing systems [C ] // Proceedings of the IEEE Transactions on Parallel and Distributed Systems . Piscataway : IEEE Press , 2013 : 1245 - 1255 .

SRIDHARAN C . Distributed systems observability : a guide to building robust systems [M ] . Sebastopol : O'Reilly , 2018 .

BECKETT D . Combined log system [J ] . Computer Networks and ISDN Systems , 1995 , 27 ( 6 ): 1089 - 1096 .

HE P J , ZHU J M , HE S L , et al . Towards automated log parsing for large-scale log data analysis [J ] . IEEE Transactions on Dependable and Secure Computing , 2018 , 15 ( 6 ): 931 - 944 .

ZHAO X , RODRIGUES K , LUO Y , et al . Log20: fully automated optimal placement of log printing statements under specified overhead threshold [C ] // Proceedings of the 26th Symposium on Operating Systems Principles . New York : ACM Press , 2017 : 565 - 581 .

DUMAIS S , JEFFRIES R , RUSSELL D M , et al . Understanding user behavior through log data and analysis [M ] //OLSON J S, KELLOGG W A, eds. Ways of Knowing in HCI . New York, NY : Springer New York , 2014 : 349 - 372 .

LANDAUER M , SKOPIK F , WURZENBERGER M , et al . System log clustering approaches for cyber security applications: a survey [J ] . Computers & Security , 2020 , 92 : 101739 .

SHEKHTMAN L , WAISBARD E . EngraveChain: a blockchain-based tamper-proof distributed log system [J ] . Future Internet , 2021 , 13 ( 6 ): 143 .

廖湘科 , 李姗姗 , 董威 , 等 . 大规模软件系统日志研究综述 [J ] . 软件学报 , 2016 , 27 ( 8 ): 1934 - 1947 .

LIAO X K , LI S S , DONG W , et al . Survey on log research of large scale software system [J ] . Journal of Software , 2016 , 27 ( 8 ): 1934 - 1947 .

郑博 , 王煜彤 , 燕钰 , 等 . 时间序列数据库管理: 技术、系统与展望 [J ] . 工业技术创新 , 2022 , 9 ( 4 ): 12 - 21 .

ZHENG B , WANG Y T , YAN Y , et al . Management of time series database: technology, system and prospect [J ] . Industrial Technology Innovation , 2022 , 9 ( 4 ): 12 - 21 .

YANG Y , WANG L , GU J , et al . Transparently capturing execution path of service/job request processing[M . Cham : Springer International Publishing , 2018 : 879 - 887 .

THERESKA E , SALMON B , STRUNK J , et al . Stardust [J ] . ACM SIGMETRICS Performance Evaluation Review , 2006 , 34 ( 1 ): 3 - 14 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于深度学习的SDN异常流量分布式检测方法

基于分布式与联合优化的无线传感器网络数据汇聚机制

窃听信道下认知多小区中的协同波束成形算法

基于代价函数的动态分布式解析映射机制

基于Markov模型的分布式队列稳定频谱接入算法