基于差分压缩的大规模日志压缩系统

唐球; 姜磊; 戴琼

doi:10.11959/j.issn.1000-436x.2015300

Your Location：

Home >

Browse articles >

基于差分压缩的大规模日志压缩系统

学术论文 | Updated：2024-06-05

- 基于差分压缩的大规模日志压缩系统
- Large-scale log compressing system based on differential compression
- 通信学报 2015年36卷第Z1期页码：197-202
- Affiliations：
- Author bio：
- Funds：
  
  中科院战略性先导科技专项基金资助项目(XDA06031000)
- DOI：10.11959/j.issn.1000-436x.2015300
  中图分类号：
- Accepted：
Scan QR Code
唐球, 姜磊, 戴琼. 基于差分压缩的大规模日志压缩系统[J]. 通信学报, 2015,36(Z1):197-202.

Qiu TANG, Lei JIANG, Qiong DAI. Large-scale log compressing system based on differential compression[J]. Journal on communications, 2015, 36(Z1): 197-202.
唐球, 姜磊, 戴琼. 基于差分压缩的大规模日志压缩系统[J]. 通信学报, 2015,36(Z1):197-202. DOI： 10.11959/j.issn.1000-436x.2015300.

Qiu TANG, Lei JIANG, Qiong DAI. Large-scale log compressing system based on differential compression[J]. Journal on communications, 2015, 36(Z1): 197-202. DOI： 10.11959/j.issn.1000-436x.2015300.

Abstract

大型信息系统的日志数据规模呈现快速增长趋势，导致线速压缩与存储大规模日志数据成为当今数据管理的一大挑战。对大量的网络系统日志进行了研究，发现日志数据存在冗余的结构模式，在内容上存在时间局部相似性。提出了基于模板的细粒度日志差分压缩架构，针对具体日志数据，可配置与其相适应的细粒度差分策略。实验结果表明，与gzip工具相比，所提日志压缩系统在压缩速度上提高了2～10倍，压缩率比gzip更低，可达到10%。

Keywords

摘要

Abstract

关键词

Keywords

references

浏览量

1355

Downloads

CSCD

文章被引用时，请邮件提醒。

Submit

工具集

关联资源

基于K均值多重主成分分析的App-DDoS检测方法

复杂网络共享管理信息模型的表示与应用机制研究

基于差分压缩的大规模日志压缩系统

Large-scale log compressing system based on differential compression

DOI：10.11959/j.issn.1000-436x.2015300

Abstract

Keywords

摘要

Abstract

关键词

Keywords

references