支持高并发的Hadoop高性能加密方法研究

金伟; 余铭洁; 李凤华; 杨正坤; 耿魁

doi:10.11959/j.issn.1000-436x.2019224

您当前的位置：

首页 >

文章列表页 >

支持高并发的Hadoop高性能加密方法研究

学术论文 | 更新时间：2024-06-05

- 支持高并发的Hadoop高性能加密方法研究
- High-performance and high-concurrency encryption scheme for Hadoop platform
- 通信学报 2019年40卷第12期页码：29-40
- 作者机构：
  
  1. 中国科学院信息工程研究所，北京100093
  2. 中国科学院大学网络空间安全学院，北京 100049
  3. 中国科学技术大学网络空间安全学院，安徽合肥 230027
- 作者简介：
  
  [ "金伟（1994- ），女，北京人，中国科学院信息工程研究所博士生，主要研究方向为大数据访问控制与密钥管理" ]
  [ "余铭洁（1998- ），男，江西景德镇人，中国科学技术大学博士生，主要研究方向为大数据访问控制与密钥管理" ]
  [ "李凤华（1966- ），男，湖北浠水人，博士，中国科学院信息工程研究所研究员、博士生导师，主要研究方向为网络与系统安全、大数据安全与隐私保护、密码工程" ]
  [ "杨正坤（1994– ），男，重庆人，中国科学院信息工程研究所硕士生，主要研究方向为入侵响应" ]
  [ "耿魁（1989- ），男，湖北红安人，博士，中国科学院信息工程研究所助理研究员，主要研究方向为网络安全" ]
- 基金信息：
  
  国家重点研发计划基金资助项目(2017YFB0802705);中国科学院战略性先导科技专项基金资助项目(XDC02040400);国家自然科学基金资助项目(U1836203)
- DOI：10.11959/j.issn.1000-436x.2019224
  中图分类号： TP302
- 网络出版日期：2019-12，
  
  纸质出版日期：2019-12-25
- 稿件说明：
移动端阅览
金伟, 余铭洁, 李凤华, 等. 支持高并发的Hadoop高性能加密方法研究[J]. 通信学报, 2019,40(12):29-40.

Wei JIN, Mingjie YU, Fenghua LI, et al. High-performance and high-concurrency encryption scheme for Hadoop platform[J]. Journal on communications, 2019, 40(12): 29-40.
金伟, 余铭洁, 李凤华, 等. 支持高并发的Hadoop高性能加密方法研究[J]. 通信学报, 2019,40(12):29-40. DOI： 10.11959/j.issn.1000-436x.2019224.

Wei JIN, Mingjie YU, Fenghua LI, et al. High-performance and high-concurrency encryption scheme for Hadoop platform[J]. Journal on communications, 2019, 40(12): 29-40. DOI： 10.11959/j.issn.1000-436x.2019224.

摘要

针对Hadoop平台静态存储加密方案的加密算法单一、密钥管理复杂、加解密性能低，不能高效保护Hadoop数据安全的问题，提出了一套基于商用密码算法的 Hadoop 高性能加密与密钥管理方案。首先，提出基于国产商密算法的 Hadoop 平台三层密钥管理体系，优化二级密钥的组织结构；其次，提出异步流水模式的高并发加解密方法，替代 Hadoop 原有的串行加解密流程，并通过密文排序确保多加密线程的密文同步。实验结果表明，所提方案的密钥存取效率、文件读写速度快于原有Hadoop方案，所提方法可有效提升Hadoop平台密钥存取与加解密速度。

Abstract

To address the problem that as preventing data leakage on Hadoop platform

the existing encryption schemes suffer from several problems (e.g.

single encryption algorithm

complicated key management

low encryption performance) and they cannot protect data stored in Hadoop effectively

a high-performance encryption and key management scheme for Hadoop was proposed.Firstly

a three-level key management system was extended with the domestic commercial cipher algorithm.Then

a new data structure for encryption zone key to reduce time consumption was designed.Finally

the computing process of data stream in parallel was scheduled.The experimental results show that compared with the existing Hadoop schemes

the proposed scheme can improve the efficiency of key management

and can speed up file encryption.

关键词

Keywords

references

陈丽 , 黄晋 , 王锐 . Hadoop大数据平台安全问题和解决方案的综述 [J ] . 计算机系统应用 , 2018 , 27 ( 1 ): 1 - 9 .

CHEN L , HUANG J , WANG R . Overview on security issues and solutions of Hadoop big data platform [J ] . Computer Systems ＆ Applications , 2018 , 27 ( 1 ): 1 - 9 .

梁胜昔 , 秦军 , 宋蕾 . HDFS 混合加密保护方案的设计 [J ] . 计算机时代 , 2014 ( 7 ): 17 - 19 .

LIANG S X , QIN J , SONG L . Design for protection scheme of hybrid encryption in HDFS [J ] . Computer Era , 2014 ( 7 ): 17 - 19 .

DÍAZ A F , BLOKHIN I , ORTEGA J . Secure data access in Hadoop using elliptic curve cryptography [C ] // International Conference on Algorithms and Architectures for Parallel Processing . 2016 : 136 - 145 .

WANG F , KOHLER M , SCHAAD A . Initial encryption of large searchable data sets using Hadoop [C ] // The 20th ACM Symposium on Access Control Models and Technologies . SACMAT , 2015 : 165 - 168 .

SONG Y , SHIN Y S , JANG M . Design and implementation of HDFS data encryption scheme using ARIA algorithm on Hadoop [C ] // 2017 IEEE International Conference on Big Data and Smart Computing . IEEE , 2017 : 84 - 90 .

LIN H Y , SHEN S T , TZENG W G , et al . Toward data confidential ity via integrating hybrid encryption schemes and Hadoop distributed file system [C ] // 2012 IEEE 26th International Conference on Advanced Information Networking and Applications (AINA) . IEEE , 2012 : 740 - 747 .

BHATOTIA P , RODRIGUES R , VERMA A . Shredder:GPU-accelerated incremental storage and computation [C ] // The 10th USENIX conference on File and Storage Technologies . 2012 .

COHEN J , ACHARYA S . Towards a trusted Hadoop storage platform:design considerations of an AES based encryption scheme with TPM rooted key protections [C ] // The 2013 IEEE 10th International Conference on Ubiquitous Intelligence ＆ Computing and 2013 IEEE 10th International Conference on Autonomic ＆ Trusted Computing . IEEE , 2013 : 444 - 451 .

ZHOU W , XU Y , WANG G . Research on key management for multi-privileged group communications [C ] // IEEE Trustcom/BigDataSE/ISPA . IEEE Computer Society , 2015 : 151 - 158 .

KANDAH F I , NICHOLS O , YANG L . Efficient key management for big data gathering in dynamic sensor networks [C ] // International Conference on Computing . IEEE , 2017 : 667 - 671 .

ALBAKRI A , MADDUMALA M , HARN L . Hierarchical polynomial-based key management scheme in fog computing [C ] // IEEE TrustCom/BigDataSE . IEEE , 2018 : 1593 - 1597 .

浏览量

1233

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

面向工业物联网的无配对数据高效验证和聚合协议

基于区块链的分布式EHR细粒度可追溯方案

基于收敛加密的云安全去重与完整性审计系统

基于动态累加器的异构传感网认证组密钥管理方案

传感器网络中基于三元多项式的密钥管理方案