学科分类
/ 1
3 个结果
  • 简介:摘要:随着互联网的不断发展,数字信息正在呈爆炸式增长,如何高效地处理和存储海量数据成为一个亟待解决的问题。分布式文件系统 HDFS为当前众多主流的分布式应用提供了稳定的存储层服务,有着非常良好的扩展性和容错性.但是 HDFS 是为大文件的存储和流式访问而设计的,海量小文件的存储将会极大地消耗 NameNode 的内存从而影响性能。在查询性能上优于 HBase,高效地实现了 HDFS 下海量小文件的存储、管理和检索,MDCI 方案适用于需要在 HDFS 下存储、管理和查询包含多维元信息并且文件数随时间线性递增的海量小文件存储应用。

  • 标签: HDFS 海量小文件 索引
  • 简介:信息时代,人们在生活和工作中产生了大量数据。然而,随着数据越来越多,数据信息规模不断产生。传统的操作系统很难将这些体积庞大的数据快速、安全、稳定地存储起来。尽管有的研究者考虑过把这些数据进行拆分,并分配到更多的操作系统管理的磁盘中,以实现无限的数据存储。但是这种存储方式十分不便于管理和维护,因此,迫切需要一种更加先进的存储管理系统来管理多台机器上的文件,这就是本文研究的分布式文件管理系统。本文探讨了基于HDFS分布式文件系统的大数据存储的优点与功能,并介绍了依托HDFS分布式文件系统卓越的性能开展海量数据存储服务以及衍生服务的企业和研究机构,进而探究其借助这一重要工具实现业务水平快速升级的策略。

  • 标签: HDFS 分布式文件系统 大数据 HADOOP