简介:本刊讯由谢长生、曹强、吴非、谭志虎、万继光、黄建忠等人组成的“进化海量存储系统关键技术与实现方法”项目组针对海量网络存储系统,在数据组织方式和组织策略上提出了多项发明技术。针对存储系统物理和逻辑的组织方式是一种静态组织结构,不能很好地刻画处于不断变化之中的系统,提出了一种进化存储系统及其进化方法、自适应数据存储优化分布和存储设备数据再生进化方法,获得3项发明专利;还提出了一种存储系统数据分布及互转换和一种基于连续度聚类和时间序列的IO区域预取的方法,申请2项发明专利。针对数据存储安全性,提出了一种在内核态文件系统层的加密读写和一种用于存储系统的全局缓存管理的方法,申请2项发明专利。以上技术都已投入使用,从多角度提高了网络存储系统的性能,提供了多种关键技术缓解I/O瓶颈的方法。采用部分上述技术和方法形成的“采用零拷贝技术的多协议磁盘阵列控制器”为国内首款具有自主知识产权的磁盘阵列硬件控制器,并已成功应用于军用加固磁盘阵列和民用磁盘阵列系统中。
简介:随着网络技术的快速发展,存储网络中的海量数据已经超越了传统关系型数据库的负载能力.如何存储海量数据,以及如何基于海量数据提供高效的数据查询的能力,使得程序的使用者能够得到及时的回应等诸多问题是Google等网络服务供应商们所亟需解决的挑战.为了解决这些问题,Google研发了Coogle文件系统(GoogleFileSystem,GFS)、Bigtable以及很多其他相关的技术和算法.本文介绍了GoogleBigtable的数据模型,并且详细解释了Bigtable是如何提供可扩展性,如何提供高效率的读和写操作,以及Bigtable是如何控制并发事务的.读者通过阅读可以更加深刻地理解Bigtable的技术架构.
简介:摘要:云计算技术是一种密集型数据计算技术,其在数据存储、数据管理以及虚拟化技术等方面,均具备显著的技术优势。其关键技术包括分布式存储技术、虚拟化技术以及可扩展性并行技术等。传统的海量信息存储是以集中的存储服务器作为数据存储,但是其存在海量信息存储限制和瓶颈。基于压缩感知的数据存储方法和基于SWIFT的海量数据存储方法为例:前者以压缩感知理论与数字模型相结合,完成数据存储,但是其在存储信息实行抽取使用时,信噪比较低;后者则是采用哈希过程以及优化步骤后,完成数据存储,但是该方法在对存储信息实行查询时效率较低。基于此,本文提出基于云计算技术的海量信息分布式存储方法,具备可扩展性是分布式存储的显著优势,其可将海量信息分散存储于多台服务器中,以此降低存储限制和瓶颈,同时,通过位置服务器的定位完成海量信息的存储,极大地提高了存储系统的存储效率和可靠性。