简介:摘要:针对大数据的特点及其对存储系统的海量、融合和高性能的存储需求,提出了一种融合分布式存储系统,该系统基于本地物理存储介质构建统一的分布式存储资源池,采用去中心化的软件定义存储架构,利用多台存储服务器分担存储负荷,提高存储系统性能;通过多副本、纠删码数据保护模式,提高数据可靠性;向上层应用提供文件存储、对象存储、块存储等融合存储服务,提供数据管理效率;系统采用可扩展的方案,实现动态扩展。本文对分布式存储系统的系统架构、寻址方案、读写流程等设计要点进行研究,并给出了测试验证结果。
简介:摘要:随着互联网技术的迅猛发展,各类信息每天以井喷式状态产生、传输和应用。为了适应信息时代信息管理的需求,分布式数据库应运而生。在传统的集中式数据库时代,信息存储和信息用户较少,集中式存储库只能够满足基本的数据管理需求。而随着信息用户增多,对于信息存储、传输管理的要求不断提高,在信息管理方面更需要大容量和高效率的数据库技术来确保信息高品质、高效率的应用。分布式数据库与集中式数据库相反,它将多个数据存储单元组合为同一个数据库,然后分存到不同的数据存储节点上,实现海量数据的超大容量存储和访问。研究分布式存储数据技术在大数据中的应用对于解决现阶段数据库存储问题有着重要意义。
简介:摘要:在互联网技术蓬勃发展的时代背景下,尤其是移动互联网的推广和普及以及无数新应用的诞生和变化,互联网中产生的数据量呈现爆炸式的增长,人们意识到海量的数据中存在着巨大的价值,大数据作为一个描述数据量的名词如今已经被广泛地使用,人工智能,机器学习,用户画像等新领域都离不开大数据的支撑。存储和管理大数据的技术同时也在不断发展,配合着云计算技术的发展,云存储技术也在不断地优化迭代。过去的云存储技术通常基于集群应用。在分布式文件和网格技术的前提下,分布式云存储技术能够通过软件将网络中链接的各种存储设备建立联系,将用户数据分别存放于这些设备中,大大提升了用户访问数据的效率和便利性。
简介:本刊讯由谢长生、曹强、吴非、谭志虎、万继光、黄建忠等人组成的“进化海量存储系统关键技术与实现方法”项目组针对海量网络存储系统,在数据组织方式和组织策略上提出了多项发明技术。针对存储系统物理和逻辑的组织方式是一种静态组织结构,不能很好地刻画处于不断变化之中的系统,提出了一种进化存储系统及其进化方法、自适应数据存储优化分布和存储设备数据再生进化方法,获得3项发明专利;还提出了一种存储系统数据分布及互转换和一种基于连续度聚类和时间序列的IO区域预取的方法,申请2项发明专利。针对数据存储安全性,提出了一种在内核态文件系统层的加密读写和一种用于存储系统的全局缓存管理的方法,申请2项发明专利。以上技术都已投入使用,从多角度提高了网络存储系统的性能,提供了多种关键技术缓解I/O瓶颈的方法。采用部分上述技术和方法形成的“采用零拷贝技术的多协议磁盘阵列控制器”为国内首款具有自主知识产权的磁盘阵列硬件控制器,并已成功应用于军用加固磁盘阵列和民用磁盘阵列系统中。