学科分类
/ 25
500 个结果
  • 简介:本刊讯由谢长生、曹强、吴非、谭志虎、万继光、黄建忠等人组成的“进化海量存储系统关键技术与实现方法”项目组针对海量网络存储系统,在数据组织方式和组织策略上提出了多项发明技术。针对存储系统物理和逻辑的组织方式是一种静态组织结构,不能很好地刻画处于不断变化之中的系统,提出了一种进化存储系统及其进化方法、自适应数据存储优化分布和存储设备数据再生进化方法,获得3项发明专利;还提出了一种存储系统数据分布及互转换和一种基于连续度聚类和时间序列的IO区域预取的方法,申请2项发明专利。针对数据存储安全性,提出了一种在内核态文件系统层的加密读写和一种用于存储系统的全局缓存管理的方法,申请2项发明专利。以上技术都已投入使用,从多角度提高了网络存储系统的性能,提供了多种关键技术缓解I/O瓶颈的方法。采用部分上述技术和方法形成的“采用零拷贝技术的多协议磁盘阵列控制器”为国内首款具有自主知识产权的磁盘阵列硬件控制器,并已成功应用于军用加固磁盘阵列和民用磁盘阵列系统中。

  • 标签: 海量存储系统 存储技术 进化方法 磁盘阵列控制器 网络存储系统 数据组织方式
  • 简介:人们都说现在是信息时代,适逢其时,大家均以欣喜的心情迎接跨入21世纪的到来。信息是企业的重要资源,在这数字化的年代,数据就是信息,信息就是知识,掌握知识就有了力量,有了力量就可以占有市场,提高竞争能力。总结来说,数据的保存和备份就是整个企业的全部价值。而且,随着人们生活水平的不断提高,信息数据化的量也随之迅速膨胀发展,因此,就提出了一个“海量存储”的实施及数据备份和

  • 标签: 海量数据存储 备份方案 数据备份 信息时代 海量存储 竞争能力
  • 简介:船舶自动识别系统(AIS)数据具有海量性、时空性和小记录频繁更新等特性。面向海量AIS数据,提出了一种基于分布式集群的AIS数据存储方法。该方法对AIS数据存储索引结构进行了设计,通过对时间维按月切分,以及对空间范围聚类切分,构造了索引时空立方体,从而提升了时空查询效率。讨论了索引分片和副本设计与数据安全性和系统服务可靠性的关系,分析了时空立方体性能,并针对索引分片与副本数对索引性能的影响,进行了理论分析和试验验证。

  • 标签: 时空索引 船舶自动识别系统 轨迹压缩 数据集群
  • 简介:随着电脑行业的飞速发展,存储领域经历着不断的革新——硬盘容量已经发展到250GB;转速从56400发展到10000rpm。当然,应用软件所需的存储空间也在不断攀升,3.5"软盘早已不能满足移动存储要求。那么目前市场上存在的移动存储方案到底哪种最适合你呢?

  • 标签: 硬盘容量 光盘 刻录机 刻录速度 闪盘 存储设备
  • 简介:美国宾夕法尼亚大学研究人员开发出了一种新纳米器件,这种纳米器件能存储10万年的电脑数据,且检索数据的速度比现有的像闪存和微型硬盘之类的便携式存储设备快1000倍,同时比目前的内存技术更省电、存储空间更小。它在一个很小的内存器件中存储数百部高分辨电影,且不用等待数据缓冲就可以下载并播放它们,

  • 标签: 纳米器件 存储设备 内存技术 海量数据 美国宾夕法尼亚大学 研究人员
  • 简介:随着网络技术的快速发展,存储网络中的海量数据已经超越了传统关系型数据库的负载能力.如何存储海量数据,以及如何基于海量数据提供高效的数据查询的能力,使得程序的使用者能够得到及时的回应等诸多问题是Google等网络服务供应商们所亟需解决的挑战.为了解决这些问题,Google研发了Coogle文件系统(GoogleFileSystem,GFS)、Bigtable以及很多其他相关的技术和算法.本文介绍了GoogleBigtable的数据模型,并且详细解释了Bigtable是如何提供可扩展性,如何提供高效率的读和写操作,以及Bigtable是如何控制并发事务的.读者通过阅读可以更加深刻地理解Bigtable的技术架构.

  • 标签: BIGTABLE GFS 关系型数据库
  • 简介:摘 要:随着我国经济发展获得了越来越多显著的成绩,我国城市化建设也在不断地深入,为了更好地促进城市化建设的和谐稳定,国家对于环境保护工作也有了越来越高的要求,必须要提高环境污染治理措施,加强对于各类影响因素的防范能力,建立起有效的环境监测系统,全面提高环境监测水平,这其中建立起海量环境监测数据存储与共享平台将有着十分重要的意义[1]。本文将对海量环境监测数据存储与共享平台的建立的重要性、特点进行分析,并根据自身的工作经验,提出建设该平台的建议,以供业界人士参考。

  • 标签: 环境监测 海量数据 存储 共享 平台建设
  • 简介:为实现高效地存储和管理海量、无序和异构性的数据信息,在分析网络数据存储体系结构和网络数据特点的基础上,设计一种基于Hadoop技术的分布式海量网络数据存储系统平台。该系统平台包含业务接口层、数据服务层和数据库数据访问层3层结构,通过使用linux集群技术、分布式并行数据处理技术、存储技术,可以实现高效率、低成本的存储海量数据功能,具有良好的安全性、经济性、易用性和可扩展性。

  • 标签: 海量数据 HADOOP 分布式存储 并行计算
  • 简介:CKV(CloudKeyValue)是腾讯自主研发的分布式存储系统,服务于QQ空间、朋友网、相册、音乐等核心业务,日访问量超过万亿次。本刊3月期《腾讯CKV海量分布式存储系统:日访问过万亿次背后的技术挑战》一文中,全面剖析7CKV的实现原理和技术挑战。本文则将从部署架构、质量、效率和成本四个方面来讲述CKV的运营实践。

  • 标签: 分布式存储系统 腾讯 运营 自主研发 QQ空间 核心业务
  • 简介:摘要:随着互联网的不断发展,数字信息正在呈爆炸式增长,如何高效地处理和存储海量数据成为一个亟待解决的问题。分布式文件系统 HDFS为当前众多主流的分布式应用提供了稳定的存储层服务,有着非常良好的扩展性和容错性.但是 HDFS 是为大文件的存储和流式访问而设计的,海量小文件的存储将会极大地消耗 NameNode 的内存从而影响性能。在查询性能上优于 HBase,高效地实现了 HDFS 下海量小文件的存储、管理和检索,MDCI 方案适用于需要在 HDFS 下存储、管理和查询包含多维元信息并且文件数随时间线性递增的海量小文件存储应用。

  • 标签: HDFS 海量小文件 索引
  • 简介:海量实时数据的存储访问是实时报文存储处理系统存储性能的瓶颈。分析了实时报文的应用场景;构建了实时报文数据访问的时间耗费模型,探讨了系统的主要时间耗费因素;提出了分区存储、批量存取和分页查询三种数据存储访问策略;编程实现了报文数据访问引擎,运用线性回归方法拟合了数据的保存速率。验证表明,该引擎具有高效性、资源占有率低、伸缩性强和稳定可靠的特点。

  • 标签: 报文存储访问 存储性能 分区存储 批量存取 分页查询
  • 简介:远程教育资源具有数据量大,增长迅速的特点,对这些海量数据资源进行低成本存储和基于内容的高效检索,是远程教育云平台建设面临的一大难题。本文基于Hadoop设计了一套对远程教育海量资源进行存储和检索的方法,解决了这个难题。

  • 标签: 云计算 HADOOP 海量数据 远程教育
  • 简介:摘要:计算是一种新型的基于互联网的商业计算模型,是多种技术混合演进的结果。具有安全可靠、海量信息存储、快溶方便等特点。图书馆利用云计算的分布式数据存储技术和与之相关的虚拟技术实现对海量数据的存储,能降低存储和维护成本,具有所存数据安全可靠。轻松实现不同设备间的数据共享等特点。该文就云计算环境下的图书海量数据存储技术进行研究,剖析现代数字图书馆的主要特征,以及对于云计算技术手段在图书馆数据管理中的应用现状做出分析,并且提出相应的指导性意见。

  • 标签: 云计算 图书馆 海量数据存储 安全性
  • 简介:摘要:基于场景内的物联信息结构及系统分析,本文通过在智能交通场景内(公路、桥梁、公交、停车场等)物联网技术能够自动检测并报告公路、桥梁的“健康状 况”的应用,以及在智能建筑场景内(绿色照明、安全检测等),物联网技术在建筑物照片方面能够实现节能环保的应用,总结出了一套物联网海量异构数据存储及共享的策略,包含知识密度、数据处理、数据分布等存储技术,以及标准化设计、平台共享、标识平台等共享策略。本文通 过总结,为物联网海量异构数据的存储与共享的发展提供一份支持。

  • 标签: 物联网 异构数据 存储策略 共享策略
  • 简介:183-196.  [12]PLANKJS.T1,这个概念的引入对解决高容错性磁盘阵列问题或者更大的网络存储数据修复问题起着非常重要的作用,该编码更适用于动态增减磁盘数量的网络存储的数据修复

  • 标签: 中高度 存储中 应用于海量
  • 简介:本文主要是针对关系型数据库的信息管理系统在处理海量数据的存储与检索方面的一些可选方案进行探讨与分析,并结合实际应用,分别从分布式数据存储、动态表、索引、查询语句优化等4个方面对海量数据的存储与检索给出可行的优化配置解决方案。

  • 标签: 海量数据 分布式存储 检索 优化
  • 简介:摘要:云计算技术是一种密集型数据计算技术,其在数据存储、数据管理以及虚拟化技术等方面,均具备显著的技术优势。其关键技术包括分布式存储技术、虚拟化技术以及可扩展性并行技术等。传统的海量信息存储是以集中的存储服务器作为数据存储,但是其存在海量信息存储限制和瓶颈。基于压缩感知的数据存储方法和基于SWIFT的海量数据存储方法为例:前者以压缩感知理论与数字模型相结合,完成数据存储,但是其在存储信息实行抽取使用时,信噪比较低;后者则是采用哈希过程以及优化步骤后,完成数据存储,但是该方法在对存储信息实行查询时效率较低。基于此,本文提出基于云计算技术的海量信息分布式存储方法,具备可扩展性是分布式存储的显著优势,其可将海量信息分散存储于多台服务器中,以此降低存储限制和瓶颈,同时,通过位置服务器的定位完成海量信息的存储,极大地提高了存储系统的存储效率和可靠性。

  • 标签: 云计算技术 海量信息 分布式存储
  • 简介:本文描述了数字图书馆分布式海量存储和互操作性的特点,并将传统的SAS存储模式与几种网络存储系统进行对比分析,提出了数字图书馆的主体存储设备应摒弃传统模式,选用NAS和SAN的网络存储系统的观点。

  • 标签: 数字图书馆 网络存储 SAS NAS SAN
  • 简介:<正>业内的USB技术提供商赛普拉斯半导体公司宣布,其种类丰富的USB2.0产品系列新增低功耗海量存储桥接器——一种支持由高速USB总线供电应用的固定功能ATA/ATAPI海量存储控制器。赛普拉斯正在提供ISD-

  • 标签: 赛普拉斯公司 USB2.0 低功耗 存储桥接器 存储控制器