学科分类
/ 25
500 个结果
  • 简介:本文介绍了对于高速海量监测数据的分级简化压缩处理方法.同时还介绍了使用数据库技术加速数据处理的方法。

  • 标签: 频谱监测 数据处理 数据库应用
  • 简介:近年来,随着各个领域中大规模、海量数据存储和处理需求的不断增加,集群作为一种廉价的可以提供强大计算能力的并行计算技术得到越来越广泛的应用,其具有大型机的超级计算能力和较低成本投入.从而成为各种高性能计算的主流方向,如科学计算与其他需要大规模并行计算的应用服务等.本文在分析现有分布式储存和计算等关键技术基础上,结合对Hadoop的集群技术的研究以及自身的业务需求和实际软硬件实力,提出了一种基于Hadoop的海量数据处理模型.

  • 标签: 集群 海量数据 HADOOP MAPREDUCE
  • 简介:摘要:海量数据处理系统框架属于逆向工程软件的基础部分,该框架主要包括数据采集、模型修补等相关方面。然而,该项技术在使用过程中,海量数据处理系统框架存在诸多问题,尤其是三维网格数据存储环节较为薄弱,无法满足人们工作使用需求。为此,如何加大海量数据的储存与显示功能是人们迫切解决的主要问题。

  • 标签: 海量数据处理系统 框架 关键技术
  • 简介:摘要:在信息化背景下,将大数据技术与风电场相结合,打造智慧风电场,加强风电场自动化运行和管理,对促进我国风电领域向智能化以及智慧化方向发展具有重要意义。数据收集和处理是风电场风机运行的基础。风力发电企业需要建立基于大数据应用平台的海量风电数据处理平台,实现数据处理、计算、储存的一体化,从而为风电场正常运行奠定良好的基础。

  • 标签: 大数据应用平台 信息数据处理 实践策略
  • 简介:在语义物联网的环境下,图书馆信息服务为了达到以用户为中心的要求,迫切需要一种新的技术手段,来完成异构系统整合,海量数据和不一致性数据处理问题。文章提出使用海量语义数据处理平台LarKC来应对语义物联网下图书馆信息服务的挑战。首先简要介绍了LarKC技术,然后详细论证了基于LarKC的图书馆信息服务的合理性,并提出了对应的体系结构,最后论述了基于LarKC的图书馆信息服务研究的重要意义。

  • 标签: 语义 物联网 图书馆 信息服务 LarKC
  • 简介:提出了一种开放分布式海量数据处理平台的设计方案.该平台以HDFS、Hive和HBase等作为底层数据存储方式,以MapReduce、Spark和Storm等作为底层数据处理方式,向用户提供了统-的接口,同时使用Kerberous进行权限控制,保证了数据安全性.这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务.

  • 标签: HADOOP 分布式系统 海量数据 Kerberous 数据处理平台
  • 简介:摘要无论是哪种项目的正常运作,都离不开海量数据作为支撑。现阶段,在互动平台上对海量数据进行处理,能有效地改变整个业务系统出现崩溃的现象,找到问题处理的方法,保证业务正常运营。文章首先,对基于互动平台海量数据处理的现状进行分析。其次,概述了基于互动平台海量数据处理存在的问题。最后,提出了互动平台海量数据处理的具体应用。

  • 标签: 互动平台 海量数据处理 优化应用
  • 简介:摘要随着电网规模的不断扩大和复杂性的不断扩大,仅靠手工手段很难满足海量数据的管理的需求。因此,有必要使用自动化的数据处理技术,从数据采集、分析和质量评价等方面探讨了如何加强数据管理。

  • 标签: 电网调度 数据 处理技术
  • 简介:单摆是物理学中一个传统的实验,在测g值的诸方法中是最简单的一种,并且容易测得较精确的g值。但数据处理起来很麻烦,现介绍一种方法供参考。

  • 标签: 单摆 测定
  • 简介:摘要:海量的大数据的来源广泛,最基本的处理流程是一致的,可以定义为:对广泛异构的数据源进行抽取和集成,将结果按照一定的标准进行统一存储,然后利用合适的数据分析技术对存储的数据进行分析,从中提取有益的知识,并利用恰当的方式将结果展现给终端用户。

  • 标签: 大数据 处理流程 采集 存储 分析 展示
  • 简介:摘要:海量的大数据的来源广泛,最基本的处理流程是一致的,可以定义为:对广泛异构的数据源进行抽取和集成,将结果按照一定的标准进行统一存储,然后利用合适的数据分析技术对存储的数据进行分析,从中提取有益的知识,并利用恰当的方式将结果展现给终端用户。

  • 标签: 大数据 处理流程 采集 存储 分析 展示
  • 简介:摘要:近年来,大数据处理技术和海量地理信息存储技术在测绘工程中得到了广泛的应用,在测绘工程中发挥着重要的作用。它们不仅能够提高数据处理和存储效率,还能够提供更好的数据分析和应用支持。基于此,本文章对测绘工程中的大数据处理海量地理信息存储技术进行探讨,以供参考。

  • 标签: 测绘工程 大数据处理技术 海量地理信息存储技术
  • 简介:摘要:近年来,随着大数据处理技术与海量地理信息存储技术的不断发展和完善,其在测绘工程领域的应用已变得日益广泛,发挥着举足轻重的作用。这些技术的应用不仅显著提升了数据处理与存储的效率,更为测绘工程中的数据分析和实际应用提供了强有力的支持。鉴于此,本文将对测绘工程中涉及的大数据处理海量地理信息存储技术进行深入探讨,以期为读者提供有益的参考与启示。

  • 标签: 测绘工程 大数据处理技术 海量地理信息存储技术
  • 简介:摘要:随着社会经济的发展以及科学技术的进步,大数据技术应运而生。目前大数据技术在各行各业中得到了充分的应用,并且在数据治理方面的应用比较广泛。目前我国很多企业以及机构都在积极的利用大数据技术,比如云计算技术对各种数据进行治理和处理,相对于传统的数据处理方式,大数据技术下的数据治理和处理效率更高,精准度也变得更好。基于此,本文重点对大数据数据治理进行详细的分析,并且探讨大数据数据处理技术,分析目前大数据数据处理的真实情况,并且提出个人看法,希望能够更好的利用大数据技术对数据进行治理和处理

  • 标签: 大数据技术 数据治理 数据处理 治理问题
  • 简介:【摘要】大数据技术是伴随着社会经济的发展和科技的进步而产生的。当前,大数据技术已被充分运用于各个行业,并被用于数据治理。当前,国内有许多的企业和机构都在积极地运用大数据技术,例如,云计算技术来治理和处理各类数据。与传统的数据处理方式相比,在大数据技术下,数据治理和处理的效率更高,准确度也更好。以此为基础,本文着重对大数据数据治理展开了详细的分析,并对大数据数据处理技术展开了讨论,对当前大数据数据处理的实际状况进行了分析,并提出了自己的见解,希望可以更好地使用大数据技术来对数据进行治理和处理

  • 标签: 大数据技术 数据治理 数据处理 治理问题
  • 简介:摘要:随着社会经济的发展以及科学技术的进步,大数据技术应运而生。目前大数据技术在各行各业中得到了充分的应用,并且在数据治理方面的应用比较广泛。目前我国很多企业以及机构都在积极的利用大数据技术,比如云计算技术对各种数据进行治理和处理,相对于传统的数据处理方式,大数据技术下的数据治理和处理效率更高,精准度也变得更好。基于此,本文重点对大数据数据治理进行详细的分析,并且探讨大数据数据处理技术,分析目前大数据数据处理的真实情况,并且提出个人看法,希望能够更好的利用大数据技术对数据进行治理和处理

  • 标签: 大数据技术 数据治理 数据处理 治理问题
  • 简介:摘要:随着社会经济的发展以及科学技术的进步,大数据技术应运而生。目前大数据技术在各行各业中得到了充分的应用,并且在数据治理方面的应用比较广泛。目前我国很多企业以及机构都在积极的利用大数据技术,比如云计算技术对各种数据进行治理和处理,相对于传统的数据处理方式,大数据技术下的数据治理和处理效率更高,精准度也变得更好。基于此,本文重点对大数据数据治理进行详细的分析,并且探讨大数据数据处理技术,分析目前大数据数据处理的真实情况,并且提出个人看法,希望能够更好的利用大数据技术对数据进行治理和处理

  • 标签: 大数据技术 数据治理 数据处理 治理问题
  • 简介:摘要:大数据技术是伴随着社会经济的发展和科技的进步而产生的。当前,大数据技术已被充分运用于各个行业,并被用于数据治理。当前,国内有许多的企业和机构都在积极地运用大数据技术,例如,云计算技术来治理和处理各类数据。与传统的数据处理方式相比,在大数据技术下,数据治理和处理的效率更高,准确度也更好。以此为基础,本文着重对大数据数据治理展开了详细的分析,并对大数据数据处理技术展开了讨论,对当前大数据数据处理的实际状况进行了分析,并提出了自己的见解,希望可以更好地使用大数据技术来对数据进行治理和处理

  • 标签: 大数据技术 数据治理 数据处理 治理问题