当前位置: 手机论文网>工学论文>微电子学>

基于大数据的智能数据分析技术

阅读技巧m.Lw54.com 手机论文网
 【摘要】 由于多媒体等多种技术的发展与应用,各领域都发生了很大的变化,每天不仅产生大量的数据,而且数据更新换代的速度极快。人们在处理以及分析数据的过程中,继续使用传统的智能数据分析技术已经难以实现理想的效果,专家开始意识到必须尽快开发新的技术。这就需要了解典型理论和技术,掌握不同种方法的特点,这样才能有效的避免各自的劣势,充分发挥优势达到互补的作用。本文在分析不同种传统数据智能分析方法的基础上,分析了结合新平台开发的新型分析方法。
  【关键词】 大数据 智能数据 技术分析
  一、前言
  当前世界依然迎来了大数据时代,随着多媒体等多种技术的应用,社会中的相关领域时刻都涌现大量的数据,增加了技术处理以及分析的难度。通常情况下大数据具有复杂性,而且还具有数量大、分布式的特点,这样就必须要采取新的技术方法对数据进行处理,因此智能分析技术在数据的处理中具有非常重要的意义。
  二、几种常见的智能数据分析法
  虽然在大数据时代传统的智能数据分析法已经不能适应当前的需求,但是依然有一定的相似性,相关理论和技术依然可以沿用,几种常见数据分析法:第一种方法是决策树。这种数据分析方法需要基于信息论基础上,这种方法实现的输出结果容易理解,精确度较高,效率也较快,但是它不能用来对复杂的数据进行处理与分析[1]。第二种方法是关联规则。这种方法主要是用于事物数据库中,通常带有大量的数据,当今使用这种方法来削减搜索空间。第三种方法是粗糙集。这种数据分析方法能够对数据进行主观评价,只要通过观测数据,就可以清除冗余的信息。第四种方法是模糊数学分析。这种数据分析方法能够对实际问题进行模糊的分析,与其他的分析方法相比,能够取得更为客观的效果。第五种方法是人工神经网络。这种数据分析方法具有自学习功能,在此基础上还具有联想存储的功能。第六种方法是混沌和分形理论。这两种理论主要是用来对自然社会中存在的现象进行解释,一般用来进行智能认知研究,还能应用于自动控制等众多领域中[2]。第七种方法是自然计算分析方法。这种数据分析方法根据不同生物层面的模拟与仿真,通常可以分为以下三种不同类型的分析方法:一是群体智能算法,二是免疫算法,三是DNA算法。群体智能主要是对集体行为进行研究,免疫算法具有多样性,经典的主要有反向、克隆选择等,而DNA算法主要使属于随机化搜索方法,它可以进行全局寻优,在实际的运用中一般都能获取优化的搜索空间,在此基础上还能自动调整搜索方向,在整个过程中都不需要确定的规则。当前DNA算法普遍应用于多种行业中,并取得了不错的成效。
  三、大数据背景下的智能数据分析技术
  大数据具有一定的复杂性,只有通过使用新的智能分析技术才能对数据进行有效处理。目前已经有专家针对大数据提出了新的智能分析技术方案,例如HAVEn、Teradata Aster分析平台,经过研究发现推出的一系列分析方案,基本上离不开Hadoop分析平台。Hadoop主要分为以下两大部分,其中一个部分是分布文件系统,专家称之为HDFS,另一部分是分布计算系统,专家称之为MapReduce。一般来说HDFS主要是表现为主/从结构,其中主结构称为名字节点,主要功能是管理元数据,从结构通常称为数据节点。主要功能是用来存放,或者管理相关的应用数据[3]。一个HDFS系统能够支持的数据非常庞大,一般能够达到10PB数量级,因此HDFS系统能够应用于大数据处理分析中。同时为了能够更好的支持大数据,在HDFS系统的基础上,还继续构建Hbase系统,该系统的接口语言色设为Pig。并且还构建了Hivi系统,该系统主要是属于数据仓库。此外还构建了机器学习软件包,称为Mahout,这样就可以对大数据进行有效管理以及分析。这些新的智能数据分析融合了多种传统的技术,能够对大数据进行更为全面、高效的分析。
  四、结语
  传统中可应用的数据智能分析技术多种多样,常用的主要有七种方法,每一种方法都有自身的优势以及局限性,如果在大数据中单一使用一种方法,根本就不能达到理想的效果。但是凭借当前的技术水平还不能找到通用的智能分析技术方法,这就需要将传统的多种方法结合起来,这样就可以弥补各自的缺陷,而且还能充分发挥优势,这是当前大数据智能分析技术的重要研究方向。沿着这个方向,目前已经开发了hadoop,这个系统不仅集合了传统的方法,而且还结合了新型平台,是一种全新的技术,未来需要专家不断的进行探索与研究,继续开发更好的数据智能分析方法。
  参 考 文 献
  [1]杨舒林.智能分析技术发展现状及应用[J].中国公共安全.2015,08(14):207-209.
  [2]顾君忠.大数据与大数据分析[J].软件产业与工程,2013(4):117-121.
  [3]符新双.浅析智能分析技术在集成领域的应用与发展[J].中国安防.2014,10(12):105-107.
出处:中国新通信作者:张玉伽 转载请注明来源。原文地址:http://m.lw54.com/20161026/6439004.html