论文多维分析技术在大数据环境下是关于本文可作为多维分析技术方面的大学硕士与本科毕业论文多维分析技术论文开题报告范文和职称论文论文写作参考文献下载。
摘 要：在大数据时代,涌现了大量基于Hadoop的多维分析技术,分析性能不断提升,该文选取了几项有代表性的技术进行了介绍,并分析了它们的特点.最后,对基于大数据的多维分析技术进行了总结和展望.
关键词：多维分析；OLAP；大数据
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）04-0004-02
1 概述
随着多维分析技术的发展,分析系统的数据量呈指数级增长,传统的多维分析技术无论在存储方面还是在大规模数据技术方面都遭遇到性能瓶颈,同时对数据分析的精确性和速度等要求逐渐提高,已经无法满足企业的要求.近年来,大数据技术得到了快速的发展,分布式文件系统HDFS和MapReduce编程模型成为了应对海量数据的有效技术,Hadoop生态圈的迅速成熟,Hive、HBase、HadoopDB 等 NoSQL等技术相继出现,上述技术都提供了海量数据多维分析功能,在各领域得以广泛应用.本文在综述多维分析技术发展的基础上,重点对几个有代表性的多维分析技术进行了介绍.可以预见,未来在大数据多维分析系统中,这些技术会在市场中占有重要位置.
2 传统多维数据分析技术介绍
多维数据分析技术是对数据的收集、管理和分析的过程,通过它使企业的数据分析人员获得知识,为公司做出决策提供重要的支持.多维分析系统的后台通常是由数据库或数据仓库存储数据,经过OLAP服务器实现数据分析,而前台通过图表、表格等展示工具来为用户展示,它是多种计算机技术和信息处理技术的组合,技术主要包括：数据库和数据仓库技术（Data Warehousing）、数据抽取转换加载技术（ETL-Extraction Tranormation Loading）、联机分析处理技术（OLAP-Online Analytical Process）、数据挖掘技术（Data Mining）、前端展现技术等.
联机分析处理（On-Line Analytical Processing OLAP）是一种共享多维信息的快速分析技术[1],也是进行多维分析的重要技术.OLAP定义了事实表和维表,通过事实表和维表构建多维数据模型,然后经过OLAP服务器将数据存储在OLAP服务器或者数据仓储中,数据分析人员可以通过前端展示工具,从多个维度的组合、粒度的划分等等将数据以图表的方式展示出来,供决策人员和高层管理人员进行分析.OLAP可以完成的查询操作有多表关联,可以使用聚合函数如count,sum,g等,它的多维分析操作还有切片、切块、钻取、旋转等,提高了分析的灵活性,满足了不同分析的需求.
OLAP的数据存储格式主要有3种形式[2],分别是ROLAP,MOLAP和HOLAP.
3 大数据环境下的多维分析技术
传统的多维分析系统也存在着许多不足,业务要求经常改变,这样就导致将业务模型也进行调整,而业务的维度和度量一旦发生变化,OLAP中的多维数据模型也需要重新构建；业务人员在同一个模型上进行多维分析,同时也限制了業务人员分析问题的角度,从分析数据中隐含的信息变成了普通的日常报表；数据的大量增加使传统的多维分析系统快速准确的工作.
使用Hadoop[4]进行多维分析,首先能解决上述问题,HDFS有着优秀的高容错和高吞吐量的特点,可以存储的文件支持高速增长的数据,解决了数据存储问题；其次MapReduce[5]有很强的分布式并行化处理能力,在上千台机器组成的集群上运行处理大规模数据,它并不会由于数据的增加使开销大大增加,可以很好的完成OLAP的计算工作.总之,Hadoop可以支持各种结构和非结构的数据存储和计算,包含了各种各样的维度组合,即使维度的数量大大增加,也不会显著影响分析的性能.
Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台,以此为基础,出现了大量基于大数据的多维分析方法[6].
3.1 Hive
在大数据时代,Hadoop作为一个开源框架,已经成为了一种标准规范,越来越多的工具都在围绕着Hadoop来工作.Hive[7] 是建立在 Hadoop 上的数据仓库基础构架.它提供了一系列的工具,可以用来进行数据提取转化加载（ETL ）,这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的工具.
Hive由元存储,驱动,查询编辑器,执行引擎以及对外提供接口的客户端组件组成,HQL查询语句从客户端提交后,经过查询编译器,运用 元存储中的元数据进行类型检测和语法分析,生成一个逻辑方案,然后通过的优化处理,产生一个 MapReduce 任务.
Hive中提供的SQL语句也称为HiveQL,其中HiveQL提供了数学和统计函数、字符串函数、日期函数、条件函数、聚集函数以及处理XML和JSON的函数,用户也可以自定义函数完成自己的需求.Hive在运行的过程中有良好的容错性,如果一个节点出错,SQL查询仍然可以完成.但是HiveQL相比SQL同样有着许多不足,Hive中的数据无法进行更新和删除,所以Hive对事务支持比较弱,无法进行联机事务处理,只能进行联机分析处理；同时由于Hive中的查询时间花费开销大,所以不能用在实时交互系统中.
3.2 Impala
虽然Hive为大数据多维分析提供了支持,但是由于Hive的底层是MapReduce任务,计算过程中I/O操作过多,运行效率比较低,为了提高SQL-on-Hadoop的效率,大量的SQL-on-Hadoop工具开始产生.Apache Impala[9]是由Cloudera开发并开源的一款基于HDFS/Hbase的MPP SQL引擎,它拥有和Hadoop一样的可扩展性、也提供了类SQL语法,能查询存储在Hadoop的HDFS和HBase中的PB级大数据.在多用户场景下也能拥有较高的响应速度和吞吐量.
总结:本论文可用于多维分析技术论文范文参考下载，多维分析技术相关论文写作参考研究。
参考文献：
1、 大数据环境下图书情报工作 [摘 要]大数据给图书情报工作带来了新的工作思路和工作方式，而单纯地把大数据分析工具用于图书情报工作，还无法发挥大数据的核心价值。以大数据理念为。
2、 大数据环境下电子数据审计应用 [摘 要] 本文以某市商务促进专项资金审计为例，使用可视化技术确定审计重点，通过关联分析多部门数据查找疑点，对大数据环境下电子数据审计的应用的难。
3、 大数据环境中企业文书档案信息化管理 【摘要】信息技术高速发展，大数据已经成为企业提升竞争实力的关键。加强企业文书档案的信息化管理，是确保档案完整、真实的有效途径，对企业发展有着深远。
4、 大数据环境下气象档案管理问题 【摘要】我国经济的腾飞，带动着各大产业的发展，信息技术和互联网产业越来越普及渗透到各领域，气象档案管理工作也不例外。通过充分利用先进的技术和设备。
5、 大数据环境下企业财务会计信息化管理 摘要：近几年，信息技术得到了飞速的提高，企业的财务管理也逐渐由利用信息化技术进行片面的管理，转向依靠信息技术进行大面积的管理。为了保证企业的财务。
6、 大数据环境下企业管理 摘 要：随着计算机技术的发展和移动互联网的广泛应用，信息的传递变得越来越快，信息的映射范围也无处不在，企业与市场、消费者、相关参与者之间的沟通随。