课程文献中心 更多>>

关键词： 数据仓库   Hadoop集群   hive   MapReduce   数据可视化  

摘要： 科学技术的发展带来了人们生活办公方式的转变,当今时代所倡导的人工智能,大数据等技术的发展都以数据作为基石。数据的价值在生活的方方面面都日益明显,而对于一个企业来说数据的价值更是在一个企业当中扮演着至关重要的角色,企业在日常经营与生产中积累了海量的数据,数据进入了DT时代,如何合理地处理和利用这些数据成了所有企业所关心的重要问题。大数据技术在这种背景下孕育而生,并在潮流之中稳步向前发展,在大数据的浪潮之中,Hadoop技术脱颖而出,并得到了学术界和工业界的广泛认可,Hadoop集群之上的开源数据仓库应用Hive具有模式自由、扩展性高和容错性高等特点,能够很好的为企业级数据仓库的建设提供服务,因此,越来越多的企业开始考虑如何很好地利用Hive数据仓库带来的优势,创建自己企业的数据仓库,使自身的信息化建设迈上一个新的台阶。数据仓库是一个面向主题,经过加工和集成,相对稳定并且随时间变化的数据集合,然而传统数据仓库扩展性、容错性等较低,处理大规模数据效果非常差劲,使数据仓库完全脱离了时代的潮流,发挥不出应有的功能。在数据仓库中,查询是其所有操作的重要组成部分,数据仓库中的数据会长期存在,方便用户直接进行查询操作。大数据背景下,新的数据仓库建设方案迫在眉睫。针对上面所提出的问题本文提出了一种大数据时代下新的数据仓库建设思路,更好的服务于当今社会背景下的企业的信息化建设。企业数据仓库为企业提供数据支持,方便企业更好地进行数据管理和数据挖掘工作,是企业信息化建设的核心所在。文章以数据仓库建设的背景和意义作为文章的开始,而后深刻地分析了现在国内外对数据仓库技术的研究成果,在对现有技术的研究之上,本文采用自动化的数据处理技术和新颖的数据分层思想,并且对目标系统进行了需求分析和设计得知数据处理、数据建模、数据仓库管理和可视化是我们目标系统的四个重要组成部分。因此本文的主要研究内容有:1、数据处理使用Hadoop平台,Hadoop为数据仓库提供高效且廉价的数据处理平台,利用Hive sql方便了数据处理流程,并且自主设计使用SHELL脚本实现了ETL自动化过程,通过实验分析得出最佳线程数,使用Yarn来进行资源管理提高数据仓库的稳定性和扩展性,并且利用Map Reduce并行计算的优势,能够很好地支持企业大规模数据的处理。2、数据建模数据建模的核心是逐层解耦。越到底层越接近业务发生的记录,越到上层,越接近业务目标。数据仓库的建设使用维度建模法,在建模的同时设计数据分层,使数据变得更加可靠,数据结构更加明确,方便我们对数据进行血缘追踪,为数据开发提供极大的便利。3、可视化部分利用spring MVC+spring+mybatis+Echars作为整个系统的框架,向企业展示他们所关心的关键购销数据。4、测试部分针对各个功能模块设计了相应的测试用例。根据我们所设计的测试用例对系统的性能、功能以及安全性进行测试,测试结果在我们的预料之中,系统运转正常。

关键词： 数据仓库   管理驾驶舱   Hive   OLAP   Logistic回归  

摘要： 随着信息技术的快速发展,ERP系统、OA系统、CRM系统等管理信息系统已经广泛应用于各大企业的经营管理活动中,但随着企业业务范围的不断扩大,企业产生的数据量日益增长,对信息的简单管理已经不能满足当代企业的管理需求,各管理信息系统产生的数据缺乏互相联系,形成了大量的“信息孤岛”。企业如何将这些信息联系并利用起来,进而为管理层提供决策支持已经成为企业发展的当务之急。为解决上述问题,本文通过对某投资企业信息系统现状及各部门需求的调研,采用B/S架构设计并实现基于数据仓库的管理驾驶舱系统,将与企业经营状况相关的系统数据、电子文档数据和外部数据收集起来,并在此基础上进行数据分析与数据挖掘。在设计管理驾驶舱系统时,本文通过需求分析将系统模块划分为数据获取模块、数据管理模块、数据分析模块、风险预警模块、系统管理模块和登录模块。数据获取模块中为了解决数据集成的问题,在Hadoop集群上通过星型建模方式建立Hive数据仓库,并使用Kettle对源数据进行ETL处理,将数据按照一定的规则转换后加载至数据仓库中进行存储,形成了统一的数据中心。数据管理模块旨在解决数据仓库中元数据管理的问题,保证数据的质量。数据分析模块中使用大数据分析组件Kylin对数据进行OLAP分析,同时,为了更加直观的展示OLAP的分析结果,通过HTML5、Vue和ECharts组件将分析结果以多样化图表的形式进行展示,实现数据的可视化。风险预警模块的目的是提高企业应对财务危机的能力,本文设计并训练Logistic回归模型,用于预测财务危机发生的概率,实现对财务危机风险的预警功能。系统管理模块中使用Shiro框架实现用户权限控制,并在登录模块中对用户名及密码进行验证,实现系统的访问控制,保证系统的安全性。目前,管理驾驶舱系统已经建设完成并投入使用,系统运行状况良好,不仅为企业管理层决策提供了良好的数据支撑,还通过建立健全数据分析的指标体系,消除了数据上报口径不一致的问题,提高了数据分析的效率。

关键词： 旅游管理   大数据技术   数据仓库   海量数据   数据挖掘技术   旅游发展  

摘要： 目前贵州积极推进文化旅游业,但总体档次较低,发展方式也比较落后,再加上国内外关于旅游数据的分析系统并不多,大多的景点分析来自旅游网站或旅游APP对景点的介绍,通常情况下对景点分析不够全面.本项目研究通过数据采集及分析,在采集旅客的衣食住行游等行为数据基础上,根据旅客对景区点评信息的采集,运用数据挖掘技术将数据预处理、算法分析、关联规则挖掘得到有价值的数据和结论.

关键词： 数据仓库   数据挖掘   学习分析   关联规则   聚类  

摘要： 《加快推进教育现代化实施方案（2018-2022年）》提出要充分利用信息技术开展人才培养模式和教学方法改革,加强学生学习行为数据的数字化记录和分析,以信息技术推动职业教育质量提升。基于大数据技术的学习分析的出现及应用对我国教育信息化的发展具有积极意义,但从现有的研究文献中了解到,基于大数据技术的学习分析研究多集中在高等教育领域,在中职教育中还有待进一步推广和深入研究。虽然传统的教学方式也能对学生学习数据进行分析,其结果也能对学生学习效果产生影响。但传统的方式周期过长,信息化程度较低,学习分析技术的应用可弥补这些不足。因此本文结合中职计算机应用专业学生实际和特点,利用文献研究法对数据仓库和数据挖掘在学习分析中的应用进行分析和研究,主要工作如下:首先构建了应用于中职计算机应用专业的学习分析模型;以重庆市垫江县第一职业技术学校计算机应用专业学生相关数据为来源,设计和搭建了数据仓库;通过关联规则算法对学生成绩数据进行挖掘,得出课程之间的关联性及先后排序建议;在分析过程中考虑到,学生的个体因素对学生成绩的影响,运用了K-Means对学生数据进行聚类分析,根据聚类结果的若干特点提出具有针对性的教学建议。为了更好的将挖掘结果应用到实际教学中,本文提出一种将关联规则和聚类挖掘结合的新方法,将关联规则得出的课程关联和聚类分析的成绩影响因素构成新的挖掘属性,完成对学生成绩的低分预警,以网页可视化形式反馈给教师,可实现对学生学习行为的提前干预。本文应用数据仓库和数据挖掘技术对中职计算机应用专业学生数据进行分析,为中职计算机应用专业的教学和管理提供可资借鉴的途径和方法。可视化的低分学生成绩预警,也可以为教师干预学生行为,提供更准确更科学化的依据,以达到提高学生整体质量,有针对性的展开教学工作,优化教学效果的目的。

关键词： 云计算平台   企业项目管理系统   Hadoop   海量文件管理   数据仓库  

摘要： 超大型工程项目具有项目参与方众多、投资规模大、信息沟通复杂、施工技术复杂、质量要求严格等特点,导致工程项目管理需要进行跨部门、跨地域的数据共享与信息交换,同时大量的多元化海量数据还会产生,对工程项目管理的共享能力、信息管理以及计算能力要求更高。本文基于软件工程思想,采用UML等软件工程设计工具,对基于云计算平台的企业项目管理系统进行研究。首先,在对企业项目管理业务分析的基础上,采用UML技术的用例图分析技术,根据项目工作人员、项目审批人员、系统管理人员三类角色,对系统的功能性需求进行分析,并确定系统的安全性、可靠性、可维护性、健壮性、可重用性和界面友好性等非功能性需求;然后,企业项目管理系统的建设原则建立在系统需求分析的基础上,同时采用分层结构设计,建立由云平台层、数据层、管理中间层和表现层组成的系统总体架构,将系统的关键功能分为用户管理、项目管理、公告管理和过程管理四大模块,并通过对系统主要实体及其间关系E-R图的分析,进行关键数据表的设计进行研究;最后,进行Hadoop基础云平台的构建,以及企业项目管理过程中大量小型文件数据的存储管理,系统数据仓库的搭建,以及用户信息管理、项目信息管理、公告信息管理和项目工作管理等关键系统功能的实现进行研究。本文针对工程项目管理相关资源的特征,及其跨部门、跨地域的信息共享需求,并且综合相关方流动性大、地域分布广等特点,采用云计算技术和数据仓库技术,构建基于云计算技术的工程项目管理系统,以服务的方式对项目相关方的各方面数据资源进行管理,增强大规模数据的存储和处理能力,实现信息的充分共享。与其他传统的信息化解决方案相比,基于云计算平台的企业项目管理系统,可获得灵活、可靠与高效的项目管理服务。

关键词： 工程教育认证   毕业要求达成评价   主成分分析   数据仓库  

摘要： 近年来专业认证工作在高校教育中得到了更多的重视,对专业认证工作信息化管理的要求也越来越强烈。根据工程教育专业认证标准（2018）,分析专业认证工作中涉及的数据管理需求和毕业要求达成评价流程,在已有工程专业毕业要求达成评价管理系统的基础上,增加和优化系统功能,完成系统升级,实现专业认证质量监控机制的系统化和信息化。本文的主要工作如下:第一,分析教学信息管理规范,在系统中建立以课程大纲、试卷、教学班和成绩为一体的教学信息管理规范,并设计实现对应功能模块。第二,分析毕业要求达成评价机制,践行“以课程为核心”理念,在系统中改进毕业要求达成评价机制,包括教学班、一个或多个教学班的课程、年级学期和专业达成评价,优化教学班达成评价流程,设计开发毕业要求达成评价管理功能。第三,分析归类系统数据,由数据特点和对多元统计分析方法的对比,确定使用主成分分析课程成绩数据,在系统中设计实现课程成绩统计分析数据仓库;并以实际例子验证主成分分析在专业认证中应用的可行性,设计实现课程成绩统计分析管理模块,完成主成分分析算法落地。第四,总结系统数据库存在的表数量多,表间关联关系复杂,部分表数据量较大的问题;从优化数据展示角度提出需求,使用课程成绩统计分析数据仓库,优化数据展示,并通过优化专业成绩查询和教师授课成绩查询功能的实现验证效果。

关键词： 数据仓库   大数据分析平台   Hive   ETL   CDH  

摘要： 最近几年,我国大数据在政策、技术、产业、应用等多个层面都取得了显著进展,中国数字经济规模大幅增长。与此同时,电商互联网公司也掌握了其他行业和企业无法相比的大数据,拥有着最精准,最全面的用户数据,因此,运用巨量数据指导企业的运营和加速互联网产品的升级,也形成为了未来电商互联网公司向数据驱动服务和争夺市场份额的共识,而数据源的异构性以及PB乃至TB数量级历史数据的应用转化却对采用传统的企业数据仓库的多维分析带来了巨大的挑战。为了解决海量数据下传统基于大型服务器的数据仓库高额运维代价,以及凭借人员经验迭代互联网产品局限性,本文充分考虑电商用户数据的特点,设计并开发了基于Hive的电商多维分析系统,进而用数据驱动决策和智慧运营,提高数据资源的复用性,该系统实现了基于CDH的大数据平台架构,并在此平台之上实现基于Hive的四层数据仓库,通过分层建设数据仓库,大大提升了数据治理能力,保证了数据质量,优化了传统通过Linux下crontab的作业调度,集成Azkaban作业调度,全面监控数据运行,并实现了电商用户活跃等相关指标,论文的主要工作如下:1.本文研究了现有的大数据平台相关技术,搭建了基于CDH的企业级大数据平台并设计实现了基于CDH平台的Hive数据仓库。2.提出并设计了一种新型的自研组件即基于Kafka的多管道（Pipline）采集模块,解决了异构数据源的加载与存储问题,在异构系统大规模的数据迁移中保证了大数据的数据一致性,很好的控制了数据的质量水平。3.基于Hive提出并设计了四层数仓数据模型,实现了数仓不同层级之间不同粒度数据管理,加速了查询过程与数据计算过程,并运用SSM框架实现了数据可视化。4.集成Azkaban作业调度系统,解决传统数仓人工报表的编写难、维护难、升级难的问题,设计实现数据仓库作业全自动调度并完成系统测试。

关键词： 大数据   电子商务   供应商   数据仓库   Hive on Spark  

摘要： 随着大数据时代的到来,电商平台相继进入数据价值驱动的运营模式。对于农产品电商平台而言,供应商质量关乎平台的竞争力甚至是平台生命线,因此,借助数据对供应商进行评估甄选是目前许多企业的迫切需求。但中小型农产品电商平台囿于自身数据不足以及成本过高等原因而无法独立搭建维护数据分析系统,一直无法享受这波数据红利。基于此,鉴于数据仓库优秀的数据整合以及分析能力,本论文致力于以现有理论模型为基础,将其针对性实现应用于供应商评估,设计和实现一套能够评估分析农产品供应商的数据仓库系统,将相关中小型电商平台的数据与网络公开数据进行整合,提供针对性服务,帮它们甄选供应商。系统选择的Hiveon Spark技术框架拥有优秀的大数据处理、分析能力,能够分析多维复杂的数据并高效得出计算结果,因此本论文重点在于如何建立一套数据仓库模型和架构,利用这些大数据处理工具对数据进行分析处理。具体工作包括以下三个方面:1.根据需求分析确立数据仓库的供应商画像主题,基于主题和数据来源将系统分为公共分析模块和定制化分析模块,对各模块进行维度与模型设计,确定需要采集的待分析数据;2.根据数据流向将系统分为数据采集部分,数据分析部分和可视化部分,前两个部分包含了 ETL的全过程,并根据数据仓库分层理论设计了STORAGE层,ODS层,DWD层,DWS层,ADS层共五层架构,分层架构保证了数据通道和系统的稳定性;3.将设计理念用Hive on Spark技术框架进行实现,并进行了系统环境和功能测试,验证了方案的正确性和可用性,证明了该系统可以满足需求。本文针对中小电商缺乏供应商评估分析平台的问题实现了全网供应商相关公共数据和企业数据整合、分析,帮助解决行业痛点问题。

关键词： 数据仓库   Hadoop   中国空气质量   统计分析  

摘要： 随着经济和科技的不断发展,中国的大气污染监测网络和气象监测网络不断进步和完善,每个地区的空气和气象监测系统都已经积累了大量数据,对空气质量数据和气象数据构建科学、合理、及时、有效的数据分析系统,能够使空气质量监测数据得到充分利用,满足中国大气污染治理对信息的分析、决策要求。本文以2014-2019年中国所有空气质量和气象站点的监测数据作为模拟数据,以Hadoop分布式大数据框架、Hive数据仓库、Spark数据计算引擎、Pyecharts可视化工具作为技术框架,设计并实现了一个拥有数据收集、存储、分析、可视化功能的中国空气质量统计分析系统。在数据仓库的基础存储要求上,设计了具有分层存储、分区存储功能的中国空气质量数据仓库。分层存储是指根据不同的数据使用需求,将原始数据形成若干张数据表分层存储在数据仓库中,这种分层存储能够提高空气质量数据的使用效率。分区存储则是指根据数据的采集时间形成分区信息进行分区存储,经实际使用测试,分区存储策略可有效提高中国空气质量数据仓库中数据的检索效率。对于空气质量的统计分析主要分为空间分布分析、时间序列分析与预测,气象因素影响力分析,分别从年、季、月、日的时间尺度根据历史数据对比分析了中国各地区的空气质量的时空演化特征,对最新数据的空间分布情况进行展示,并对京津冀地区、长江三角洲、珠江三角洲这三大重点地区未来空气质量的水平进行预测。气象因素对空气质量的影响力趋势分析分为单项气象因素相关性趋势分析和多项气象因素整体影响力趋势分析,主要讨论了大气温度、地表温度、气压、降水、湿度、日照、风速这几项气象指标对空气质量的影响。通过使用数据仓库中存储的数据,中国空气质量统计分析的主要观察结果如下:1、中国空气质量年际分布显示,2014-2018年中国大部分地区的空气质量逐渐向好,年均空气质量属于污染水平的城市和站点逐年减少。2、时间序列趋势分析结果显示,在观测期内中国三大经济区中京津冀地区的空气污染最重,逐年改善幅度最大,长三角地区次之,珠三角地区则空气质量最优,改善幅度最小;以三大经济区作为预测对象进行空气质量未来预测,模型在测试集数据上的精度显示:SARIMA模型月度预测和RNN-LSTM模型日度预测的精度分别可以达到85.49%和99.6%,能够比较准确地预测出各地区未来的空气质量水平。3、气象因素影响力趋势分析显示,单个气象因素对空气质量的影响在不同地区存在明显差异,但每个地区气象因素整体对空气质量的影响力均呈现逐年增强的趋势。

关键词： 商业智能   ETL   数据仓库   报表可视化  

摘要： ERP系统的推广使用有助于促进企业各项业务开展更加规范化、制度化、透明化,对于提升企业内部管理水平具有重要意义。近年来,某国有地产企业逐步建成了多项业务ERP系统,通过对系统中各类经营数据进行报表分析,挖掘其潜在商业价值已成为企业决策的重要依据。由于ERP系统往往专注于单项具体业务的管理,已不能满足企业管理者对多元化业务主题的综合分析需求。此外,ERP系统生成的报表样式和数据类型较为单一,往往需要业务人员二次加工,给业务人员增加了出错的概率和工作处理的时间,降低了企业管理者的决策效率。为此,该企业计划建设一套商业智能报表系统,通过对异构ERP中业务数据的采集、整合、分析、可视化展现,为管理者提供科学、便捷的辅助决策信息,提升企业的市场竞争力。本文的主要工作如下:1.本文采用调查研究的方式,对某地产企业的商业智能报表系统进行了系统的需求分析。结合该企业情况,对系统的用户类别、功能需求以及非功能需求进行了梳理。在此基础上,较为充分的梳理了该系统的主要业务流程和功能模块分布,为下一步的系统设计工作奠定了良好的基础。2.本文在对系统需求分析的基础上,对商业智能报表系统各功能模块进行了总体设计,并结合用例图、时序图等方式对设计过程进行了说明。项目采用B/S架构,使用Oracle建立数据仓库,Fine Report为报表分析平台,Kettle作为ETL工具。有效的打通各个业务系统之间的数据隔阂,形成了统一的数据共享中心。3.本文按照数据处理分析流程,实现了整个商业智能报表系统。对ERP数据的采集、存储、分析的结果进行了可视化展现,有效提升了报表数据的可读性。同时结合运行情况对系统进行测试。目前该系统已成功上线运行,有效的为该企业节省了人力成本,提高了决策效率,对地产企业商业智能报表系统建设具有参考意义。