课程文献中心 更多>>

关键词： 数据仓库   数据挖掘   决策树算法   决策支持系统   客户合作度  

摘要： 随着市场竞争环境的不断加剧,以及消费者权益意识的日益增强,导致企业管理者在做重大的决策时,需要考虑到更多的类型、更复杂的因素和条件。因此,开发高信息化程度的决策支持系统对于管理者来说是相当迫切的。这将对实现如市场营销策略等业务的快速决策、减少人为的限制、个人的认知极限、削减费用、信息与质量支持、企业内部的业务流程重组以及员工个性化授权等需求是十分有帮助的。这些将使得信息资源更加有效的被利用,增强决策者决策的针对性和提高决策者对市场的掌控能力。在石油销售行业,随着近年来汽车数量的不断增加,成品油销售的需求也因此在不断增长,加油站的站点和服务已不能满足这些需求,同时原有的经营分析系统也逐渐对现有市场的需求出现了难以处理的瓶颈。本文主要针对延长石油销售公司的原有石油销售系统存在的问题,比如系统查询性能低下,无法实现多维度的查询统计等;客户预期合作结果无法计算衡量;缺少对数据自身进行分析和深入挖掘方面的决策支持等问题,主要完成了以下的工作:1.通过对数据仓库(Data Ware)、联机分析处理(On Line Analysis Processing,OLAP)和数据挖掘(Data Mining,DM)等关键技术熟练掌握的基础上,调研分析了延长石油销售公司原有的成品油销售系统,以及关于客户预期合作新业务扩展的需求,以石油的销售定单和销售详细内容实体信息为主,客户维度、时间维度、销售公司维度、调运维度和油品维度为辅,对电子化石油销售数据仓库进行了概念、逻辑和物理上的设计与实现;2.在上述建立的电子化加油数据仓库的基础上,本文给出了石油销售决策支持系统的用例图和系统总体框架图,实现了多维数据集的设计与创建,并对其进行了包括以石油销量分析为主的OLAP相关的操作与结果展示;3.利用ID3算法建立数据挖掘的决策树模型,并用其对石油销售的客户合作度进行预测分析,预测分析出的结果能够很好的辅助管理层拟定更合理、有针对性的客户销售策略。

关键词： ETL   数据抽取   数据仓库  

摘要： ETL是'Extract','Transform'和'Load'3个单词的首字母缩写,是数据抽取、转换、装载的意思,一般将ETL简写为数据抽取.ETL是构建数据仓库和数据挖掘的很重要的一部分.本文通过介绍ETL技术架构,分析常见ETL工具,讨论了ETL技术对商业领域的意义.ETL技术很大程度上提高了数据输入的质量,为大数据分析和数据挖掘提供巨大的支持.

关键词： 学习行为   数据仓库   学习风格   教育   个性化  

摘要： 近几年,由于信息化在政府、军事、银行、保险以及其他商业领域等的飞速发展,产生、积累了海量的数据,这些领域均纷纷利用已有的信息化系统产生的蕴含着丰富信息的海量数据构建了数据仓库,来为内部所做的重大决策提供科学的依据,而不是传统地依据经验来做判断。在教育领域,与商业领域相比,发展比较缓慢,但是也有部分院校利用已有的信息化系统(如招生系统、图书馆系统、选课系统、一卡通、就业系统)构建了数据仓库,以分析本校学生的综合情况,为所做的教育决策提供科学依据。但是,并没有针对学生在学习过程中产生的数据构建数据仓库进行分析。本研究的目的为构建学习行为数据仓库。不同的学生个体有不同的学习风格,如时间偏好、感知偏好、学习内容类型偏好、处理学习内容方式偏好等,本研究通过比较国际上认可度比较高的学习行为数据模型,改进后提出本研究学习分析数据模型,针对学生在学习过程中各种各样的学习行为产生的数据,构建了数据仓库。通过OLAP技术,在线分析学生在不同时间、不同模块所发生的不同行为的频次分布情况和时长,推测学生的学习风格,教师可以根据不同的学习风格,提供个性化的学习策略,真正做到有科学依据地因材施教。同时,学习平台可以根据推测结果,推荐个性化学习内容、学习路线,提高学生的学习效率。

关键词： 数据挖掘   航空器冲突解脱   数据仓库   粗糙集   神经网络   案例推理  

摘要： 民航业作为交通运输领域重要的组成部分,正处于高速发展的时期,这同时也带来了航空流量增加、飞行冲突频繁等问题,所以为保证民用航空器的运行安全,高效快速的解决冲突情况就变得尤为重要,本文顺应信息化时代发展的需求,从航空器冲突解脱历史数据入手,利用数据挖掘的方式分析冲突解脱方案的选择规律,将粗糙集理论与神经网络模型相结合的方法引入到航空器冲突解脱的研究中,以经验数据信息为指导,高效客观的选择航空器冲突解脱方案。论文分析了影响航空器冲突解脱方法选择的若干因素,面向该主题整合信息来源,选取可以辅助支持决策的数据仓库作为数据的存储载体,依照需求分析、概念模型设计、逻辑模型设计、物理模型设计的步骤构建完整的航空器冲突解脱方案数据仓库系统,为整个算法模型提供数据样本。利用粗糙集的属性约简功能将航空器冲突解脱方法数据仓库对应生成的决策表进行属性约简,去除冗余属性,通过重要度计算明确关键属性并分配权值,生成约简后的最小属性集合,进而建立粗糙集与神经网络相结合的航空器冲突解脱方法分类模型,设计模型结构和网络层次,运用MATLAB软件构建神经网络,对航空器发生冲突情况时的解脱对象进行分类。最后引入典型案例库进行具体冲突解脱方案的匹配,将分类信息进一步结合案例推理技术,计算属性以及典型案例的相似度,利用最近邻算法找出最相似案例,对实际冲突解脱提供指导。本文的研究是从数据中获取信息指导航空器冲突解脱方案的选择,在处理模糊问题时用粗糙集对神经网络的输入数据进行属性约简可以在一定程度上简化网络结构,提高网络训练效率,神经网络与案例推理技术配合进行航空器冲突解脱方法的选择,可以将网络模型与专家经验有效的结合起来,有利于得到更加具体准确的解脱方案,总体来说,本文在数据挖掘和航空器冲突解脱方面,都具有一定的理论参考和实际运行指导的价值。

关键词： 大数据平台   构建   数据仓库   研究  

摘要： 在大数据的高速发展和'互联网+'与行业的结合下,数据的作用已得到企业的广泛认可.大数据已经渗透在各行各业中,帮助人们分析数据,更好地开展工作.随着互联网技术的广泛使用,银行面临着前所未有的挑战,表现在对于客户的了解程度不够深等方面.因此,必须掌握大数据的使用能力.以下从大数据的介绍,再具体到银行对大数据平台的利用进行讲述,并对大数据平台对银行及对其他行业的影响进行分析.

关键词： 信息过滤   推荐系统   Spark平台   数据仓库  

摘要： 在大数据时代背景下,数据量以指数级的速度迅猛增长。面对日益庞大的数据规模,如何从纷繁复杂的数据体系中过滤提炼出真正有价值的信息,成为人们亟待解决的问题。推荐系统可以通过挖掘用户历史行为,结合用户之间和物品之间的相似程度把用户可能感兴趣的物品推送出去,是一种更加主动和智能的信息过滤方式。目前推荐系统已经广泛应用于社交网络、电子商务以及音乐、视频、美食等生活信息服务领域。推荐系统不仅要具备深入挖掘用户兴趣、准确把握用户需求的能力,还需要快速地从海量数据中过滤出有价值的信息。将推荐系统与基于大数据的分布式计算平台相结合,使推荐系统具备大数据处理和分析能力,既是顺势而为,也是必然举措。Spark是继Hadoop之后的一种基于内存的分布式计算平台,与Hadoop的MapReduce编程模型相比,Spark由于其迭代并行化的设计思想,在性能指标和速度指标上都更具优越性。本文的主要研究内容有:(1)在Spark环境下搭建数据仓库,为推荐应用引擎提供分布式数据调用接口,用于存储原始的用户、物品信息和用户对物品的评分,以及推荐系统的离线计算结果。(2)基于Spark平台完成3种推荐引擎的功能实现工作,根据计算时长和复杂度、更新变化频率将推荐系统分为离线计算和在线计算两部分,采用MovieLens数据集分别从准确度和响应速度2个方面测试推荐引擎的性能和效率。本文在对Spark分布式计算平台、常用推荐算法理论及其应用场景进行深入的理论研究后,设计并实现了基于Spark平台的3种推荐引擎,并完成了对三种推荐引擎的评价指标结果分析,指标显示在现有软硬件环境下,三种推荐引擎基本达到了预期标准,为基于Spark平台的其他推荐引擎的设计实现奠定了技术基础,理论与实践相结合,具有一定的现实意义。

关键词： 信息中心   大数据分析   数据中心   数据仓库  

摘要： 随着城市轨道交通新线路的不断投入运营,如何有效的从线网层面对各线路进行统筹管理将是各个地方轨道交通管理的难题之一。通过建立大数据分析系统,打通各线路各专业之间的数据连接,实现线网级的数据共享,建立大数据分析系统,将是解决这个问题的有效方法。

关键词： 数据仓库技术   医院   病案信息管理  

摘要： 在现代信息技术不断发展的背景下,医院也应该充分利用先进的技术来加强医院管理,以提高医院的核心竞争力。病案信息是医院的重要信息资料,通过对病案信息的合理利用能够有效提高医院医疗质量和管理水平。因此,医院可以充分利用数据仓库技术来加强对医院病案信息的管理,为医院的重大决策和医疗管理提供可靠的依据。本文就数据仓库技术在医院病案信息管理中的应用进行探析,旨在与同行交流。

关键词： 数据仓库   ETL   分布式文件系统   MapReduce  

摘要： 随着互联网技术的高速发展,各行各业都已经进入了大数据时代,人们产生和需要处理的数据量越来越大。这些数据只是信息的载体,具有多态、异构、海量、多样等特性,如何从这些海量数据中挖掘出具有潜在意义的信息,为企业的进一步决策提供参考价值,是近年来各行各业关心的话题。目前,全国土地确权登记报送系统已经上线并稳定运行,并且积累了大量的土地承包经营权确权登记颁证工作方面的数据。其中包括全国共27个省(自治区)、344个市(直辖市)和2859个县(区)的用户信息以及数据信息,每个报表信息当中各县(区)提交了不少于42项的信息数据,省市级用户需要统计不少于38项的信息数据,数据以134176条记录/月增长,以536704条记录/季度增长,一年仅报表数据可产生2146816条记录,此外还有每年各级用户提交的基础信息数据。随着数据规模的增大,以及后续功能的不断扩充,该系统的并发处理性以及大规模数据的分析能力将急剧下降,现有系统无法满足系统的拓展性要求。基于上述问题的出发点,本文对海量数据处理相关的技术进行了研究,在对数据仓库技术、分布式存储与计算等关键技术的研究基础上,结合全国土地确权登记报送系统的业务需求,对现有系统进行了海量数据处理的架构优化设计。论文的主要工作和研究成果如下:一、根据农业部的业务需求,设计了一种基于数据分析主题的数据仓库,通过数据仓库的维度模型,结合数据仓库的ETL技术,实现了全国土地确权登记报送系统的业务数据库到数据仓库的抽取、清洗、转换以及转载的过程,为农业部门进行海量数据分析提供了第一手的决策支持方案,减少了使用旧数据带来的决策无效和决策干扰的风险。二、利用Hadoop的分布式文件系统进行了分布式集群环境的搭建,并且利用Sqoop技术实现了数据仓库与分布式文件系统之间的数据传输,通过廉价的硬件设备分布式存储文件,解决了现有系统随着功能不断扩充而出现的海量数据存储问题,并为后续分布式计算模型奠定基础。三、本文结合对Hadoop的分布式计算模型MapReduce的研究以及全国土地确权登记报送系统的数据分析需求和软硬件实力,设计了一种有效的基于分布式的计算模型对系统的并行处理能力进行优化,对MapReduce的mapper和reducer过程进行了详细的自定义设计,在各分布式服务器上进行关联匹配,然后将各个服务器的数据计算结果合成得到最终结果,这种设计有利于减轻了网络频繁的通信负担,相比原有系统具有并行计算、异步处理的优势,大大提高的系统处理数据的速度。

关键词： 交易所   数据仓库   迁移过程   ELK组件   Teradata数据库  

摘要： 交易所数据仓库经过十几年的发展，形成了上百T规模的数据平台。数据仓库现面临很多挑战，如ETL处理性能不足，存储容量不够，版本跨带不兼容，扩容成本过大等。因此采用扩展性更强的大数据技术建设数据平台，支撑企业当前和未来的应用需求是业务和技术发展的必然方向。本文主要从交易所数据仓库迁移过程中的物理模型迁移，全量数据加载，ETL迁移等方面展开研究。　　本文完成的主要工作包括有:　　1)通过对比ELK组件和Teradata数据库技术的差异，总结基于ELK组件设计物理模型相关事项，并基于现有数据字典开发自动化迁移算法;2)比较支持ELK的各种数据加载的优缺点，总结数据加载的注意事项，并为保障全量迁移的灵活性和服务的无宕机，设计开发自动化加载算法，适用文件个数不确定情况的数据加载;3)总结现有ETL设计的不足，将ETL迁移拆分为框架迁移和业务逻辑迁移。框架迁移对文件的下载、校验、格式化和加载进行了封装处理，总结了标准化算法，提高开发效率。业务逻辑迁移采用SQL等价改写方案，总结了ELK与Teradata 的语法差异，总结了常见的优化方法，实现了ETL的快速迁移。　　本文基于大数据技术，研究了交易所数据仓库应用的迁移，证明了在大数据的技术体系下，数据仓库应用和快速迁移的可行性，减少了企业扩容的成本，有较大的现实意义，对于交易所未来数据中心的发展规划提供了实践支持。