课程文献中心 更多>>

关键词： 数据仓库   ETL Hadoop   编译器   ANTLR  

摘要： 数据仓库是为了改善传统数据库在企业管理和决策方面的缺陷而发展起来的一种为企业战略提供信息支持的数据平台。ETL (Extract, Transform, Load)技术为数据仓库中非常重要的一环,被用来从不同的数据源进行数据的抽取、净化、转换等操作,然后将规范化后的数据装入到数据仓库中。 随着互联网程度越来越高,企业中存储的数据也越来越多,传统的数据仓库越来越不能满足日益增长的数据存储、分析、挖掘等需求。而Hadoop技术的出现,使得大数据的存储与分析变的廉价而且易扩展。因此,如何将Hadoop无缝整合进企业数据处理过程是一个很重要的课题。 本文使用基于LL(*)文法的语言分析程序生成器ANTLR,实现了一个可以将一种广泛应用的ETL专有语言(Ab Initio DML)编译到Hadoop平台的编译器。其实现的原理是,利用Hadoop平台所提供的Hadoop Streaming接口,将现有的ETL程序编译到使用Hadoop Streaming接口处理HDFS程序的Python代码。这样既解决了大量已有业务代码的兼容性问题,又利用了Python语言的简洁与快速开发特性,在开发和维护上更方便。 本文的主要创新和贡献如下： 1.提出了一种将Hadoop平台融入现有ETL业务逻辑的方法,极大的提升了ETL业务所能处理的数据量与处理速度。 2.实现了一种将已有领域专有语言编译到另外一种高级语言的编译器,为今后其它可能的专有ETL语言的编译转换提供了基础框架。

关键词： 数据挖掘   教务管理系统   数据仓库   关联规则  

摘要： 如何提高教学与教务管理质量，是在全国各大学校所有的教师及其教职员工都在研究的一个问题，多年以来，学校管理者与教师为了达到这个目的，积累了大量的学生基本信息、教师基本信息、学生学习情况信息等等，这是多年教学经验和管理经验的总结。但是这些数据一直没有被利用。随着高校办学规模不断的扩大，越来越多的高校引进了高效、便捷的教务管理系统，以提高教学与教务管理质量，里面存储着大量的数据，但是主要用于存储、查询等简单的功能，并没有通过深入的研究，从中发现隐含的信息。 数据挖掘技术在近十年来飞速地发展，已经深入到了生活和生产的方方面面，并且发挥着重要的作用。学校的数据管理逐渐采用了数据挖掘技术，对学校已有的关于教学、教师、学生等庞大的信息进行有效的管理。数据挖掘技术在教务管理系统中运用实现目标是通过采集外部信息、分析教务管理系统中的历史数据,发现规律,实现未来教务管理工作趋势的预测和教务管理战略的制定。因此,如何借用信息化的手段来为教学管理人员进行决策支持服务;怎样通过他们之间的联系掌握某种规律，从而提高学生的学习成绩和教学质量，成为亟待解决的问题。 本文从教务管理系统的国内外研究现状入手，介绍了数据挖掘技术在教务管理系统中的应用情况;并概括了数据挖掘技术的相关知识，如数据仓库和数据挖掘几种技术等;对教务管理系统进行了需求分析，包括系统总体需求和教务管理系统中数据挖掘的需求;之后对教务管理系统进行了设计，包括系统功能模块的设计、系统数据库的设计、挖掘方法的设计、关联挖掘的分析等等;最后，设计实现了教务管理系统各个功能模块的功能，详细的展现了系统的各个功能模块并给出了主要功能运行界面图，达成了包括登录管理、数据管理、用户管理、数据挖掘等基本功能的教务管理系统。 本文对提高教学质量、完善学生培养模式方面都起到重要的作用。因为教务涉及到的数据和因素非常多，难以进行全面的分析，本人将在今后对这些信息进行更深入的挖掘。

关键词： 数据仓库   多维数据分析   联机分析处理  

摘要： 石油管项目质量技术监督管理工作的业务流程与质量检测所得的数据纷繁复杂，现有办公自动化系统仅用于支持事务性处理。随着检测数据的不断积累和用户对管材检测诊断咨询的需求，服务水平需要进一步提升，服务质量也需要提高。一方面需要对数据进行统一的管理和有效的组织，另一方面需要对石油管项目质量控制管理数据进行多角度、多层次的统计分析，以便于给出相应的诊断咨询和辅助决策。 论文在分析现有系统和业务工作的基础上，采用数据仓库理论和技术，提出构建石油管项目质量控制管理数据仓库系统的思想和方法。针对石油管检测历史数据的管理和统计分析的要求，设计了数据仓库相应的主题，给出了基于谓词的数据组织模型，从分析角度对检测数据进行了有效的组织和管理。针对多维分析的需要，构建了石油管项目质量控制管理多维数据模型，给出了模型的形式化描述，提出了相应的基于MDX的多维分析方法和算法。开发实现了石油管项目质量控制管理数据仓库系统及其ETL子系统。石油管项目质量控制管理数据仓库系统的研究有效地提高了该研究院的业务水平和层次，同时满足客户的各种统计分析需求。

关键词： ATS系统   数据分析   数据仓库   历史数据  

摘要： 列车自动监控系统（ATS）作为列车自动控制系统（ATC）的三大子系统之一为保障城市轨道交通的快速和高效的运营提供了支持。由于城市的人口的发展，我国城市轨道交通的建设自上世纪90年代至今已经走上高速发展阶段，ATC作为现代轨道交通系统的核心系统随着地铁系统的运营已经沉淀了大量的历史数据，而且每天都在增长。一方面随着信息技术的发展和数据库系统的应用各行各业的企业都积累了大量的数据，在这个背景下的数据如何为商业所用即如何发挥历史数据的价值已成为研究应用热点，数据挖掘技术、数据仓库技术、商业智能、数据分析等技术研究和工程应用已经比较成熟。ATS系统产生的运营数据如何使用起来，提高运营效率和减少设备维修的开销，是很具有实际应用价值和现实意义的。 作者通过查阅资料了解到国内轨道交通行业信息化集成技术已经做得比较好，ATS系统广泛应用，其数据库中存储了大量的数据，但是数据分析方面还处在开始发展的阶段。本文针对这个现状及应用上的问题，较为详细的介绍了数据仓库的概念，以及数据仓库建设的几个过程，如数据库的设计与建模，数据的集成，数据的存储和管理及数据的分析和展现，并以广州地铁3号线ATS系统为基础，研究和分析ATS数据库分析及诊断系统的设计与实现上的一些过程和技术。 本文首先介绍了数据仓库技术的概念以及构建数据仓库的过程相关技术，比较了几种数据的组织方式，多维模型和关系模型。根据ATS数据分析系统的特殊应用环境确定了数据库设计等相关方面的技术选择。本文在确定ATS相关结构和功能及ATS数据库数据结构基础上，确定了系统的需求，然后确定了系统的结构及功能模块。最后说明了数据抽取、存储和管理及展示等技术方案。在本文研究和分析基础之上实现了ATS数据分析及诊断系统，也为以后数据仓库在城市轨道交通行业的全面应用提供了一些理论依据。

关键词： 数据挖掘   数据仓库   客户流失   CRISP-DM  

摘要： 随着电信业3G牌照的发放和运营商再一次重组的完成,中国电信运营市场形成了中国电信、中国移动、中国联通三家运营商全业务经营、全面竞争的局面。市场竞争格局进一步加剧,客户流失的风险也进一步增大。如何应对竞争,对客户的流失进行挽留是当前运营商面临的一个重要问题。 数据挖掘通过对已知的历史数据采用数学建模的方法找出其中隐含的信息,为企业决策提供参考。数据挖掘已经越来越被更多的人所认可,随着此技术的不断发展,在国内的应用也越来越多。在电信运营企业中对流失客户的趋势进行预警就是在本行业的一项重要的应用。 本文共分为五章：第一章是绪论,介绍了选题背景及国内外的研究现状,是文章的总体概要。第二章介绍了商业智能及相关的数据仓库理论。第三章阐述了数据挖掘的理论及其应用,同时介绍了Clementine软件及数据挖掘的方法论。第四章根据数据挖掘的CRISP-DM方法论,按数据挖掘从商业理解、数据理解、数据准备到建立模型以及模型评估及部署的步骤,对流失预警客户进行了挖掘建模。第五章是对全文的总结以及下一步工作的展望。

关键词： 智能物流系统   计算机   数据仓库   智能技术  

摘要： 智能物流系统可以实现将各物流企业的信息以各种方式自动转换为与本企业相关的数据,帮助企业人员进行科学的管理与决策,这对于物流企业的管理者和工作者都带来了极大的方便。换句话说,计算机的智能技术就是包含数据仓库DW,Data Wanehouse,联机分析处理(OLAP),数据挖掘DW,Data Wanehouse,并且可

关键词： 多维数据分析   电力行业   环评基础数据库   数据仓库  

摘要： 多维数据分析能从多个角度对数据进行观察和处理,将业务型数据转化为管理型数据以获得有用信息,从而为管理决策部门提供有效支持.在SQL Server 2008平台上应用多维数据分析方法,对电力行业环评基础数据进行数据统计分析,从而得到不同时期、不同区域电力建设项目的分布、投资、资源消耗、污染物排放、环境影响等多维分析结果,使用户可以从多个角度、多个侧面分析电力行业建设和发展情况,为环境管理和决策提供科学快捷的数据支持.

关键词： 测井数据仓库   数据集成   数据清洗  

摘要： 为提高测井数据的管理水平，克服传统测井数据管理中出现的保存不便、易于损坏、利用效率低的缺点，各测井公司和采油厂纷纷建立了测井数据库，由于测井公司和采油厂在数据库和数据库管理系统的选择上不尽相同，分布、异构、难以共享等特点致使它们在一定程度上制约着测井数据的利用效率和油气勘探开发的顺利进行。为此，提出了测井数据仓库的设计，它是一种能够提供最佳信息利用的解决方案。本文主要研究测井数据仓库的构建和数据清洗技术的实现，具体工作如下： （1）常用数据仓库技术和数据清洗技术研究。在分析数据仓库技术基础上，确定采用增量数据抽取方式及SQLServer2005的ETL开发工具，建立包括数据源元数据、清洗规则元数据、分析方法元数据等在内的元数据库;针对模式层和实例层可能出现的数据质量问题，采用了不同的数据清洗方法，通过使用SQL命令和SQL编程实现了模式层和实例层的数据清洗操作，实验结果表明其数据清洗方法是行之有效的。 （2）测井数据仓库的设计和研发。根据测井数据特点和各种测井数据库状况，基于现有数据仓库系统提出了测井数据仓库设计方案，完成测井数据仓库的研发。依据数据流向整个测井数据仓库的总体架构可设计为常规数据库、基础数据库、主题数据库和应用系统四层。采用星型数据设计模型，建立维度表和事实表，实现基于文件和数据库的数据集成。 （3）测井数据仓库的实际应用。根据研发的测井数据仓库开展web智能分析和数据挖掘应用，在Web上支持用户对测井数据进行查询及下载，对油气产量进行占比分析、比较分析、趋势分析等智能分析操作;与自主研发的智能数据挖掘系统进行了挂接可以进行油层识别等测井解释工作，实际应用表明该测井数据仓库设计科学、合理，满足应用需求。

关键词： OLAP   联机分析处理技术   数据仓库   OLAM  

摘要： 联机分析处理(OLAP)技术是新型的决策支持技术,为决策支持系统开辟新途径,在数据仓库中数据进行多视图、多角度的查询,快捷方便地获取各类信息等方面,越来越受到广泛关注。对OLAP,从理论、方法、实现和发展等技术层面进行较为系统深入的研究,对以后数据仓库中数据的应用具有一定的指导意义。

关键词： 数据仓库   元数据   Data Warehouse   数据集合   面向主题   历史变化   管理决策   下定义   集成  

摘要： 数据仓库之父Bill Inmon在《Building the Data Warehouse》一书中对数据仓库进行如下定义:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Management Support).这也是被广泛接受的定义.