课程文献中心 更多>>

关键词： 热表物联网   异常点挖掘   数据仓库   高维   R-HOT  

摘要： 随着我国“集中供暖、分户计量”供热体制改革的推广，热表物联网的规模越来越大，家家户户也将不再按面积缴纳热费，而是通过热计量的方式，用多少热掏多少钱。这一体制的推广虽然从某种程度上体现出了用热公平，但是大量热表的使用，难免会出现表损坏、用户盗热、IC卡欺骗等情况。同时，热网规模的不断扩大也使得系统数据库中积累了大量的历史数据与临时数据。因此，如果能够通过数据挖掘技术来发现热网中的一些异常情形将会有十分重要的意义。 首先，根据本文热计量数据异常点挖掘的主题，提出了基于WSN与GPRS技术的远程热表数据采集系统的框架，并针对该框架，重点设计了WSN数据采集模块的通信协议、GPRS数据传输模块的通信指令以及远程数据包的解析格式等。然后，以SQL Server2005数据库软件为工具，详细阐述了热表信息数据仓库的设计以及数据的抽取、转换、加载过程。 其次，针对热计量数据高维的特性，提出了本文的核心算法：R-HOT算法(基于粗糙超图的高维异常点挖掘算法)，该算法包括三个主要阶段：第一，利用本文提出的基于粗糙超图的频繁项集挖掘算法挖掘重要关联规则，然后将数据仓库中的n条热表记录看作超图中的n个顶点，将重要关联规则看作超边，并利用给出的公式计算超边的权重，最后形成热网超图。第二，利用GRASP算法(基于贪心随机自适应的搜索过程)进行超图分割。第三，利用给出的异常点的概念进行异常点测试。 最后，结合热表信息数据仓库的模型，对热表远程监控收费管理系统中采集的一些实际的数据进行实验，验证了R-HOT算法的可行性。

关键词： 数据仓库技术   高校图书馆   读者阅读行为  

摘要： 随着时代的变迁，行业竞争的日趋激烈，使得各行业的发展理念、服务理念都有了很大的变化。以往依赖于经验进行的决策和服务也越来越不适应现代社会的发展，决策的科学化以及服务的人性化成为各行业发展新的理念。图书馆作为一个非营利的服务机构，在时代的浪潮中与时俱进，服务理念也由原来的以文献为中心转变为以读者为中心。高校图书馆作为图书馆的主体，承载着大部分的知识服务，其服务对象也是未来社会中最重要的知识分子群体，所以如何更好的提高图书馆的服务质量与效率，也是现代图书馆人越来越重视的问题。本文将数据仓库技术应用于图书馆的决策和服务过程中，以东北师范大学的本科生借阅数据为基础，构建了以读者阅读行为为主题的数据仓库;并以数据仓库中的数据为基础，利用数据分析软件对大量的借阅数据进行挖掘分析，得到读者的阅读倾向与偏好，从而将读者的内在需求应用到图书馆的日常工作中，为读者提供更高质量的服务。

关键词： 运营数据存储   数据仓库   数据提取、转换和加载  

摘要： 随着通信市场竞争的加剧,通信企业对数据综合应用有了更高的要求,所以推动了本ODS系统的建设。本系统将对湖北联通众多应用系统在数据整合、数据存储、数据应用、数据共享这几个方面提供合理的架构及技术,满足用户数据分析的需要。 本文首先对ODS系统原理进行介绍,包括系统目标、架构等,并分析了业界主流ODS实现方式。在ODS具体设计与实现过程中,主要遵循与现有系统数据模型相结合原则,并充分注意开放性、灵活性和可扩展性。本系统采用DSG产品实现数据库快速复制,然后利用ORACLE ODI工具实现数据抽取、清洗、加载与转化,通过ODI可视化组件完成数据流程管理,提高数据质量。 本系统的成功上线,在湖北联通业务系统和数据仓库之间形成一个隔离层,并转移一部分业务系统细节查询的功能,降低业务系统压力,满足了湖北联通用户经营决策需求,达到了设计目标。

关键词： 系统集成项目   进度管理   EVA   面向客户   风险管理  

摘要： 系统集成项目开发是一项复杂的系统工程,它既是一个知识密集型项目,又是一个工程实施项目。系统集成项目既需要严格的规范、标准、流程,又需要发挥成员的智慧和创造力。多数系统集成项目的开发都是凭借个人的经验来完成,但是个人必然有其考虑问题的局限性,所以应该有一套规范的与系统集成项目开发实践、理论相结合的项目管理理论来指导系统集成项目开发的全过程。 进度管理涉及项目管理的多个方面,它与项目的范围、资源、风险、成本、质量等多个方面有着密切关系,并且相互影响,它关系到系统集成项目开发的成败。研究系统集成项目的进度管理,对当前众多系统集成项目有重要实用意义。本文以TP-LIFE公司数据仓库系统集成为例,将项目管理理论与信息系统开发理论有机结合,对项目活动的定义与识别、项目活动的逻辑顺序、单个活动的工期估算、整个项目的进度估算做了透彻和详细的论述,同时,介绍了项目资源计划安排、调整以及项目费用估算的基本原理及方法,最后提出了在数据仓库系统集成项目进度控制中遇到的进度监控与调整措施等难点问题使用进度基线控制以及任务完成分析法、费用控制分析法相结合解决方案。文中创新提出了系统集成项目中的重点难点模块应实行特殊监控以及如何应用EVA(Earned Value Analysis)进行进度偏差的事前测量。

关键词： Teradata   证券交易所   短波   通信   数据分析   数据仓库   架构   代码  

摘要： Teradata整合大数据分析架构中国，北京-全球领先的大数据分析和数据仓库解决方案厂商Teradata天睿公司（Teradata Corporation，美国纽约证券交易所交易代码：TDC）

关键词： 数据仓库   建筑能耗管理   ETL   OLAP  

摘要： 随着人类社会的进步，经济的快速发展，人们对能源的需求在不断增大。在现今的国际能源形势下，由于全球能源的日益紧张，节能管理得到了各国的高度关注,其中尤以建筑节能为甚。为了积极响应国务院公共机构节能条例，很多公共建筑单位建立了自己的建筑能耗管理系统，产生了越来越多的能耗数据，但这些数据并没有产生相应的信息。如何从已有建筑能耗管理系统大量的业务数据中抽取有用的知识，以辅助建筑节能运行管理制度的落实，成为此时面临的关键问题。为此，本文以某城市一些公共建筑的能耗管理系统为背景，构建城市级的公共建筑能耗数据仓库，为决策支持提供良好的数据基础。 本文首先阐述了数据仓库技术的相关概念与技术，然后详细阐述城市公共建筑能耗管理数据仓库的开发过程，过程包括：数据仓库的建模，根据现有建筑能耗业务系统确定分析主题，进行维度、度量值和多维模型的设计;数据仓库数据的提取、转换和加载，将从业务系统中提取来的数据加以清理，经转换再加载到数据仓库，使用开源ETL工具Kettle完成这一系列的任务;联机分析处理OLAP的应用开发，向用户展示各种数据分析结果及报表，使用开源OLAP引擎Mondrian进行实现并对OLAP查询响应速度进行优化，最后对该技术的应用进行了总结和展望。

关键词： 信用风险管理系统   数据仓库   银监会   银行业监督管理委员会   资本协议   风险管控   内部评级体系   巴塞尔协议   利率风险管理   操作风险   数据集市   IT  

摘要： 2008年,雷曼兄弟的倒下拉开了新一轮金融危机的序幕,也促使各国银行业认识到进一步加强全面风险管理的重要性。同时,面对不断加快的金融创新步伐,对于巴塞尔新资本协议Ⅱ的改进和升级迫在眉睫。2010年11月通过的巴塞尔协议Ⅲ对最低资本金比率提出了更高的要求,

关键词： 技术性贸易壁垒   数据仓库   数据挖掘   预警机理  

摘要： 我国加入WTO后经济全球化和贸易自由化进程不断加快,技术性贸易壁垒已经成为影响我国出口的重要因素之一。上世纪70年代,技术性贸易壁垒仅占非关税贸易壁垒的20%,到上世纪90年代已上升到45%,进入本世纪后,已激增至80%,在国外技术性贸易壁垒影响下,我国产品受阻、企业受限、经济受损,纺织服装行业尤为严重。 形成技术性贸易壁垒的主要原因就是信息不对称,因此,建立技术性贸易壁垒预警系统解决信息不对称问题,对规避我国出口贸易过程中的技术性贸易壁垒风险具有重要的意义。通过预警系统可及时收集、跟踪国外的技术性贸易壁垒有关信息,对进口国将要出现或正在形成TBT的信息做到早监测、早发现、早报警,使出口企业及时了解国外TBT情况,尽早采取措施,避免或将损失降到最低。 为了实现早预测、早发现、早报警,必须以快捷、有效的信息处理机制作为支持。本文以欧盟Rapex网站发布的产品召回信息为例分别探讨了自动采集、自动处理、数据仓库、数据挖掘技术在纺织品服装技术性贸易壁垒预警系统中的应用。其中,自动采集以火车采集器作为工具,分别从网站选定、网址采集、内容采集、发布设置、任务调度五个步骤设计程序引导采集过程,采集分散于网页中的数据并生成结构化数据。自动数据处理的目的就是将采集得到的数据转化为可直接用于计算机进行识别、处理的简单文本信息或者能够表示程度大小的数字信息。引入数据仓库技术主要是为了解决数据组织问题,将纺织品服装技术性贸易壁垒相关的历史数据集成到一个数据仓库中。本文采取数据驱动和需求驱动相结合的设计思路以月召回案例数量、月召回增长率、月偏离增长率作为度量事实,召回时间、召回发起国、召回对象国、召回产品属性、技术项目为维度建立一个纺织品服装技术性贸易壁垒相关信息的数据仓库。数据挖掘技术是用来发现隐藏在大量数据背后的规律,基于数据仓库,本文运用数据挖掘技术中聚类算法、关联算法找出召回警度和其他维度之间的关联性,进而确定警兆时间、确定各影响因素在风险系数中的权重、构建预警模型。预警模型中可以清楚地看出各影响因素对警情的影响作用,便于政府、行业协会、企业有效地监测风险,及时发现问题、采取补救措施。论文结尾总结了论文研究中取得的成果,同时也指出存在问题以及后续工作。

关键词： 数据仓库   数据挖掘   客户关系管理   客户流失  

摘要： 数据仓库和数据挖掘技术是存储、分析和提取海量数据的重要工具。针对企业客户关系的特点,将数据仓库和数据挖掘技术运用到企业客户关系管理中,具体介绍了在预防和减少客户流失中的应用。

关键词： 数据仓库   ETL Hadoop   编译器   ANTLR  

摘要： 数据仓库是为了改善传统数据库在企业管理和决策方面的缺陷而发展起来的一种为企业战略提供信息支持的数据平台。ETL (Extract, Transform, Load)技术为数据仓库中非常重要的一环,被用来从不同的数据源进行数据的抽取、净化、转换等操作,然后将规范化后的数据装入到数据仓库中。 随着互联网程度越来越高,企业中存储的数据也越来越多,传统的数据仓库越来越不能满足日益增长的数据存储、分析、挖掘等需求。而Hadoop技术的出现,使得大数据的存储与分析变的廉价而且易扩展。因此,如何将Hadoop无缝整合进企业数据处理过程是一个很重要的课题。 本文使用基于LL(*)文法的语言分析程序生成器ANTLR,实现了一个可以将一种广泛应用的ETL专有语言(Ab Initio DML)编译到Hadoop平台的编译器。其实现的原理是,利用Hadoop平台所提供的Hadoop Streaming接口,将现有的ETL程序编译到使用Hadoop Streaming接口处理HDFS程序的Python代码。这样既解决了大量已有业务代码的兼容性问题,又利用了Python语言的简洁与快速开发特性,在开发和维护上更方便。 本文的主要创新和贡献如下： 1.提出了一种将Hadoop平台融入现有ETL业务逻辑的方法,极大的提升了ETL业务所能处理的数据量与处理速度。 2.实现了一种将已有领域专有语言编译到另外一种高级语言的编译器,为今后其它可能的专有ETL语言的编译转换提供了基础框架。