课程文献中心 更多>>

关键词： 高速铁路接触网   数据仓库   维度建模   数据抽取-转换-装载(ETL)  

摘要： 近年来,中国高速铁路发展迅速,高铁的普及对于国民经济发展、人民生活出行等具有十分重要的意义。接触网作为高速铁路牵引供电系统的重要组成部分,是高速列车动力来源的唯一途径,其良好的运行状态对保障高速铁路安全可靠运行具有重要作用。在高速铁路接触网的运营过程中产生和积累了大量的业务数据,这些数据真实地反映了高铁接触网的运营状态,若能对这些数据进行综合分析和利用,发掘出能为高铁接触网运行维修决策提供支持的有用信息,将具有重要的意义。然而,高铁接触网数据具有种类繁多、分散存储、结构互异、不规范等特点,给数据的综合分析与利用造成诸多不便和困难。为此,本文采用数据仓库理论与技术,研究构建高速铁路接触网数据仓库,通过将高铁接触网的多源异构数据进行整合,为数据的综合分析与利用提供一个统一的、规范的、标准的数据环境。论文的工作主要包括:首先,对我国高铁接触网的业务过程进行研究,充分了解和认识伴随接触网业务过程产生的业务数据,包括数据的种类、来源、含义、特点等,分析原始数据在记录、存储、管理和利用过程中存在的问题,明确高铁接触网数据仓库的建设需求。其次,采用Kimball维度建模方法设计高铁接触网数据仓库的数据模型,在设计过程中按照概念模型、逻辑模型、物理模型三个层次递进展开。概念模型设计确定高铁接触网数据仓库的三个主题,即固有参数主题、检测参数主题、缺陷主题,并分析每个主题应该包含的事实和维度。逻辑模型设计定义事实表和维度表应该包含的属性,以及事实表和维度表之间的主外键关系。物理模型设计根据Oracle数据库管理系统定义事实表和维度表的物理存储信息,包括字段名、数据类型、约束等。然后,结合高铁接触网数据源的特点和目标数据仓库的数据模型,设计高铁接触网数据的抽取-转换-装载(Extract-Transform-Load,简称ETL)过程。数据抽取以联机、增量的方式进行,由自动化调度程序定期执行,抽取到的原始数据存放在操作数据存储区。数据清洗根据检验规则对抽取到的数据进行检验,移除不合格的数据。数据转换将清洗后的数据按照编码规则进行编码转换,统一数据格式。数据装载将维度数据和事实数据分别加载到数据仓库的维度表和事实表中。最后,基于上述对ETL过程的设计,借助数据整合工具Kettle对现场采集的接触网缺陷原始数据进行ETL实现,包括数据抽取实现、数据清洗实现、数据转换实现和数据装载实现四个部分,装载成功后即生成了高铁接触网数据仓库。通过Navicat for Oracle的自定义查询和制作报表功能展示高铁接触网数据仓库的访问与应用。

关键词： 商业银行   数据仓库   复杂即席查询   贪婪算法  

摘要： 在金融行业信息化背景下，商业银行面临着创新能力不足、行业标准提升、资产不良率升高、监管力度加强、客户需求多样化、行业竞争激烈等困境，信息化改革是化解商业银行此类困境最快捷高效的手段，数据分析则是信息化改革中至关重要的一步。但是商业银行目前存在数据分散、数据格式不统一、数据集成不高效、数据分析慢等问题，使得数据分析十分困难。本文将对商业银行数据仓库及其复杂即席查询进行研究，解决商业银行数据分析闲难的问题，促使商业银行向数据驱动模式转型。 首先，设计商业银行数据仓库多维数据模型，利用数据抽取-转换-加载(Extract-Transform-Load，ETL)技术构建银行数据仓库。分析银行现有数据信息，使用可拓分类方法选取银行高价值数据，并设计银行主题域和相应事实表与维度表，建立商业银行数据仓库多维数据模型。设计分布式数据仓库ETL，利用贪婪算法结合优化后的遗传算法和蚁群算法完成ETL任务调度，实现数据仓库中数据的高效、稳定集成　　其次，在商业银行数据仓库的基础上，设计数据仓库即席查询的汁算引擎，实现快速复杂即席查询。采用优度评价方法对现有计算引擎进行筛选，选择Hive和Presto两个计算引擎，利用它们各自的优点进行整合，形成全新的面向商业银行的整合型计算引擎。为了提升计算速度和计算能力，将复杂即席查询语句拆分为多个简单查询。通过构造有向查询图，对有向查询图进行深度优先遍历形成有向生成树，再利用广度优先遍历对有向生成村进行遍历生成中间结果表，将中间结果表存储在虚拟内存文件系统Alluxio中，通过中间结果表得出查询结果，实现数据的复杂即席查询。 最后，实现银行复杂即席查询平台系统，证实了商业银行数据仓库及其复杂即席查询研究成果的优越性。通过该系统进行ETL导入性能测试和数据即席查询速度测试，证实了通过本文研究所设计出来的银行数据仓库及其即席查询计算引擎解决了银行数据分散、数据格式不统一、数据分析慢等问题，从而解决了银行数据分析困难的问题，帮助银行实现信息化改革。

关键词： 证券行业   数据仓库   大数据平台   软件设计   功能模块  

摘要： 伴随着中国经济的迅猛发展，金融行业的数据资源与日俱增，针对这些数据的应用也开始变得老生常谈。从行业发展特点和趋势来看，金融数据与其他跨领域数据互相融合的应用正不断强化，金融行业数据的整合、共享和开放正在成为趋势。对于大数据的应用分析能力，正在成为金融机构未来发展的核心竞争要素。而针对金融机构转型，目前移动互联网化及大数据技术的迅速普及则为其提供了更多的利好可能。在大数据浪潮的冲击下，且伴随着业务的高速发展及海量数据的增长，某证券交易所数据的整合管理与分析处理已成为各应用系统并行建设的基础，所以启动数据基础设施的建设，主要构建面向主题的分析数据环境以及辅助监管和创新的平台。并在此基础上，实现海量数据存储，高效计算分析并产出日报、周报、月报、年报等市场统计报表反映市场概貌，并建立挂牌公司监管档案。　　本文将某证券交易所数据基础设施平台的搭建作为研究课题，基于成本及业务场景的考虑，使用Trallswarp Data Hub(以下简称TDH)星环大数据平台作为数据仓库的底层设施为最优选项。平台采用标准数仓架构来完成底层数据存储，即逻辑架构分为技术缓冲层、近源模型层、整合模型层、共性加工层、数据集市层五层架构。采用中软国际公司自主开发的ETL工具IETL进行ETL调度，满足但不限于数据定时触发，上下游作业触发，数据回滚等功能。ETL算法使用的是通过以往项目经验，结合业务模型，自行总结的适用于大多数金融行业业务场景的算法用以存储加工数据。　　本文在整合多方数据源数据的同时，既完成了对历史数据的存储、产生驾驶舱，监管档案展现报表的业务目标，又突破了海量数据关联查询效率的瓶颈，对未来的数据分析和挖掘打下了坚实的基础。

关键词： 商业智能   数据仓库   医院管理   决策支持  

摘要： 通过搭建高性能的数据仓库,利用数据挖掘相关技术结合运营指标构建院科两级综合运营评价模型,帮助医院管理者充分利用医院业务数据,更加高效的对医院各科室的运营情况进行客观评价,帮助科室发现在运营过程中存在的问题,并为后续的医院发展方向提供决策支持。

关键词： 证券公司   元数据管理系统   模块化设计   数据仓库  

摘要： 在证券行业中越来越重视数据治理工作。证监会在2016年发布的《证券公司全面风险管理规范》中明确提出证券公司应当建立健全数据治理和质量控制机制等数据治理相关要求。希望通过数据治理，证券公司（以下简称券商）能够提高数据质量、对数据进行有效整合，进而提高风险管理的能力。　　该课题来自于国内某证券公司的真实需求，该券商目前正在新建一套数据仓库系统，并基于数据仓库构建各类数据应用。一方面，券商业务系统具有数据逻辑复杂、数据安全要求高以及系统升级频繁等特征，元数据管理系统可以让该证券公司用户在可控的情况下有效的利用数据仓库中的数据，同时还可以让数据仓库的维护更便利。另一方面，为了满足监管要求，证券公司需要开展数据治理工作，而元数据管理是对证券公司数据资产的盘点，是数据治理工作的基础。　　本文将讨论元数据管理系统的设计与实现，主要工作如下:　　1、对数据仓库、数据治理、元数据技术等理论基础进行分析。研究元数据标准CWM，研究J2EE体系架构和Web Service技术，确保相关技术满足元数据管理系统的建设需求;2、对该券商数据仓库内的元数据进行分析，对该券商的元数据管理办法进行解读，并分析系统的功能需求和非功能需求;3、设计元数据管理系统的架构和数据存储模型，并设计与实现元数据采集、元数据应用等重点功能;4、建设一套符合该券商现状，满足该券商个性化需求的元数据管理系统，并在实际应用中得到验证。　　通过元数据管理系统的建设，帮助该券商提升数据仓库建设与数据管理水平，提高各系统模块间的数据集成和开发过程协同的效率，实现该券商数据资产的可视化管理，为该券商后续的数据治理工作奠定基础。

关键词： 图书馆数据仓库   数据挖掘  

摘要： 作为一种资源,图书馆利用大数据,可以研究和尝试感知图书馆的周边变化、洞察读者行为、紧跟图书馆行业的变化趋势、精准优化图书馆运作,使各图书馆参与图书馆界的协同创新.随着可分析和使用的数据增加,通过对这些可用数据的挖掘、分析、应用、叠加应用,可以发现总结新信息、创造新价,从而使图书馆走向'大信息''新服务''快发展'的轨迹.

关键词： 数据仓库   OLAP技术   招生就业信息   决策树算法  

摘要： 随着科技的发展,社会已进入大数据时代,人们对信息的价值越来越重视,数据仓库的重要性达到了空前的高度。数据仓库是以数据库的技术为基础,在当下需要研究大量、多源、异构、动态的海量数据中,日益发展起来的。当下就业形势日益严峻,全国各个高校对招生就业的问题引起高度重视,学生选择高校的意向是什么,哪些专业的学生在什么样的工作部门就业率高,都是值得我们关注的焦点问题。本论文围绕如何更好地指导招生就业管理和决策提出一系列的问题,利用OLAP以及数据挖掘两项技术开展对论文数据的分析研究。首先,为了更好的、更合理的对数据仓库进行设计,本文运用了三种设计模型,分别是:物理模型、概念模型以及逻辑模型。同时,为保障数据仓库的顺利建立,本文处理了招生和就业两大系统的数据源,对招生和就业数据分别进行了抽调、转换、清洗、加载等工作。其次,本文在熟悉了解招生就业业务流程的基础上,针对录取情况、生源质量、各专业增减生源的数量以及各年龄层的招生就业数据仓库进行分类分析和OLAP处理,从而获得了更具说服力的结果。第三,为探寻招生就业数据仓库中各数据的内在联系,本论文利用三种数据挖掘算法,包括关联分析、决策树分析和聚类分析进行数据挖掘,主要对决策树分析进行了属性值空缺和简化熵算法的优化和改进,分析得出函授站点、录取年份、学历层次、成绩档次、文化程度及报到注册率之间都存在关联。统计分析以上OLAP处理和数据挖掘的结果,最终对高校招生就业决策提出了建议及策略。本文的研究将数据仓库技术应用在招生就业领域,从众多历史数据中发现了各种潜在的有价值的规则,从而进一步科学地指导就业、高效地开展招生宣传,这将有助于提高高校招生的质量以及毕业生就业质量,对整个高校的发展、提高生源人才质量具有重要的实践意义。

关键词： 消防   数据仓库   信息化建设  

摘要： 随着电子网络的兴起和发展,数据库的运用分析越来越普遍,如金融类、销售类、制造类等各行各业,都在不同程度的运用数据库建立信息收集网络.目前来说,由于消防工作的特殊性,数据仓库的运用还不够完整,但是运用数据库进行信息化建设可以为消防工作提供很多便利.本文针对消防数据库的具体信息对消防信息化建设进行分析探讨.

关键词： 数据挖掘   数据仓库   游戏运营  

摘要： 中国互联网是国际互联网的重要组成部分,也是人口基数最多、发展最为广泛的互联网之一.正因如此,起源西方的电子游戏产业自1994年开始,也搭乘中国网络这趟顺风列车迅速在国内发展壮大.但如何在如此众多款式的游戏产业中分到属于自己的一块蛋糕,则需要游戏运营商花费更多的资金和精力筹谋思考.本文通过对游戏项目开发过程中涉及到的需求分析、数据仓库搭建、游戏运营过程中所面对的玩家流失等现象进行分析,给出解决方案以及简要阐述数据挖掘技术对游戏运营的影响.

关键词： 数据仓库   SQL   数据库   云计算   Hadoop   服务接口   大数据   半结构化   非结构化数据   大数据平台   虚拟化软件  

摘要： 第一步:大数据"大数据"这个概念是近几年开始火起来的,现在可谓是无处不在了。那么在了解什么是大数据之前,我们先了解一下什么是传统数据?传统数据就是IT业务系统里面的数据,如客户资料、财务数据等。这些数据是结构化的,量也不是特别大,一般只是TB级。对比传统数据,还有一种叫"新数据",是来源于社区网络、