课程文献中心 更多>>

关键词： 刚性接触网   数据仓库   ETL   数据可视化  

摘要： 随着全国各大城市的地铁建设速度和规模不断增大,地铁在优化城市区域布局并改善城市交通拥堵问题中扮演着越来越重要的角色。刚性接触网作为地铁牵引供电系统中重要的无备用行车设备,其健康状态直接影响着地铁电客车的准时安全运营。随着刚性接触网服役时间的增多,地铁运营公司积累了大量的检修相关数据。将这些数据集成在一起进行多维数据信息的挖掘对刚性接触网健康状态评价和维修决策具有重要指导意义。但是由于刚性接触网的设计参数、实时监测、在线检测、维修日志等数据的记录方式和储存结构各异,将这些数据集成一起面临着困难。为有效解决多源异构数据的集成管理问题,本文通过数据仓库相关技术,基于目前地铁运营公司的业务数据,构建刚性接触网数据仓库。本文的主要研究如下:首先,研究地铁运营公司的检修规程和业务数据的管理现状,了解刚性接触网运维过程中产生的业务数据,分析业务数据在记录和储存方式中存在的问题。为解决数据描述不规范统一的问题,基于检修规程制定刚性接触网数据编码规范。研究刚性接触网数据仓库总体建设需求,以编码规范为原则按选择主题、声明粒度、确定维度表、确定事实表设计四个步骤进行数据仓库概念模型的设计。明确了刚性接触网数据仓库的四个主题:固有参数、故障参数、检测参数、维修参数。各主题数据集市的星形模型明确了事实和维度的字段名以及主外键关联。根据数据源实际情况设计数据抽取、数据转换、数据加载(Extract-Transform-Load,简称ETL)的程序流程。然后,结合实际业务数据在Oracle数据库系统中进行数据仓库物理模型的搭建,明确字段名的数据类型和长度。基于ETL的流程设计完成故障数据的ETL作业过程。将源数据抽取并转化为拥有一致性维度的标准化数据,加载到数据仓库的故障参数主题数据集市中。最后,基于Power BI商业智能软件开发数据仓库的可视化应用。构建的刚性接触网故障数据可视化平台包括线路、故障类型、故障状态、责任部门四个模块。各模块的多维数据可通过切片、上卷、下钻操作进行直观的信息可视化呈现。

关键词： 数据仓库   同类合同   数据分析   在线应用   制造管理系统   钢铁企业  

摘要： 通过对历史用户合同所有材料的生产过程进行数据分析,鉴别出同类合同过往的订货规律、生产的产线、成材率、合同完成率情况,以及生产制造过程中的各类原因产生的非正常品、合同余材等情况,并将通过大数据分析所得的结果传送至在线制造系统,确保制造管理人员在制造管理过程中能了解同类合同历史上的订货、生产情况,实现大数据与在线操作的应用结合,从而更好地进行生产管理,降低现货发生率,提高合同完成率。

关键词： 敏捷开发   风险管理   数据仓库   云化项目  

摘要： 自20世纪90年代提出数据仓库的概念至今,数据仓库一直在企业智能决策领域扮演着重要角色。云计算和大数据处理技术的出现,为传统数据仓库突破架构瓶颈、寻求架构升级指明了新的方向,因此越来越多的企业开始构建其下的云平台数据仓库,而为了使传统架构下的数据仓库系统实现云平台化,则需要历经复杂的云化过程。数据仓库的云化不是简单的“拿起来再放下”的过程,为了适应云平台环境,除了需要迁移大量数据,还需要对底层业务数据处理流程和ETL流程进行加工改造。数据处理流程的加工改造亦属于典型的软件开发项目,因此数据仓库的云化也存在软件项目所固有的高风险特性。由此可见,需要为数据仓库云化项目制定一个合适的风险管理方案,才能为此类项目保驾护航。本文通过分析传统软件项目风险管理和敏捷风险管理理论特点,在参阅国内外文献的基础上提出了基于敏捷思想的轻量级、结构化、流程化的风险管理方案,并给出了该方案的具体实施方法,最后将该方案应用于实际的数据仓库云化项目。该方案运用调查问卷法收集整理项目风险因素,然后归纳总结风险分类、制定相应的应对方案和风险登记表。通过制定的应对方案和风险登记表,指导项目团队综合应用轻量级的技术方法和工具,在后续迭代开发中执行风险识别、风险评估、风险应对、风险监控等各类风险管理活动,保证了数据仓库云化项目的顺利实施。通过对该轻量级、结构化、流程化的风险管理方案应用于数据仓库云化项目,项目团队有效地控制了项目风险水平,从而验证了该方案的实用性和适用性,并拓宽了敏捷风险管理理论的应用范围。

关键词： 森林资源数据仓库   ETL   OLAP   数据挖掘  

摘要： 本研究首先论述了森林资源异构数据集成以及数据仓库技术在林业上的研究现状。森林资源数据仓库在实际应用中还面临着以下两大问题:一是数据存储存在差异,且数据表中的统计字段名称、类型、代码等的表达形式也存在差异;二是数据存储的差异性造成数据利用率不高,深层次的多维分析、数据挖掘等是基于规范化的数据进行的。针对这些问题,研究以历史上存储的森林资源数据为基础,针对森林生产功能分析、适地适树规则提取、生长收获预测模型拟合等的分析需求,设计建立了两个数据仓库:森林资源小班数据仓库以及标准地/样地数据仓库,并完成对两个数据仓库事实表、维度表字段结构的详细设计。通过对ETL技术的研究,实现对森林资源异构数据源的抽取、清洗和转换,并将处理后的规范化数据存储在目标数据仓库中进行统一管理。在此基础上,研建一个基于B/S体系架构的森林资源数据仓库管理系统。系统的主要功能包括异构数据源获取、森林资源异构数据的清洗转换、森林资源数据多维分析、数据挖掘等。本研究高效的利用已有的森林资源数据可以为林场等经营单位提供生长收获、抚育间伐、规则提取等方面的决策支持。

关键词： 质量改善   数据仓库   规则获取   质量预测  

摘要： “中国制造2025”战略强调了加强新技术在产品质量管控方面的应用,而零件作为产品的组成单元,探索新一代技术在零件加工质量管控方面的应用,对于贯彻“中国制造2025”战略有重要意义。随着信息技术的发展,制造企业积累了大量的零件加工质量数据,但却不能有效地利用这些数据。数据挖掘技术是人工智能领域中的一种重要的数据处理技术,可以发现数据背后的潜在知识,解决制造企业零件加工数据丰富,零件加工质量知识贫乏的现状。首先,针对制造企业零件加工质量相关数据分散在多个业务数据库,不便直接开展数据挖掘的问题,建立了零件加工质量数据仓库。进行了零件加工质量数据仓库的需求分析,概念模型、逻辑模型、物理模型的设计,并实现了零件加工质量数据仓库的创建及其数据ETL(数据提取、转化、载入)过程。然后,针对企业质量数据的不均衡性导致难以挖掘出不合格品相关规则的问题,提出了基于改进混合采样与FP-tree的零件加工质量规则获取模型。利用提出的基于关键规则欠采样与改进SMOTE过采样的混合采样均衡化方法,对质量数据均衡化处理,并使用FP-tree算法挖掘质量规则。利用某活塞生产企业的实际生产数据,与基于FP-tree的方法、基于随机混合采样与FP-tree的方法,从规则数量、规则正确性两方面进行了对比分析,得出该模型在不减少获得的合格类规则的前提下,可以获取到更多的不合格类规则,并证明了所获规则的准确性。接着,针对目前零件加工质量预测的研究中,多数预测算法存在复杂度高、精度低等问题,提出了一种基于改进遗传蜂群算法(IGBCA)与支持向量机(SVM)的零件加工质量预测模型。利用IGBCA对SVM的参数搜索寻优,提高零件加工质量预测的效果。经过实例对比分析得出,基于IGBCA-SVM的零件加工质量预测模型比利用遗传算法(GA)、蜂群算法(ABCA)得到的预测模型误差更低、所需时间更短。最后,在前面研究的基础上,完成了系统的功能模块、层次架构设计,并利用 Microsoft Visual Studio 2019 开发平台、SQL Server 2017 数据库、Anaconda3开发完成了基于数据挖掘的零件加工质量规则获取与质量预测系统。

关键词： 数据仓库   数据挖掘   智能交通系统  

摘要： 随着我国社会经济飞速发展,私家车以及大货车等各种交通工具数量大幅度增加,各高速公路上经常出现交通运行不畅的现象,交通事故也时有发生.针对这一情况,应当结合大数据分析技术,构建智能交通系统,本文将围绕着基于交通大数据的智能分析决策技术展开论述,对构建ITS数据挖掘平台和设计数据仓库的策略进行分析.

关键词： 商务智能   Cognos   数据仓库   ETL   Cognos模型   Cognos报表  

摘要： 商务智能分析系统可以为企业操作层面和决策层面提供统一有效的数据视图和联机分析解决方案,对提升企业经营决策能力具有重要意义。论文结合自主开发的商务智能分析系统,在论述系统架构设计、数据抽取、转换和加载(ETL)开发设计、Cognos模型设计和Cognos报表设计的基础上,提出企业级商务智能分析系统的实现方案,并预测系统的应用前景。

关键词： 数据仓库   内部控制评价   业务层面   医院内部控制  

摘要： 随着信息技术的发展,行政事业单位逐步加强内部控制信息化建设。数据仓库作为一种面向集成、主题的数据集合,能够为内部控制评价提供海量的数据支持,实现单位层面的内部控制更加高效、智能的评价。本文设计了基于数据仓库技术的医院内部控制评价的体系结构,从单位层面和业务层面介绍了数据仓库技术在医院信息系统中的应用。

关键词： 船厂计划管理   商务智能   数据仓库   联机分析处理   决策支持  

摘要： 随着“两化融合”等国家性战略的推进,船舶制造企业运用信息化手段构建船厂计划管理决策支持系统,提高决策数据的准确性和真实性,将企业生产管理数据进行全面系统的梳理和整合,帮助企业决策者制定正确的企业战略。本文研究了船厂生产计划体系的组成,调查分析现有的管理报表体系,确定计划管理决策信息的基本构成要素和构成方式,提出了利用商务智能的关键技术构建船厂计划管理决策支持系统的方案。论文的主要研究内容如下:(1)通过调研船厂生产计划管理发展现状,商务智能技术和决策支持技术发展趋势,分析了现代造船模式下计划管理体系的组成,分析了船厂现有的计划管理报表体系和项目进度S曲线,确定船厂计划管理决策支持系统的研发需求。(2)通过对船厂计划管理决策支持系统的总体架构和网络架构进行研究,构建了由数据整合平台、配置工具平台、预置应用平台和数据展示平台组成的决策支持系统的模型。(3)运用数据仓库技术构建船厂数据仓库,确定了船厂计划管理数据仓库以月度计划考核主题、月度计划跟踪主题、工程健康主题和总体进度主题。通过搭建事实表和维度表结构,建立了船厂计划管理数据仓库。利用ETL技术对船厂计划管理数据抓取,按照统一的规则将数据存储到数据仓库。利用OLAP技术将预处理的数据构建多维数据立方体,从多个维度对数据进行分析处理,获得符合业务需求的知识,帮助决策层管理企业。(4)通过对数据仓库、ETL、OLAP的研究,针对船厂计划管理的业务的复杂问题,建立船厂计划管理决策支持系统进行验证。运用SQL工具对计划管理数据抓取,并将多维数据集部署到服务器上。利用DevExpress Report控件,根据用户需求配置表单输出样式,利用DevExpress Dashboard控件,快速配置出所需的仪表盘。通过展示分段建造计划与实际对比、后行计划与实际对比、先行进度看板展示等报表分析实现决策支持。

关键词： 康复医疗   Hadoop   Apriori算法   数据仓库   数据可视化  

摘要： 随着可移动式康复设备的发展以及用户健康意识的增强,康复医疗数据呈现爆发式增长,传统的医疗信息化建设已经不能承担海量数据的存储和分析工作。Hadoop作为主流的开源大数据技术,提供了分布式计算与存储的能力,建设以Hadoop为基础的新一代医疗大数据平台,将有效缓解海量数据的存储与分析难题。针对海量数据的存储与分析挑战,以实验室研发的康复设备采集的医疗数据为背景,首先分析了康复设备(手势游戏、平衡称、助步车)的实际业务需求,然后提炼为功能性需求,并针对不同的功能模块进行用例分析,最后设计并实现了基于Hadoop架构的医疗大数据平台。平台包含数据的采集、存储、分析和可视化四个模块,数据采集模块使用开源Sqoop、Flume工具,数据存储模块使用HDFS分布式文件系统,针对医疗小图片直接存储导致的检索效率低下问题,设计基于Sequence File技术的小文件合并方案。数据分析模块一方面使用Hive搭建数据仓库,通过维度建模方法进行指标统计分析,另一方面使用关联分析Apriori算法,通过该算法挖掘疾病间的关联性,更全面的帮助医生了解患者的患病类型。为解决Apriori算法导致的计算性能低下问题,将该算法改成基于Map Reduce形式的分布式算法。通过测试证明,单机版的Apriori算法计算所消耗的时间是分布式形式的18～20倍,有效的证明了分布式算法的高效性。数据可视化系统使用SSM框架作为后台,前端使用ECharts开源可视化库,以动态图表的形式向用户展示统计数据。以Hadoop为基础的医疗大数据平台,其高可用性、高可靠性、弹性扩容等优势有效的保障了海量数据的存储与计算。通过对系统进行功能测试和性能测试,系统可对外提供稳定的服务,达到预期设计目标。