课程文献中心 更多>>

关键词： MES   数据挖掘   数据仓库   决策树   FTPC  

摘要： MES(制造执行系统),它的主要目的在于加强MRP计划的实施功能,解决工厂中信息孤岛的问题,使得MRP计划系统能和工厂作业现场控制系统通过MES联系起来。国内的MES系统应用还停留在将信息收集的作业流程从文本记录变成电子化收集的过程,而帮助企业提高生产效率,降低成本才是MES系统实施的有利价值。随着工业4.0、智能制造、智能工厂等概念的提出,MES正在变成承接工厂主要的运营平台,是工厂的信息纽带。如何利用现代的分析技术基于MES系统中的大量结构化和非结构化的数据进行分析和挖掘,创造有利于企业的价值已经成为了 MES系统提升和优化的研究重点。本课题针对电子制造行业生产线在实现智能工厂中遇到的问题利用数据挖掘技术对收集的信息建模提出解决方案。主要工作包括:1)对目前工厂的质量检验作业流程进行分析,以AQL抽样检验作业为主要业务主线,从操作人员的角度,基于软件工程的一些理论和方法,进行MES系统的质量管理模块的设计和实现。2)从工厂管理者的角度出发,分析了 AQL抽验作业流程中的问题,再基于数据挖掘中算法的学习,设计了能够帮助找出问题原因的数据挖掘方案和模型。3)利用现有的数据结构,基于挖掘的实际需求采用SQL Server Analysis Service技术建立数据仓库。在FTPC平台上实施数据挖掘方案,连接已建立的数据仓库,实现数据模型的开发,运用开发的数据模型在数据仓库中进行数据挖掘。本文通过SSPS工具对该数据模型进行了评估和验证,并将其挖掘结果应用于MES系统质量管理模块中,帮助企业提高了生产效率。

关键词： 冲击地压   数据挖掘   聚类分析   智能预警   数据仓库  

摘要： 我国煤炭资源丰富,占世界储量的11.60%,国民经济快速发展的同时更要对井下工作人员安全进行保护,其中冲击地压具有极大破坏性,严重威胁煤矿安全生产,冲击地压可能诱发煤与瓦斯突出、煤层自燃发火、冒顶等群死群伤的次生灾害,况且现在我国进入深部开采高峰期,煤矿冲击地压发生强度、频次及区域都在逐年增加。因此,研制实时、可靠的冲击地压监测系统,建立高效、准确的冲击地压预警系统符合我国智能矿山的战略部署。本文首先参考国内外优秀的冲击地压监测技术的成功经验,通过冲击地压前兆信息显现,结合日趋先进的数据挖掘技术、数据仓库技术等大数据技术,深入研究并架构了冲击地压智能预警系统的基本框架,设计并开发了一套基于B/S模式的数据可视化界面。其次,由于煤矿冲击地压的复杂机理和冲击地压监测数据的复杂性、多样性特点,采用了市场上比较流行的数据库技术和数据仓库技术,对冲击地压监测数据进行了数据仓库的建模,使开发者能从不同角度分析和使用冲击地压监测数据,并且,数据仓库的建立也是数据挖掘工作的前提。然后,详细介绍了数据挖掘技术并重点探讨了其中的聚类算法,特别是K-means算法,针对K-means算法的不足点,对算法进行了改进,把改进后的算法运用到冲击地压监测数据样本后大大提高了准确率和运行速率。最后,设计并开发了冲击地压智能预警系统的可视化界面,通过可视化技术的直观、形象的特点来让每个用户都可以看懂监测数据。冲击地压智能预警系统分为软件启动、数据获取、数据挖掘、数据可视化四个大模块组成,此系统是以Java语言为主,CSS、JavaScript、HTML等语言为辅,Tomcat为服务器,Mysql为冲击地压监测数据仓库的基于B/S模式的Java Web项目。用户可以通过B/S模式的Web可视化界面将业务请求发送至Tomcat服务器,服务器请求执行用户的请求后返回浏览器,用户随时随地就可以通过浏览器实现实时查询、分析监测数据等功能,给用户提供了极大的便利性。数据挖掘技术在冲击地压智能预警系统中的应用,有助于改进现有的冲击地压监测系统,增强冲击地压灾害的预报和预警能力,不仅保障了井下的人员安全,也对我国煤炭经济的可持续发展做出了一定的贡献。

关键词： 数据仓库   一体化电力调度   自动化系统  

摘要： 本文基于电力系统自动化与智能化发展方向,提出电力企业解决信息孤岛现状的一体化电力调度系统,采用多维度数学模型,整合系统数据信息,建立数据仓库,并采用统一标准的接口来加以访问,有效调度电力系统信息数据,以之作为电力调度系统一体化设计的基础.

关键词： 数据清洗   数据仓库   清洗规则   清洗算法   数据质量  

摘要： 随着科技和信息技术的飞速发展,在数据库的基础上,产生了能够满足组织管理人员决策分析所需要的数据环境—数据仓库。但是,在构建过程中,存在数据质量问题,最终影响分析结果,所以,数据进入数据仓库前,必须进行数据清洗,从而保证数据质量。论文依托“河北省科技攻关项目科技大数据标准化处理与应用系统研发”(172110113D)和项目“河北省科技创新大数据公共平台”,针对科技创新大数据的特点,构建数据清洗框架,制定清洗规则,研究清洗算法,并在真实数据集上进行实验,实现健壮的数据质量。论文主要研究工作如下。(1)构建数据清洗框架分析业务需求、开发环境、框架设计原则,梳理清洗规则与清洗算法间的业务流程关系。针对“脏数据”差异性特点,以及数据可修复性,动态配置业务所需的数据清洗规则。进一步根据所提出的数据清洗算法,对“脏数据”进行二次清洗,以确保流入数据仓库的数据质量。(2)制定数据清洗规则为制定适合科技创新大数据的清洗规则,重定义了“脏数据”基本概念。基于范式和集合相关理论,根据不同数据源中各表之间的关联关系,对多维数据表进行降维处理。针对“脏数据”差异性特点以及数据业务规范,定义空值、异常、冗余数据的清洗规则,以及制定初步的“脏数据”修复规则。(3)研究与实现数据清洗算法分析数据表中字段的属性特征,结合数据字典,定义相似重复记录。基于基本近邻排序算法以及多趟近邻排序算法,以记录间的相似度为切入点,为每个字段分配权重。分析科技创新大数据业务特点,设定重复记录判定阈值。根据字段权重与判定阈值之间的关系,筛选重复记录,分析数据质量,并在系统中实现数据清洗算法。最后,在真实数据集上进行实验,结果表明所提出的数据清洗规则和算法可以有效地完成科技创新大数据的清洗任务,并提高数据质量。

关键词： 数据处理  

ISBN: (纸本)9787566822925

关键词： 数据仓库   元数据   MapReduce  

摘要： 本文结合Hive的体系架构、特点以及与传统数据库之间的差异,从相对浅显的层面介绍了一个相对简单的借助Hive对桌面系统数据进行统计分析的过程.

关键词： 数据挖掘   数据仓库   ETL   关联规则   FP-growth算法  

摘要： 高职类院校一卡通建设经过多年的发展,在实际管理和应用中缺乏针对学生的消费特点的分析,难以发现背后的有价值的数据信息。本文从分析结果查询权限划分、一卡通数据整合管理和消费数据分析和挖掘的方法进行深入的探析,实现一卡通数据分析系统。本文对邢台职业技术学院一卡通数据的结构和组成作深入分析以后并结合不同角色的实际需求,采用Struts+Spring+Hibernate框架和MVC三层架构,系统后台选用SQL Server数据库,完成系统总体架构设计。在用户权限设置方面从对用户、角色、操作权限以及三者之间的关系分析入手构建表,通过对路由、视图、请求三个层面的控制,实现任意颗粒度的用户权限控制。在数据管理方面采用数据仓库方式对维度模型、事实表和对元数据进行了设计。通过ETL完成从一卡通数据库的抽取和调度这些数据,并将它们装入数据仓库中,为数据分析做好准备。最后,使用选择聚类的方法实现校园卡状态及消费情况的数据统计分析,获得消费情况中的微观和宏观信息;在贫困生鉴别应用中利用FP-growth算法对经过预处理的数据进行数据挖掘,生成相应的关联规则,发现在贫困生与消费水平、学习成绩以及家庭情况等之间的关系和规律。本系统对一卡通数据分析和挖掘,有利于学校的管理,更重要的是为学校管理工作提供决策支持。为构造完整的分析平台以及实现更高层次的领导决策支持打下了基础。

关键词： 大数据中心   大数据分析   数据仓库  

摘要： 随着城市轨道交通新线路的不断投入运营,如何有效的从线网层面对各线路进行统筹管理将是各个地方轨道交通管理的难题之一.通过建立大数据分析系统,打通各线路各专业之间的数据连接,实现线网级的数据共享,将是解决这个问题的有效方法.

关键词： 数据仓库   DB2   数据分布  

摘要： 本文提出一种实用的解决数据仓库中表数据分布不均衡的方法,能够准确定位并快速解决 DB2 数据仓库中表数据分布不均衡的问题,彻底解决表数据分布偏斜的情况,提高系统的维护效率和高可用性.

关键词： 数据仓库   任务调度管理   Java程序   Server端  

摘要： 数据仓库任务调度管理平台可以应用在大数据项目建设上,面对大数据业务应用的日益提高,数据科学与大数据的应用增加,异构系统逐渐增多,响应频率逐步提升,管理水平的要求也随之改进。越来越大的压力作用到数据基础平台上,对这些数据基础平台提出了新的挑战!因此,提出了数据仓库任务调度管理平台的设计与实现。数据仓库任务调度管理平台搭建到操作系统、Java虚拟机、db2数据库管理系统中,不会直接与系统硬件出现接口交互,利用基础系统进行硬件的加载与处理,本平台没有直接设置硬件接口。平台属于Web应用程序,平台中完成编码的技术利用了配置文件、Java代码、JSP页面、Sq1语句。平台设计了前台WEB子系统和后台调度引擎子系统两部分。前台WEB子系统应用模块中的基本调度、日常管理、日常监控、系统管理在JavaEE技术框架下进行开发。后台调度引擎子系统借助三层模式,涵盖Server端、Agent端、作业封装以及公共组件四大部分。数据仓库任务调度管理平台可完成数据仓库的基本调度、日常管理、日常监控、系统管理。其中,基本调度模块包括系统维护、作业组维护、作业维护、作业参数维护、批量维护五大功能。日常管理模块包括节点资源配置管理、作业并发控制、手工切换业务日期、启停调度系统四大功能。日常监控模块包括作业组重做监控、作业组暂停和恢复监控、手工作业重做、作业组监控、日常作业监控、运行队列监控、等待队列监控、失败队列监控、作业组异常操作查询、作业异常操作查询、运行实况图十一个功能。系统管理模块包括机构管理、部门管理、用户、机构部门关联、密码、角色、菜单、权限的维护。该平台的开发能够给数据仓库带来巨大效益,对改善信息质量,减轻运维支出,减少消耗等方面带来深远的意义,调度管理平台可对数据的质量与经济价值起到直接或间接的效果。