课程文献中心 更多>>

关键词： 半导体   缺陷数据   信息集成   数据仓库   数据挖掘  

摘要： 针对半导体制造企业在晶圆的生产制造过程中产生的缺陷数据,研究和讨论如何进行企业信息集成;从需求分析、信息抽取、异构数据源集成、数据仓库建模和数据挖掘等各个环节研究与验证了信息集成理论与技术在实际工程方案中的应用。 基于以上原理,论文阐述了如何建立缺陷数据的信息集成系统。系统可以自动收集生产线上检测机台所产生的文本文件,通过挖掘有益于分析的数据,经过转换,形成统一的标准化文件,可供用户直接分析并可做二次开发的信息,以帮助用户分析缺陷数据、改善工艺、提高产品良率。 对于系统的构建,首先介绍了缺陷数据的来源与形式,确定了信息抽取的标准;其次介绍了缺陷数据相关的核心算法,如重复位置点、聚类、多层叠加,并对其结果进行了验证;然后基于抽取的信息,构建数据仓库,包括逻辑模型、物理模型和数据字典的设计;再次从环境配置、系统工作流程、应用集成和数据周期等方面对整个系统进行构建;整个系统包括对所有缺陷数据源的信息抽取、信息挖掘（主要是重复位置点、聚类和多层叠加三个算法）、转换和装载的工作流程的设计和开发,也包括了存放结果集的数据仓库的构建。 最后从时间效率、系统效率和数据的准确性三个方面对整个系统进行了测试验证,得到了用户的认可,并且提出仍需探索的问题。

关键词： 数据仓库   决策支持   多维展示   联机分析技术   Cube模型  

摘要： 本文论述了土地管理决策支持子系统的设计与实现,该系统采用数据仓库技术对土地管理过程中产生的数据进行分析。由此建立相应的土地管理数据仓库,通过对原有土地管理信息系统中的数据进行清洗、转换后,装载到数据仓库中。在土地管理数据仓库的基础上,结合联机分析技术对土地管理决策支持子系统进行多维展示设计,为国土资源管理人员提供决策支持。土地管理数据仓库的设计与实现包括以下工作: 数据仓库需求分析。基于土地管理的业务流程和数据仓库面向主题的设计理念,提出土地管理数据仓库的三个分析主题:储备土地、土地供应、新增建设用地。分析各个主题的事实指标与维度,确立每个主题的Cube模型。将所有的Cube模型结合在一起便组成了结构完整的土地管理数据仓库模型。 数据仓库系统设计。数据仓库的设计是一个不断反馈和循环的过程。根据土地管理数据仓库的需求分析和三个分析主题的Cube模型,采用星型模式分别设计储备土地、土地供应、新增建设用地概念模型、逻辑模型、数据库表空间的设计、土地管理数据多维模型设计。 数据仓库系统实现。根据前期对用户的需求调研,在土地管理数据仓库的基础上,采用BIEE的前端展示工具实现用户的需求,建立土地管理多维分析展示平台,同时采用数据表、数据透视表、饼图、折线图等多种形式来实现各个主题的多维展示。

关键词： 元数据   ETL   可扩展标记语言   预处理   数据仓库   病例资源库  

摘要： 某医院信息化建设的发展,迫切需要建立一个数据仓库,为临床辅助诊断和日常管理决策等提供支持。病例资源库系统正是应医院的要求而开发,集成医院信息系统的数据,通过数据挖掘技术,挖掘和分析出数据价值,用于辅助临床诊断和支撑管理决策,以及科研、教学。ETL(Extract Transformation Loading,ETL)工具就是处理从医院的多个信息系统中获取业务数据,进行数据清洗和和转换,存储到病例资源库中的过程。 本文的研究目标是实现一个具有病例资源库特点的ETL工具,处理从数据源抽取数据导入到病例资源库中。本文首先分析了病例资源库对ETL工具的需求,分析了数据源数据的特点,基于元数据的思想设计出ETL工具的体系结构。然后重点设计了ETL工具中元数据的结构,设计了ETL模块的处理流程,最后根据设计的结果实现了ETL工具。在设计和实现中,ETL工具中的元数据,中间产生的临时数据,都采用XML进行组织和存储,并且数据的清洗和转换方法也都是基于XML的。 通过元数据技术,大大减轻了ETL工具实现的复杂度,提高了系统的扩展性以及灵活度。元数据文件中规则制定的策略是本文的一个探索。在ETL的整个流程中,数据的处理都是在XML文件上进行,而不是传统的数据库,这也是本文对ETL工具的一个探索。 本文设计和实现的ETL工具已经交付某医院,系统的可用性、稳定性和扩展性都得到了实际验证。

关键词： 价格预警   数据挖掘   KLR   AHP评价体系  

摘要： 改革开放以来，我国城乡居民生活水平不断提高，农产品消费量持续上升，农产品生产已基本结束了供给不足的短缺局面，农产品已由卖方市场转向买方市场;供求态势的变化，导致市场竞争日益激烈，市场风险不断出现。加入世界贸易组织后，农产品生产者则面临更大的农产品市场风险;因此，开展农产品预警研究，防患于未然，具有重要的理论与实践意义。本文在研究相关理论的基础上，采用定性分析、定量分析和案例分析等研究方法，开展农产品价格预警的理论分析和实证研究，并将微观预警和宏观预警有机地结合起来。全面剖析了我国农产品价格变化的特性规律，系统分析了影响农产品价格的各种因素，从而揭示了我国农产品价格基本规律，探索农产品预警理论，构建了预警指标体系并完成了系统的相关预警功能。 为了明确预警常用的基础理论和科研方法，了解国内外预警研究所达到的水平，本文在对前人在预警领域，尤其是和价格类预警相关的研究进行了解和学习;确立预警系统的体系架构，并建立农产品价格数据仓库，目的是为了在庞大的价格数据里分析得到有用的信息，完成数据到信息的升华，同时使用AHP评价方法，以猪肉价格为例，分析分析评价了影响农产品价格的指标，并确立相关评价体系;综合其他学者的研究，提出基于小波理论的KLR（由Kaminsky、Lizondo和Reinhart三位学者提出，故取三人名字开头字母命名）预警模型，导入安徽省2010年影响猪肉价格的部分相关数据开展实验，证明KLR模型的预警精度在小波理论的作用下得到提升，并且与农产品价格预警的要求更加契合。 本文的主要创新点有二，一是提出基于小波理论的KLR信号预警技术，使得预警的指标阈值设置的更加合理，能够自动的产生预警，提高预警的准确率和效率;二是以猪肉价格为例，对影响农产品价格的因素指标建立评价体系，使用AHP评价分析法，确定影响价格的主要因素以及各因素的比例权重，为今后类似的研究提供思路和依据。 通过以上理论分析，展开系统各功能模块的设计开发，具体包括预警模块、价格监测模块、价格成本信息管理模块和价格信息发布模块，主要功能包括价格信息采集、预警发布与通报、预警统计分析、预警参数设置等。

关键词： 税务   数据分析   数据仓库   多维数据模型   联机分析   预警模型   预警阈值   测算  

摘要： 税收分析系统的设计和研发是山东国税一系列税收数据分析应用实践之一,也是在原有数据分析应用工作基础上将数据分析应用进一步推向深入的一次新尝试。对掌握山东省各企事业单位的税收状况将起到非常大的推动作用。结合国内外税务信息化和税收数据分析应用领域的现状,阐述了税收分析的意义和此项工作的必要性。论述了税收分析及预警的基本概念、基本要素、主要内容、主要方法,以及需遵循的基本原则。 首先从数据仓库、多维数据模型和联机分析(OLAP)的基本概念和理论出发,阐述了典型的数据仓库系统的构建技术和构建方法。其次结合税收数据分析应用的特点,提出了基于数据仓库的税收分析系统数据源(DS)层、数据集成(DI)层、操作型数据存储(0DS)层、数据仓库(DW)层、数据集市(DM)层、应用发布与展示层的设计思路和技术架构。最后重点阐述了数据集成层中数据交换平台的设计与实现,数据仓库层中数据模型的设计与数据装载方法,数据集市层中预警模型与指标体系设计、预警阈值测算和设定,以及应用展示层中个性化预警信息发布等系统关键点的详细设计和实现方法。 结合此次税收分析系统建设成果,对目前国内税收数据分析应用的现状和重要意义进行了回顾和总结,并对未来一段时间税收数据分析应用的发展趋势进行了分析和展望。

关键词： 统计信息   数据挖掘   数据仓库   决策树  

摘要： 面对现在海量的信息数据,如何有效的收集、选择和使用有效数据,更重要的是如何帮助用户在众多的信息中发现它们之间的关系和新的概念,使之能够自动化,并且作用于决策支持是当今信息技术中的一个热点问题。而数据挖掘技术和数据仓库技术是近几年发展起来的有关数据库和人工智能的新技术,它可以通过对大量数据进行建模、分类与聚类等操作,多角度多方位地分析统计数据,发现数据之间的联系。而且在统计工作中,对数据进行统计,并利用数据及其关系来进行决策分析支持,是其工作的一项重要内容,而且统计数据的海量化、零散化是其数据的一个特点,因此将数据挖掘和数据仓库技术与统计行业相结合是一个势在必行的趋势。本文结合“青海省统计信息决策分析支持系统”的开发,对此进行了讨论。 根据用户提出的灵活统计、发现数据中的规律、直观展现数据的要求,应用OLAP、决策树等概念描述数据仓库技术,尝试从数据挖掘和数据仓库的角度对统计学进行应用性研究。 本文首先介绍系统选题的背景、意义及设计原则,着重归纳国内外数据挖掘和数据仓库领域的专家、学者在数据挖掘这一领域的探索和取得的成果,作为论文的基础。然后从统计行业对数据的要求和具体的数据形式做了基本情况分析、分类分析、动态分析、关联分析、特征值分析等陈述,以明确本文的撰写目的。 其次,本文从青海省统计局的统计需求和结构方面出发,应用了统计学的方法明确了挖掘思路及使用的技术,应用数据仓库中的相关技术进行了系统设计,使数据仓库技术在统计行业的应用得以尝试性的实现,对大量原始数据进行了挖掘实现,通过决策树分类方法建立了模型,进一步实现挖掘任务。 再者本文对使用数据挖掘技术和数据仓库技术实现的青海省统计信息的数据挖掘与分析系统进行了框架式的介绍,以明证实证部分的设计实现的可行性。 最后对本文做了全面的总结,并提出了进一步的努力方向。

关键词： 数据仓库   会计信息系统   事件驱动   企业管理  

摘要： 随着计算机管理信息系统（Management Information System，简称MIS）的飞速发展和广泛应用，企业生产经营的自动化水平不断提高，它把人们从繁琐的事务处理中解脱出来，由原来的人工处理变成了计算机的科学管理，极大提高了工作效率。但高效率并不完全等同于高效益，企业业务系统运行所产生的大量原始数据是企业生产经营活动的真实记录，但由于缺乏集中存储和管理，这些数据不能为本企业加以利用，不能进行有效的统计、分析及评估，无法将这些数据转换成企业有用的信息、为企业战略决策提供参考和支持，也就无法像预期的那样带来巨大的社会经济效益，当局实际的会计工作应适应信息时代下新技术、新管理思想、新环境的变化，由单纯核算型向管理型转变，为企业经营管理决策提供准确的依据。基于数据仓库的事件驱动型会计信息系统充分利用数据仓库技术，实时记录、处理和报告业务数据，将事项库、方法库、目的库有机结合，实现了与传统会计流程相互融合。

关键词： 数据仓库   操作型数据存储  

摘要： 商业银行历史数据查询系统是基于数据可操作存储技术的银行业信息管理系统,涉及了银行业务分析的各个领域.本文着重介绍了基于ODS系统架构的历史数据查询系统架构的设计与开发;利用ETL工具软件DataStage完成了数据转换的功能;实现了数据展现功能和数据前台维护功能.

关键词： 数据仓库   Spring   自定义   报表设计  

摘要： 报表是企业领导层了解经营状况、修改制订企业经营策略、做出长远决策的重要依据,因此报表的准确性、及时性就显得尤其重要。面对现代市场的激烈竞争,更要求经贸委能通过报表系统对本省重点企业的经济指标值的掌握和分析,做出更有利于正确的决策。但是,传统的报表系统数据分散、统计口径不一致,严重影响数据准确性;报表展现样式固定,单一等均无法满足报表内容的不断变化,也难以面对日益复杂的报表需求。 因此,用传统的方法设计和生成报表的方式已不可取,需要通过数据仓库和数据分析技术,建立一种支持数据仓库连接的报表系统,且报表的展示样式丰富,界面美观,能支持无限次数的修改和多种方式查看的报表系统变得越来越重要。 本论文以云南省经贸委重点企业动态监测报表系统建设工程项目为背景,通过对多个不同数据系统中的数据进行抽取、转换,进行数据仓库的搭建,接着通过对Ireport开源项目研究、学习,实现了用户可以自行定义报表样式和报表数据,生成报表模板,并在我们的web应用系统中展现、管理。本报表系统建立在数据仓库的基础上,不仅保证了系统数据的完整性,同时也保证了数据的准确性。利用Ireport创建报表样式,使系统能够满足多种报表展现样式和导出样式,而且支持多种有效数据源的连接,为企业信息化建设的下一步发展打下基础。 最后,根据目前技术与业务的发展,总结了当前的工作,并对系统的发展进行了展望。

关键词： ETL   元数据   数据仓库  

摘要： 计算机及网络技术的快速发展与应用使企业在各种应用系统下积累了大量的数据资源,它们构成了企业的宝贵财富。今天,越来越多的企业正在构建数据仓库来满足其战略决策需要,也就必须将这些可能是来自不同软硬件平台、数据模型、乃至地理上分布、管理上自治和模式上异构的数据源进行集成。因此,提供一种好的ETL工具是非常有益的工作。利用ETL工具可以对异构数据源中的业务数据抽取和转换,并将其装载到数据仓库中,其主要作用是对各类业务数据的清理、标准化和汇总,为数据仓库提供高质量的数据。 本文首先分析了国内外ETL工具的研究现状,也对目前主流的ETL工具的结构及特点以及在ETL过程中比较重要的数据转换、数据清洗和元数据等相关问题和理论方法进行了详细分析。然后,以中海油数据仓库项目为背景,提出了一种较通用的ETL工具框架设计模型,并给出了具体实现过程。 在具体实现方面,充分运用面向对象语言的继承、多态的特性,将设计模式大量的应用于ETL工具的实现当中,使工具架构清晰,具有良好的扩展性,具有易于使用,灵活性强的特点。