课程文献中心 更多>>

关键词： 数据仓库   联机在线分析   物化视图选择   查询重写  

摘要： 随着企业的发展，来自不同业务系统的业务数据日益增多，业务数据得以累积但并为企业所利用。如今数据仓库技术发展起来，企业可以将堆积的历史数据建立面向主题的数据仓库，企业可以在数据仓库上进行联机在线处理(OLAP)，快速的进行分析决策，对企业的未来发展做出明确判断。但是在应用过程中出现新的问题，如此海量的数据，用户的OLAP查询需要的时间越来越多，数据仓库的性能问题也成为大家关注的焦点。物化视图作为一种提升数据仓库性能的技术，在各大商业数据库中得以应用。但是物化视图技术也面临2个大问题：其一是物化视图选择的问题;其二就是查询重写技术问题。 本文主要做了以下几方面的工作：（一）物化视图技术对数据仓库与联机在线分析性能提升进行简要分析;（二）详细分析了现有物化视图选择技术，包括它们的视图模型、代价模型以及算法描述和算法优缺点;（三）在物化视图选择算法中的贪婪算法上进行改进，该算法包括2个阶段，第一个阶段是候选物化视图筛选过程，第二个阶段在同时考虑视图代价的情况下利用经典贪婪算法完成视图收益计算;（四）建立查询重写规则，对用户查询进行重写使得用户透明的利用物化视图。（五）实现一个数字化校园在线分析系统，利用物化视图技术对该系统进行性能提升测试。

关键词： 预测   数据仓库   灰色理论   BP神经网络  

摘要： 近年来国内服装企业生产规模不断扩大,然而竞争力相较国际品牌依然不足,大部分服装企业只能依靠低廉的价格来获得一定的竞争力,这使得服装企业的生存更为艰难。对于服装这样一个时尚性产品来说,如何把握市场的动向是企业最关心的问题,是提高服装企业竞争力的最有力手段。诸多国际企业都实施了各种服装企划系统以帮助设计师和企业决策者制定战略性设计方向。 本文以211交叉学科项目为背景,从服装企划系统的目标出发,阐述了服装企划系统中预测系统的设计前提以及设计目标。针对服装企划预测系统中对分析数据的收集、数据仓库的构建,提出了一整套可行的解决方案,并且在保证效率的同时,以达到成本的最小化。同时对于服装面料的成品规格参数预测模型也做了一定的研究与实验。 本文的主要研究工作如下： 1)服装销售数据收集系统的设计,用以解决来自不同分销商的销售数据中存在的异构问题,如：平台不统一、产品不一致等。 2)通过对服装销售数据收集系统以及服装企业内部信息系统的数据抽取,构建服装企划预测系统的数据仓库系统,该数据仓库系统中包含了不同综合级别的数据仓库体系,适应不同粒度和不同数据规模的分析预测任务。 3)对服装企划预测系统中数据仓库产品的体系结构、搭建过程和相关的计算模型做了详细的介绍与分析,并根据内部实现结构总结了一些有效的优化原则。 4)针对服装面料生产规格参数,提出了一个基于灰色理论和BP神经网络的预测模型。通过灰色理论对BP神经网络的输入因子来做筛选,使得预测模型达到更好的预测效果。实验表明,该预测模型可行且预测精度在接受范围之内。 本文所阐述的服装企划预测系统通过小规模的集群实验,验证了设计的可行性,基本满足服装企划系统中预测系统的目标。

关键词： 药品不良反应   数据仓库   关联规则   挖掘算法   预警模型  

摘要： 随着医药领域信息化建设的不断完善，医药产业取得了飞速发展，大量药品涌入市场的同时，监测到的药品不良反应病例也日益增多。面对日益膨胀的药品不良反应数据和药品不良反应所带来的一系列问题，急需寻找新的方法发现药品不良反应发生的规律，并对其发生可能性进行预测，进而为药品不良反应监测和评价提供决策支持，提高医药服务质量。　　本文在深入分析药品不良反应数据特点的基础上，通过建立药品不良反应数据仓库，采用基于数据立方的关联规则挖掘方法，有效的挖掘出药品不良反应维度、层次以及联合用药关联规则，并引入支持度和置信度，将定性属性与定量值结合，建立预警模型，最后应用实际数据进行实验验证，能够预测各年龄阶段患者发生不良反应现象的可能性大小，为药品监测机构、医生和临床药师监测和评价药品不良反应提供决策支持。本文的研究工作主要包括以下四个方面：　　(1)药品不良反应数据仓库构建和数据ETL处理　　在对药品不良反应原始数据进行需求分析的基础上，构建药品不良反应多维数据模型，确定药品不良反应数据仓库的相关属性，以及构建维度表和事实表，最后对数据进行抽取、转换和装载(Extraction，Transformation and Loading，ETL)设计，消除药品不良反应数据集中某些记录数据属性缺失以及不同数据之间属性不一致的现象，将数据装载到药品不良反应数据仓库中。　　(2)药品不良反应关联规则挖掘　　在对药品不良反应数据进行预处理以及构建药品不良反应数据仓库的基础上，将基于数据立方的关联规则挖掘算法应用于药品不良反应关联规则挖掘中，进而生成用户感兴趣的频繁谓词集，通过设置不同的支持度和置信度，实现药品不良反应多维关联规则、多层和联合用药关联规则的挖掘，发现药品与不良反应、用药人群等之间的关联关系。　　(3)基于关联规则的预警模型研究　　通过挖掘药品不良反应关联规则，构建基于关联规则的预警模型，该模型主要分为训练和预警两个阶段：训练阶段主要是利用关联规则挖掘算法挖掘出关联规则，以此作为预警规则，并建立规则库;在预警阶段，根据支持度和置信度来设置预警的信号，即根据用户输入的属性值和训练阶段得到的预警规则，两者匹配，根据设计好的预警策略实现预警功能。　　(4)实证研究　　采用Visual Studio2005集成开发环境实现预警功能，选取心脑血管疾病患者发生不良反应的数据进行实证研究，通过对药品不良反应预警准确率进行分析，验证该预警方案的有效性。

关键词： 数据仓库   电子商务   分析平台   维度建模   ETL  

摘要： 随着电子商务行业发展,数据量正以前所未有的速度增长。许多大型电子商务企业为了保持竞争力,纷纷建立数据平台为企业各级人员提供报表生成、主题分析、数据挖掘等技术支持。然而,随着市场竞争的激化和敏捷开发的流行,电子商务业务流程变化越来越迅速,数据平台必须具有更高的易理解性、灵活性和可扩展性,才能满足不断变化中的数据分析需求。 某电子商务企业原有的基础数据平台能实现可配置式的数据抽取、转换和加载功能,但存在缺乏集成、表结构难被理解、查询性能低下、数据集市管理松散等问题。另一方面,随着业务平台新的模式的上线,交易流程发生了重大变化,也产生了新的数据和分析需求。为适应新的数据和业务逻辑,同时对数据组织方式进行优化,改善原有的不足之处,电子商务数据分析平台ECAP(eCommerce Analytic Platform)项目。 本文主要描述ECAP平台中的数据模型设计以及实现,先对ECAP平台数据模型的需求和目标进行了分析,然后提出使用基于总线架构的维度建模技术结合三层数据体系结构来构建ECAP的数据模型。其后对业务过程选择、粒度选取、维度设计等问题进行讨论,并描述该数据模型的具体设计和实现。最后通过SQL查询和商务智能工具应用示例来说明系统更易理解、优化的查询性能、可扩展强等特点。 上述两种设计方法的应用,使得数据更加简明易用,提高了分析查询的性能,同时令系统能更快速灵活地适应业务模型的修改,从而让用户能够更加专注于业务价值,为追求“敏捷分析”的互联网电子商务分析平台提供了扎实的基础。

关键词： 列存储   查询重写   优化策略   重写规则   左深连接树  

摘要： 随着数据仓库广泛应用带来的良好影响,数据仓库技术得到了迅猛的发展。数据仓库中最常用、最重要的查询语句的执行效率直接影响了数据仓库的性能,在查询处理中将查询语句重写成另一种高效的内部表示,帮助查询优化器获得更好的执行计划一直是学术界研究的热点。对于数据仓库是面向分析型、以读操作为主的特点,大量的文献和实践证明在列存储体系中,仅需读取查询所需要的列数据,避免了将其他不相关的列的数据同时读入内存的情况,这样列存储就有很大的性能优势。这也使得在列存储背景下探索适宜的查询重写技术成为一种必然。 首先,论文详细阐述了本课题的研究背景和相关技术的研究现状,突出了在列存储背景下对查询重写进行深入研究的必要性。 然后,论文对本课题相关的重要知识点做了必要介绍,其中包括数据仓库、列存储的优势、列存储数据仓库系统DWMS、查询处理、传统的优化策略等等。 其次,论文深入分析了列存储系统的特性,基于在查询重写中与行存储的本质不同,提出了列存储特有的基本优化策略和重写规则,并分别在group by聚集操作、子查询、索引连接方面进行了深入的讨论分析,提出了合适的解决方法,进一步充实了列存储中查询重写的关键技术。 接着,论文对DWMS系统实现过程中涉及到的基本数据结构作了介绍,将基于规则优化的查询重写模块分为重写普通where查询树、重写含group by的查询树、重写有子查询的查询树三部分实现,并分别详细讨论了一些重要实现方法。 最后,论文以列存储数据仓库管理系统DWMS3.0为平台,采用SSB数据集,进行实验论证,结果表明：本文提出的提出优化策略、重写规则、双层左深树结构能有效减少候选计划的规模,排除大量不可能生成最优计划的计划,使得查询处理代价和执行时间大大减小。

关键词： 数字档案馆   资源整合   数据仓库  

摘要： 本文指出了数据整合在档案资源整合中的重要性,通过对数据仓库概念的引入以及结构和特点的分析,说明了数据仓库技术在档案信息整合中所起的作用,提出了采用数据仓库技术对档案资源数据进行整合的结构和方法。

关键词： 数据挖掘   电子商务   数据仓库  

摘要： 在这个信息越来越膨胀的时代，如何从大量的信息中发现，挖掘并表达出我们所需要的有用信息变得越来越重要了。本文将对数据挖掘这一技术进行简要的说明。然后对它在电子商务这一领域的应用进行总结分析。并对未来的应用前景作出展望。

关键词： 财务分析   效益评价   预测   数据仓库  

摘要： 随着市场竞争的日益加剧，提高公司的管理水平以及降低运营风险已经成为提高企业综合竞争力的主要手段。但鉴于管理体系和组织机构的庞杂，使得快速获取有用的决策信息，提高管理效益变得非常困难，尤其是财务数据繁杂多样，更给管理者制定正确的决策带来了巨大的障碍。因此，中国石油天然气公司开展了以服务股份公司现代化财务管理的《财务分析决策支持系统》项目，以其实现中国石油财务管理的网络化、信息化、集成化和现代化，加强财务部门对管理决策的支持和参与，客观、真实地反映和评价公司绩效，全面提高中国石油及下属分公司的财务分析与决策能力。 本文采用先进的分析方法与设计思想，建立了系统的数据模型。此系统有效地运用了数据仓库技术，并使用杜邦分析等方法来寻找问题根源。同时，通过提供自定义分析指标，来满足不同层次管理者个性化需求。并在整个数据仓库的体系结构之下来设计系统软件的结构，应用ETL、MOLAP、Data Mining等技术，提供了一个信息加工和知识转化的平台。在系统实现中，建立了统一的数据存储、处理和分析平台。实现了系统数据仓库的采集与数据提取，并能生成决策需要的全局性报表。并通过建立WEB分析展示平台，提供主题分析、报表分析、结构分析、预测分析和图形分析等功能。此外，该系统还通过所采用的三项措施在整体上保证了系统的安全性和可靠性，同时也完善了设计和实现上的可扩展性和技术持续性。 该财务分析决策支持系统具有预算管理、成本分析、投资评价和风险预警等功能。并且能够提供友好的交互界面，可完成数据的深层次加工和处理。作为公司生产经营决策支持系统的配套部分，通过股份公司、辽河油田以及下属区块对此系统的实际应用，结果验证了总体设计的合理性与各个模型的科学性和实用性，取得了非常好的效果，因此该系统能有效的服务于专业公司，为油田的生产经营提供准确的财务决策。

关键词： 数据仓库   OLAP   决策支持系统   水稻精确栽培  

摘要： 随着农业技术的不断发展，水稻栽培技术已经从追求高产的单一目标朝着高产、优质、高效、生态、安全的综合目标迈进，一种新型的水稻栽培技术也随之产生，即水稻精确定量化栽培技术。同时，信息化技术的深入使得有关农业决策等农业信息化管理系统也日趋完善，从而产生了大量与农业相关的业务数据。传统的应用中，这些数据大部分只能简单地存储在数据库中，隐含在历史性数据中的潜在信息被闲置，没有得到充分的利用，造成了极大的信息资源浪费。因此必须改进传统的决策支持模型，传统的决策支持一般采用的是事务型数据库，该数据库对分析处理的支持一直不能令人满意，必须把分析型数据从事务型处理环境中分离出来。数据仓库作为这种新型体系结构的基础，能够把存储在农业相关部门中的大量零乱数据集成起来，为决策提供可靠的、高质量的、统一的数据源。 尽管有关农业决策技术，方法近年来得到较快的发展，但就决策的效果总是不尽人意，根本原因在于农业决策中存在大量的不确定因素，决策变量较其他决策系统更为复杂，采用模糊多目标模型可以改善农业决策系统。 本文研究的主要内容及取得的成果如下： 1.对水稻精确定量化栽培进行信息管理，分析水稻精确定量化栽培过程，提取水稻精确栽培中的要素，建立水稻精确栽培过程基本模式，为水稻精确栽培数据库以及数据仓库的建立提供依据。 2.针对传统决策支持系统依赖于事务型数据库，事务性数据库对数据缺乏必要的分析能力的问题，采用数据仓库来弥补这样的缺陷，在研究数据仓库系统结构基础上集合水稻精确栽培构成，建立水稻精确定量化栽培数据仓库系统。 3.探求水稻精确栽培过程存在的诸多不确定因素，提出一种模糊多目标决策模型，从而提高决策支持的决策能力。 4.在完成上面三项工作的基础上，建立水稻精确栽培决策支持系统，为相关部门的决策者提供决策辅助支持。 5．在SSH框架模式下开发基于B/S结构决策支持系统，使用AJAX异步通讯方式，以XML的方式承载数据，提高系统的运行性能以及最大限度的进行资源共享，同时为了节约系统资源，采用连接池的方式进行链接资源的分配和释放。

关键词： 电信企业   数据仓库系统   程序设计  

摘要： 随着中国电信行业运营商重组、3G牌照的发放，电信市场的竞争格局已初步形成。各大企业的市场份额发生了明显的变化。这种竞争的加剧导致各企业必须从原来的粗放型增长逐渐转变为精细化经营。数据仓库技术应运而生。一方面，为辅助决策依据的需求越来越迫切，为数据仓库的建立提供了外在动力;另一方面，电信行业积累的大量业务运营数据也为数据仓库提供了客观条件。　　数据仓库的建设目标就是要采集企业内部生产管理系统所有市场经营相关的数据源，对其进行规范和整合，并提供多维分析报表和挖掘工具，为分析人员提供统一的数据平台和分析平台，解决分析人员所面对的数据分散、口径不统一、分析工作缺乏延续性等问题。数据仓库系统融合了多种技术，是一个综合性的数据平台，主要完成数据的采集、存储、加工处理、分析和应用的输出。数据仓库系统立足于商业应用，而非单纯的技术方案。本文就如何构建电信企业数据仓库给出了架构设计，并总结了在电信企业中的各类典型应用，给出了应用的技术实现，对可能遇到的风险问题给出了切实可行的解决方案。　　要实施数据仓库项目，组织团队常常是非常复杂的，本文总结作者多年的行业项目经验，为构建电信业高效的数据仓库项目组织团队提供了可供参考的解决方案。从系统建设阶段就考虑到了后期运营的承接，找到了一种高效的、稳定的适应长期运营的数据仓库项目团队组织构建模式，使数据仓库系统价值能够得到更好的发挥。