课程文献中心 更多>>

关键词： Spatial data warehouse   Indices   Bitmap index   Spatial on-line analytical processing   Spatial drill-down and roll-up operations  

摘要： Spatial data warehouses (SDWs) allow for spatial analysis together with analytical multidimensional queries over huge volumes of data. The challenge is to retrieve data related to ad hoc spatial query windows according to spatial predicates, avoiding the high cost of joining large tables. Therefore, mechanisms to provide efficient query processing over SDWs are essential. In this paper, we propose two efficient indices for SDW: the SB-index and the HSB-index. The proposed indices share the following characteristics. They enable multidimensional queries with spatial predicate for SDW and also support predefined spatial hierarchies. Furthermore, they compute the spatial predicate and transform it into a conventional one, which can be evaluated together with other conventional predicates by accessing a star-join Bitmap index. While the SB-index has a sequential data structure, the HSB-index uses a hierarchical data structure to enable spatial objects clustering and a specialized buffer-pool to decrease the number of disk accesses. The advantages of the SB-index and the HSB-index over the DBMS resources for SDW indexing (i.e. star-join computation and materialized views) were investigated through performance tests, which issued roll-up operations extended with containment and intersection range queries. The performance results showed that improvements ranged from 68% up to 99% over both the star-join computation and the materialized view. Furthermore, the proposed indices proved to be very compact, adding only less than 1% to the storage requirements. Therefore, both the SB-index and the HSB-index are excellent choices for SDW indexing. Choosing between the SB-index and the HSB-index mainly depends on the query selectivity of spatial predicates. While low query selectivity benefits the HSB-index, the SB-index provides better performance for higher query selectivity.

关键词： Conceptual model   Data warehouse   MDA   Metadata   OLAP  

摘要： Abstract: We propose a model-transformation architecture with which to obtain both the database schema of a data warehouse and the required OLAP metadata for end-user tools to intuitively query the underlying schema. The main benefit that this architecture provides is a set of mappings that will allow designers to effortlessly obtain various types of OLAP metadata for several kinds of tools and users during the simultaneous generation of the database schema. Both processes are automatic and integrated. As a proof of concept, our approach is implemented in the Eclipse Modelling Framework, thus showing its feasibility and usefulness. [Copyright &y& Elsevier]

关键词： 数据挖掘   SOA   工作流   分布式数据仓库  

摘要： 计算机技术的飞速发展给信息产业带来了前所未有的繁荣但随着计算机技术的不断推广和使用的深入，人们对它的要求也越来越高。特别是在信息高度发展的今天，面对着在时间、空间和结构上存在着巨大差异的相关数据，人们希望计算机能够提供快速、准确、具有预见性的信息。企业通过快速响应用户的需求来提高自身的竞争力，相继实施或自主开发了适合于自身业务的信息系统。通过使用这些系统，企业或组织内逐渐积累起大量的数据。由此，出现了一个新的需求，即对大量已有的数据进行分析挖掘以支持业务和高层决策的应用。随即，一系列用来实现数据的分析与挖掘的理论和技术相继产生，包括数据挖掘技术、数据仓库以及分布式数据仓库等。这些理论和技术都可以被归结为数据仓库。近年来引起了众多学者的兴趣与参与，已成为学术界跨学科的热门研究领域之一。 数据仓库不仅包括对数据管理的数据库技术，而且还包括对数据进行分析挖掘的各种组件，是一个综合的概念。而分布式数据库DDB（ Distributed Data Base）是一组数据集,逻辑上它们属于同一系统,而物理上分散在用计算机网络连接的多个场地上,并统一由一个分布式数据库管理系统管理。分布式数据库系统可以看成是数据库技术和计算机网络结合的产物。 本论文通过对数据仓库和分布式数据仓库体系构架的分析，得出当前存在的缺点：不能进行灵活的定制、易用性差、分布式数据仓库为了保持全局数据仓库和局部数据仓库的数据一致性需要购买大量且昂贵的存储设备来保存两份相同的数据。针对这些缺点，本文所做的主要工作如下： 1)改进了一种基于工作流的分布式数据仓库模型，模型的整体结构基于SOA（Service-Oriented Architecture）面向服务的体系结构、分布式。 2)引入了工作流技术来实现灵活定制数据提取需求、分析挖掘需求及结果可视化的需求，并将这些功能封装成整体模型中的业务流程服务。在业务流程服务模型部分引入了数据仓库业务流程执行语言、业务流程的可达性验证算法和优化算法。 3)分布式数据仓库模型中包括虚拟全局数据仓库服务和虚拟全局多维数据仓库服务，以此避免在全局和局部数据仓库中存储相同的两份数据，从而减少了在昂贵的存储设备上的开销。另外，在虚拟全局数据仓库服务部分给出了两个虚拟全局服务的模型，并且集成了全局数据仓库（全局多维）的元数据结构、全局（全局多维）查询算法以及优化策略。 4)最后，将基于工作流的分布式数据仓库模型应用到了教育考试资源库项目中。

关键词： 数据仓库   元数据   ETL   数据集成  

摘要： 随着高校信息化建设的发展，学校建立了越来越多的应用系统，这些应用系统能基本满足部门日常工作的需要。但是各个系统表现为各自为政的信息化建设方式，多采用不同的数据库系统，数据结构和数据格式，导致了不同系统之间信息共享困难，并且由于大量数据重复存储，同一数据出处不同，造成了数据不一致，数据冗余，数据不正确等问题，影响了学校的信息化进程和工作效率。为了能够高效的使用学校的信息资源，实现信息共享，迫切的需要进行数据集成，建立一个共享数据中心的应用系统。 本论文介绍了高校信息化建设的现状，针对存在的问题，在现有资源的基础上，设计了一个高校信息化建设的整体方案，并对高校数据中心的建立进行了详细的设计和实现。在文中，对系统进行需求分析和概要设计，确定了系统的功能模块，搭建了系统的整体架构。 为了顺利完成高校数据中心的实现，要设计好用于数据抽取清洗转换加载的元数据和数据仓库的数据模型和数据流程。完成了用于数据集成的元数据的设计，确定了元数据的元素，设计好的元数据表格对每一个数据项的数据源、目标数据库、数据源与目标数据库的映射都进行了很好的定义，使元数据表格更合理，更易于共享数据库的实现。参照国家高校管理信息标准，结合学校实际情况，定义了共享数据库中的五层数据结构，设计了数据抽取转换加载的数据流程，完成了数据仓库的填充过程。 本课题采用Myeclipse集成开发环境，使用Tomcat服务器，Oracle数据库，设计实现了一个建立高校数据中心的应用系统，文中详细介绍了各个功能模块的实现过程，并对整个系统进行了测试。该系统实现了用户友好的界面，实现了数据的自动同步，完成了共享数据中心的建立，解决了数据不一致，共享困难等问题，为用户提供即时精确权威的共享数据。

关键词： 数据仓库   ETL   联机分析处理   运费结算   统计  

摘要： 随着科学技术不断发展,企业发展更加依赖于信息技术,信息化生产业务系统内产生了越来越多的数据信息。然而,这些生产业务数据,由于分公司或不同部门的信息化建设的不统一性,无法体现出自身应有的价值,不能为企业的决策管理者提供数据样本和支持。建立数据仓库,运用数据分析和数据挖掘技术,能够解决遇到的困难,使决策管理者和业务部门更清晰地了解目前企业的运行状态和将来的发展趋势。 本文首先引入数据仓库的概念和基本特征,详细介绍了数据仓库的体系架构、存储方式和相关技术,研究了数据仓库设计建模的方法和目前常用的数据模型。 随后,以甘肃邮政省内邮路干线运费结算系统项目中的实际工作为实例,详细分析了企业面临的业务需求,结合邮政业务生产系统的特点,提出适合建设数据仓库的主题概念。通过数据仓库的ETL数据处理技术,构造面向数据分析统计的运费结算数据仓库。应用数据抽取、转换、加载和联机处理分析技术,研究了运费结算系统的数据库设计过程。对于使用的数据仓库模型进行讨论,结合实际的系统业务需求展现了统计报表和分析结果。 甘肃邮政省内邮路干线运费结算系统应用数据仓库技术,填补了甘肃省邮政公司信息化建设在数据仓库和数据挖掘方面的空白,为企业的运行、管理、损益核算提供了有效的决策服务支持,对制定企业未来的发展目标、提高企业的经济效益起到了良好的辅助作用。

关键词： 数据仓库   商业智能   OLAP建模   ETL系统  

摘要： 随着时代的不断进步，传统的经营模式已经不再适应水泥企业的发展，水泥企业为了能够生存，需要利用现代化的信息工具来进行企业管理和长远规划。而水泥企业普遍存在着历史数据庞大，控制分析指标繁多的特点，因此采用数据仓库对历史数据进行系统的采集与归类，利用BI系统对归集的数据进行商务智能的分析是一个很好地解决方案。 本文结合华润越德有限公司及属下的珠江水泥厂和越堡水泥厂的实际情况，从两家工厂的八大生产流程出发，逐步描述每个流程所需要考核的关键指标，根据此关键指标建立起符合两家工厂的生产指标体系并通过多维数据库工具将此生产指标体系转换为可用的生产管理系统。该生产管理系统为商务职能系统提供工厂的生产管理的基础数据。 另一方面，结合华润越德的ERP系统中的库存数据、采购数据、销售数据和财务数据，通过分析华润越德管理层对生产业务、库存业务、采购业务、销售业务和财务业务的实际需求确认其所需数据的实际来源，为公司的数据仓库的建立提供了可靠的基础数据来源。而本文以库存业务需求作为切入点，结合ETL系统建立的三步骤，逐步分析如何利用ETL系统对ERP系统和生产管理系统的数据进行数据抽取、数据转换和数据装载，从而使脏数据清洗为干净、符合要求的数据，最终形成具有华润越德特色的数据仓库。 最后分析管理层对商务智能系统的需求，制定出华润越德的商务智能的五大板块，针对华润越德、越堡工厂和珠水工厂管理人员的管理职责制定出符合各管理人员需求的权限。结合商务智能系统的建模工具和数据仓库的数据对五大板块的内容进行数据建模，结合商务智能系统的权限建模工具对各管理人员进行权限建模。最终形成有华润越德特点的商务智能系统。

关键词： 数据仓库   绩效考核   指标   BSC   OLAP  

摘要： 随着金融市场的全面开放,外资金融机构在国内不断涌入,他们与国内金融机构享有同等的待遇,在金融市场中,国内银行业与外资机构展开公平竞争,加强竞争力建设成为银行业的首要任务,由于人力资源在银行竞争力中占有举足轻重的作用,因此各银行都需要一套能够利用现代化技术管理员工,系统化制定绩效目标,激励员工积极性的科学化考核机制来提高其核心竞争力。 由于银行的业务都是不断扩展的,各业务系统最初都是在满足当前业务需求的情况下建立起来的,各业务系统之间在数据结构,数据质量上都存在着一定的差异,这样给整合、统计业务数据带来了难题,由于国外数据仓库的建设以及其优良地整合数据、管理各平台数据等优点,国内各银行也纷纷开始其数据仓库的建设,在银行信息技术发展的最近几年,数据仓库通过建设和不断的完善,已经成为各大银行数据管理的核心平台,并为各应用系统提供优质的数据来源,因此只有基于数据仓库的绩效考核系统才能以价值最大化为目标,不断提高银行各方面的绩效水平,使员工绩效与企业绩效紧密结合,不断提高银行核心竞争力。 本文对数据仓库的核心概念进行了详细的描述,对设计和实现数据仓库平台进行了研究,并且结合对分行的需求分析,设计并实现了基于数据仓库的绩效考核系统。 论文的主要工作是：介绍了数据仓库的基本概念,讨论并研究了银行业数据仓库的模型框架和设计方案,提出本文所研究的数据仓库的设计架构,对分行考核进行了需求分析,流程设计,建立了基于数据仓库的绩效考核系统,实现了对全员进行科学合理的绩效考评,提高了分行集约化、精细化的管理水平。 最后,对数据仓库的建设进行了总结并且对其未来发展做出了展望。

关键词： 热轧带钢   精准选样   机械性能   性能预报模型   数据仓库  

摘要： 针对热轧带钢传统采样方法存在的取样量大和漏检等主要问题,新的精准选样系统设计了一种精细化的采样管理方法,将采样管理过程与热轧产品生产过程联系起来,利用先进的热轧带钢力学性能预报模型的预报结果,对带钢进行分类后用于指导采样。该系统已于2008年成功应用于宝山钢铁股份有限公司2050热轧厂,实现了热轧带钢采样的精准选样管理,应用效果良好,在减少取样量和加快物流等方面效果明显。

关键词： 数据仓库   联机分析处理   数据挖掘   校园卡  

摘要： 随着我校教育信息化建设的逐步推进，校园一卡通系统在学院管理中得到了广泛的应用。目前，我院已实现了利用校园一卡通对学校中的各类消费进行统一管理，作为一个管理系统，在设计和实现的过程中，重点关注在于它的应用功能的实现方面，很少考虑对其数据的分析。但一卡通系统是一个数据库应用系统，其中存放着大量和学生有关的数据，如果能够通过对这些数据进行有效分析，发现其中存在的规律及问题，对以后的学生管理工作有重要的指导意义。 如何有效利用校园一卡通数据在学校管理中支持决策作用，是值得学院进行长期研究的课题，只对一卡通数据进行简单的分析应用，很难发现数据间存在的相互联系及数据背后的行为，这样很难发挥数据在决策方面的作用。 本文主要在数据仓库、OLAP分析、数据挖掘等相关技术研究的基础上，结合我校一卡通数据，设计和开发了学生开水行为分析系统和饮食消费系统，对我校一卡通系统的数据挖掘进行了初步分析，使得相关部门对一卡通数据有了更深层次的认识和了解，为学院在学生管理方面的决策提供了决策支持。

关键词： 数据仓库   列存储   查询执行   优化  

摘要： 高效的查询执行效率是数据仓库管理系统开发时最大的关注点。最近的研究表明,底层数据以列存储的方式进行组织,能够更好地适应数据仓库管理系统面向查询的特征,能够在执行过程中避免抽取查询所不需要的列值,引起多余的I/O开销。除此之外,列存储还拥有比行存储更高的压缩比。 论文研究了数据仓库技术、列存储技术,查询执行引擎中的核心模块。结合数据仓库列存储的特征,对现有的查询执行引擎进行了结构与策略两个方面的优化与实现,其中结构方面包括传递块结构的优化与实现以及操作结点的优化与实现,而在策略方面则设计并实现了基于操作结点相对位置的重用度估计模型以及基于该模型的重用缓冲区调度策略。本文研究内容如下： 1.论文首先分析了数据仓库以及列存储的特征,着重讨论了MonetDB、C-Store及InfoBright的存储方式与查询执行方式,并总结它们的特征与不足之处。 2.然后,论文对列存储查询执行引擎中的核心元素进行了详细地介绍,其中包括查询执行的基本对象——物理执行树,物理执行树的构成单元——操作结点、查询执行时数据在内存中的组织形式以及能够完成数据处理与传递的迭代器及其网络。 3.接着,论文对现有列存储查询执行引擎进行了结构方面的优化,其中包括对传递块的结构以及操作结点内部结构的优化设计与实现。对传递块结构的优化主要包括设计并实现了不仅能够存储rowid以及不同类型列值,还能够通过位置关系实现低开销快速元组重构的传递块结构。而对操作结点内部结构的优化主要包括1)以工厂模式的方式进行操作结点开发从而减少重复判断;2)利用数据有序的特性进行谓词选择预判以减少多余判断;3)改进哈希连接结点使其能够灵活适应事实表与维表的位置变换;4)改进传统排序连接操作使其能利用数据仓库中数据有序以及事实表与维表连接的特征;5)设计并实现了同时适用于定长列值与变长列值的列值抽取方法;6)设计并实现了能够灵活适应19种情况的打印操作结点;7)根据“将数组放入函数”的原则对执行引擎进行了整体优化。同时,论文对现有列存储查询执行引擎还进行了策略方面的优化设计与实现,主要包括1)提出并实现了基于操作结点在物理执行树中相对位置的重用度估计模型;2)根据模型的估计结果设计并实现了重用缓冲区调度策略并对其进行了优化。通过多个基于SSB数据集的实验验证了本文提出的优化方法的有效性。 最后,论文对数据仓库管理系统列存储查询执行引擎的实现与优化现状进行了总结,并对下一步的研究工作进行了展望。