课程文献中心 更多>>

关键词： 数据仓库   联机分析处理   数据挖掘   校园卡  

摘要： 随着我校教育信息化建设的逐步推进，校园一卡通系统在学院管理中得到了广泛的应用。目前，我院已实现了利用校园一卡通对学校中的各类消费进行统一管理，作为一个管理系统，在设计和实现的过程中，重点关注在于它的应用功能的实现方面，很少考虑对其数据的分析。但一卡通系统是一个数据库应用系统，其中存放着大量和学生有关的数据，如果能够通过对这些数据进行有效分析，发现其中存在的规律及问题，对以后的学生管理工作有重要的指导意义。 如何有效利用校园一卡通数据在学校管理中支持决策作用，是值得学院进行长期研究的课题，只对一卡通数据进行简单的分析应用，很难发现数据间存在的相互联系及数据背后的行为，这样很难发挥数据在决策方面的作用。 本文主要在数据仓库、OLAP分析、数据挖掘等相关技术研究的基础上，结合我校一卡通数据，设计和开发了学生开水行为分析系统和饮食消费系统，对我校一卡通系统的数据挖掘进行了初步分析，使得相关部门对一卡通数据有了更深层次的认识和了解，为学院在学生管理方面的决策提供了决策支持。

关键词： 数据仓库   列存储   查询执行   优化  

摘要： 高效的查询执行效率是数据仓库管理系统开发时最大的关注点。最近的研究表明,底层数据以列存储的方式进行组织,能够更好地适应数据仓库管理系统面向查询的特征,能够在执行过程中避免抽取查询所不需要的列值,引起多余的I/O开销。除此之外,列存储还拥有比行存储更高的压缩比。 论文研究了数据仓库技术、列存储技术,查询执行引擎中的核心模块。结合数据仓库列存储的特征,对现有的查询执行引擎进行了结构与策略两个方面的优化与实现,其中结构方面包括传递块结构的优化与实现以及操作结点的优化与实现,而在策略方面则设计并实现了基于操作结点相对位置的重用度估计模型以及基于该模型的重用缓冲区调度策略。本文研究内容如下： 1.论文首先分析了数据仓库以及列存储的特征,着重讨论了MonetDB、C-Store及InfoBright的存储方式与查询执行方式,并总结它们的特征与不足之处。 2.然后,论文对列存储查询执行引擎中的核心元素进行了详细地介绍,其中包括查询执行的基本对象——物理执行树,物理执行树的构成单元——操作结点、查询执行时数据在内存中的组织形式以及能够完成数据处理与传递的迭代器及其网络。 3.接着,论文对现有列存储查询执行引擎进行了结构方面的优化,其中包括对传递块的结构以及操作结点内部结构的优化设计与实现。对传递块结构的优化主要包括设计并实现了不仅能够存储rowid以及不同类型列值,还能够通过位置关系实现低开销快速元组重构的传递块结构。而对操作结点内部结构的优化主要包括1)以工厂模式的方式进行操作结点开发从而减少重复判断;2)利用数据有序的特性进行谓词选择预判以减少多余判断;3)改进哈希连接结点使其能够灵活适应事实表与维表的位置变换;4)改进传统排序连接操作使其能利用数据仓库中数据有序以及事实表与维表连接的特征;5)设计并实现了同时适用于定长列值与变长列值的列值抽取方法;6)设计并实现了能够灵活适应19种情况的打印操作结点;7)根据“将数组放入函数”的原则对执行引擎进行了整体优化。同时,论文对现有列存储查询执行引擎还进行了策略方面的优化设计与实现,主要包括1)提出并实现了基于操作结点在物理执行树中相对位置的重用度估计模型;2)根据模型的估计结果设计并实现了重用缓冲区调度策略并对其进行了优化。通过多个基于SSB数据集的实验验证了本文提出的优化方法的有效性。 最后,论文对数据仓库管理系统列存储查询执行引擎的实现与优化现状进行了总结,并对下一步的研究工作进行了展望。

关键词： 热轧带钢   精准选样   机械性能   性能预报模型   数据仓库  

摘要： 针对热轧带钢传统采样方法存在的取样量大和漏检等主要问题,新的精准选样系统设计了一种精细化的采样管理方法,将采样管理过程与热轧产品生产过程联系起来,利用先进的热轧带钢力学性能预报模型的预报结果,对带钢进行分类后用于指导采样。该系统已于2008年成功应用于宝山钢铁股份有限公司2050热轧厂,实现了热轧带钢采样的精准选样管理,应用效果良好,在减少取样量和加快物流等方面效果明显。

关键词： 数据仓库   数据中心系统   数据模型   ODS   ETL  

摘要： 随着信息技术和数据中心技术的飞速发展,信息数据在企业的日常运营中越来越重要,对特殊的烟草企业亦是如此。当前的烟草企业迫切需要高效、准确、及时地汇总、分析数据。传统的大量流程化的软件设计往往只能提供对历史数据的查询功能,不能实时地反映企业所需的不断变化的信息。基于数据仓库的数据中心系统作为传统数据仓库的扩展,有效地缩短了信息延时,为企业提供了更有价值的战略型决策支持。 本文通过对烟草企业面临的数据获取和管理难题的研究开始,通过研究烟草企业面向服务的IT整体架构规划以及数据管理需求,设计出面向烟草企业的,实用型的基于数据仓库的数据中心系统,目的是解决现有的数据获取、管理及应用问题：通过主数据管理和元数据管理,实现数据中心的标准制订和规范管理,保证数据的一致性、准确性;构建数据中心的分析应用平台,满足对关键业务信息的查询、报表展现以及数据智能分析,形成能够服务于省市两级的管理和决策分析平台,全面提升管理的科学性、及时性、有效性：搭建数据中心的软、硬件平台,建立集中的分析应用系统,同时根据数据中心的建设方案,在数据中心信息标准、模型和规范建立的基础上,形成烟草企业的“监控中心、指挥中心”。 通过针对这些问题的研究和解决过程,本文提出了设计一个基于数据仓库的数据中心系统的解决方案。不但完整阐述了数据中心系统的总体规划、设计过程和实现过程,并且讨论了数据中心系统的应用,最后展示了系统实现的界面,平台架构和功能。通过数据中心系统,达到了提高烟草企业数据管理及分析能力,从而提高企业经营管理的科学性、高效性和增强企业创新能力的目的,证明了数据中心系统设计方案的可行性。

关键词： 野外数据采集系统   数据仓库   标准化组件   生态观测  

摘要： 计算机技术以及传感器网络的发展，深刻改变了传统的数据采集方法。尤其是生态学中的野外生态观测研究正逐渐朝着自动化、网络化、智能化、常态化的方向发展，是现代生态学科研信息化的重要组成部分。但是长期以来，不同种类野外采集系统间的异构性给数据的统一处理、存储造成了困难，不便于互联互通、共享展示。适应不同系统的统一数据采集平台成为当前野外数据采集系统的重要需求之一。　　 本文的研究工作是设计一个野外数据采集系统。此系统从对数据处理流程入手，分为数据传输、数据展示和数据存储三个模块。通过这三个模块分别实现了异构系统的数据获取，数据的展示以及大规模数据的存储等功能，实现了一个完整的野外数据采集系统。　　 数据传输模块的实现主要包括以下功能：将数据对象转换成json字符串并通过加密手段进行传输，包括对数据格式的判断、备份等;数据展示模块基于经典的SSH架构实现，采用基于jquery的fancybox插件进行显示，取得了很好的展示效果;数据存储模块基于数据仓库的思想，将数据从数据库中提取出来，以文件形式存储，使得数据库能够满足长期积累与保存数据的需求。　　 本系已在青海湖实地应用，取得了良好的效果。随着项目的深入开发和应用，本系统有望成为数据采集系统的一个标准化组件。

关键词： 中信银行信用卡中心   数据仓库   Greenplum   中信   玩转   大数据   借力  

摘要： 需求:快速处理,灵活分析大数据中信银行信用卡中心是国内银行业为数不多的几家分行级信用卡专营机构之一,也是国内最具竞争力的股份制商业银行信用卡中心之一。近年来,中信银行信用卡中心发卡量迅速增长,2008年全年发卡量约为500万张,

关键词： 数据仓库   人口信息统计   人口信息库   公安人口管理  

摘要： 数据仓库技术是社会经济和IT技术发展到一定阶段的必然产物,而数据挖掘则是有效利用海量、复杂数据的一种思想。本论文结合国家人口信息系统发展的现状,介绍了数据仓库、数据挖掘技术在国家人口基础信息库建设中的具体应用。　　人是各种社会活动的参与者,获得、使用人口信息是观察、理解和驾驭社会活动的一种手段。目前我国公民的基础人口数据由公安部门集中管理,经过十几年的信息化建设,已经具备了一定的数据基础。而IT技术的发展,催生了数据仓库、数据挖掘等处理海量数据的技术,为人口信息的开发和利用提供了强有力的支持。

关键词： ETL   数据仓库   分布式   hadoop   上海检察院   电子政务  

摘要： 在今天电子信息高速发展的时代,电子政务系统经过快速的发展,已经在卫生,公安,检察院等各级政府机构得到广泛应用。但是这些政府部门的电子政务运用大多还处于平级和各个分散的部门之间,近年来,各高级政府部门注重民生,为了做到对直属下级有更好的信息监控和对行业政策有更好的宏观分析决策,迫切需要一套更有效的信息系统,对这些数据整合,分析,决策. 数据仓库建设是目前行业内积极进行的一种解决方法。通过对各个分散的数据库,进行数据抽取,装载,可以把电子政务近十几年的数据进行有效的整合,形成数据仓库,然后再在其上进行分析,决策,为政府高层的政策提供详细的数据分析和政策决策。 本文在以上海检察院电子政务的基本情况为背景,提出了一个基于分布式结构的数据仓库系统,详细阐述了该系统的设计方案,首先进行了可行性和系统需求分析,接着在设计部分,提出了系统的建设任务,然后确定了系统的结构、总体框架和各功能模块设计,最后阐述了实现方式。这类系统的成功应用,在设计模式和实现方式上可以为同类的相关电子政务系统建设起到一个参考和借鉴的作用。 在整个系统方案的解决中,使用了多种技术和工具,这些包括UML建模工具,数据仓库整合工具SSIS,数据仓库展现工具SSAS,分布式数据处理hadoop框架,采用的是SQL2005数据库。其中利用开源分布式框架hadoop,有效的解决了解决传统的ETL过程中数据转换缓慢这一问题,同时加强了ETL过程的管理,使其在任务分配,回溯管理等方面更加稳定,高效。

关键词： 数字电视   数据仓库   嵌入式软件开发平台  

摘要： 随着数字技术的快速发展,数字电视所表现出的优势日益显著,越来越受到人们的喜爱,世界各国纷纷发展本国的数字电视技术。数字电视在国外许多国家已经开始慢慢普及,国内数字电视发展相对缓慢,其主要原因之一是受到了本国相对落后的数字电视嵌入式软件的制约,其背后真正隐含的就是本国数字电视嵌入式软件开发平台技术还不太成熟,对其进行研究具有很高的价值。 本文基于数字电视嵌入式开发平台的开发需求,提出了数字电视嵌入式软件应用仓库,并对它进行了深入研究。本文主要工作和成果如下: （1）国内外数字电视技术的发展现状研究。分析了我国数字电视嵌入式软件开发平台所面临的问题,引出应用仓库的概念。 （2）对数字电视的相关技术进行了研究,主要包括Eclipse嵌入式集成开发环境和构件技术。 （3）对数字电视集成开发平台以及应用仓库在其中的位置和作用进行了研究。 （4）应用仓库系统设计与实现。基于本文前面的研究成果,对应用仓库系统体系架构进行了设计,并对核心模块加以实现。 本文所研究的应用仓库与数字电视嵌入式软件开发平台紧密结合,将对数字电视嵌入式软件的开发提供重大技术支持,进而推出数字电视业务的发展,对本国数字电视的普及作出重要贡献。

关键词： 商务智能   存销比   ETL   数据仓库   营销决策   分析模型  

摘要： 随着全球经济一体化的深入，国家已经逐渐放开了烟草市场，具有垄断地位的烟草行业将面临来自国内外的双重压力，国外同行把中国视为烟草类新兴市场中必争的战略高地。为了寻求发展、增强国际市场的竞争力，国家烟草专卖局于2005年正式提出了“数字烟草”战略。相对封闭性的烟草企业为了响应这个战略，纷纷加入信息化建设的行列，使得商业环境中的数据量日益庞大，当积累到一定程度后，这些海量数据必然会反映出有规律性的东西。在此背景下，企业想从这些海量数据中挖掘出潜在有价值的商业信息，就迫切需要借助具有强大数据挖掘能力和决策分析能力的商务智能技术，进而提高企业的营销决策和风险防范能力。 鉴于此，本文通过对烟草行业的特点进行分析，以库存和投放提出基于商务智能技术的营销决策分析系统。主要研究工作归纳如下： 1）详细介绍了商务智能的内涵及几大核心技术，综述了商务智能在国内外的研究现状并对商务智能在烟草行业企业集团的未来发展趋势进行了展望。 2）商业公司库存决策模型建立。该模型采用主动供货的库存控制策略与存销比共同确定库存水平，建立预警机制和风险管理，实现对市场销售动态、库存和投放等关键指标的实时监控与自动预警，进而确保卷烟销量预测、库存定位和实时投放工作的科学有序进行。 3）零售业库存决策模型建立。以烟草公司管理零售库存为切入口，引入抽样调查机制对不同零售户类别的卷烟库存及销量进行采集和抽样，利用因果关系预测法推算全省社会库存及销量。决策者再根据社会库存及销量所得到的可销天数来预测零售市场未来需求，为卷烟后续投放工作做出智能化决策。经过多次应用证明，模型准确率达到90%以上。 4）使用ETL工具对浙江省十一个地市公司数据进行抽取与整合，针对浙江省烟草的实际情况，建立省烟草公司的数据仓库。 5）省烟草公司营销决策分析平台设计与实现。在数据展现与分析过程中融入商务智能强大的数据挖掘分析方法，建立基于全流程业务驱动的分析模型和决策模型，如决策层的购销存分析模型、波斯顿矩阵分析模型、销售结构分析模型、市场价格分析模型、品牌献度分析模型及执行层的库存决策模型等，对数据进行全方位展现和深层次挖掘，形成烟草行业的参考分析模型库，用于支持企业商业活动的精细化管理和动态化决策。本课题将商务智能与企业业务充分结合，实现了全流程的业务驱动信息与决策商务智能平台。