课程文献中心 更多>>

关键词： 数据仓库   列存储   RB+树索引   位图索引  

摘要： 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。数据仓库中的数据量非常大,并且在逐年增大。因此提高查询速度是数据仓库必须要实现的一个功能。 数据仓库中索引建立的好坏直接影响数据仓库的查询速度,索引的类型有很多,创建索引能提高查询的执行效率,但是创建过多索引而会带来额外的索引维护和管理开销。如何为合适的字段建立合适的索引,提高列存储多维数据仓库中各种分析查询的性能,是一个机会,也是一个挑战。 本文针对列存储数据仓库管理系统中的索引技术展开了研究与分析,具体的工作如下： （1）研究当前主流列存储数据仓库管理系统（如Sybase IQ、C-Store、MonetDB、Infobright）中索引技术,分析达梦数据库实验室中列存储数据仓库管理系统D3WMS （Donghua Dameng DWMS）的体系、特点及SSB数据集结构,以及典型的SQL查询语句中涉及到的索引类型。　 （2）分析研究D3WMS中已存在的RB+树索引,验证其空间和查询速度性能。改进其叶子结点结构,进一步提高索引的空间利用率。 （3）针对低基数数据,设计实现位图索引,并提出了基于压缩位图的直接计算方法CBT（Compressed Bitmap Index Execute Technology）,优化了位图索引的查询算法。RB+树索引将数据源区分为定长和变长数据两类,统一创建行号索引和列值索引。这种分类方式没有考虑数据列基数高低的特性,造成了极大的空间冗余。位图索引能够有效地改善低基数数据的冗余情况,极大地提高空间利用率和查询效率。 （4）针对高基数、具有层次关系的列数据,提出并设计了层次编码位图索引,极大地减少了列数据及维表上需要建立的位图、位向量个数,降低了索引存储空间,提高了查询效率。 本文实验以D3WMS为平台,以数据仓库基准数据集SSB为测试对象,进行了以下六方面的实验：1)RB+树索引和传统B+树索引的对比;2)RB+树与改进的RB+树空间利用率对比;3)基于压缩位图索引的CBT优化方法与原始位图索引方法的查询性能对比;4)压缩位图索引与源位图索引占用空间的比较;5)利用CBT技术实现分组查询的性能;6)层次编码位图空间占用率对比。实验证明,本文提出的索引方法能有效减少索引空间占用率,提高查询效率。

关键词： 区域传染病   输入型传染病   模拟仿真   传播模型   数据仓库   气象条件  

摘要： 作为世界上传染病发病最多的国家之一，我国面临的传染病流行形势严峻，严重影响了我国社会、经济的发展，给国家和人民带来沉重负担。全球新传染病的不断出现、旧传染病的死灰复燃以及自然、人为因素导致的环境变化对人类的健康产生的影响，在我国已有所体现，如近年新发的SARS、高致病性禽流感以及手足口病的传播流行对我国人民的健康造成严重危害。针对传染病发生与流行的新形势，急需应用空间信息技术集成我国已有的大量基础地理数据、遥感数据、气象数据、传染病数据和媒介生物等方面数据，在统一的空间基底上对传染病的传播与环境因素之间的关系进行宏观系统的分析，定量评价环境因素对传染病发生、扩散的影响，构建传染病流行病学模型对传染病的传播过程进行模拟仿真，评估、优化传染病防控措施，对于指导传染病的防控具有十分重要的意义。本研究应用地理信息系统和数据库技术综合集成我国各地区多年的传染病监测数据、媒介生物调查数据、基础地理环境数据、气象数据、人口与社会经济等数据，研究建立传染病综合信息数据仓库，并开展了传染病时空分布的多维信息分析和数据挖掘;以华北地区自然疫源性疾病、呼吸道传染病以及近年来流行严重的肠道传染病-手足口病为例，应用基于面板数据的Poisson回归和多水平负二项回归算法、空间趋势面分析、空间扫描聚类分析、Logistic回归等方法对区域传染病传播流行的环境影响因素进行了深入的分析，明确影响上述传染病传播流行的主要环境因素;以两种输入型呼吸系统传染病为例，基于虚拟地理环境（机场和展览馆）和虚拟场景，应用小世界传播模型、SIR传播模型对人群的行为和传染病的传播过程进行模拟与仿真，并对突发公共卫生事件应急处置方案、防控措施的效果进行了模拟演练与评估，建立呼吸道传染病传播的仿真模拟系统。 在我国传染病综合信息数据仓库的研究中，基于SQLServer2005的数据仓库技术对我国各地区1994-2000年传染病监测数据、媒介生物数据、人口与社会经济数据、基础地理环境数据等进行了综合集成，应用决策树、聚类、神经网络等算法进行了传染病相关环境因子的数据挖掘，初步筛选出不同类型传染病的环境影响因素，为进一步开展重点传染病环境影响因素的研究奠定了基础。 华北地区自然疫源性疾病、呼吸道传染病的时空分布特征及环境影响研究表明：华北地区自然疫源性传染病、呼吸道传染病的发生和传播与地理位置、人口、地形地貌、气候条件密切相关。华北地区自然疫源性疾病以肾综合征出血热、斑疹伤寒和乙脑为主，各省市8种传染病（肾综合征出血热、布鲁菌病、斑疹伤寒、流行性乙型脑炎、狂犬病、炭疽、黑热病、疟疾）的分布存在空间聚集性，以河北、内蒙古发病率较高;华北地区肾综合征出血热、斑疹伤寒发病率与平均气温呈正相关关系，布病的发病率与平均最高气温呈负相关，斑疹伤寒、乙脑发病率与平均相对湿度呈正相关;肾综合征出血热发病率与日照呈负相关。华北地区呼吸道传染病中肺结核的发病率与平均最高气温呈负相关，麻疹、流脑的发病率与平均气温呈负相关，而猩红热的发病率与平均气温呈正相关;麻疹发病率与最小相对湿度、猩红热、百日咳发病率与平均相对湿度呈正相关。 山东省手足口病环境影响因素的研究表明：2007-2009年山东省手足口病的流行高峰时间逐年提前、流行范围逐年扩大、流行强度逐年上升。手足口病发病年龄多在6岁以下，男性的发病率明显高于女性，病毒类型以EV71为主，夏季5-7月高发，在县级尺度上的研究表明各县区手足口病的发病率与铁路是否通过该县呈正相关，与该县本周平均气温、两周前日照时数和两周前的平均风速均呈正相关。应用病例对照的研究方法对重症病例的影响因素研究表明，发生重症的风险与性别、年龄相关，并与发病到诊断的天数、体温、口、腹部、臀部有无皮疹、精神异常、嗜睡、惊厥、有无合并症等均呈正相关关系。 本研究基于2009年北京甲型H1N1流感和2003年SARS疫情监测数据构建了传染病时空传播模拟仿真系统，基于输入性病例的传播流行特点对甲型H1N1流感、基于人口密集区域SARS的传播特点对SARS的传播过程进行了模拟和分析研究，我们获取了北京市区范围内的0.6米分辨率遥感影像数据和地理信息数据，对首都机场T2航站楼和北京展览馆内部进行精细的三维建模，建立了包括人物和交通工具等在内的大型场馆虚拟仿真环境，应用小世界模型对甲型H1N1和SARS在场景内的传播过程进行模拟，跟踪病毒携带者的活动路径，随时掌握不同时间段的呼吸道传染病传播情况和暴露范围。结果表明呼吸道传染病的传播与场馆内的人口密度、乘坐交通工具的方式、防御措施等有密切的关系，机场的检疫和隔离措施则直接关系到SARS的传播速度和范围。在城市之间的呼吸道传染病传播则采用SIR模型，结果表明与各个地区的人口密度有很大关系。系统的应急演练模块则通过高斯点源扩散模型模拟几种突发公共卫生事件

关键词： 数据仓库   OLAP   课程   学费  

摘要： 随着计算机技术迅速发展,许多高职院校迅速开展信息化建设,建立了包括教务管理系统、学生收费系统、科研项目管理系统等多个应用系统。一方面,这些应用系统在处理学院日常事务中发挥了巨大的作用,同时也累积了非常多的数据,形成了非常宝贵的信息资源;另一方面,这些应用系统主要用于日常管理工作,系统只提供了简单的查询和固定的统计报表,缺少从现有的海量数据中提取出有用信息的方法和手段,以帮助各级决策者获取有用的知识,增强自身的洞察力,从而提高决策的质量和效率。 本文通过研究数据仓库技术和OLAP技术的理论知识,借助四川交通职业技术学院创建国家高职示范院的契机,将数据仓库技术和OLAP技术运用到学生成绩和学费分析中。 论文通过介绍数据仓库技术和OLAP技术的相关基本概念和常用的其他技术,然后利用教务管理系统的学生成绩数据库和收费系统的收费数据库,使用Microsoft SQL Server2008建立数据仓库,利用Analysis Service建立多维数据集,使用MDX和Excel数据透视表对分析结果进行再现,对学生成绩和收费数据进行了深入分析,为今后的教学管理工作和学生管理工作提供科学的依据。 对系统的初步试验表明,系统满足了用户的需求,达到了预期目标。

关键词： 数据仓库   电信行业   经营分析系统   关键技术  

摘要： 基于数据仓库的电信行业经营分析系统关键技术探究，明确了经营分析系统以及数据仓库的基本概念，通过建立数据仓库模型、ELT设计以及具体实现，探索了基于数据仓库电信行业经营分析系统的关键技术，对系统的发展和优化有着重要的作用，具有较高的实际意义和研究价值。

关键词： 数据仓库   数据挖掘   客户细分  

摘要： 在电信业务发展整体趋势放缓、新业务发展还没有形成成熟商业模式的环境下，家庭电信业务市场已经成为电信运营商的希望所在。电信运营商都希望积极拓展自己的数字家庭价值链，基于自身优势发展家庭电信业务市场。因此电信运营商急需开发适合客户特点的最佳产品和服务，建立以家庭客户为中心的营销服务模式，而这些重点就在于对客户行为进行全面的分析和认知，即对客户进行细分，从而提供更具有针对性的产品组合和营销服务。本课题主要利用数据挖掘技术深入分析移动家庭客户的消费行为，对移动家庭市场客户以及家庭用户的套餐产品进行细分，从而精确识别和细分客户市场，并针对不同细分客户制定精细化的营销策略，减少营销成本、提高营销效益。 本文针对移动家庭客户的特征，结合黑龙江移动的实际情况，分析了数据挖掘的过程特点;针对家庭客户市场主题，提出了应用决策树算法的解决方案;主要有如下三方面的内容： 1．详细分析了国内外电信行业家庭客户市场现状，对课题研究的相关技术进行了综述，提出了移动家庭客户市场分析的总体方案。 2．重点研究利用数据挖掘算法建立数据挖掘模型的方法及步骤，以家庭客户识别模型为例，采用抽样方法拆分样本集，提出交往圈的概念，采用决策树和Logistic回归模型的算法建立数据挖掘模型，并对模型进行验证，给出挖掘的最佳方案。 3．在前期工作基础上，结合黑龙江移动的实际数据对模型进行应用评估，结果表明，基于数据挖掘技术的家庭客户市场分析能够有效识别潜在家庭客户，有助于移动家庭客户市场的分析与营销。

关键词： 数据仓库   OLAP   决策支持系统   数据挖掘  

摘要： 近年来,随着我国高等院校招生规模的不断扩大,高校的数量也在不断增长。数量的增多就决定了优胜劣汰,要想在激烈的竞争中得以生存,务必要提高教师的教学质量,找出影响教师教学水平提高的不利因素,有针对性的分析和解决问题。决策支持系统(Decision Support System,DSS)是一门新兴的管理信息技术,能为决策者提供决策所需要的背景资料及相关数据、信息,提高决策的正确性。

关键词： 数据仓库   逻辑建模   统一建模语言  

摘要： 数据仓库是面向主题的，抽取于数据库，受数据驱动。数据仓库可以为需要做决策分析的系统提供数据支持。我们主要关注数据仓库的逻辑建模，包括：需求分析、概念模型设计和逻辑模型设计。逻辑建模是建立数据仓库的首要前提，是成功建立数据仓库的关键步骤。数据仓库的建立对提高企业的决策水平有很大的意义，同时还能从中筛选出有价值的信息，随时跟踪到市场动态，提高企业的应变性。因此，好的数据仓库的建模方法显得迫切的需要。 本文将UML的概念引入到了数据仓库的建模技术之中，并且改进了传统的UML视图的缺点，更好地应用在数据仓库的逻辑建模中。 首先，介绍了数据仓库的相关基本概念，特别对比了现有的数据仓库建模方法的优点和缺点。现有的方法不能清晰地反应实体与实体之间的关系。而UML提供的一系列视图，清晰地表现了对象的属性和对象的行为之间的关系。因此，我们将UML引入到了数据仓库的逻辑建模中。 其次，改进了UML传统的用例图、包图、活动图和类图，改进后的UML视图能够更全面地反应对象的属性和对象的行为之间的关系，满足应对应变能力，直观地把握行为的承担角色。我们建立了基于改进的UML的数据仓库的逻辑模型的方法。 最后，把改进的UML的数据仓库逻辑建模方法具体应用于电信的开发过程中。实验表明，基于改进UML的建模方法，能够更加地直观观察到实体和实体之间的关系，有助于企业根据市场的变化制定应对策略。

关键词： 数据中心   商业智能   数据仓库   ETL  

摘要： 随着中国证券市场不断开放,证券投资基金也带来了很大的发展空间,国联安基金管理公司作为证券投资基金的管理人仅通过单一的服务手段已不能满足基金客户个性化的服务需求。如何创建出多样化符合客户要求的基金产品,组织更有针对性、有效性的市场宣传活动以保持基金客户对于国联安基金管理公司的忠诚度,如何吸引更多的新客户来维持足够盈利已成为国联安基金管理公司竞争力的关键所在。证券投资基金行业经过近几年来的快速发展已经成为当今中国计算机应用高度密集的行业之一 国联安基金管理公司主要业务涵盖投资交易、市场营销、运营保障、客户服务、风险控制等方面,高度的信息化积累了大量的业务资料数据,如何更好的组织、管理、利用这些数据信息内容,为其基金持有者提供更好的优质高效服务;降低国联安基金管理公司业务系统建设、升级、维护的成本;进行深层次的数据挖掘和分析,让公司决策者能够及时的掌握证券投资基金的运行情况,并根据这些分析结果制定长远规划,从而提高国联安基金管理公司的管理水平和竞争优势。 本文阐述了数据仓库在基金行业的发展与现状,介绍了国联安基金管理公司主要核心系统开放式基金登记结算系统(TA)的基本概念与主要作用,数据仓库与商业智能在国联安基金管理公司的运用以及ETL工具的主要技术。针对国联安基金管理公司客户数据的情况,需要建立一个统一性的、高可用性的、高可靠性的数据仓库处理系统,由此系统完成客户数据的统一管理、账户交易份额交易等数据的集中管理,实现公司统一客户数据平台,为之后的客户数据分析、深度挖掘、报表等提供一个良好的数据平台。

关键词： 数据   数据仓库   ERP   信息   数据库  

摘要： 随着信息时代的到来,社会必然会引起一场知识大爆炸,从数据仓库中获取相应的知识和数据挖掘必然会成为信息时代的重要技术之一。自从ERP普及之后,怎样才能从海量的数据信息中查找到对企业有价值的信息已成为企业优胜劣汰的关键。因此,在ERP建立过程中数据仓库的建立又显得格外重要。

关键词： 图书借阅分析   数据仓库   联机分析处理   多维数据集  

摘要： 图书馆的借阅数据是图书馆基础业务开展的核心,虽然通过事务管理系统的报表,能进行简单的统计,但是图书管理者已经意识到日常积累的借阅数据所隐含的信息不止如此,它们还能为图书馆的业务开展、日常管理提供依据。如何对大量的借阅数据进行重新组织、发现规律并不能只依靠简单报表及人为经验,还需要依靠计算机技术对数据进行分析。本文为了利用联机分析处理技术对借阅数据进行分析,开展了以下工作： (1)论述课题的来源和研究背景、目的意义、国内外现状、主要研究方法以及课题主要内容、结构安排。 (2)阐述原理及概念。包括数据仓库和联机分析处理相关技术以及基于SQL Server2008的数据仓库构架。 (3)对数据仓库系统进行需求分析。在分析的基础上,设计开发步骤。 (4)建立来源数据库,进行数据仓库核心数据库设计,利用ETL实现对数据的导入。 (5)建立多维数据集,结合图书馆工作人员的工作需求对多维数据集进行多角度多层次的分析,并进行前端展示。 (6)总结研究应用经验。 本文在研究数据仓库、联机分析处理论与相关技术的基础上,分析了数据仓库技术、联机分析处理技术应用于图书馆数据分析上的可能性,并最终实现了对借阅数据的OLAP分析。通过分析处理,总结了图书馆借阅的规律,为图书馆图书采购、日常管理提出了一些建议。