课程文献中心 更多>>

关键词： 实时数据仓库   数据交换平台   事件触发调度   多线程任务执行分解  

摘要： 在当前经济竞争激烈的信息化时代，实时数据仓库不仅需要为BI（BusinessIntelligence）系统提供预测和分析的战略性支持，而且还需要提供实时战术性决策支持。实时战术性决策支持要求实时数据仓库能够进行实时快速地更新，然而传统数据仓库ETL周期调度更新方式和批量处理不能实施实时快速地更新，鉴于达梦数据交换平台是一款专业的ETL产品，且不能对实时数据仓库提供实时支持，因此，对达梦ETL改进以适应实时数据仓库环境具有重要意义。 基于实时数据仓库特点及对ETL新要求的分析，提出了一种实时数据仓库体系结构;同时在对达梦ETL实现原理进行了深入研究基础上，从调度策略和ETL过程执行两方面进行了改进。其一：考虑到传统数据仓库以天、星期和月等为周期进行周期调度，这种方式的数据时延很大，不能满足实时数据仓库环境的要求。因此在达梦ETL上增加了一种事件触发调度，事件触发调度是一种灵活的实时调度策略，它结合了数据源中变更数据的特点及用户的需求等，可以实现从多角度设置触发条件，能够实时地对数据仓库中数据进行更新，很好地满足实时数据仓库对ETL的实时调度的需求。其二：实时数据仓实时性实时触发调度需要快速执行ETL过程，而达梦ETL过程执行时，数据抽取、转换和装载过程各在一个线程中执行，因此采用了多线程任务执行分解方案对ETL过程执行加于改进，实现多线程并发执行数据抽取、转换和装载过程，通过提高并发度来提高ETL过程的执行效率。 通过实验表明，事件触发调度策略能够根据用户所设置的条件进行判断，在条件成立时实时地把增量数据集中的数据更新到实时数据仓库中，并且多线程任务执行分解改进在系统CPU资源没有得到充分利用时，对ETL过程的执行效率有一个显著的提高。

关键词： 高考志愿   数据仓库   联机分析处理   数据挖掘  

摘要： 高考是我国教育体制下非常重要的考试,其中填报志愿是高考志愿中相当重要的一部分,也是一个需要花费很多时间的查询研究的过程,但这种传统的查询方式已经不能满足考生对志愿的选择,导致很多考生分很高但是因为志愿没填好与更好的高校专业失之交臂。本文首先对考生进行需求分析,在分析历史数据的基础上,引入了数据仓库,数据挖掘,联机分析处理结合的决策支持系统。在设计过程中,重点是数据挖掘对数据进行建模,来实现预测和辅助考生决策的功能。

关键词： 纳税评估   数据仓库   数据挖掘   分类算法  

摘要： 我国税收制度还不完善,纳税人税收遵从度水平较低,造成的税收流失相当严重。纳税评估工作是对纳税人的纳税申报的真实性和准确性做出定性和定量的判断,它已经成为税收管理工作的重要组成部分。随着税收业务的发展和信息化的应用,我国税务系统逐步实现了全省集中模式,由此产生了大量业务数据,如何将数据进行整合、分析利用和深入挖掘、发现隐含的信息、获取数据的内在联系,已经成为重要信息化工作。而传统的纳税评估系统无法满足目前的要求,为了提高纳税评估的效率和质量,对传统纳税评估系统在数据仓库架构和纳税评估模型两个方面进行了完善,并结合A市地税局的业务需求,设计出的基于数据仓库的新型纳税评估系统。 本文主要内容是从纳税评估数据仓库构建和纳税评估模型构建说明基于数据仓库的纳税评估系统设计。首先在数据仓库和数据挖掘理论基础上,对纳税评估数据仓库的架构设计、模型设计和ETL设计进行论述;再根据纳税评估业务需求,阐述了纳税评估系统功能设计;最后对纳税评估模型进行深入研究,运用数据挖掘分类算法,构建了纳税评估决策树分类模型、纳税评估朴素贝叶斯分类模型,并对模型准确性进行评价。 纳税评估系统设计开发完毕后,经过试运行,达到了预期的效果,预测准确性明显提高。但系统也存在着亟待解决的问题,本文最后对该系统的应用效果和需要改进的缺陷进行了分析。

关键词： 音乐网站   点击日志分析系统   系统设计   数据仓库  

摘要： 随着网络信息化的迅速发展和中国网民数量的不断增加,在线音乐网站的用户数量也迅速膨胀,目前国内部分音乐网站每天的点击量已经超过一亿次。这部分数量庞大的音乐点击日志中蕴含着丰富的商业价值,针对这些日志数据进行分析的结果不仅可以帮助提高音乐网站的核心竞争力,还可用于支持企业运营推广和分析决策。如何快速方便地对大数据量的音乐点击日志数据进行统计与分析成为目前音乐网站关注的主要问题。　　本文研究对象是一个每天访问量将近亿次的在线音乐网站,日志分析系统针对该网站每天产生的日志点击数据按照具体业务逻辑进行计算处理并生成统计结果,从而支持企业数据分析需求。本文首先从日志分析系统日志数据量十分庞大这一特点出发,简单介绍了基于列存储技术实现的数据仓库的优势。接着,结合目前大数据量分析型应用系统的主流解决方案,详细介绍了InfoBright的相关技术原理,并选择InfcoBright作为本系统的数据库引擎。　　接着本文从系统的总体结构出发,首先分析点击日志数据的格式特点,并根据系统的特殊业务需求设计了数据库分表的策略。其次,为了达到快速方便处理数据的目的,设计了一个数据处理框架,并详细介绍为保证该框架的可扩展性、灵活性和健壮性所采用的设计思路。接着介绍了基于数据库分表策略实现的数据查询框架,详细阐述了基于SQL语句的面向对象思想设计方法及该查询框架的分层策略。　　最后本文对实际运行结果进行比较和分析。目前数据处理框架每天完成六千万数据的统计处理时间为四十分钟;数据查询框架可以支持跨不同分表总数据量在一千万到两千万之间的快速查询工作。实践证明,系统的设计与实现达到了预期要求。

关键词： DW2   非结构化数据   大规模并行处理   数据生命周期   BSC  

摘要： 在企业中，经过若干年信息化工作后，企业中保留了大量历史数据。在第一代数据仓库建立后，企业已经可以利用存在的历史数据来做事务性数据的分析工作。但随着数据生产成本的不断降低，人类生产数据的数量正在飞速增加，整个社会正处在数字大爆炸的时代，从而使企业的生存环境发生了巨大的变化。对于企业而言，如何去适应这种变化已经变为能否在行业中保持领先的决定性因素之一。第一代数据仓库已显现出非结构化数据处理、容量、经济性等问题，不能再满足企业对数据存储与分析的需求。 本文的主要目的是在第一代数据仓库的基础上，通过引进第二代数据仓库（DW2.0）架构，并结合当前流行的并行处理计算技术，来实现第二代数据仓库的应用。 论文介绍了实现第二代数据仓库的技术背景，设计了数据仓库平台的总体架构，详细描述了数据仓库平台中各个组成部件并进行了总体设计，实现了第二代数据仓库中的三个关键技术。它们分别是：1）并行数据处理技术实现，包括硬件组成与数据库软件的使用，并行数据处理的实现使企业能在成本有限增加的前提下，实现对大数据量和高性能存储与分析的需求;2）对非结构化数据存储与分析的技术实现，使企业能够对占企业数据量60%的非结构化或半结构化数据进行分析，帮助企业利用所有企业中的数据并获取价值;3）根据数据仓库中数据的使用概率和访问模式，将数据分为交互区、整合区、近线区与归档区四个区域进行数据生命周期管理，用以提高数据仓库的性能。 论文将以实例的方式来说明第二代数据仓库将如何有效支持企业战略决策工具BSC（平衡计分卡）系统的运行。BSC系统是帮助企业化战略为行动的管理体系。BSC项目的主要作用是将企业的战略目标划分为财务、客户、内部流程、学习与成长四个基本方面，由BSC战略地图将以上四个基本目标划分为互为因果的具体指标，通过对指标的高质量执行与评估来提高企业的管理水平。第二代数据仓库的实施将为BSC系统提供全面的数据支持，这些数据不仅包括来自企业ERP系统的结构化数据也包括企业在运行过程中产生的非结构化数据。将结构化数据与非结构化数据进行综合分析后，可以揭示出企业在运行管理过程中被忽略的重要信息，帮助企业获得更加精确有效的BSC指标评分，有利于企业不断改进企业流程与管理方法，从而提升企业的核心竞争力。

关键词： 新农合   数据仓库   关联规则   数据挖掘   离群数据  

摘要： 自2003年新型农村合作医疗制度在余杭区试点以来,一套针对新农合的信息管理系统被开发使用并不断得到完善,系统虽已汇集大量新农合相关的数据,但是,系统仍缺乏挖掘数据背后隐藏知识的功能,导致“数据爆炸但有效信息贫乏”情况的出现。基于数据仓库和数据挖掘技术的决策支持系统是数据库领域的研究热点,可有效解决上述问题。 本文根据余杭区新农合管理的实际情况,在研究了数据仓库和关联规则数据挖掘的基础上,建立了适合余杭区新农合管理的数据仓库,着重研究了新农合居民疾病风险规则挖掘和保险费用离群数据挖掘。论文完成的主要工作如下: 1.分析了数据仓库体系的基本原理,并针对余杭区现有新农合管理系统的数据库特点和新农合管理实际需求,采用SQL Server 2005构建了面向数据挖掘的数据仓库。 2.分析了关联规则挖掘算法的工作原理,针对Apriori算法的局限性和新农合数据的特点,采用两次裁剪的方法,对Apriori算法进行了改进,并将改进后的Apriori算法运用于余杭区新农合管理系统中进行新农合居民疾病类型关联分析。 3.介绍了离群数据挖掘的基本概念,采用基于规则的方法实现了农民医疗费用的异常点检测。 4.设计并实现了一个集数据提取、数据预处理、关联规则挖掘和结果显示于一体的新农合管理系统。 5.最后,对全文进行总结,并对进一步的研究提出一些展望。

关键词： 变压器   状态检修   数据仓库  

摘要： 变压器是电力系统中重要的设备，其运行状况的好坏直接影响系统的安全运行。木文针对当前变压器实施状态检修的必要性和可靠性，对变压器的状态信息进行了系统的分析。

关键词： 连锁超市   架构   数据挖掘   B/S   数据仓库   信息化  

摘要： 随着知识经济的到来，现代计算机技术、信息技术、网络技术的快速发展，迫使连锁企业的经营方式发生改变。网络技术和企业信息化管理系统在连锁企业的管理上被广泛的应用，使企业管理的面貌焕然一新，最终引发了一场信息化的革命。目前对于中小型连锁超市的发展，迫使他们必须要进行规范化的管理和资源信息的共享，降低企业运营成本、增强对市场的敏感反应能力是一个关系到企业生死存亡的问题。并利用信息化的手段把先进的企业刮泥方法引入企业的实践，为企业的管理改革提供切实可行的途径。更重要的是超市运营系统可以及时通过信息技术把企业数据转化为企业信息，进而为企业提供决策依据。因此必须为中小连锁超市开发一个有先进的管理思想和企业的信息化运营系统能够为超市在市场中站稳脚跟。这正是本系统幵发的目的和意义。 本文的主要内容是围绕超市运营系统展开，对目标设计、系统开发背景、系统功能分析、系统功能模块设计、数据库需求分析与设计、各功能模块编码实现、系统的发布等各个过程进行了详细的描述。程序功能贴近实际，内容精炼，系统对企业中常见的采购、库存、销售等商业活动以及相关的供应商和客户等基本信息进行管理。系统设计开发了连锁超市的系统基础信息模块、系统管理模块、进货管理模块、销售管理模块、现金管理模块、库存管理模块六个模块。其中本文重点讲述的采购模块、库存模块的设计、幵发和实现。该软件具有简单、高效、功能强大、界面友好等特点，给幵发者带来很多方便。 开发中用到的工具和技术简单介绍如下： 本系统结合本系统的功能需求和应用需求，基于.NET平台，使用B/S三层架构，使用Microsoft Visual Studio2008作为开发工具，使用MS SQL Server2008数据库系统，使用C#语言开发。前台的界面设计美观、操作简单、应用程序功能完备;后台的数据库具有数据的一致性、完整性和安全性。本文给出的适应连锁超市的特点和需求的运营管理系统的设计方案和具体系统实现方法，该系统具有一定的代表性。目前该信息系统已经成功开发，并已经投入使用;使用该系统后提高了企业的工作效率、增强了企业的业务管理，具有非常好的应用前景。

关键词： 数据仓库   数据挖掘   学业预警   决策支持  

摘要： 平均绩点是评价本科生学业表现最重要的标准，但由于平均绩点计算的滞后性，学生在大四时才能获知自己的平均绩点。一旦平均绩点偏低，会给即将毕业的学生造成种种不便。 通过对历届学生的成绩分析，可得出学生成绩的普遍发展模式。根据这些模式建立预测模型后，可根据学生现有课程成绩预测其未来绩点。同时可为学生选择重修或选课提供建议;也可以帮助专业教师针对不同情况采取不同的策略来引导学生完成学业。 本文以S大学教育技术系本科生为研究对象，采集了2002级-2010级学生成绩的历史数据，利用Microsoft SQL Server提供的数据挖掘功能，根据历史数据建立模型，对在读学生进行绩点预测，从而根据学生现在的学业表现预先获知其毕业时的平均绩点情况，这样学生就可以提前采取措施来避免不达标这种情况的发生，同时，对于老师而言，针对不同学生的具体情况，也可以采取一些更有针对性的措施。 为了保证研究能够真实的反映学生成绩的未来表现，并能真正为学生和老师提供决策支持，提高管理的效度，必须要对这些数据进行更加有目的性的处理。首先，建立基于学生成绩的数据仓库，包括对学生成绩数据仓库的结构设计，模型设计及数据的抽取，转化和加载;然后，选择合适的数据挖掘算法，根据历史学生成绩建立模型，预测在读学生未来的绩点表现;最后，将结果反馈给学生和老师，使得每个学生能够查询到自己的未来绩点表现，并且由系统给出以后学习的建议。同时，对于老师而言，可以获得所有学生的数据，对所有学生进行全面把握，对于一些可以出现问题的学生，及时采取措施，以避免这种情况的出现。通过该系统使以前的处理问题式的教育方式转变为现在的预防问题的方式，很好的体现了大学以学生为本的教育理念。

关键词： 数据挖掘   数据仓库   医疗费用  

摘要： HIS系统多年来广泛使用产生了大量的信息存放于数据库中。“数据丰富，知识贫乏”形象生动的描绘医疗卫生系统对数据的使用状况。发掘医疗数据中蕴含的知识，成了目前医院管理者的迫切需要。 本论文对国内外HIS系统和数据挖掘情况进行了分析，根据实际情况提出课题研究目的和意义。本文以“医疗费用数据挖掘”系统的开发为目的，采用了C/S架构，运用功能强大的SQL Server2008R2作为数据仓库，较为成熟的Powerbuilder9.0作为开发工具，设计并实现了一个有较强实用性的应用程序。系统的主要内容包括：患者费用构成分析模块，分析门急诊和住院患者的费用构成情况;业务收入对比分析模块，用于相同科室或整个医院同期费用比对和不同科室间收入比对;成本效益分析模块，实现了医院整体和具体科室的成本效益分析;系统管理，添加删除用户，设定权限，修改密码。 本文实现了对HIS系统数据更高要求的查看与分析，满足了医院管理者和财务相关人员的需求，更好的为医疗卫生行业服务。