课程文献中心 更多>>

关键词： 数据分析系统   决策支持   ETL   数据仓库   门户集成  

摘要： 随着航天某院信息化工作的不断推进,各类业务系统不断增多,数据量不断增大,不同业务部门之间的数据共享问题、数据不一致问题越来越突出,与此同时,上级对其管理提升提出了明确要求,促使航天某院需要更好的IT系统为领导层决策、管理层分析提供有力的数据和技术支撑。本项目的实现为航天某院以及下属各单位的领导层和管理层提供了一套面向决策支持的数据分析系统,很好地解决了数据不一致和数据共享问题,从院级层面消除了数据孤岛问题,可以加快不同部门之间达成共识的速度,更高效率地发现和解决问题,为院领导提供了可靠的决策支撑,从而提升某院的管理水平和经营绩效。本文以航天某院面向决策支持的数据分析需求为出发点进行需求分析,通过对领导层和各部门管理层的业务分析需求进行归集整理,同时对现有业务系统的数据结构进行分析,利用ETL工具进行数据的抽取和加载,然后对业务原始数据进行过滤、清洗、转换、派生、补全、汇总等一系列的处理,形成标准、统一、一致的数据加载到数据仓库中,数据仓库的设计采用了流行的星型模型设计模式。然后利用BI产品进行Universe语义层建模,在此基础上进行报表制作和仪表盘制作,从而实现数据分析功能。本系统建立了战略规划、科研生产和市场经营三大业务主题的指标体系,实现了三大指标主题的报表图表形式的分析展现。本系统提供了强大的分析能力和丰富的分析结果可视化手段,使得分析的结果数据可靠,分析结果的业务含义也容易理解。系统通过系统管理功能进行安全管理,保障了数据安全。系统经过测试,满足功能和性能设计要求。

关键词： 数据分析   数据仓库   决策系统优化  

摘要： 在当下二十一世纪,我国市场经济高速发展,各行各业之间竞争力也逐渐增大,而信息技术也渐渐参与到各大企业之中。如何高效快速得获取信息程为各大企业需要关注的焦点,所以获取信息使用的手段和渠道越来越多,我们面临的信息量也越来越大。管理层想要的更好决策,不但需要实时的数据采集,更需要短时间内做出最有效的决策。综上,现在我们迫切需要高速高效的工具来进行数据分析,节省处理大量数据的时间。本文就医数据仓库技术为突破口来介绍如何优化数据管理分析。

关键词： 会计信息系统   数据仓库   事件驱动机制  

摘要： 从上个世纪90年代到今天,信息技术革命和经济全球一体化推动企业经营环境发生了巨大变化,会计学术界也希望通过应用先进的信息技术手段来顺利解决由于经营环境改变所带来的一系列困难。不同于以往的会计信息系统,新型会计信息系统改变了以往的数据采集范围以及存储结构。以往的会计信息系统只是将会计流程进行了自动化处理,会计提供的信息仍然无法满足管理和决策的需要。现如今,信息技术作为企业工作环境中的基础,同时也是最具有时代特色的。特别是以快速发展的互联网技术和计算机技术为基础的信息经济环境。在全世界,各行各业慢慢的都向着信息化管理的方向发展,这已经形成了必然的趋势,只有紧紧跟住时代的脚步才会有更好的前景。在这种新形势下,传统的会计信息系统必然要注入新的信息化管理的思想和技术。解决目前传统会计信息系统问题的有效途径就是构建基于数据仓库的事件驱动型会计信息系统。下文通过将模型库、方法库以及对应的数据仓库进行结合,以达到突破传统会计信息系统数据采集范围和数据结构的局限的目的。根据企业决策分析所需要的综合数据、历史数据等信息运用数据仓库技术集成,来对传统会计信息系统在数据结构的局限性上进行突破,以此来满足不同行业的不同信息需求者的需求。从数据仓库原理、事件驱动机制和会计信息化的发展过程着手,然后对会计信息化应用数据仓库和事件驱动机制的必要性和可行性进行讨论,最后从构建思想出发,围绕构建目标、原则、系统构建、应用、保障体系对系统进行构建。在业务事件发生时进行会计信息处理并实施会计规则控制,创建出以数据仓库为主要技术手段、以业务事件为驱动的,同时能实现会计核算、管理控制和决策支持功能的会计信息系统。最后结合A集团的会计信息系统,对系统实施中遇到的具体问题再进行分析讨论并提出相应的优化建议。

关键词： 商业银行   数据综合处理   数据集成   数据仓库   关联分析  

摘要： 随着我国金融产业的繁荣发展,商业机构的规模不断壮大,银行产业所接触的数据也不断增多。国外商业银行的需求和理念不断推动着我国银行在数据处理方式上的转型与创新,银行数据处理已迈入融合数据集成、数据仓库和数据挖掘等先进技术的新阶段。本文首先分析了目前银行运营过程中所面临的数据源众多、业务类型多样、分析方法缺失等技术难题,在总结国内外相关研究和实践成果的基础上,借鉴上述数据处理技术的成功经验,以国内某知名商业银行为背景,从实际业务出发,设计并实现了一款融合数据集成、数据存储、数据分析与数据展示的银行数据综合处理平台,研究工作如下:1.设计实现了一套数据集成方案,提供对银行各类异构数据源的集成。在研究数据集成方案的过程中,本文针对银行机构存在多种数据源的特点,设计为每个独立数据源均配备一个独立的包装器,各类数据被提取到各自的包装器内,然后通过指定的转换算法,将不同格式的数据转换为统一的XML Schema,并生成XML文件。该方案实现对银行多源数据的提取与转换,有效地解决了银行异构数据集成的问题。2.设计构建了一套基于银行业务的数据仓库架构,实现了银行数据的分类存储。在研究数据存储方案的过程中,本文采用数据仓库的存储架构,并结合该银行运营过程中实际开展的不同业务,将本系统的数据仓库架构划分为数据仓库和数据集市两个部分。数据仓库按照银行业务采用主题模型进行构建,划分了十类主题。数据集市根据数据的实际应用需求,分别采用了业务建模和星型模型的方式进行设计。采用这种架构有效地解决了银行数据的分类存储问题。3.设计采用了不同的数据统计方法和关联分析算法,实现了银行业务的多维分析和关联分析。通过对数据的累加、类比、分类和整合等数据统计方法,实现对银行核心业务、渠道业务及理财产品等业务的多维分析。同时,还采用了优化的Apriori算法,实现了客户与银行理财产品的关联分析。以上方法的使用,有效地实现了银行业务运营情况的分析,为银行业务的未来发展提供了良好地决策支持。4.基于上述工作设计并实现了一套银行数据综合处理平台,该系统提供对银行数据的统一集成、分类存储、多维分析与关联分析,并采用了Flex技术实现了数据展现功能。最后,使用测试工具对系统进行了Web页面测试和性能测试,验证了系统的可靠性与稳定性。该系统的使用,有效地解决了银行多源数据的统一整合,各类业务数据的分类管理,以及业务运营情况的分析等问题,起到了增进业务发展、提供决策支持的重要作用。

关键词： 数据挖掘   数据仓库   可视化分析   轨迹挖掘   回归分析  

摘要： 随着“互联网+现代畜牧业”的提出，云计算、大数据等先进技术不断应用到传统畜牧业当中，物联网技术的不断发展以及智能装备的不断投入使用，为畜牧业积累了大量的数据，如何从海量数据中挖掘出有价值的内容，为牧民提供合理有效的养殖放牧指导、为政府提供准确的决策支持，是本文的研究重点。　　面对来源不同、维度不同、存在不准确因素的数据，如何保证数据的准确性、统一性、完整性是本文要解决的问题之一。文章建立了ETL数据处理模型，将来源不同、维度不同的数据经过抽取、转换、加载至数据仓库当中。数据的来源主要包括三个方面，其一是合作单位的业务数据库，数据内容包括在养殖过程中产生的放牧轨迹数据、测量的羊群体重体尺数据、屠宰过程中产生的屠宰价格等数据、销售环节中产生的销售价格数据等。其二是通过网络爬虫获得的各个地区的羊肉价格数据，三是气象局购买的内蒙古自治区近三年的气象环境数据。数据仓库按照主题模式建立，根据不同的业务分为养殖主题、屠宰加工主题、仓储物流主题、销售消费主题、气象环境主题。文章第二部分研究致力于将数据挖掘算法应用到畜牧业数据当中，文章以DBSCAN聚类算法处理GPS设备产生的放牧轨迹数据，将数据进行聚类分析，得到牧群的聚集区域，将地图和热力图相结合，展示牧群的聚集区域和数量信息。为了探究草原羊体尺特征与体重值之间的关系，文章将回归估计应用到体重体尺数据的分析当中，在标准线性回归的基础上对回归系数公式做出改进，为解决模型欠拟合的情况，在回归系数公式中增加权重参数进行局部加权优化，为解决体尺特征间共线性的问题，在回归系数公式中增加缩减参数，找到最优系数集合，建立适合草原羊体尺、体重数据的回归预测模型，探究草原羊体尺特征与体重值之间的关系。文章最后一部分的研究致力于建立苏尼特羊数据可视化展示平台，展示牲畜结构数据、牧户数据、防疫数据、草场结构分布及变化数据、屠宰主题数据、销售主题数据、气象环境主题数据。

关键词： 数据仓库   器材管理   决策支持系统  

摘要： 随着我国经济的快速发展,人们的生活质量得到了明显的提高,相应的思想认识水平也就有所提高,近年来,管理意识就比较深入人心,因为管理意识的不断深化有助于起到一定的规范作用,进而有助于取得良好的管理效果.而在广电基层台站运营的过程中,就需要做好相关的管理工作,而广电基层台站器材管理就是其中的重要内容,而如何进行有效的管理就显得极为关键,这就不得不提到数据仓库的作用.

关键词： 财务数据   报表   自定义样式   数据仓库  

摘要： 随着当今科技的飞速发展,“大数据”这一概念逐渐被人们所熟识。而收集、整理、分析和存储这些规模越来越庞大的数据也成为了各个公司管理的重点。在我国,公司财务数据管理软件呈现的时间较晚所以其推广开展也相对滞后。过去,公司每月采用销售员邮件发起,部门助理收集部门收入和成本数据整理成线下文档,会计记账,分析师根据账目导出Excel文档并手工制成各种财务报表的流程,最终给公司领导层审核。这种流程不仅效率低下,需要大量的人力成本每月重复同样的工作,而且在各级人员处理数据的时候存在着严重的失误及作假风险,这对财务报表来说是不可接受的。在此压力下,本系统应运而生。本系统采用ETL工具Talend+Hadoop+Java+Qlik Sense主流技术发开,可在任何平台随时随地提交数据并查看财务报表。定制化的按照公司的组织架构自动同步用户的权限,严格控制数据的安全性。在实现公司财务报表自动化的同时,本系统也根据财务报表的发展趋势对财务报表指标侧重点进行优化,使报表更契合将来财务报表发展趋势,为决策者提供最大的支持。本文首先对公司财务数据报表系统的目的和意义,以及财务报表的概念、特点和发展前景做了介绍;然后对系统开发中所应用到的理论技术和工具进行了阐述;其次对公司财务数据报表系统的整体业务架构、系统内部架构和具体的设计与实现进行了详细说明。最后通过测试、上线运行验证了财务数据报表系统的有效性。由于系统规模庞大,本文重点是数据仓库、报表样式以及计算逻辑的设计和开发。

关键词： 数据仓库   数据平台   数据模型  

摘要： 金融系统数据平台中数据模型的设计方面,应充分考虑源系统的各数据信息项,对其进行客户化、完善优化和扩展。本文从数据模型设计理念、模型层次、主题域模型设计、概念数据模型设计、逻辑数据模型设计、物理数据模型设计及数据模型设计规范七个方面,说明了金融系统数据平台中的数据模型的设计。

关键词： 数据仓库   ETL   资源利用率   Kettle  

摘要： 信息是当今社会的重要资源,是各行各业进行科学管理、决策的基础。信息的数据量每年都在指数型增加,这些信息数据蕴含着巨大的价值。然而,目前各个行业对信息资源的利用率非常低,只有2%到4%左右。浪费了大量的时间以及人力物力。因此,如何提高信息资源的利用率成为了社会各界共同关注的话题。数据仓库在此背景下应运而生。ETL是构建数据仓库的重要步骤,它按照统一规则集成数据,进而提高数据的价值。数据仓库的构建过程中,需要大量的ETL作业。如何有效管理这些ETL作业,是提高ETL效率的关键。本文基于Kettle研发出一套全新的ETL管理系统,极大提高了 ETL的效率,从而提升了信息资源利用率。现在ETL技术用到的工具主要有:OWB、OD1、Informatica、Kettle等。其中,Kettle是一款开源的ETL工具,利用JAVA编写,可以在多种系统上运行,数据抽取比较高效。因此,本文选择了 Kettle作为ETL的工具。然而,Kettle在性能上拥有很大的瓶颈,同时作为一个开源的工具,其自身bug较多,而且没有友好的中文版本。另一方面,当前的大部分Kettle作业是以文件状态分散存储在各个机器中,不利于统一管理和监控,且作业多数采用单机执行,效率较低。因此,有必要创建一个ETL作业管理系统。通过ETL作业管理系统的开发使用,清晰、高效地通过作业管理调度的方式处理ETL过程。ETL管理系统基于Kettle集群开发。Kettle集群与许多分布式系统类似,以多服务器运行,能有效防止单点失败,速度较快,适用于大数据量的操作。但Kettle集群存在网络带宽要求高等缺点。为了使整体性能最优,系统重写了Kettle 一些原有的功能,使Kettle集群只负责作业及转换的执行,从而达到集群负担最小化。同时系统针对众多的ETL作业进行统一管理,将ETL作业传输到资源库并完成分类管理,结合Kettle集群及其负载信息,采用实时及定时执行策略,实现作业调度及作业执行过程的监控。并且系统引入了作业流程设计功能,可根据具体的业务场景,提供可视化流程设计器绘制流程图,实现ETL作业按流程执行。另外系统还提供了 ETL作业管理及监控、机器资源监控、服务器环境一键化搭建等功能。系统解决了以往Kettle操作繁琐、效率低下、不稳定、用户体验差等问题,系统页面内容丰富,信息直观明了,用户友好性极高。实现了 ETL作业的统一管理和监控,使众多的作业能在集群上执行,大大提高了执行效率,减小了 ETL失败率,加大了信息资源利用率。

关键词： 数据仓库   开放教育   教学管理  

摘要： 随着教育信息化的迅猛发展,高校各部门的信息化管理已经成为常态。但对于这些数据的处理仍然是查询和简单的统计报表,大数据处于半浪费的状态。本文以电大开放教育的教学管理的数据为基础,对开放教育教学管理数据仓库的结构和模型设计,多源异构数据源的存储与管理,多维数据集的建立进行深入研究,为开放教育的教学管理提供决策依据。