课程文献中心 更多>>

关键词： Hadoop   数据仓库   列存储  

摘要： 随着互联网技术的不断发展和互联网用户的不断增多,互联网的数据近几年呈现爆炸式地增长。互联网数据的急骤增长,使得传统数据库、数据仓库技术面临巨大的挑战,单结点的数据库系统和数据仓库系统往往难以存储和分析海量的数据。而Hadoop则可以通过将廉价的商用计算机组成分布式集群的方式,以极低的成本、极高的扩展性,轻易地解决海量数据存储和分析的难题。这也使得擅长解决大数据而新兴的Hadoop分布式计算平台在两到三年的时间里快速成长、成熟并流行开来。随着数据规模的不断增长,以Hadoop为代表的基于集群的分布式数据处理平台必将成为未来的数据分析和处理的主流。 本文分析了分布式系统和数据仓库的基本原理,并对Hadoop原理进行了详细的研究和分析,重点研究了两个核心子项目MapReduce和HDFS的底层的实现机制,并详细分析了基于Hadoop的数据仓库基础架构——Hive的原理、架构及实现。 由于Hadoop目前在数据处理时均是以行或行组的形式进行分布式存储,IO瓶颈是影响Hadoop数据处理性能的主要瓶颈,CPU利用率较低,未达到充分利用。同时,列存储技术具有减少查询1O数据量和易于压缩的重要优点。本文将列存储技术和Hadoop分布式计算平台加以结合,设计了基于Hadoop的分布式的列存储技术解决方案。该方案基于HDFS客户端和服务端程序,可利用列存储减少IO量,并利用实时压缩技术进一步减少IO量和提升CPU利用率,提升整个分布式系统的性能。 本文首先设计了列存储的分布式存储格式及数据冗余和分布式数据本地化方案,以满足在HDFS上以列存储的方式存储数据并充分利用了MapReduce的本地计算能力。由于MapReduce'‘移动计算比移动数据更划算”的设计思想,数据本地化成为了分布式列存储的核心问题,本文通过修改HDFS的客户端和服务端的程序,解决这一问题。 同时,本文设计了一种基于冗余字符串的两阶段实时数据压缩算法,以满足具有一定压缩密度的高速实时列存储数据块压缩和解压。本文将该算法封装在列存储文件格式的实时压缩和解压缩模块中,并与其它相似算法进行了测试和对比。结果显示该算法具有较高的效率和较高的压缩率。 本文使用70个结点的商用服务器构成的Hadoop集群测试了分布式列存储系统的性能,并做了分析。实验结果表明,基于Hadoop的分布式列存储系统具较好的IO性能和合理的CPU利用率,适用于查询密集型的应用。 最后,本文将列存储文件系统应用于Hive数据仓库基础架构的文件存储格式。

关键词： 信息化技术   BI   企业   企业管理   数据仓库   实时对比   网络招投标   商业智能   采购风险   中南   金属探测门   中南集团   网银系统   信息化管理   财务一体化   平台相  

摘要： 中南集团自1988年由陈锦石董事长带领一支28人的农民劳务工队伍开始创业至今,已发展成为一个多元化生产格局(包括:建筑、房地产、安装、装饰、钢结构、地铁、地基、市政、机械、金融、生物等多个行业),业务范围遍及长三角、环渤海湾、珠三角等中国主要经济区域和海外市场的双重集团管理的上市公司。

关键词： 电信   数据分析   BI   数据仓库   海量数据   数据挖掘  

摘要： 信息高速发展的今天,电信运营商和互联网是产生大数据的两大行业,特别是电信运营商产生的是大量的全量数据,如何高效的分析这些数据,使其能够提升语音质量和数据业务服务水平是运营商应该重点考虑的事情。通过对现在电信运营商现状的分析,结合业界成熟的技术方案,为数据分析员和决策者提供数据分析平台的建设思路。 为了深入了解电信运营商的现状,我们项目组花了三个月的时间做需求调研,分别和业务支撑、网络优化等相关工作人员进行了多次交谈,整理出了电信行业背景、当前的问题和困惑、提升解决的思路以及预期的目标。在接下来的两个多月的时间里面,整理需求调研笔记,分析总结出了八大业务场景以及一些实体概念。最后,我们对业界比较成熟的数据仓库系统建设方案、决策支持系统建设方案和云计算平台建设方案的了解和分析,整理出来面向电信行业的数据分析平台应具备的功能和设计方案。所实现的系统达到了预期的设计目标。 我们建立了基于电信网元的多维分析数据模型,解决了数据仓库缺少资源实体的问题。通过建立指标自动汇聚的机制,实现了数据预统计的技术难题。并且通过现在互联网流行的openapi的方式,屏蔽了复杂的表结构,降低了系统的培训成本。

关键词： 数据仓库   系统架构   模型结构设计   ETL   数据展现  

摘要： 北京市总工会的各个业务系统的信息化建设工作已开展多年，积累的业务数据是相当丰富的，但是各个系统之间的数据是相对独立的，市总工会领导及各级工会干部都不能全面地便捷地掌握职工的各个方面的情况。建设数据分析系统就是要通过利用先进的信息化技术手段，改变业务数据多源异构不利于分析的现状，整合各个业务系统的数据，改善数据质量，提高市总工会对基层情况的掌握程度，挖掘数据之间的联系，提供一种快速的途径获取全面的信息和灵活方便的分析手段，这样才能从战略的高度为工会业务的开展指明方向，牢牢把握主动权，随时掌握职工队伍状况，为各级领导决策提供依据，为工会工作逐步走向科学化、精细化提供技术保障。 本文在分析现有市总工会各个业务系统和数据分析工作的基础上，综合运用数据仓库理论和技术，对基于数据仓库技术的北京市总工会数据分析系统进行可行性分析，根据整理的需求分析，探讨了工会系统建设数据仓库的方法和步骤，设计了市总数据仓库的数据模型和体系结构，并对过程中的技术难点进行了研究，重点解决了数据粒度选择、ETL设计、分析主题设计中的难题，给出了具体实现方法。最后根据工会业务需要采用BI@Report的前端展示工具进行市总数据多维分析展示，创建业务分析模型，对现有数据进行数据分析和展现。 本文利用数据仓库技术整合了业务数据，完成了数据仓库的构建，同时以数据仓库中的数据为基础，进行了多角度的分析，提高了各级领导对基层情况的掌握程度，为领导决策提供依据。

关键词： OA   企业   企业管理   报表生成器   数据仓库   员工满意度   HR   CRM  

摘要： 传统的OA主要是文档、流程及协同管理,再加上一些方便的功能,而8thManage是新一代先进的OA,它能与CRM、HR及项目管理自动结合,而且所有数据也能自动相通。8thManage OA不但可为新任员工提供流程、

关键词： 数据库系统 9 shu ju ku xi tong  

ISBN: (纸本)9787111370444

摘要： 本书全面系统地讲解如何规划、设计、构建和管理数据仓库/商务智能解决方案。介绍在数据仓库开发项目中如何激励用户，在整个企业范围内更好地驱动决策制定，从专业的开发和培训人员获取详细的指导和最佳实践经验。本书内容涉及如何选择恰当的组件、构建企业数据模型、配置数据集市和数据仓库、构建数据流并降低风险，还涉及项目开发中变更管理、数据监理和安全方面的问题。 主要内容： · 理解BI和数据仓库系统组件 · 建立项目目标并有效制定部署计划 · 用数据挖掘发现组织内业务见解 · 使用ETL技术对数据进行输入、清洗和规范化 · 使用结构化输入文件来定义数据需求 · 使用自上而下、自下而上、混合的设计方式 · 使用数据监理工具来处理安全和性能优化问题

关键词： 数据库系统  

ISBN: (纸本)9787302281665

摘要： 《高等院校信息管理与信息系统专业系列教材:数据仓库与数据挖掘技术》主要介绍数据仓库和数据挖掘技术的基本概念、相关技术和应用案例及方法。《高等院校信息管理与信息系统专业系列教材:数据仓库与数据挖掘技术》共分为9章，主要内容包括：数据仓库与数据挖掘的概念和体系结构、数据仓库开发模型、ETL技术、OLAP技术、商务智能系统、数据预处理技术、数据挖掘技术、数据仓库开发实例、报表设计等内容。《高等院校信息管理与信息系统专业系列教材:数据仓库与数据挖掘技术》各章节的案例均使用Microsoft SQL Server 2005进行操作实践讲解。通过对具体实例的学习和实践，使读者掌握数据仓库和数据挖掘中必要的知识点，达到学以致用的目的。

关键词： 企业建模   数据仓库   服务质量管理   工作流建模  

摘要： 随着全球服务经济的发展，服务质量管理对以服务赢得客户信赖、拓展市场继而得以持续发展的企业越来越重要。企业在进行初始信息系统实施时，并没有预期到服务经济和自身业务量的迅速发展：企业的信息系统分散在各个部门，企业为了进行数据分析，需要耗费大量的时间与资源在各个部门之间协调，影响了企业的运作效率。随着企业业务量的与日俱增，企业建模和数据仓库的构建是帮助企业实现信息集成化管理、并进一步实现商务智能的必然选择。 本文以实际的电子政务服务提供商为案例研究对象，以其信息集成化管理的需求为驱动展开研究。首先，对案例企业进行企业建模和数据仓库建模的商业需求进行了初步的分析，针对其业务流程的特点设计了调研企业建模需求的方法。第二，基于对企业内部中高层管理人员及企业客户的访谈结果，基于ARIS建模理论、利用ARIS建模软件对案例企业的组织视图、功能视图、控制视图、服务视图进行了详细的建模，并在数据仓库的支持下对企业模型进行了优化。第三，依据建立的企业模型，采用维度建模方法进行了数据仓库的构建：在这个阶段，结合企业模型，设计了服务工作流模型并基于该模型对数据仓库维度建模方法作了优化;在经过优化的建模方案的指导下，设计了数据仓库的事实表、维度表、处理了变化的维度并针对不同的主题管理的需求抽取了数据集市。最后，通过设计原型系统，利用实际的业务数据对数据仓库的决策支持应用进行了验证。 本文在设计科学研究范式的指导下展开，设计了三个人工制品：基于ARIS建立的企业模型、基于工作流模型设计了数据仓库维度建模方法以及数据仓库模型，并通过企业的实践数据对所设计的数据仓库结构进行了验证。本研究为企业实现服务质量信息集成化管理和商务智能提供了积极的借鉴意义。

关键词： 经纪人考核   数据仓库   商务智能   联机分析处理   报表  

摘要： 当前,券商经纪人制度开展得如火如荼,为提高市场占有率和效益,充分调动每位经纪人的工作积极性,银申证券公司希望对各分公司、营业部及其下挂的各经纪人所服务客户在不同时间的开销户、资产、及交易情况进行全面的考查,以期制定合理的经纪人考核制度。而从现有的业务系统所积累的大量基础数据中,仅能获取有限的业务信息,无法高效地进行深入地、多角度地分析：同时,核心业务系统为保障交易的顺利进行,对高耗能查询有较大限制,无法为经纪人业绩考核提供及时的查询反馈。如何在降低对交易系统依赖的基础上,从多角度多层次地揭示出对经纪人客户分析有价值的信息,为企业管理层的科学管理和正确决策提供有力支持成了经纪人客户分析系统急需解决的问题。 首先分析原有业务系统的现状和不足,讨论建设基于联机分析处理(OLAP)的经纪人客户分析系统的必要性。在此基础上,讨论该系统的领导驾驶舱、客户分析、动态指标客户群筛选等主要功能,分析经纪人登记注册、经纪人业绩报酬提取等核心流程。然后分析经纪人客户分析系统的J2EE架构,对数据处理子系统、动态报表配置子系统、终端展现子系统等核心子系统进行详细设计,其中重点讨论如何基于OLAP分析各分支机构的经纪人在不同佣金、资产和时间维度上的相关业绩指标,以及运用商业智能工具把分析结果用仪表盘、图形或表格展现给企业的决策者;并对比本系统与业内其他类似系统的各自特点。最后对合理利用本系统,为考核提供科学、充足的数据支持,最终帮助企业决策者制定更为合理的经纪人考核制度给出相关建议。

关键词： 失业人员管理信息系统   B/S架构   数据仓库   分析模型  

摘要： 失业问题是关系国计民生的大事，直接影响着每个人的生活。我国现行失业人员管理过程中，国有企业改革产生的下岗失业人员，国家强调企业自我消化，尽量不要推向社会。胜利油田作为我国第二大石油生产基地，虽然在生产和经营方面的信息化建设取得了很大进展，数字油田已经基本建成，同时构建了油田数据中心，包括油田生产管理ERP系统、企业人力资源系统、生产辅助决策系统等。但是在对非在职人员，尤其是待业子女、协解人员等失业人员的信息化建设尚处在起步阶段。失业人员管理存在着信息更新不及时、管理现状与信息化要求呈现差距、管理不够规范等诸多问题。同时失业管理中心整体应用水平较低，在与其他信息系统的联系共享方面也存在着问题，已经成为企业整体信息响应速度的瓶颈。因此，构建一个管理信息系统将为企业下岗失业人员管理提供良好的支持。 本文根据油田失业人员特点与实际工作存在的问题，进行需求分析，优化现有工作流程，完成系统业务流程的设计与实现，出于决策需要重点研究了失业人员分析模型构建及访问查询效率的问题，建立基于ID3算法的分析模型。 论文的主要研究工作有以下几点： 1.胜利油田失业人员管理工作水平非常落后，处于半人工方式，制约了企业管理工作信息化水平。本文以解决这些问题为背景，通过分析油田失业人员管理问题现状，提出了依托胜利油田健全的局域网络软、硬件条件，实行油田失业人员信息化管理的解决方法，并对油田失业人员信息化管理特性进行了剖析，设计了一个基于ID3算法的失业人员分析模型。该信息化管理方法的应用可以有效提升油田失业人员管理工作水平。 2.采用B/S架构设计了一个油田企业失业人员管理一体化的管理信息系统，核心是基于数据挖掘的失业人员分析模型。使用该分析模型通过对失业人员的分析，找到影响失业人员考核成绩的因素，可以为领导决策提供了定量分析工具和决策支持服务。系统还设计了失业人员信息数据仓库，可以实现更加准确、及时的收集与挖掘失业人员数据，解决过去数据分散管理所带来的信息不完整或不对称等问题。 3.本文设计实现了失业人员管理信息系统，并对系统进行相关应用分析，证明了失业人员管理信息系统可以有效解决实际工作中失业人员信息管理管理难度大、信息准确性不强、数据处理不及时、人工分散管理等造成的信息滞后、不畅的问题，有效地提高了失业人员管理的工作效率。 本文通过对失业人员管理信息系统研究，优化了失业人员的管理方法，对提高企业竞争力和信息化水平起到了积极的作用。