课程文献中心 更多>>

关键词： 大数据   广告投放   Hive   DSP   DMP   数据仓库   数据处理分析  

摘要： 在现在的互联网背景下,随着私人计算机和手机的覆盖率增加,技术增长进而导致的网络的价格不断的降低,人们几乎在每一天都要上网进行各种各样的活动。而其中本人所在的实习公司会收到很多的来自人们的访问,因此会出现大量的访问数据,如何高效的使用以及储存这些量级极大的数据,进而应用于各种有利于公司的业务场景,成为了一个急需解决的问题。广告投放数据分析系统,即DMP系统(Data-ManagementPlatform,数据管理平台)的子系统,是目前大型和中型互联网公司中非常流行的一个系统,此系统是 RTB(RealTimeBidding,实时竞价)-DSP(DemandSidePlatform,需求方平台)体系中非常重要的一环。此系统需要完成的任务相当多,它不仅要处理来自于公司APP的大量数据,还要处理来自DSP系统的数据,除此之外,在数据处理完成后,此系统还要对这些数据进行数据可视化以及最后的导出工作,来支持数据分析部门,BI(Business Intelligence)部门以及算法部门的工作。在整个广告投放数据分析系统的开发中,本人主要参与了需求分析、设计、开发、测试以及维护的工作,本人的工作内容如下:(1)参与并完成了整个系统的需求分析,提出了我所想到的所有需要注意的环节以及问题,尽量满足来自于各个部门的内部需求。(2)参与并完成了整个系统的概要设计,最后确定了系统的功能模块划分。(3)与两人合作完成了系统各个模块的详细设计与实现、包括数据仓库数据获取子模块的详细设计与实现、实时流日志分析子模块的详细设计与实现、DSP日志获取子模块的详细设计与实现、数据库数据获取子模块的详细设计与实现、DSP日志分析子模块的详细设计与实现、数据仓库数据清洗子模块的详细设计与实现、cube制作子模块的详细设计与实现以及相对简单的数据展示模块和数据导出模块的详细设计与实现。(4)参与并完成了整个系统的测试工作。(5)负责整个系统的每日维护和更新,包括新ETL的编写,新主题数据的增加,每日自动化调度的实现等等。在实现广告投放数据分析系统的过程中,使用的技术大多数为Hadoop生态圈的相关框架,即Mapreduce,Hive,Spark,Kylin等,使用的开发语言为Java,Shell以及Hive Sql。本项目目前已经上线,并已经经过多次的更新与迭代,是一个完善的系统,对组内所有部门的工作都起到了非常大的支持作用。

关键词： 企业管理   财务管理系统   商务智能技术   决策支持   数据仓库  

摘要： 我国企业目前所面临的市场环境正在快速发生变化，竞争日益激烈。伴随着信息管理系统的大规模应用，企业所积累的数据量也在快速增加。外部竞争的压力促使企业管理者需要将经营数据转化为治理决策的信息依据，利用商务智能技术建设企业的数字化管理平台正变得越来越被企业重视。系统地分析提炼财务领域和业务领域中的企业数据资源对企业形成竞争优势、提高决策水平、规避风险等方面具有重要意义。财务管理作为企业治理的核心之一，其信息化、智能化的提升转变，是企业提高经营效率、规避财务风险以及推动智慧企业建设的关键所在。　　本文以一个实际企业案例为研究对象，探讨了企业利用商务智能技术建设智能化财务平台的方案。从支持管理决策和履行信息披露义务的角度出发，结合建设企业数据仓库，建立基于价值创造的企业综合财务分析体系和自动编制合并报表等技术手段，对商务智能如何为企业提供实时数据进行管理进行了分析。为了论证商务智能系统可以为管理人员提供真实、可靠、全面、实时、安全的分析报表，本文完成了以下任务：首先，对商务智能的基本概念、发展历史和相关技术进行了简单阐述，讨论了商务智能技术与知识管理之间的关系。以SAP公司的商务智能产品为例，详细介绍了主流商务智能产品所包括的几大关键功能和平台。其次，以A公司为样本，检视了其财务管理系统现状和存在的问题。在厘清财务管理智能化升级的具体需求之后，从数据管理、信息披露、决策辅助三方面入手，利用SAP商务智能产品进行功能设计。再次，介绍了如何基于SAPBW（BusinessWarehouse）在A公司进行数据管理、创建业务模型，展示了如何利用SAPBO（BusinessObjects）报表工具搭建A公司财务分析体系，论述了SAPBPC（BusinessPlanningandConsolidation）产品对A公司财务合并报表编制流程的再造。最后，讨论了如何在企业内建设保障机制，确保商务智能系统的建设达到设计目标并持续发挥功效，提升财务工作的管理决策水平。　　本文为企业转化其数据资源作为决策依据提供了一些可行方案，研究成果具有一定程度的代表性和通用性，对其他企业管理模式的数字化转型具有借鉴意义。希望能够为今后公司企业的智能化财务平台建设及财务管理职能转型的相关研究提供一些能够借鉴的方法和思路。

关键词： 数据挖掘   医院信息系统   患者医疗信息   数据仓库  

摘要： 随着现在化信息技术的迅速发展,我国医院已经进入到了数字化和信息化时代,各大医院都不同程度地引入和建立了属于自己的医院信息系统,而随着医院信息化的覆盖面积越来越广泛,来自各系统的数据也随之累积得越来越多,数据库的存储空间、规模以及复杂程度也变得越来越大,这些信息都是具有巨大的医疗价值和经济价值的,但是随着数据的堆积,这些数据从数据库中查询和提取变得越来越困难,如何从海量的数据库患者医疗数据中,将医院所需要的数据提取出来供医院分析和决策使用,对各大医院来说是非常关键的问题。而数据挖掘技术的出现,为解决这个关键性问题提供了很好的帮助,这也是近些年数据挖掘技术被越来越多的用在医疗行业上的原因,利用数据挖据中的数据提取技术进行科学研究对于提高医疗技术和医院管理水平起到至关重要的作用。本文分析了医院现有的医院信息系统的使用情况以及存在的不足,然后为医院提供了一种适用于医院信息系统的医疗数据挖掘技术,其中包括了数据仓库以及数据挖掘模型的设计与构建,数据挖掘关键技术和算法的分析与选择,以及医院医疗大数据的关联性挖掘服务。以下是本文的研究内容:首先针对医院信息系统中存在的大量的医疗数据的特点,以及医院医疗服务的要求,同时综合数据挖掘中数据仓库以及数据挖掘模型的设计原则,提出了最适合的数据挖掘模型以及数据仓库的设计步骤。然后针对医院患者门诊和住院就诊医疗数据的特征以及数据挖掘模型的设计特点,选择时间序列对数据进行分析,医院患者门诊、住院的就诊人次以及对下一年的就诊人次进行预测,并通过分析报表对患者门诊、住院的费用进行了分析。最后针对不同类型特征的医院住院患者无法很好的分类的需求,聚类分析的方法对医院住院患者的就诊以及诊断信息进行了分析,并对相应研究的挖掘结果进行了展示,对提高医院的管理质量、改善患者就医秩序起到了积极的作用。本文利用数据挖掘技术设计和构建了基于医院医疗数据的数据挖掘平台,不仅分析近期的医疗数据,还会对历年同期数据进行对比分析,从而发现同期的发展趋势,得出更多结论,不仅可以为医院管理层提供决策支持,还可以利用分析所得的知识建立医学诊断专家系统或医学科研系统。

关键词： 实时数据仓库   高校财务管理   管理信息系统   架构设计  

摘要： 本文根据高校财务管理工作的主要内容和特点,利用实时数据仓库方法对高校财务管理信息系统开展架构设计,主要包括高校财务管理信息系统的业务体系和技术体系的设计,通过利用数据集中、存储和使用,以应对越来越复杂的财务数据分析,为有效提升高校行政部门的财务决策、处理、执行的效率做出一定贡献。

关键词： 数据建模   数据仓库   城市轨道交通   线网指挥中心  

摘要： 阐述一种面向轨道交通指挥中心,基于Hadoop架构的线网大数据的数据建模和数据存储方法。将线网大数据中的结构化数据,结合Hadoop平台以及组件特点和轨道交通行业的数据应用情况,选择合理的数据模型,进行数据建模和数据存储。针对逻辑建模作了详细阐述:临时数据文件和基础数据统一建模后存入HBase,中间数据层和数据集市层,以降范式的方法建表存入Hive中。对非结构化数据,采用Hadoop平台按应用和时间分类将小文件存入HBase,并可支持全文检索和分析。搭建的验证平台的实施结果证明,该方案对线网大数据实现了规范和高效的数据存储。

关键词： 数据仓库   体系结构   构建   应用  

摘要： 在这个大数据时代,一个企业或组织要想在愈加激烈的竞争中继续生存,必须能够给广泛的用户提供经济而快捷的业务信息访问,解诀该问题的方案就是建立企业级数据仓库系统,这时数据仓库的结构和构建显得尤为重要。

关键词： 数据仓库   计算机专业课程   教学方法  

摘要： 数据仓库"是计算机专业较为重要的一门课程,但是该课程理论性、实践性较强,而且比较抽象,学生学习过程中容易遇到很多困难,较难掌握"数据仓库"的设计方法,最终导致学习效果不佳。本文针对这个问题探讨了"数据仓库"课程的教学方法改革方案,并进行了实践,取得了较好的教学效果。

关键词： 盾构施工数据   Kettle   ETL   数据仓库  

摘要： 文章介绍了数据仓库和ETL相关概念,结合盾构施工行业中数据的要求和特点,对盾构施工数据进行ETL研究,设计了一套适合各种类型盾构机的ETL框架,并使用Kettle实现该ETL框架,将分布在全国各地的盾构施工数据进行转换、清洗、整理到数据仓库中,并提供可视化展示、数据查询和分析等服务。通过实际工程应用表明,ETL和数据仓库运行正常,可以满足用户的信息服务需求,也可为企业提供分析和辅助决策。

关键词： 决策支持   数据仓库建设   DAMT路径  

摘要： 针对企业级数据仓库的关键问题,该文基于DAMT构建了一种关键路径.这主要包括4个模块:决策支持设计、数据来源分析、数据仓库建模、技术实现.利用所给的关键路径模式能够使企业管理决策者快速掌握信息,从而制定更加适宜的竞争战略,增强自身的竞争力.