课程文献中心 更多>>

关键词： 数据仓库   ETL   营销   任务调度  

摘要： 随着大数据时代的到来,各行各业都非常重视业务数据的价值,利用大数据理论和工具对数据进行分析,将分析结果报告供企业领导参考决策和相关业务部门使用。A证券公司存在多套事务型业务系统并且在经过多年运行应用过程中积累了大量数据。但是现有的事务型业务系统要实现数据分析存在以下几个方面问题:一是各个业务系统独立运行,很难实现跨系统的数据分析与统计工作。二是无法整合所有业务系统数据,提供企业级的有价值的数据信息。针对以上问题,本文结合A证券公司营销系统和HR系统基础数据,旨在设计用于实现客户营销统计分析的营销数据平台的分析与设计。该系统构建营销统计数据相关指标,实现精细化营销客户管理,以推动业务持续快速健康发展。为构建该系统,本文主要实现了以下二个方面的工作:一是A证券公司营销主题数据仓库的构建。运用ETL技术采集客户营销基础数据,利用数据预处理技术、数据仓库技术构建营销主题数据集,最后根据分析的需求进行维度建模实现数据仓库的构建,落地实现相关事实表,实现统计营销员工推广业绩和奖励、薪酬和排名、客户的返现奖励等相应指标的计算。二是数仓调度系统的设计与实现。运用软件工程相关方法,系统采用的是B/S工作模式,以Spring Boot基础框架实现任务调度系统,MySQL进行数据库设计。从系统开发的四个步骤详细阐述调度系统的功能和开发的实现。

关键词： 省级等级公路   多源异构   数据仓库   ETL   数据模型   可视化  

摘要： 随着社会经济和公路交通行业的快速发展,在省级等级公路领域逐渐面临更多更复杂的新问题。陕西省公路领域大多部门的现有存储设备较为老旧,性能不足以支撑百万级数据的并发。并且由于各个部门之间的数据信息结构不同,交互性差,甚至产生了信息孤岛。如何对海量公路数据高效处理,是公路信息化建设中亟需解决的重要问题。本文给出了一种基于ETL(Extract-Transform-Load)的省级等级公路路网数据仓库搭建与可视化的方法,并实现了数据的可视化,主要内容如下:(1)通过对省级等级公路数据的整理与分析,总结出多源异构的形成原因。针对数据多源异构的特点建立公路路网数据仓库模型,并对其中STG,ODS层的字段进行详细设计。(2)设计并实现了省级等级公路数据仓库数据抽取、清洗转换、存储、提供的处理全流程。利用建立临时表和发布者订阅者通信模型的方式,优化了数据仓库的抽取模块,并进行测试。结果表明优化之后的系统可以实现短时间内对海量省级等级路网数据的抽取,提高抽取效率。(3)以设计好的公路路网数据模型为核心,利用数据仓库的ETL技术对来自各省级等级公路部门的多源异构数据进行抽取与加载等处理,最后通过可视化方法对处理过后的数据进行展示,完成了数据的全流程处理。测试结果表明数据可视化环节能够进行报表查询,主题查询以及电子地图查询的功能。利用基于ETL的省级等级公路路网数据仓库与可视化技术,实现了对陕西省等级公路多源异构数据的整合。对缩小信息孤岛,减少数据整合周期,扩展省级等级公路信息可视化的应用层面,具有重要意义。

关键词： 云计算平台   配电网   配电网基建工程项目   海量文件管理   数据仓库  

摘要： 南充配电网基建工程项目,具有施工技术复杂、投资规模大、技术要求严格、参与方众多、信息沟通复杂等特点。导致南充电网配电网基建工程项目的管理,需要进行大量的跨地域、跨部门的信息交换,并将产生海量的项目管理相关数据,对配电网基建工程前期管理系统的信息管理能力、数据共享能力提出更高要求。基于此,本文主要采用云计算技术,进行南充配电网基建工程前期管理系统的构建研究,以提高系统的信息管理能力与数据共享能力。首先,系统通过对配电网基础配电网基建工程项目管理业务的分析,采用UML技术的用例图分析方法,分析系统主要功能性需求和非功能性需求;然后,在业务分析和需求分析基础上,分云平台层、数据层、管理中间层、表现层四个层次,进行系统总体架构设计,和基于E-R图分析进行系统关键数据表谁;最后,进行Hadoop基础云平台的构建,以及配电网基建工程项目管理过程中大量小型文件数据的存储管理,系统数据仓库的搭建,以及用户信心管理、项目信息管理、公告信息管理和配电网基建工程项目工作管理等关键系统功能的实现进行研究。本文所研究的基于云计算技术的配电网基建工程前期管理系统,以服务的方式对项目相关方的各方面数据资源进行管理,增强大规模数据的存储和处理能力,实现信息的充分共享,与其他解决方案相比,基于云计算平台的配电网基建工程前期管理系统,可获得更好的项目管理服务。

关键词： 大数据   数据仓库   K12在线教育   Hive  

摘要： 近年来,随着互联网的发展人们产生的数据越来越多,为了处理并挖掘这些数据的价值,大数据技术得到了飞速的发展与应用。Hive作为构建与大数据基础平台之上的开源数据应用,具有高扩展性、高容错性、模式自由的特性,能很好地满足企业级数据仓库地需求。因此,各个行业已经开始大力建设基于大数据平台的数据仓库,通过其对数据进行采集、处理挖掘出其潜在的价值。本论文以K12在线教育的业务需求为背景,在充分研究企业业务需求的基础上,对基于大数据平台的K12在线教育数据仓库进行了总体的系统架构设计,针对数据处理过程进行了数据流向框架设计及技术选型。通过大数据生态开源组件搭建并部署Hadoop集群,编写Flume、Kafka等程序采集课堂埋点日志,使用Java编程语言在日志Etl清洗、转换、脱敏后接入Hive。将已有地Mysql业务库数据通过Sqoop导入Hive,采用Shell编程语言开发数据一致性校验脚本,对进入数据仓库的数据进行正确性校验。结合K12在线教育企业具体的业务需求采用维度建模,选取星型模式进行数据仓库分层设计与开发,最终完成了数据仓库的设计与实现,并对数据仓库实现的功能进行展示与分析。本论文完成了基于大数据平台K12在线教育数据仓库的设计与实现,提供了标准的报表及看板的展示,满足了各个业务部门的业务需求,通过模型建立支持了数据多维分析,增强了信息处理能力,并且为数据挖掘打下了基础。

关键词： 业务逻辑   数据仓库   技术路径   数据治理   关联规则  

摘要： 大数据时代,可以存储原始的、不受数据类型限制的数据湖被视为信息化建设的技术演进方向。但数据沼泽成为建设数据湖过程中普遍遭遇的难题。如何重塑数据湖、规避数据沼泽成为目前数据湖建设的瓶颈。本文探讨了数据沼泽产生的根源,梳理了重塑数据湖的技术路径,为规避数据沼泽陷阱和建设高质量、高价值的数据湖提供建议。

关键词： 大数据   Hadoop   Hbase   数据仓库   分析  

摘要： 利用Hbase高可靠性、高效率性、成本低、扩容性高和低时延的突出特点,解决传统关系型数据库无法实时处理海量互联网用户行为日志查询的问题,性能提升100倍以上。

关键词： 财务共享中心   业财融合   数据仓库构建  

摘要： 企业要想实现业财融合,就必须在建立财务共享服务中心的基础上。财务共享服务中心的建设则有赖于建立全面的数据仓库,而基础数据的科学有效的设计是实现数据仓库的第一步。企业在构建财务共享中心实现业财融合的过程中,需要对各个业务中涉及到的关键的基础数据进行梳理和设计,这样不仅有利于便捷快速的检索,还有利于企业内部管理各个维度、各个层级报表的提取,从而更好地服务于企业的管理决策。

关键词： 实时数据接入   kafka offset   spark streaming  

摘要： 随着市场上自主研发的数据库的大量出现,面对各具特色的数据库因差异性而导致的数据etl过程困难的问题,本文探讨了一种通过kafka作为可靠的实时数据中转,然后通过spark streaming任务来实现数据入库的技术路线,最终解决了基于电力客服业务的数据仓库实时数据接入的问题.该技术路线能够一定程度上解决一部分数据实时数据接入的困难.与此同时,可以在数据接入过程中进行复杂的数据流式计算.

关键词： 大数据   数据仓库   用户行为   海量数据  

摘要： 随着互联网产业的飞速发展,各种App如雨后春笋般出现在人们的日常生活中,通过客户端埋点技术企业可以采集到大量的用户行为日志,通过分析这些日志可以发掘用户的特点并调整推送策略。但在移动互联网时代来临后,企业面临着数据爆炸的问题。这时,采用传统技术对用户行为日志进行分析的效率已经不能满足企业的要求,因此需要采用大数据技术,对日志进行高效处理。本文结合企业的实际生产需求,以建设用户行为数据仓库系统为目标,提出了以Hadoop平台为基础,使用Hive、Spark等大数据技术,采用维度建模思想构建企业级数据仓库的解决方案。本文首先分析了App本身的产品形态以及数据特点,并与业务方沟通完成了详细的需求分析,针对实际需求,采用维度建模法,对数据仓库进行分层架构,设计出基础数据层(ODS)、中间数据层(CDM)以及数据集市层(ADS)三个层次,并对各层内数据表结构以及维度数据进行了详细设计,在最重要的地理位置维度数据上,通过采用Geo Hash算法,大大加快了定位速度。之后,基于设计好的数据模型并紧扣业务特点,设计开发了一套完整的ETL流程,该流程可以实现数据的分析和处理,自动产出数据仓库各层数据,实现了用户行为数据仓库的核心功能。此外,还通过提供监控与报警功能提高了数据仓库的稳定性和可靠性,通过拆分引擎,提高数据仓库效率,最终建立了统一、规范、高可用的用户行为数据仓库系统。目前,本系统已经在企业中成功上线使用,为公司提供了准确、可靠的基础数据,通过对基础数据的分析,决策层可以不断调整产品布局,开发人员可以不断进行App版本迭代,使公司的业务快速发展,用户体验不断提升。

关键词： 数据中台   数据仓库   数据库层级   数据链路  

摘要： 本文首先对数据中台的概念进行了阐述。作为一个大数据行业新兴的热门概念,很难对数据中台做出一个广为认同的定义。在文中,本人从数据中台的发展历史、层级结构与其在业务中带来的价值等方面对其进行了阐述,从实践意义上给予了一个定义。数据中台的实践意义在于,如何完成数据的层级分割与水平解耦,独立出公共的业务入口,通过数据建模实现跨域数据整合和知识沉淀,通过服务的形式实现构造数据接口,进行数据业务的开放,对业务前后端应用需求进行快速、灵活应对。然后,对系统的总体业务流程与数据仓库的设计进行了阐述与探究。为了表示数据结构、减少重复开发、方便管理与维护,本人对业务流中数据仓库的层级与结构进行了设计,分为bdl、odl、idl、adl、dim等几个层级,代表不同受处理程度或者不同逻辑层次,每一个层级包含若干个数据库,代表不同来源或者不同功能等。针对具体决策需求又细化为多个主题表,具体来说就是确定决策涉及的范围和所要解决的问题,比如bdl层级中将图片的结构来源信息与base64信息分两张表进行存放并建立索引等。随着企业规模越来越大,清晰的数据层级也有利于不同开发人员权限的分配,对不同层级的数据库采用敏感度不同的维护策略。最后,对系统的详细架构以及各模块内容与调度方式进行了设计与阐述。整个中台系统从功能上分为数据采集模块、数据注册模块、数据标签化模块、索引生成模块与报告生成模块,本人对每个模块进行了设计、编码与部署,每个模块既在数据通路中线性衔接,也可以作为服务被独立调用。最终设计出它们之间的协同运作方式,形成数据中台体系。目前,该系统已经投入使用,已经收集了100余万张图片并进行了结构化存储与初步数据分析,主要包括2000余个品牌分布在米兰、巴黎等四个城市的秀场图片,每半年进行一次增量更新,以及2000名Instagram博主近期发布的图片,每天进行增量更新;封装了各种接口与服务,便于后台开发者提取数据进行模型训练、前端开发者获取需要展示的数据,以及中台开发者对数据仓库的维护;同时,不断增量的数据也作为商品直接产生了经济效益。