课程文献中心 更多>>

关键词： ETL   BI   大数据   数据仓库   微服务架构  

摘要： 随着各行业数据量的增长,企业对大数据分析工具的需求与日俱增。本人在某大型互联网公司的大数据部门实习期间,部门核心产品商业智能(Business Intelligence,简称BI)平台除服务于内部研发外,也在积极推动商业化。为提升平台能力,部门搭建了面向BI平台的大数据ETL(ExtractTransform-Load)系统,替代原先使用的第三方ETL。作为BI平台的核心组成部分,该系统将在海量数据场景下完成对数据的抽取、转换和装载,并提供异构数据源集成、自动化配置、任务调度、算子插件化和外部工具拓展等功能。本文介绍了面向BI平台的大数据ETL系统的设计与实现。系统基于云原生的微服务架构思想所设计,由基础服务和运算服务两大微服务组成,并从软件架构上划分为ETL流引擎、触达、任务调度和服务接收四个模块。其中基础服务属于无状态服务;由负责处理用户请求及第三方平台回调的服务接收模块,和负责调度ETL本地任务并集成外部工具的任务调度模块组成。运算服务属于有状态服务;由专门处理数据抽取的触达模块,和负责解析配置、构建拓扑、产生算子并实施分布式计算的ETL流引擎模块组成。此外,系统还使用了公司内部统一的大数据任务调度平台DR平台来串联两个微服务。在运行过程中,根据基础服务的统筹,DR平台将动态地为每个ETL任务创建若干个运算服务实例,实施并行计算。该架构在域内能充分地整合公司的计算资源和云基础设施,在域外又能够有效地支持基于Kubernetes的私有化部署,并灵活适配集群和单机多种部署方案。本项目在公司的域内和域外均已开展应用,进一步增强了BI平台功能,完善了公司的数据中台建设。其中在域外已为几十家企业客户进行了私有化部署,能充分满足客户在数据仓库环节对功能、性能和算子定制化能力的需求。在域内则处于集成测试阶段,即将上线对接公司数十条业务产品线,服务日均千亿以上量级的大数据场景。

关键词： 金融租赁   数据仓库   Spark   ETL   信用风险评估  

摘要： 随着我国国民经济的快速发展,金融租赁行业也在飞速发展,其综合实力和竞争力逐渐增强,已成为仅次于资本主义、银行信贷的第三大融资模式。在互联网快速发展的大数据时代,金融租赁公司的融资租赁业务不断扩展,客户信息数据和业务数据与日俱增,传统的关系型数据仓库采用集中式架构,且在海量数据的存储和查询分析上存在高成本和低效率的不足。融资租赁业务的本质与银行信贷一样,金融租赁公司也会面临客户违约的信用风险。因此,如何解决海量数据的存储和查询,并对数据的价值进行分析挖掘,成为公司管理层亟需解决的难题。本文针对某金融租赁公司海量数据的存储管理、查询分析和客户信用风险管控等需求,完成了基于Spark的金融租赁数据仓库的研究与应用。融合大数据和数据仓库技术对融资租赁业务各系统的数据进行抽取存储,采用分布式Extract-Transform-Load(ETL)技术和维度建模方法在Spark分布式平台上设计并实现了金融租赁企业的数据仓库;将数据仓库和数据挖掘技术相结合,对数据仓库中的客户信用风险管理数据进行分析挖掘,构建客户信用风险评估模型,实现对客户信用状况的预测。本文所做的主要工作如下:(1)采用基于Spark的分布式ETL技术完成金融租赁公司内部数据的ETL过程,对离散分布在各业务系统、各渠道的原始数据进行抽取整合存储至HDFS和Hive表中,利用Spark实现了对海量异构数据的抽取转换和加载,相较于传统的基于Map Reduce的分布式技术,基于Spark的分布式ETL技术提高了海量数据的处理速率。(2)根据融资租赁业务的开展流程和数据仓库建模方法,选择三个代表性的分析主题,并设计了相应的维度表和事实表,完成了金融租赁数据仓库星型模型的设计。设计并实现了基于Spark的金融租赁数据仓库,该数据仓库底层也是采用的新一代的计算引擎Spark,采用基于Spark的分布式ETL方法完成数据的ETL过程,利用HDFS存储公司的海量数据和中间结果,使用Hive定义金融租赁数据仓库的表,使用Spark SQL执行查询分析操作。(3)将数据仓库和数据挖掘技术相结合,利用机器学习算法对数据仓库中的客户信用风险管理数据进行分析挖掘,针对大数据环境下高维度冗余的客户信用特征和样本不平衡两个问题,提出构建基于RF-FL-Light GBM算法的信用风险评估模型,对承租客户的信用状况进行预测。使用随机森林算法(RF)对高维特征进行重要性排序与筛选,排除易导致模型过拟合且冗余无用的特征,确定模型的特征变量;选择并改进了目前被广泛使用的高性能分类算法Light GBM,将基于Focal Loss函数改进后的二分类平衡交叉熵损失函数(FL)作为Light GBM模型的损失函数,以此改善正负样本不平衡导致模型准确度降低的情况。利用公司过去五年的历史客户数据对该模型进行实验,结果表明基于RF-FL-Light GBM算法的信用风险评估模型极大地提高了预测承租客户信用状况的精确度,并且其运行速度较快,在对融资租赁业务中待审批客户的信用状况预测上有一定的应用性。(4)基于Spark的金融租赁数据仓库的应用展示和性能实验。实现了金融租赁数据仓库分析系统,主要将数据仓库在交互式查询、可视化展现和数据挖掘三个方面的应用进行效果展示;通过数据抽取和数据转换效率对比实验,证明了基于Spark的ETL技术的高效性;通过查询分析的效率对比实验,证明了基于Spark的金融租赁数据仓库的查询性能更高和实用性更强。

关键词： 数据可视化   数据仓库   OLAP   Kylin  

摘要： 互联网大数据的技术发展为人们提供了在线购物、网络会议等多种线上服务。全球超过40亿的互联网用户在享受便利的同时,产生了大规模的数据集。相关企业或人员可以较为容易地获取海量数据。但是,目前大部分企业数据都分散在各个部门或各个业务线的业务系统上,存在数据不一致的问题,如何呈现数据并挖掘这些数据的潜在价值成为一个难题。近年来,数据仓库、联机分析处理(online analytical processing,OLAP)、React等数据可视化分析技术的发展,使得利用图形化界面进行多维数据可视化分析受到广泛关注。然而,现有可视化分析产品还存在一些不足,包括缺少数据预处理、缺少数据钻取、缺少任务调度等。基于上述背景和需求,本文选题来源于企业实际项目,设计实现了一个基于多维数据,能够进行数据抽取、处理和可视化分析的Web应用系统,通过简单拖拽图表组件能够实现多维数据的可视化分析。论文的主要工作内容如下:(1)学习研究多维数据可视化分析工具的背景和国内外研究现状。针对业务需求场景,研究了系统的数据源、数据集、可视化报告、任务调度及系统权限等模块的需求参与者和用例具体活动。另外,研究了系统的可靠性、安全性、性能等非功能性需求。(2)针对传统报表制作过程复杂的问题,通过可视化技术提供拖拽式的可视化报告制作方式。为了实现应用场景中异构数据的融合,利用Kettle技术将用户提供的数据抽取到My SQL中间数据库中,并处理不同数据表间的连接,实现数据治理、转换等功能,用Sqoop将My SQL中处理好的数据抽取到Hive数据仓库中。为了加快查询响应速度,选用Apache Kylin多维分析引擎对Hive中的数据进行预计算,构建数据立方体,数据钻取时调用Apache Kylin的查询接口进行查询。最后阐述了系统数据库和各个功能模块的详细设计和系统前后端实现。(3)针对多维数据可视化分析工具中的各个功能模块编写测试用例,验证并确保数据源、数据集、可视化报告、任务调度、系统权限等功能模块的正常运行。对系统可靠性、安全性和性能进行测试,测试结果满足要求。综上所述,本文中设计实现的多维数据可视化分析工具各个模块功能正常,且运行稳定可靠,查询性能较好。

关键词： 医院   内部控制   数据仓库   信息化   应用举措  

摘要： 为保持良好的发展态势,有效发掘自身竞争优势,医院在发展的过程中,往往需要借助信息化等路径,对各项运行举措、管理方式做好调整,旨在强化人员、物资的管控能力。文章以数据仓库作为突破口,通过技术模式的升级,持续强化医院内部控制信息化的主要路径与基本方法,构建成熟、高效的内部控制机制,加速医院内部控制工作的信息化进程。

关键词： 保险   数据仓库   Spark   关系模型   数据整合  

摘要： 当今世界80%以上数据是在最近几年中产生的,伴随着这些数据的不断生成使得“大数据”成为当前最流行的IT名词。而保险行业每天产生的海量数据,它们有着结构疏散、信息缺损、关系孱弱等特点,这些特点十分的契合大数据技术在保险行业的应用。随着大数据技术的快速发展,可以逐步将这些信息化零为整、化繁为简。本文在国内外保险行业数据处理技术的研究和应用基础上,借助大数据技术的数据处理和存储能力,然后结合保险行业的数据整合需求和技术应用需要,确定本文的主要研究内容。在系统设计阶段,本文分析了保险行业的传统业务特征,并且结合企业对数据分析的需要,对系统所使用的数据仓库进行逻辑分层,并确定ETL技术在本数仓中的应用。在需求分析阶段,通过对企业的需求进行逐步拆解,按照数据流转的不同阶段确定了以接入、存储、清洗、整合、同步等作为本系统的主要功能。而在总体设计阶段,数据仓库存储技术采用Hbase,并且针对清洗和整合功能设计了关系配置模型,最后将各个主要功能与数仓的各个层级进行一一对应。本系统所采用的数据关系配置模型将客户信息、业务需求以及系统程序进行结合,以便达到通过关系模型来指导数据整合操作的目的。那么对数据关系模型的设计就至关重要,本文采用Json配置文件的方式来映射这一过程,并对配置的组成进行详细介绍。在数据关系模型的设计基础上,通过数据仓库的层级设计来实现关系模型指导程序进行数据整合后的存储功能,为数据整合过程中各阶段的存储提供理论基础。在系统实现阶段,本文在结合了之前的分析和设计后对系统进行整体实现。首先通过Kafka消费者模式,利用Spark的流式处理技术实现数据源从生产者一侧到消费者一侧的接入过程。当数据源接入后,系统首先将数据原值存储到数仓BDL层,然后按照配置模型中的清洗指标对数据进行逐条清洗并存储到IDL层,最后根据配置模型中的整合关系进行数据关联查询并将结果存储到ADL层和DML层。此时经过整合的数据也具备了字段干净、结构清晰、数据完整等一系列优良特征。在系统实现后的测试阶段,通过对功能层面和非功能层面的测试,以及对系统的五项功能和三项性能进行评估,本系统也初步达到了保险公司对数据整合系统实现的基本要求。通过本文所设计和实现的保险客户实时信息整合系统,不仅能够获得更多的客户数据关联信息,而且能够为保险保单管理和保险系统建设等提供信息服务,同时也为保险设计规划工作提供大量可靠、准确且有价值的决策支持。

关键词： Hadoop   船舶数据分析   数据仓库   DBSCAN算法  

摘要： 随着国民经济和对外贸易的快速发展,国际、国内航运事业需求旺盛,中国的航运业已经成为全球市场最具活力、增长力的市场之一。随着航运事业的发展,来往船舶数逐渐增多,航道拥堵问题日益严重,海上交通安全和船舶航行时间长等问题也随之出现。虽然VTS在很多港口已经投入使用并积累了海量的雷达数据,但目前对这些数据的使用却不是很充分,大量的历史数据被遗弃在数据库中,还消耗着存储资源。目前各个港口的VTS基站都只是针对单个港口的基站做数据统计,暂不支持数据的连通,后续VTS会朝着区域化方向发展,当多个VTS基站的数据连通到一起时数据会急剧增长。面对如此大量的数据做统计分析,急需引入大数据技术助力企业实现这一目标。所以现在迫切需要一个航行分析系统,能综合多个VTS基站和AIS系统数据,通过对数据的分析制定相应的策略,解决港口和航道中的拥堵问题,降低航道中船舶的碰撞风险。本文根据对航行数据分析的需要,构建了船舶航行分析系统。系统主要分成数据采集、数据处理、数据加工、数据展示4个功能模块。数据采集模块主要是通过Sqoop工具或系统接口把数据接入到航行分析系统的数据库中,数据处理模块是对数据进行解析和预处理,去除不规则或者冗余、错误的数据,获取最基本的数据源,数据加工模块一方面是使用数据规范定义和维度建模原则把数据规范化后进行逐层加工,建立汇总指标;另一方面是使用DBSCAN算法进行数据挖掘,探索出航道中的拥堵地段,数据展示模块是将指标数据和算法结果以图形化或者报表的形式展示到界面上,分析航行中的船舶数据和航道中的拥堵情况。通过具体实践环境中的应用,航行分析系统可以真实的反映港口、航道中的拥堵情况,以图形化、表格等简单、直观的形式把分析结果呈现出来,便于企业员工分析决策。

关键词： 数据管理   商业智能   数据仓库  

摘要： 随着信息技术的发展,海量的数据在各行各业中不断的产生,如何更好利用数据时代,从中获取高质量的数据信息并为企业提供辅助性决策则显得尤为重要。但随着信息化进程的推进,企业也随之面临着大量累积的业务数据,由于多个信息系统之间尚未能充分的共享,造成了信息滞后和数据噪音。因此企业数据中心的发展也应运而生。商业智能技术可以为企业提供一个良好的信息决策体系,而这套体系的价值的实现与数据仓库技术的参与密切关系,将信息分析的结果融入到企业的业务运营和决策中,并达到业务流程的优化,为公司带来效益和价值。本文是以M企业数据中心系统及其数据团队作为研究对象,介绍了该企业当前系统的现状和问题。通过对数据仓库,OLAP技术和商业智能技术进行了概述,探讨了数据仓库和商业智能技术的特点,应用以及其架构,以及利用数据仓库与商业智能技术交互为用户优化决策的可能性,作为论文研究的主要参考。在进行访谈和问卷调查后,对该企业的数据管理问题进行了剖析,并构建问题解决与优化策略的思路框架。分别就数据质量与可靠性,用户访问权限、团队管理以及决策水平提高等亟待解决的问题提出了相应的优化策略。包括从对原有的数据库逻辑模型进行优化,以角色为导向的用户访问权限模型的提出,敏捷团队管理理念的实施以及商业智能决策金字塔模型的搭建等。

关键词： 实时数据仓库   流式处理   Flink   分层   风险监测  

摘要： 随着大数据时代来临,传统的数据仓库已经不能满足当下的实时业务需求。为了更好地处理数据,大数据工具应运而生。伴随着大数据相关技术的发展和业务实时性要求的提高,实时处理愈加重要。普通的实时计算只考虑时效性,数据计算的中间结果没有存储,面对大量实时需求时,数据复用性较差。因此,搭建实时数据仓库十分重要。本文分析了数据仓库架构的发展,对离线大数据架构、Lambda架构和Kappa架构进行了详细的研究和探讨。针对目前流式处理的三种主流框架Storm、Spark Streaming和Flink,从多方面对比,发现Flink在流批处理和实时处理方向的优越性。本文主要分为数据采集、数据仓库分层、大屏展示和风险监测四部分,以下为各部分主要内容:1.数据采集模块。日志数据由前端埋点获得,业务数据直接入My SQL库,而后通过Maxwell监控抓取。2.数据仓库分层模块。数据仓库分为ODS、DWD、DWM、DWS和ADS层,让实时计算复用性更好,结构更清晰。其中DWD层中以数据对象为单位进行数据分流。DWM层主要进行了访问UV计算、跳出明细计算和订单宽表、支付宽表的构建。DWS层进行了访客主题、商品主题、地区主题和关键字主题宽表的聚合。3.大屏展示模块。本文将Click House中的结果数据,通过Web Service数据接口,连接到Sugar工具,进行可视化的大屏展示。通过实现Controller层、Service层和Mapper层中对应的方法发布数据接口。根据业务需求,将Sugar大屏的展示共分为八个模块:总成交金额、省市热力图查询、分时流量、品牌Top N、品类分布、热词、流量表格、热门商品。4.风险监测模块。使用Flink CEP实时消费Kafka端数据,进行风险监测和提醒,实现黑名单过滤、恶意登录和订单实时监控。本文实现的基于Flink的实时数据仓库可以对接多种数据源,实现对结果数据的实时展示,对用户行为的实时风险监测,可以与离线数据仓库无缝对接,真正实现流批一体,可以无缝满足企业实时数据处理需求。

关键词： 大数据   数据采集   数据处理   数据仓库   Spark调优  

摘要： 互联网时代的到来,给大数据技术的发展提供了机会,大数据技术的快速发展也促进了互联网行业的繁荣,互联网公司想要生存也必须跟紧时代步伐充分利用大数据技术。在征信行业,中小型企业的数据模型架构主要以基于Mysql的架构为主,随着大数据时代的到来,数据的变化越来越快、数据的规模越来越大,采用大数据框架势在必行。本文主要针对征信数据,使用基于大数据框架的架构取代基于传统Mysql的架构。进行了基于大数据平台的数据采集、数据传输、数据处理、数据仓库建设、维度建模、案例分析。数据采集中使用了Kafka+Flume的模式进行数据采集并将数据落盘到HDFS上。对不同类型的征信数据采集设计了基于Flume的多种方案,并对数据采集和落盘过程中遇到的问题提出了相应的解决方案。数据处理中主要使用Spark进行数据处理。对比了Spark和Map Reduce的差异,Spark效率远高于Map Reduce。对Spark使用中经常出现的数据倾斜现象提出多种解决方案,并用实验进行验证。同时还进行了Spark的性能优化、算子优化、算子配合使用调优以及对Spark实时数据处理的问题分析和解决。之后,使用征信数据中的部分司法数据进行了数据仓库建设,将数据仓库分为了odl、dwd、dws、ads四层,并在dwd层进行了维度建模,结合司法业务使用了雪花模型。并对每一层具体工作进行了分析,并将最后清洗好的数据使用Sqoop导入Mysql用作前端的可视化。最后,本文对基于传统数据库架构与基于大数据架构的执行效率进行对比,证实了大数据架构的优势,尤其在大数据量的处理上。

关键词： 大数据   档案管理   专业技术   数据仓库   责任制   专属网站  

摘要： 随着信息技术的发展,社会出现了一个新词'大数据'.所谓大数据就是指无法在一定时间内使用常规软件捕捉、管理和处理的数据集合,必须要用新型处理模式才能够解决的信息资产.档案管理工作就是需要处理多种多样的信息和数据,在大数据背景下,档案管理工作也需要进行创新改进,依托大数据的优势,更好地开展档案管理工作.本文将从大数据背景下档案管理的现状和在大数据背景下进行档案管理创新的具体措施两方面进行阐述,以此来帮助档案管理工作更好地开展,保证档案管理工作的质量.