课程文献中心 更多>>

关键词： 数据仓库   电子商务   智能化   大数据技术  

摘要： 随着技术水平的不断提升，传统的电子商务模式已无法满足企业和用户的需求，电子商务的发展趋于智能化。然而，部分电商企业智能化发展水平还有待提升，无法跟上电子商务智能化发展趋势，这对电商企业的发展产生了一定的制约。在这种情况下，基础数据仓库逐渐发挥重要作用，给电子商务智能化的发展提供了有力支持，这就要求电商企业必须加快基础数据仓库建设，充分挖掘基础数据仓库的作用和优势，推动电子商务智能化发展进程。基于此，本文介绍了数据仓库的含义，分析了我国电子商务智能化发展中存在的不足，从数据仓库角度提出了优化电子商务智能化发展的措施。

关键词： 中铁银通卡   数据服务平台   数据仓库   维度建模   大数据技术  

摘要： 为适应城际铁路旅客高频短途的出行特征,铁路部门研发了多种新型票制及便捷乘车产品,包括计次票、定期票和铁路乘车卡等,其中基于金融账户设计的铁路乘车卡应用范围最广、用户规模最大,用户总量已接近千万。虽然铁路乘车卡较好地满足了城际铁路旅客的便利出行需求,但存在用户覆盖不广、使用便利性不足以及营销拓展手段不清晰等问题,既有运营管理仅能通过基础报表系统提供支撑,无法满足管理人员高效洞察、敏捷决策的需求。因此,亟需对铁路乘车卡的“金融”+“出行”数据进行研究,并构建数据平台,挖掘铁路乘车卡数据价值、提升量化分析水平、释放商业智慧能力,这对提升城际铁路旅客服务水平具有重要的意义。本论文以数据生命周期为脉络,旨在构建从数据产生到分析应用的全价值链路。首先对乘车卡数据资产进行分析识别,对运营管理需求明确量化指标;然后运用维度建模方法对数据主题进行顶层划分,结合大数据技术构建数据仓库架构,针对数据主题设计多维数据模型;最后依托主题数据模型运用OLAP工具设计了运营数据分析应用,并阐述了如何使用平台提供的数据服务功能服务业务实践思路。本论文主要研究成果包括:(1)全面调研分析铁路乘车卡业务流程、数据源系统,完成数据资产识别,结合业务管理需求梳理运营、营销方面关键指标。(2)针对铁路乘车卡数据特点,对数据“采存管用”环节进行全面研究;设计数据平台整体架构,对数据接入层、数据仓库层、数据应用层进行详细设计。(3)应用Kimball数据仓库规划和维度建模方法,根据业务内涵同类合并的原则完成数据主题划分及数据结构设计,采用星型结构设计数据模型。(4)基于数据服务平台功能,结合数据可视化技术,设计了多项数据分析应用,针对实际业务在营销管理、用户运营中的场景提供实践方案。铁路乘车卡运营数据服务平台的研究与设计,为乘车卡运营数字化、敏捷化转型及商业智慧的建立奠定基础,为新型票制和便捷乘车产品深化发展赋能。

关键词： 数据仓库   Hive   钻井信息   列存储  

摘要： 随着先进钻井技术和智能化技术的迅速发展,石油企业管理正逐渐规范化和信息化,钻井信息的数据规模也越来越庞大。然而,传统的钻井信息数据仓库管理系统难以应对海量数据的存储分析和快速查询需求。为了最大化的利用钻井信息系统长期积累的历史数据提供决策支持,本文采用了Hadoop大数据处理平台的理论技术,利用Hive数据仓库的列存储优势,设计实现了基于Hive的钻井信息数据仓库系统。本文的研究工作主要包括以下几个方面:第一,构建基于Hive的钻井信息数据仓库体系架构。针对大数据环境下海量钻井信息的存储需要,基于Hadoop和Hive的理论技术,利用SpringBoot、SpringMVC框架,构建了相应的钻井数据仓库体系结构,更有效的支持钻井信息分析,辅助决策。第二,设计实现了基于Hive列存储的数据仓库模型。为了满足钻井信息海量数据的存储和分析需求,设计并实现了基于Hive列存储的钻井信息数据仓库模型,其中包括数据仓库主题的确定、粒度设计、以及Hive列存储模型的设计。并且数据仓库采用分层设计对每一层进行了详细的阐述,分别从时间维度、钻井队维度、地区维度、供应商维度等多个维度对钻井信息进行统计分析。第三,实现对数据仓库数据的可视化展示。为降低基于Hive的钻井信息数据仓库的操作难度,使用Spring Boot、Spring MVC框架和前端展示框架Vue,设计开发了钻井信息数据仓库系统并完成数据可视化展示。

关键词： 联机分析处理   数据仓库   查询优化   SQL转换   动态评分  

摘要： 随着大数据时代的到来,如何从海量数据中快速挖掘出潜在的信息是数据库领域面临的一个重要挑战。为解决这一问题,数据仓库应运而生。它能够解决传统数据库在处理海量数据时的性能瓶颈问题并简化分布式系统的计算流程。Hive是目前主流的基于Hadoop框架搭建的数据仓库,可以用SQL语言进行大规模数据分析,但是Hive数据仓库也面临着两个挑战:一方面Hive在Hadoop之上建立Hadoop-Map Reduce任务,Hive的查询性能受到Hadoop-Map Reduce并行计算框架的限制,导致了较高的延迟和资源消耗,因此Hive在实际业务应用中会面临着查询高延迟、并发承受能力差等问题。另一方面Hive出现的时间较早,在业界的普及率很高,即使新兴的OLAP(Online Analytical Processing)引擎查询速度更快,但人们去学习不同的OLAP引擎成本较高,想要完全取代Hive并不容易。针对以上情况,本文出一种基于OLAP引擎的自适应加速方法。该方法在不改变Hive QL查询习惯的情况下,通过SQL方言转换将Hive QL查询自适应转换为高性能OLAP引擎查询,并根据集群繁忙度动态调整OLAP引擎优先级自动选择最优引擎执行查询任务,从而升Hive查询效率。本文主要工作内容如下:(1)出基于OLAP引擎的自适应查询加速方法。使得Hive QL能与不同OLAP引擎的SQL语句进行转换;采用动态评分策略对集群进行动态优先级编排。(2)对本方法中使用到的OLAP引擎进行优化。首先针对Kylin预计算会带来Cube爆炸的问题,出构建适配算法以更好地构建Cube,其次针对Presto和Click House查询数据量过大问题,出分区检查策略来减少Presto和Click House查询数据量。最后为了减少重复查询,出基于时间跨度的结果级缓存策略。(3)本文使用TPC-DS数据集对Hive查询、OLAP引擎查询、本文方法查询进行对比实验。实验结果表明:自适应查询方法与优化后的自适应查询方法对Hive在单表查询和多表关联查询下均有明显速效果,速前Hive平均查询时间为1680.20秒,速后平均查询时间为46.15秒,综合查询时间减少约1634.05秒,最终验证本文出的自适应加速方法的可行性与有效性。本文出的查询加速方法进行了近一年的分析、设计、实现,并从去年9月份开始逐步替换至线上环境中。至今,该方法的稳定性和高性能已得到充分证明。

关键词： 国际货运代理企业   商业智能   数据仓库   联机分析   数据挖掘  

摘要： 随着信息技术的不断发展,D国际货运代理企业积累了庞大的历史数据,现有的信息系统难以支持企业多样化、快速且多维的分析需求和适应全新的数智化管理发展需求。商业智能技术的广泛应用,帮助D国际货运代理企业摆脱经营过程中的信息资源闲置、数据壁垒和数据分析效率低下等问题。基于商业智能技术的应用研究和实践,能很大程度上辅助企业管理者提升决策水平,进而帮助D国际货运代理企业实现经济效益的提高。首先,本文对D国际货运代理企业运营管理、商业智能关键技术和决策与商业智能决策支持系统进行了理论概述。然后根据D国际货运代理企业运营决策现状、运营管理特点和运营决策存在问题分析,引出D国际货运代理企业对商业智能技术的应用需求。其次,在对D国际货运代理企业充分调研的基础上,开展商业智能技术在D国际货运代理企业经营决策分析中的异构数据集成、多维数据分析、风险预警分析、预测需求分析。提出通过数据仓库模型的构建,解决数据共享、数据独立性以及保持数据的一致性、完整性等问题;利用联机分析中的多维数据分析技术,呈现直观、实时、交互和立体的多维数据分析报表;运用数据挖掘技术中的关联规则算法科学开展国际货运代理企业客户订单行为分析,解决国际货运代理企业传统管理手段致使决策信息偏差和分析不到位问题。最后,开展D国际货运代理企业的商业智能技术应用实现,可以看到本文所研究的商业智能技术在D国际货运代理企业的初步应用过程中有着良好的表现。商业智能对提升企业管理能力和提高行业竞争力等方面有显著效果,同时也为商业智能技术在物流领域和其他领域的应用提供现实参考路径。

关键词： 分布式大数据平台   数据仓库   元数据管理   数据血缘关系  

摘要： 在大数据时代的背景下,数据急速增长,通过大数据平台以及数据仓库对数据进行组织和管理成为发展的必然趋势。传统大数据平台建设方案中,往往以业务数据为核心,而不重视元数据的管理,随着数据的增长出现数据开发、维护困难,数据质量降低等问题。针对这一现象,本文提出了以血缘关系元数据为核心的数据平台建设方案,通过血缘关系降低数据维护难度,保障数据质量,并设计了功能较为全面的开源数据平台;在此数据平台的基础上对离线数据仓库模型进行了研究,针对其在处理一体化数据文件时存在的不足,提出了离线数仓的优化模型。 此外海南自贸港的建设对于岛内航运业务各方面也提出更高要求,如何对其海量业务数据进行有效的管理和利用成为极具研究价值的问题。本文基于所提出的数据平台建设方案以及数据仓库模型,实现了面向港航轮渡数据的数据处理平台,通过大数据平台以及离线数据仓库对轮渡大数据形成有效的组织和管理,利用元数据保障数据质量。并依托大数据平台及其数据支撑,进行统计计算和数据分析,挖掘数据价值,使数据成为辅助决策者制订计划和调度资源的有效依据,用大数据技术为传统轮渡业务赋能,同时验证了所提出模型的可行性。论文主要解决了以下问题: (1)分析了传统数据平台存在的数据管理问题,提出了以血缘关系元数据为核心的数据平台建设方案,并完成了具体的方案选型以及资源规划设计。 (2)针对传统离线数仓模型在处理特殊离线数据时存在数据处理效率较低的问题,提出了解决方案并设计了优化模型。基于该数仓模型设计了数仓建模方案以及数据处理和数据分析算法。 基于以上研究成果,设计了轮渡业务数据处理平台,实现了包括基础平台搭建、数仓建模、数据处理分析、全流程任务调度、元数据管理等功能。对所提出的数据平台建设方案和数仓模型进行了实验验证。 通过以上工作本文探索出一套以元数据为核心的开源数据平台建设方案以及离线数据仓库模型。并设计了适用于港航轮渡业务的数据处理平台和数据仓库,为大数据技术在传统港航轮渡行业的应用提供了模型基础和实施经验。在未来的研究中将进一步拓展对实时数据的处理能力,以应对更全面的应用场景。

关键词： 数据仓库   OLAP引擎   查询任务   自适应加速   集群调度   优先级编排  

摘要： 随着大数据时代的到来，如何从海量数据中快速挖掘出潜在的信息是数据库领域面临的一个重要挑战。为解决这一问题，数据仓库应运而生。它能够解决传统数据库在处理海量数据时的性能瓶颈问题并简化分布式系统的计算流程。　　Hive是目前主流的基于Hadoop框架搭建的数据仓库，可以用SQL语言进行大规模数据分析，但是Hive数据仓库也面临着两个挑战:一方面Hive在Hadoop之上建立Hadoop-MapReduce任务，Hive的查询性能受到Hadoop-MapReduce并行计算框架的限制，导致了较高的延迟和资源消耗，因此Hive在实际业务应用中会面临着查询高延迟、并发承受能力差等问题。另一方面Hive出现的时间较早，在业界的普及率很高，即使新兴的OLAP(Online Analytical Processing)引擎查询速度更快，但人们去学习不同的OLAP引擎成本较高，想要完全取代Hive并不容易。　　针对以上情况，本文提出一种基于OLAP引擎的自适应加速方法。该方法在不改变HiveQL查询习惯的情况下，通过SQL方言转换将HiveQL查询自适应转换为高性能OLAP引擎查询，并根据集群繁忙度动态调整OLAP引擎优先级自动选择最优引擎执行查询任务，从而提升Hive查询效率。本文主要工作内容如下:　　(1)提出基于OLAP的自适应查询加速方法。使得HiveQL能与不同OLAP引擎的SQL语句进行转换;采用动态评分策略对集群进行动态优先级编排。　　(2)对本方法中使用到的OLAP引擎进行优化。首先针对Kylin预计算会带来Cube爆炸的问题，提出构建适配算法以更好地构建Cube,其次针对Presto和ClickHouse查询数据量过大问题，提出分区检查策略来减少Presto和ClickHouse查询数据量。最后为了减少重复查询，提出基于时间跨度的结果级缓存策略。　　(3)本文使用TPC-DS数据集对Hive查询、OLAP引擎查询、本文方法查询进行对比实验。实验结果表明:自适应查询方法与优化后的自适应查询方法对Hive在单表查询和多表关联查询下均有明显提速效果，提速前Hive平均查询时间为1680.20秒，提速后平均查询时间为46.15秒，综合查询时间减少约1634.05秒，最终验证本文提出的自适应加速方法的可行性与有效性。　　本文提出的查询加速方法进行了近一年的分析、设计、实现，并从去年9月份开始逐步替换至线上环境中。至今，该方法的稳定性和高性能已得到充分证明。

关键词： 进度管理   数据仓库   关键路径   保障措施  

摘要： 随着国内外互联网、5G技术的发展,基于大数据技术的数据仓库应用相继出现,各行各业都开始使用大数据技术进行数字化转型,数据仓库建设已经是港口信息化改革和提升行业竞争力的重要手段。Y港口集团被交通运输部确定为全国交通强国“智慧港口建设”试点单位,为了整合产生新的业态、新的空间、新的能量,Y港口集团加强对港口业务的数字化转型升级,建设一套具有采集整合、数据中转、数据管理、数据分析、数据可视化功能的数据仓库平台,范围涵盖Y港口集团各信息系统,以建立数据资产、构建数据闭环为核心价值,为实现智慧港口建设打下数据基础。Y港口集团在以往的软件项目开发管理过程中,对进度管理比较粗放,存在需求分析不明确、项目变更频繁等问题。在此背景下,本论文通过实际分析研究,将项目进度管理的理论知识运用到大数据应用类系统开发项目中,基于软件项目生命周期对大数据应用类系统开发项目进行精细化管理,提出切实可行的软件项目进度管理方案与实施保障措施。综合运用WBS工作任务分解、甘特图、关键路径法、关键链等工具和方法,对Y港口数据仓库开发项目进行进度计划方案设计。在确定进度计划方案后,对方案的实施进行控制并提出保障措施,从优化组织机构、完善制度体系、规范实施流程等方面确保实施效果。通过合理的奖励考核制度、变更控制、培训等机制措施确保项目进度计划顺利开展,实现在最优工期内完成任务,保障Y港口数据仓库开发项目顺利实施、成功上线,助力Y港口数字化转型升级,为智慧港口建设打下基础。

关键词： 数据仓库   混凝土   配合比   数据建模  

摘要： 近年来，建筑行业一直保持着快速的发展，我国也在积极推动混凝土与水泥制品行业走绿色低碳高质量发展之路。为了满足企业的发展需求，加快绿色低碳转型，实现安全、高质量发展，本文以重庆市某混凝土生产制造企业的实际应用为背景，对数据仓库技术在企业中的应用进行了深入的探讨研究，设计了面向砼(混凝土)配合比的数据仓库架构，构建了面向砼配合比的数据仓库。论文主要工作如下：　　（1）通过企业各业务系统主要功能的分析，总结了目前各系统数据管理中存在的主要问题，提出了数据仓库的建设方案。为开发砼配合比智能设计系统，分析了砼配合比在企业中的生命周期，解释砼配合比的全业务流程，并提出一种多级配合比管理理论用于高效地管理砼配合比;结合砼配合比的业务分析，设计数据仓库的6个重要主题的建模：材料、设计、养护、生产、运输和实施。　　（2）设计了包括数据采集、数据计算分析和数据应用等面向砼配合比的数据仓库主体架构。针对上述6个主题，结合Kimball的维度建模理论，对维度建模展开具体设计，建立面向主题的维度表和事实表;为保证数据质量，明确数据结构，数据仓库采用分层设计，保证各层存储数据的特点和内容明确;设计了ETL流程，对业务数据进行清洗和转换。　　（3）使用ETL工具将数据抽取到HDFS，利用Hive数据仓库工具对相关数据进行存储、管理和分析，实现了面向砼配合比的数据仓库。为打通数据仓库的数据通路，针对不同分层的表格进行设计;编写满足业务分析的自动化脚本，利用Azkaban自动化调度工具对整体流程进行自动化配置。将配合比数据仓库应用于配合比智能设计系统，扩展原系统的能力。对配合比数据仓库进行可视化应用，配合可视化框架展示数据变化趋势，供企业管理人员进行分析和决策;对配合比数据仓库进行智能设计配合比应用，提出一种基于机器学习的混凝土配合比智能设计优化方法，该方法的应用验证了数据仓库的合理性与应用的有效性。　　本文构建的面向砼配合比的数据仓库在混凝土生产制造企业成功实施，其运行大大提高了企业的数据集成和管理能力，增强了数据的可靠性和准确性，帮助企业快速精准进行决策、降低成本、提高生产效率和产品质量。

关键词： 流批一体   埋点   数据仓库   Flink  

摘要： 埋点是数据采集领域的术语,指在需要采集数据的“操作点”上对用户行为或事件进行捕获、处理和发送的实施过程。其用于跟踪应用使用的状况,可以提供包含页面访问次数、页面访问人数等在内的运营数据支撑。数据驱动的企业在做出业务决策时,往往需要高质量的埋点系统,以完成对埋点数据的采集、加工、存储和计算,因而,论文工作具有实际应用意义。现有埋点系统从离线数据仓库演化而来,使用Lambda架构同时满足离线和实时需求。这是一种通用的大数据处理框架,具有稳定性高的优势。但它的开发运维成本较高,且易出现离线和实时统计口径不一致的问题。为了解决上述弊端,论文设计并实现了基于流批一体架构的埋点系统,可以对上报埋点数据进行清洗、加工、存储和指标计算。流批一体指使用统一的方式完成数据的流计算和批计算,以保证处理过程与结果的一致性。系统使用流批一体的方式构建了埋点数据仓库,支持在相同集群下切换计算任务的处理模式,缩减了开发运维成本;系统设计了灵活且完备的埋点格式,为后续数据分析提供了高质量的数据源;系统在上报流程中通过批量上报、提取公共字段和压缩等方式,减少了所需传输的埋点数据量。除了集成和扩展先进的大数据存储和处理系统,论文也通过改进系统工作流程和系统架构来满足非功能性需求,如不同模块间采用发布订阅模式通信以提高可靠性。论文按照软件工程方法,对埋点系统进行了需求分析、总体架构设计、模块设计和代码实现。系统使用Apache Flink作为流批一体的计算引擎,使用Kakfa暂存埋点并作为下游数据源,使用数据湖表格Apache Hudi来同时支持数据的流式和批式读写。系统已经通过功能性和非功能性测试,可以覆盖埋点数据采集-加工-存储-计算的全链路,并为企业进行产品改进、运营优化、营销分析和商业决策提供数据支撑,从而更好的助力业务成长。