课程文献中心 更多>>

关键词： 数据库迁移   数据库技术   数据库系统   数据抽取   数据导出   数据仓库   计算规则   表分区  

摘要： 随着计算机和物联网技术的迅速发展,产生了大量数据。这对数据库的创建提出了更为严格的要求和标准,数据库技术需要跟上时代潮流,以满足企业更高的生产需求。本文通过自动负载信息库,剖析数据库系统的性能,采用表分区方法对数据仓库整体进行优化;通过数据抽取、备份和恢复等一系列步骤,实现数据库迁移;通过数据导入、设计计算规则等环节,使复杂、规则各异的数据自动生成固定格式。优化后的系统在访问高峰时期能够实现秒级数据响应,为企业决策提供有力支持;数据库迁移后提供完整的生产线数据,使研发部门优化产品设计,提升产品在市场中的竞争力;上线后绩效系统减轻了繁琐的人工工作,更快速地实现数据导出,也为医院有效管理提供了基础。

关键词： 数据治理   数据仓库   元数据管理   数据质量   数据血缘  

摘要： 高质量发展理念贯穿城市发展的方方面面,作为社会经济发展的关键组成部分,智慧园区已经成为引领区域经济结构调整和推动经济增长的强大动力。在“十四五”规划的引导下,智慧园区将迎来新一轮的发展浪潮。业务系统是智慧园区信息化建设过程中的重要组成部分。然而,由于数据结构、业务内容、管理方式等多方面原因,数据分散存储在各自独立的业务库中,形成数据碎片化、数据质量差、数据利用率低等问题,导致已有系统的数据难以实现有效的共享和交换,无法充分发挥数据的潜在价值。为了解决上述问题,本文设计并实现了利用数据治理体系构建面向智慧园区的数据治理平台,为智慧园区信息化建设中遇到的数据难点提供可行之策。 系统设计分为五个功能模块,包括数据采集模块、数据仓库模块、数据质量管理模块、元数据管理模块与数据血缘模块。数据采集模块实现对园区各业务系统的数据收集与存储。数据仓库模块实现数据分层建模,并对数据仓库数据进行加工和处理。元数据模块实现对园区整体业务数据的精确定位。数据质量管理模块实现数据质量问题检测,以提升数据质量。数据血缘模块实现数据血缘链路的构建与展示,该功能可以帮助管理人员快速定位和解决质量问题。 除各模块的基础功能外,特别关注了数据仓库、数据质量和数据血缘模块的设计。其中,数据仓库模块设计层级映射工具,通过配置和大数据处理技术实现数据链路自动层级映射,提高数据加工和处理效率。数据质量管理模块设计了统一规范的规则扩展标准,通过规则模板,实现对规则的自定义设计,并且通过配置实现不同数据与规则的动态绑定,形成质量作业。数据血缘根据数据生命周期中流转路径构建数据血缘关系,通过解析元数据信息,确定源头和流转路径,设计数据仓库血缘子图,提高血缘解析效率。 本项目所实现的面向智慧园区的数据治理平台在某智慧园区通过初步测试,系统各个功能模块可以正常运行,测试表明数据治理平台在功能和非功能性需求方面得到了充分满足,具有较高的使用价值。

关键词： 特色旅游终端   数据赋能   数据仓库   数据可视化  

摘要： “十四五”规划明确指出要加快产业数字化转型，推动数字经济与实体经济深度融合，加快推动数据赋能全产业链协同转型。为此，作为实体经济重要构成部分的烟草行业，应聚焦营销数据利用率低、可视化水平不足、不能充分指导结合旅游文化特色的烟草“新零售“终端等问题，依托数据抽取（ETL）、数据仓库（Greenplum）及数据可视化报表（Finereport）等工具进行数据可视化，实现旅游终端卷烟零售商户卷烟营销透明化，最终给予决策指导，实现监督管理及精准营销。

关键词： 大数据技术   电力生产管理   数据仓库   数据展现  

摘要： 阐述大数据技术的特点，探讨大数据技术在电力生产管理中的应用，包括集成管理技术、数据仓库中关键技术、数据分析、数据展现技术、数据处理技术。介绍大数据技术对电力生产管理的作用。

关键词： ADS-B   数据仓库   VAE-Bi-LSTM   异常检测   可视化  

摘要： 随着空中交通流量的日益增加,空中交通管理面临严峻的挑战,ADS-B数据作为航班飞行的数据载体,以其获取难度低,飞行信息丰富等特点成为研究热点。但随着海量历史数据的积累,数据面临存储困难,数据利用率低等问题。如何有效存储和查询历史ADS-B数据,高效利用历史飞行数据发掘潜在安全隐患,提高飞机出行安全率是本文研究的重要课题。 本文针对大量ADS-B(自动相关监视广播)数据的存储管理、查询处理和异常数据检测等问题,首先融合大数据和数据仓库技术构建了三台分布式节点服务器用于数据存储,使用Data X将大量数据上传到HDFS(分布式文件系统)中,利用Hive表和Spark ETL技术实现了对海量数据的转换与抽取。根据异常检测以及飞行轨迹可视化的数据需求,设计了相应的纬度表和事实表,完成了ADS-B数据仓库的星型模型设计。其次,通过对循环神经网络模型研究,提出了一种结合变分自动编码器(VAE)和双向长短期记忆网络(Bi-LSTM)的混合模型。该模型利用VAE捕获轨迹数据的高维特征,并结合Bi-LSTM双向处理时间序列数据的能力,使用动态时间弯曲(DTW)方法评估重构轨迹与原始轨迹之间的误差来判断轨迹是否存在异常,通过真实历史轨迹数据进行验证,结果显示该算法具有良好的异常检测性能。 最后,本文开发并实现了ADS-B数据异常检测可视化系统。该系统利用开源框架和本文提出的异常检测算法,采用前后端分离的设计,基于数据仓库提供的数据源在轨迹可视化、轨迹压缩和轨迹异常检测方面的应用效果进行展示。

关键词： 加油站   数据仓库   物联网   加油机故障预警  

摘要： 面对来自新能源的压力,传统加油站需要借助物联网和大数据技术实现数字化转型。如何提高加油站各种设备的可靠性和易维护性,以保障安全性和高效率运营,实现降本增效,已经成为当前加油站必须面对的问题。加油机是加油站的主要特种专用设备,因其造价高、故障率高、维修周期长,成为制约加油站运营效率提升的主要因素。本文首先结合物联网技术采集加油站运营和设备运行数据,在此基础上,基于大数据和深度学习技术,针对加油机故障分类和预警展开研究,主要工作内容如下: (1)基于Docker和Spark的大数据平台数据采集。建立离线数仓,对收集的数据进行分层处理,建立ODS层、DWD层、DWS层、DWB层和ST层。在该架构下,数据从不同的事务性系统或外部数据源中抽取并存储在数据仓库中,以供数据分析和深度学习模型构建使用,为故障预警模块提供准确可靠的数据源。 (2)基于SBOA-OGRU技术构建加油机故障分类的深度学习模型。本文提出了一种改进的Sigmoid蝶形优化算法,采用最佳门控递归单元(SBOA-OGRU)模型,用于Apache Spark中的大数据分类。SBOA-OGRU技术涉及基于SBOA的特征选择技术的设计,以选择特征的最佳子集。此外,基于OGRU的分类模型将大数据划分为适当的类,应用Adam优化器完成GRU模型的超参数调整。 (3)基于LSTM和随机森林融合算法的加油机故障预测研究。本文研究了基于关键检测参数的长短期记忆(LSTM)算法在加油机设备质量预测中的应用。应用适用于时间序列数据的深度神经网络算法LSTM。然后通过LSTM的预测数据输入到预先训练的随机森林模型中进行故障类型预测,确定特定的故障类型。为了验证LSTM的优越性,使用ARIMA和LSTM模型方法比较,在精度和拟合方面优于ARIMA。该算法能有效提高故障预警的准确度。 本文应用深度学习模型、大数据技术和物联网,对加油站物联网的数字化转型、提高行业效率和竞争力具有现实意义。

关键词： 目标成本管理   BP神经网络   数据仓库  

摘要： 水资源是人类生存的基础,也是社会经济发展的关键资源。供水企业作为水资源管理的重要环节,承担着为城市提供安全、可靠、可持续的供水服务的责任。社会经济发展和城市化的推进为供水行业带来了日益严峻的挑战。传统的供水成本管理方法往往基于经验和人工操作,难以实现精细化和智能化管理。为了应对这一挑战,本文以Z水务企业为例,以目标成本管理为线索,利用机器学习算法和数据仓库技术,为供水企业的成本管理提供支持,推动了供水成本管理理论的创新。 本文起始于对成本管理与机器学习领域的国内外研究进展的系统性回顾,详细阐述了目标成本管理、数据仓库以及机器学习的核心概念与理论,并依托实地调研与信息搜集工作进行了深入探讨和描述了Z水务企业供水成本管理相关现状和问题。Z水务企业成本管理流程包括成本预算、控制、核算和分析四个步骤,已经初具目标成本管理雏形,但仍存在各单位管理水平差异大、数据信息不统一,成本预算不贴合业务实际、预算执行不到位,年中成本数据不准确、成本分析滞后等的三个问题。 其次,基于目标成本管理两个重要环节:目标成本分解与目标成本评价,建立供水目标成本智能管理基本框架。首先,进行供水目标成本智能管理机理分析,以存在的问题为导向,结合数据仓库与机器学习算法进行供水目标成本智能管理的构建。数据仓库技术能够解决多表数据集成慢、多系统数据孤岛等问题,通过数据仓库结构设计,依据数据源确定数据仓库的主题域,设计各个主题域的事实表和维度表,并通过星型、雪花、星座等数据模型整合起来,将主题域按内涵划分为数据集市,从而实现供水成本管理数据仓库的构建。供水成本管理数据仓库建立后,可以通过Hive QL查询和OLAP分析确定重要影响因素与成本的关系,以此进行供水成本分析与目标成本的分解。BP神经网络算法能基于多种复杂因素建立非线性映射模型,根据实时数据做出对成本的准确测算,借助供水成本数据管理仓库的海量数据,分别对内部的生产、运营、外部的环境、社会经济维度选取较为全面的成本管理影响因素,建立成本测算模型指标,对数据进行归一化处理以确保一致性与可比性,确定神经网络结构并对样本数据进行训练与测试,构建基于BP神经网络算法建立供水成本测算模型。通过模型将供水成本指标实时输出为成本值并与目标成本进行对比,从而实现对成本的实时监督和评价,以及时反馈并调整控制过程,实现对供水目标成本的智能管理。 再次,针对Z水务企业进行模拟实施,供水成本管理数据仓库利用Hive QL查询与OLAP分析进行成本分析,运用IBM SPSS软件对Z水务企业供水成本管理样本数据进行了供水成本测算模型训练,并对基于机器学习的供水目标成本管理的具体实施提出了实施建议,从数据、制度和技术方面提出了相应的保障措施。 最后,本文总结了研究结论和展望。通过基于机器学习的供水目标成本智能管理方案的设计与实施,Z水务企业可以实现对供水成本的精细化和智能化管理,提高运营效率和管理水平。丰富了基于机器学习的供水目标成本管理理论,实现了目标成本管理理论和实践的创新。

关键词： 污水处理企业   大数据   智能成本预警   数据仓库   机器学习  

摘要： 随着智能化浪潮的来临,企业的成本管理在不断变革,传统的成本管理模式已经无法驾驭企业产生的海量数据。众多企业正处于数字化转型中,转型带来的问题需要依靠更多的智能技术去解决。成本相关的数据不再单单局限于单纯的财务数据,还涉及生产、业务甚至宏观等数据。面对纷繁复杂的成本数据,如何经济地存储数据、高效抓取数据以及挖掘数据背后的价值成为企业迫在眉睫的问题。在智能技术的加持下,企业的成本管理不再只是事后的分析,逐渐成为事前主动性的预测。特别是对于重视生产的污水处理企业来说,智能成本预警尤为重要。为探索污水处理企业智能成本预警的方案,本文构建了基于机器学习的污水处理企业智能成本预警框架,以L污水处理企业为研究对象进行验证。 L污水处理企业是一家承担污水收集、处理、再生等业务,有着二十余年污水处理经验的企业。L企业正处于数字化战略转型阶段,大力推动技术创新,进行以大数据、物联网、人工智能等新一代计算机技术为基础的智慧水务建设。但目前L企业的成本管理模式较为传统,未存在基于智能技术的成本预警方案,企业大量生产数据背后潜藏的价值也还未进一步挖掘。导致转型中L企业成本超支、资源配置效率低的问题未能得到解决,现有成本管理流程需要改革,智能成本预警系统有待建立。 首先,本文对污水处理企业成本管理、智能成本预警、机器学习的国内外理论和应用研究现状进行了总结,然后介绍了智能成本预警、数据仓库和机器学习算法等相关理论基础,为后续的方案设计与模拟实施提供支撑。接着,通过实地调研与访谈,梳理L污水处理企业的工艺流程,分析其成本构成,再整理L企业现有成本管理流程与成本预警流程,总结出存在成本预警数据管理和查询效率低、污水处理成本风险预警缺乏灵敏机制和维修成本风险预警精细化低的问题。其次,针对L企业成本预警现状的问题,对智能成本预警进行了必要性分析,包括成本预警数据仓库设计、基于决策树算法的污水处理成本风险预警、基于K-means的维修成本风险预警。同时,设计智能成本预警方案,进行智能成本预警数据源分析和ETL过程,构建智能成本预警数据仓库,将L企业不同系统与平台中的数据整合起来,便于有效地存储和分析数据;构建污水处理成本风险预警指标体系,通过决策树算法对污水处理成本进行预警,有效提升企业应对污水处理日常成本风险的机制;进行维修成本风险预警指标体系的设计,构建K-means聚类算法的维修成本风险预警模型,细化L企业的维修成本的预警,有助企业相应决策。并提出加强成本预警数据管理、优化企业成本管理流程与制度和强化成本风险预警模型分析结果应用的建议以及从制度、技术和人员提出保障措施。最后,对本研究进行结论总结与未来展望。 本文通过分析数据源、ETL过程和模型设计等,构建数据仓库优化成本预警数据管理和提升查询效率,利用决策树算法和K-means算法解决污水处理成本风险预警缺乏灵敏机制和维修成本风险预警精细化低的问题。在必要性分析的基础上,为L企业构建的智能成本预警方案能够帮助企业识别污水处理过程中可能出现的成本风险,提前发出预警,使企业采取措施减少潜在的损失。在对各种成本预警进行收集、整合和分析的过程中,提升成本管理的效率,变革成本管理模式,帮助企业更有效地优化资源配置,降低企业的运营成本。污水处理企业智能成本预警方案为行业的成本预警提供理论和实践的借鉴意义,并且需要进行持续优化和改进,适应企业的改变,增强企业的竞争力和可持续发展能力。