课程文献中心 更多>>

关键词： 运输调度   质量评价   车流推算   数据仓库   数据资源整合   决策支持  

摘要： 针对铁路调度业务数据综合价值不高、计划质量评价能力较弱、辅助决策支持能力不强等问题,基于数据仓库等技术对运输组织和调度指挥系统相关数据资源进行广泛集成和深度整合;设计调度工作质量评价及决策支持平台,实现行车安全过程管控、调度工作质量考核评价、重点列车运行辅助监控、车流自动推算、可视化决策分析等功能,提高运输组织和调度决策支持水平。

关键词： 概率回归   数据流处理   数据仓库   概率聚合   概率异常查询  

摘要： 物联网(Web of Things)使用标准的Web协议实现跨系统和跨应用程序的数据集成,在底层架构了多种不同类型、来源和运行协议的设备,包括GPS、传感器等。海量的流数据从这些设备源中持续地生成并被采集。这些流数据本质上是不精确的,比如传感器本身的测量置信度和传输时的误差。考虑到分析不确定性数据时要考虑多种可能性,这使得物联网数据的分析开销激增。同时,由于数据流数据规模巨大,不能存储在本地进行重复读取,需要进行实时处理。如何对这类不确定性流数据进行实时处理,并同时考虑其多种可能性成为了一项有挑战性的工作。因此,本文通过概率建模管理不确定性数据流,提出了概率数据流,即一组随时间流入的概率数据对象,每个概率对象都有若干个概率实例及存在概率。同时,本文提出了面向概率数据流的多维度概率回归分析,对数据流进行趋势分析。本文的主要研究内容如下:(1)概率数据流处理框架。本文提出了概率数据流处理框架,整合了本文所研究的一系列技术。首先,本文基于元组不确定性模型对不精确数据进行建模,得到概率数据流,并对传统回归分析进行拓展,提出了概率回归以及相关定义。其次,本文研究了数据流回归立方体,以支持物联网数据流的多维度回归分析,并且提出了有效的物化算法。因此,本文的研究成果为不确定性的动态流数据的趋势分析提供了一种有效的解决方案。(2)概率数据流的在线处理。为了对概率数据流进行实时监控分析,本文研究了概率数据流的在线处理技术,包括概率回归操作和在线物化算法。本文提出了基于卷积和基于sketch的概率回归,根据对象抵达时间不同,提出了内部回归和外部回归两种操作。在此基础上,本文提出了在线物化算法,沿着流行钻取路径实时物化数据子立方体,实现数据流的实时处理。(3)概率异常查询。本文研究了偏好趋势分析的概率异常查询技术,用来进行趋势监控。在此基础上,本文进一步提出了基于sketch的剪枝算法,筛选确定性的数据细胞,从而提高查询效率。(4)概率数据流的批量处理。本文研究了批量处理技术,包括概率聚合和批量物化。根据维度种类的不同,本文提出了时间聚合和非时间聚合。并在此基础上,提出了一个半分布式的批量物化算法,复用祖先数据细胞的概率回归值以减少计算开销,并支持更灵活地物化数据流立方体。

关键词： 数据仓库技术   数据库技术   海洋档案信息管理  

摘要： 本文基于数据仓库技术的特点比较了两种技术在海洋档案信息管理中的价值，并提出了数据仓库技术在海洋档案信息管理中的应用措施，以期能够为相关工作者提供借鉴与帮助。

关键词： 大数据   Django框架   钻井物料   数据仓库  

摘要： 随着计算机技术和石油钻井信息化的飞速发展,各油田钻井企业管理的钻井物料业务数据海量增加,传统的钻井物料管理系统已难以满足大数据环境下数据管理与应用的需求。论文采用Django框架设计实现了一个大数据环境下基于Django框架的钻井物料管理系统,构建钻井物料日常事务型数据管理的数据库,利用大数据技术构建相应的钻井物料数据仓库,通过数据分析和数据可视化的呈现辅助支持企业在钻井物料管理与应用方面的决策。论文的研究工作主要包括以下几个方面:第一:面对海量钻井物料数据管理与应用的需要,同时为提高基于Web的管理系统的可维护性和数据库驱动的便利性,利用Django框架和大数据技术构建出相应的钻井物料管理系统软件体系架构。第二:设计实现一个基于分布式文件系统HDFS的钻井物料数据仓库,用于解决钻井物料海量数据存储和分析的问题。数据仓库采用分层设计,表间采用维度模型建模,按照具体业务需求分别从公司维度、仓库维度、井维度、地区维度、时间维度等多个不同维度对数据仓库中的数据进行统计分析。第三:基于收集到的物料数据,使用机器学习算法中的随机森林算法设计实现一个根据开钻环境推荐钻具组合的数据模型。第四:使用由Python写成的开源的Django框架实现一个前后端分离的管理系统,完成用户管理与数据可视化功能。

关键词： Flink   实时数仓   弹性调度   动态放缩  

摘要： 随着互联网技术的进一步发展,实时数据规模快速升高,实时数据仓库(Real Time Data Warehouse)成为数据分析的重要手段,其通过Flink流处理引擎实现实时数据的聚合,能够提供秒或分钟级别的数据同步能力,使实时数据仓库的ETL过程可以满足管理人员对数据新鲜度的需求。但是在流处理引擎中,一次分配、长时间运行的流任务面临的工作负载规模难以预测,流处理引擎需要合适的调度算法实现流任务的弹性调度。同时,Flink当前的动态放缩机制,通过重启流任务并重新分配状态实现算子放缩,使得Flink在放缩过程中不能处理数据,带来了额外的吞吐量和延迟开销。针对上述问题,论文结合金曼公式(Kingman’s Formula)与DS2弹性调度算法,提出了一种基于Data Flow模型的流处理引擎弹性调度算法DS2-VUT,DS2-VUT算法以用户设定的算子实例最大等待时间以及输入数据到达和处理速度的变异系数作为输入参数,计算流任务中每个算子的最大利用率,使DS2-VUT能够对不同的波动幅度的工作负载做出准确的扩容(Scale-up)或缩容(Scale-down)决策,使流处理引擎能在尽可能少浪费物理资源的同时提高实时性。同时,为了减少Flink在放缩过程中的时间延迟,论文在Flink上实现了一种基于控制事件的动态放缩机制,该机制结合跳跃一致性哈希分区算法,使用输入数据的键值作为随机数生成种子,当算子实例个数变化时,不会发生额外的键值映射,减少了放缩过程中算子实例上状态迁移的规模和阻塞算子实例的个数,使Flink能够在放缩时继续处理输入数据,为基于Flink的实时数据仓库带来了更好的吞吐量和实时性。为了验证设计方案的有效性,论文通过资源受限的Docker容器模拟Flink计算节点,使用Word Count任务和雅虎流基准测试对DS2-VUT弹性调度算法和基于控制事件的动态放缩机制进行测试,实验结果表明,DS2-VUT算法相比DS2算法在面对低波动幅度的输入数据时,流任务的算子实例总数只增加1到2个,当面对高波动幅度的输入数据时,算子实例总数增加了2到3个,DS2-VUT在两种情况下,都能在尽可能少浪费物理资源的同时提高流任务的实时性。同时,基于控制事件的动态放缩机制相比Flink原生的机制减少了放缩过程中的状态迁移规模,加快了放缩的速度,并且改造后的Flink能够在扩容过程中继续处理实时数据,提高了Flink在弹性调度过程中的吞吐量。

关键词： 电信运营商   实时处理   数据仓库   Flink  

摘要： 在互联网大数据急速发展的时代,面对互联网企业持续不断的冲击,我国电信企业的机遇与挑战并存。随着电信运营商产品的不断精细化推广,对数据的时效性要求也越来越高,因此,如何从海量的用户数据中,及时有效地提取出宝贵的信息,将为运营商提供重要的支持,从而促进存量客户的维护、发展高粘性客户,并为运营策略的制定提供指导。然而,针对产品的精细化推广,往往都采用某月某日报表统计的方式,对于时效性的关注有一定的缺失。由于缺乏一套完善的实时数仓系统,运营商无法在行业中取得优势。针对上述问题,本文从实际项目需求出发,面向运营商的产品精细化推广,开发了大数据实时数仓系统。本文旨在深入研究大数据技术,通过与Map Reduce、Spark Streaming和Flink三种常见的框架的比较,本文决定使用Flink来构建一个能够应付各种情况的实时数据仓库。本文主要从以下几个方面开展研究工作:(1)通过采用分层架构,本文将实时数据仓库划分为四个不同的层次:ODS、DWD、DWM和DWS。有效地提高了数据存储的效率,通过在不同层次中进行数据的加工和处理,确保数据的一致性和可靠性,降低数据出现错误的可能性。(2)基于Flink完成了实时数据处理,结合Kafka消息队列处理了前端埋点数据和业务数据,实时地将数据聚合、转换和处理,并将结果输出到目标数据源。构建可复用的面向分析和统计的明细事实表,以及汇总公共粒度的指标。(3)通过对用户行为数据和产品分析数据的深入研究,将用户的消费能力、使用频率、浏览量、意向价位等作为衡量运营商满意度和制定运营策略的关键指标。本文利用Springboot接口,对DWS层Clickhouse数据库调用,并以可视化的形式进行展示,帮助业务人员更加有效地制定运营方案,分析用户需求,及时发现用户异常情况。

关键词： 工程项目   大数据   分包商选择   数据仓库   机器学习  

摘要： 在大数据时代,数据已经成为一种生产资料,并且成为一种稀缺的资源。各行各业都会产生有价值的数据,通过对这些数据的统计、分析、挖掘可以发现其中的价值,学会利用这些数据则会创造出意想不到的价值和财富。随着工程项目分包全过程中产生的数据量不断增加,需要我们提升数据分析和数据挖掘的能力,以发现其背后的巨大价值,从而提升分包商评价和选择的能力。通过数据分析及机器学习技术,深入分析分包商业务数据,结合相关理论的支持和算法逻辑,挖掘出具有价值的信息,实现大数据下分包商的科学选择。本文以工程分包商选择为研究对象,选择具有代表性的南京某建设集团作为参考对象,在充分分析工程分包商选择的业务特点和数据特征后,确定新的分包商选择思路,提出大数据下基于机器学习的分包商选择方案。首先,论文在分析某总承包商企业数据资产的基础上构建分包商选择主题数据仓库,将企业中分散的、异构的、规格不同的数据按不同维度统一存储,实现对分包商数据的统一管理,提升分包商管理相关数据的质量和使用效率。其次,针对分包商选择问题,提出大数据下基于机器学习的分包商选择方案:(1)基于对分包商选择问题的理解和企业实际情况的考量,选择从合作意愿度、项目交付能力、公司实力三个方面提取分包商的特征,然后通过K-means算法对分包商数据进行聚类分析,最后在分析分包商评价特征数据的基础上得到各个分包商的评价等级,形成对分包商的清晰分类,支持分包商选择的决策。(2)通过BP神经网络建立分包商选择模型,建立分包商选择有效机制。并通过软件工程方法将模型打包成软件服务模块,只需输入新的分包商信息便可选择最优的分包商。对大数据下基于机器学习的分包商选择研究,有利于解决总承包企业选择分包商时数据获取困难、过程复杂,选择周期长等问题,满足企业快速决策和科学决策的需要,提高工作效率,降低工作成本,让分包商选择过程更加客观。该方案一定程度上丰富了大数据下基于机器学习的工程分包商选择理论、方案和实施方法,为大数据下工程分包商选择提供了新的思路。整个思路对工程行业其他供应商的选择,以及在工程行业对大数据应用方法上具有一定借鉴意义。

关键词： 海洋平台   结构监测   数据仓库   数字样机   性能评估  

摘要： 海洋平台对我国的经济发展、社会发展具有十分重大的意义。全球海上平台安全事件频发,因此服役中的海洋平台结构安全问题备受重视,结构监测是当前国际上的一个热门课题。因此,在技术和经济上,科学合理地评估海洋平台结构的健康状况,是亟待解决的重要问题。对于当前的结构监测系统而言,使用基于OLTP(Online Transaction Processing)的数据库,已经无法满足结构应力、海浪、温度、加速度等多种因素的海量数据实时处理与分析,因此有必要开展基于新型数据仓库技术的海洋平台结构监测相关研究。本文开展了基于数据仓库的海洋平台结构监测技术相关研究,论文主要研究工作如下:分析了对数据进行滤波工作的滤波器算法以及一些数理统计计算方法,给出了疲劳强度评估模块、屈服强度评估模块以及异常状态报警模块以及传感器漂移检测的计算流程和评估算法。通过对各个功能模块的计算过程进行分析,得到了结构监测系统的数据需求。设计了面向海洋结构监测的数据仓库。结合海洋平台健康监测和评估的数据需求,设计了事实星座模型数据仓库,根据结构监测的主题确定了数据存储分析的粒度,构建了逻辑建模中的维度表和事实表关系,以及物理建模中的数据存储结构,形成了面向海洋结构监测的数据仓库。构建了基于数据仓库的海洋平台结构监测系统数字样机。对海洋平台进行结构响应分析,形成了平台结构监测点布置方案,设计和研发了结构监测的硬件和软件系统,并开发了用于结构监测系统测试的数字虚拟测试样机。基于数据仓库的海洋平台结构监测系统性能测试分析与评估研究。基于数值模拟和物理模型试验,构建了平台结构监测系统虚拟测试数据集,开展了对基于OLTP和基于OLAP(Online Analytical Processing)的平台结构监测系统的有效性、实时性的对比分析,并给出了平台结构监测系统的实时计算分析能力评价方法。

关键词： 飞行训练   数据中台   数据仓库   Lambda架构  

摘要： 随着信息化的高速发展,民航业也进入了信息化和数字化时代。但由于历史因素,民航现目前数据种类繁多且信息化程度不一致,在民航信息化发展过程中,存在各种民航系统相关联的业务无法协同、相同的民航数据无法共亨的问题。本文基于近几年民航局提出的建设“大数据+飞行训练”基础平台的理念,以飞行参数为支撑,设计并搭建面向飞行训练的数据中台,通过数据建模和分析实现多源异构数据的整合和数据知识的沉淀,消除数据壁垒,以数据接口的形式实现面向飞行训练的数据共通和数据服务。具体内容如下:1.针对民航多源异构数据设计数据贴源层,采集Cessnal172R训练机中GARMIN1000系统中的的飞行参数、CESSNA CJ1模拟机中的飞参数据、飞行员训练考试成绩等级、飞行训练日志等数据作为中台的数据样本,并利用ETL技术对文件数据进行简单的清洗和转换处理,通过Matlab将视频数据分帧为静态图像再进行预处理,采用Flume实现多节点数据采集汇总。2.针对飞行训练数据融合机制搭建数据治理层,具体实现飞行训练数据的预处理模块、数据仓库详细实现模块、训练日志匹配逻辑模块和数据中台服务模块。在技术选用上,采用HDFS+Hive实现数据仓库分层模型搭建和数据分析;采用多段匹配的方式实现飞行参数和飞行训练日志的匹配逻辑;采用Kafka对存储在数据仓库的日志数据进行监控;DBeaver实现对Hive及MySQL的视图查询;采用DataEase进行数据可视化大屏的设计。在架构选用上,选择了能分别处理批量数据和增量数据同时具有一定鲁棒性和容错率的Lambda架构,能将数据中台的治理能力较完整地呈现。3.针对用户应用需求设计数据服务层,搭建好的飞行训练的数据中台最终实现了中台系统、数据报表、数据大屏、视图查询等服务功能。通过对数据中台进行环境测试和系统测试,规划集群部署服务器节点对软硬件环境、内存占用率、系统性能、系统兼容性和中台系统功能等方面进行测试与验证,使其拥有主流平台的服务能力,达到多来源飞行训练数据融合的目的,实现数据共享的价值。

关键词： 门禁数据   数据仓库   数据分析   大数据技术   可视化  

摘要： 随着信息化、智能化时代的到来,基于3D人脸识别的门禁系统作为高校数字安防的核心应用,已经在高校中得到了广泛使用。这种门禁系统能够降低来自校园外部的威胁,从而保障校园里面人员、财产的安全。但是,现存的门禁系统,在对其海量数据的储存、管理及分析挖掘方面存在很大的不足。如何合理地处理和利用这些数据,成为了学校关心的重要问题。在此背景下,大数据技术应运而生,并在学术界以及工业界得到广泛认可和应用。其中,Hadoop技术以其良好的生态圈,并具有扩展性高、稳定性强、容错性高等优势,成为大数据处理领域的主流平台。基于Hadoop集群上开源数据仓库能够辅助学校管理。因此,越来越多高校构建属于自己的数据仓库系统,从而推动学校信息化建设迈向新台阶。数据仓库拥有面向主题,能够加工、处理、集成随时间变化的数据集。但是,传统的数据仓库只能处理偏结构化的数据,无法处理其他类型的数据。而校园中的数据不仅有结构化数据,还有非结构化数据以及半结构化数据。对其他非结构化的数据,数据仓库并不能做到很好的处理;也不能很好的解决“数据孤岛”。为了解决这些问题,打破“数据孤岛”,发挥数据的潜在价值。结合校园数据的相关业务特点以及业务需求,对3D人脸识别的通行门禁数据的储存、管理、分析统计挖掘,设计实现一个数据分析平台具有较大的现实意义。本文的主要工作如下:1.分析基于大数据技术的门禁数据分析平台的业务需求,具体包括数据备份,使用数据湖进行数据储存、管理,数据脱敏,在数据湖中设计实现数据仓库,使用知识图谱进行数据可视化的展示,自动化任务流程,数据分析挖掘统计,后台管理系统等相关模块。2.将数据湖等大数据技术应用到校园数据的储存、管理、分析。同时在数据湖的基础上,使用Kimball维度建模理论结合数据分层以及业务需求,进行数据仓库的设计,采用Apache Hive完成数据仓库的构建,使数据变得更加可靠,数据结构更加的明确,方便对数据进行血缘追踪,为数据开发提供便利。配合Azkaban任务调度工具,设计实现每日新增加数据的自动化处理。3.设计出一个基于校园门禁通行数据的人员行为异常的检测方法,采用Prefix Span算法对门禁用户及其每日进出地点、时间构建的路径序列以及时间序列进行模式挖掘,生成正常序列库。通过使用相对编辑距离以及相对支持度等方式对前日行为序列进行定量刻画,完成异常行为检测。通过实验分析,在选用的数据集上,采用本文设计的LSTM预测模型,效果要好于ARIMA等传统模型,并将此模型运用到实际的生产环境中进行使用。同时根据设定的规则,统计用户外出未归情况。4.对数据湖中相关结构化数据使用Neo4j进行知识图谱的构建,通过使用点和边的方式,更加直观的展示节点以及节点之间的关系。5.设计和实现后台管理系统,对平台进行管理。将SSM+Spring Boot+VUE等技术作为系统的框架,对平台用户、用户权限进行管理。最后对整个平台进行测试,验证平台的可用性。