课程文献中心 更多>>

关键词： 数据治理   数据中台   Hadoop   数据仓库  

摘要： 针对传统数据仓库在建筑企业全域数据治理存在的问题,构建基于数据中台进行数据治理的架构,设计异构数据源的采集方案,建立离线和实时开发的数据治理模型,提出API、数据库同步及多租户的数据共享方式,比较不同数据治理架构的优缺点,实验表明数据中台架构对建筑企业全域数据治理是有效可行的。

关键词： 元数据   开放政府   数据质量   自动评估   数据仓库  

摘要： 建立科学规范有效的开放政府数据质量评估体系能够推动政府数据开放,培育发展数据要素市场。元数据作为规范描述开放政府数据资源的重要信息,成为评估其开放质量的基础。提出基于元数据的开放政府数据质量自动评估系统,以林业开放政府数据为例,运用商务智能技术构建质量评估各个环节,提出由“输入—分析—输出—后端”四模块的系统架构,分析出“数据源—质量评估—数据仓库—可视化”四步数据处理流程,通过采集中、美5个林业开放政府数据平台的元数据实例完成了原型验证,并提出未来的研究改进方向。研究实现了基于元数据的林业开放政府数据质量的自动获取、实时监测和定期评估,为一般性开放政府数据质量评估提供借鉴和参考。

关键词： 数据规范化   数据采集   数据仓库   数据集市   可视化分析  

摘要： 为解决水务集团传统生产运营管理存在的问题,采用数据规范化、数据采集、数据仓库、数据集市、可视化分析等技术,建设了集数据动态监测、阈值报警、监督管理、可视化统计分析、报表多级上报功能为一体的水务集团生产运营管理平台,服务于水务集团、水司、厂站、第三方监管单位等多级用户。平台建成后对减少人工提高生产运营管理效率,促进水务生产运营管理向自动化、智慧化转变具有重要的意义。

关键词： 动力总成   设备管理   数字化   数据仓库   生命周期管理  

摘要： 基于目前行业利用数字化提高业务水平的趋势,对动力总成开发型试验室设备管理高质量保全HQM管理方法进行设备管理数字化实践,带来一个有价值的尝试。根据HQM设备管理方法,重点利用数据仓库系统技术对传统设备管理系统进行数据库模型重新构建和定义,从而实现设备管理数字化目标。

关键词： 数据中台   数据仓库   数据分析   共享交换平台  

摘要： 近年来高校被赋予更深层次的育人使命,这要求高校信息化工作紧跟时代步伐,加强研究创新,以更加智慧和科学的技术和工具开展工作,以更加精细化的服务应对日益多样化的校园师生需求。目前,越来越多的工作将交由信息系统完成,这导致信息资源迅速扩张且类型多样。在数据缺乏整合利用、交换与共享能力差的情况下,师生面对海量的数据却得不到有效的数据服务。进入大数据时代,如何解决数据的管理问题,将校园庞大冗杂的数据变为可用的资源持续产生价值,并为教学过程提供高质量的服务,是当前迫切需要研究的课题。数据中台概念的普及及其在数据融合、处理、分析方面的优势,为高校数据治理与数据共享交换提供了方向。根据对北京交通大学的数据现状以及对现实需求的剖析,本文提出了基于数据中台的数据交换共享平台综合解决方案,其中设计并实现了数据采集与流转子系统、数据治理子系统、数据开发与分析子系统和数据资产服务子系统,以助力搭建高效和可持续的数据资产体系,发挥数据价值并对数据进行有效管理。数据流转与采集子系统涉及到实时数据仓库的设计与搭建,通过流批一体化的数据抽取工具与技术对源数据进行全面动态地采集并存入数据仓库中。数据治理子系统主要负责对数据中台中的数据标准、元数据、主数据、数据安全和数据治理进行全面的管理和维护。数据开发与分析子系统主要支持系统使用人员对数据开发任务进行管理并提供数据血缘和多维数据分析功能。数据资产服务子系统主要提供API接口、数据目录、数据查询、数据分析和智能推送等服务,从而实现数据资产的价值。在平台开发过程中,本人主要负责对整个数据中台的架构进行设计,搭建实时数据仓库,对数据采集、数据治理、数据开发分析和数据资产服务四个子系统进行设计与实现。本系统基于Spring Boot框架进行开发,主要使用Flinkx、Canal、Kettle和Flume工具进行数据采集,使用My SQL、Redis、Hbase、HDFS、Click House和Kafka作为数据存储工具,使用Flink、Spark、Atlas和科大讯飞提供的SDK进行数据开发与分析,使用Davinci和ECharts进行数据可视化开发。本项目实现的数据交换共享平台已在北京交通大学投入测试运行,极大地帮助高校缓解了当前面临的数据管理难、利用效率低下等问题,突破了高校数据共享瓶颈,提高了高校大数据利用价值,并以更为智慧高效的方式服务广大师生。

关键词： 大数据   工程项目   成本预警   数据仓库   机器学习  

摘要： 大数据、人工智能等新一代信息技术飞速发展,随着工程项目成本管理全过程产生的数据量不断增大,其背后隐藏的巨大价值使得我们需要通过提升数据的管理和数据价值的挖掘能力,从而改进工程项目成本预警能力。大数据下基于机器学习的工程项目成本预警是以风险问题为导向,融入大数据与机器学习的理念,设计成本预警方案,使企业成本预警活动更高效,进一步加强成本管理风险管控、提供决策支持。随着L企业细分市场和业务量的不断扩大,不断建立健全工程项目成本管理制度,借助信息技术建立了L建筑ERP系统,建立了良好的管理规范和数据基础。同时积极探索强化成本管理风险预警,发现其存在缺乏集中的成本预警数据管理和查询分析系统、缺乏分包成本风险的有效预警手段、责任成本管理风险预警存在主观性较大和效率低等方面问题,因此急需探索出大数据下的工程项目成本预警方案。通过利用大数据挖掘、机器学习技术,对业务数据进行深入的分析,从中挖掘出具有价值的重要信息。根据理论的支持、经验的推理以及算法规则的逻辑方法,实现大数据下对工程项目的成本预警。本文将L企业工程项目成本预警作为研究对象,针对该对象采用文献研究、案例研究和综合分析法相结合的方法进行研究。首先,对成本预警、大数据和机器学习的国内外理论和应用研究现状进行了总结,对项目成本预警、大数据和机器学习算法等相关理论进行了阐述,为后续的问题描述、必要性分析、成本预警方案设计和模拟实施提供了重要理论基础。其次,针对L企业的成本管理组织机构、成本管理流程和成本预警流程进行现场调研和数据收集,梳理了L企业工程项目成本管理现状。同时对L企业工程项目成本预警存在的问题进行了描述。再次,在此基础上对大数据下L企业工程项目成本预警进行了必要性分析,包括成本预警数据仓库设计、基于BP神经网络的分包成本风险预警、基于贝叶斯网络的责任成本管理风险预警。同时,进行了成本预警方案的设计:(1)通过数据仓库技术将离散、异构的成本预警数据转化为聚合、一致、可用的信息,提升成本预警数据管理和分析效率和质量;(2)通过BP神经网络算法建立分包成本风险预警模型,建立分包成本风险预警的有效机制;(3)通过贝叶斯网络算法建立责任成本管理风险预警模型,加强责任成本管理风险管控。从次,针对L企业进行模拟实施,利用Hive QL进行了工程项目成本预警数据仓库查询与OLAP分析;利用IBM SPASS 26,使用L企业分包成本风险预警样本数据进行了模型训练;利用Ge NIe2.0构建了L企业工程项目责任成本管理风险预警贝叶斯网络,并进行了正向和逆向推理。并从数据管理、流程梳理和技术应用上提出了实施建议,从数据、制度、人员和技术上提出了保障措施。最后,对全文进行了研究结论与展望的阐述。对大数据下基于机器学习的L企业工程项目成本预警研究,有利于解决L企业工程项目成本预警在成本预警数据管理与分析、分包成本风险预警和责任成本管理风险预警方面面临的问题,以此满足L企业工程项目成本预警的需求,提高成本预警数据管理和分析效率和质量、建立完整有效的分包成本风险预警机制、加强责任成本管理风险预警能力,提高成本预警的客观性和准确性。同时丰富了大数据下基于机器学习的工程项目成本预警理论、方案和实施路径,为大数据下我国建筑施工企业工程项目成本预警的发展提供新思路,为企业加强成本预警提供一定的理论和实践的借鉴意义。

关键词： 数据仓库   用户画像   机器学习   实时计算   数据挖掘  

摘要： 在大数据时代下,互联网用户在各种终端设备上时刻产生着大量的数据,那么高效快速地从海量数据中提取出有价值的信息显得尤为重要。大数据处理程序所涉及的业务模块复杂,在跨系统协同工作时无法较快响应。传统画像标签的计算方法存在一定的逻辑漏洞,无法准确描绘用户特征。针对海量数据处理的实时性和准确性问题,本文基于大型电商日志对实时画像处理技术进行研究,并面向业务运营构建数据大屏,主要研究内容如下:(1)为提高用户画像标签结果的准确性,本文提出基于最大连通子图算法构建ID-Mapping字典实现ID打通,使用Naive Bayes算法分析用户语义情感计算偏好标签,利用多个算法分类建模综合预测用户性别标签。(2)为提高数据处理能力和响应速度,本文提出融入旁路缓存和开启异步IO的方式提高数据查询速度和减少线程阻塞的时间,基于Flink实现动态分流自动感知的功能。(3)围绕研究问题和研究目的,本文基于优化方案搭建实时画像处理系统,从数据的存取、画像标签的计算、可视化大屏的展示等层面进行实现和测试。实验结果表明,经ID打通后用户的数据记录更全面,融入主观评语的偏好标签和使用多算法分类计算的性别标签的结果更准确,使用动态分流后数据处理程序更加灵活,添加缓存和开启异步IO后系统的响应速度大幅度提高。

关键词： Hive数据仓库   交易活跃度   异常检测   聚类  

摘要： 近年来,随着参与贵金属市场的人数和交易量的快速增长,产生的交易数据越来越庞大,这对投资者交易行为管理提出了新的考验。所以,应当结合大数据技术带来的算力优势,对相关数据进行有效的收集,存储,计算并结合数据挖掘技术进行分析,为贵金属市场投资者交易行为的管理提供有力支持。本文主要是以作者所在公司的贵金属交易信息数据仓库项目为背景,设计并实现了基于Hive数据仓库的贵金属市场投资者交易行为管理系统来解决投资者交易行为管理的实际问题。系统的核心是由投资者交易活跃度评分服务和异常交易的检测服务构建的投资者交易行为管理体系。交易活跃度评分功能通过结合业务实际,选取了影响活跃度的三个维度进行了交易活跃度评分算法设计,评分数据通过HQL脚本借助Hive数据仓库的Map Reduce计算进行数据准备,通过Impala工具进行最终计算。异常交易检测功能通过实验不同聚类算法对于异常交易的检测效果,并结合其他指标进行检测算法的选择。需要检测的交易数据通过数据仓库进行数据清洗准备,并与检测算法模块进行工程化整合。此外,系统还结合交易数据的特点,将底层存储数据的结构进行数据分层设计,并开发数据调度功能来实现HQL,Impala,Sqoop等多种类型数据脚本的统一调度管理工作。整个系统通过SSM+***的Web应用进行任务触发和可视化展示。整个系统完成后,解决了公司对于投资者交易行为管理不足的痛点,从零到一实现了对贵金属市场投资者交易行为管理的数据化、流程化、可视化和智能化。同时也为未来其他的投资者交易行为分析和管理提供了快速拓展的架构基础。

关键词： 商业智能   数据仓库   ETL   数据集成   数据缺失填补  

摘要： 随着互联网技术的进步和我国高等教育规模的不断扩大,高校信息化建设在改善教学科研质量、提高行政管理水平等方面的重要性日益凸显。高校教学数据具有来源多样、存在数据孤岛、流动性大、更新频繁等特点,数据管理面临较大挑战。商业智能是近年来兴起的商业数据管理和分析技术,可以通过数据仓库和数据集成实现对海量数据的存储和组织,在高校教学数据管理中具有重要应用前景。本文基于商业智能技术,通过优化数据集成策略,设计开发出稳定、高效的高校教学数据管理平台。取得的主要研究成果和创新点包括:(1)设计出一种数据抽取、清洗、转换、装载(ETL)策略,能够获取时效更高的数据,且耗时较传统ETL策略降低了 20%;设计出一种基于Hive分区表的数据存储策略,解决了流动的历史数据的存储问题。(2)针对数据清洗环节中数据集有可能出现数据缺失的问题,提出了一种基于K-means聚类和CART决策树的缺失数据填补算法,能够对单一缺失的数据集进行缺失数据填补,在不同缺失率下的平均准确率达到81%,优于使用K-means算法或KNN算法的结果。(3)基于商业智能完成了高校教学数据管理平台的详细设计、开发和测试。系统涵盖课堂教学测评、教学运行监控、校园防疫等多个功能模块,非高峰期、高峰期报表查询响应时间分别在1秒、3秒以内。

关键词： 实有人口   数据仓库   漏登人员   未注销人员   微服务  

摘要： 作为国际大都市的上海,随着改革开放的发展,其人员流动性越来越强,实有人员信息很难准确及时地更新到实有人口数据库中,致使在实有人口数据库中登记的实有人口数据与实际情况存在较大的偏差,这为安全治理、疫情治理等紧要事件的处置决策产生了较大影响。实有人口数据库中数据不准确的问题具体表现为存在大量在沪但信息未登记到实有人口数据库(以下简称漏登)的人员以及人已离沪但信息未从实有人口库中注销(以下简称未注销)现象。随着大数据时代的到来,人们进行各种社会活动时都会在海量数据中留下一笔,如常见的小区感知、手机信令、外卖、快递等产生的数据。海量的人员行为和生活数据为分析漏登人员和未注销人员提供了一定支撑。本文利用大量的人员行为和生活数据,借用数据仓库技术,对维护上海市实有人口数据进行一些探索性研究。本文进行的具体的研究工作如下:(1)提出以不断更新的人口数据和现有的实有人口数据库为基础,构建可疑人口数据仓库来及时更新本市实有人口数据库。首先,对公安获取的各类人口数据进行分析,了解各数据源中数据的特点和数据获取周期;然后建立疑似未注销和疑似漏登主题数据仓库;最后,利用Kettle对获取的数据进行ETL处理,通过与实有人口数据库中已登记的数据进行比对,将各类数据源中的可疑人员数据(疑似漏登或疑似未注销)加载到数据仓库中。(2)结合实有人口中各类人员产生数据的特点和各类数据源特点,比较详细地阐述了未注销人员和漏登人员的排查逻辑,包括数据融合分析方案。通过对数据仓库中的数据进行分析,最终排查出高疑似未注销人员信息和高疑似漏登人员信息,用以及时更新上海市实有人口数据库,在一定程度上解决了本市实有人口数据库中数据更新不及时、不准确的问题。(3)本文利用Spring Cloud、Quartz、Echarts、***等相关技术,设计并实现了基于微服务架构的上海市实有人口数据库维护系统平台。该系统是基于可疑人口数据仓库实现,实现了对数据的实时监控、任务自动调度以及数据统计分析等功能,在一定程度上为公安部门对实有人口数据库维护和使用提供支撑。