课程文献中心 更多>>

关键词： 数据治理   数据采集   数据仓库   数据融合  

摘要： 随着大数据、人工智能、物联网、区块链等信息技术的飞速发展,推进大数据在教育教学与教育治理等领域的应用是教育现代化发展的共识。长期以来,教育领域数据孤岛现象依然突出,数据统一与共享仍然是信息化推进过程中需要解决的重大问题,尤其是信息技术与教育深度融合过程中存在着数据来源多样、数据结构各异等问题,需要从技术上解决数据融合共享过程中的不一致、不完整等问题,以便为数据赋能教育应用提供技术支撑。论文针对教育数据治理过程中面临的多源异构数据融合处理的实际需求,对教育数据的采集汇聚、集约存储与管理以及数据融合等关键技术展开研究。论文的主要工作包括三个方面。针对多源异构数据的采集需求,设计了一种集成数据湖与消息队列技术的异构数据采集方法。针对实际应用需要对实时数据和离线数据进行采集的要求,利用数据湖与消息队列技术实现对离线数据和实时数据的采集。在此基础上,进一步细化设计了适用于全量和增量采集的方法,以满足结构化、非结构化和半结构化数据采集需求,确保教育数据采集范围全覆盖。为实现对教育数据的有效治理,提出了一种湖仓一体的数据仓库模型及数据融合策略。针对异构数据需要融合治理的问题,设计了一种多层数据仓库模型,该模型实现对业务原始数据、轻度融合数据、主题分析数据等进行分层管理,便于满足实际的数据应用需要;在数据融合方面,提出了一种基于表结构的数据融合策略,通过获取数据仓库标准表结构信息,设计融合阶段数据映射与异常处理的规则机制,并以任务调度的方式实现多源异构数据的规范化融合,为数据应用服务提供准确可靠的数据支持。利用提出的数据治理方法,在教育领域进行应用研究。对教育领域真实数据实施数据治理,并设计教育分析模型对治理数据进行教育分析与应用,验证了本文提出的数据治理方法的可行性和有效性。

关键词： 数据集市   数据仓库   划小单元   财务报表  

摘要： 近年来,电信行业为了优化资源配置逐步深化财务改革,其中尤以划小改革为典型。中国联通也顺应时代潮流,开始了以划小承包和倒三角支撑为核心的市场化改革,旨在充分激发其发展活力。然而,各级财务管理部门对基层划小单元的财务支撑较弱,体现在没有统一与标准的数据共享与核算平台,手工核算利润费时费力,划小单元财务数据核算准确度不够等方面。因此,本文以广东联通为案例建设划小单元财务支撑系统,对划小单元的业务和财务数据进行整合以提供对划小单元的有效财务支撑。本文根据数据仓库和数据集市相关技术的发展现状,对比分析二者的特点和优劣势,深入调查并分析了广东联通划小单元的业务需求和数据源特征,设计并实现了一套面向业务分析的基于数据集市的划小单元财务支撑系统,主要工作如下:(1)进行系统需求分析。面向企业实际业务场景,对系统进行了功能性需求分析和非功能性需求分析。针对划小单元财务支撑服务中存在的问题,提出了一套基于数据集市的数据解决方案,将系统从整体上拆分为数据采集、数据整合、数据应用和数据展现四大部分。(2)进行系统的总体设计。首先,从宏观的角度设计了系统的分层架构。然后,针对数据集市中的常见问题对数据集市进行分层设计,构建了三层架构数据集市,既能满足上层应用需求,又能实现数据源头追溯;通过对比分析主流的建模方法,提出了基于维度建模的数据集市建模方案;针对数据源的特征结合上层应用需求设计了符合生产实际的ETL过程,解决了异构数据源中存在的数据不一致等问题。最后,基于J2EE架构将面向应用定制的财务指标结果数据以Web应用的方式进行展现,提高了数据的可读性与易理解度。(3)进行系统的详细设计、实现以及测试。根据总体设计中的功能模块划分详细设计并实现了数据采集、数据整合、数据应用和数据展现等重要功能模块。首先,从静态的模式和动态的ETL两个角度阐述了数据集市对数据从采集、整合到应用的数据处理全流程。然后,基于数据集市提供的数据,采用SSM框架设计并实现了数据展现Web应用,对数据可视化。最后,对系统进行了功能性测试和非功能性测试,为系统最终上线做好把关。本文研究结果表明,在广东联通划小改革业务场景中,基于数据集市的划小单元财务支撑系统具有理论研究意义和实践应用价值,能够为广东联通财务部和其他部门基于数据进行管理和决策提供可靠参考。本系统符合广东联通划小改革的实际需求,实现了预期目标。

关键词： 云计算   大数据   数据仓库   逻辑回归  

摘要： 随着国家把大数据的发展和社会信用体系建设上升到国家战略的层次,云计算和信用评分模型都将有着更为宽广的发展空间。传统的信用评分模型虽然已经广泛的应用于各个金融公司、互联网公司,但其数据处理的方式仍以人工取数为主,并不能快速的进行更新迭代。而本文引入了基于云计算的信用评分模型,用建立数据仓库的方式对模型变量的获取进行流程化处理,在数据处理的流程上进行创新,大大提高了信用评分模型开发的效率和易扩展性。基于流程上的创新,本文通过以下四个方面来研究信用评分模型。首先,围绕着云计算,对大数据的特征、数据仓库的概念,以及数据仓库的建模理论、设计方案进行了研究分析,提出了数据仓库架构图,并且说明了云计算在信用评分模型中的作用。其次,对信用评分的基本原理和设计机制进行探索,并经过分析,制定了好坏客户区分的标准。再次,根据逻辑回归的理论模型对参数进行估计,揭示了信用评分模型的数学原理。最后,以德国信用评分的数据为基础,把云计算技术、大数据技术、及数据仓库的技术应用于信用评分模型的创建,把计算机技术与数学模型进行结合,创建了全新的信用评分流程。

摘要： 现今“互联网+”的影响力日增，全球有数十亿的互联网用户，他们每天各种操作会产生大量的信息数据。随之而来的是大数据在哪里存储、如何处理和挖掘的问题。很多需要每天面对大量数据的互联网公司都构建了云平台，在后台搭建分布式计算系统来保存和处理海量数据。同样，对于工作中需要面对大量财务数据和业务数据，

关键词： 数字钢卷   数字交付   智能制造   数据仓库   物料数字化  

摘要： 数字化是钢企实现智慧制造的基础，数字钢卷是钢企数字化的核心之一。数字钢卷以钢卷为载体，实时跟踪带钢每个工序的生产数据，将生产工艺数据匹配到钢卷的每一段长度的带钢上，帮助带钢生产者和使用者了解带钢生产工艺过程，为后续工序和客户进行质量分析和质量判定提供数据支撑。在数个大型钢厂单工序数字钢卷实施的基础上进一步进行轧钢全流程数字钢卷的实施和探索，为钢企打造数字钢卷并进行数字交付提供参考。

关键词： 实时处理   Flink   数据仓库   电商  

摘要： 目前智能手机随处可见,各种年龄段的人群都可以在网络上随心所欲的购买商品。巨量电商数据的存储及分析成为了人们普遍关注的话题。在大批量数据的计算场景中,时效性低的离线数据仓库是大多数业务的首要选择。企业需要依靠最近发生的事件迅速决策时,离线数据仓库就无法满足要求,比如金融系统中距离预测点越近的股票成交价格往往会影响投资者的决策,电商系统中可以根据商品的销售情况赠送优惠券促进消费,或根据用户下单的高频关键词推送相近产品给用户,需要根据当前商品的销售情况动态调整,这些问题都具有时效性。各大互联网公司的离线数据仓库已经成熟,搭建实时数据仓库可以促进用户消费,提高营收。各行各业都在通过实时数据仓库加快抢占巨大的经济市场,各大互联网公司实时数据仓库的落地并产生巨大收益也表明搭建实时数据仓库分析、发现数据的潜在价值是有必要而且可行的。因此开发实时数据仓库系统是很有必要的,一方面在异常事件发生时可以被开发人员迅速处理,为公司决策层提供数据支撑,减少企业面临的损失,另一方面可以和离线数据仓库结合起来排查问题。本文分析了数据仓库技术中处理引擎的演进历程,针对Map Reduce、Spark Streaming和Flink三大主流框架多方面对比,最终使用Flink作为搭建实时数据仓库的处理引擎。本文的具体工作如下:（1）根据数据仓库的分层策略,将实时数据仓库自底向上分为ODS、DWD、DWM和DWS层,每层的数据粒度由小变大,开发了通用的DWM中间层数据表,能够极大的减少重复计算。顶层计算时复用底层的数据,提高了计算效率,而且在寻找和使用数据时方便定位数据表所在的分层。（2）设计了基于Flink的实时数据处理系统,通过消费Kafka消息队列中的埋点和业务交易数据,对电商数据进行清洗、实时ETL处理,最后将数据的处理结果写入外部容器,为数据分析人员提供数据支撑。（3）计算了电商实时数据仓库的关键指标,对于初入市场的电商公司来说,网站的实时活跃用户数、留存率、GMV等是衡量电商网站普及程度和运营情况的重要指标。本文通过Springboot接口查询DWS层Clickhouse数据库,通过可视化工具将指标数据渲染成图表后进行可视化展示,方便数据分析人员查看电商系统的运行情况,并通过指标排查异常和竞品分析。在电商系统的业务配置表中新增业务线或对原有的业务线变更时,会导致和现有数据处理的逻辑不匹配,因此需要修改底层代码的业务逻辑,开发成本较高。为达到在业务线变更时通过追踪业务表的变化情况实时更新数据仓库的业务线处理策略,更新数据仓库底层数据的处理逻辑,本文使用Flink CDC监控业务表的二进制binlog日志,将解析后的业务表变更数据根据业务配置表的数据项处理并保存至外部容器。

关键词： 玉米大斑病   病害分级   叶片表型   数据仓库   预警平台  

摘要： 玉米在我国粮食作物总产量中居于前三位,是现代产业体系中的重要原材料。由于连作现象、种植方式和气候条件等影响,山西中北部的玉米大斑病较为严重,产量稳定性受到制约。为了改进传统玉米大斑病田间目测鉴定的分级手段,增强对区域和未来病害发展的认知能力,本研究运用人工智能、图像处理、大数据和无人机多光谱等新一代信息技术,采集玉米大斑病数据,完成玉米大斑病自动化分级工作,设计玉米大斑病数据仓库和预警平台,实现玉米大斑病评估和预警目标。本文的主要结果如下:(1)采集和制作山西农业大学玉米研究所科创基地玉米抗性试验地中玉米大斑病试验区2021年度玉米大斑病全发病期数据集。基于大量的玉米大斑病动态观测数据及叶片表型数据,完成数据仓库模型设计与建模,搭建玉米大斑病数据仓库,实现玉米大斑病数据检索和数据实时分析,助力抗病鉴定记载工作。(2)将玉米大斑病病害调查流程,融合病害图像无损采集方法,开发玉米叶片图像提取工具,建立手写数字标签识别模型和标定物识别模型,设计调查数据快速预处理流程。通过标定物模型图像亮度归一化校准手段,提出HSV色彩空间下玉米大斑病分级鉴定标准。(3)通过分析得出叶片生长位置与卷曲度整体趋势呈负相关关系,将叶片卷曲度按照严重程度逐级递增分为三个等级,构建分级模型,用于玉米大斑病发病叶片的表型估测,辅助评估大斑病的发生阶段。(4)以玉米生长环境因子中的空气温度和空气相对湿度为基础,通过无人机多光谱手段监测玉米大斑病时空变化趋势,将田间病害发生情况作为预警权重,建立玉米大斑病预警模型。通过大数据相关组件将玉米生长环境实时数据落地,搭建玉米大斑病预警平台,进行生长环境数据监控,实现玉米大斑病预警。

关键词： 生态位模型   决策树   数据仓库   药用植物   适地种植  

摘要： 药用植物作为我国重要的发展资源之一,在我国悠久的历史和新冠肺炎疫情的防治实践中发挥了巨大的作用。然而在药用植物的种植过程中存在两个问题,盲目选种会破坏药材的道地性,经验种植会造成药材质量不稳定。针对这两个问题,本文引入了机器学习的方法,以药用植物为对象,对适地种植推荐和栽培管理跟踪进行研究,并搭建药用植物适地种植推荐及栽培管理跟踪系统。(1)针对适地种植推荐,本文基于生态位模型,采用分布数据和19个环境特征对药用植物进行了适生地的离线预测。通过设置缓冲区的方法处理分布坐标稠密度。同时,通过去掉贡献率为0以及低贡献率的强相关环境特征进行降维。对最大熵模型(Max Ent)和基于规则集合的遗传算法(GARP)模型,选择验证集验证的AUC值较高的模型进行最终的预测,得到药用植物的适生地。本文以肉苁蓉为例进行了广域的适生地预测,以都江堰厚朴为例进行了道地的适生地预测,预测结果的AUC值均大于0.9,说明该方法可以准确预测出药用植物的适生地。(2)针对栽培管理跟踪,本文构建了栽培数据仓库和栽培管理决策模型来进行决策建议和阈值超标警报。首先对栽培管理数据进行清洗、规范及维度建模,构建药用植物栽培管理数据仓库。在此基础上,结合数据仓库中的栽培管理数据和气候、环境数据,采用C4.5算法构建了栽培管理决策模型。同时,依据第三章预测结果选出了各药用植物主导环境特征,并对其适宜范围进行了分析,建立了阈值超标警报机制。结合实时天气状况,实现了阈值超标警报。(3)基于以上研究,设计并开发了药用植物适地种植推荐及栽培管理跟踪系统。系统基于Android平台,通过将高德地图、和风天气、百度OCR等多平台信息融合,获取实时定位数据、气象数据及百度图片识别技术。在此基础上,利用Bmob云服务器,将实时数据与数据库数据进行对比计算。同时结合生态位模型适地种植离线预测和栽培管理决策模型,实现了适地种植推荐和栽培管理跟踪等功能。该系统的搭建为种植户提供了药用植物种植管理相关的理论依据和辅助决策,页面简洁明了,功能操作简单,具有良好的用户体验。

关键词： 电商ERP   Hadoop   数据仓库   数据挖掘   BERT-wwm  

摘要： 近十几年来,随着电子商务行业的迅猛发展,电商ERP软件对电商企业的业务数据,进行传统定时归档或清理的处理方式,已逐渐难以满足电商企业对软件提出的智能化需求,如:软件全自动智能化货品匹配功能或地址智能识别等,同时也逐渐难以支撑企业对数据按不同主题,进行多种维度统计与分析的要求。基于此本文完成了针对电商ERP软件搭建数据仓库与大数据平台,并基于预训练语言模型BERT-wwm,设计货品相似度匹配模型,期望实现软件智能化货品匹配功能,提高软件货品匹配效率。本文首先针对电商ERP软件的业务场景和数据模型,进行数据仓库的数据模型和功能模型设计,使用Hadoop相关技术,搭建支持不同场景维度数据挖掘需求的数据仓库和大数据平台。其次,设计基于BERT-wwm预训练语言模型,以带有监督标签的电商ERP平台货品名称和规格名称作为训练集,选用短文本相似度算法,计算不同平台货品间相似度的货品相似度匹配模型。而后,针对因货品名称中存在商家品牌名称和商家自创短语,造成货品匹配模型准确度较低的问题,本文一方面在模型的预训练阶段,加入大量无监督标识的平台货品名称,以求实现通用领域的BERT-wwm模型,能够对电商ERP领域自适应;另一方面在模型的训练阶段,改进掩码策略,增加实体级别掩码策略和短语级别掩码策略,融入电商ERP货品领域的实体类知识库,提高模型的准确度。实验结果表明,相比于模型优化前,模型准确度最高提高了15.9%。另外,针对预训练语言模型因层级和参数量较大,导致模型响应速度难以满足上线要求的问题,本文结合Distil BERT模型,设计了模型蒸馏压缩方案,实验结果表明,相比于模型优化前,在损失5%左右的模型准确度情况下,模型的响应速度提高了约60%。最后,基于货品相似度模型难以保证绝对准确的实际情况,针对电商ERP的货品匹配功能模块,设计实现功能优化方案,避免出现因模型匹配错误,导致商家发错货品的潜在风险,使货品相似度匹配模型,更具实用价值。

关键词： 采购智能管理   供应商管理   采购成本管理   机器学习   数据仓库  

摘要： 大数据背景下,信息数据成爆炸式增长态势,面对这些海量的、碎片化的信息和数据,如何从中获取对自身和所处行业有价值的、系统化的信息是企业面临的一大难题。制造企业作为我国产业支柱,跨越式发展、弯道超车,率先进入工业4.0和智能制造时代,企业需求也从大规模的标准化生产转向大规模的定制化生产。企业在经营环节上的要求更加精益化,对降本增效的诉求越加强烈。作为供应链管理的关键环节,采购管理的地位日渐上升。在这样的背景下,大数据等新技术与传统企业进行了深度融合,推动着制造业的数字化、智能化转型发展及业务模式的深刻变革。因此,在技术更新和行业发展的双重驱动下,制造企业对采购业务的智能化管理需求也不断增强,供应商智能管理和采购成本智能管理成为采购智能管理的重要内容。大数据技术在企业管理中得到了创新性应用,为企业采购智能管理提供了新思路、新方法,如何用最先进的技术和理论进行指导,成为制造企业进行产业升级和内部增效的一个重要课题,让企业采购的智能化管理探讨具有现实必要性。鉴于此,本文以制造企业的采购业务为研究对象,在综合分析采购的业务特征和数据特征的基础上,确定采购智能管理框架的构建思路,构建大数据下基于机器学习的采购智能管理框架,并分析了其应用价值。根据采购智能管理框架的指导,详细阐述了本文的研究过程。首先,论文在确定采购管理五大主题域的基础上构建了采购管理数据仓库,利用数据仓库技术,将企业中分散的、杂乱的数据按不同维度集中储存,从而以采购数据的统一性满足采购管理行为的多样性,真正实现采购管理行为的融合协调和采购管理信息的互通共享;其次,针对供应商管理,在对供应商智能管理进行理论分析的基础上,从产品、服务、公司等三个方面提取了供应商评价特征,利用Kmeans算法实现供应数据的聚类分析,并在分析供应商评价特征的基础上划分评价等级,以满足供应商的差异化管理需求。通过有针对性的供应商管理提升管理效率,降低管理成本,实现企业资源利用最大化;然后,针对采购成本管理,在分析采购成本属性的基础上,选取采购成本控制特征,利用C4.5决策树算法实现采购成本控制等级预测,运用Apriori算法挖掘出采购成本控制数据间的关联关系,为采购成本控制提出针对性的建议,以实现对采购成本智能管理。利用大数据技术赋能采购管理,是以数字化技术创新,来提高采购管理效率,提升采购管理效益,强化风险管控的有效途径。本文以大数据下制造企业采购业务为研究对象,通过建立采购管理数据仓库,将企业分散的、规则不统一的采购数据实现统一存储和快速查询,应用机器学习技术,对采购数进行聚类分析、分类预测和关联规则分析,以挖掘出具有研究价值的重要信息,希望可以利用大数据技术为企业的采购决策赋能,并为企业采购管理智能化进程的推进提供一定的理论和实践的借鉴意义。