课程文献中心 更多>>

关键词： 钻井物料   Hadoop   微服务   数据仓库  

摘要： 随着先进钻井技术与计算机技术在石油钻井生产中的广泛应用,钻井作业效率得到了极大提高,钻井物料管理系统需要管理的数据海量增加,传统钻井物料管理信息系统已难以满足大数据环境下数据信息管理分析的需要。论文采用大数据技术和微服务思想,设计实现了一个基于Hadoop的石油钻井物料辅助管理微服务系统,以支持钻井物料业务数据由传统数据库,经数据采集构建相应的数据仓库,通过数据分析和可视化管理为企业钻井物料调度决策提供辅助支撑。论文的研究工作主要包括以下几个方面:第一,面对钻井物料管理海量数据处理的需要,基于大数据Hadoop的技术方法,利用微服务框架Spring Cloud,提出构建基于Hadoop的石油钻井物料辅助管理微服务系统体系架构,以提高钻井物料管理数据处理的时效性。第二,设计实现了一个基于HDFS和Hive的石油钻井物料管理数据仓库,用于解决钻井物料管理海量数据的存储和分析需求。数据仓库采用分层设计,表间采用维度模型建模,按照具体业务需求分别从公司维度、仓库维度、井维度、地区维度、时间维度等多个维度对数据仓库中的数据进行多维统计分析。第三,基于数据仓库中的海量数据,使用机器学习中的Random Forest算法设计实现了一个根据开钻环境推荐钻井物料组合的数据模型。第四,结合微服务框架Spring Cloud与前端展示框架Vue,设计实现了一个前后端分离的管理系统完成用户管理与数据可视化功能。

关键词： 大数据   电子病历系统   数据仓库   可视化   医疗费用  

摘要： 背景:推动健康医疗大数据应用是实施国家大数据战略、健康中国战略和数字中国战略的重要举措。医疗常规运行中可产生大量的诊疗数据,这些数据随着电子病历系统(EMRs,Electronic medical records system)的广泛推行有了被充分利用的可能。但由于医疗数据具有体量大,同质性差等特点,较难直接分析利用。数据仓库作为一种所特有的数据储存架构,能够抽取各类系统数据并能通过联机分析处理(OLAP,Online Analytical Processing)等方法实现以目标为导向的数据分析和可视化展示,帮助决策者快速从大量数据中获取有用信息。目的:以东北地区唯一获批的儿童区域医疗中心为依托,建设基于辽宁某医院电子病历系统的数据仓库(DW,Date Warehouse)可视化平台,利用平台数据分析该医院儿内科近年来基本情况、儿童疾病谱、医疗费用及其影响因素,为医院管理者及时调整医疗资源配置、儿童疾病精准宣教、药品费用控制提供决策依据。方法:根据辽宁某医院信息化建设的实际情况和医院管理需求,设计基于该医院电子病历系统的数据仓库架构。利用ETL(Extract-Transform-Load)方法进行数据抽取,建立数据仓库,通过联机分析(OLAP,Online Analytical Processing)方法进行数据多维分析,结合SaCa DataViz,UniEAP Report、ECharts等工具建立数据可视化平台。通过平台数据分析医院近年来儿内科门急诊基本运营情况和儿童疾病谱情况。通过数据仓库导出儿内科门急诊费用相关数据,进行二次数据处理后,使用Stata软件分析该医院儿内科门急诊费用情况及其影响因素。结果:探索并完成了基于辽宁某医院电子病历系统的数据仓库的建立,实现了对医疗大数据的多维实时分析,形成了包含医院运营管理、质量管理、绩效管理等8项主题的可视化展示平台,向医院管理人员提供了一个全局数据实时监测和分析利用的平台。通过平台数据分析,了解到该医院小儿内科自2013年以来,总门急诊量逐年升高,外地患者占比逐年升高,预约挂号比例逐年增加,但部分科室门诊量出现下降。呼吸系统疾病一直是该院儿科门急诊顺位第一的疾病系统,占比高达38.46%,远高于其他系统疾病占比;“性早熟”、“身材矮小症”等内分泌疾病和儿童行为问题与发育障碍类疾病呈现上升趋势;不同季节、性别、年龄的患儿疾病谱存在差异。通过平台数据导出和Stata软件的联合应用,完成了对儿内科门急诊医疗费用及影响因素的分析:儿内科医疗总费用逐年升高,药品费用逐年降低,医疗服务费用逐年升高,但药品费用占比仍然最高。通过多元回归分析发现,对医疗总费用的影响程度从高到底依次为:用药种数、挂号方式、疾病系统、医生级别、患者来源、季节、性别,其中用药种数的回归系数远高于其他因素。结论:本研究通过建立基于电子病历系统的数据仓库可视化平台,实现了将冗杂的医疗数据进行清洗、整理,进而以更直观、便捷的方式展示给医院管理者的过程。证实了数据仓库技术能很好地解决医疗数据的多来源、口径不一等问题,对医疗大数据的应用探索具有一定的借鉴意义。该医院数据仓库的建立,不仅能够利用历史数据为医院管理者提供全方位医疗信息,同时由于具备数据增量抽取功能,还能实时反映医院的运行状况,为及时调整医疗资源配置提供了决策依据。通过数据仓库可视化平台的8大管理模块,实现了医院运营、医疗质量、绩效指标等各类数据分析的需求,对医疗质量的持续改进,运营情况的实时监测,发展战略的方向制定都具有重要意义。作为东北地区唯一获批的儿童区域医疗中心,该医院承担着整个地区儿童疾病防治的重要角色,医院对儿科的发展状况十分重视。通过已经建立的数据仓库可视化平台,评估了医院小儿内科整体发展趋势和各科室运营情况,提醒管理者对门诊量呈下降趋势的科室进行原因分析,及时发现问题,优化科室管理,调整学科布局和医师配套方案等措施。儿内科疾病谱分析结果可提示医院管理者根据季节合理调整医疗资源;根据年龄、性别进行更精准的儿童疾病的宣教、预防和管理;对于高发疾病和呈增长趋势的疾病提高重视,给予配套的政策倾斜和科研支持。通过数据仓库的数据导出功能,尝试了使用数据仓库与其他分析软件联合应用的医疗大数据处理方式,即利用数据仓库进行数据抽取、清洗、统一和储存,使用专业性更强的统计软件实现医疗数据在科学研究水平的统计分析。以该医院儿内科门急诊医疗费用分析为例,通过医疗费用变化趋势及其影响因素的多元回归分析,发现虽然儿内科患者的医药负担有所缓解,但药品费用占比仍然颇高,用药种数仍为影响医疗总费用的最大可控因素,提示减轻群众医疗负担的医改之路仍然任重道远,也提醒该医院管理者应采取有效措施继续加大药品费用控制举措,如优化收费结构、加强廉政教育、提高医务人员劳动技术价值比重等。

关键词： 工业大数据   实时数据处理   数据仓库   复杂事件处理  

摘要： 大数据时代的发展给社会中的各行各业带来了大量的机遇和挑战,随着工业4.0以及《中国制造2025》的提出,更加推动了大数据技术和工业制造领域的结合,如何通过大数据技术从工业数据中挖掘出价值,从而提供决策支持、优化生产流程、实现智能制造,成为了大数据在工业领域的研究关键。但由于制造工厂的规模扩大、生产设备的数量增加导致大数据的4V特征在工业领域被显著增强。传统的工业领域采用的往往是离线数据仓库来应对海量数据的存储和处理问题,但面对时效性更高的需求,例如工厂中各项监控指标的实时计算、设备的实时监控预警,离线数据仓库却并不能提供有效的解决方案。面对这些问题,需要一种新的处理方法来实现。本文围绕工业实时数据的处理,设计并实现了一个基于Flink的面向工业领域的实时数据仓库系统。该系统由数据集成、数据处理、数据存储、数据服务四个模块构成。数据集成模块对业务数据和流数据使用了不同的采集方式,并通过Kafka传输到实时数仓中。数据处理模块实现了实时数据的维度建模,分为ODS层、DWD层、DWS层、ADS层和DIM层,每层数据使用Flink进行计算并用Kafka转发,同时利用CEP技术实现了工业设备和环境情况的实时预警。数据存储模块使用Click House数据库存储DWS层数据;HBase和Redis存储维度数据;Kafka存储中间层数据,实现了数据的分类存储。数据服务层实现了用户和工业实时数仓的交互功能。在工业领域中,由于数据的复杂性和动态性,手动制定实时预警的CEP规则往往难以实现,针对这一问题,本文设计了基于遗传算法的CEP规则自动抽取框架,可以从历史数据中自动提取出实时预警所需要的CEP规则,并通过实验验证了算法的准确性和可行性。最后通过分布式集群来搭建系统环境,实现实时数仓各个模块具体功能,并编写可视化界面对数仓数据进行展示,实现了工业实时数据的处理和分析,为工业生产提供数据统计分析和设备监测预警等功能。

关键词： 数据仓库   税收征管   维度模型   关系图谱   增量更新   RBAC  

摘要： 在大数据时代,随着税源税户的迅速增长,税务机关需要对海量的税务数据进行OLAP处理。然而,税务机关现存的数据平台较为落后,存储模式与存储架构不适应大数据处理,同时还存在着数据同步时间长、税收风险模型落后等问题,税务机关因此无法及时的对税收风险进行准确的分析与处理。为此,针对上述问题,基于数据仓库技术,以发票数据作为研究对象,对海量税务数据的建模、存储、同步,税收风险模型等进行深入的研究,主要研究内容和成果如下:第一,研究了数据仓库的开发流程、技术架构、建模方法,对以税收为主题域的数据仓库进行深入的分析,以“开发票业务”、“税款优惠业务”、“税款缴纳业务”为例提出了适用于税收征管的税收维度模型。使用Click House构建了税收大数据数据仓库,搭建了基础的税收大数据平台,该平台面对TB量级税务数据的统计分析,耗时比原平台缩短了一百多倍。第二,研究了进销项数据在税收风险中的应用,提出了基于进销项数据的企业数据关系图谱。该图谱借鉴最大生成树算法,以待查企业为顶点,以进销项数据为流向,通过查找待查企业的最大权值边,构建最大关联企业票流图。税务人员可根据最大关联企业的交易额度及交易流向进行税收风险分析,对逃税漏税行为进行事前预警和事后分析。第三,为加快海量税收数据的同步更新效率,研究并改进了开源ETL工具Data X,在原有的Data X架构上添加了更新检查器和任务管理器。更新检查器通过实时分析对比数据更新时间戳,对数据源进行更新检查,克服了原版Data X离线更新的缺点;任务管理器对集群资源进行调配,合理的为每一台节点分配数据同步任务,克服了原版Data X只能单机工作的缺点。改进版Data X缩短了税务数据的同步时长,提高了税收风险的响应速度。第四,为提高税收大数据平台的安全性和税务数据的保密性,研究适用于税收大数据平台的RBAC模型,该模型将角色和权限细化至岗位,从功能权限、数据权限两方面对登录用户进行限制,不仅能提高税收数据的安全性,还能快速对泄密人员进行定位。

关键词： 大数据技术   学业预警系统   数据仓库   多特征融合  

摘要： 混合式教学是教育现代化的产物,是一种将在线教学和传统教学的优势结合起来的一种“线上”+“线下”的教学。相对于线下教学,混合式教学对学生的学习自主性要求更高。为保证学生的学业质量,近年来学业预警系统已开始应用于解决混合式教学缺乏监管等问题。本文围绕教育大数据应用技术国家工程研究中心自主研发的混合式教学平台——小雅智能助手,基于其伴随式记录的教与学的过程性与结果性学习数据,研究大数据背景下多特征融合的动态学业预警模型。本文工作内容如下:(1)伴随式数据采集方式普遍具有密集性、动态性、全面性等特点,势必会积累海量的数据。海量的异构数据分布在不同数据库系统,存储结构的差异使多源异构数据难以进行融合和分析。本文基于大数据技术和相关理论设计并实现基于xAPI(Experience API,一种新的学习技术规范)标准的数据集成方法,从学习分析的实际需求出发提出三层数仓分层结构,在解决异构数据集成的基础上保证数据的可复用性,提高数据分析效率。(2)为解决预警模型中的数据来源单一、特征提取方法简单、对学生的行为和情绪等数据关注不足等问题,本文提出综合行为特征和行为的时间序列特征来表征学生行为的变化特点,基于复杂网络分析和文本情感分析分别对学生的知识结构和情感倾向进行刻画,设计表征知识分布性的指标,继而对特征进行融合,更全面地刻画学生的学习状态。将单一特征与多特征融合数据分别采用不同的分类算法模型进行实验,比较后发现采用多特征融合的随机森林算法可取得较高的准确率。(3)对于海量数据,复杂的特征提取算法即使采用分布式计算仍会消耗较长的时间。本文结合学习过程性数据和结果性数据的特点,考虑到数据量的大小,设计了一种增量的特征提取方案。更进一步,考虑到不同计算框架适用的特征计算有所不同,设计并实现了将统计特征和复杂特征分别放到OLAP(联机分析处理)数据库和分布式计算环境下的并行执行的特征计算模式。(4)静态预警模型存在数据利用不充分、模型质量不高等问题。自研的混合式教学平台为实现动态的预警模型提供了可能,但是需要解决大规模数据集下机器学习模型的训练速度过慢的问题。本文基于Dask并行计算方案实现预警模型的分布式训练,通过数据计算任务的定时触发,实现了动态的模型训练和预警。

关键词： 项目管理   进度管理   软件开发   关键路径法   挣值分析法  

摘要： 在信息技术急速发展的今天,各行各业都已经离不开企业自身业务与数字化信息系统的融合。各大企业无一例外地通过启动多业务场景的系统软件开发来提高自身的市场竞争力,如何科学、有效地进行IT项目管理也变成了企业的重点命题。时间就是金钱,在如此变化频繁的市场中,进度管理的优劣往往成为了项目成功与否的关键要素。对比传统项目管理,IT项目管理存在技术复杂且缺少最佳实践、人才稀缺、可见性差等特点,更容易导致项目进度管理的问题出现。本论文作者就职于某寿险A公司的商业智能部门,担任某数据仓库开发H项目的开发项目经理。该项目运用了增量开发模型,在增量开发中期,项目总体进度出现了较严重的落后。本文首先介绍了研究主体H项目的基本信息和背景现状,其中包括A公司和BI部门的大致情况,并概要地描述了H项目的相关信息如项目工期、人员架构、整体设计、系统功能要求等。通过对项目迭代周期实际工期与计划的差距,发现H项目存在了进度落后的情况,引出如何更好地优化项目的进度管理的问题。其次对项目进度问题进行诊断,通过团队内部的关键成员头脑风暴,总结出造成进度落后的根本原因,利用鱼骨图法分析归纳出影响H项目进度的几个重要因素。运用访谈法对项目的根本原因设计相关的问卷,并发放到相关的人员进行访谈,通过对问卷的总结分析得出内部管理、人员行为和人力资源为最根本的原因。再次,尝试找出改进进度管理的方案,把选取进度出现严重落后的迭代作为重点研究对象,通过制定迭代的WBS工作分解结构,对应依赖关系制作网络路,并找出该迭代关键路径。提取迭代中的时间节点进度数据作挣值分析,结合关键路径找到进度落后的原因,且提出对应的优化改善方案。为了验证理论的有效性,最后本文为改进方案提出对应保障措施并落实到后续的开发迭代中,详细记录实施过程中的进度信息。通过对进度数据的分析,验证改进方案的理论有效性。H项目在后期的迭代开发中,后续迭代的完成时间比计划有所提前,且总体、关键路径与非关键路径的SPI均表现良好,证实了改进方案和保障措施可以优化H项目的进度管理。希望通过本次研究,可以为金融企业的在实施软件迭代开发的项目中面临进度管理困境时,提供借鉴和参考。

关键词： 突发险情事件   数据仓库   规则引擎   规则推理   案例推理   应急资源调配规划系统  

摘要： 随着我国步入“十四五规划”阶段,针对政府的治理效能、资源配置及利用效率有了更高要求,要让效能得到新提升,规划满足合理性。当发生社会突发险情事件时,及时将资源合理调配并投送到相应发生地,快速采取处置措施,提高效率并减少损失与伤亡,对于应急管理部门和救援队伍至关重要。面对险情场景下救援力量少、时效性要求高、统筹抢险力量弱、转移避险复杂等核心问题,使用某市政府多部门源数据信息搭建数据仓库,结合应急指挥部实际救援需求,设计并实现基于规则引擎的应急资源调配规划系统。本文主要研究如下:(1)构建应急资源数据仓库,采用大规模并行处理(MPP)数据库,依照某市政府多部门数据资源,设计并建立应急资源数据仓库(ER-DW)。从各部门的操作型数据(ODS)开始,通过获取、转换、加载(ETL)代码,实现星型维度模型。让数据在数据仓库不同层之间的处理加工,达到数据资产向信息资产的转化效果,能够快速响应复杂查询情况,高效化应急资源的调配、规划、存储及展示。(2)基于规则引擎的险情处理研究,分析国家突发险情事件应急响应机制,使用规则推理(RBR)和案例推理(CBR)方法,生成包含救援任务的待决策预案,再通过规则优化成为有效的决策方案。提出突发险情事件处理框架与流程,对险情事件表示、决策、优化、评估与总结展开研究。险情表示阶段,运用面向对象方法对险情事件解析,使之成为结构化险情,全面地描述险情发生时情况,有利于险情救援,分配相关救援任务,开展应急资源调配工作。险情事件决策、优化阶段,给出规则库构建方法与险情相似度计算公式,生成待决策预案,规则优化后得到决策方案,同时还对多险情的决策方案设计多目标规划模型,开展多目标资源规划方面工作,险情评估与总结阶段对已完成险情事件进行归纳,迭代变化成规则库内容,满足系统的可扩展、健壮、专业性。(3)应急资源规划研究,在面对多险情多救援点、资源受限的现实情况,构建基于Opta Planner的应急资源规划模型,使用元启发式搜索算法(MH)对多险情多救援点规划进行求解,设计软硬约束规则,计算约束分数,求出最优规划方案。该模型能根据救援点和险情事件点所需资源的份额、优先级、距离成本等对应急资源达到秒级规划。综上所述,本系统能够编写且存储险情处置规则,快速解析险情,形成应急处置救援,进行应急资源调配,还能够适应多险情多救援点场景,规划出最优方案执行并可视化展示。包含系统框架设计、开发工具、业务数据库设计和六个功能模块设计与实现,对功能测试及实验结果分析,证明了在险情事件处理和应急资源调配规划中具有优势。

关键词： 数据治理   数据仓库   实时数据处理   自适应内存分配   Spark Shuffle  

摘要： 随着企业数字化进程加速,在大型组织内部基于传统关系型数据库的业务系统存在横向扩展困难、烟囱式建设等问题,导致系统内部数据杂乱、难以溯源、质量低下及系统间数据无法互通。数据治理作为解决上述数据管理问题的核心技术,具有研究与应用价值。目前,基于各种数据治理理论的数据治理系统已在市面上广泛地应用,但现有数据治理系统还存在以下缺点:1.仅能处理离线数据,不支持对实时数据流的计算。2.数据治理系统难以应对海量数据的计算请求。为改进现有数据治理系统缺陷,本文根据目前企业、政府的数据管理痛点和数据治理系统的诸多问题,对数据治理系统架构和分布式并行计算框架内存分配机制进行研究,本文的主要成果如下:（1）数据治理系统概要设计与具体实现。本文基于对上海市奉贤区自来水公司的用户实际需求,设计基于Spark的数据治理系统的功能模块、工作流程及技术架构,并构建数据采集、离线数据仓库及元数据管理模块实现对企业多个烟囱式建立的业务系统数据的全生命周期管理。（2）改进现有数据治理系统。本文引入Spark Streaming技术解决现有数据治理系统无法应对实时数据处理需求的问题,在现有数据治理系统的基础上设计并实现实时数据处理解决方案,并解决了实时数据处理过程的数据幂等性和数据流合并问题。（3）改进Spark并行计算框架的计算效率。通过源码分析和阅读相关文献,本文提出一种基于任务溢写信息和动态内存分配思想的Spark任务调度器SABSR,该调度器根据Executor中计算任务的内存需求情况对计算任务进行自适应分配内存,能减少Spark Job在计算过程中内存溢写的次数。经实验表明,在内存紧张的环境中,SABSR调度器改进了Spark FAIR调度器在Spark Shuffle过程内存分配方面的不足,在Intel Hibench数据倾斜程度高的数据集下作业执行时间较Spark FAIR调度器最多减少9.7%。最后,本文以上海市奉贤区自来水公司大数据平台实际落地出发,结合开源大数据框架Spark、Hadoop、Hive、Kafka等构建与改进实时数据治理系统,经过对系统的性能测试和功能测试,证明系统能够高效地归集业务系统数据与管理元数据,并能够应对实时数据处理请求,解决水务数据利用率低、数据质量差的问题。

关键词： 数据仓库   Hive   数据处理   数据管理   数据分析  

摘要： 近年来,我国保险行业的市场规模在不断扩大,竞争也变得愈加的激烈。同时,随着保险企业信息化建设的不断深入,已经积累了大量的业务数据,但是传统的关系型数据库已经无法满足海量历史数据的存储和分析,而且伴随着企业的规模越来越大,各个部门的数据自成体系,没有统一的管理和规划,使得数据之间的联通性很差,造成数据开发冗余、数据使用效率低和数据孤岛现象越发严重。在当今的数据时代,如何有效的整合分散在各个业务系统中的数据,并从海量数据中获取有价值的信息,帮助企业迅速作出决策,保持核心竞争力,已经成为保险企业经营发展面临的一个急于解决的问题,基于大数据技术的数据仓库系统为这个问题提供了一种较好的解决方案。本文结合某保险企业的实际项目阐述和分析了基于Hive的保险数据仓库系统的设计和实现。本文以某保险企业的实际业务需求和企业目前存在的问题为出发点,对保险数据仓库系统进行了详细的需求分析,并在此基础之上,从数据仓库建模、数据处理、数据管理、数据分析和权限管理五个方面对数据仓库系统进行了设计和实现。在数据仓库建模方面,通过维度建模结合公司业务完成了数据主题划分、业务总线矩阵设计、数据分层设计和数据模型设计。在数据处理方面,通过采用Hadoop、Flume和Sqoop等大数据技术完成数据采集、转换和装载,把数据从业务系统同步到Hive数据仓库中。在数据管理方面,通过数据标准管理、元数据管理和数据质量管理功能减少数据仓库重复建设、提高开发效率、保持数据口径一致和提升数据质量。在数据分析方面,通过OLAP引擎Impala完成Hive数据仓库中数据的快速查询分析,并利用Django和Echarts实现了数据的图形化展示。在权限管理方面,通过用户管理和角色管理实现系统权限隔离,保证数据的安全性。最终,通过编写测试用例进行测试验证,确保了系统功能满足需求。目前,基于Hive的保险数据仓库系统已经在企业中正式应用,有效的解决了数据处理能力不足、数据不规范和数据分析形式单一等问题,实现了企业内全域数据汇集及统一管理,并通过多种图表对数据仓库中的数据进行可视化展示和分析,为业务部门和高层领导的企业管理和决策提供依据。

关键词： 大数据   ETC   高速公路   数据仓库   异常诊断  

摘要： 为提高高速公路的通行效率和交易准确率,我国2019年确定了电子不停车收费ETC系统为主的技术方案并全国大规模联网部署,高速公路计费方式由按最短路径计费调整为按实际行驶路径计费。因此,车辆行驶路径的准确高效识别成为高速公路ETC系统运行的基础,即高度依赖分布于全国16万多公里高速公路沿线的ETC门架对车辆行驶路径的可靠标识,但ETC门架系统设备故障、无线串扰或工况不稳等问题导致相当部分车辆存在路径缺失的情况,而传统的数据校验算法对庞大的ETC交易流水数据进行校验核查存在效率低、耗时长等问题,亟需研究一套高效的ETC门架交易异常识别方法。ETC交易流水数据中主要储存着车辆在高速公路旅程中与ETC门架设备进行交互的时间信息。本文采用联机分析处理(OLAP)数据仓库工具Clickhouse进行高速公路数据仓库构建,实现海量数据的快速处理;同时使用机器学习算法深入挖掘ETC交易流水数据中的信息,实现ETC门架重复交易检测、误交易检测和漏交易检测的特征识别及其诊断。论文的主要工作如下:(1)以维度建模为理论基础对高速公路相关数据,如ETC交易流水数据、“两客一危”轨迹数据、ETC门架基础信息数据等进行数据仓库建模,并对原始数据进行ETL操作。利用数仓模型多源数据整合及数据快速处理等优点,实现了从ETC交易流水数据中对车辆行驶路径的快速提取等功能。(2)建立省级高速公路路网拓扑模型,并且将“两客一危”轨迹数据和ETC交易流水数据通过数据仓库进行数据融合;设计ETC门架空间信息提取算法,对部分ETC门架经纬度缺失的情况进行空间信息补全。(3)采用基于深度约束的迪杰斯特拉算法获取高速公路二义性路径;通过多表关联的方法快速获取漏检测区段;随后基于随机森林模型对漏检测区段的车辆进行区段通行距离估计;使用估计出的通行距离与区段二义性路径的路网距离进行匹配,获取车辆实际通行路径,完成缺失门架补全工作;最终提取出漏检测门架。(4)对省级ETC门架进行异常识别并统计分析,通过Clickhouse进行门架重复交易识别,设计门架误交易检测算法对误交易进行识别,通过漏交易门架轨迹重构方法进行门架漏交易识别,实现了全省1044个ETC门架中,27个门架的高漏交易、6个门架的高误交易的识别和诊断。