课程文献中心 更多>>

关键词： 数字盾构   数据仓库   数据建模   模型孵化   沉降预测  

摘要： 盾构法隧道工程数据具有更新频率快、数据体量大、数据结构复杂等特点,各类数据存在关联性不高、缺乏有效组织等问题,难以充分利用,无法为盾构法隧道数字化建设和工程数据的智能分析提供有效支撑。基于数据仓库,构建了数字盾构工程数据仓库分层架构,通过分析数字盾构工程应用主题,研究了数据建模方法,引入了孵化的思想,将数据仓库、数据建模、模型训练串联为范式流程,降低了数据准备响应时间。以沉降预测为例,通过对南京轨道交通10号线工程数据的应用,验证了基于数据仓库的数字盾构工程模型孵化的实用性,说明了数字盾构数据仓库对比原始数据模型的先进性。

关键词： 数据库系统   关系型数据库   数据仓库   图查询   查询翻译  

摘要： 向量化查询等技术的成熟为基于数据仓库(数仓)实现图查询提供了契机,但现有系统没有考虑列式存储特点和图查询语句的特点,无法高效存储图数据及支持图查询优化。同时,由于需要保持原有图查询应用的兼容性,图查询Gremlin语言翻译生成的数仓SQL语言书写复杂且性能较差。针对上述问题,提出基于数仓的图数据库系统PandaGraph。在存储方面,PandaGraph基于关系模型高效存储图数据,结合数仓列式存储的特性进行主键和属性键设计,同时考虑到图查询和数仓查询执行特点,构建出入两张边表供图查询进行选择。在查询方面,PandaGraph结合不同Gremlin步骤的特点,构建关于遍历和存储表的查询结构,实现从Gremlin语言到SQL语言的翻译转化,使用多种优化规则对生成SQL语句进行改写,提高图查询性能。实验结果表明,PandaGraph在多场景下可正确进行翻译查询工作,并且在经典的低k跳查询场景下较现有专有图数据库系统获得5.8倍性能提升,在高k跳场景下可获得18.5倍性能提升,在基于规则的优化、基于表选择的优化和基于表结构的优化下PandaGraph可获得最少1.3、1.1和1.3倍的性能提升。

关键词： 卷积神经网络   顶岗实习管理系统   数据挖掘   特征提取   数据仓库  

摘要： 通过数据挖掘方法管理系统数据时,仅依靠关联规则约束,容易导致数据挖掘的泛化误差增大。因此,以顶岗实习管理系统为例,提出基于卷积神经网络的数据挖掘方法。提取顶岗实习管理系统的数据,建立面向主题的数据仓库,结合统计回归分析法和模糊聚类法生成非线性时间序列数据流,采用模糊聚类法设计数据特征提取机制。根据数据特征提取结果分析关联规则,构建卷积神经网络数据挖掘模型,通过特征压缩方法进行数据降维处理,实现挖掘数据的输出。实验结果表明:所提数据挖掘方法与基于决策树和基于一维卷积网络的方法相比,泛化误差较小,能保持在[-0.05,0.05],可以获取更加精确的信息挖掘结果,具有较好的实际应用效果。

关键词： 大数据   共享交换   云服务技术   前置机   数据仓库  

摘要： 随着大数据时代的到来,面对海量信息和数据,如何快速便捷地获取有用的数据资源,高效地发掘其中蕴含的数据价值,是眼下亟须解决的共同难题。数据共享与交换技术的出现,从技术手段上给出了数据获取的解决方案和方法论,但同时也催生出了许多其他问题。本文利用大数据体系下发展出的云服务技术,对传统信息化手段的数据共享交换技术架构进行优化设计,构建出一套新型的综合性数据共享交换集成应用方案,以期解决在复杂网络环境下开展多系统异构数据共享交换任务过程中所出现的诸多技术问题。

关键词： 城市交通   数据仓库   Spatial OLAP   GIS   综合管理系统  

摘要： 空间联机分析处理技术将GIS与联机分析处理技术OLAP相结合,提供在空间维度上进行不同尺度钻取的解决方案——SOLAP。该文基于SOLAP技术,构建一个城市交通的综合管理系统,并在电子地图上展示不同区域、路段、时段的交通流信息,为交通管理者进行决策提供技术支持。

关键词： 检验检测   单点登录   数据融合   数据仓库  

摘要： 为推动矿用产品检验检测实验室数字化转型,对基于实验室信息管理系统的数字化质控平台的设计进行了探讨。通过需求分析,根据业务逻辑制定平台总体方案并展开设计,在原实验室信息管理系统基础上集成扩展客户服务系统和统计分析系统。采用单点登录、数据融合等关键技术,实现多系统间数据的互联互通。设计合理高效的数据库并建立数据仓库,采用应用联机在线分析技术为用户提供全面的数据视角和多维度的数据分析结果。测试结果表明,系统间数据流转正常,业务流程完整连贯且运行稳定。该系统的设计可实现检测检验任务的全生命周期数字化管理,为客户提供友好的交互式数字化检验服务,并推动了数据资产化进程,对矿用检验检测行业的数字化管理具有借鉴及参考作用。

关键词： 数据分析   数据仓库   主题数据  

摘要： 信息化时代,数据逐渐成为各行业的核心战略资源,日益受到企业重视。文章基于多维数据模型构建企业级全局数据仓库,实现企业范围内跨业务系统的数据融合,基于分类主题数据为经营管理和科研生产提供数据分析支撑决策,实现数据赋能。

关键词： 大数据   汽车行业   数据仓库  

摘要： 随着智能网联汽车的快速发展,各大汽车企业积累了庞大的业务数据,如何有效组织并使用这些数据,成为了各个企业所必须面对的问题。本文基于维度建模分层理论,结合实际车辆网联数据,设计了车联网数据仓库,为各大汽车企业管理者提供一个组织并使用数据的解决方案,也为汽车数据行业工作者提供一些简单的参考。

关键词： 实时数据仓库   异构数据集成   事务交易处理   在线分析增强  

摘要： 为解决传统数据仓库数据同步与分析时延高的问题,通过对数据链路全过程分析,提出一种实时数据仓库系统设计架构,重点介绍实时数据集成、数据标准化、实时数据存储、实时分析与展示功能模块。对系统数据同步与分析进行测试验证,结果表明,系统能够以秒级同步数据,实现毫秒级分析数据。

关键词： 矿产资源   开发利用   数据仓库   统计调查   星型模型  

摘要： 矿产资源开发利用统计是自然资源管理部门的一项基础性工作,其统计数据是国家制定矿产资源规划、计划、政策和宏观管理的重要依据。要落实自然资源的高质量发展,确保能源资源的安全有效供给和科学、合理利用,首先要全面、准确、及时地掌握全国矿产资源开发利用的形势和态势,重点要通过现代计算机技术对矿产资源开发利用的统计调查数据进行深度的挖掘分析,掌握矿业发展规律和剖析存在的问题。根据矿产资源开发利用统计调查制度和矿产资源管理的业务需求,设计了矿产资源开发利用数据仓库的4个主题,采用星型模型进行多维数据模型设计,并通过数据抽取、数据转换和数据加载3个步骤构建了矿产资源开发利用数据仓库,实现了固定表查询、即席查询和分析报告3个功能,可以对矿产资源开发利用统计调查数据进行多维度的分析,包括钻取分析、切片分析和旋转分析等。