课程文献中心 更多>>

关键词： 传染病监测   数据仓库   数据挖掘   分析报告   资料汇编  

摘要： 目的实现中国疾病预防控制信息系统中传染病监测数据常规分析和疫情资料汇编自动生成。方法利用大数据、数据仓库、C++开发工具等实现传染病疫情数据挖掘技术,实现监测数据采集、存储、汇总和分析的自动化。结果系统可在5分钟内完成10000多份传染病电子报告卡的采集和存储工作,1分钟内导出聚集性病例或连续多年病例的三间分布情况;1分钟内自动实现监测数据常规分析;可完成1953年以来玉溪市数十万条传染病监测数据的采集,并在30分钟内自动生成1000页疫情资料汇编。结论该系统具有操作简单、通用性强、及时、准确、自动、高效的特点。传染病疫情数据挖掘技术可成为疫情管理、疾病控制人员监测与处置传染病疫情的关键技术。

关键词： 实践教学   人工智能   区域经济   创新力  

摘要： 人工智能专业需立足于为区域经济发展和社会发展培养创新型应用人才。对人工智能专业“数据仓库与数据挖掘”课程的实践教学改革,探索知识线、实践线和评价线多线并行递进的实践教学方法。通过为企业订制数字化智能化方案,促进学生在为企业提供服务的过程中,实现知识的融合、技术的提高和创新力的提升。

关键词： Hive数据仓库   Hive SQL语言   Hadoop环境   HDFS技术   分布式文件系统  

摘要： 对Hive数据仓库的创建与启动的过程进行了介绍,着重讲解了通过Load命名加载数据的两种方式,即通过本地将数据文件加载到Hive表中,通过HDFS将数据文件加载到Hive表中。这两种方式在实际生产环境中,应用十分广泛。

关键词： 大数据分析   数据挖掘   数据集合   数据仓库   软件工具   数据安全   数据规模   数据类型  

摘要： 有关大数据分析的说法很多,目前比较一致的说法是:大数据分析是指对规模巨大的数据进行分析。那什么是大数据呢?麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。具体来说,大数据分析就是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。伴随着经济的快速发展,尤其是IT行业的风起云涌,数据仓库、数据安全、数据分析、数据挖掘等围绕大数据的社会价值的利用逐渐成为行业热点,大数据分析的战略价值和意义与日俱增。多年来,马昊始终致力于大数据分析行业的发展与建设,为培养数据分析人才、传播数据分析的意义和作用作出了积极贡献。

关键词： 轨道交通   数据仓库   AFC系统   数据挖掘   应用要点  

摘要： 随着城市化建设加速,轨道交通网络进一步拓展,其网络化程度也逐步提升。当前,轨道交通AFC系统的普及程度日益提高,为轨道交通票务管理和运营管理提供支撑。文章着眼于轨道交通AFC系统运行中的综合决策体系构建,对这一环节数据仓库与数据挖掘技术的实际应用要点进行简要分析,旨为运营管理决策优化提供支持。

关键词： 云数据中心   数据集市   数据仓库   建模  

摘要： 职业院校的教学管理系统“信息孤岛”问题日益突出。为了在技术管理层面解决这一问题,在建设校园云数据中心的基础上,首先采用维度建模的方法,构建二级院部教学管理的数据集市,然后集成校级教学管理的数据仓库。满足二级管理模式下的各级管理人员对数据的统计、查询和分析需求。

关键词： 数据仓库   文本相似度   Spark   论文推荐  

摘要： 为促进期刊融媒体发展,提高杂志社网站的知识服务能力,实现为读者提供论文在线推荐服务,提出了一种基于数据仓库的论文推荐方法。首先建立数据仓库,设立论文推荐主题库,抽取数据集中论文的标题、摘要、关键词等数据建立特征数据集;然后,再对这些特征数据集进行预处理,得到半结构化的分词特征数据集,存入数据仓库的ODS层,格式化和ETL化原始数据层中的数据,清洗维度缺项的数据,存入DWD层,构造维度-论文权重矩阵,存储在DWS层,ADS层存储汇总的推荐结果;最后,推荐时根据ADS层主题表中的分词特征数据集,计算待推荐论文的相似度,根据相似度值对目标论文推荐相似文献。结果表明,该推荐方法提高了论文推荐的实时性和准确率,应用效果良好。

关键词： 数据湖   数据仓库   烟草行业  

摘要： 与过去传统的数据存储库相比,数据湖在数据收集、数据价值的发挥、数据孤岛的消除等方面都有着显著的优势,加之有着良好的扩展性与敏捷性,因此被越来越多的行业所重视。烟草行业作为高税负行业,如何将数据湖技术应用其中,对于数据集成能力以及数据治理能力的提升起着至关重要的作用,不仅能为营销环节做出更为精准的预测分析,而且对于财务管理也能起到十分积极的影响。本文基于此背景,首先对数据湖相关概念进行了简单介绍;其次对数据湖方案的价值以及可行性进行了分析;最后详细阐述了数据湖在烟草行业中的应用与研究,以供相关工作者参鉴。

关键词： 工业大数据   变化数据捕获   海量数据   数据迁移   ETL   数据仓库  

摘要： 针对在数据仓库的建设中业界端对端的数据迁移工具无法能满足数据库高可扩展性需求,基于数据ETL中间件技术和数据抽取CDC技术分析选型,设计实现一种基于插件化的异构数据ETL中间件,重点介绍其包括业务解析层与数据处理引擎层的总体架构,从而实现数据增量迁移需求,对工业数据仓库建设具有借鉴意义。