课程文献中心 更多>>

关键词： 数据中台   数据治理   数据仓库   人工智能   数据服务   数据应用  

摘要： 【目的】本文主要就数据中台相关研究背景、技术架构和关键技术以及在行业中的落地应用展开介绍,并结合技术发展趋势提出未来研究和应用发展方向。【方法】本文综述了数据中台相关领域的国内外研究,并提出数据中台通用技术架构,分别对大数据技术平台、数据资产管理平台、数据分析挖掘平台和统一服务总线的核心技术和功能进行了展开讨论。【结果】基于本文提出的数据中台的相关技术框架,数据中台在相关行业已经得到初步应用和实践,其中互联网、金融和政府等行业走在前沿。【结论】数据中台的相关技术会越来越向自动化、智能化方向发展,其支撑的上层业务应用将会在一系列相关技术突破的推动下在各行业形成爆发式的发展。

关键词： 物流工程   数据仓库   决策   支持   系统  

摘要： 物流工程的数据仓库决策支持系统应用一定程度上提高物流企业管理水平,使物流企业相关业务工作内容开展效率进一步提升,为物流企业的现代化发展提供了实际的信息技术数据支持。本文将根据数据仓库决策支持系统应用特点,对其在物流工程方面的合理化运用进行深入分析,并制定有效的物流工程数据仓库决策支持系统开发管理方案,以此为物流企业的数据仓库决策支持系统的科学化运用提供部分理论性参考建议。

关键词： 众包   数据仓库   ETL   原型系统  

摘要： ETL是数据仓库获取数据的入口,是决定数据仓库质量的关键环节。针对目前构建数据仓库时,会面对数据信息来源广、数目大、有偏差,存在较多不确定和不完整数据等难题,传统ETL系统已难以满足企业构建数据仓库的需要。本文采用网络众包的理论和方法,将传统数据仓库ETL方法与网络众包方法相结合,研究构建基于众包的数据仓库ETL系统。论文研究的主要工作和成果如下:第一,分析阐述了传统数据仓库ETL系统目前存在的缺陷和不足。面对大数据环境下,数据来源广、数量大、类型多,存在较多不确定和不完整数据等现状,传统数据仓库ETL系统缺乏有效处理手段,需借助人工知识和方法来辅助进行数据处理。第二,设计给出一个基于众包的数据仓库ETL系统的总体架构。运用众包理论方法,结合传统ETL系统体系结构,设计建立了一个基于众包的,支持人工与机器相结合进行数据抽取、转换、加载处理的数据仓库ETL系统体系结构和软件平台。第三,设计给出了一种基于众包的数据仓库ETL不确定性数据信息处理的语言和众包评价控制算法。对标准SQL语句进行了简单的扩展,针对ETL过程众包的需要,设计形成一种基于众包的数据仓库ETL过程自适应的系统处理扩展语言。采用基于矩阵的算法和基于分级响应模型的算法对众包任务作出评价和对众包结果进行控制。第四,以石油钻井物料供应管理为背景,研发了一个基于众包的数据仓库ETL原型系统,较好的实现了对钻井物料数据仓库建立过程中数据的有效处理。改变了传统ETL数据处理方式,进一步提高了ETL数据处理的效率和质量。

关键词： 数据仓库技术   煤矿安全管理   应用研究  

摘要： 煤矿安全管理工作,是煤矿业永恒的主题.数据仓库技术运用于煤矿安全管理对煤炭行业是一次管理技术的重大革新,对煤炭安全管理、最大限度的降低安全事故的发生有着极其重大的意义.

关键词： 资产管理公司   数据仓库系统   软件开发   功能模块  

摘要： 随着资产管理公司(Asset Mallagement Corporation，简称AMC)信息化建设快速发展，各类应用系统积累了大量业务数据，同时公司金融控股集团己形成规模，随着公司改制上市进程的推进，未来信息披露、监管报送需求，以及公司领导及各业务管理部门对业务管理、经营决策、集团管控、业务协同等方面的数据加工、分析和展现需求也日益迫切。并且，由银监会等五部委联合发布的《金融资产管理公司监管办法》(银监发(2014)41号)也明确要求集团应当建设统一的数据管理机制，建立集团管理信息数据库，集中汇总各级法人机构的业务、财务和集团风险管理数据。　　本文结合资产管理公司的实际应用场景和未来IT规划，利用数据仓库理论、大数据技术、商业智能，搭建基于开源大数据引擎Greenplum的数据仓库系统:汇聚资产管理公司所有数据资源，构建可以处理海量结构化数据处理平台;采集母公司、平台公司数据，利用数据处理技术对结构化数据进行数据整合、加工、分析;利用数据仓库建模技术进行数据建模，形成各主题域数据集市;通过对指标体系的梳理和关键指标的计算，提供用于舆情监控、业务决策的领导驾驶舱、以及相关经营管理类报表等功能。本文主要研究内容包括，基于开源大数据引擎Greenplum的系统总体架构设计、数据架构及物理架构设计;基于开源大数据引擎Greenplum的数据仓库建设、数据加工处理及数据展现;基于AMC领导驾驶舱的设计与实现。　　本文设计和实现的基于开源大数据引擎Greenplum的数据仓库己在国家某资产管理公司实际生产环境上得到了稳定的运行。该数据仓库暂时满足了经营管理需求及部分监管要求，达到了开始预期设计的目标。

关键词： 分类预测   数据仓库   维度模型   脑卒中筛查  

摘要： 针对全国脑卒中筛查数据中存在的大量筛查数据未分级、数据利用率低与维护复杂等问题,通过以相关分类算法与数据仓库技术为基础进行研究,训练筛查数据危险级别预测模型并建立数据仓库维度模型,实现对脑卒中筛查数据的准确统计分析与高效利用,为脑卒中防治临床研究和医疗决策提供数据支持。为了解决由于医疗资源紧缺带来的筛查数据未分级的问题,提升危险分级数据分析的准确度,以全国脑卒中历史筛查数据为研究对象,提出了一种C5.0算法与BP神经网络算法组合的危险级别预测模型。首先通过分层抽样与过采样得到初始样本数据,采用特征划分高效的C5.0算法选择相关性较强的特征变量,并以此作为神经网络模型训练的初值,利用以高血压、糖尿病等8个主要相关特征变量的神经网络进行分类预测,有效提升多变量和缺失信息数据下的危险分类准确性。测试结果表明,C5.0-BP组合预测模型的总体分类准确率为93.68%,与当前中国卒中数据中心基于C4.5算法的分类模型相比提升了8.65%,中危和高危等级预测综合评价指标分别提升了37.5%和63%。该模型实现了较为精准的危险分级预测,对脑卒中疾病的预防与干预起到了促进作用。针对当前国家脑卒中防控数据平台中存在的交互性低、维护复杂等缺点,结合筛查数据背景与特点,以危险分级预测数据为基础,设计了合并、清洗、转换规则,构建包含基本信息、危险因素等4个分析主题,包含性别、年龄、地区等50个分析维度的数据仓库维度模型,并利用BI服务对分析结果进行展示。从分析结果看出,筛查数据仓库维度模型实现了对不同分析主题、多维度、交互性强的数据分析与展示,在国家卫生计生委脑卒中数据分析工作中得到部分应用,对国家脑卒中筛查防治工作提供数据支撑,为管理决策和脑卒中流行病学研究提供数据分析服务。

关键词： 信息管理   MVC模式   B/S架构   J2EE+MYSQL   数据仓库  

摘要： 改革开放40年以来,随着我国经济高速发展,国民收入不断增加,个人可支配的财富越来越多,在该背景环境当中人们也越来越积极地投入到各种理财市场,个人理财业务也快速的发展起来。用户对金融理财产品的热情居高不下,对理财服务的要求也越来越高。优质的理财产品以及服务才能最大程度地发挥出资金、市场和技术方面的优势,考虑到不同客户的需要,为用户提供更加优质的理财产品以及服务,不断适应市场经济发展带来的风险、市场需求和挑战。对于银行内部理财平台信息管理系统而言,随着理财产品数量和种类不断增加,用户数量也随之增加,理财平台信息管理系统应该能够更加安全高效的管理理财产品和用户信息,能够更加可靠的实现产品管理服务、信息查询服务以及各种数据管理,帮助银行对理财产品进行更好的管理以及统计分析。针对上述理财产品的服务以及数据管理要求,本文设计实现了银行内部理财平台信息管理系统,方便统计分析各种理财产品分类以及管理,了解用户需求和金融理财产品服务的特点。本系统基于MVC模式进行设计与实现,采用B/S架构,使用J2EE+MYSQL的技术进行系统设计与开发。基于客户数据和理财产品数据挖掘分析,得出潜在客户需要。本系统完成了理财产品项目管理、用户管理、交易信息查询管理以及统计分析,结合数据库分布式部署和数据仓库的建立,实现更好的维护和系统升级,提高系统性能和实现一款可靠、商业价值极高的理财产品信息管理系统。

关键词： 数据粒度   预计算   数据仓库   多维分析   报表管理  

摘要： 报表系统一直以来是企业的基本业务要求,是企业管理的基本措施和途径,也是企业实施商业智能战略的基础。随着零售企业规模的扩大和历史数据快速的积累,在商业智能领域,如何对海量零售数据进行多维统计分析和展示成为了报表系统亟待解决的问题。在此背景下,提出基于数据粒度预计算的零售报表系统的设计与实现。本文首先介绍了零售企业报表管理的现状,同时分析了国内外基于大数据的报表系统构建的研究内容、数据仓库的相关理论和相关大数据处理技术,确定了以空间换取时间的预计算思路。然后,本文根据业务需求分析和功能性需求分析,明确了系统实现目标,并在分析的基础上对于数据处理方案进行设计。围绕多维数据预处理模块,采用了Apache Kylin分析引擎构建数据立方体和存储过程实现物化视图,完成对海量零售数据的预计算和存储,提升了报表系统多维数据分析查询的效率。最后,本文选用了 SSM(Spring+SpringMVC+MyBatis)web框架对报表管理平台进行构建。在整个项目的设计过程中,本人主要负责数据仓库的设计、预计算模块的设计及报表平台的设计和开发工作。在实验验证方面,本文首先通过任务调度平台验证了预计算任务设计的正确性。然后对预处理方案构建性能和系统整体查询性能进行验证,验证了基于预计算方案下系统查询性能的提升。最后通过OLAP分析方法对系统进行数据分析查询,完成对系统功能性需求的验证。

关键词： 数据仓库技术   医院病案   统计分析  

摘要： 新时期,医院病案统计管理已发展成为一门学科,在医院管理体系中发挥着信息交流的作用,其重要性受到更多人的重视及关注。本文以医院病案统计为研究视角,在深入分析医院病案统计管理中问题基础上,提出利用数据仓库技术开展病案统计管理的方法,以期为类似研究提供一定参考。

关键词： 智能   在线   数据挖掘   数据仓库   策略   路径  

摘要： 智能化技术越来越多地应用在教育信息系统中。本文将数据挖掘和数据仓库技术应用在高校思想政治理论课程在线学习系统中,使得系统具备人工智能的能力。智能化在线学习系统的建设和实施能够极大提高高校思想政治理论课程的学习效率。