课程文献中心 更多>>

关键词： 大科学装置控制系统   EPICS7   历史数据存档技术   Archiver Appliance   存档参数自动配置   数据仓库   Hadoop  

摘要： 大科学装置是实现重要科学技术目标的大型基础研究设施,具有投入规模大、建设周期长、运行时间久等特点。控制系统是大科学装置的重要组成部分,是将装置各个子系统联系起来、协调工作的纽带,也是装置调试和运行的平台。系统架构是控制系统的基础,决定了控制系统的总体性能。数据存档系统是控制系统的重要组成部分,用于存储装置运行时产生的大量数据,这些存档数据可用于装置的性能分析和故障诊断,对装置的性能提升和运行维护具有重要意义。本文在调研国内外大科学装置相关技术领域最新进展的基础上,围绕大科学装置控制系统架构和历史数据存档技术开展了一系列研究工作。EPICS是大科学装置控制领域应用最为广泛的开发平台,目前有两个主要版本,分别是EPICS V3和EPICS7。EPICS V3是已经在大科学装置中得到广泛应用的发行版本,而EPICS7还处在开发中,只在一些装置上得到初步应用。本文基于EPICS7开展了控制系统架构方面的研究,描述了EPICS7的软件结构和主要模块的功能,结合中间件技术设计了三层的原型控制系统;对比测试了pvAccess和CA协议的通信性能,结果表明pvAccess性能明显优于CA;进行了pvData应用设计,表明pvData有助于应对更为复杂的控制要求;采用应用程序与配置文件分离的方式开发了Software Interlock Server中间件,可提升系统的维护性能。Archirver Appliance是EPICS社区最新发布的历史数据存档软件。本文基于Archiver Appliance开展了历史数据存档技术方面的研究。一方面,本文对该软件的设计原理、存储格式和数据接口进行了研究,优化了该软件的自动化部署过程,并对比测试了Archiver Appliance和RDB Channel Archiver的数据查询性能,结果表明前者（特别是其短期数据）的查询速度优于后者。另一方面,研究了存档软件的参数配置方式。针对目前存档参数集中配置的不足之处,提出了存档参数分布式自动配置的方法,完成了Auto Configurator软件的开发和测试,测试表明该技术可以显著提高存档软件的可维护性能。此外,本文使用前后端分离技术设计和开发了存档数据的可视化软件。大科学装置规模的增大带来了运行过程中历史数据量的激增,海量数据的处理已成为数据查询和数据分析性能的瓶颈。本文基于Hadoop生态系统设计了大科学装置的数据仓库,建立了Hadoop集群,开发了兼容不同数据存档软件的数据迁移程序,为未来开展基于数据仓库的数据分析提供了研究平台。目前国家同步辐射实验室正在开展HALS的预研工作,本论文的研究工作是“HALS控制技术研究”子项目的一部分,相关的研究成果为未来HALS的建设提供了技术储备。

关键词： 财务监控分析   数据仓库   DW核心数据区   测试用例  

摘要： 财务监控分析是集团公司进行企业治理的重要变量,与集团公司的发展战略高度统一。公司制改革推进过程中财务监控暴露问题诸多,通过商业智能软件系统进行财务监控与分析对于加强集团公司的内部管理和持续经营意义颇大。本文基于久其BI商业智能平台进行集团公司财务监控分析系统的设计,该系统资源整合、查询分析、实时监控、动态预警为一体,并就系统的分析主题功能、安全性、性能、数据正确性等方面进行测试,确保数据监控分析流程的规范性,使集团公司财务管理政策的制定更具针对性与科学性。

关键词： 农发行   数据生产   数据交换平台   批量传输   数据仓库   批量数据   研究与实践  

摘要： 随着银行业的竞争日益激烈,银行业务种类迅猛增加,业务系统及应用系统规模和复杂度也随之增加,银行对数据的分析需求越来越多,系统与系统间的数据交互活动越来越频繁,构建批量数据交换平台以满足日益迫切、频繁的批量数据交换需求成为各家银行的普遍选择。批量数据交换的概念批量数据交换是指通过计算机网络构建的信息交换平台,将分散建设的若干应用信息系统产生的数据进行科学化的集中

关键词： 本体   医疗数据仓库   语义   数据异构   维度建模  

摘要： 随着大数据时代的来临,海量的数据以超乎人想象的速度进行积累。我国医疗信息化经过近些年的建设和发展,也已积累了丰富的医疗数据资源,而医疗数据的使用仍处于较低层次,海量的医疗数字资源依托传统的操作型数据库无法提供必要的分析决策支持,需要对医疗数据进行有效的集成,构建以分析决策为目的的医疗数据仓库。医疗数据仓库维度建模过程中的两个驱动力是数据源和业务需求。由于各医疗信息系统中的数据库存在着数据类型多、数据量大、缺少参照完整性约束、字典表混杂等现象,大量医疗数据概念之间缺乏基本的组织和联系,导致各医疗数据源之间存在大量的语义异构,并且医疗数据仓库需求更加的复杂多样,很难准确的描述业务语义以及整合这些业务需求,采用传统的方式并不能够很好的处理医疗数据仓库维度模型中存在的问题。本文提出了一种基于本体的医疗数据仓库维度模型构建方法,其主要内容包括:1.提出基于本体的医疗数据整合方法:针对医疗数据特点,提出基于医疗数据构建医疗本体,通过本体对医疗异构数据源进行全局的语义描述,解决数据源之间异构问题;2.提出基于本体的医疗数据仓库多维模型需求分析方法:使用一种面向目标的数据仓库需求分析方法进行需求分析,并提出基于本体的需求模型合理性检验规则,利用本体的语义表达能力去检验需求模型的合理性;3.提出基于本体的医疗数据仓库维度建模方法:提出维度表自动生成算法,将本体通过生成算法生成维度表,并提出分割策略优化维度表结构,提高查询效率;4.基于本体的医疗数据仓库应用:完整实现从需求分析到数据可视化一整套流程,验证了本方法的可行性以及在消除语义异构、构建效率、可复用性等方面的优势。最后将该方法与传统方法作比较,给出各方法的优缺点以及建模方法选取建议。

关键词： 校园卡   数据仓库   数据挖掘   可视化  

摘要： 随着智慧校园概念的提出,教育数据的挖掘成为了人们研究的一个热点问题。而校园卡应用数据作为最能反映学生校园生活的业务数据,对智慧校园的建设有着至关重要的作用。针对校园卡应用数据的存储和管理、数据挖掘和分析、数据可视化等3个研究问题,本文设计并实现了一个基于校园卡应用数据的分析及可视化系统,用于帮助师生理解数据的隐含规律,为学生的校园生活和管理人员的管理工作提供决策支持。本文首先针对校园卡应用数据的特点,设计了面向主题的数据仓库,将多源的异构数据进行不同层次的聚合,方便了数据查询和分析。其次,本文从数据挖掘和传统统计分析两个角度对校园卡应用数据进行了特定的主题分析。从数据挖掘角度,本文实现了自动化ARIMA模型,并应用于校园热点区域的人流量预测;提出了一种改进的k-means算法,并应用于校园卡用户的消费特征聚类分析;提出了一种基于校园卡应用数据的学生成绩预测模型,提取了 7类能影响学生成绩的特征指标,采用随机森林算法对学生是否具有挂科风险进行预测,并通过实验证明了结果的有效性。从传统统计分析角度,本文对消费分布特征、学生行为相似度、学期账单、热点商户和消费明细查询等主题进行了统计分析。最后,面向不同的分析主题,设计并实现了特定的可视化模型和交互方式。

关键词： 信息系统   生产管理   精益生产   ERP   数据仓库  

摘要： 在市场经济中,同行竞争日趋激烈,客户需求个性化,产品要求多样化,设备管理智能化,技术加速迭代,这些变化因素对传统印刷企业带来了前所未有的机遇和挑战。印刷企业要提高生产经营效率,打造核心竞争力,实现健康持续发展,就要不断加强内部管理,将先进管理理念与信息技术相结合,建立标准化、规范化、科学化的现代生产管理模式,建立一套现代化企业信息管理系统。通过引进6S、六西格玛、敏捷制造、精益生产等先进管理理念,传统印刷企业正由粗放型管理向精细化管理转变。随着信息技术的发展,印刷行业先后经历了从单色到多色印刷、胶印到数字印刷、激光照排到CTP直接制版、互联网+印刷到云印刷的发展阶段,数据仓库与数据挖掘技术的应用,让智慧印刷成为印刷行业发展的又一个趋势。企业资源管理计划(ERP)系统是先进管理思想与信息技术相结合的一个重要应用系统。ERP系统的应用,让物流、业务流和信息流有机结合,使企业的业务流程更加规范,资源配置更加合理,生产管理更加高效。数据仓库技术是一个大型数据分析处理中心,能够通过建立数据分析模型将错综复杂的历史数据进行精准归集、分析、处理,为企业决策提供数据支持。基于ERP系统的数据仓库应用,可以有效促进企业精益管理的实施,包括精益营销管理、精益采购管理、精益生产管理、精益质量管理、精益设备管理、精益核算管理等。本文首先分析了印刷企业信息化建设和精益管理的现状,提出企业要建设一个更高要求的信息管理系统,一方面要为企业事务处理提供管理支持,另一方面将企业内外部资源整合和数据处理转化为企业决策的依据。然后介绍了数据仓库的特点、工具和应用,并对印刷企业创建数据仓库进行研究,对在线分析处理系统(OLAP)进行详细的创建和分析,重点以广州市人民印刷厂股份有限公司这家知名印刷企业为依托,提出基于ERP的数据仓库技术的应用对精益管理的促进作用,为企业的商业需求和内部管理决策提供支持。本应用研究借鉴了当前先进的管理工具和方法,数据仓库构建安全、便捷、高效,具有良好的应用价值,是将基于ERP的数据仓库技术应用到印刷企业精益管理中的一次有益探索。

关键词： 元数据   元数据系统   数据仓库hive   大数据  

摘要： 本文首先对元数据的基本概念和作用进行了介绍,然后对元数据系统的软件架构进行了设计,并对用到的关键技术进行了说明,用到的关键技术包括:'血缘关系',元数据抽取、转换、加载以及SQL数据的埋点、采集等.实现了将数据界面化展示,可完成数据字典查询、表对象查询等,使用户可以很轻松的获取想要的数据,大大地提高了开发的效率.

关键词： 税收数据   数据仓库   加强管理  

摘要： 随着科技的不断发展,为实现税收信息管理的方便、快捷,将计算机处理信息技术与其结合发展成为数据库形式的新型管理信息技术,这种数据仓库的形成在数据的组织、查询、报表都体现出优势.本文对于如何加强税收数据库的建设进行浅析,针对税源及申报等相关方面加强管理以保证数据库中的整体数据得以完善.

关键词： 科研管理   大数据仓库   系统设计   功能模块  

摘要： 随着信息技术的飞速发展和科研管理的不断进步，信息管理系统在科研院所得以广泛应用，在此过程中累积了海量的多元异构、形式多样、来源众多的跨地域、跨组织、跨学科和跨平台的结构化、半结构化及非结构化数据。同时，数据获取、挖掘分析、机器学习等技术的发展，使得这些海量数据的价值被不断发掘。如何对这些物理分散、内容不同、格式各异的数据进行规范和标准化，高效完整灵活地进行数据获取和同步，对质量参差不齐的数据进行查重脱敏、补漏消歧处理，对异构数据统一规范管理，使数据满足不同场景需求，并提供灵活多样的在线流处理及离线批处理，实现高效查询分析引擎等问题都是亟需解决的科学问题。面向科研管理大数据全生命的周期研究已成为一个热点，涉及到从数据标准、数据获取、数据治理、数据存储、分析计算到商业智能等核心环节。　　本文依托中国科学院十三五信息化专项“科研与教育态势感知服务”课题，聚焦数据汇聚与交换平台，基于Hive设计并实现了面向科研管理的大数据仓库，支持在线流处理、离线批处理及不同场景的数据分析处理需求，并对数据获取相关技术和大数据仓库平台进行高可用性、负载均衡及资源管理等问题进行深入的研究和实现。为整个课题实现数据流汇聚交换、数据挖掘、辅助决策分析，提供了技术层面和平台支撑的保证，具有一定的理论价值和实际意义。本文针对以上问题做了以下工作:　　1.基于开源项目Kettle设计并实现了一种ETL工具，满足主流关系型数据库之间及结构化、半结构化和非结构化文件到关系型数据库或Hive的数据抽取和汇聚。并在开源基础上新增了逻辑复用、容错处理、持久化策略功能，设计了增量和批量调度策略，优化了任务监控平台。保证了整个课题数据的同步和交换以及未来的运行和管理。　　2.基于Hadoop和Spark平台，设计并实现了一种基于Hive的双引擎大数据仓库。采用MapReduce计算引擎，更好的支持了Hive数据仓库离线批处理的场景，适配并融合Spark计算框架，Hadoop/Spark双引擎架构使得平台同时支持稳定的离线批处理和在线流处理，为未来更多的数据分析场景提供平台保证。　　3.构建了大数据集群管理平台，对高可用性、负载均衡、资源管理进行了优化设计，对数据汇聚存储系统进行了设计实现。为后续进行全院数据汇聚挖掘、知识图谱构建、学科态势分析提供了平台支撑。实验表明，系统灵活高效，高可扩展和高可用，资源调度科学，负载均衡效果明显。

关键词： 大数据技术   HBase   Hadoop   关系数据库   数据仓库   数据开发  

摘要： 1 Java编程技术Java编程技术是大数据学习的基础,Java是一种强类型语言,拥有极高的跨平台能力,可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等,是大数据工程师最喜欢的编程工具。2 Linux命令大数据开发通常是在Linux环境下进行的,相比Linux操作系统,Windows操作系统是封闭的操作系统,开源的大数据软件很受限制。因此,想从事大数据开发相关工作,还需掌握Linux基础操作命令。