课程文献中心 更多>>

关键词： 分布式数据仓库   中间件   SQL路由   Thrift   Spring Boot  

摘要： 星环科技作为一家专业的数据存储服务提供商,一直以来为证券、银行、政府等机构公司提供分布式大数据存储技术的支持,旗下一站式大数据平台（Transwarp Data Hub,以下简称TDH）集软件安装、运维于一身,同时提供了丰富的拓展功能。但是随着客户使用数据的增长以及使用场景的复杂化,单个数据仓库集群已经越来越难以满足客户的使用需求,部分客户为了减少数据迁移的成本,在不同地区都分别建立了大数据存储集群。在这种情况下,由于数据分散在不同的存储集群中,客户的数据查找成为了一个亟待解决的问题。本文基于客户实际使用场景中遇到的问题,详细分析了各类用户的使用需求,同时结合数据仓库当前的发展趋势,设计并实现了基于星环分布式计算平台（Inceptor）的数据仓库路由中间件（Inceptor-Gateway,以下简称Gateway）。Gateway中间件系统在大数据集群中位于客户端与数据仓库计算引擎之间,主要由客户端接收层、路由层以及发送层构成。用户通过客户端连接Gateway后便可同时与多个数据仓库建立连接,改变以往一次只能连接一个数据仓库的局面。用户通过提前配置的转发规则,便可以通过Gateway实现SQL请求智能转发、多节点负载均衡等功能。在多数据仓库的情景下做到数据结构对客户端透明,用户在查找数据时只需要专注于SQL语言的编写而不用关注数据的具体存放位置。同时为了进一步降低用户的使用成本,本文还基于Spring Boot设计了一个与Gateway协作的监控平台（DBAService）,通过监控平台用户可以实时掌握系统运行状态以及转发详细,当SQL查询出现问题时可以通过该监控平台对出错节点进行快速定位,及时排查集群问题。目前Gateway已应用于公安、邮政以及多家银行证券机构的分布式存储集群中,在多数据仓库这类场景的集群构建及使用中发挥了重要作用。通过路由中间件Gateway的帮助,能极大地降低多数据仓库场景中用户的使用门槛,同时有利于构建更优的数据仓库结构,增加数据安全性。

关键词： 混合式教学环境   数据仓库   学习分析   数据建模与量化  

摘要： 近些年,国家不断推行教育信息化建设,在线学习平台迅猛发展,线上教学与线下教学相结合的混合式教学环境正在形成。本次课题的目标便是设计及实现一个能够较好地支持混合式教学环境的学习分析系统,帮助教师及时了解学生情况、发现学习指标间关系、研究教育理论,具有重要意义。主要研究内容如下:首先本文通过数据仓库理念,在一定程度上解决了混合式教学环境下多数据源混杂的问题,使得不同平台的多维数据可以有机融合、相互补充,避免了单一平台产生的数据冗余,增加了数据独立性,能够从多个角度提供更加完备的数据信息。其次本文对不同平台数据进行了针对性地建模与量化,其中提出MtAEC模型分析了多主题混杂的聊天数据,发掘了学生的聊天习惯与聊天主题,将学生基础数据转变为学习积极性、学习进度等信息,更好地表征了学生情况。再次本文提出通过相关性分析来检测数据量化模型的方法,根据相关性结果不断优化数据量化的模型,以客观结果为导向能够使量化模型更加准确,使得量化结果能够更好的反映学生情况。最后本文采用静态分析与动态分析相结合的方法,在保证系统性能的前提下极大地满足了用户需求,并通过本校大一信通导论课学生的实际数据案例,检验了系统的可行性。

关键词： 泛化数据模型   数据仓库   抽取-转化-加载   数据集市   决策分析  

摘要： 本文针对已建成的某三级甲等医院内使用的各种信息系统中已积累的海量数据,提出了如何利用各种信息化手段,汇集与挖掘已有数据,为病患医治提供有效的技术支持。为实现该目的,医院对于搜集到的各种医疗相关数据,应通过预处理再传输到相应的数据仓库中,然后实施联机性的全面剖析和总结,最终对有关数据实施有效的挖掘。这样一来,医院就能够进一步的分析有关于患者、用药、治疗以及医师等各个方面的潜在关系。对于此类知识的发现与使用,能够对医院的更多决策制定形成有力的支持及辅助作用,另外亦可以对未来的其他医疗数据的进一步处理提供可靠的技术支持与宝贵的经验。本文考虑了医院信息的需求和紧迫性,以及医疗信息领域当前的数据交换问题。为了解决这些问题,本文提出了一种基于“五要素”的广义通用数据模型,并根据医院数据中心医疗数据的特点进行了数据处理的研究与设计,在MapReduce思想与方法基础上,本文提出了基于Key-Value的数据映射和归集存储方法,并采用了本文自主设计的通用自定义函数,完成了“患者主索引服务EMPI”的数据归集等工作。提出以本体为基础的元数据经管方式,有效处理在ETL中元数据语义约束和蕴含语义信息的诸多问题,能够对元数据改变比较大的医学领域给以更多的支持。在设计过程中,我们将使用星型和扩展雪花模型建立针对不同主题的数据集市,以满足不同业务领域中决策分析的需求。通过以上工作,本文基本完成了基于数据中心的智能医院系统平台的需求分析,设计,实现和验证,该医院的实践证明上述方法和技术是有效的。

关键词： 人力资源管理系统   ERP   设计与实现   数据仓库  

摘要： 论文选题来源于某国有大型企业实际应用项目。随着企业信息化的建设发展,该企业原有的ERP系统已经无法满足企业的业务需求,本文根据企业人力资源部和信息管理部的要求,结合企业实际管理的具体内容和特点,针对原ERP系统运行情况和暴露出来的问题,设计和实现了企业人力资源管理系统。论文从企业管理的实际需要出发,分析了人力资源管理工作的业务流程、功能需求,完成了系统的架构设计、功能模块设计、数据库设计,实现了系统功能模块,并对系统功能完成了测试。论文具体实现的功能模块包括:核心人事管理、薪酬管理和综合查询,其中,核心人事管理包括组织管理、员工管理、劳动合同管理、进人指标管理、批量导入管理、报表管理;薪酬管理包括薪酬权限设置、薪酬基础设置和薪酬发放管理;综合查询包括人事和薪酬模块数据的即系查询以及数据统计分析。论文中重新梳理人力资源管理系统业务流程,弃用ERP原来的Form界面,并基于HTML/HTML5/Vue/CSS3开发全套Web界面,兼容主流浏览器;同时在原有Oracle核心数据库基础上,将ERP应用产品中的算法逻辑独立剥离,按照实际业务需求重新设计系统功能,并基于Java语言和MVC分层思想予以实现,同时基于BIEE系统建立数据仓库实现人事和薪酬数据的统计分析。目前人力资源管理系统各模块已逐步完成上线工作并投入正常运行。人力资源信息管理更加规范,业务流程更加清晰,极大地简化了操作,降低了管理人员系统学习成本,提高了工作效率。本文工作为下一步企业的ERP系统全功能模块的开发和系统建设提供了支撑。

关键词： 数据仓库   即席查询   多维数据模型   ETL任务调度   计算引擎  

摘要： 在金融行业信息化背景下,商业银行面临着创新能力不足、行业标准提升、资产不良率升高、监管力度加强、客户需求多样化、行业竞争激烈等困境,信息化改革是化解商业银行此类困境最快捷高效的手段,数据分析则是信息化改革中至关重要的一步。但是商业银行目前存在数据分散、数据格式不统一、数据集成不高效、数据分析慢等问题,使得数据分析十分困难。本文将对商业银行数据仓库及其复杂即席查询进行研究,解决商业银行数据分析困难的问题,促使商业银行向数据驱动模式转型。首先,设计商业银行数据仓库多维数据模型,利用数据抽取-转换-加载（Extract-Transform-Load,ETL）技术构建银行数据仓库。分析银行现有数据信息,使用可拓分类方法选取银行高价值数据,并设计银行主题域和相应事实表与维度表,建立商业银行数据仓库多维数据模型。设计分布式数据仓库ETL,利用贪婪算法结合优化后的遗传算法和蚁群算法完成ETL任务调度,实现数据仓库中数据的高效、稳定集成其次,在商业银行数据仓库的基础上,设计数据仓库即席查询的计算引擎,实现快速复杂即席查询。采用优度评价方法对现有计算引擎进行筛选,选择Hive和Presto两个计算引擎,利用它们各自的优点进行整合,形成全新的面向商业银行的整合型计算引擎。为了提升计算速度和计算能力,将复杂即席查询语句拆分为多个简单查询。通过构造有向查询图,对有向查询图进行深度优先遍历形成有向生成树,再利用广度优先遍历对有向生成树进行遍历生成中间结果表,将中间结果表存储在虚拟内存文件系统Alluxio中,通过中间结果表得出查询结果,实现数据的复杂即席查询。最后,实现银行复杂即席查询平台系统,证实了商业银行数据仓库及其复杂即席查询研究成果的优越性。通过该系统进行ETL导入性能测试和数据即席查询速度测试,证实了通过本文研究所设计出来的银行数据仓库及其即席查询计算引擎解决了银行数据分散、数据格式不统一、数据分析慢等问题,从而解决了银行数据分析困难的问题,帮助银行实现信息化改革。

摘要： 近年来,随着商业银行业务发展和信息技术的丰富,运用数字化信息对绩效考核进行有效的管理、评价和分析已上升到战略管理层面.绩效考核系统(MPI)作为银行经营管理的综合评价系统,通过引入数据仓库技术作为技术手段和管理工具,能够更加灵活地实现各项指标考核,并保持各项考核数据在不同管理层级之间能够相互协调一致、高效动作,在较短的时间内将准确的信息传递到正确的人,为管理层制定相关政策提供决策依据,同时也能将管理层的政策意图下达到各机构及相关责任人.

关键词： 数据处理   数据仓库   联机分析处理技术  

摘要： 在教育信息化的大趋势下,校园一卡通在各高校得到了普遍应用。一卡通系统作为校园信息化管理的重要载体,承载着越来越丰富的信息。如何对这些数据进行有效挖掘和充分分析,发现潜藏于其中的大量商业信息与管理信息,已经成为相关领域的研究热点。本文以笔者供职的高职院校一卡通数据库为基础,设计并实现了一个校园一卡通日志分析系统。系统以一卡通日志中的使用地点、时间节点、操作类型、消费金额等数据作为分析对象,提取出具有代表性的特征数据,并对其进行深入挖掘,得到分析结果,供学校管理机构对全校师生工作、学习和生活量化分析,进而合理分配资源,降低管理成本,发挥信息化技术在提高学校学生管理和校园规划建设等工作中的重要作用。系统以数据仓库、联机分析处理技术和数据挖掘技术为基础进行设计,开展了以下工作:1.首先进行了系统需求分析,确立了数据源层、数据处理层、数据仓库层和数据展示层的基本架构,明确了系统的基本功能为消费分析、贫困生预测和出勤统计,确定了系统的数据来源为本校校园一卡通数据库。2.在数据处理层的ETL过程中,通过对数据进行抽取、转换、加载等操作,使用ODBC工具实现了数据从一卡通系统数据库向本系统数据库的抽取过程,完成了数据的预处理。使数据的完整性、正确性和标准化程度满足数据挖掘的需求。3.利用数据仓库管理软件SQL Server 2008 Analysis Services对数据进行集成、转换和载入,建立了数据挖掘所需的数据仓库。4.利用联机分析处理技术创建了关联规则挖掘模型,以多维数据作为决策内容,跟据需求快速、灵活地对大量数据进行复杂处理,通过Apriori算法挖掘出本校贫困生在日常生活学习中的数据特征为后续贫困生评定提供一定的科学依据。5.最终采用可视化技术,以图表、曲线、文字等直观形式展示数据分析结果。论文的工作表明,将数据仓库和数据挖掘技术结合进行校园一卡通系统的数据分析为学校综合信息分析及数据挖掘工作奠定了基础,为进一步构造完整的分析平台,提供更深层次的决策建议进行了有效探索。

关键词： 元数据   数据仓库   ETL   元器件选型推荐  

摘要： 数据仓库在数据综合、归类并进行分析上具有很好的处理能力。因此,用数据仓库集成元器件生命周期中的质量数据可以为元器件选型提供支持。但是建立元器件全生命周期质量数据仓库存在以下问题:一、对数据的统一表示困难。由于元器件的生命周期中存在很多部门,分散的数据组成要素不全,缺乏统一的数据表示模型,多源数据之间无法进行数据传递和交换。二、对实例数据的转化困难。由于各个部门的数据具有语义异构、海量的特点,所以转化到数据表示模型之前需要采用语义技术进行消歧,同时针对海量数据需要采用高效率的转化方法。针对上述问题,本文提出了基于语义的数据仓库构建方法。本方法旨在通过语义技术构建数据元模型,将各部门的元器件数据进行统一表示。然后结合语义技术将元器件全生命周期的实例数据高效地抽取、清洗、加载到数据仓库中。在进行设计选型时,为设计师提供可靠的元器件相关质量信息,通过参数匹配、智能分析等,动态地提供设计师所需的元器件,从而避免选型中可能存在的质量风险。本文的主要研究工作包括:一、基于语义的数据仓库构建方法框架研究本文提出了基于语义的数据仓库构建方法框架,该方法框架包括数据元模型构建模块、数据仓库构建模块和应用模块。分别实现了数据仓库建模,数据仓库实例数据导入和元器件选型推荐应用。二、面向元器件全生命周期的数据元模型构建本文提出了构建面向元器件全生命周期的数据元模型,从概念层面消除了元器件部门数据表示的语义异构,解决了数据的统一表示困难问题。首先从元器件全生命周期的业务表单中抽取出业务概念及关系,经过语义融合,得到元数据,然后进行基于元数据的数据仓库维度建模,形成数据仓库元模型。三、基于语义的数据仓库构建本文对数据抽取、清洗与转换、加载和元模型更新进行了研究。本文的主要工作包括两方面:一方面,解决了数据语义异构问题。采用基于同义词字典+规则的数据清洗与转换方法,从实例层面解决了数据语义异构等质量问题。采用基于子节点匹配的数据仓库元模型概念更新方法,通过更新数据仓库元模型,解决数据仓库在数据源变更时产生的概念层面的语义异构问题。另一方面,解决了海量数据转化到数据仓库中的效率问题。采用基于时间戳和日志的增量式抽取方法,解决了数据仓库在海量数据抽取时的效率问题。采用面向实时查询的数据仓库加载方法,解决了数据仓库在海量数据加载时速度慢和实时查询的效率低的问题。最后,基于星环大数据平台构建元器件质量数据仓库,通过元器件选型推荐应用验证,阐明了本文方法的有效性。

关键词： 决策支持   数据仓库   Hadoop   Spring Boot  

摘要： 随着信息技术的发展和大数据时代的到来,传统的依赖于决策者的经验和直觉来判断、制定决策的方式受到了挑战,急需借助量化的方式为公司的决策者提供客观信息支持从而辅助决策。此外,公司内部使用的传统手工报表的工作方式在数据的协作、共享和维持一致性方面存在交流成本较大的问题。因此,开发一套基于数据仓库的企业决策支持系统,以数据展现的方式为公司人员提供信息支持和决策辅助。本项目基于Hadoop分布式集群和J2EE（Java 2 Platform Enterprise Edition）架构,提供了一套完整的数据解决方案。项目总体上分为数据获取、数据存储与处理、数据应用三大部分:在前两部分,进行数据仓库的构建,依赖Hadoop的计算能力,将数据的ETL（Extract-Transform-Load,数据抽取、转化、加载）操作贯穿于整个数据流程中;数据应用部分则是通过数据分析手段定义模型,根据模型对经过计算的数据通过Spring Boot等开发框架进行基于维度选择的报表展现。项目在面向用户的角度上分为文件上传、工作日历、用户分析、招聘分析、运营统计和权限控制六大功能模块,每个模块根据需求又分为若干子模块,以这些功能为公司人员提供信息和决策支持,从而促进企业的发展和经营效益的获取。本人参与了项目完整流程的开发,并依据软件工程思想和软件工程开发流程撰写了此论文。在本论文中,笔者首先描绘该企业决策支持系统的建设背景,然后对开发中使用的相关技术进行介绍,说明了系统实现的可行性。然后,通过对资源和用户的识别,进行了系统的功能性和非功能性需求分析。之后,在概要设计阶段,从总体架构、模块架构和数据库设计三方向对系统进行宏观上的构建。再在上述工作基础上,进行系统细节上的详细设计的探索说明,并通过代码转换为项目。最后,以系统的功能性和非功能性测试为系统上线作最后把关。

关键词： 高炉运行状态   大数据技术   铁水成分   煤气利用率   数据仓库  

摘要： 高炉冶炼是一个在封闭容器中进行的强耦合、多变量、非线性的动态过程,无法直接观察内部运行状况,只能通过安装在高炉本体的众多传感器监测数据间接地评判高炉运行状态。目前多数高炉运行状态预测模型存在预测目标参数单一,数据时间跨度短等问题,基于大数据技术构建铁水中硅含量和煤气利用率两个指标预测模型实现对高炉运行状态的预判,对于指导实际生产具有重要意义。收集了承钢4#高炉总数据存储空间为66.12GB的生产数据,在整理过程中发现高炉生产数据具有维度高、体量大、价值高等特点,存在数据归属不清晰、噪声大等问题,并提出了一些解决问题的办法。采用线性插值法和多元回归法相结合处理缺失数据,采用箱线图法和拟合填补法结合处理异常数据,建立了时间跨度为4年的生产数据仓库,数据存储为30GB,包含12.8亿条分钟频次数据,7组数据共811个字段。采用皮尔森相关系数、斯皮尔曼等级相关性系数和最大信息系数三种方法结合,分析高炉运行参数与指标参数的相关性,最终筛选出热风温度、富氧含量、冷风流量、焦比和炉顶压力等共计13个参数作为输入参数,采用数据仓库中3072条生产数据作为训练库,408条生产数据作为验证库,选用不同算法构建了指标参数的预测模型。结果表明,KNN算法和Ada Boost算法预测模型的拟合优度分别达到0.92和0.89,平均误差均小于5%,均能预测出指标参数的变化趋势,模型性能良好。通过生产操作人员确认,两个模型的预测结果真实有效。通过分析指标参数的历史情况,与生产操作人员合作筛选出最优数据区间,确定了承钢4#高炉运行状态评价机制。采用Python语言设计主程序,构建了用户界面友好的高炉运行状态综合评价系统,可实时显示高炉操作者关心的参数,实时展示历史数据,提前一个小时对高炉运行状态进行评价,指导操作者对高炉进行调控。图15幅;表15个;参71篇