课程文献中心 更多>>

关键词： 关联规则   教学管理   高职院校   数据仓库  

摘要： 数据挖掘技术逐渐在商业、金融业以及市场营销等领域得到了广泛的应用,但至今在教育业中应用较少。当前大多数学校使用的教学管理系统还停留在OLTP系统上,这种系统很难较好地利用历史数据,更不用说教学系统中隐藏信息的提取。为了更加有效地利用教学系统中的信息,有些学校逐渐将数据挖掘技术应用于教学管理系统中,但是由于起步较晚,数据挖掘技术在教学管理系统中的应用还非常受限。由于近年来高校扩招现象更为明显,师生比例逐渐失调,较少的教职工人员难以实现对数量庞大的学生进行管理,为此本文主要针对如何对教学管理系统的数据信息进行科学的利用进行了研究,以兰州教育学院为研究对象,研究了数据挖掘技术在学校招生工作、学生发展、学生管理以及课堂教学质量评价中的作用。本文的具体研究工作包括:(1)虽然兰州教育学院的教学管理系统已经使用多年,但并未建立相应的数据仓库,因此首先设计并建立了兰州教育学院的教务信息分析数据仓库:首先对兰州教育学院的教务信息分析数据仓库的模型进行了建立和设计;然后构建了兰州教育学院教学信息分析数据仓库;最后使用SQL Server对仓库中的数据集进行分析。(2)为使数据挖掘效果更好,本文对现有的Apriori算法进行了相应的改进,改进的方向有:降低数据库的扫视频率、增加了hash技术、减少了无效事件和项目的数量。实验结果表明:改进的Apriori算法具有更高的运行效率,节省了大量的时间。(3)将数据挖掘技术应用于学校中,可以影响到学校的各个方面,首先对于学生来说,通过数据挖掘技术可以很好的对学生的成绩进行预判,防止学生成绩出现意外状况,对于老师来说,可以对老师的教育质量进行公平公正的评估,对学校的教评工作有很大的帮助,对于学校来说,可以更好的进行管理工作,另外对于学校的招生与安排规划管理都有很大的帮助。将数据挖掘技术应用到学校中对于其他的学校也可以起到很好的模范作用。

关键词： 数据仓库   移动通信   应用  

摘要： 现如今，随着我国科学技术的快速发展 , 我国企业发展也在逐渐加快 , 对于当前企业发展中的移动通信技术 , 数据仓库的建立 , 其是在当前企业发展中信息系统应用逐渐增多的情况下产生的一种必然需求，其采用数据仓库技术能够大大提高企业日常运营中的经营能力 , 从而帮助企业进行快速准确的市场和内部数据分析 , 使管理层能够更加快速准确的掌握自身的运营情况。就此，文章主要针对在当前移动通信中数据仓库技术的应用进行了分析与探讨。

关键词： 气动数据   ETL   OLAP   数据仓库   多维分析  

摘要： 在飞行器研制过程中,气动外形设计与气动数据分析产生并积累了大量的数据。这些数据是在不同的气动研制单位与试验环境下产生并保存的,具有很强的异构性。因此,就造成了气动数据不规范、管理困难、共享不便等问题。同时,气动设计所涉及的参数、变量都是多维,甚至超高维的,研究人员也很难对数据进行快速分析与理解。在传统环境下,这些积累起来的气动数据在飞行器设计中并没有得到充分的利用。在大数据的时代背景下,传统的气动数据处理方式已经不能满足飞行器的现代化设计需求。数据仓库技术是管理数据和分析数据最有效的方式,它与飞行器研制方法的有机结合,可以合理有效地利用气动历史数据辅助飞行器设计,为气动研究人员提供数据支撑以及决策依据。针对当前气动数据多维、高维、复杂、数据量大的特点,本文的主要工作包括:(1)定义了一套完整的ETL规则(论文中主要表现为气动数据预处理过程)对多源气动数据进行抽取、转换和装载,并且使用改进的E-LT方法加快了数据的转换速度;(2)详细分析了气动计算和风洞试验数据的类型和特征,定义了数据关系、数据库结构,并以Oracle数据库为载体,构建了基于ROLAP的气动数据仓库,同时将统一、规范的气动历史数据存储在仓库中;(3)论文中以Java EE开发架构为基础,整合了多个开源前后端框架,形成了一套多层次、前后端分离、具有独立UI的软件开发架构;(4)以气动数据仓库为中心,设计了系统结构、系统功能模块、接口标准等,并使用Java语言研发了一套基于上述多层架构的气动数据多维分析及可视化系统。系统提供气动数据快速在线分析处理(OLAP)以及气动数据可视化服务,能够帮助气动研究人员提高飞行器研制效率,同时能为飞行器设计人员提供更好的决策依据。

关键词： 移动互联网   APP   数据仓库  

摘要： 随着移动互联网的快速发展,APP在各个领域起到了非常重要的作用,而随着信息化社会的逐渐构成,移动互联网也发生着巨大的改变,尤其是大数据化应用不断的受到重视,移动互联网的数据信息框架也更具复杂化.就目前移动互联网整体的发展而言,APP技术的改良迫在眉睫,而如何确定改进升级的方向,很重要的核心考核要素就是要对用户进行深入的分析与调研,这需要大量的数据综合分析进行辅助,在这个过程中迫切需要移动互联网APP数据仓库的构建,本文通过全方位分析移动互联网APP数据仓库的应用,为开发人员提供专业的参考.

关键词： 大数据   数据仓库   ETL   Feed流  

摘要： 在信息智能化的时代,利用大数据并借助数据分析模型与分析算法,为用户提供个性化服务来增加用户对产品的依赖性已经成为了一种主流趋势。百度拥有庞大的用户量,通过用户行为日志分析用户兴趣爱好,为用户提供最适合的个性化服务已经成为百度服务宗旨。百度Feed流基于百亿用户数据,以人群属性、搜索意向、行为数据、兴趣爱好来了解用户行为,精确锁定用户需求。Feed流是百度2017年的重点业务,根据信息流广告在整个广告市场的增长势头,百度Feed流广告将成为新的增长点,Feed流业务给百度带来了巨大的经济效益。同时,伴随着Feed流成为百度的重点业务,为了进一步完善Feed流业务以及更好的了解用户需求,关于Feed流的各项分析业务也逐渐成型。针对Feed流用户行为日志数据管理与分析的重要需求,本文基于Hadoop平台进行Feed用户行为数据仓库的分析、设计、建模与实现,最终产出合理、规范的Feed用户行为数据仓库,该数据仓库主要提供了明细层基础数据和数据主题层数据。本论文首先分析了Feed的产品形态和建立数据仓库所需要的日志源,以及所建数据仓库的相关数据维度。其次,在数据仓库的架构层面和数据模型层面进行了详细设计,在数据仓库的架构层面设计时紧扣业务特点,按其设计适合的数据仓库整体架构和ETL实现流程。接着,完整实现了一个高效可靠的数据仓库,主要包括:Feed用户行为数据仓库建立;ETL数据分析与处理,自动产出明细层基础数据,同时也实现了主题层的构建与数据报表展现。最后,针对数据仓库的数据质量以及数据仓库的功能与性能进行测试验证实验,从多种维度对所实现的数据仓库管理的数据进行测试,以保证数据仓库提供的数据正确可用。本课题紧密结合经典数据仓库建设过程和实际业务特点,建立了统一、规范、可用的Feed用户行为数据仓库。目前该数据仓库已经通过测试正常上线使用,主要为反作弊团队提供了稳定可靠的关于Feed用户行为的基础数据,通过我们提供的数据,反作弊团队利用数据分析等技术过滤掉用户日志数据中的作弊记录,因此在广告流量计算等业务方面,才能够统计出真实的用户行为日志量。该数据仓库给公司带来了巨大的贡献,体现了该数据仓库的重要实用价值。

关键词： 联机分析处理   数据仓库   数据可视化   商业智能   经营分析  

摘要： 伴随着企业信息化的不断提升,中小型ERP系统的使用在企业中变得越来越普遍,信息的总量也在以惊人的速率增长。企业通过业务系统所积累的数据是十分宝贵的,但是企业如何从海量的历史数据中找到对于自身企业发展有用的知识来指导自身的经营业务,成为现行企业发展中的一个重要课题。本文以中小企业中比较关注的经营分析为例,重点研究了基于数据仓库的OLAP技术与数据图形可视化技术的结合,将两者的优势融为一体。依托企业日常ERP系统中的业务数据为基础,借助优秀的ETL抽取工具,对企业的原始数据进行整合分析,进而解决两者各自在企业应用中存在的问题,实现了提升企业日常业务分析效率的目的。本文首先对企业经营分析的需求进行了详细的了解与分析,提出了构建OLAP多维数据挖掘模型的思路,并给出了建立该模型的方案;然后研究了OLAP的分析结构、内容与方法,提出建立符合要求的数据仓库系统和ETL数据整理过程;接着在此基础上设计并实施了基于BIEE(Business Intelligence Enterprise Edition)的OLAP多维分析系统,使得企业经营的过程实现了图形可视化的展示;在整个系统原型完成后,针对系统中重要的部分提出了有目的的优化意见,并设计了相关切实可行的实现方案;最后,在系统运行过程中对影响系统的几个环节进行了充分的测试,以保证系统正常使用的完善性、准确性和正确性。该系统结构的特点是具有多个业务主题并融合了数据仓库、多维OLAP分析以及数据挖掘技术和数据可视化技术;构建了OLAP的多维数据模型,并通过开发工具弥补了BIEE中图形呆板、简易与难看的缺点。通过在企业中的实际应用,充分体现了该系统的强大功能,能够较好的为企业运行提供有力支持,满足用户在经营分析当中的实际需求。

关键词： 数据仓库   元数据   ETL   医院随诊  

摘要： 随着数据库技术和信息处理技术的不断发展,医院信息系统不仅大幅提升医疗效率,而且沉淀积累了大量具有研究价值的医疗数据。但由于医院信息系统发展过程中阶段式建设的特点和建设标准不一致的问题,给医疗数据的处理和使用带来了巨大的挑战。因此,通过建立医疗领域专有数据仓库及ETL(Extract-Transform-Load)工具,完成多源异构数据的聚合非常重要,从而为医疗机构提供数据分析决策支持,促进医院信息系统的数据化发展。ETL是数据抽取、清洗、转换、加载过程的统称,传统ETL工具都是面向通用领域的,对于医院医疗数据这种多数据源的异构数据很难进行高效的逻辑处理。本文深入分析了医院多个异构信息系统的数据特点,以及数据清洗、转换和加载过程中数据间复杂的业务关系,从而引出了随诊数据仓库ETL过程中需要解决的同源异构数据的聚合问题。并针对数据特点,深入研究了通过元数据来指导ETL全过程的解决方案,提出了基于本体的元数据管理模型,通过分层的思想,梳理数据间的复杂关系,从而解决多源异构数据的聚合问题,高效、准确地完成随诊数据仓库ETL过程。同时在数据转化过程中,对出院小结这种半结构化数据进行命名实体识别,高效、智能地提取关键医疗数据,增加患者数据维度,构建覆盖患者全程大病历的完整数据。本论文进行了面向医院随诊服务的数据仓库的需求分析,完成了随诊数据仓库模型和元数据管理模型的设计与实现,最终实现了基于元数据的数据仓库ETL工具。同时通过在医院随访中心的实践应用,验证了该解决方案在随诊数据仓库ETL过程中的可用性和高效性。

关键词： 大数据   财务管理   数据仓库  

摘要： 由于大数据时代的来临,企业决策层领导者都开始对目前的财务管理进行创新变革,本文主要阐述大数据的基本含义与如何开辟大数据时代企业财务管理创新路径,为了使企业能够顺利的进行财务管理创新变革,笔者提出了在大数据时代创新企业财务管理的基本思路.

关键词： 中国建设银行   信用卡   数据仓库   设计   实现  

摘要： 中国的信用卡业务处于良性运行状态,有赖于快速的消费转型.建设银行的信用卡以及数据挖掘技术都是重要的研究理论,还要重点分析数据仓库.通过对客户特征变量的进一步了解,对于不同的客户进行分析,将数据挖掘技术充分利用起来,对客户信用情况以及影响因素进行分析.本论文针对中国建设银行信用卡数据仓库的设计与实现展开研究.

关键词： 多维数据分析   OLAP   数据仓库   Hadoop  

摘要： 随着大数据时代的到来,新闻客户端每天会产生大量的用户行为数据和业务数据,如何实现对数据的高效处理并洞察数据背后的意义,成为企业关注的问题。传统的OLAP系统由于数据量的暴增产生了巨大压力,存在数据高速读写性能不足和查询效率低下等问题。为解决上述问题,本文在Hadoop平台上设计并实现了一个面向新闻传媒大数据的多维数据分析系统。本文深入分析国内外OLAP发展现状并找出存在的主要问题,对现有的多维分析系统进行了充分的调研,在此基础上,设计并实现了多维数据分析系统。多维数据分析系统架构在Hadoop平台上,前端采用Bootstrap框架,后台利用Hive和NoSQL构建多维数据。根据Hive中列式存储格式Parquet的特点设计了星型模型,该模型通过事实表关联不同的维度表存储于Hive数据仓库,提高了多维数据模型的可扩展性;同时,根据Hive中数据量级的不同分别存储在Impala和Kylin,从而提高查询效率。利用Hive提供的基于MapReduce计算框架的HQL提高数据抽取、转换和加载的效率。然后本文完成了对整个系统包括数据管理、多维数据分析和数据展示等模块的设计和实现。在论文的最后,进行了工作的总结和展望。本文主要研究目的是对新闻客户端用户数据进行多维度的分析,分析结果不仅促使业务人员及时了解用户状况,而且为产品的长期发展和决策提供了精准全面的数据支持;同时该系统为没有SQL基础的用户提供了极大便利,通过简单的拖拽式操作就可以呈现多维透视分析。