课程文献中心 更多>>

关键词： 数据仓库   数据分析   数据挖掘  

摘要： 数据仓库是联机数据分析及数据挖掘的基础,是一个热门研究领域.本文主要绍了数据仓库的产生、定义和主要特点.并在本文结尾部分简单阐述了数据仓库的发展趋势.

关键词： 深度挖掘   医疗大数据   综合应用平台   数据仓库  

摘要： 为深度挖掘现有医院信息系统数据资源,提升医疗数据的利用率,为医院管理层的科学决策提供数据支撑。本院以医院各项业务系统平台为基础,构建主题数据仓库,最终搭建出包含分析、预测、监测、诊疗、健康管理的医疗大数据综合应用平台。通过该平台,有效解决了原始数据难以抽取、整合、清洗、处理的问题,有效整合数据资源,加快了各项数据的读取速度。通过对医疗数据的多种方式利用,提升了数据的利用率。

关键词： 数据仓库   标准成本管理   制造企业   案例分析  

摘要： I随着信息技术的发展和大数据时代的到来,信息化建设已经成为管理会计应用中的重要环节。制造企业已建立起标准成本管理流程,但随着各类业务管理信息系统的上线,企业内部存储的海量数据能否为成本管理提供有效信息就成为影响企业成本管控效果的关键因素。因此,利用信息技术手段提升企业的成本管理现状,确保标准成本管理过程中项目预算、成本考核标准的合理性并使其具有参考价值,对企业的长期发展与战略规划具有重要意义。通过文献研究发现,标准成本管理正借助信息技术的发展而逐渐向精细化模式转变,而数据仓库技术所实现的复杂查询处理功能则为成本管理提供有效的决策支持。从理论与实践的研究得出,将标准成本管理体系与数据仓库技术进行结合,有助于促进标准成本管理的发展。基于以上研究,本文选择Z企业为案例研究对象,以标准成本管理、数据仓库技术为基础,采用案例分析法、文献研究法、数据仓库建模、对比分析法对其成本管理体系进行研究。本文根据标准成本管理的实施流程,对Z企业的相关业务环节进行梳理,通过具体的成本数据发现Z企业对于业务数据的利用效率较低,项目预算不具备指导性,成本考核难以实现合理评价与有效监管的目的。通过分析得出,这些问题的成因在于企业的各信息系统孤立运行,未能将业财数据放入统一的平台进行汇总分析,导致不能依据历史数据进行计划成本的更新,从而缺乏对项目预算中关键指标的调整,不能实现成本费用的精细化核算。针对以上问题及成因,本文根据企业的实际情况构建了面向标准成本管理的数据仓库平台,以标准成本管理的应用流程为指引进行功能模块的需求分析,围绕生产成本控制事实表设计出数据仓库的逻辑模型,选取C6电池后壳项目全部工序所涉及的业务系统源数据库进行必要的数据部署。研究得出,数据仓库平台从以下三个方面改善了Z企业标准成本管理的实施效果:(1)依据工序维度中的历史数据预测出耗损率趋势,据以提升案例项目预算的科学性;(2)项目预算具备现实指导意义,C6金色案例项目的月计划成本单价差异率由16.83%降低到3.83%,通过质量管理预计该项目当月可进行46万的成本差异控制;(3)利用BOM维度中工艺流程划分以及物料明细信息,将成本核算的粒度细化到车间中的工序类别及产品的版本型号,并以此提升成本考核标准及指标设置的合理性。由此可见,数据仓库技术的应用会提升企业信息系统中存储数据的利用效率,可确保项目预算具备现实参考性,并满足成本的精细化管理需求。

关键词： 地表覆盖利用地图   LCCS   深度学习   数据仓库   卷积神经网络  

摘要： 随着大数据技术发展,很多平台能够存储并对外提供海量地表图片,Flickr就是其中之一。全球地表覆盖利用地图一直是很多研究内容的基础平台,然而地表每天都在发生变化,这就导致地表覆盖利用地图时效性不高。目前获取地表覆盖利用地图常用的方法有通过遥感影像分析提取,一方面提取内容的准确率跟遥感影像分辨率以及分析技术有关,另一方面获取全球的遥感影像分析并提取地表覆盖利用地图也是一件浩大的工作。因此在如何获取精准、低成本、时效性高的地表覆盖利用地图是当前研究的热点与难点。随着人工智能浪潮的推进,深度学习在计算机视觉领域的应用已经有很多成功的案例。将深度学习应用在地理与环境的研究是一件比较有创新性的工作。大数据为深度学习提供了海量地表图片数据,但是图片的筛选获取与标注也是工作难点。目前也存在相关的地表覆盖图片数据集,但是并没有按照某一分类体系划分类别,创建按照地表覆盖分类体系划分的图片数据集也是非常具有难度和创新性。数据决定模型的上限,因此目前存在的地表覆盖分类模型准确率也有待提高。研究如何提高模型的准确率也是一个重要的研究方向。因此,本文基于现有的网络技术获取海量数据集,按照LCCS分类体系创建图片数据仓库,并在数据仓库的基础上研究深度学习在地表覆盖分类上的应用。本文首先概述了地表覆盖利用地图在各个领域的重要性,以及目前提取地表覆盖利用地图所遇到的问题。陈述目前存在的地表覆盖分类系统,深度学习的发展历程以及深度学习在自动识别地表覆盖类型研究现状,分析了目前深度学习在识别地表覆盖类型领域的应用还存在一些不足。其次,在研究地表覆盖数据集建设的基础上,对现有数据集的不足,提出按照LCCS分类系统对数据集进行标注划分;并建设一个能够自主的根据地理空间范围、关键字等条件,索引出相应图片数据集的数据仓库。此项工作能够为识别地表覆盖类型领域提供强大的数据基础。最后在建设的数据仓库基础上,选择欧洲地区为研究区,研究欧洲地区的地表覆盖分类模型训练,并对标注数据做了准确性验证。通过调节Dropout、初始学习率,利用Adam、RMSProp自适应学习率算法等方法选择网络识别性能最优的模型算法。实验结果表明,网络模型的初始学习率设置为0.005,Dropout设置为0.5,优化算法选用Adam算法会有更好的表现。其中准确率Top1 59%,Top383%。该模型能够达到好的识别效果,为地表覆盖类型识别应用提供了技术支持,为全球地表覆盖利用地图的提取提供了新的方法。并且本文建设的基于LCCS分类系统全球地表覆盖图片数据仓库为更多的研究内容提供了数据支持。

关键词： LED植物照明   光谱与光强   窄叶石楠生物节律   植物人工光照关系模型   数据仓库与数据挖掘  

摘要： 近些年来中国各城市广泛开展城市夜景照明建设,对园林植物进行夜景照明是城市为塑造夜间景观普遍采用的一种方式。园林植物夜景使用人工光照,人工光的光谱能量分布、光照强度及对植物光照的时间等都与日光不同。对于植物,光环境发生改变,直接体现在植物的光合速率上,长期积累后,植物生长形态等方面将会发生变化。人为的增加植物光照,无疑将破坏植物生物节律。研究人工光照对植物生物节律的影响,将夜景照明对植物生物节律的破坏降到最低,是园林照明中亟待解决的问题。本研究对我国部分地区园林植物照明进行了较长时间的跟踪观测,掌握了人工光照影响植物生物节律的基本表象特征。观测内容包括:植物类型、植物长势、照明常用人工光源的光照强度、光源光谱能量分布及光照时间等。通过仪器测量、取样等,掌握了园林植物人工光照的基本情况,为实验研究奠定了基础。对人工光照与植物生物节律的实验及理论进行综合研究,选取窄叶石楠作为研究对象,根据光合-光响应直角双曲线修正公式,推导出人工光照下窄叶石楠光合光响应曲线修正值系数;根据光的波粒二象性原理进行换算,得出植物光合有效辐射值与光照度值、光量子与光照度值之间的函数关系;确定了窄叶石楠生物节律实验田实验的人工光照强度范围。植物叶片是植物接受光照的主要对象。本实验选取16株均高1.5m左右的同龄窄叶石楠植物为样本。窄叶石楠(Photinia stenophylla Hand.-Mazz.)为石楠属常见品种,是园林景观中的常见植物,其叶片具有彩叶特点,但又不同于红叶石楠叶片的颜色易变性,能保证实验过程中叶片生化指标的稳定性。实验选用5种不同光色的LED光源和3个不同照度强度,进行光照窄叶石楠实验。实验中,监测窄叶石楠叶片的叶绿素含量、叶片形态变化规律及叶芽数量等,且利用Li-6400光合仪测量样本植物受人工光照前后的光合指标,对实验数据进行非线性回归分析,建立人工光照下窄叶石楠净光合速率与光照强度的关系模型;利用直角双曲线修正公式结合实测数据,得出光谱能量分布对窄叶石楠生物节律的影响程度。通过分析研究,发现了人工光照与窄叶石楠植物生物节律各参数的影响关系。根据以上研究,利用计算机数据仓库及数据挖掘理论技术,对LED光源光谱能量分布、光照强度、窄叶石楠光合-光响应曲线,净光合速率,气孔导度,蒸腾速率,植物叶片色彩,植物叶片面积、周长、叶长、叶宽、形态指数,叶芽数量等数据进行统一分析处理,确定了增加人工光照后窄叶石楠各生理指标之间关系。本研究成果对园林植物照明具有重要的理论与实践意义,为我国园林植物照明提供了基础参考数据和科学的研究方法;为园林植物照明光源的选择和植物分类照明设计评价提供了依据,也为我国制定园林植物照明标准规范提供了科学的基础技术参数。本文的主要创新点:1)首次根据植物生物节律进行园林植物照明研究,利用环境光学理论与生物实验相结合的方法,得出基于窄叶石楠生物节律的园林植物照明参数。2)研究人工光照影响窄叶石楠叶片形态指标的变化,通过分析找到人工光照对窄叶石楠叶片形态影响的规律。3)研究不同光谱能量、光照强度下窄叶石楠光合光响应曲线的变化规律,建立了不同光谱光照下窄叶石楠的光响应曲线模型。4)采用数据仓库及数据挖掘的计算机方法分析人工光照影响窄叶石楠实验数据,得出各实验数据间相互影响的内在关系及各项生长指标间的联系,为多种园林植物照明实验及应用提供了数据存储与提取基础条件,具有很强的实用性。

关键词： 校园一卡通   数据挖掘   数据仓库   学生画像   精准扶贫   数据可视化  

摘要： 党的十八大以来,脱贫攻坚成为举国上下最受瞩目的重大工程之一。如何实现高校贫困生的精准扶贫,给高校资助工作提出很大挑战,而高校贫困生的精准认定更成为精准扶贫工作的前提和重中之重[1]。为了解决高校贫困生资助工作中的一些难点和问题。通过基于一卡通流水数据的数据挖掘应用研究,尝试为高校贫困生的精准扶贫工作提供科学的、可视的决策辅助支持。本文做了如下工作:(1)结合高校贫困生资助工作的实际流程和文献研读,剖析了高校贫困生精准扶贫工作存在的难题以及将数据挖掘技术引入到高校贫困生的评价和认定工作的可行性。(2)对校园一卡通的备份库的数据按照研究的主题进行数据抽取、清理、转换和归约,在Power BI Desktop上建立数据模型并进行标签建模,用于后续的可视化分析。(3)使用SPSS Modeler软件完成了基于一卡通消费特征数据的聚类分析、传统高校贫困生认定效率优化以及对消费特征数据的聚类结果进行决策树分类规则学习。使用Power BI Desktop实现了学生画像和学生状态监测的可视化。通过本文研究的基于一卡通流水数据的数据挖掘应用,可以为解决高校贫困生的精准扶贫工作中的精准甄别提供了一种方法。通过学生画像和学生状态监测的可视化,实现高校贫困生的动态跟踪管理。为高校贫困生的精准扶贫工作提供决策支持。对于提高高校贫困生精准扶贫工作的科学性和精确性有重大实践意义。

关键词： 高铁   销售预测   神经网络   数据仓库  

摘要： 随着高速铁路的迅猛发展,越来越多的旅客选择高铁作为出行交通方式,在竞争日益激烈的市场中,高速铁路客运市场从“卖方市场”逐渐变为“买方市场”,工作重点更关注于如何高效吸引客流,提升服务质量,增涨企业收益。然而高铁上销售的冷链餐饮由于具有保质期短、补给站点有限的特殊性,导致备货不足存在供不应求、备货过量又将浪费资源的情况出现,因此,针对高铁上餐售营销的精确预测对提升经济效益具有重要的研究意义。自12306客票系统使用以来,积累了大量旅客购票数据,但这些数据并没有被充分利用于客运组织和营销,更没有对提高运营收入产生直接帮助。本文使用TensorFlow框架构建了神经网络模型,将高铁客票数据和餐售数据相关联作为数据源,基于神经网络方法,预测在已知客流量的情况下高铁上冷链餐饮的供应需求关系,预测结果可以为客运营销组织和作业提供决策指导和理论依据。本文主要工作如下:首先,分析了高铁餐售的销售现状,阐明了销售预测的研究目的和意义,并调研了预测技术和神经网络技术的发展历程及国内外研究现状,深入探讨了数据仓库和神经网络关键技术应用到本系统的特点和问题。然后,结合高铁餐售销售业务的实际情况,进一步分析了销售预测管理系统的功能需求,并优化的神经网络算法,设计了涵盖数据获取模块、预测分析模块、数据可视化模块等功能的销售预测管理系统总体结构方案。最后,在餐售管理系统作为数据源的基础上,设计并实现了基于历史数据对餐售预测的实验示例。先将客票数据和餐售销售数据进行清洗和转换处理,作为模型的训练数据集,分别输入到LSTM神经网络和MLP神经网络进行训练并验证预测结果。实验结果表明,MLP预测模型的性能更优于LSTM预测模型。本文研究结果表明,采用神经网络理论,可以对高铁餐售提供精确的预测建议,对管理者的决策工作具有较强的实际指导意义。

关键词： 证券一致行动人   风险监控系统   数据挖掘   数据仓库  

摘要： 随着科学及金融行业业务的发展，证券行业已经积累了比较丰富的数据，从海量数据中挖掘出价值数据对于整个行业来说更为重要，证监会为了提高对证券市场的监管力度及工作效率，对交易所和证券相关机构、公司提出资本市场大数据监管的概念，证券账户的一致行动人关联关系分析正是为了响应上级政策并且为证券行业后续其他方向和场景提供先例，完成一套由大数据平台和数据挖掘共同实现的风控系统。　　本文利用大数据技术、数据仓库理论，搭建一套基于大数据平台的数据底层环境，利用数据分析、及数据挖掘中的部分算法，构建系统的数据计算层，最后通过证券业务知识去验证计算结果并进行数据展现。最终达成对证券账户关于一致行动人部分的风险监控，并为其他证券机构提供思路。本文的主要内容包括:　　(1)证券一致行动人的研究背景及涉及的相关技术;(2)对证券一致行动人风险监控系统进行需求分析，论述系统的功能需求，业务需求及性能需求;对系统的整体架构进行说明，概述了基于大数据平台的数据挖掘结构。　　(3)对数据存储模块进行了设计和实现，阐述了需要进行挖掘的数据集合，以及其存储介质和存储方式;对数据处理模型进行了设计和实现，描述待挖掘数据集在作为挖掘算法的输入之前做的准备工作，包括数据脱敏，数据清洗，数据选取和数据集合。　　(4)对证券账户的一致行动特征进行定制和计算，包括静态特征和动态特征，静态特征从账户基本信息为数据源，动态特征从账户交易数据为数据源;对数据挖掘模型进行了设计，挖掘模型包含聚类算法和关联规则算法，结合一致行动账户特征，完成对一致行动账户的关联挖掘。　　(5)证券一致行动人风险监控系统的运行环境，测试及展现效果。　　本文设计和实现的证券一致行动人风险监控系统，通过测试和数据验证，能够起到对证券账户进行风险控制的效果，并且得到证监会认可，以后将把其他研究主题加入到此风控系统中。

关键词： 数据仓库   数据挖掘   数据资产管理   跨平台数据迁移  

摘要： 早期互联网的任务是电子化和去人工化。如今的互联网的特性是海量数据。随着互联网对生活各个领域的涉足,越来越多的原本不被保存的数据现在被保存下来以供挖掘和分析。近年来,喜马拉雅开展了数量和种类众多的运营活动,参与人次以千万计,用户的每一个行为都被记录下来存入数据仓库。对这些行为进行挖掘、统计与分析,能够更精准地为用户提供更好的服务,从而带来更多的口碑、流量与收益。大数据的应用是以低响应时间和/或高压缩率为追求目标的,不同的应用场景对应着不同的时间和空间需求,必然采取不同的存储技术。在业务线尚未特别丰富的前期,数据仓库的类型不是特别丰富;随着业务的发展和繁荣,数据仓库的种类和数量开始变多,以往在不同数据仓库之间来回切换的数据分析方法的切换开销增大到难以忍受。针对各式各样的存储技术带来的存储平台、存取手段不统一的问题,本文给出了在同一个平台、同一个界面浏览不同的数据仓库的解决方案。这是本文的主要工作。本文主要研究了各种各样的大数据框架及其读写技术,对使用到的HDFS,HBase,Hive,MySQL,ES,Kafka等相关技术进行了综述。在研究相关技术的基础上,本文实现了一个数据资产管理系统。系统采用分层结构,分为三层,包括展示层,业务层和数据传输层。展示层主要使用了 AntD+React框架;业务层使用了 Spring Boot+Spring Data Jpa框架,数据传输层则按照数据仓库类型的不同来安排不同的传输手段。本文设计和实现的数据资产管理系统目前已经上线运行,状态良好。随着业务的增加和升级,将来会往系统中加入跨平台数据迁移的需求。

关键词： 生鲜配送   数据仓库   OLAP技术   决策分析  

摘要： 我国的城市化步伐正在稳步向前迈进,都市居民在食品方面对生鲜产品的需求量也在不断增加。随着互联网的发展,越来越多的都市居民倾向于在网上采购生鲜产品。而受限于传统物流模式及生鲜产品的特殊性,如何保证时效及生鲜产品的品质是影响生鲜配送行业发展的关键。大多数盈利不高的生鲜销售公司往往是对顾客需求偏好的把握度不高,从而导致经营状况不佳。在缺乏科学管理的中小型公司,这种问题尤为严重。解决以上问题的关键在于了解各区域客户对产品的需求量多少和偏好性,有依据地在各地建立仓库和配送站,并优化运输配送活动,逐步提高生鲜产品配送决策的及时性和准确性。而决策的及时性和准确性需要基于对大量历史数据的整理和分析,从中抽取有益的结论,使得决策行为更为规范,以往传统的数据库显然无法做到这点。因此,我们需要改变对数据的利用方式,以数据仓库的形式对历史数据进行存储加工,并利用OLAP技术从多个角度对数据进行决策分析,构建一个面向中小型公司的生鲜配送决策平台,主要面向公司管理人员,辅助其制定决策及规划方案,使得整个流程变得更为科学精确。本文首先对公司各部门的需求进行分析,明确平台建设目标;其次依据数据仓库的设计过程完成主题选定、粒度划分、维度建模及缓慢变更维的设计;再次选用合适的ETL工具,完成数据的整合操作;最后通过联机分析处理技术,对整合的数据进行分析处理。在此基础上完成生鲜配送决策平台的构建,对数据进行多维度的分析,以数据报表和图形的方式进行数据展示,并实现图表的导出和打印功能,使决策人员及生鲜企业高层对数据有一个清晰的认知,了解当前的市场需求,最终实现辅助决策的目的。本文结尾对平台进行了功能测试,通过合适的测试用例验证了系统的可用性,保证了系统功能的完整性和可靠性。