课程文献中心 更多>>

关键词： 港口信息化建设   数据仓库技术   分布式运算框架   数据传输  

摘要： 随着大数据时代的到来,数据信息逐渐成为了一种举足轻重的资源。港口,作为全球运输网络的中转站,货物的流通日渐频繁,这就意味着海量数据信息的产生。这些数据信息贯穿着交易,物流,监管和支付等一系列服务流程。然而这些数据都是碎片化的,也就是所谓的信息孤岛,它们之间没有建立起相应的联系,也缺乏对数据的有效整合与运用。在这个日新月异的大数据时代,无疑是一种信息资源的浪费。因此越来越多的港口意识到数据的重要性,纷纷向智慧化,数据化港口转型。希望通过海量的数据分析,引导船舶进行更为合理有序的停靠,缓解停泊压力。也希望通过大量的数据对港口吞吐量进行预测,从而对港口装卸货物进行合理调度分配,增强港口运营效率,进一步提高我国港口在国际航运中的核心竞争力。从港口数据仓库建模,港口数据仓库架构设计,港口数据仓库应用三个方面入手,研究利用大数据平台搭建港口数据仓库,并测试港口数据传输过程。1.港口数据仓库建模:以港口的业务和数据仓库的需求为目标,搭建港口数据仓库。按照港口不同的业务部门,根据实际应用建立不同的数据主题和数据纬度表,明确数据颗粒度。2.港口数据仓库架构设计:对于此次港口数据仓库的搭建,在数据采集方面,使用Kafka,Flume和Sqoop传输框架;数据存储采用Hadoop版本下的HDFS分布式存储结构;对于数据的计算框架,选择Hive作为离线数据的计算框架;最后使用E-chart进行数据呈现。3.港口数据仓库应用:建立一个港口数据仓库的可视化KPI分析系统,利用数据采集技术,批量计算处理技术,分布式存储结构技术将这些系统中的孤岛数据进行关联分析。根据业务需求的KPI指标进行模型设计,将需要的数据进行抽取,清洗,转化,挖掘,并使用可视化技术展示,为港口的判断与决策提供科学的参考依据。

关键词： 数据集成   数据仓库   小文件存储优化   ETL数据预处理   OLAP联机分析  

摘要： 录井数据是录井解释业务的数据根基。伴随着录井数据的日积月累,传统的关系型数据库的存储分析性能已经远远不能满足客户的实际生产需要。加之从各钻探小队收集上来的原始录井解释数据具有多源异构的特点,使得每一个钻探小队的录井数据就像一个孤岛一样无法与其他小队的录井数据实现连接互动。从而导致了大量的录井解释数据无法实现共享和统一管理。因此,如何有效地存储录井数据并杜绝“数据孤岛”现象的产生便成为了一个亟需解决的生产问题。面对以上的问题,本文在钻探公司深入调研的基础之上,提出了一种基于Hadoop的录井数据集成方法,并完成了对该方法的系统实现。第一,针对传统关系数据库在存储录井数据上的瓶颈,选用Hadoop集群来完成对录井数据的分布式存储。特别在录井小文件集群存储方面对比了三种不同方法的优化效果,提出一种基于Map File的小文件存储策略。第二,在集群文件响应方面,通过引入LRU热点数据缓存算法、元数据回存机制构建出了一套复合式的集群文件存储访问模型。既解决了小文件集群存储的弊端又保证了集群热点文件的访问热度。第三,对原始的异构录井数据进行ETL数据处理,通过数据抽取、数据转换、数据清洗、数据装载的方式实现数据集成与分析的重要步骤。第四,进一步调研录井解释核心业务,以维度建模的形式设计出基于依赖性数据集市和操作型数据存储的数据仓库体系架构。依据业务主线,将业务数据由企业级数据仓库向下聚合加载至不同主题的数据集市中,为特定业务或者部门提供有效的数据支持服务。最后,利用OLAP联机分析处理对数据仓库中集成完毕的录井数据进行业务分析。在上述的研究成果之上,对基于Hadoop的录井数据集成系统进行实现。通过理论实验和现场测试的结果表明,本文所研究的方法对异构录井数据进行了有效的整合与优化。降低了录井数据的的转化和管理成本,极大的提高了录井解释业务的工作效率。实现了多源异构录井数据的共享与统一管理。

关键词： 财务报表系统   商务智能   数据仓库   机器人流程自动化(RPA)  

摘要： 现如今,管理信息系统已成为企业经营活动中不可或缺的一部分。而作为经营管理中数据分析的重要支撑,报表系统在为企业提供决策支持方面扮演着越来越重要的角色。对于当前的财务报表系统而言,其往往存在分析功能单一、大量依赖人工操作、明细账核对困难的不足。因此,如何更好地利用财务信息助力经营决策、以机器代替人工提升数据分析效率已成为企业管理的当务之急。针对以上问题,本文通过对某大型服务机构的总账财务报表现状进行了分析,结合用户现有需求,设计并实现了基于商务智能与机器人流程自动化技术的企业智能财务报表系统。在数据处理方面,本文基于企业需求调研和SAP ERP数据架构,在SQL Server数据仓库内创建了基础数据表,开发了相应视图及存储过程,最终建立了可扩展、易维护的企业参数化财务指标池。在权限管理方面,通过SQL Server中自定义函数的创建,实现了数据集和报表二者的行级别权限管控,用户通过更新数据库内的权限管理表即可更改指定用户的浏览权限,节约了运营维护时间。在报表展现方面,设计并实现了基于Power BI的交互式报表、基于SQL Server Reporting Services的静态分页报表和基于Power Pivot的明细查询报表,同时满足了企业在多维分析、纸质归档、账表核对三方面需求。在机器人流程自动化应用方面,本文一方面通过Python开发并实现了财务报表的批量订阅、自动派发及自动整合功能,另一方面通过Power Query工具和VBA语言实现了财务指标的基本校对功能。目前,智能财务报表系统已建设完成并投入使用,系统总体运行平稳、功能测试正常。相关财务管理人员管理会计团队能够自主管理财务指标池定义及权限定义内容,报表指标定义的更新反馈周期由原先的七个工作日减少为两个工作日,运行维护的人力和时间成本显著降低。报表订阅派发功能在部署生产环境后能够满足每月四千余份当期结算报表和每小时近两百份预算报表的订阅任务,在压力测试下服务器性能始终稳定、无锁表及进程拥堵情况出现。经测试,报表订阅派发功能可令实际月度结算工作节约1.5个工作日,对于预算报表的订阅派发则弥补了原系统无法按小时自动导出报表的不足,大大提升了企业财务结算及预决算的效率,提高了报表数据的及时性和可靠性。本文作为智能财务中运算智能场景的运用实例,实现了企业财务总账的数据流及指标池构建、可视化解决方案的设计及RPA功能的开发,能够解决企业在总账财务数据分析方面存在的常见问题。系统整体成本低、易维护、可扩展,模型及代码可复用于一般企业,实用价值较高。

关键词： Excel表格   抽取-转换-加载   语义树   正则表达式   数据仓库  

摘要： 针对计算机程序在对海量Excel表格中的中国城市年鉴数据进行抽取-转换-加载(ETL)时由于表格的非结构化格式导致的准确率和查全率较低的问题,提出了一种基于语义树的ETL方法。首先,通过数据与表格行名、列名的对应关系分别建立两棵语义树模型,利用两棵语义树生成包含数据项以及数据项所属行名、列名的元数据集合;然后,通过正则表达式对每个元数据所属行名、列名进行语义匹配,从该集合中删除不需要的分项或汇总项元数据;接着,通过三种基于字典的过滤策略进一步做数据清洗,将剩余的元数据导入到数据仓库中;最后,从总量30万个统计年鉴表格中随机抽取604个进行程序ETL与人工ETL对比,实验结果表明,所提出的程序ETL可达到人工ETL86.51%的准确率和95.15%的查全率,可以满足考察地方发展现状、编制和发展未来规划的需求。

关键词： 网络地图   路网   实时交通状态   网络爬虫技术   数据仓库  

摘要： 以武汉市路网为研究对象,基于高德地图API,借助网络爬虫技术,对路网中主要道路的实时交通状态数据进行连续采集,分别从时间维、空间维和时空组合维几个角度分析研究了武汉市路网交通状态的发展演化规律,研究成果可为相关工作提供参考。

关键词： 数据治理   数据标准   数据仓库   数据集市   中台建设  

摘要： 高校智慧校园建设投入逐年加大,数据治理是新时期智慧校园建设的重要基础,将为学校教学、科研、管理和服务提供更加高效、精准的数据支撑.地方高校因重视和投入不足,数据治理工作滞后,导致数据质量差,标准不一,数据无法共享.针对智慧校园的应用需求,必须尽早开展数据治理工作,建立数据标准、数据资源体系和多样化的数据服务,从而为全校师生提供优质而精准的信息化服务.

关键词： 数据仓库   大数据   融合架构  

摘要： 数据仓库经过多年发展,架构从一体机逐渐转变为分布式,存储数据类型由结构化向半结构化、非结构化发展,整个架构呈现高可用、可拓展等特点,数据处理能力显著增强。贵阳银行立足行内数据现状及特点,充分发挥不同数据处理平台的优势,结合业内最佳实践,以“Hadoop+MPP”融合运用搭建数据仓库架构,助力银行高质量发展。本文将对此进行介绍,以供同业参考。

关键词： 大数据   数据仓库   Kudu   Spark   维度建模  

摘要： 随着大数据计算技术和存储技术的发展,数据仓库的实时性要求也越来越高,原有的离线数据仓库建模技术和理论已不能适应某些业务的需求。基于此,提出了利用Apache的开源组件Spark和Kudu作为技术手段,并按照业务实时性要求,有针对性的调整了离线大数据仓库维度建模方法,建设了运营商施工人员准实时数据仓库,并顺利上线运营。运营结果表明,Spark和Kudu结合之后能最大限度满足此类业务的建设需求。

关键词： 计划管理   数据仓库   联机分析处理   决策支持系统  

摘要： 针对船厂的计划管理现状和业务需求分析,对船厂计划管理决策支持系统进行架构设计,构建船厂计划管理数据仓库,分析归纳月度计划考核、月度计划跟踪、工程健康和总体进度主题,搭建数据仓库逻辑模型,利用联机分析处理(on-line analytical processing,OLAP)技术创建多维数据立方体,从不同维度对船厂计划管理数据进行查询,为管理者提供决策支持.

关键词： 数据仓库   Hive   数据处理   数据分析   数据可视化  

摘要： 论文首先介绍了数据仓库的基本概念,作为基于Hadoop的数据仓库工具,Hive将结构化的数据文件映射为一张数据表,通过类SQL查询功能的HiveQL语言可以对数据表进行查询操作,本质是将HiveQL语句转换为MapReduce任务进行并行计算,而不用在进行编程实现查询功能。其次,对Hive数据仓库与结构化数据库系统的不同进行了对比以及转换为MapRedue的过程。最后,进行实践操作,表明数据仓库工具Hive操作优越性并将数据导出进行可视化呈现。