课程文献中心 更多>>

关键词： Open hydrology   Reproducibility   Modeling frameworks   JupyterHub   Containers   HYDROLOGY   SOFTWARE   EXAMPLE  

摘要： Cyberinfrastructure needs to be advanced to enable open and reproducible environmental modeling research. Recent efforts toward this goal have focused on advancing online repositories for data and model sharing, online computational environments along with containerization technology and notebooks for capturing reproducible computational studies, and Application Programming Interfaces (APIs) for simulation models to foster intuitive programmatic control. The objective of this research is to show how these efforts can be integrated to support reproducible environmental modeling. We present first the high-level concept and general approach for integrating these three components. We then present one possible implementation that integrates HydroShare (an online repository), CUAHSI JupyterHub and CyberGIS-Jupyter for Water (computational environments), and pySUMMA (a model API) to support open and reproducible hydrologic modeling. We apply the example implementation for a hydrologic modeling use case to demonstrate how the approach can advance reproducible environmental modeling through the seamless integration of cyberinfrastructure services.

关键词： 金融监管数据   数据集成   数据仓库   报表系统  

摘要： 目前国内外的报表产品市场方兴未艾,各种报表工具随着企业业务拓展和电子商务的兴起也将拥有更广阔的发展前景,但是随着金融市场的不断开放,除了各类民营银行和外资银行竞相成立之外,以蚂蚁金服等为首的互联网金融也在大力发展,这些金融机构每天都会产生庞大的数据,使得传统的商业报表软件已经无法满足中国人民银行等金融监管机构在面向金融监管数据时的分析需求。长期以来,中国人民银行某市中心支行作为对金融业实施监督管理的宏观调控部门积累了大量金融监管数据。然而,该中心支行现有的报表业务体系建设主要存在两方面问题:一是数据上报、采集、加工依赖于工作人员手工录入、人工筛选等方式,数据时效性差,且无法保证数据质量。二是该中心支行的金融监管部门存在报表制作周期长,监管指标反映不全面的问题。针对以上问题,结合该中心支行对金融监管数据的分析需求,本文旨在运用数据仓库和数据可视化技术建立一个企业级的统一数据整合和报表平台,采用先进的数据架构,建立科学的金融数据模型。为了设计并实现该报表系统,本文主要做了三个方面的工作:一是系统需求分析和总体设计。根据中国人民银行某市中心支行当下所面临的问题和金融监管业务需要确认了面向金融监管数据的报表系统所包括的数据集成需求、数据仓库需求、报表可视化需求、主题分析需求和权限管理需求。在系统需求分析的基础上,对报表系统各功能模块进行了总体设计,并结合用例图、功能结构图等方式对设计过程进行进行了说明。有效的打通各个业务系统之间的数据隔阂,形成了统一的数据共享中心。二是系统各功能模块的具体实现。项目采用B/S架构,通过Kettle作为ETL工具对多源异构数据进行集成;在数据仓库分层设计和数据质量管理的基础上采用维度建模技术实现了数据仓库的星型模型;基于Vue和Echarts实现报表模块前端图表的渲染;并在此基础上实现了调查统计主题分析和货币金银主题分析的可视化展现,有效提升了金融监管数据分析的全面性。三是系统测试。为了验证该报表系统是否能满足该中心支行的实际需求,对系统进行了功能性测试和非功能性测试,其中非功能性测试则是通过技术手段模拟系统可能遇到的性能瓶颈,验证各项指标是否达到用户需求。目前该系统已成功上线运行,有效的为该中心支行节省了人力成本,提高了报表上报和决策效率,对于金融监管数据分析方面的报表系统建设具有参考意义。

关键词： 数据仓库   大数据   Hive   Hadoop   ETL  

摘要： 随着大数据时代的到来,电子商务互联网公司每日会产生高达PB乃至EB的海量数据。因此,运用海量数据指导企业运营和加速产品升级、争夺市场份额,也成为了未来电子商务企业的共识。而传统数据仓库只能对关系型数据库中的GB级别的结构化数据进行简单处理,无法处理PB乃至EB级别的半结构化数据与非结构化数据。为了解决传统数据仓库面对大数据时出现的问题,本文结合当前主流的大数据技术开发了电商大数据分析系统。通过电商大数据分析系统对电商企业海量、真实的历史数据进行分析并生成可视化结果,帮助企业运营,提高产品的竞争力。论文主要工作如下:使用当前主流的大数据技术搭建大数据基础平台,设计实现了基于Hive的四层数据仓库,对颗粒度不同的数据进行分层处理;设计了一套基于FlumeKafka-Flume、Sqoop的数据ETL方案,保证海量异构数据采集时的数据一致性;利用Azkaban实现复杂工作流任务全自动调度,解决传统数据仓库人工调度任务、人工编写报表造成低效率、易出错等问题;最后基于Map File设计并实现了HDFS小文件存储方案,提高系统存储性能与处理效率。论文的创新之处如下:(1)设计并开发了基于Flume-Kafka-Flume的ETL方案,实现了海量、异构、多源数据24小时的实时采集与传输,并保证了在传输过程中数据的安全性、完整性。(2)基于Map File实现了HDFS的小文件优化方案,提高大数据分析系统的存储能力与运行效率,并通过添加文件大小检测器简化HDFS小文件的管理。

关键词： 电商物流   数据仓库   ETL   Hadoop  

摘要： 随着互联网的普及和技术的快速发展,“网购”已经成为了人们的生活常态,电子商务行业得到了蓬勃发展,同时也带动物流的崛起;物流作为第三利润源,对电子商务的发展有着很重要的影响。当前的时代是一个信息化的时代,也是一个大数据的时代,数据在今天拥有着很重要的作用,企业的决策者再也不能像以前那样靠着经验来对公司的经营状况做出决策;对企业数据的充分把握,对于公司的经营决策有着举足轻重的影响。在商业战争日益激烈的今天,众多企业都在往着信息化道路迈进,为了在同类型企业中谋求更好的发展,不断提升自身的信息化能力和水平。本文首先分析在电子商务物流中可能需要面临的问题和所要解决的问题,了解熟悉电子商务物流在企业中的需求。为了解决电子商务物流海量数据的不断增加,各个业务系统的数据存在数据孤岛化的现象等问题,本文构建基于电子商务物流的数据仓库来解决以上的问题。对数据仓库的整体体系和架构进行设计。整体数据仓库都是在Hadoop集群环境上进行设计构建,利用数据仓库工具Hive对数据进行处理,Hive会根据开发人员所写的Hive sql程序转化为MapReduce程序或者Spark程序,极大的方便了开发人员对海量数据的处理分析工作。在ETL的数据抽取方面,使用Sqoop工具和Flume工具对业务数据和日志数据进行抽取,Flume和Sqoop的相关程序改进随着业务逻辑的改变而改变:在ETL的其他方面,我们会用scala语言和java语言对数据进行简单的处理和筛选,加载到HDFS上。为了方便数据管理,对数据仓库进行分层和主题域划分;并对数据仓库的概念模型、逻辑模型、物理模型进行设计,确定用维度建模中的星型模型来作为维度模型。最后将基于电子商务物流的数据仓库的应用和实现进行展示说明。构建基于电子商务物流的数据仓库,除了能让电子商务企业对物流信息有及时的把握,让决策者根据数据信息,及时作出物流的战略调整;还能提高用户的满意度和体验感;降本增效,增强企业的核心竞争力。图[40]表[9]参[64]

关键词： 数据仓库   机器学习   复杂网络   关联规则   分布式Charm  

摘要： 中医药学凝聚着深邃的哲学智慧和中华民族几千年的健康养生理念,在长期的临床诊疗实践中积累了丰富且宝贵的资源,这些资源种类繁多、数据量巨大并广泛分布于整个中医药领域,如何充分整合、利用及管理这些数据资源是中医药面临的难题。中药处方是中医药学理、法、方、药的重要组成部分,是在辨证论治的基础上选药配伍形成,基于大规模临床数据,发现治疗疾病的有效核心处方和潜在药物配伍可有效辅助临床决策支持。但当前仍然较多的采用传统方法对中医药数据进行存储和计算,这种方式扩展性不高且容易达到瓶颈。针对该问题,本文将有效结合大数据技术、机器学习及复杂网络等算法,对海量临床数据进行分布式挖掘,本文主要包括以下内容:(1)基于CDH(Cloudera’s Distribution Including Apache Hadoop)大数据平台,完成了对中医药大数据资源数据仓库的构建。首先,提出了一种自上而下和自下而上相结合的体系结构,使数据仓库的逻辑结构更加的清晰。同时,将多源数据采集到HDFS,分析其数据特点和相互之间的联系,设计了主题域模型和多维数据模型。然后,采用Spark、Hive QL等技术开发了ETL任务并通过Dolphin Scheduler配置了ETL工作流,完成了多源数据到数据仓库的映射,当前数据仓库包含的记录条数近3.4亿条,数据量约351GB。最后,采用Kylin针对方药主题构建了数据立方体,进行了多维OLAP分析示范研究。该数据仓库具有多源数据整合及数据处理等功能,具备Web多维分析和数据挖掘功能。(2)基于中医药大数据资源数据仓库,完成了对中医临床有效处方的分布式挖掘工作。首先,从数据仓库中抽取出慢阻肺病患者的临床诊疗数据形成数据集市。然后,根绝患者的治疗情况分为有效组和无效组,采用倾向性评分匹配方法消除两组间的混杂偏倚,针对有效组人群,提取其处方信息构建药物配伍网络并通过多尺度骨干网络算法提取核心药物子网,通过药物富集分析方法进行有效处方(P<0.05)发现,发现了165个有效处方,其有效比达到了80.88%,可作为治疗慢阻肺病的核心处方。最后,通过条件互信息法挖掘出有效药症知识。(3)开展了中药方剂配伍规律的分布式挖掘研究。为高效挖掘中药方剂中的关联规则,本文提出了一种分布式Charm算法,该算法基于Spark框架下,有效解决了传统方法挖掘效率低及内存溢出的问题。针对关联规则数量较多的问题,本文提出了一种分布式压缩算法,得到了更少的且更具代表性的关联规则,实验表明,得到的关联规则在临床上具有非常好的指导意义。

关键词： 疫情前中期监测   实时计算   Hive   数据仓库  

摘要： 在新冠疫情持续肆虐全球的背景下,我国取得了震撼世界的抗疫成绩,进入了以防范为主的后疫情时代。国家逐步建立起了一套预防监控体系,其中全自动红外测温设备把控第一道关卡,但是目前体温检测基本以本地机器为终端,数据孤立严重。因此本文建立了一个以区域为整体的大数据管理系统,通过实时和批量采集各测温设备的监测数据,该系统能通过数据的处理、分析,管理人员能在疫情爆发的前中期及时的察觉异常,从而达到控制疫情爆发的效果。基于体温的疫情监测管理系统的设计和实现,严格按照实际应用中的开发模式,首先从现有疫情防控情况和面对疫情爆发暴露出的问题入手,进行了详细的需求调查,确定了为解决疫情数据孤岛和为疫情爆发前中期提供分析和辅助判断的主要开发目的,按照需求设计了系统的功能、技术、体系架构,将系统分为担负异常数据预警和远程跟踪处理的实时监测预警模块、担负全量体温数据分析的离线分析模块,以及监测系统管理模块,对需求中各功能子模块进行了详细设计。系统服务端使用的是Spring Boot开发框架,大数据端采用的是以Spark Streaming+Hive的流批分离式处理,实时流保证异常体温数据高粒度的及时统计及预警机制,批处理完成全量体温数据的分析处理。对异常体温数据,通过Flume和Kafka完成对体温检测日志的采集以及传输工作,重点在于对各设备类型测温日志进行标准化和ETL预处理,对Kafka和Flume进行了一定的优化,提高了数据传输的效率和服务的高可用性。针对全量体温数据,设计开发了Hive数据仓库,通过维度建模和分层设计解决了历史体温数据的存储问题,重点在于通过Kettle完成数据仓库的数据抽取、清洗和整合操作,提高了疫情统计分析的效率。最后由系统平台进行权限控制和数据展示工作,并开发了数据查询子功能,监测人员通过选项框即可完成Hive查询工作。体温监测系统采用大数据处理分析的方法,可以实现疫情实时监测上报,异常体温远程监控处理,体温数据实时与离线分析的功能,达到将原本各单位独立的红外测温设备统一管理,为疫情传播的前中期提供有效的分析手段的目的。此系统能为现有的体温检测预防体系提供一定的参考意义。

关键词： 电商   数据仓库   数据质量管理   CMMI   PDCA  

摘要： 数据仓库不仅能很好的治理海量数据,还能通过数据挖掘提取数据价值,提升企业的竞争力,为企业寻找新的增长点。然而,在近十年的互联网大潮中,国内企业才逐步开始信息化的建设,并在信息化建设之初只侧重于整合或升级业务系统,而忽视了对数据的管理。随着信息时代的到来企业越来越意识到数据质量对企业的发展的重要程度。因此,数据仓库的质量管理越来越受到企业重视,如何做好数据仓库的质量管理已成为企业重点探索的方向。本论文起初整理了 CMMI、质量管理、电商、PDCA、数据仓库等相关参考文献。之后对D公司电商数据仓库的现状和存在的问题进行了剖析,总结出从预防、监测、降级、恢复、复盘这五个角度寻找问题的解决思路。根据面临的问题从CMMI选定对应的过程域,采用CMMI的连续式表示法以PDCA循环作为过程优化的驱动力,以数据质量的量化指标不断提升作为衡量标准,提出了数据仓库质量管理模型。最后将该模型运用到了公司的数据仓库质量管理实践中去,设计质量管理方案并加以实施,最终取得了很好的实施效果,显著改善了数据仓库的质量问题。

关键词： 统计工作   数据分析   指标体系   信息技术   数据仓库  

摘要： 随着企业信息技术的不断发展,企业统计工作正在从数据收集、展示、图表分析向数据分析、数据预警预测转变.数字化转型已成趋势,而企业数字化转型的第一步即为海量数据采集分析支持业务自动化处理.伴随着计算机技术、互联网技术、大数据、数据科学、云技术、机器学习、人工智能等数据分析技术的进步,数据分析、数据监测预警得到发展.

关键词： 用户运营   数据仓库   动态规则  

摘要： 随着互联网的普及,将传统教育与互联网融合的在线教育领域也随之蓬勃发展。2019年新冠疫情爆发导致大面积的学校停课,使得大量用户涌入在线教育领域。为了应对用户量的急速膨胀,公司大量增加了直播课的数量、种类以及产品功能。然而随着业务规模的快速增长,逐渐凸显出了大量的业务管理问题,包括营销分析断层、产品迭代效果无法量化、问题难以定位追踪等。为了帮助公司摆脱当前严重依赖人力的粗放运营状况,需要一个强大的数据运营工具系统来支持系统使用人员进行精确的用户运营、数据驱动制定合理决策以及通过监管业务数据把控业务进度。根据以上现实需求,本文设计并实现了一个面向在线教育领域的数据运营工具系统,主要包括数据中心子系统、个性化推送子系统、公众号运营子系统以及角色管理子系统。数据中心子系统涉及数据仓库的设计以及实现,通过数据仓库对原始数据进行处理,生成满足不同业务需求的报表数据,从而为本系统以及公司的进一步发展提供数据支撑。除此之外,数据中心子系统还负责展示在不同业务主题中不同维度下报表数据的各项指标,并提供自定义漏斗分析模型的功能,从而帮助系统使用人员灵活全面的进行数据分析工作。个性化推送子系统支持系统使用人员自定义推送规则并选择受众用户进行外部推送,从而帮助系统使用人员对受众用户灵活准确的推送个性化消息。公众号运营子系统负责支持系统使用人员进行公众号的配置并对公众号粉丝进行管理,从而帮助系统使用人员高效简洁的管理公众号。角色管理子系统采用RBAC（Role-Based Access Control）模型支持系统管理员以基于角色的形式管理系统使用人员的权限,从而保证系统安全性。在本系统的开发工作中本人主要负责数据仓库、数据中心、个性化推送、公众号运营以及角色管理部分的设计开发。本系统基于Spring Boot框架,主要使用Flume、Sqoop以及Canal进行数据采集,使用Flink、Spark、Impala、Drools、Free Marker进行数据处理,选用My SQL、HBase、Click House、Redis等数据库进行数据存储,从而完成系统整体搭建。本项目实现的面向在线教育领域的数据运营工具系统现已在公司投入使用,为系统以及公司的进一步发展提供了强劲有力的数据支持,极大地提升了运营等系统使用人员的工作效率,并帮助系统使用人员进行更为精细准确的数据监管、用户运营、用户营销、决策制定等工作。