课程文献中心 更多>>

关键词： Hadoop   Hive   数据仓库   在线分析  

摘要： 随着传统行业与互联网的快速匹配,企业面对大量堆积的业务数据和用户数据而无从下手,用户的查询需求也越来越复杂且涉及跨库、跨表的大数据量综合分析查询,传统关系型数据库的方式已无法满足企业大数据在线分析处理的要求。文章提出基于Hive的大数据在线分析的系统架构,研究数据仓库的主题构建、多维分析以及数据可视化的综合分析处理方案,满足在线查询分析结果的用户需求,相比于传统数据库的OLAP方案,查询的时间效率得到显著提升。

关键词： 数据仓库服务   云计算   非关系型数据库  

摘要： 本文通过深入研究现存的各种云数据仓库,提出新的云数据仓库分层设计方案,该方案把云数据仓库分为三层,基础设施层、平台层和分析软件层,并对各层提供的服务进行展开叙述。

关键词： 数据共享   数据仓库   智能电网   云计算   Hadoop  

摘要： 随着智能电网和电力企业信息化水平的纵深发展,企业积累了海量结构多样、来源复杂、规模巨大的数据资源。为了有效提高海量异源异构数据的集成与共享,实现企业统一数据交换以及数据价值发现,文章以临沂供电公司现有的数据集成架构和数据管理现状为依据,搭建了基于Hadoop架构的企业数据共享平台整体架构。然后,在基于数据仓库的数据集成模式的基础上,进一步构建了基于Hadoop架构的电力企业数据共享模型。该模型主要包括HDFS元数据管理方案、黑板模型、"发布-订阅"的数据分发策略以及基于Hbase的数据共享运行模式。此模型对于海量数据共享与处理具有廉价扩展、高效容错、高可靠性等优势,从而逐渐消除信息壁垒,促进数据共享与业务融合,实现电力企业数据的集中管控、综合治理和高度共享,为电网企业的正常运营管理提供科学决策和参考依据。

关键词： 资本市场   统计监测系统   数据仓库   负载均衡  

摘要： 随着我国经济的蓬勃发展，证券市场也得到了长足的发展。为了实现以证券市场为主，对整个资本市场进行全面宏观监管、政策决策、形势分析的要求而建设专门的统计监测系统(Statistical monitoring system，SMS)。且要求根据该系统应用功能特点找出了适合该系统的数据组织方式，在保证数据一致性的大前提下，提高数据的及时性，易扩展性，通用性，稳定性。\n 该SMS建立在数据仓库基础上，采用目前世界上最大的关系型数据库管理系统Teradata数据库。Teradata数据库是一种可扩展的数据库，其独特的MPP(Massively Parallel Processing大规模并行处理系统)架构，使其能够实现任务的负载均衡。该SMS功能及数据范围庞杂。依托于业务知识的积累以及数据仓库系统建设的经验，本文主要完成的工作如下:\n (1)调研统计监测系统必要性，数据仓库建设方法及Teradata数据库特性。\n (2)分析资本市场数据来源，且为了适应不同的决策层要求，设计并分析了多样的功能模块，如可视化、灵活查询、报表查询、R功能集成等，丰富了系统多样性。\n (3)设计合理且相对稳定的数据集市架构，使得数据的生命周期增强变长，并对数据集市建设方法、应用建设方法做了详细说明。\n (4)针对Teradata数据仓库，提出了多项性能优化方法，并得以应用，使得数据仓库效率得到了很大的提升。\n (5)对数据集市、应用功能做了全面的测试，降低了错误率，提升了质量。最终使得上线的系统是一个数据可比可用，并可以方便的提供统计分析研究。\n 由于统计监测数据仓库系统，有别于传统的数据仓库系统，传统的数据仓库系统如银行是以本行生产系统数据为主，其他外围系统为辅的类似1+N（其中1为主，N为辅）的结构，而统计监测系统则是对多个常规数据仓库系统的整合，可描述为N1+N2(N1为主，N2为辅)的结构。设计便于统计监测的应用功能，组织生成统计覆盖全面、指标口径统一的数据以及基于Teradata的性能优化是本文的核心价值。

关键词： 烟草企业   零售户订单   数据仓库   功能模块  

摘要： 随着信息化的深入推进，烟草企业需要处理的业务数据量越来越大，尤其是零售户订单数据，全国目前已经用于超过800万家烟草零售户，每日都会产生大量的订单信息，随着时间的推移，整个烟草行业订单数据量早已超过TB级别。但是，烟草企业之前搭建的软硬件设施也无法存储和处理如此数据量的数据能力，导致无法为烟草企业的决策分析提供有力的数据支持。而与此同时随着大数据技术近几年来的发展和应用，能够很好的满足TB级数据的存储加工整合。由此可见通过大数据技术解决烟草行业零售户订单数据仓库的建设方案切实可行。\n 本文利用大数据技术与数据仓库建设方法论研究成果，搭建行业下行订单零售户数据接收与分析环境，与营销和经济运行分析平台等现有营销系统有机结合，建立了一个基于大数据技术的零售户订单的数据仓库。本文的主要内容包括:\n (1)对数据仓库国内外的应用及研究现状进行了分析;对大数据技术的发展情况进行了介绍;对数据仓库建模方法、ETL技术进行了论述;对烟草行业信息化现状进行了说明;\n (2)设计并部署搭建大数据平台环境;\n (3)对零售户订单数据仓库进行了需求分析，论述了系统的设计目标、功能需求和性能需求;介绍了烟草行业零售户订单数据仓库的数据层次设计，在此基础上设计了各层次的数据存储模型;\n (4)基于大数据技术详细设计并实现了零售户订单数据仓库的各层次的ETL程序模块;通过对程序作业调度配置完成了数据自动化的处理加工;\n (5)测试了烟草行业数据仓库的运行、数据、算法等多项功能;测试了大数据平台的数据处理性能;通过PC端和移动端对部分效果进行了展示。\n 本文设计和实现的基于大数据技术的烟草零售户订单数据仓库已经应用在国家某烟草工业公司。该数据仓库运行以来稳定可靠，达到了预期设计目标。

关键词： 大数据   数据集成   业务智能   数据仓库  

摘要： 长庆钻井公司经历了多年的信息化建设,积累了大量的钻井相关数据,形成了钻井大数据的研究基础.但是长期的分散建设,让海量的数据分布在不同的异构数据源中,难以实现相关数据的综合分析.针对此实际问题,提出了钻井大数据的数据集成及分析系统的设计实现方案,本系统参照本领域的知识,应用kettle数据集成工具建立了新的数据仓库,并利用final report业务智能工具实现了钻井大数据的按需组织视图,多视角灵活展现,为用户决策提供了强有力的数据支持.

关键词： 医疗安全管理   数据仓库   预警系统  

摘要： 医疗质量与患者安全已成为医院管理的首要重点,介绍了"以医疗信息化的发展为基础,应用医疗数据仓库和数据挖掘技术,构建医疗安全预警体系"的全过程和应用效果。信息化的医疗安全预警体系,为医院提供了新的管理依据,避免了医疗安全事件的发生,为现代医疗安全管理提供创新思路。

关键词： 访问认证   数据仓库   LDAP   集成架构  

摘要： 本文从数据仓库Hive的架构分析以及LDAP相关概念入手,主要阐述了大数据平台的安全访问认证的基本内容、集成架构以及功能要素,重点分析了Open LDAP应用在大数据平台安全访问认证中的优势和特点,提出了基于Open LDAP的数据仓库访问认证架构设计,总结概括了清晰完备的访问认证流程,具有一定的实践和理论指导价值,为实现功能完善的大数据访问认证系统构建了坚实的框架基础。

关键词： Forensic anthropology   Facial approximation   Clay approximation   Facial recognition   Unidentified decedents   Biometrics   SOFT-TISSUE DEPTHS   COMPUTED-TOMOGRAPHY  

摘要： This research examined how accurately 2D images (i.e., photographs) of 3D clay facial approximations were matched to corresponding photographs of the approximated individuals using an objective automated facial recognition system. Irrespective of search filter (i.e., blind, sex, or ancestry) or rank class (R-1, R-10, R-25, and R-50) employed, few operationally informative results were observed. In only a single instance of 48 potential match opportunities was a clay approximation matched to a corresponding life photograph within the top 50 images (R-50) of a candidate list, even with relatively small gallery sizes created from the application of search filters (e.g., sex or ancestry search restrictions). Increasing the candidate lists to include the top 100 images (R-100) resulted in only two additional instances of correct match. Although other untested variables (e.g., approximation method, 2D photographic process, and practitioner skill level) may have impacted the observed results, this study suggests that 2D images of manually generated clay approximations are not readily matched to life photos by automated facial recognition systems. Further investigation is necessary in order to identify the underlying cause(s), if any, of the poor recognition results observed in this study (e.g., potential inferior facial feature detection and extraction). Additional inquiry exploring prospective remedial measures (e.g., stronger feature differentiation) is also warranted, particularly given the prominent use of clay approximations in unidentified persons casework. (c) 2017 Published by Elsevier Ireland Ltd.

关键词： 移动互联网 APP   数据仓库   应用  

摘要： 在大数据的获取、分析与应用的时代，运用移动互联网 APP 进行开发用户的企业和个人不断增多。对 APP 用户的行为和需求分析是成败的关键所在，因此，创建移动互联网 APP 数据仓库成为必然的选择。本文对于移动互联网 APP 数据仓库的应用实践进行了探讨。