课程文献中心 更多>>

关键词： THROUGHPUT   THERMODYNAMICS   INFRASTRUCTURE   ***   DESCRIPTORS   SCIENCE  

摘要： Automated computational materials science frameworks rapidly generate large quantities of materials data for accelerated materials design. In order to take advantage of these large databases, users should have the ability to efficiently search and extract the desired data. Therefore, we have extended the data-oriented AFLOW-repository Application-Program-Interface (API) (Comput. Mater. Sci. 93, 178 (2014)) to enable programmatic access to search queries. A Uniform Resource Identifier (URI)-based search API is proposed for the construction of complex queries for remote creation and retrieval of customized data sets. It is expected that the new language, AFLUX, from "Automatic Flow of LUX (light)", will enable remote search operations on the AFLOW set of computational materials science data repositories. In addition, AFLUX facilitates the verification and validation of the data in the AFLOW repositories. (C) 2017 Elsevier B.V. All rights reserved.

关键词： Data warehouse   Vector space model   Similarity measures   Rare diseases   Electronic health records   VECTOR-SPACE MODEL   MUTATIONS   CLASSIFICATION   RETRIEVAL   GENE  

摘要： Objective: In the context of rare diseases, it may be helpful to detect patients with similar medical histories, diagnoses and outcomes from a large number of cases with automated methods. To reduce the time to find new cases, we developed a method to find similar patients given an index case leveraging data from the electronic health records. Materials and methods: We used the clinical data warehouse of a children academic hospital in Paris, France (Necker-Enfants Malades), containing about 400,000 patients. Our model was based on a vector space model (VSM) to compute the similarity distance between an index patient and all the patients of the data warehouse. The dimensions of the VSM were built upon Unified Medical Language System concepts extracted from clinical narratives stored in the clinical data warehouse. The VSM was enhanced using three parameters: a pertinence score (TF-IDF of the concepts), the polarity of the concept (negated/not negated) and the minimum number of concepts in common. We evaluated this model by displaying the most similar patients for five different rare diseases: Lowe Syndrome (LOWE), Dystrophic Epidermolysis Bullosa (DEB), Activated PI31< delta Syndrome (APDS). Rett Syndrome (RETT) and Dowling Meara (EBS-DM), from the clinical data warehouse representing 18, 103, 21, 84 and 7 patients respectively. Results: The percentages of index patients returning at least one true positive similar patient in the Top30 similar patients were 94% for LOWE, 97% for DEB, 86% for APDS, 71% for EBS-DM and 99% for RETT. The mean number of patients with the exact same genetic diseases among the 30 returned patients was 51%. Conclusion: This tool offers new perspectives in a translational context to identify patients for genetic research. Moreover, when new molecular bases are discovered, our strategy will help to identify additional eligible patients for genetic screening. (C) 2017 The Authors. Published by Elsevier Inc.

关键词： 数据交换平台   数据共享   数据仓库  

摘要： 随着高校业务系统的增多,系统间数据存在着密切联系,互联互通需求越来越迫切。文章以西北工业大学数据交换平台建设为例,具体从建立信息标准、收集需求、设计交换平台、实现数据清洗四个方面来探讨如何实现校园数据交换与共享,并提出了建立数据交换平台的解决方案。

关键词： 数据仓库   作业调优   性能优化   压缩   存储格式  

摘要： 主要从Map Reduce作业调度和Hive性能调优两个方面对Hive的性能优化进行研究.对于Map Reduce主要从编程模型切入,分析其执行过程,并从map端、reduce端进行参数调优.接着从Hive框架角度入手,分别从分区表和外部表以及常用数据文件的压缩、行式存储与列式存储等方面进行深入研究.实验结果表明,snappy压缩、orcfile/parquet存储格式对于列式查询,提高查询效率,对于大数据分析平台有较好的兼容性.

关键词： 大数据   数据仓库   多维模型   联机分析处理   HR—DSS  

摘要： 在纷繁复杂的人力资源数据信息中挖掘数据并以智能算法生成的各类表层之间的内在关系,通过"加工"实现数据的"增值",以便及时、有效地提供战略决策支持,这种方法成为人力资源管理信息系统开发的新热点。企业建立人力资源决策支持系统,并以此为基础进行人力资源信息相关大数据的挖掘日益成为企业"现代化产业集团"建立与发展的重要手段。传统数据管理系统存在与大数据分析架构不匹配、集成性和综合性较差等问题,而数据仓库技术在弥补这些缺陷,具有诸多优点。从航天行业人力资源管理信息系统的现状及特点,分析并构建关于该领域人力资源数据仓库平台的实现。

关键词： 数据中心   数据仓库   ETL   开发研究   格式转换   数据服务  

摘要： 本文通过对综合研究业务工作流程和数据需求进行梳理,建立支持综合研究过程和专业软件的统一数据仓库,利用ETL工具从数据中心集成单井和单元的各类数据,开发综合研究业务主题数据"一键获取"模块和专业软件数据格式转换模块,为专业软件的快速准备数据,提高综合研究工作信息化水平。

关键词： 数据技术   计算引擎   数据平台   发展趋势   数据仓库   硬件平台   第一代   一体机  

摘要： 偶数科技在2016年底成立，主要是由EMC/Pivotal核心团队成员组成，现在做两个事情，偶数两大产品：ApacheHAWQ和OushuHAWQ++。今天我主要介绍大数据领域的发展趋势中关于计算引擎的部分。在数据平台的演进路线中，第一代数据仓库相对传统，以小型机或一体机的专有的硬件平台为主，面向传统的BI分析，系统缺乏弹性，资源固定，不易调整，很难支持突发的应用需求或密集复杂的计算需求。第二代数据平台是大家熟悉的MPP，可以支持密集、复杂的计算需求，但需要一定时间。到了第三代。

关键词： 教育信息化   数据中心   统一身份认证   数据仓库   大数据应用  

摘要： 区域数据中心建设是教育信息化的基础性项目。在上海市虹口区教育系统数据中心建设的过程中,我们以"一个中心,两套体系"为指导,总结出了平台建设、统一身份认证和管理体系建设三个关键环节,建立了业务标准、数据标准、技术标准等标准规范管理体系和业务流程、审批流程等机制管理体系,实现了区域内教育数据的集中管理和师生的一键通行,探索了若干基于数据的应用,落实了数据中心服务于教学、服务于决策的建设目标。

关键词： 并行处理   数据复用   数据仓库   模式匹配  

摘要： 针对频繁出现的数据冗余、数据复用效率低下等问题,将列存储方式结合并行处理机制对数据复用策略进行优化。构建了基于MapReduce的数据复用并行化处理模型,利用改进型CSM模式匹配算法结合数据挖掘过程中的数据筛选算法,提出并行化数据复用算法。该算法利用数据属性的模式匹配确定属性列之间的对应关系,使用数据检测方式验证属性列数据复用的可行性,从而进行属性列数据筛选,实现并行化的数据复用策略。在大数据环境下的数据仓库中,对大规模基准数据属性集SSB和TPCH中提取的数据实证进行分析,实验结果分析中存储量和处理时间分别减少了17%和35%,验证了并行化数据复用策略在数据存储量、数据处理时间等方面比普通数据复用策略更具高效性。

关键词： 数据仓库   周期性查询   增量优化   中间结果重用  

摘要： 大数据蕴含着巨大的价值.分析类查询是获取数据价值的一种重要手段.为及时把握分析结果的变化,查询需要周期性地重复.为此,将不可避免地引入对旧数据的重复分析.目前,以重用历史数据的中间结果、优化冗余计算为核心思路的增量分析技术,存在用户透明性不佳、对历史结果存储位置的选择不够智能化等问题,对周期性增量查询的优化效果有限.从兼顾用户透明性和优化收益的角度出发,设计了一种以语义规则为指导的增量优化方法.该方法扩展了增量描述语法,以查询操作符的操作语义和输出语义指导对历史数据存储、合并位置的选择,再根据代价模型和物理查询任务的划分位置对选择结果进行调整,生成优化后可以在分布式计算框架(如Map Reduce)周期性调度执行的物理查询任务.以Apache Hive为基础,实现了上述方法的原型Hive Inc.实验结果表明:对于扩展了增量语法描述的TPC-H测试集,Hive Inc相对于优化前可以获得平均2.93倍、最高5.78倍的加速;与经典的优化技术Inc MR、Dryad Inc相比,分别可以获得1.69倍和1.61倍的加速.