课程文献中心 更多>>

关键词： NoSQL databases   Map-Reduce   Data Warehouse   Schema Design   Document-oriented database   Extraction  

摘要： Traditional data warehouses are unable to meet the growing needs of the modern enterprise to integrate and analyze a wide variety of data generated by social, mobile and sensor sources. What is remarkable is that many companies have changed their data storage in NoSQL databases. Given the important role played by this type of databases, it is necessary to study NoSQL databases as a data source for the modeling and the implementation of data warehouses. This paper proposes a method to design the data warehouse schema from schema free databases known as NoSQL databases. Our proposal starts with the extraction of schemes from document-oriented databases as an example of NoSQL database. This extraction is performed based on the MapReduce paradigm. Then, it defines the structure identification graph from the extracted schemes. This graph will help the designer to identify the multidimensional concepts for each schema extracted in order to design the global data warehouse schema.

关键词： OLAP   数据分析   决策支持   联机分析   多维引擎   数据仓库  

摘要： 基于Mahout的高校数据分析与决策支持系统,存在高校数据处理速率低、用户满意度差的弊端,设计基于OLAP的高校数据分析与决策支持系统,采用雪花模型根据不同主题设计数据仓库模块,缩短维表与反应表的连接用时,实现对高校数据仓库信息的高效查询处理;通过联机分析处理OLAP模块采用切片、切块、钻取和旋转操作实现面向高校数据的分析、归纳和总结;系统软件部分通过OLAP多维引擎,采用切片模块、立方体模块和表示模块将多维分析请求的分析结果以报表或图形的形式发送给用户,实现用户对高校数据分析与决策分析的需求。实验结果表明,所设计系统在更新关联内容用时、查看分析结果用时和文档导出用时均较短,且实际用户的满意度较高。

关键词： 城市轨道交通   能效管理   节能潜力   数据仓库   数据挖掘   能耗分析   大数据   流处理  

摘要： 随着城市轨道交通线网化进程和海量数据的累积,挖掘能效数据的潜在价值以提升地铁能效管理水平、实现节能降耗,对地铁的经济运行具有重要意义。对基于Hadoop平台实现轨道交通能效管理系统的建设方案进行了研究,并分别以历史数据和实时流数据的数据流和功能框图,具体说明了系统的实现方式。给出了基于Hadoop平台的能效管理系统的车站、线路、线网的三层式建设方式,以及组成模块的框架图,并按数据的在线和离线两种方式给出模块的实现方法。同时,在轨道交通能效管理平台中实现了大数据技术的首次应用。应用结果表明,基于Hadoop平台的大数据方案提高了地铁运营的能效管理水平。随着数据量积累和数据分析的深入,该管理系统必将具有更加广阔的应用前景。

关键词： 数据仓库   油井防砂   设计  

摘要： 防砂工艺是油气田开发不可缺少的主要工艺之一,随着油井防砂工作的进行,产生了大量的历史数据、当前作业数据和各种文档资料。如何将这些大量的数据文档资料进行有效的存储管理是油田防砂工艺发展中一个急需解决的问题。本文针对这一问题首先介绍了数据仓库技术的基本概念,之后详细阐述了防砂工艺数据仓库的设计与实现。

关键词： BusinessObjects   架构   数据仓库   ETL   报表  

摘要： TFT-LCD生产中,BusinessObjects作为企业决策的重要窗口,其数据的完善性和系统的最大连接数直接影响到高峰期用户的报表访问,随着生产业务增长,报表系统用户并发访问需求开始迫切。为了满足数据的可追溯性、提高用户访问量,通过加载彩膜生产数据到数据仓库,设计了一种服务器分离、多节点负载均衡的架构,实现了多用户的并发访问和数据共享,提高用户访问报表速度的同时,提升了报表系统对生产决策的支持。

关键词： Evolutionary game theory   Randomized algorithms   Evolving population   Materialized view selection   Multiple view processing   EFFICIENT   ALGORITHM  

摘要： The data warehouse contains a number of views that are used to respond to the system queries. On the one hand, the time consuming process of responding to analytical queries of the data warehouse requires to store intermediate views for efficient query answering, and on the other hand, large numbers and high volumes of intermediate views, make the storage of all views impossible. Hence, choosing the optimal set of views for materialization is one of the most important decisions in the data warehouses design, in order to increase efficiency of query answering. Since the search space of the problem is very large, searching among the collections of all possible views of a data warehouse is very expensive and thus, it is necessary to use methods to solve the problem in an acceptable time. Random methods, such as game theory-based optimization approaches, try to increase the speed of selecting materialized views by finding near optimal solutions. In this article, an evolutionary game theory-based method to materialized view selection in the data warehouse is represented which exploits the multiple view processing plan structure to represent the search space of the problem. In this method, a population of players is created, each of which is a solution to the problem. Three strategies are considered for each player and at each repetition of the game, players attempt to choose the best strategy for themselves. At the end of the game, the final solution is calculated according to the strategies selected by the players. Our empirical evaluations revealed that the proposed method has appropriate convergence for large data warehouses and its execution time is very good. It is also shown that the quality of the solutions of the proposed method is more appropriate than other similar random methods. (C) 2018 Elsevier B.V. All rights reserved.

关键词： biological research   biorepository   HIV   data   ELECTRONIC DATA CAPTURE  

摘要： Data repositories are a strategy in line with precision medicine and big data initiatives, and are an efficient way to maximize data utility and form collaborative research relationships. Nurse researchers are uniquely positioned to make a valuable contribution using this strategy. The purpose of this article is to present a review of the benefits and challenges associated with developing data repositories, and to describe the process we used to develop and maintain a data repository in HIV research. Systematic planning, data collection, synthesis, and data sharing have enabled us to conduct robust cross-sectional and longitudinal analyses with more than 200 people living with HIV. Our repository building has also led to collaboration and training, both in and out of our organization. We present a pragmatic and affordable way that nurse scientists can build and maintain a data repository, helping us continue to make to our understanding of health phenomena.

关键词： 新产品需求开发管理   大数据   数据仓库   新产品开发流程  

摘要： 本文对大数据在新产品需求开发管理的应用进行了探究。随着社会多元化的发展,市场由“卖方市场”转向“买方市场”,企业的新产品开发项目成为企业不断提高其自身竞争力的源源动力。在影响新产品开发项目成功与否的因素中,需求开发首当其冲成为决定项目成败的重要原因。同时随着大数据技术的普及,大数据技术的特征和应用案例给企业新产品需求开发管理提供了借鉴思路,本文就是在基于大数据基础上探究新产品需求开发管理的思路和方法。本文以某潮流玩具企业P公司为研究案例,基于该公司的潮流玩具特征和产品开发流程,通过访谈方式探讨公司在新产品需求开发方面的问题所在,以企业打造客户导向性的产品需求开发为导向,研究大数据技术在公司新产品需求开发管理方面的契合点。同时在对大数据需求开发方法设计的基础上,通过对组织架构和新产品开发流程的优化,为方法的顺利实施提供保障。首先从大数据发展和新产品需求开发现状的背景出发,通过文献搜索分析了新产品开发理论、需求开发相关理论和大数据相关的理论,从中提取二者契合的理论基础,为后文进行管理方案设计提供理论支撑。其次分析P公司产品开发概况及商业模式,明确企业产品战略转型的目标导向,通过访谈法发现公司在新产品需求开发管理存在的问题,并通过调查问卷方式验证大数据技术应用于新产品需求开发管理的可行性。然后提出P公司基于大数据的新产品需求开发管理方法:运用新产品需求开发相关理论,结合$APPEALS的需求模型和大数据技术应用,以优化P公司新产品需求开发为目标导向,搭建大数据分析平台,通过大数据分析平台实现基于数据仓库建模的需求开发管理和基于用户行为数据的需求开发管理。最后提出P公司基于大数据新产品需求开发管理的保障措施。大数据的融入涉及到部分业务部门的调整,同时新产品需求开发管理的优化离不开组织架构的支撑和新产品开发流程的配套。本文一方面通过实行产品经理负责制,实现组织架构的支撑;另一方面通过优化新产品开发流程,在产品规划阶段、项目启动阶段、设计确认阶段和迭代开发阶段进行优化调整,为实现大数据支撑新产品需求开发管理奠定基础。综上所述,本文在基于P公司解决新产品需求开发管理困境的基础上,针对潮流玩具产品目标群体泛化、需求变化快的特点,对P公司新产品需求开发管理进行改进,建立了基于大数据技术的新产品需求开发管理体系,优化了新产品开发流程体系。

关键词： 数据仓库技术   数字影院   管理   服务   应用  

摘要： 《国务院办公厅关于促进电影产业繁荣发展的指导意见》(国办发[2010]9号)明确指出:'到2015年,建立健全覆盖城乡的电影数字化发行放映网络,技术标准体系和技术服务监管平台'.在这一背景下探究数据仓库技术在数字影院综合管理与服务中的应用具有重要的实际价值.

关键词： 数据服务平台   缓存服务   数据库   求职意向   能力测试   数据仓库   求职者   模板引擎   关系型数据  

摘要： 无论是即将毕业的大学生还是工作多年跳槽或转行再就业的求职者,他们都渴望有一份心仪的工作,但他们在求职过程中经常会花费大量的时间去寻找合适的职位,为了更好地帮助求职者寻找心仪的工作岗位,使用大数据相关技术设计与研发就业大数据服务平台。该平台采用网络爬虫技术实时从互联网的招聘网站上采集海量的职位数据,然后将职位数据清洗、加工、整合后存储于就业大数据服务器平台中,系统根据求职者在平台上进行的就业服务相关测试和求职意向,进行特定算法计算,得到就业指数,平台会根据求职者的就业指数推送与之相匹配的工作岗位。