课程文献中心 更多>>

关键词： 数据清洗   函数依赖   推荐策略   数据质量   数据仓库  

摘要： 随着移动互联网、物联网、云计算等新一代信息技术的应用和推广，各个企业的数据量呈指数模式增长。要在海量数据的基础上为企业的未来发展做决策，数据质量问题就显得尤为重要。据统计，大型数据仓库中数据的错误率一般在5%左右甚至更高。如果数据质量达不到要求，将会影响从数据集中抽取模式的正确性和导出规则的准确性，使得决策支持系统产生错误的分析结果，从而误导决策。此外，数据科学家80%的时间都花费在数据清洗任务上，用于检测和修复数据中的错误。为此，研究数据清洗问题具有很强的实用性。　　现有大量的研究都是围绕基于规则的数据清洗展开，使用完整性约束来检测和修复数据错误。数据清洗规则通常包括函数依赖、条件函数依赖等。这些清洗规则通常是由领域专家提供，或者是通过规则挖掘算法发现再经由领域专家验证。现有的规则挖掘算法可以从给定数据集中发现函数依赖或者条件函数依赖。这些规则挖掘算法都假设原始数据集是干净的，然而，脏数据中错误的存在可能会导致一些函数依赖或者条件函数依赖在整个数据集上不成立。即便使用了规则挖掘算法，错误的存在也会导致在给定数据集上难以发现有效的函数依赖。　　为此，我们研究了从脏数据中发现清洗规则这一问题。具体包括：首先定义一个函数依赖的近似度，利用改进的TANE算法从脏数据中挖掘近似函数依赖，作为候选的数据清洗规则。其次，由于候选近似函数依赖数量庞大，用户不可能一一验证。因此我们设计了两种推荐策略：基于支持度的排序策略和综合得分排序策略。基于支持度的排序策略，是按照候选近似函数依赖的支持度进行降序排序。当一个近似函数依赖的支持度越大，其近似度就越小，就越有可能是正确的函数依赖。为了进一步精准推荐、高效检测数据中的错误，用户可以检索某一特定属性依赖于哪些属性。基于综合得分排序策略，需要预先固定近似函数依赖的右边。假设近似函数依赖右边是属性A，其它属性i与属性A的相关性分数为Ci，满足左边包含其它属性i且右边是属性A的近似函数依赖的支持度为Ni。根据相关性分数Ci乘以支持度Ni得到其它属性 i的综合得分Scorei，降序排列得到属性 A 依赖的top-k个属性，其中k默认取值为0。每次推荐都把左边包含top-k个属性的近似函数依赖放在前面，把其余近似函数依赖放后面。最后，我们设计和实现了一个针对脏数据的清洗规则挖掘系统，通过以上两种推荐策略，为用户推荐最可能的清洗规则。　　实验数据集包括一个真实数据集和一个合成数据集。针对真实数据集，采用两种不同推荐策略，在前20个候选近似函数依赖中就可以发现有用的清洗规则。针对合成数据集，假设原始的合成数据集是干净的，我们使用注入错误工具BART注入随机错误。实验发现对于合成数据集不论采用哪一种推荐策略，其召回率数值都是100%。以上实验结果充分证明我们的系统可以帮助用户发现有用的清洗规则。

关键词： 高速铁路轨道   网格   安全状态评定   安全状态预测   数据仓库  

摘要： 高速铁路轨道状态的变化直接关系到列车运行的安全性。对高速铁路轨道安全状态进行评定与预测可以帮助管理者实时掌握轨道设备状态劣化情况,合理地安排维修计划,从而实现从传统“周期修”到“状态修”的转变,对保障高速铁路运营安全性、可靠性和高效性以及实现资源的合理分配具有重要意义。随着铁路信息化的发展,借助信息化手段管理高速铁路轨道设备状态,可为管理者及时排查线路的隐患点提供技术支撑。本文在分析高速铁路轨道安全状态的影响因素以及高速铁路轨道状态劣化规律基础上,确定了本文的主要研究思路:采用网格化理论,将高速铁路线路离散化为若干较小的200m网格单元,针对轨道网格的安全状态评定和预测,主要开展了以下几个方面的研究工作:首先,构建了基于网格的高速铁路轨道安全状态评定模型。模型首先从功能性和可靠性两方面选取并计算轨道安全状态变量,针对状态变量间存在着信息冗余的问题,提出了基于主成分分析法的特征变量提取方法,进而运用聚类分析和TOPSIS的方法,以状态特征变量值为输入,输出是轨道网格的安全状态值,得出高速铁路安全状态量化结果和状态等级划分结果。以宝兰高铁为例,对上述模型进行了验证,结果表明,TOPSIS方法能够较为客观地评定轨道安全状态,为管理者合理制定维修计划提供依据。其次,在高速铁路轨道安全状态评定基础上,研究建立了基于多阶段威布尔模型和ARMA模型的高速铁路轨道安全状态预测模型,并对两个模型进行了实例验证与对比分析,分析结果表明,多阶段威布尔模型在预测精度上更为精准,预测精度可满足高速铁路轨道安全状态预测需要。最后,将相关研究成果应用于《宝兰高铁建维一体数字化管理信息系统》中,基于数据仓库技术,进行了系统实现,计算了宝兰高铁K1305-K1640范围内的网格安全状态值,并基于B/S架构实现了高速铁路轨道安全状态的可视化展示,系统已在兰州铁路局得到初步应用。

关键词： 数据类   测试策略   报表管理   数据仓库   管理平台   测试用例   映射文档   数据测试   数据加工   类测试  

摘要： 随着移动互联网的来临,智能设备及其他信息技术的发展,数据爆发式增长,将数据进行有序、有结构地分类组织和存储是非常有必要的。数据模型引入是人们解决数据组织和存储的几个重要举措,它强调从业务模型、数据存储和使用角度合理组织数据,达到在性能、成本、效率和质量之间取得最佳平衡。而对于银行系统,如何保证后台数据的质量、数据建模是否合理、汇总结果是否正确等日益成为影响银行持续发展和转型的因素。本文结合福建省农村信用社联

摘要： 随着经济发展与技术的飞速进步，针对实体的档案管理理念已经不适应现代化企业的发展，具体体现在1）管理成本的逐年上升。2）数字资源的产生、存储、传播与共享较纸质（或实体）档案效率高、成本低，且证据价值随着技术的发展不断进步得以确保、完善。3）企业内部多种业务信息系统不断上线，导致业务部门对“数据归档”和档案信息的需求越来越低。此外随着国家改革的不断深入，相关政策的试验性开展，企业数字档案馆建设应运而生，本文尝试分析数据仓库技术作为企业数字档案馆技术实现的应用前景。1 企业数字档案馆理解及功能定位1.1 企业数

关键词： Big Data   Cardiometabolic health   Clinical trials   Heart failure   Outcomes  

摘要： Introduction: An objective of the Meta-AnalyTical Interagency Group (MATIG) is to conduct patient-level meta-analyses of cardiovascular outcomes using data from publicly available repositories. We describe challenges with data re-use from a seminal trial, provide a systematic approach to identify and curate data elements for hypothesis generation, and establish stackable trials to support these analyses. Methods: We used data from the ACCORD trial to assess risk factors and their gender specific differences for the event of hospitalization or death due to heart failure (hdHF), in patients with type 2 diabetes*. We identified the data elements needed to answer the research questions, reviewed the trial protocol to verify definitions, extracted patient-level data, performed quality assessment and statistical analysis. The results showed a gender difference in the effect of intensive vs. standard glucose-lowering therapy on hdHF. To validate the findings, we sought additional trials in BioLINCC to develop a compendium for meta-analysis, and repeated these steps for each trial. Results: Challenges for reusing the ACCORD trial included access to complete patient-level data and metadata. The compendium, developed to evaluate the stackability** of data across trials, identified differences in trial designs, patient populations, study interventions, and data elements that may impact the feasibility and interpretation of meta-analysis. An example of compendium components is shown in Table 1. Conclusion: High-quality metadata facilitate re-use of trial repository data. This compendium standardizes common data elements for gender, racial and age-group specific outcome assessment in major clinical trials. It provides the framework to assess the fitness of trials for patient-level meta-analyses. Efforts are underway by MATIG to expand the compendium to include risk factors and major cardiovascular outcomes across multiple large trials for meta-analysis. [ABSTRACT FROM AUTHOR]

关键词： 数据仓库   社保   ETL   OLAP   统计分析  

摘要： 近年来,随着社保部门信息化建设的飞速发展,各个业务系统保存了海量的历史数据,由于缺乏先进的统计分析平台,未能对历史数据进行全面深层次的分析与利用,对社会保险金的预测、分析、统计、决策缺乏有效的支持,极大影响了数据统计的准确性和分析决策的效率。在这一背景下,基于数据仓库技术建立社保统计分析系统,对于充分利用业务系统的历史数据,为分析决策提供一个科学、合理、务实的数据支持具有重要的意义和价值。本文在构建社保数据仓库的基础上,通过运用维度建模、数据整合、联机分析处理等技术设计开发实现了基于数据仓库的社保统计分析系统。根据社保的软硬件环境,建立统一的数据仓库体系架构,搭建统一的建设框架和应用模式。依据客户提供业务需求进行统计分析业务主题的划分,从而建立维度模型。利用ETL数据抽取工具从社保的各个业务系统抽取数据,进而整合、加载到数据仓库中。在此基础之上,建立面向分析应用的多维数据库和初级汇总表,最后实现固定报表、灵活报表、图形展现等前端应用功能。通过对基于数据仓库的社保统计分析系统的设计与实现,建立了统一的数据存储平台,解决了“信息孤岛”的问题,有效保证了数据质量,极大提高了数据汇总、计算、查询、分析的性能,为用户提供了直观、丰富的前端展示方式,满足了用户多元化分析和辅助决策的需求,为社保部门数据仓库的建设积累了宝贵的经验。

关键词： 数据仓库   维度事实   客户特征   因子评价   精细化管理   精准营销  

摘要： “客户”是银行系统进行经营的最核心竞争要素。过去的CRM系统存在着客户数据获取难、质量差、客户特征描述不丰富的缺陷。管理上采用粗放型、非网格化、客户细分及精细化管理能力不足。营销方面大多采用主观营销、非结合大数据分析支持、产品非智能匹配及推送、精准营销能力不足。这几方面综合导致银行利润创造能力不足。后来发展到引入数据仓库进行客户数据深加工及其他方面进行应用,如何有效结合数据仓库为银行CRM弥补短板、发挥更大作用,对提升银行利润意义巨大。针对这些问题,本文更加针对性的就:引入数据仓库来如何提升更丰富的客户特征提炼能力、客户细分及目标客户群锁定能力、精细化管理能力、精准营销能力、工作效率等,最终如何提升银行利润创造能力为目的,进行了更深入研究和探讨。首先,结合获客成本经济学理论为理论依据,提出并设计在数据仓库里建立客户专题的数据主题,更加深入的研究了基于星型模型、维度事实设计的数据建模方式,从而为后续的客户特征提炼、客户星级评分和综合排名的研究与设计提供更丰富的数据基础。然后,结合客户价值及成本转换与锁定等经济学理论为依据与指导,研究和设计运用数据仓库优势来提炼更深层客户特征、扩充测算因子库与优化客户星级评分和综合排名模型方法,提升测算结果精准度。接着,通过实例分析数据仓库的这些成果在CRM中关于客户细分、客户精细化管理、精准营销方面的具体应用。最后,通过定性和定量对比数据仓库引入前后CRM的差异和提升效果来证实研究表明本文所采用的研究方法是合理有效的。本文通篇采用某农商银行数据进行实证分析,结果表明数据仓库的引入,能够提升银行CRM的综合管理能力、提升业务人员的客户精细化管理、精准营销能力及工作效率,提升银行利润创造能力,在我国银行具备实践价值。

关键词： 数据仓库   联机分析处理   决策支持系统   医院信息系统   商业智能  

摘要： 近些年,我国大部分医院已建立了各类辅助医疗事务的管理信息系统。医院信息系统有效保障医院正常运行,降低了运营成本,提高了工作效率和资源利用率,成为医院科学管理和提高医疗服务水平的有力手段。但是,这些业务系统相对独立,众多异构系统中的数据难以有机地整合和共享,并且这些信息系统属于联机事务处理系统,主要面向业务流程设计,而不面向分析管理,很难从日积月累的海量历史数据中发现和提取潜在的信息和知识来帮助医院管理者更好地做出决策。因此,医院需要将大量业务数据重新整合,为管理者的决策提供准确可靠的数据支持,从而进一步提高医院管理质量和医疗服务水平。在对国内外研究现状分析的基础上,结合医院具体情况,本文基于数据仓库和联机分析处理等多种技术,设计并实现了医院数据分析与决策支持系统。首先,本文根据医院信息系统的现状进行需求分析,进而确定了系统的主题和结构;其次,对医院门诊信息系统、住院信息系统和住院电子病历系统这三个主要业务系统中分散的数据进行抽取、清洗、转换后加载到医院数据仓库;再次,根据医院管理者的需求,从医院门诊量、门诊收入、门诊诊断、住院费用和住院诊断五个主题分别进行多维数据建模;最后基于B/S结构,通过多种维度,利用报表、柱形图和饼图等丰富的展现形式向用户分主题展示数据分析结果,实现医院数据分析与决策支持系统。本系统的价值在于有机地整合了医院的主要业务系统产生的数据,打破“信息孤岛”现象。基于Web的医院数据分析与决策支持系统方便医院管理者从多层次、多维度监测与分析门急诊和住院人次、收入、病人费用构成等指标,为医院管理者的决策提供更加全面、准确和直观的数据保障,以便应对日益复杂和快速变化的医疗环境,同时也为医院教学及科研中的临床诊断数据统计和疾病的相关性分析提供数据支持。

关键词： SAP BW   集团企业   数据仓库   模型层级架构   模型设计  

摘要： SAP BW在许多企业级数据仓库中运用非常广泛,它可以出具企业在集团层面的报表,掌握和管理集团业务运行情况,帮助寻找集团化企业其业绩背后的规律和趋势,最终为企业集团的决策者提供决策支持。因此,如何利用SAP BW模型架构来更好的实现企业级数据仓库,是当今数据仓库行业热门的话题之一。对于某化工集团大型企业而言,其集团和子公司已经部署多套企业级数据仓库,集团决策层在使用业务报表时,只能得到经过整合和处理之后的数据,数据的真实性和可靠性得不到统一的有效控制。同时,由于有多套数据仓库系统,当集团层面需要修改数据模型时,分公司的数据模型也需要做相应修改,维护的灵活性较差。最后,每次化工集团需要升级数据仓库版本时,需要维护升级每一个子公司的数据仓库版本,维护成本高昂。因此,如何将分布在各子公司的多套数据仓库通过设计模型层次架构来整合成一个面向集团的企业级数据仓库,以此保证数据的可靠性,增强模型的修改灵活性和降低数据仓库的运维成本,意义重大。为此,本文基于SAP BW框架模型,完成某化工大型集团企业级的数据仓库设计,可用于某化工集团的财务、销售等多个部门数据的汇总整理,有效提升数据利用效率,保证数据真实性。同时,又通过层次设计,解决了原本模型修改灵活差和系统维护成本高的问题。结合本文的研究,具体的内容主要有:1.通过分析常用的两种数据仓库在大型企业的部署方案,总结现有方案中所存在的缺陷,并确定了基于SAP BW模型架构的企业级数据仓库设计方案。2.对SAP BW模型架构方法进行设计,首先针对数据本身进行维度设计,将数据的标识与应用分类,通过定义粒度、选定维度,做到系统全面的数据结构设计。进而在SAP BW数据仓库中,设计数据抽取层,数据合并层,业务转换层和应用分析层来得出基于模型架构法的完整解决方案和实现过程,最终实现数据仓库。以此解决某化工大型企业中,由于有多套数据仓库,而造成的数据可靠性,模型的灵活性和维护的成本问题。3.对实现方案进行相关测试用例设计,并且通过测试结果和实施前后的效果比对分析得出本论文方案能够提高企业级数据仓库的数据可靠性,能够增加模型的灵活性以及降低数据仓库的维护成本。通过如上的设计和实现,该集团的企业级数据仓库方案于2017年6月顺利在某化工集团企业上线。应用以后,证明该系统方案能够满足集团对于报表主题的需求,并且解决了之前集团数据仓库方案中数据可靠性,模型的灵活性和维持成本高的问题。集团用户可以通过该数据仓库系统更好地实现集团业务。

关键词： 商业银行   数据仓库   数据质量管理关键技术  

摘要： 我国金融机制不断进行改革,商业银行面临着更加严峻的压力,为了能够开拓市场运营过程顺利,就要依靠数据仓库的数据管理。数据仓库中的数据质量管理关键技术成为支撑平台,很多商业银行已经开始使用,但是在管理过程中会存在各种问题,本文将会对此技术进行研究并提出对应措施。