课程文献中心 更多>>

关键词： 数据仓库   联机分析处理   HBase数据库  

摘要： 随着移动互联网的发展和普及,越来越多用户选择网约车服务作为出行的首选,互联网企业也因此收集了海量的数据。用户在享受移动出行服务中产生的数据被存储在数据仓库中,用以支持分析和决策,然而基于Hive的数据仓库存在查询速度慢、操作复杂、元数据和指标意义不清晰、数据质量无法保证等问题。数据服务化系统为了让数据更好的为用户服务,让用户更好的使用已构建好的数据仓库,提供以下服务:利用HBase查询速度快但是不支持复杂Join的特点,提供实时查询数据集市中数据进行联机分析处理(Online Analytical Processing,OLAP)服务,解决用户使用Hive查询速度慢的问题;数据仓库元数据和指标查询,让用户不必为报表中的指标和元数据意义不明确而困扰。同时,由于数据仓库中数据需要业务人员基于业务数据进行二次开发,本系统为数据仓库业务人员提供以下服务功能:保证数据质量,维护数据的一致性和准确性;元数据的创建和维护;HBase中数据立方体的构建,实时查询用于支持OLAP。保证数据仓库业务人员在日常工作中顺利的产出数据。按照需求分析和功能划分,系统共有元数据中心、指标字典、数据服务化配置中心、报表系统四个模块。系统采用四层架构模型降低了系统各模块之间的耦合度,采用My SQ作为业务数据库和HBase作为No SQL数据库,并最终根据测试结果和用户反馈不断进行迭代优化。数据服务化系统已在企业内上线运行,帮助普通用户解决日常工作中使用数据仓库遇到的问题,帮助数据仓库业务人员更高效的进行数据开发,保证数据质量,让数据可以更好的为用户服务。

关键词： 数据仓库   深度学习   输入层   隐含层   税收预测模型  

摘要： 随着人工智能的不断发展和应用,通过深度学习等方法对大量的数据进行分析和预测,将得到的结果应用于各个所需领域,为各个所需领域带来很多便利。本文利用深度学习算法针对税收数据进行大型企业非增值税欠税预测,能够更好地为税务稽查人员服务,提高稽查人员的决策质量和效率,从而保障国家的税收收入。在对税收数据进行分析时,其数据量庞大且复杂,难以直接对数据进行分析,因此在税收分析预测过程中需要对原始数据进行处理,建立符合业务逻辑、满足需求的数据仓库,它是以南海区大型企业的缴税信息数据和基本信息数据为基础,结合专业税务知识对数据进行预处理,清洗掉非法数据、冗余数据、错误数据等其他形式的噪声数据,建立符合本文主题的事实表和多个维表,从而建立的非增值税税务数据仓库。随后以非增值税税收数据仓库中的数据为基础从多个维度去考虑影响企业欠税的特征属性,实验发现企业欠税行为与地理区域、行业类型、注册类型有一定的时间关联性,最终结合税务人员提供的有关知识和经验确定影响企业欠税的多个特征属性,其中包含了财务方面的数据、纳税人的信息、纳税数据。最后,根据企业前一年影响企业欠税的特征属性数据来预测下一年是否会发生欠税行为,研究以深度学习算法为基础的企业欠税预测模型,并对模型输入层、隐含层、输出层的设计及模型优化。使用佛山市南海区税务机关提供的2015年和2016年非增值税税收相关数据,对预测模型进行准确率验证,分别对每一步优化得出的预测准确率进行记录和分析,目前得出最高平均预测准确率为88.45%,对比人工预测和计量等传统方法预测欠税不足80%的准确率有大幅度提高,并且使用多维度数据更加具有说服力,从而证明基于深度学习算法的企业欠税预测模型具有合理性与可靠性,为税务机关单位提供科学合理的研究思路。

关键词： 传感器网络   学生管理工作   数字化平台   数据仓库   数据采集   大数据处理技术   智慧校园   宿舍区   毕节市  

摘要： 对于中等职业学校来说,学生管理是学校管理工作的重点和难点。现阶段大多数学校都实现了数字化管理,有效提高了学校管理效率。但也有相当一部分学校在建设数字化管理平台的过程中缺乏统一规划和设计,导致各系统之间信息无法共享,形成信息孤岛,造成数据资源的浪费。本文将讨论在大数据背景下,如何充分利用现有数字化平台,结合大数据处理技术对学校各软件模块的数据进行整合、分析和挖掘,进一步提升学校的管理水平,让

关键词： 医疗健康数据   可视化   HTML5   数据仓库   数据驱动  

摘要： 随着医院信息化的发展和数字化、智能化医疗技术的进步,医院医疗信息系统中积累了大量的医疗健康数据,海量的医疗健康数据具有数字时代背景下“大数据”数据体量巨大、数据种类繁多的特点,传统的数据表达方式面临着极大的挑战。医院HIS、EMRS、LIS等信息系统虽然已经可以对不同的医疗健康数据进行存储管理和统一检索,但系统中的数据多以列表形式展现,医生若需要查阅病人完整的医疗健康数据则需要进行多级检索和筛选,这种多级检索、多次提取数据的方式存在效率低下、操作繁复的缺点,并且由于数据的海量性及查阅的复杂性,容易出现遗漏信息、信息获取误差等情况,这些都成为医生快速高效使用医疗健康数据的障碍。为了更好的挖掘医疗健康数据中潜在的信息,为临床医生、研究人员及决策者等用户提供参考,我们提出了一种基于HTML5技术实现医疗健康数据多维智能可视化显示的思路与方法,即医疗健康数据可视化工具,该工具可以对病人的医疗健康数据进行多维可视化显示,直观的医疗健康数据呈现方式使信息实现快速、准确的提取,帮助医生发现隐藏在海量医疗健康数据中的规律并获取知识,同时也可以利用这些数据为医院提高医疗质量提供分析基础和数据支持,甚至利用医疗健康数据做出临床医疗过程中的智能化辅助决策。本论文主要创新研究工作如下:(1)设计了一种适用于医疗机构的基于原有医疗信息系统数据的数据统计分析及应用展示平台,即医疗健康数据可视化工具(Medical and Health Data Visualization Tools,MHDVT)。MHDVT将医院医疗信息系统中的可用数据以多维可视化的方式展现,增强数据的可阅读性,使医生、研究人员等能够快速高效的使用医疗健康数据。(2)利用超文本标记语言HTML5,结合CSS3和JavaScript技术设计完成医疗健康数据的多维可视化智能展现。用户只需要通过浏览器即可实现对医疗健康数据的可视化分析,无需安装程序软件与浏览器插件,简化了使用流程。同时医疗健康数据可视化工具还通过XMLHttpRequest2等相关技术,解决存在的跨域等问题形式,使网站更好的适应多样化的使用环境,在使用便捷性和性能方面都有所保证,提升了用户体验。(3)设计研发了一种基于数据驱动平台的医疗健康数据使用方式,与传统流程驱动的平台相比,数据驱动型软件平台更加注重数据的价值,其特点在于由底层数据平台对医疗信息系统中的医疗健康数据进行抽取、清理和导入目标数据库形成有效数据,用户可以根据不同的需求提取数据,并通过可视化界面对数据进行观察、对比和分析,由用户自主实现数据维度、度量值与图表可视化形式的自由配置和个性化分析,满足多种场景的医疗健康数据使用需求,加强数据与人的“互动”,实现人机交互功能。

关键词： Obesity   body mass index   claims analysis   validation studies  

摘要： Objective: To evaluate the positive predictive value of claims-based V85 codes for identifying individuals with varying degrees of BMI relative to their measured BMI obtained from medical record abstraction. Methods: This was a retrospective validation study utilizing administrative claims and medical chart data from 1 January 2009 to 31 August 2015. Randomly selected samples of patients enrolled in a Medicare Advantage Prescription Drug (MAPD) or commercial health plan and with a V85 claim were identified. The claims-based BMI category (underweight, normal weight, overweight, obese class I-III) was determined via corresponding V85 codes and compared to the BMI category derived from chart abstracted height, weight and/or BMI. The positive predictive values (PPVs) of the claims-based BMI categories were calculated with the corresponding 95% confidence intervals (CIs). Results: The overall PPVs (95% CIs) in the MAPD and commercial samples were 90.3% (86.3%-94.4%) and 91.1% (87.3%-94.9%), respectively. In each BMI category, the PPVs (95% CIs) for the MAPD and commercial samples, respectively, were: underweight, 71.0% (55.0%-87.0%) and 75.9% (60.3%-91.4%); normal, 93.8% (85.4%-100%) and 87.8% (77.8%-97.8%); overweight, 97.4% (92.5%-100%) and 93.5% (84.9%-100%); obese class I, 96.9 (90.9%-100%) and 97.2% (91.9%-100%); obese class II, 97.0% (91.1%-100%) and 93.0% (85.4%-100%); and obese class III, 85.0% (73.3%-96.1%) and 97.1% (91.4%-100%). Conclusions: BMI categories derived from administrative claims, when available, can be used successfully particularly in the context of obesity research.

关键词： 数据清洗   函数依赖   推荐策略   数据质量   数据仓库  

摘要： 随着移动互联网、物联网、云计算等新一代信息技术的应用和推广，各个企业的数据量呈指数模式增长。要在海量数据的基础上为企业的未来发展做决策，数据质量问题就显得尤为重要。据统计，大型数据仓库中数据的错误率一般在5%左右甚至更高。如果数据质量达不到要求，将会影响从数据集中抽取模式的正确性和导出规则的准确性，使得决策支持系统产生错误的分析结果，从而误导决策。此外，数据科学家80%的时间都花费在数据清洗任务上，用于检测和修复数据中的错误。为此，研究数据清洗问题具有很强的实用性。　　现有大量的研究都是围绕基于规则的数据清洗展开，使用完整性约束来检测和修复数据错误。数据清洗规则通常包括函数依赖、条件函数依赖等。这些清洗规则通常是由领域专家提供，或者是通过规则挖掘算法发现再经由领域专家验证。现有的规则挖掘算法可以从给定数据集中发现函数依赖或者条件函数依赖。这些规则挖掘算法都假设原始数据集是干净的，然而，脏数据中错误的存在可能会导致一些函数依赖或者条件函数依赖在整个数据集上不成立。即便使用了规则挖掘算法，错误的存在也会导致在给定数据集上难以发现有效的函数依赖。　　为此，我们研究了从脏数据中发现清洗规则这一问题。具体包括：首先定义一个函数依赖的近似度，利用改进的TANE算法从脏数据中挖掘近似函数依赖，作为候选的数据清洗规则。其次，由于候选近似函数依赖数量庞大，用户不可能一一验证。因此我们设计了两种推荐策略：基于支持度的排序策略和综合得分排序策略。基于支持度的排序策略，是按照候选近似函数依赖的支持度进行降序排序。当一个近似函数依赖的支持度越大，其近似度就越小，就越有可能是正确的函数依赖。为了进一步精准推荐、高效检测数据中的错误，用户可以检索某一特定属性依赖于哪些属性。基于综合得分排序策略，需要预先固定近似函数依赖的右边。假设近似函数依赖右边是属性A，其它属性i与属性A的相关性分数为Ci，满足左边包含其它属性i且右边是属性A的近似函数依赖的支持度为Ni。根据相关性分数Ci乘以支持度Ni得到其它属性 i的综合得分Scorei，降序排列得到属性 A 依赖的top-k个属性，其中k默认取值为0。每次推荐都把左边包含top-k个属性的近似函数依赖放在前面，把其余近似函数依赖放后面。最后，我们设计和实现了一个针对脏数据的清洗规则挖掘系统，通过以上两种推荐策略，为用户推荐最可能的清洗规则。　　实验数据集包括一个真实数据集和一个合成数据集。针对真实数据集，采用两种不同推荐策略，在前20个候选近似函数依赖中就可以发现有用的清洗规则。针对合成数据集，假设原始的合成数据集是干净的，我们使用注入错误工具BART注入随机错误。实验发现对于合成数据集不论采用哪一种推荐策略，其召回率数值都是100%。以上实验结果充分证明我们的系统可以帮助用户发现有用的清洗规则。

关键词： 高速铁路轨道   网格   安全状态评定   安全状态预测   数据仓库  

摘要： 高速铁路轨道状态的变化直接关系到列车运行的安全性。对高速铁路轨道安全状态进行评定与预测可以帮助管理者实时掌握轨道设备状态劣化情况,合理地安排维修计划,从而实现从传统“周期修”到“状态修”的转变,对保障高速铁路运营安全性、可靠性和高效性以及实现资源的合理分配具有重要意义。随着铁路信息化的发展,借助信息化手段管理高速铁路轨道设备状态,可为管理者及时排查线路的隐患点提供技术支撑。本文在分析高速铁路轨道安全状态的影响因素以及高速铁路轨道状态劣化规律基础上,确定了本文的主要研究思路:采用网格化理论,将高速铁路线路离散化为若干较小的200m网格单元,针对轨道网格的安全状态评定和预测,主要开展了以下几个方面的研究工作:首先,构建了基于网格的高速铁路轨道安全状态评定模型。模型首先从功能性和可靠性两方面选取并计算轨道安全状态变量,针对状态变量间存在着信息冗余的问题,提出了基于主成分分析法的特征变量提取方法,进而运用聚类分析和TOPSIS的方法,以状态特征变量值为输入,输出是轨道网格的安全状态值,得出高速铁路安全状态量化结果和状态等级划分结果。以宝兰高铁为例,对上述模型进行了验证,结果表明,TOPSIS方法能够较为客观地评定轨道安全状态,为管理者合理制定维修计划提供依据。其次,在高速铁路轨道安全状态评定基础上,研究建立了基于多阶段威布尔模型和ARMA模型的高速铁路轨道安全状态预测模型,并对两个模型进行了实例验证与对比分析,分析结果表明,多阶段威布尔模型在预测精度上更为精准,预测精度可满足高速铁路轨道安全状态预测需要。最后,将相关研究成果应用于《宝兰高铁建维一体数字化管理信息系统》中,基于数据仓库技术,进行了系统实现,计算了宝兰高铁K1305-K1640范围内的网格安全状态值,并基于B/S架构实现了高速铁路轨道安全状态的可视化展示,系统已在兰州铁路局得到初步应用。

关键词： 数据类   测试策略   报表管理   数据仓库   管理平台   测试用例   映射文档   数据测试   数据加工   类测试  

摘要： 随着移动互联网的来临,智能设备及其他信息技术的发展,数据爆发式增长,将数据进行有序、有结构地分类组织和存储是非常有必要的。数据模型引入是人们解决数据组织和存储的几个重要举措,它强调从业务模型、数据存储和使用角度合理组织数据,达到在性能、成本、效率和质量之间取得最佳平衡。而对于银行系统,如何保证后台数据的质量、数据建模是否合理、汇总结果是否正确等日益成为影响银行持续发展和转型的因素。本文结合福建省农村信用社联

摘要： 随着经济发展与技术的飞速进步，针对实体的档案管理理念已经不适应现代化企业的发展，具体体现在1）管理成本的逐年上升。2）数字资源的产生、存储、传播与共享较纸质（或实体）档案效率高、成本低，且证据价值随着技术的发展不断进步得以确保、完善。3）企业内部多种业务信息系统不断上线，导致业务部门对“数据归档”和档案信息的需求越来越低。此外随着国家改革的不断深入，相关政策的试验性开展，企业数字档案馆建设应运而生，本文尝试分析数据仓库技术作为企业数字档案馆技术实现的应用前景。1 企业数字档案馆理解及功能定位1.1 企业数

关键词： Big Data   Cardiometabolic health   Clinical trials   Heart failure   Outcomes  

摘要： Introduction: An objective of the Meta-AnalyTical Interagency Group (MATIG) is to conduct patient-level meta-analyses of cardiovascular outcomes using data from publicly available repositories. We describe challenges with data re-use from a seminal trial, provide a systematic approach to identify and curate data elements for hypothesis generation, and establish stackable trials to support these analyses. Methods: We used data from the ACCORD trial to assess risk factors and their gender specific differences for the event of hospitalization or death due to heart failure (hdHF), in patients with type 2 diabetes*. We identified the data elements needed to answer the research questions, reviewed the trial protocol to verify definitions, extracted patient-level data, performed quality assessment and statistical analysis. The results showed a gender difference in the effect of intensive vs. standard glucose-lowering therapy on hdHF. To validate the findings, we sought additional trials in BioLINCC to develop a compendium for meta-analysis, and repeated these steps for each trial. Results: Challenges for reusing the ACCORD trial included access to complete patient-level data and metadata. The compendium, developed to evaluate the stackability** of data across trials, identified differences in trial designs, patient populations, study interventions, and data elements that may impact the feasibility and interpretation of meta-analysis. An example of compendium components is shown in Table 1. Conclusion: High-quality metadata facilitate re-use of trial repository data. This compendium standardizes common data elements for gender, racial and age-group specific outcome assessment in major clinical trials. It provides the framework to assess the fitness of trials for patient-level meta-analyses. Efforts are underway by MATIG to expand the compendium to include risk factors and major cardiovascular outcomes across multiple large trials for meta-analysis. [ABSTRACT FROM AUTHOR]