课程文献中心 更多>>

关键词： 分布式文件系统   元数据   持久内存   批量操作  

摘要： Ceph文件系统具有高扩展性、高可靠性和高可用性,因此得到了广泛的应用。大数据时代的应用场景呈现出海量小文件存储和批量文件操作的趋势,通常会导致元数据服务的扩展性和性能问题。元数据操作通常占文件系统操作总数的50%以上,元数据服务的性能将会显著影响文件系统的性能。为了提高元数据服务的扩展性和性能,Ceph文件系统采用数据和元数据分离、动态分布式元数据管理、可靠自主的分布式对象存储等设计,并增加了对持久内存和远程直接内存访问技术(Remote Direct Memory Access,RDMA)的支持,但因其内部机制复杂和过多的抽象封装导致软件开销较高,无法发挥出新型硬件性能优势,不能有效提升元数据服务性能。通过研究Ceph文件系统中元数据服务的关键技术和性能瓶颈,发现元数据操作冗长的软件栈严重限制了新型硬件的高性能,元数据服务的单文件处理模式导致批量元数据操作的执行效率非常低。针对元数据操作软件栈冗长的问题,提出了一种精简化的元数据存储栈方案(Simplified Metadata Storage Stack,SMSS),绕过复杂的存储软件栈,直接在本地管理和访问持久内存,以降低元数据存取操作的软件开销。针对批量元数据操作执行效率低的问题,提出了一种批量元数据操作优化方案(Batch Metadata Operation,BMO),结合路径分组和批量日志提交两种技术,优化批量元数据操作的内部处理流程,以提高元数据服务的处理效率。由于Ceph系统中对象存储引擎无法发挥出持久内存的高性能、可字节寻址等特性,因此设计了一种适用于持久内存的轻量级对象存储引擎(Persistent Memory Lightweight Object Store,PMLOS),提高对象读写性能以支持元数据的持久化与访问。实验结果表明,PMLOS对比RocksDB,能够将写性能提升至3.2～6.4倍,读性能提升至1.8～6.8倍。SMSS能够将原系统中元数据操作的平均延迟降低37.2%～54.1%,峰值吞吐率提高至1.5～2.0倍。BMO能够将原系统中元数据操作的总体响应延迟降低36.2%～47.3%,峰值吞吐率提高至2.5～3.3倍。

关键词： 制造企业   设备管理   OEE   5S管理   提案改善  

摘要： 近年来，制造业用人成本越来越高，一方面，因为员工工资待遇连年增长：另一方面，因为互联网经济与服务业的快速发展，越来越多的年轻人不愿意进入辛苦的制造业，制造企业面临招人难、离职率高等问题，增加了企业的管理成本。这使得制造企业使用机器替代人工的意愿越来越强烈。随着自动化、智能化技术的不断进步，自动设备的研发与使用成本越来越低，让“少人车间”甚至“无人车间”成为现实。然而，随着自动化设备数量的增加，企业面临新的挑战－如何高效管理与使用设备？　　本文从设备管理体系角度分析了A公司设备管理存在的问题，并提出了相应的解决办法。首选，分析了A公司设备管理组织架构，通过现场走访调研，发现现有组织架构不利于沟通、设备故障处理效率低的问题，基于组织调整的职责清晰与精简原则，针对性地提出了设备管理组织架构调整方案，将设备管理人员调整至设备使用方直接领导，不但提高了维修效率，而且极大减少了责任不清楚，互相推诿的现象;其次，针对绩效考核制度的不足，通过将设备管理关键指标OEE（设备综合效率）、MTBF（平均故障间隔时间）、MTTR（平均故障修复时间）、5S活动执行情况、规范类作业执行情况加入了考核体系，提升了设备管理人员的积极性;再次，针对现场管理能力薄弱及人员技能不足的问题，制定了提案改善和5S管理制度，通过常态化的稽核、评比、教育训练、持续改善等手段，持续提升公司基层管理人员的能力与现场管理能力，解决现场作业环境脏乱差现象，降低设备故障率，最终提升设备综合效率;最后，本着职责清晰、利于问题分析的原则，针对系统记录的停机损失类型分类及其收集方式问题，给出了具体的解决方案。依据责任部门唯一及停机项目最大化自动化识别的思路，将停机损失细分为21类，分别由5个部门分开负责，更利于问题的分析及解决。同时建议完善设备管理信息化建设，助力设备管理相关信息的收集，利于掌控设备状态，及时解决问题。

关键词： 图处理   分布式系统   高性能硬件   大规模数据处理   图聚合   图OLAP  

摘要： 近些年来,随着互联网业务的飞速发展,大规模图数据集开始在许多领域大量出现,并且催生了许多相关的图计算应用。在系统设计层次,现阶段的大图场景主要产生了两类需求:对大规模数据的容纳与处理能力的需求;以及实现低响应延迟的高密度算力需求。对应地,大图分析系统主要基于两种路线进行构建:基于不同图计算模型的CPU分布式图分析系统,或者是基于高性能计算硬件(包括GPU、FPGA等)的单节点图分析系统。然而,这两种解决方案都仅能满足单方面的需求、而非全部。因此,设计一个能够同时对两方面扩展提供支持的大图分析系统就变得很有必要。就计算模式而言,图分析系统及其上层的图分析服务分别对应于迭代式图计算和聚合式图计算。迭代式图计算是这样一种计算模式,其通常基于图的拓扑结构,并且通过对于形式恒定的算法步骤的重复,从而迭代地生成最终的计算结果,或达到某个给定的计算边界。聚合式图计算对大规模图数据集产生小而易于理解的摘要,并且对应用场景下所指定的数据特征进行集中表示。迭代式图计算与聚合式图计算都面临着大数据规模和高密度算力需求所带来的挑战,但是现有的大图分析系统还不能对聚合式图计算提供很好的性能支持。因此,我们希望给出一种图分析系统的框架设计,能够同时向迭代式图计算与聚合式图计算提供集群上的横向规模扩展与在算力上的纵向规模扩展支持。鉴于以上需求,本文设计了一个支持集群的横向与算力的纵向扩展的图分析系统的高性能图分析中间件,可以接入分布式图分析系统和高性能计算硬件,也可以支持迭代和聚合式图计算,并在此基础上进行了一系列优化。我们的主要研究内容可以分为如下三部分进行阐述:1、通用的图计算框架设计。该部分的主要目标是构建一个能够同时支持在集群规模上的横向扩展与算力规模上的纵向扩展的中间件框架,主要可以分为如下几个部分:Daemon-Agent部分的设计在核心层面上保证了中间件在横向与纵向两个层面的扩展能力;基于共享内存的数据传输流程与可灵活实现与接入的API从数据与程序层面提供了对于图算法高效处理与多样性的支持。中间件还针对不同的部署环境提供了一系列的针对性优化措施,以保证在其上的部署能够被高效执行。2、面向迭代式图计算的中间件优化。该部分的主要目标是逐层剖析该系统的执行流程,找到导致潜在的性能低下的问题,并加以优化。这些优化从三个层次被组织起来:在每个计算迭代内,为了解决数据流转流程过多而导致的计算硬件利用率低下的问题,我们设计了流水线重组机制,其目的是在保证数据交换高效的同时,提升计算硬件的利用率和系统的整体性能;在计算迭代之间,为了解决由冗余的数据同步流程而导致的额外开销的增加,我们设计了同步缓存机制与同步跳过机制,因地制宜地减少乃至消除数据同步对系统所造成的性能影响;在计算流程之外的整体框架下,为了保证系统能够实现负载均衡,我们设计了一套代价模型来评估系统的开销,并在此基础之上提出了两种不同模式下的系统负载均衡方案,来帮助系统整体达到更优的性能。3、提供对于聚合式图计算相关应用的支持。为了能系统能够胜任更为复杂的实际应用场景,我们向中间件框架中引入聚合式图计算的计算模型以及性能优化手段。这些优化从三个层次被组织起来:在线程级别,我们通过定制的BSP模型实现了聚合无锁化,从而消除了锁带来的额外开销。在此基础之上,我们还提出了聚合紧凑化机制来保证性能更优的聚合计划能够被生成并执行;在线程块级别,我们通过实现数据分布感知的流式图分区来实现了对于分区之间聚合用数据的均匀分配;在系统整体级别,我们还建立了代价模型来对系统性能进行评估,并对线程块大小的配置进行指导来帮助系统达到更好的执行性能。综上所述,在本文中,我们提出了中间件GX-Plug。通过该中间件,人们能够构建定制化的图分析系统,同时为迭代式与聚合式图计算提供在集群规模上与在算力上进行灵活扩展的支持。在此基础之上,我们提出了针对图分析系统的多个性能优化手段,为系统在横向与纵向扩展上的高效性能提供了保障。

关键词： 数据管理平台   老年人健康数据   智能算法   微服务架构   Spring Cloud   设备管理  

摘要： 近年来,随着社会经济的发展与技术的不断进步,人们的寿命越来越长,我国已经进入了老龄化社会。老年人的日常起居一直是生活中的一个基本问题,特别是健康管理和活动监护方面,其既是老年人的日常生活需求,也是晚年生活的必要保障。因此,从老年人身体健康指标等角度进行分析,研究如何通过可用的手段更好地满足老年人以及特定用户的需求,并制定相关策略,对于改善老年人的生活质量具有重要意义。在上述背景下,本论文的研究目标是搭建基于分布式微服务架构的老年人健康数据管理平台,从数据收集、数据整合及智能算法数据分析多个角度让平台响应更高效,为用户提供有价值的服务。其中采用随机森林算法和神经网络语义分割算法对收集到的健康数据和场景画面进行实时监测和身体状态分析,提高了平台对用户身体状态和环境风险的判断能力。完成的主要工作包括:一,分析了数据管理平台与微服务架构的技术现状,依据使用者角色应用背景重点分析了业务需求和平台逻辑架构,明确了平台的设计与实现目标。设计了基于Spring Cloud Alibaba的微服务系统架构,定义了系统业务需求与性能需求。在主架构的基础上开展了平台系统功能模块设计、系统算法设计、平台数据库结构设计以及非功能性模块设计,并根据业务功能需求和高扩展性,细化了各个模块的设计内容。二,研究了健康数据管理平台的微服务架构整体实现过程:通过角色管理用户权限的方式实现安全访问,同时搭建了服务注册与发现、服务链路监控等微服务治理环境,对各个功能模块进行开发;使用MQTT(Message Queuing Telemetry Transport)物联网传输协议搭配消息队列以及Spring Gateway的方式作为网关服务的实现;健康数据服务实现了数据收集、上传解析以及数据存储持久化的功能;智能算法处理服务运用随机森林算法处理数值计算型数据,对收集的健康数据进行计算与预测,同时提出基于多重金字塔融合的语义分割算法处理场景画面图像数据,对身体状态、位置信息及危险情况等进行实时监测,帮助平台更好地判断使用者所处环境与身体健康状态;设备管理模块实现了各硬件设备管理、信息上传等控制性功能;还实现了平台缓存、动静分离等非功能性模块。总体平台基于Spring Cloud Alibaba架构实现,同时采用My SQL做存储,Redis做缓存,Docker进行环境搭建部署。最后通过自上而下的业务逻辑需求分析与设计,实现了数据收集、数据分析以及数据监控可视化的系统性平台。三,通过所搭建的测试环境对平台进行功能性测试与压力测试,结果表明本文设计的老年人健康数据管理平台具有良好的可行性与可扩展性,实现了老年人健康数据收集、健康状态判断与画面监控、数据分析等功能,能够对提升数据管理方面的信息化、现代化水平发挥积极有效的作用。

关键词： NKS公司   TPM理论   设备管理  

摘要： 我国轮胎行业经过近几十年的高速发展,已经从半机械化、机械化、自动化发展到了目前以智能化、信息化为特征的工业4.0时代。智能化是工厂的主要特征,智能设备一般制造精度高、稳定性好,而且广泛应用标准化、模块化的设计理念,自我纠错能力强,故障提示更为精准,故障量相对减少维护也更加方便,有些故障还可以通过远程方式解决。但各个系统也变得更加庞大、牵涉面更广,各台设备之间、各个系统之间以及设备与系统之间的关系更加紧密,需要更多的相互协作,要求我们设备管理更具整体概念和思维。本文首先通过文献研究法对设备管理、TPM的国内外相关文献进行系统梳理,为本研究提供了理论基础。其次通过案例分析法对NKS公司设备管理的现状进行梳理。然后通过问卷调查法对NKS公司设备管理中所存在的问题从设备管理整体情况、设备运行维护方面、设备维修管理方面、资产管理方面、制度管理方面等5个层面进行调查,基于调查结果对NKS公司设备管理中所存在的问题和原因进行系统分析。最后,基于TPM理论对NKS公司设备管理进行优化设计。具体得到以下结论:第一,NKS公司设备保养方面的问题最为突出,其次是备件管理制度方面的问题,然后是设备管理相关人员的技术和素质方面的问题,然后是设备运行效率等关于设备运行方面的问题。NKS公司设备管理问题的原因主要集中在组织领导方面、公司制度方面和人力资源管理方面。第二,本文引入了TPM理论,将TPM应用于NKS公司设备管理的优化过程中。首先,提出了优化目标和优化思路;然后,按照TPM的准备阶段、实施阶段和效果对比阶段等对NKS公司的设备管理进行全面优化,最终达到设备管理优化、提升公司生产运营能力、提高公司竞争力的目标。通过对NKS公司进行TPM理论应用的改革,可以对汽车制造业在以后的设备生产制造、生产线效能优化等方面产生一定的借鉴和实践意义。

关键词： 日志   分布式系统   任务分配   解析算法   循环神经网络   异常检测  

摘要： 近年来,随着网络支付、电子商务和即时通讯等应用软件的兴起,大规模分布式系统也得到了广泛的应用,同时也正在成为IT行业的核心组成部分,与传统的单机服务器相比,大规模分布式系统需要全天候保障其正常运行,为海量用户提供可靠服务。此类系统的任何重大宕机情况都可能导致不可计数的收入损失,因此需要构建异常检测框架来确保系统的可靠性。在提供系统可靠性方面,系统日志可以很好地胜任该任务,因此基于系统日志的异常安全检测方法应运而生。日志在系统管理中被广泛应用于可靠性保证,是检测系统是否异常的重要数据源。在系统日志异常检测流程之前需要将原始的文本结构日志解析成异常检测模型能够识别的结构化日志,为了完成日志解析这一前置任务,人们提出了很多根据日志特性设计的日志解析算法,从而达到提取结构化日志的目的。针对已有的日志解析算法的不足之处作出改良,以解析效率作为突破点提出了基于分布式的系统日志解析任务分配模型和基于启发式的系统日志解析算法,通过组合分配模型和解析算法完成日志解析任务。利用HDFS和BGL等五种数据集实验验证了模型和算法的可行性和有效性,缩短了日志解析所需花费的时间,提高了日志解析的效率在系统日志异常检测模块提出了基于RNN的系统日志异常检测模型,通过从日志中提取日志事件快速构建检测模型并使用日志编辑距离损失函数调整模型。通过该异常检测模型来检测序列是否异常,并通过与一系列基于SVM、LSTM和Autoencoder的系统日志异常检测方法对比,证明了本文基于ED-GRU的系统日志异常检测模型的有效性和可行性。

关键词： 分布式系统   图挖掘   图划分   频繁子图挖掘  

摘要： 图作为一种基本的数据结构,可以用来表达事物之间复杂的关系,被广泛应用到现实社会的诸多场景中。近年来,大规模图计算成为图研究中热门的研究课题。由于图数据规模的增加以及图计算任务具有迭代性的特点,传统的Map Reduce框架需要反复读写HDFS,难以支持高效的图计算任务。因此,学术界和工业界设计了多种不同的并行图计算平台,以提高大规模图计算的效率。然而,大规模图数据的并行挖掘框架面临着以下挑战:(1)图数据规模大、单遍扫描、实时性高。高效图计算面临的首要挑战是如何高效地对图数据进行划分以实现并行计算。为提高图划分效率,并行图计算平台普遍采用了流式图划分策略进行实时划分,然而这种实时划分策略在进行图划分时仅读取一次图信息,难以保证图分区的质量。(2)图数据存在幂律分布特征。现实世界的图数据通常存在少量的包含数百万邻居的高度数顶点,是幂律图划分中的难点。单一的图划分策略不能同时对高度数顶点和低度数顶点的划分进行优化,难以兼顾负载均衡和低通信开销。(3)图挖掘算法具有高阶复杂性。许多图挖掘算法需要从图中寻找特定的子结构,在迭代计算中需要依赖多阶邻居顶点的信息,其计算复杂度随子图规模呈指数级增长,传统的顶点式图计算模型很难支撑复杂图挖掘算法的高效计算。针对图挖掘中存在的上述性质和挑战,本文从数据并行和计算并行两个维度研究高效的图计算平台,对流式图划分建模、混合图划分算法、并行频繁子图挖掘框架三个关键问题开展研究,主要贡献与创新点如下:(1)基于组合优化的流式图划分方法。实时图划分仅扫描图结构一次,难以保证图划分的质量。为了提高实时图划分的质量,本文将流式图划分中的边划分问题建模成一个带约束的组合优化问题,基于组合优化的视角寻找完全图划分的最优解,并将其扩展到一般图的情况。本文提出的算法从理论角度对图划分问题进行建模,首次对生成的图分区给出了严格的副本率上界。对比经典的HDRF算法,本文提出的算法可以将流式图划分的时间降低三倍左右,同时划分质量的提升超过一倍。(2)面向幂律图的混合划分算法。现实幂律图中顶点的度数存在高度差异,单一策略在图划分时难以兼顾负载均衡和低通信开销。为了提高幂律图划分的质量,本文提出了一种面向幂律图的混合划分算法,使用平衡边划分模型解决了幂律图中高度数顶点划分质量差的挑战,并采用标签传播策略将低度数顶点划分到最近的邻居顶点所在的分区,从而在图分区中保留了幂律图的局部拓扑结构。在多个幂律图数据上的实验表明本文提出的图划分算法可以将图计算的效率提高两倍左右。(3)基于单机多核架构的并行频繁子图挖掘框架。频繁子图挖掘是一类典型的具有高阶复杂性的图挖掘问题,需要庞大的算力支撑。为了提高频繁子图挖掘的效率,本文设计实现了一种通用的单机并行计算框架Prefix FPM。Prefix FPM设计了前缀投影的数据结构,并提出了前缀投影的方法,实现了支持度的计算快速,降低了频繁子图挖掘的复杂度,从而提升了频繁子图挖掘的效率。同时Prefix FPM设计了基于任务的并行挖掘策略,可以充分利用机器的算力。此外,Prefix FPM将前缀投影的方法拓展成为一个解决频繁模式挖掘问题的通用思路,实现了频繁路径挖掘、频繁子树挖掘和闭合频繁模式挖掘算法。在多个公开数据集上的实验表明Prefix FPM将频繁子图挖掘的效率提升了两个数量级。(4)面向分布式架构的三阶段频繁子图挖掘框架。由于频繁子图挖掘过程会生成海量的中间结果,在分布式场景下存在严重的通信瓶颈。为了降低分布式频繁子图挖掘的通信开销,本文实现了一个分布式频繁子图挖掘框架Par Prefix FPM。Par Prefix FPM在上述基于前缀投影的挖掘框架的基础上,采用三阶段的频繁子图挖掘流程减少分布式挖掘的消息量,并实现了基于生产者-消费者模型的异步通信机制。在多个公开数据集上的实验表明Par Prefix FPM极大地降低了分布式频繁子图挖掘中因通信引起的计算延迟,可以为频繁子图挖掘算法提供良好的加速效果。

关键词： 山东A钢铁公司   精益设备管理   FMEA   预防性维修   持续改善  

摘要： 钢铁工业是制造业最重要的基础工业之一,也是国民经济最重要的一个支柱。现代化的钢铁企业设备具有大型化、流程化、自动化等特点,设备运行状况和功能精度直接影响产品的产量、质量、成本。山东A钢铁公司面对当前复杂的外部经济环境和激烈的市场竞争,如何充分利用其区位优势,提升产品附加值,利用管理手段降低运行成本,提升企业竞争力,是该公司面临的巨大挑战。本文以山东A钢铁公司为案例研究对象,在研究及分析精益设备管理相关理论的基础上,深入分析了该公司设备管理现状及存在的主要问题及其根因。详细设计了实施精益设备管理的总体思路、目标、框架和具体实施措施。结合企业实施精益设备管理的现状,又深入研究了相应的制度机制、评价指标体系、能力提升、信息化手段等应用对策。研究成果将有利于该公司设备综合效率的提升,对提高企业的设备管理水平和经营绩效有重要的促进作用,对同类型企业也具有一定的借鉴意义。

摘要： 《设备管理与维修》杂志系中国科协主管、中国机械工程学会和北京卓众出版有限公司主办的设备与维修工程分会会刊（国内统一连续出版物号CN11-2503/F，国际标准连续出版物号ISSN 1001-0599），创刊于1980年，是跨行业为企业设备管理、维修、改造和节能、环保服务的综合性信息型技术刊物。

关键词： 车载存储系统   分区命名空间固态硬盘   空间管理   文件系统  

摘要： 随着车载应用不断丰富，车载多应用场景不仅需要更高的存储容量和性能支持，还需要根据多应用的数据类型、访存行为等特征进一步优化车载存储系统。在多应用的访存行为中，写入模式可分为顺序写和随机写。对于这两种不同访存行为所产生的数据，混合存放容易导致多应用之间的访问干扰。因此，一种优化方法是基于多应用的访存行为实现数据隔离。但是传统的存储架构存在一些限制，难以实现多应用场景的数据隔离。新兴的分区命名空间固态硬盘（Zoned Namespace Solid State Drive，ZNS SSD）提出了一种存储架构，能以更低的开销实现存储扩容和性能提升，并且使主机端既能感知应用访存行为，又能感知硬件特征，从而为多应用场景提供了数据隔离的条件。然而，作为一种新兴的存储架构，为了实现车载多应用的数据隔离，目前仍需要解决两个关键问题：①空间管理问题，一些传统方案没有利用ZNS的应用感知能力实现空间管理的优化，在使用ZNS固态硬盘的过程中存在空间管理效率低下导致空间利用率低、较高的写放大和尾延迟等问题;②应用访问问题，现有方案在向应用提供ZNS的访问支持时难以兼顾两个方面：既能够提供通用性的访问支持，又能够充分利用ZNS固态硬盘的特性以实现多应用的数据隔离。针对上述研究现状及问题，本文完成了以下工作：　　（1）提出了一种面向车载多应用的空间管理策略，该策略包含三个核心点：①双重数据隔离策略，该数据布局实现了应用之间的物理隔离和应用的顺序写和随机写访存行为的隔离;②隔离区域的动态分配算法，通过虚拟化技术解决多应用场景的新增、删除、扩容、缩容动态变化，以提高空间利用率和空间分配的灵活性;③隔离区域的垃圾回收策略，分别向顺序写区域和随机写区域提供差异化的垃圾回收流程，以实现更集中、高效的空间清理。　　（2）提出了一种基于ZNS新型介质的车载文件系统DIFS（Double Isolation File System），该系统实现了本文提出的面向车载多应用的空间管理策略，并且能够为多应用提供良好的ZNS访问支持。DIFS主要包含四个工作：①基于双重数据隔离构建了一种新的软硬件数据通路，实现从用户空间到设备空间的数据隔离存储流程;②针对顺序写和随机写两种访存行为设计了分区并行管理策略，以实现差异化的空间分配与回收;③面向多应用的访存需求提出了文件并行管理策略，以提供差异化的映射机制和类POSIX的文件语义;④基于ZNS的空间管理单元实现了大粒度的介质管理以减少映射开销，并解决了无效数据统计、有效数据迁移、数据频繁更新等方面的问题。　　（3）开展了不同方案的对标测试，实验结果表明：在性能方面，DIFS比传统方案至少提升10%以上;在存储开销方面，DIFS在大容量、多应用的情况下在100~1000KB级别，而其他方案在10~1000MB级别;在垃圾回收方面，本文提出的数据隔离策略能以更低的写放大保持更高的空间利用率，以及更低的尾延迟。