课程文献中心 更多>>

关键词： PFC协议   死锁   队头阻塞   无损网络  

摘要： 随着应用数据的爆炸式增长,数据中心对网络传输的吞吐和延迟性能要求越来越高。越来越多的商业数据中心逐渐采用远程直接数据存取技术即RDMA(Remote Direct Memory Access)来实现高吞吐、低延迟的数据传输目标。该技术依赖于一个采用基于优先级的流控制协议(PFC协议)的无损网络。该协议在下游入队列将要溢出之前发送信息帧给上游端口,抑制其发送数据。然而,PFC协议抑制上游发送数据的同时会引起死锁、队头阻塞和暂停帧泛滥等严重问题,对网络数据传输具有极大的危害。为了规避这些危害,本文针对这些问题展开了深入的研究并提出了相应的解决方案,主要工作如下:1.针对死锁和队头阻塞的问题,本文通过分析问题形成的原因,改进了上下游速度协调机制,并且提出了多优先级解耦设计。具体来说,上下游速度协调机制利用反馈包生成器对下游入队列的长度进行监控并周期性采样,得到在固定时间尺度内的入队列长度变化,然后计算得出上下游的速度差值用来调节上游出队列的发送速度。该机制在保证入队列不溢出的基本前提下,避免了上游出队列完全停止发送数据的现象,消除了保持等待条件进而避免了死锁。除此之外,本文提出了多优先级解耦设计,通过下游的反馈包生成器计算出阻塞流(Congested Flows)的目的地址,上游节点利用数据包的目的地址信息以区分无辜流(Victim Flows)和阻塞流。对于无辜流,则临时插入选择的空闲队列,实现与阻塞流的解耦,能够降低无辜流的完成时间。大量实验仿真结果表明,拓展的PFC机制能够规避死锁的发生,并极大地减弱队头阻塞带来的影响,将阻塞期间无辜流的平均流完成时间降低40%以上。2.为了避免暂停帧的泛滥,本文分析发现其原因是阻塞期间各入队列的队头数据无法及时插入阻塞出队列。本文提出在交换节点上增量部署存储器的方案,临时存储阻塞的队头数据包并在阻塞缓解后释放。该思路可以有效缓解队头阻塞问题,进而避免阻塞的链式传播造成的暂停帧风暴。为了在覆盖所有数据传输路径的前提下使用尽量少的存储设备,本文对网络的拓扑结构和数据流的路径偏好建立数学模型,提出基于贪心的近似部署方案。实验仿真结果表明,通过增量部署存储器可以有效地将暂停帧限制在较小的网络区域之内,降低无辜流的完成时间并缓解死锁的发生。

关键词： 数据并行   深度学习   分布式系统   参数更新   掉队者  

摘要： 目前,数据并行已被广泛应用于分布式深度学习集群上的大型数据集训练,但在迭代边界处,它受到了昂贵的全局参数更新的影响。由于不均匀的工作负载划分或有偏见的资源分配而导致的训练任务之间的性能不平衡,由此引发的掉队者问题可能会严重影响训练速度和模型训练的准确性,给数据并行深度学习作业参数更新带来新的挑战。在负载不均衡的场景下,由掉队者问题引起的梯度延迟严重影响了参数更新的速度和模型训练的精度。本文研究的目的是如何解决该问题。为了提高模型参数更新的效率,保证模型训练精度,本文提出了基于数据并行的协同分组并行参数更新方法(Cooperate Grouping Parallel,CGP)。该方法是一种混合参数更新方案,基于训练性能对任务进行动态分组,组内任务采用同步参数更新,组间任务采用异步参数更新。组内同步参数更新保证了并行训练任务参数更新的正确性和模型训练的准确性,组间异步更新加速了参数更新过程,给组间协同互助提供了可能。本方法的主要特点是基于灵活的分组机制,支持通过在参数更新过程中动态地调整分组来调整任务组参数更新的负担,从而实现任务组之间互助协作的目标。在该混合参数更新方案基础上,本文建立了面向数据并行深度学习作业的任务协同分组并行参数更新模型。该模型对并行深度学习作业的训练时间进行量化描述,基于任务间进展之间的差异来描述模型精度。本文提出了基于数据并行的任务协同分组更新问题(Cooperate Grouping Parallel Problem,CGPP)。该问题的目标是在保证训练精度的前提下,通过动态调整协同分组方案,实现最优化的并行训练速度。本文进一步提出了任务协同分组算法CGP。该算法的主要特点是能够适应不同分布式系统场景下的并行规模,具体包括适应中小规模并行粒度的基于自适应遗传算法的协同分组并行算法CGP＿AGA,和适应大规模并行粒度的基于帕累托局部搜索算法的协同分组并行算法CGP＿PLS。本文主要贡献有:(1)本文提出了基于数据并行的协同分组并行参数更新方法CGP。提出了一种新颖的基于数据并行的协同分组并行问题CGPP,寻求在保证训练精度的前提下获得最优化的并行训练速度。(2)为求解CGPP,本文提出了针对中小规模的分布式并行环境的分组配置搜索算法:基于自适应遗传搜索的协同分组并行参数更新策略CGP＿AGA。(3)为求解CGPP,本文提出了针对大规模的分布式并行环境的分组配置搜索算法:基于PLS的协同分组并行参数更新策略CGP＿PLS。(4)综合评价结果证明了CGP在持续不平衡和波动不平衡下的有效性。该方法在不增加额外调整费用的情况下,减轻了不平衡的影响。

关键词： BIM   机场   设备管理   信息集成   系统开发  

摘要： 随着民航业的高速发展,民用机场的规模和运营速度大幅增加,对机场建设质量、效率、设备的安全性及可靠性的要求也在不断提升,同时伴随着数字化转型的浪潮推动,面临着机场向智慧、绿色、安全的阶段发展,使得当下机场的设备管理方式和信息化技术手段不再满足机场设备管理的需求。本研究基于此背景,针对如何实现“机场设备的智慧化运维管理”为研究目标,提出了一种基于BIM的机场设备管理系统,具体的研究工作如下:(1)通过对设备管理定义和机场设备管理内容的梳理,分析机场相较于其他建筑在设备管理方面存在的特殊性,并结合BIM自身特点及优势,分析BIM在机场设备管理工作中的具体应用价值,从而为BIM的应用提供了理论依据。在此基础上,通过对机场设备管理系统需求,系统架构、系统功能模块三方面分析,在理论上构建出本文所探讨的机场设备管理系统的总体框架。(2)从模型几何精度、信息深度两方面对机场设备运维模型提出具体的建模要求,并基于此要求利用Revit软件创建机场各系统设备族库,搭建航站楼BIM模型,实现设备模型的静态信息集成融合。选取My SQL建立机场设备管理数据库,实现对机场设备运维数据、用户数据、资产信息数据、巡检维护数据的存储、并通过SQL语句,建立数据库表间关系,实现了信息的检索、更新、删除。并且,通过对机场设备编码体系的设计,为机场所有的设备的赋予唯一的编码标识,实现了机场设备管理数据库与设备BIM模型之间的关联。(3)利用BIMFACE轻量化引擎对航站楼BIM模型轻量化处理,实现航站楼模型Web端显示,利用BIMFACE API进行二次开发,实现了Web三维视角下可视化管理功能开发。并利用JAVA语言,基于Spring+Spring MVC+My Batis系统框架对后端进行开发设计,利用Vue+ELement进行用户页面开发,完成系统各功能的部署与实现。最后,利用本文研究成果对乌鲁木齐某机场航站楼进行模拟应用,验证本文技术方案的可行性。本文所研究的系统得到如下成果:(1)采用B/S模式实现系统搭建具有显著的优势,仅通过浏览器便可实现各机场参与方的信息交流与传递。(2)实现了机场设备的可视化管理,在可视化管理界面,可以快速查找和定位故障设备,提高了机场维修工作的响应速度,支持设备三维可视化信息的查看,改变了以往机场翻阅文档的查询方式。(3)实现标准化管理,将机场设备巡检、维护、资产管理工作集成到统一的系统中,提高了任务下达和执行的效率,保证了设备运维信息反馈的真实性与及时性。

关键词： Query processing   Data exploration   Heterogeneous   Distributed systems  

摘要： The rise in the variety and amount of big data has sparked interest in data-driven applications. As a result, there is a growing demand for effective ways to explore, transform, and understand data across various platforms, including distributed systems. Getting insights from data involves cleaning, changing, showing, and combining data, which requires scalable systems for quick knowledge extraction. This thesis introduces new techniques for processing queries in big data management systems. Data exploration involves trial and error, often yielding empty query results. To tackle this, HQ-Filter is introduced—an agile hierarchy-aware data structure. HQ-Filter exploits data hierarchy to build a configurable, probabilistic filter, efficiently eliminating empty-result queries on the client side. Applied to UCR-Star and Cloudberry systems for spatiotemporal-textual data, HQ-Filter significantly boosts server capacity (up to 66%), accelerates response times (up to 15x), and reduces server workload (up to 90%). Moreover, for today’s data scientists, combining diverse big datasets via distributed systems using join queries with complex conditions is essential. However, the availability of methods that can generate an optimized query plan for such queries in Database Management Systems (DBMSs) is limited due to the implementation and integration complexities. To overcome this issue, we introduce the Flexible User-defined Distributed Joins (FUDJ) framework, which seeks to enhance the availability of optimized join algorithms within DBMSs. FUDJ enables partition-based distributed join algorithms without deep DBMS or distributed programming knowledge. Through a novel extensibility architecture, FUDJ enhances availability and diversity of optimized join algorithms, amplifying options for data scientists and database researchers. FUDJ facilitates query processing by embedding it in any query optimizer. Using ”CREATE JOIN,” FUDJ deploys join libraries, detects flexible distributed

关键词： 生产流程优化   生产线平衡   设备管理   布局规划  

摘要： 装备制造业是一国工业的核心,矿山机械制造业作为其关键组成部分,是国家基础工业的重要支柱。目前,我国矿山机械制造业面临着耗能高、科技含量低等挑战,迫切需要探索出一条降本增效之路。生产线是制造企业的根本,对生产线的优化有助于企业提高生产效率和资源配置效率,是企业提升生产水平以应对挑战的关键举措。然而,当前关于矿山机械制造企业生产线优化问题的关注度不足、研究深度不够,如何优化生产线是矿山机械制造企业提质增效和转型升级过程中亟待解决的问题。 P企业是山西省生产制造矿山机械的骨干企业,在实地调研的基础上选取其核心产品液压支架立柱进行生产线优化研究。首先,分析生产线现状及问题。采用灰色关联度模型评价生产线现状,发现生产线主要存在生产平衡率较低、设备管理不足和布局规划不合理三方面问题。其次,设计优化方案并实施。针对生产线不平衡问题,根据工作站工时和节拍的对比结果找出瓶颈工作站,使用双手作业分析、人机分析、作业流程分析等工业工程方法进行分析和改善,在此基础上,建立线性规划模型并使用Lingo求解,优化工作站的划分;针对设备管理问题,基于设备维修记录、维修信息传递路径以及维修物料管理情况设计优化方案,为P企业建立EFMEA管理模式(Equipment Failure Mode and Effect Analysis)、引入MRO数字化系统(Maintenance,Repair,Operation),使企业实现设备全生命周期管理和非生产性物料智能管控;针对布局规划问题,充分考虑本生产线自动化设备数量多且设备间存在相互制约的特点,将优化工作分两步进行,首先合理划分生产单元,再以此为基础建模并运用遗传算法求解,从而得到搬运成本最小的生产单元排布方式。通过对比优化前后的生产线平衡率、设备综合效率及搬运成本等指标,验证改善效果。最后,为工作站优化、设备优化以及布局优化提出保障措施。在工作站方面,P企业应针对生产人员组织培训教育、提高生产工艺水平;在设备方面,既要充分发挥MRO服务数字系统的功能,加强设备管理责任落实,又要运用PDCA循环强化安全生产管理;在布局方面,提出要提高生产线布局柔性,全面实施6S现场管理,改善工作环境。通过对P企业液压支架立柱生产线的优化,提高了企业产能和数字化生产水平,同时,提供了一系列优化经验,拓展了生产线优化问题在矿山机械制造领域的研究。

关键词： 铁路   桥梁   单元   设备管理   安全生产  

摘要： 铁路桥梁设备作为铁路的重要基础设施，其信息化管理水平的高低对确保铁路行车是否安全运行尤为重要。为了进一步提高铁路桥梁设备精细化管理水平，改善现有铁路桥梁设备秋检状态评定方法的不足，依托全路统建的铁路工务安全生产管理信息系统桥隧子系统，研究构建了面向铁路桥梁设备检查和养护维修全过程的单元化管理体系，实现了桥梁设备单元划分及基于单元的设备管理等功能。经实践应用表明，铁路桥梁设备单元化管理能够更准确地掌握设备状态，更精准地定位设备安全隐患问题，辅助及时消除设备安全隐患。

关键词： 日志结构文件系统   分区命名空间固态硬盘   元数据同步   增量更新  

摘要： 日志结构文件系统采用异地更新模式,旨在将随机写入转换为顺序写入以提升写性能,但这种方式同时也造成了高频的元数据更新,导致文件同步时元数据页写回数量的上升。过高的元数据同步开销导致了严重的写放大,降低固态硬盘寿命并影响文件系统性能。基于分区存储模型的分区命名空间固态硬盘(Zoned Namespaces Solid State Drive,ZNS SSD)相比于传统固态硬盘具有更高写吞吐、更大容量和性能可预测等优点,是固态硬盘重要的发展方向之一。然而ZNS SSD逻辑分区内的顺序写限制加剧了日志结构文件系统元数据同步写放大问题并使得现有的优化策略失效。针对应用ZNS SSD带来的日志结构文件系统元数据同步写放大问题,提出了面向ZNS SSD的日志结构文件系统同步机制优化方法。在文件系统层提出了文件元数据同步的增量写回方式与动态写回策略,通过量化评估文件元数据脏页的全量持久化效率,自适应地选择合适的写回方式,明显减少了元数据同步导致的闪存页写入次数。在设备端提出了使用可字节寻址的非易失性存储器存储文件节点更新数据的日志,设计基于日志结构的段分配与轻量级垃圾回收机制保证存储空间管理的灵活性,实现了对ZNS SSD的功能增强,支撑文件元数据同步的增量写回。此外,设计了二阶段崩溃恢复方法,利用增量日志的一致性结构检测并恢复设备端日志数据一致性;基于日志数据恢复文件系统元数据,保证了同步机制优化方法不会破坏文件系统原有的崩溃一致性。分别使用移动设备和服务器场景下的同步操作密集型负载对论文提出的方法进行了测试。实验结果表明,该方法能够有效减少文件元数据脏页的写回数量,避免未修改元数据的反复写入,文件系统写性能得到明显提升。与基于ZNS SSD的原生F2FS相比,文件系统写吞吐量提升7.0%～107.1%,写放大倍数减少了11.89%～36.42%。

摘要： 从今年7月1日起，由工信部发布的《无线电发射设备管理规定》（简称《规定》）正式实施。《规定》的实施，有利于从源头防止和减少无线电干扰，全面提升电波秩序治理能力；同时，有关型号核准简政放权等措施的施行，能让众多企业从中受益，有利于促进无线电产业的高质量发展。对无线电发射设备实施有效管理，是无线电管理机构的一项重要职能，是从源头减少无线电干扰、维护良好电波秩序的重要手段。2016年11月，

关键词： 区块链   比特币   分布式系统   数据采集系统   数据开放服务  

摘要： 区块链作为构建分布式总账系统、实现价值互联的关键基础设施,其上承载的数据量愈加庞大,这使得区块链系统成为了蕴含丰富价值的数据源。其中,区块链形成过程数据展示了区块链系统运行的各种微观细节,是区块链平台建设、金融与安全等方面研究工作的重要数据基础。但由于受到数据规模、运行效率和客户端性能的限制,区块链系统不会记录和保留这些运行时数据,这致使目前区块链系统中的区块链形成过程数据不可追溯,且难以获取。为了解决这个问题,本文设计并实现了针对区块链形成过程数据的数据采集方案。首先,本文制定了用于描述和表示区块链形成过程的数据标准。分别从单节点和多节点的视角出发,在区块同步过程、区块同步阶段、区块同步事件以及区块同步时间四个尺度下完成了对区块链形成过程的描述,并设计了恰当的数据结构对每个尺度下的区块链形成过程加以表示。然后,本文选取代码插桩技术作为数据采集的实现技术。在已制定数据标准的基础上,本文完成了具体的数据提取和数据采集工作,最后完成了数据采集方案的实现。本文对插桩代码和插桩输出方式均进行了良好的设计,保证了数据采集过程的独立性,并提供一定的数据扩展能力。在完成数据采集方案的设计与实现后,考虑到数据采集方案在数据采集过程控制、数据采集规模提升、数据共享和使用方面存在挑战和问题,本文设计并实现了针对区块链形成过程数据的数据采集系统,具体工作如下:(1)实现对数据采集过程的完全控制:本文将数据采集过程拆分为数据输出和数据上报两个阶段。数据采集节点只负责采集数据并输出,读取输出并上报的工作交由其他系统模块完成。通过这样的设计方式,能够将数据采集进度从数据输出进度转化为数据上报进度。由于数据上报进度对于系统来说完全可控,进而实现了对数据采集过程的完全控制。(2)支持多数据源下的并行数据采集:单一数据源下的数据采集工作,由于其局限性无法支持更多研究工作。因此,系统需要支持多数据源下的并行数据采集。为了有效地提升数据采集规模,本文充分考虑了数据采集、数据处理和数据存取等方面的效率问题。从架构设计、功能模块设计、代码实现等方向分别入手,最终实现了对任意数目数据源下并行数据采集的支持。(3)支持数据开放共享:采集数据在数据开放共享方面长期存在着数据孤岛、权限划分不清等问题,这已成为释放数据价值的关键障碍。为此,本文设计并实现了数据开放服务,对外部提供数据开放接口。接口支持各种类型的数据查询,还支持多数据源下的数据融合。接口具备良好的兼容性和扩展性,能够适配各种数据使用场景。(4)优化数据采集系统的应用能力:本文从数据采集的实时性、可靠性和正确性,海量数据存储和读取的效率以及系统可用性、可伸缩性和可扩展性等多方面对数据采集系统的应用能力进行了优化和改进,使数据采集系统能够支撑更广泛的数据应用。在完成数据采集系统的设计与实现之后,本文在数据采集系统中部署了三个数据采集节点同时采集数据,完成了对系统的功能性测试。本文还从数据实时性和系统故障率评估两方面对数据采集系统做了非功能性评估。评估结果表明,本文实现的系统具备足够的应用能力,完全能够满足大多数研究工作的数据需求。最后,本文总结了目前系统在采集数据丰富程度、数据采集过程自动化控制、数据采集规模提升、数据实时性和可靠性以及系统自动化运维等方面存在的不足,并对未来的工作做了展望。