关键词:
大数据
数据策略
物流管理平台
分布式
摘要:
随着第三方物流行业的迅速发展,三方物流数据开始体现出数据量大、数据属性复杂与数据利用率低等特性。大数据技术在提供专业化数据处理能力的同时,其分布式组件部署方式更加契合企业稳定、灵活和可扩展的架构需求。论文工作来源于重庆汽车生态圈某第三方物流公司,该公司业务平台的体系架构与数据处理策略难以应对日益增长的发运订单数据规模,将大数据技术应用于物流管理平台可以在保证平台稳定的同时,提升数据处理能力。因此,论文工作具有理论和实践应用价值,以及显著的社会效益。基于大数据技术的物流管理平台已成为当前理论研究与应用实践热点,近年来取得了一定的成果,但经深度调研和分析发现,大多数的物流管理平台包括项目依托单位的业务平台,仍存在不足:(1)技术架构采用集中式服务器模式,扩展能力差,且存在单点故障等风险;(2)当前数据处理的技术架构无法应对迅速增长的数据规模;(3)数据处理和分析的流程不够完善,不能支撑对数据的深度和实时分析。论文工作主要对以上三个问题进行解决。针对项目依托单位现有物流平台存在的数据处理流程不完善、数据处理技术架构不能满足需求、扩展性不足且存在单点故障隐患等问题,论文工作的主要目标是基于大数据同步、计算、分层和调度等技术,研究并实现一套适应物流业务快速增长的,并支持实时和非实时两种数据处理方式的物流管理平台。论文主要完成了以下工作:(1)平台的分析与设计。首先,在熟悉重庆汽车生态圈某第三方物流公司业务流程的基础上,给出需求描述。其次,基于大数据技术并在面向对象方法学的指导下,完成进一步的系统分析工作,依次进行了总体需求分析、用例分析、数据对象建模、功能分析与性能分析。之后,根据分析结果对大数据框架技术及前后端技术进行对比分析选型。最后,根据系统分析和技术选型结果完成平台体系架构设计、功能架构设计、核心功能算法设计、数据库设计和界面设计等工作。(2)数据处理策略研究。描述并分析当前发运订单数据处理手段在数据结构、数据计算和数据存储等方面存在的问题,综合采用Flink-CDC和Data X数据同步机制、Flink和Hive实时与非实时结合的数据计算机制、数据分层机制与分布式集群部署的My SQL和Dolphin Scheduler的数据调度机制提出解决方案,并综合形成完整的数据处理全流程。(3)平台的实现与测试。基于平台架构设计、数据库设计、数据处理流程设计与Web功能模块设计等,使用Java语言完成平台开发,基于阿里云服务器完成数据库与平台的部署。并依据GB/T25000.51-2016测试标准进行平台的功能测试、性能测试、可扩展性测试与可移植性测试,结果显示各项评估指标均达到要求,证明平台具有较高可用性。论文达到既定工作目标,其理论创新主要体现在以下两个方面:(1)研究并实现了面向第三方物流订单数据的数据处理策略,提高了数据处理能力和分析效率;(2)设计并实现了面向第三方物流订单数据的物流管理平台,具有稳定性、高扩展性,避免了单点故障风险。论文工程应用价值和社会效益体现在三方面:(1)论文工作衍生自在单位实习期间参与开发的“重庆汽车产业生态圈网络协同制造共享云服务平台”项目,已上线部署,支持公司试用,具有工程应用价值;(2)论文设计并实现的高效数据处理策略,能够根据需求高效产生大量的发运订单业务分析结果,该结果可直接应用于车辆预测、车辆调度和车辆路径规划等相关研究工作,节省此方面的人力成本和时间成本,具有良好的经济效益;(3)论文系统有助于三方物流公司更好的处理与应用发运订单数据,为其他相关物流数据处理策略的研究提供新思路和新方法,具有良好的社会效益。在实际应用中,完整的平台服务应由硬件、软件与接口组成,本次论文工作的处理重点在于软件部分。下一步的研究重点是将硬件与接口融入到平台,实现更丰富的功能服务,使平台能适应协同工作需求。