铁路物资应用大数据管理系统首先构建物资专业数据库,需要补充和完善需要的数据项,构建物资专业全量数据体系,例如增加重要物资的生产日期,技术证件(复印件或图片),验收记录,复检复验业务数据,质量问题图片数据,供应商的生产许可数据、生产资质(图片)等数据;其次完善物资管理职能,丰富和增加基础数据源,例如修旧利废管理,废旧物资管理等,在提高对废、旧物资管理的同时,完善物资管理数据源;系统通过归集处理,完成对物资专业产生的数据、与物资有关的其他数据、来自互联网上的相关数据,还包括手工编辑导入的数据等集中处理,将这些数据(结构化、非结构化)归集到大平台数据库中,形成数据源;数据存储和处理,采用大数据技术对归集的数据源进行清洗、转换并存入不同的数据库,并进行汇总、挖掘处理,形成对外统一的大数据接口;数据查询、分析和预测系统对处理后的大数据根据业务需求进行各种统计、查询和预测,达到让数据张口,靠数据说话,减少因缺少数据支撑而带来的偏差,降低决策风险。
1 物资管理数据体系
在物资管理信息系统中,增加物资的生产日期、入库验收信息,相关技术证件、复检复验数据等;在物资质量问题反馈管理中增加质量问题图片;增加物资属性图片及供应商的详细信息(如生产规模、信誉等级、资质、生产许可和认证等),建立物资专业基本信息库,形成物资管理全量数据体。
1.1 完善物资管理职能
增加修旧利费管理子系统,对卸下的配件经过维修再利用,提高物资的使用率;增加废旧物资管理子系统,将报废的各类物资进行分类归集,由物资处进行统一处置,清算处理,冲减成本;增加物资质量跟踪管理子系统,与各专业的生产检修系统进行互联互通,实现对物资采购、检验、使用、维修、报废等全过程管理。
1.2 数据采集
数据采集就是从数据源收集、识别和选取数据的过程,随着业务的进行,各类数据的累积越来越大,如何有效地收集这些数据,保证采集数据的可靠性,避免重复数据,保证数据的质量,是数据采集这个环节需要解决的。
数据采集分为两个来源:数据来自应用系统之外,简称为外部采集;数据来自引用系统内部,简称为内部采集。外部采集主要来自物资经营的专业网站,例如东方财富网等其他一些网站,数据包括关注物资的价格变化数据,供应商的生产、销售数据,价格数据;还包括国家统计部门发布的GDP、PPI和CPI等;包括总公司、路局专业处室的下一时间段的大修、更新项目计划数据,主要用来分析和预测价格走势,下一阶段的物资采购预测等。
1.3 数据挖掘
数据挖掘作为一种决策支持过程,高度自动化地分析企业的数据,做出归纳性的推理,从中挖掘出潜在的模式,帮助决策者调整市场策略,减少风险,做出正确的决策。针对归集的大量相关业务数据,进行清洗、删除和处理,保证数据的.有效性和正确性,然后分析物资专业所关注各项内容(或关键指标)之间潜在的关系,找出影响分析结果的主、次因素,作为数据挖掘的基础。
2 数据分析和展现
在大数据分析与业务协同的基础上,利用基本分析引擎驱动的图形信息显示功能,建立管理仪表盘跟踪、分析、监控、预测关键指标和目标,实现对物资价格预测、需求和采购分析、质量跟踪、廉政风险防控等业务决策模型的最终分析运用结果进行展现。
2.1 重要物资价格变化趋势
根据每月产生的采购价格,形成价格的直观图表,同时可以关联相关数据预测未来一段时间内的价格走势;也可以显示历史(一年前过两年前的)变化,作为比较依据。
2.2 重要物资需求预测分析
根据物资大数据,可以分析预测出下年度的重要物资的需求数量,以便根据市场情况,提前做出采购预算,保证供应;分析结果可以通过报表或柱状图展示。
2.3 物资采购综合分析
根据物资大数据,对物资采购的各项指标进行综合分析,包括采购周期、采购方式、物资使用方向、采购金额、供应商反馈及问题投诉,从中发现可能存在的廉政风险,强化阳光采购。
2.4 库存周转与采购周期分析
根据物资专业大数据,对全局的库存物资的周转天数(能够按照物资小类、物资大类等)及相对应的采购周期进行分析,查找周转天数差异,找出问题所在,提高库存的周转率,杜绝库存积压、减少库存资金占用;分析结果通过报表或图形展现。3 技术方案总体架构。整个架构分为5层:数据源层,处于整个架构的最底层,包含物资管理系统及与之关联的全部业务数据:结构化、半结构化和非结构化。获取层:数据采集(ETL),负责对源数据的采集、清洗、转换和加载,包括:把原始数据加载到Hadoop平台。数据层:包括主数据仓库、分布式数据库及Hadoop云平台,Hadoop云平台负责存储海量的单据数据,提供并行的计算和非结构化数据的处理能力,实现低成本的存储和低时延、高并发的查询能力;主数据仓库(与MPP合设)负责存储指标数据、KPI数据和高度汇总数据;分布式数据库(MPP)负责存储加工、关联、汇总后的业务数据,并提供分布式计算、支撑数据深度分析和数据挖掘能力,向主数据仓库输出KPI和高度汇总数据。能力层:负责向上层的应用方提供大数据平台能力,同时提供统一的数据开放接口,使多方大数据应用方享用。应用层:为用户提供大数据平台的数据分析、查询、挖掘等功能,实现对物资管理专业的需求预测、采购预期、价格走势、物资质量跟踪、供应商绩效考核等综合分析。
