为构建业务、技术、数据一体化的企业基础数字技术平台,促进形成标准统一、规范采集、有序流动、合理共享的数据资源能力,近年来,福建烟草按照“强后台、厚中台、薄前台”的架构,打造“服务共享”式的开放平台,最大化利用数据中台对技术、数据、业务的支撑和共享能力,构建福建烟草大数据资源目录,形成数据共享服务体系,提供数据服务的设计、开发、测试、上线到销毁的全生命周期管理,依托数据中台提供数据服务的发布及访问,不断沉淀共性数据服务,实现数据资源的共享和应用。
福建烟草数据中台的整体规划
以IAAS、PAAS层组件工具为支撑,福建烟草围绕全领域、全终端“一切业务数据化,一切数据业务化”战略目标,全面推进数字化转型,形成“数据集中统一、应用百花齐放”的格局,最终实现业务、数据应用智能化升级。
具体而言,福建烟草数据中台的总体架构分为统一赋能前台、统一数据平台、统一计算后台三层。
统一赋能前台:通过数据平台提供的数据能力,打造“智慧营销”“智慧物流”“智慧烟叶”等福建烟草大数据应用体系,实现消费者画像、零售客户洞察等通用基础服务能力,以及销量预测、智能配货等个性化场景的分析服务能力,以数据赋能前端业务,实现数据分析价值化与服务化。
统一数据平台:依托福建烟草沉淀的数据资产,整合产业链供应链各环节数据,并实行统一管理、运营,形成四个“统一”模式。一是数据整合,包括公共数据存储(缓冲数据层、公共数据层、萃取数据层)和数据开发;二是数据标准,建立新的面向大数据管理和应用的技术标准;三是数据服务,通过对数据中台各方面能力的总结、提炼,实现数据共享能力的目录化、服务化;四是数据治理,包含权限控制、资产管理、质量管理、运维管理等。
统一计算平台:基于福建烟草的专有云平台能力,借助大数据组件及分布式计算存储框架,实现企业大数据存储,同时为数据中台提供基础计算能力。通过离线计算平台MaxCompute、流计算平台Stream Computed等提供的数据管理和计算能力,为数据整合、数据分析算法提供高效的计算支持,支撑离线计算、实时计算、在线分析等大数据分析计算能力。
通过对数据中台的整体规划,福建烟草数据中台充分发挥大数据底座能力,整合各业务系统数据,构建数据挖掘模型,以数据驱动营销、物流、专卖、烟叶等业务的决策管理,为业务提供共享、可靠的数据服务,通过数据赋能业务,逐步实现系统集成、资源整合、信息共享,构建数据中台的能力,推进企业数字化转型。
打造资源共享:通过构建数据中台,有效整合数据资源,做到数据共享和资源统筹,从全局视角实现全域管控和应用集成,赋能行业资源配置和管理效率不断提升,推进行业生产链供应链的高效运转。
促进业务协同:福建烟草数据中台实现不同业务系统数据的高效集成,通过数据处理分析、价值挖掘,建立了结构完备、组织有序、灵活可拓展的数据资源体系,支持跨部门、跨领域业务协同;构建营销、物流、专卖、烟叶、财务等应用,通过数据资源共享,实现信息、数据在不同业务系统中的交互,增强横向业务协同,助推福建烟草构建统一、集成和可扩展的信息化平台。
提供开放服务:通过搭建统一的数据服务总线,福建烟草数据中台能够提供统一的API服务和服务管理能力。支持将现有API注册到开放服务平台进行统一发布和管理。同时,开放服务平台和API网关打通,能够将API服务一键发布到API网关。开放服务平台与API网关一同为用户提供低成本、易上手、安全稳定的数据开放共享服务。
进一步完善面向应用的标准体系
福建烟草按照一体化平台信息分类编码规范要求建立数据标准体系,进一步推进数据元、主数据、数据建模、多级数据传输的标准化建设。在福建烟草现有数据标准体系基础上,结合大数据建设要求,在新的数据源、采集方式和应用需求驱动下,对原有数据标准体系进行适配性升级,建立新的面向大数据管理和数据应用的标准体系。
建立数据采集标准。基于数据中台的数据采集需要面向更多异构、实时数据的对接和交换需求,包括各种物联网设备、外部数据等,数据类别也涉及半结构化与非结构化的数据。根据数据特征,针对不同业务类型、技术架构,福建烟草制定了不同的数据采集策略,建立完善标准规范的数据采集体系。
建立数据模型标准。对福建烟草企业级数据模型进行规范定义,包括定义数据维度、业务过程、原子指标、业务限定等。数据标准定义范围从事实明细数据、汇总数据的宽表模型,到萃取数据的标签模型、指标模型。通过构建数据模型的标准化体系,实现数据模型的规范化管理。
建立数据服务标准。数据服务是面向应用系统提供的数据处理、算法模型、标签分析等服务形式,以数据服务化为目标,构建数据服务工厂理念,建立数据服务目录,对服务的申请、使用、对接、运行维护进行规范化约束,构成数据服务标准。
标准体系搭建后,福建烟草数据中台根据大数据治理需求,坚持问题导向,构建数据中台治理体系,实现福建烟草数据资产的系统性治理。福建烟草数据中台贯穿数据全生命周期打造“四化”数据治理体系。
治理范围“全域化”。数据治理具备企业数据资产全链路管理能力,以元数据、主数据、数据质量和数据生命周期管理为基础,对企业的标签库、模型库、指标库和规则库等核心数据进行一体化管理,同时依托数据血缘关系图谱、资源运营视图和端到端运维监控实现数据全生命周期完整跟踪。
治理模块“协同化”。数据治理体系统筹管理企业数据资产,包括数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理等,各模块协同运营,确保数据中台的数据一致、共享、有效。在福建烟草现有代码管理中心、主数据管理系统基础上,构建、完善福建烟草大数据相关模块的协同化管理。
治理模式“规范化”。随着时间推移,数据存量不断增加,治理成本、治理难度不断加大。为避免产生“成本中心”,数据治理需要考虑建立完备的组织、角色、制度、流程,构建企业全域的数据标准、数据架构、存储架构等规范,实现数据中台对数据资产的管和用,提升挖掘数据价值的能力。
治理能力“可靠化”。数据资产建设完毕后,充分盘点资产分布和使用情况、计算存储成本情况以及资源应用情况,保障资产的可用和正常运营;对资产的使用价值进行评估,通过机制、工具和方法保障优质资产,对质量较差的资产进行完善和优化;实现问题发现、缺陷预警和质量处理的功能,保障数据质量和数据安全。
新意盎然——安徽中烟在新质生产力实践中的探索与成果