大型集团数据资产化探索与实践之路
发布时间:2025-02-14 浏览次数:348 来源:数据驱动智能

辛华,数据治理专家,现任石化盈科信息技术有限公司 数据业务总监。中国通信标准化协会大数据技术标准推进委员会数据资产专家、工业大数据应用技术国家工程实验室特聘专家、2021DAMA数据治理专家,第五届“数据质量管理”获得杰出专家奖。具有20年大型集团企业信息化规划设计和系统建设工作经验,近10年主要从事大型企业全域数据治理、数据资产顶层规划设计、实施工作。先后服务国家能源、国家电投、中国外运、鞍钢集团等大型集团企业数据资产目录设计、数据治理&数据资产项目。

Part 1

背景

当前,全球数据资源迎来爆发式增长,数据资源成为驱动产业创新发展的关键要素,产业数字化转型进入深水区。数据要素驱动的价值创造新范式正在孕育形成,推动着各行各业的生产方式、商业模式和资源配置方式展开全局性的深刻变革。数据要充当数字经济关键的基础性要素,需经过数据价值化的转换过程,在这一关键转化过程中,数据治理是基础,只有通过数据治理,打通企业内部不同层级、不同系统之间的数据壁垒,全面提升数据质量,消除制约组织业务协同、智能决策的各种因素,实现对内支撑业务应用和管理决策、对外加强数据服务能力输出,从而提升数据潜在价值向实际业务价值的转化率。

企业数据治理是一项长期的系统工程,“企业治数如国家治水”,是长期推进、持续提升的系统工程。近几年,数据资产化是企业的热点,通过构建企业级数据资产目录,可以打造企业数据资产化能力,逐步实现企业全类型数据融合、全过程数据管控、全产业数据协同。数据资产目录项目与数据湖、数据中台联系紧密,是支撑企业数字化转型的关键能力,通过数据资产目录项目可以为数据“提质、赋能、优化”业务、驱动业务创新奠定基础。

Part 2

数据资产管理体系

2.1数据资产管理的概念与内涵

数据资产是指由企业拥有或者控制的、能够为企业带来未来经济利益的、以一定的方式记录的数据资源。在企业中,并非所有的数据都是数据资产,只有能够为企业产生价值的数据资源才被称为数据资产。

数据资产管理是指规划、控制和提供数据及信息资产的一组业务职能[1]。数据资产管理的职能通常包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,通过这些职能达到控制、保护、交付和提高数据资产价值的目的。数据资产管理需要充分融合业务、技术和管理,以确保数据资产保值增值。

2.2数据资产管理体系构成

数据管理职能、数据运营、技术平台和保障措施四部分组成了数据资产管理体系。数据管理职能作为数据资产管理体系的主体,通过各职能的配合,有助于数据进行标准化和规范化,提升数据质量,完善数据体系,记录追溯数据,打破数据孤岛,建立安全数据环境;数据运营作为数据资产管理体系的核心,通过明确数据权属,评估数据价值,实现可信数据交易和多样数据服务,促进数据流通,加大数据开放的广度、深度,加快数据流转速度和数据资产化进程;技术平台作为数据资产管理体系的技术支撑,依托覆盖数据管理职能和数据运营的全生命周期技术,实现数据高效采集,降低数据存储成本,提升数据处理效率,深入分析挖掘数据,丰富数据应用场景;保障措施作为数据资产管理体系的制度基础,通过制定战略规划,完善组织架构、建立制度体系,设置审计制度和开展培训宣贯等环节,确保数据资产管理工作的有序开展。

Part 3

数据资产化演进路径

并不是企业里的所有数据都称为数据资产,数据资产是能够为企业所拥有且为企业带来经济利益的数据。因此,工业企业的数据资产化路径往往是业务数据化、数据资源化、资源资产化、资产价值化、价值要素化,经过“五化”演进,才能实现数据要素化的转化,进而度量数据要素在生产经营过程中对经济效益的贡献[2]

图 1数据资产化演进路径

3.1业务数据化

我国的两化融合经过长期发展和完善,在这个过程中,企业经历了起步建设阶段、单项覆盖阶段、集成提升阶段和创新突破阶段,在单项覆盖阶段向集成提升过渡阶段中,云计算、大数据、物联网、工业互联网、5G技术等新一代信息技术的帮助业务活动加速数据化,将业务、经营、管理活动数据化之后,数据才有了被有效利用的可能。

数据本身可以成为一种业务模式。数据业务化是业务数据化的自然延伸,也可以说是一种升华,即将收集的数据用于业务或产品本身。这里主要包含两个层面,一是数据智能,二是数据创新。前者主要利用大数据技术提升产品体验,如推荐系统、信用评级等。后者主要是利用积累的数据开展新业务。业务数据化和数据业务化,这其实是一个螺旋提升的过程,业务运转产生数据,通过数据治理挖掘数据价值,从而进一步助力业务发展。

3.2数据资源化

企业数据类别多样,有结构化数据、非结构化数据以及半结构化数据,有人工录入的数据、有信息系统产生的数据、有工业设备运行的数据,还有众多传感器的流数据。数据类型之多、产生速度之快、产生数量之大,就形成了工业大数据。根据数据的生命周期,有的很长、有的很短、有的瞬间即逝,而这些数据并不是都有价值。因此,往往我们要识别有意义的数据,将对生产、经营、管理、决策有用的数据按照主题域(业务域或业务主题上的数据集合)进行资源化。

3.3资源资产化

数据资源并不代表数据资产,有些资源不但不能带来效益,往往还会有巨大成本和隐患,因此,需要将数据资源向数据资产转化,也就是数据资产化。在这个过程中,就需要制定数据资产化办法和流程,必须由业务和技术共同协作,识别和定义数据资产,同时要把数据资产价值和业务价值相结合,这才能保证数据资产的价值可度量。

3.4资产价值化

数据资产化后,需要进一步衡量资产的价值,当前企业有两种比较可行的模式,一种是把数据资产的价值与业务价值关联,对业务和战略有帮助的数据进入数据资产目录,数据资产最常见的管理效益即降本、增效或者提升风控水平,经营效益即精准营销、产品优化等。另一种是形成数据化产品,形成数据集、报告、趋势、算法等,直接进行数据交易产生价值。总之需要把数据资产价值和业务价值关联,将数据资产转变为价值且可以有效度量,数据资产才具有真正的资产意义。

3.5价值要素化

生产要素包括土地、劳动力、资本、技术、数据五种,随着科技的发展和知识产权制度的建立,这些生产要素市场交换更加频繁,形成各种各样的生产要素价格及其体系。数据资产必须构建可度量的价格体系,才能实际体现数据资产在企业生产经营活动中对于企业效益及价值的贡献,才能真正实现从数据资产向数据要素的转变。

Part 4

中国外运数据资产化实践

中国外运股份有限公司(简称“中国外运”)经过多年的信息化建设和应用,已经积累了种类繁多、体量庞大的数据,并且随着公司信息化、数字化工作的持续推进,产生的数据规模也会快速增长。规模越来越大的数据既为公司的数字化转型和创新变革带来机遇,同时也对数据管理和开发利用提出了更高的要求。因此,有效实施数据集中整合和资产化管理成为提升数据能力的重要手段:一是通过数据资产盘点工作,摸清数据资产家底、明确数据资产范围和分布、识别数据资产价值;二是通过统一规范管理和有效的数据治理,大幅提升数据的质量和可用性;三是通过数据集中整合和深度开发利用,驱动数据价值链、实现数据价值变现。

2021年,为配合集团物流大数据平台的建设,启动了水运船货代业务线数据资产盘点工作,完成了水运货代业务、船代业务、驳运和码头业务的数据盘点和为集团供数的整合工作,为全面数据资产盘点和整合提供了良好的基础。2023年,继续开展启动航空货运业务线的数据资产盘点工作,并在此基础上启动船舶代理业务和航空货运业务进行数据集中整合和资产化管理试点,通过数据专项治理、归集和整合业务明细数据、构建公共汇总(指数仓DWS层,进行数据轻度汇总,为ADS层提供公共指标,建立汇总宽表,如图2)数据集等关键内容的实施落地,在船舶代理和航空货运两个业务域形成业务明细数据和公共汇总数据两类数据资产,有效提升这两个业务域的数据质量和可用性,为各类应用提供好找、好用、可信的数据资源。

图2 数据仓库分层设计

4.1总体实施方案

根据项目目标和实施内容的要求,中国外运结合业务和数据的实际情况,参照业界成熟的方法和实践经验,展开数据资产盘点和数据治理工作,以“盘、规、治、用”为主线,厘清数据资源现状、规范数据标准、强化数据治理、促进数据共享和应用、探索数据资产化管理。

图3 中国外运数据治理总体方案

4.1.1资产盘点,摸清家底

在数字经济时代,数据成为驱动创新、引领升级的关键生产要素,是企业可持续发展的重要战略资产[3],数据资产管理首先从数据资产盘点开始,通过资产盘点摸清数据家底、了解数据状况和存在的问题,建立数据资产台账、为数据治理和数据资产管理提供依据。一是形成完整数据资产六级目录,包括L1-L3集团数据主题域、L4业务对象、L5逻辑实体、L6物理表,建立起数据资产台账;二是数据资产目录可视化展示[4],通过可视化仪表展示外运股份在本次项目中管理的所有数据资产信息。可视化树形菜单操作界面,方便业务、技术相关人员浏览。

4.1.2数据专项治理工作

数据治理是所有业务的基础,也是数据应用是数据流通模块发挥作用的必要前提。数据治理活动的主要目标是持续提高各类数据资产的质量和保证数据使用的安全合规。在完成数据资产盘点的基础上,中国外运通过对现存问题和管理需求的分析,开展汽运和陆运两个业务线数据专项治理工作,从元数据、主数据、数据指标和数据质量四个方面进行治理,最大限度在数据源头保证数据质量。

通过主动发现、应用反馈相结合的方式,发现数据质量问题,定期发布数据质量报告,并制定数据修订流程,实现数据质量闭环管理,实现数据质量持续提升。对历史数据,重点开展完整性、齐全性检查;对新增数据,实现采集、入湖存储到应用的全流程质控制。

4.1.3数据应用效果提升

(1)明细数据归集

根据数据盘点的结果和数据归集逻辑,分层构建数据归集模型,通过数据接入、清洗、转换、整合等处理过程,对有价值的业务原始数据进行归集、入湖,形成统一完整的业务明细数据集。明细数据归集不但要确保数据的一致性、完整性和时效性,还要保持业务含义的一致性和血缘关系的完整性,同时,为了便于更加清晰地呈现和引用,要对原表设计进行目标宽表加工;元数据系统通过外运大数据平台获得目标系统的元数据,与之前的业务元数据形成血缘关系;通过大数据平台可视化工具展示外运在汽运、陆运中管理的所有数据资产信息。

(2)构建公共汇总数据集

基于基础指标标准完成公共汇总模型设计,并利用归集好的明细数据,通过计算和汇总生成公共汇总数据,按分析主题构建出汽运和陆运业务完整的公共汇总数据集,为统计分析应用提供可靠的数据资源。

(3)设计数据主题,构建资源目录

根据数据应用的领域和需要的关联性,规划设计数据主题(L1-L3,如图4),并按数据主题编辑和呈现可用数据资源,通过数据服务平台提供给各应用场景消费使用。

图4 中国外运数据资产目录(集装箱船代示例)

4.2数据资产化实践探索

企业内部数据资产的应用方式主要包括支持业务部门的日常应用、支持管理部门的管理应用、支持决策层的决策应用、支持数据科学的预测应用和智能化应用。全局数据监控、数据服务产品化是两类很典型的业务数据化场景。

4.2.1全局数据监控

全局数据监控属于数据直接的交换、共享呈现层次,既可服务于内部决策分析,也可以形成产品为外部客户使用,实现“让业务人员看到数据”。该场景的重点工作在于最大限度降低数据分析的难度,最大程度提高数据分析效果,以高效优质地辅助战略决策和数据化运营。通过“以治促用,以用促治”的治理策略,全面释放核心数据资产活力。在中国外运逐步实现数据资产“可见、可查、可信、可用”。

图7 中国外运数据资产化“可见、可查、可信、可用”

4.2.2数据服务产品化

基于中国外运水运船货代全链路、全渠道的数据构建数据连接与萃取管理体系,实现对特定业务的全生命周期精细化管理。传统的数据化运营是由专业的分析师将多个片段数据进行组合、串联,并结合业务背景与目标等,得出分析报告,进而辅助运营决策。这种方式下,数据团队与业务团队之间是不直接对接的,中间是由分析师团队来桥接的,以实现数据辅助运营决策。

数据服务产品化是以数据化运营为目标将很多分析师、有数据化运营经验业务人员的思路沉淀到数据产品中,使得数据化运营成为平台具有的较为普适性的基本能力,而能力强的分析师和业务人员则可以在此之上进行更高深层次的数据化运营探索。

4.3项目经验分享

石化盈科总结形成了数据资产目录设计方案,助力中外运开展数据治理,获得了信通院数据资产标杆奖项和DAMA数据治理实践奖。该项目的成功经验可归纳为八点[5,6]

一是重视元数据治理工作,规范各业务系统数据规格和数据语义的定义,为数据治理和数据应用夯实基础。

二是完成数据与业务关系的梳理,编制出业务数据原始凭证清单和关系视图,从业务视角就能看清数据[7]

三是设计出数据主题域,对业务类别、业务单元、业务环节等进行了标准定义。

四是设计出数据资产目录,并在数据资产平台实现数据目录的管理和呈现;完成标准数据逻辑模型设计,并构建出逻辑模型与业务系统数据映射关系,实现通过数据目录快速定位到一条数据记录分布在哪个系统的哪张表,为数据管理提供了良好的基础。

五是完成多源数据归集模型设计,并在集团物流大数据供数需求场景下得到验证,实现将记录相同业务的多个有结构差异的原表数据汇集到一张数据表中,解决了同一个业务多个物理数据存储数据难以归集的业界难题。

六是在数据资产管理平台上实现完成业务系统数据结构元数据自动抽取、比对和更新,并将识别出的变更通过消息推动后端数据归集模型的更新,确保元数据的一致性和分层归集模型的有效性。

七是完成现有数据存在问题的梳理和分析,为后续数据治理提供依据,具体问题如图5。

图5 中国外运数据治理问题及提升方向

八是探索出数据资产盘点、数据归集入湖和数据供应的有效的实施方法。

“盘”清数据梳理现状。理清数据治理能力现状、数据资产现状、数据需求和问题现状、数据质量现状和数据安全风险现状等。

“规”范数据统一标准。统一数据管理标准,明确权威数据源头,为打破数据孤岛,实现数据互联互通、共建共享共用夯实管理基础。

“治”理数据提升质量。建立以问题为导向的数据质量闭环管理机制,找出问题源头,杜绝问题重复发生;纳管元数据,构建数据资产目录,开展数据资产盘点。

“用”出价值持续运营。充分利用已有资源与能力,建立长效数据运营体系,开创数据增值服务体系。良治,生产好数据;善用,收获好效益。

中国外运数据治理按照以“以用促治、以治保用”的原则,综合运用“管理+技术+服务”手段,中长短结合,打出一套“组合拳”,以达到短期见效、长期治本的目标。

图6 中国外运数据治理成果汇总

Part 5

总结

中国外运数据资产实践围绕数据“提质、赋能、优化”业务、驱动企业数字化转型为目标,按照打通数据壁垒、沉淀数据资产、激活数据价值、发展数字经济四条主线推进数据资产化建设。一是以打通数据壁垒为基础打造大数据平台、数据全量接入整合、统一数据标准、规范数据治理,推进数据全流程贯通融合。二是以沉淀数据资产为途径推进数据资源的资产化,从满足项目交付,转变为以业务驱动为中心,持续优化数据资产目录、指标标准,丰富数据资源化手段,不断沉淀核心数据资产,形成具有竞争优势的数据运营体系,实现数据赋能。三是以激活数据价值为核心开发数据产品服务体系,开展数据分析,服务企业战略实现、领导决策、精益管理改进。四是以发展数据经济为目标开展数字创新,构建数据生态,培育和发展新兴业务,助推中国外运数字经济发展。

目前很多大型企业都在构建数据资产目录,通过中国外运数据治理项目,总结数据资产目录构建要点如下供业内借鉴:

第一,找数,摸清家底、建立台账。摸清企业各信息系统、数据库建设情况,中国外运建立统一的数据资产目录清单,为企业建立数据资产“台账”。

第二,理数,统一标准、促进共享。通过编制企业数据资产目录标准(规范),为梳理数据资产目录、提供统一基础元数据,促进应用数据需求对接,推动数据资产目录在企业内部公开、共享。

第三,认责,建立机制、维护更新。通过制定数据资产目录梳理及发布机制,明确数据资产采集、维护、更新的管理责任,加强信息共享需求对接,推进数据资产目录维护、更新。

第四,接数,汇聚发布、整合利用。数据资产目录汇聚到企业数据资产平台,形成统一的数据资产目录,实现企业内部数据资产目录统一检索、快速定位和统计分析。

第五,用数,构建图谱、智慧应用。通过数据资产目录梳理和元数据定义,尝试在各业务域构建行业知识树,涵盖该领域的各种实体或概念及其关系,其构成一张语义网络图,为后续宽表、数据应用打下良好基础。

 

第六,视数,数据资产可视化展示。使数据关系脉络化、数据目录可视化、支持数据资产地图可视化展示,通过资产可视化地图驱动应用创新,实现高增值服务。