资讯详情

资讯详情

数据治理第十九篇|DAMA 十一个核心数据管理领域:从信息化到智能化,用三层主线读懂

第 18 篇我们完成了「合规 — 伦理 — 风控」三层数据治理保障体系的收口。至此数据治理专栏已完成合规、伦理、风控三层递进体系的搭建合规守住法律底线伦理守住价值底线风控守住运营底线。三者共同构成数据治理的立体化保障体系为企业数据资产的安全、可信、高效应用提供持续支撑。我们用一张表格清晰梳理三层保障体系的分工层次核心问题主要目标数据合规能不能做满足法律法规和监管要求守住法律底线数据伦理该不该做保障公平、透明、可信和社会责任守住价值底线数据风控会不会出问题、如何闭环识别、评估、处置、监控风险守住运营底线同时DAMA-DMBOK 2.0 有一个值得反复强调的核心观点数据治理不是一次性建设项目而是覆盖数据全生命周期、持续迭代的组织级管控体系。合规建设如此风险管控如此整套数据治理体系更是如此。从本篇开始专栏正式进入 DAMA 核心知识域模块开启 11 大核心数据管理领域的深度解读。正如第 18 篇文末预告后续内容将全面跃迁正式开启 DAMA 十一大核心数据管理领域精细化实战系列逐模块深度拆解官方标准、企业落地流程、一线实战经验、CDGA/CDGP 考试考点、平台落地方法论全方位深耕 DAMA 体系实战应用。一、DAMA 11 大数据管理领域跳出理论立足企业数智化主线DAMA-DMBOK2 将完整的数据管理工作划分为 11 个相互独立、又紧密联动的核心领域。很多人学习 DAMA仅仅孤立背诵名词概念很难落地到企业真实项目中。本篇我们跳出书本理论沿着企业信息化建设、数字化落地、智能化应用这条业务主线重新归类、理解这 11 个领域。核心观点11 个领域不是简单并列清单而是企业数智化完整能力集DAMA 经典的车轮图圆心是数据治理外圈环绕其余十大管理领域。很多人看图容易产生误解11 个领域属于平行模块可以不分先后、逐项建设。但放到企业真实落地场景它们是一套前后支撑、环环相扣的完整能力集合我们可以划分为三层主线业务信息化侧管好业务源头数据保证数据” 生得出来”数字化侧做好数据加工、治理、管控保证数据” 管得好、用得准”智能化侧释放数据资产价值支撑 AI、数据应用保证数据” 用起来”三层能力并不是严格串行执行落地过程中存在大量交叉并行。但如果缺少这条主线作为指引学习 11 个领域只会学到零散的知识点无法指导项目落地。11 个领域全貌预览DAMA 原版清单数据治理数据架构管理数据建模与设计数据存储与操作数据安全数据集成与互操作文档与内容管理元数据管理数据质量主数据管理数据仓库与商务智能说明上面是 DAMA 原版顺序仅用于整体预览。下文将按照【业务信息化侧数字化侧智能化侧】的逻辑分组逐一拆解解读。二、分模块拆解三大分组读懂 11 大领域第一组业务信息化侧 —— 数据源头建设定位信息化建设阶段落地业务系统解决数据从业务端产生保障源头可采集。本组对应企业上线业务系统、用系统承载业务的阶段。企业各类业务管理、客户管理、质量、项目、合同、物资管理系统都属于这个阶段。源头的数据产生不规范、采集不到位后续的数据仓库、报表分析、AI 应用都会先天受限。1. 数据建模与设计数据建模与设计是业务系统表结构、实体关系设计的底层基础。信息化系统建设之初就要完成业务单据、表单、数据库模型本质就是在源头定义数据。业务系统中业务实体、实体之间的关联、字段口径如何规范直接决定后续数据能否跨系统复用。业务价值源头模型一旦设计不合理后续数仓建设、报表开发、AI 应用都会埋下大量隐患。例如业务编码不唯一、业务对象关联缺失、表单字段口径混乱后续在数仓整合阶段需要投入大量人力反复清洗甚至造成数据无法溯源。落到具体场景比如施工企业的项目管理系统如果” 项目编码” 没有在建模阶段统一规则后续合同、物资、劳务、机械等模块就容易出现一项目多码如果” 供应商编码” 没有明确唯一标识招采、合同、财务系统之间就很难准确对齐。DAMA 对高质量数据定义明确了三大基础特征 ①清晰。定义应该易于阅读和理解采用简单清晰的语言表述没有晦涩的首字母缩写词或难于解释的歧义术语。 ②准确。定义是对实体的精准和正确描述应由相关业务领域专家审查确保其准确性。 ③完整。定义要尽量全面所包括的内容都要体现。CDGA 考试常考察概念模型、逻辑模型、物理模型的区分以及实体、关系、属性等基础概念。落地到项目实践意味着模型评审要前置在业务系统建设期而不是等到搭建数仓之后再补救。2. 数据存储与操作数据存储与操作聚焦业务数据库、各类文件存储资源以及业务系统底层的数据存储、增删改查与运维保障。涵盖数据库、向量库、文件存储运维、备份策略、数据生命周期管理等内容。这个领域看起来偏向 IT 运维但它决定了企业的数据存得住、取得出、故障可恢复。企业业务周期漫长各类资料、业务记录持续实时产生。如果底层存储缺少备份、归档和生命周期管理数据资产就没有稳定底座。它的业务价值不只是保证数据库正常运行而是保障整条数据链路稳定、性能可控、故障可回滚为后续数据抽取、数仓建设提供可靠的源端基础。3. 文档与内容管理文档与内容管理主要面向非结构化数据企业制度、合同、技术方案、验收资料、施工图纸、会议纪要等。这类资产常常被传统数据治理忽略但企业内部合同、方案、管理规章这类文档恰恰是知识密度最高的数据资产。内容管理的定义 “内容管理包括用于组织、分类和构造信息资源的流程、方法和技术以便以多种方式存储、发布和重复使用这些资源。”内容具备完整生命周期部分内容最终会转化为企业档案正式档案需要和普通业务文档做区分管理。落到业务平台这个领域直接支撑智能知识问答能力把分散的制度、合同、方案文档加工成可检索、可问答、可复用的知识资产。业务价值非结构化数据治理缺位AI 知识问答就没有高质量的底层语料。文档缺少分类、权限管控、版本管理与生命周期管理智能问答极易出现答案错误、引用旧版本文档、越权查询资料等问题。文档与内容管理不是简单的电子文件柜而是智能化应用重要的数据源头。✅本组小结信息化阶段的核心能力是落地业务系统同时产出结构化与非结构化原始数据是所有数字化建设的数据底座。本组解决核心问题数据生得出来、定义规范、存储可靠。第二组数字化侧 —— 数据治理与资产管控定位数字化建设阶段完成数据统一管理、清洗、治理、跨系统打通把零散的业务原始数据转化为可信企业资产也是当前数据治理中台、数仓建设的核心工作。本组是企业数据治理的主战场。业务系统产生原始数据之后如果不做统一治理、分层架构、主数据标准化、质量校验、元数据管理、安全管控与集成打通数据就仅仅是躺在业务库里的信息算不上企业可信资产。4. 数据治理数据治理是 DAMA 车轮图的轮毂是 11 个领域的顶层统领模块承接上一篇的风控体系。它不直接参与数据加工核心工作是定目标、定规则、定责任人搭建组织架构、制定管理制度、明确权责 RACI、规范流程、管控风险、规划企业数据战略。DAMA 车轮图的设计逻辑 “整张图形采用环形结构设计圆心 数据治理中枢外围环形 11 项数据管理知识领域。核心设计逻辑数据治理负责顶层管控各类数据管理模块负责一线落地执行二者配套运转形成闭环的数据资产管控体系。”治理和数据管理的关系需要分清“只建治理制度不落地是纸面合规只做技术落地无治理规范是野蛮生长。唯有治理与管理双向迭代企业数据体系才能长期有序、可控、可用。”治理完整闭环逻辑“治理定规则 → 全域落地执行 → 落地暴露短板 → 迭代优化制度 → 新标准指导新一轮落地。”放到企业场景数据治理需要搭建数据治理委员会明确数据治理方案、业务数据管家、数据管理员等角色。RACI 责任矩阵的核心目标识别有人做评估有人判整改有人扛复核有人查复盘有人推。CDGA 考试经常考察治理与管理的边界、车轮图、语境关系图等框架。这些内容不只是背诵考点更是帮助企业理清”谁制定规则、谁负责落地执行” 的实用工具。5. 数据架构管理数据架构管理负责设计企业整体数据架构包含 ODS/DWD/DWS 分层体系、全域数据流向、技术架构选型输出企业整体数据蓝图。它回答三个核心问题数据从哪里来、到哪里去、按照什么规则分层组织、采用什么技术承载。Zachman 框架可以辅助架构设计从” 什么、怎样、在哪里、是谁、什么时间、为什么” 六个问询维度从业务视角、技术视角、角色职责、时间周期和动机策略完整描述企业数据架构。“框架分类按照单元格呈现。框架的每个单元格代表一个独特的设计组件。”落地在企业就是围绕业务主题域设计从源系统到 ODS、DWD、DWS 的数据流转路径与分层标准。缺少统一数据架构数据仓库极易变成杂乱的” 表堆”数据流向混乱后续指标口径、字段血缘追踪都会失控。6. 主数据管理主数据管理负责管理企业核心共享基础数据组织架构、人员、项目、客户、供应商、物料、设备等。目标是跨系统统一主数据标准解决多系统一物多码的痛点。很多企业普遍存在这类问题同一个业务对象在不同业务系统编码不一致同一合作方在采购、合同、财务系统名称、编码不统一。这类问题不解决跨系统数据协同、数据分析都会出现失真。在大部分企业里这类问题尤其常见。比如同一个供应商在招采系统叫” 重庆某某建材有限公司”在合同系统叫” 重庆某某建材公司”在财务系统又变成简称同一个项目在项目管理、成本管理、物资管理系统中的编号不一致导致后续统计项目成本时很难准确归集。很多行业落地经验可以复用制造企业先统一零部件编码、工单编号再开展数据清洗和数仓建设整体效率会明显提升汽车流通项目优先规范 ERP 客户、供应商编码解决跨部门协同难题。企业落地同理优先统一核心业务对象编码再开展数据清洗、数仓建设落地效率会大幅提升。数据治理的起点不是数仓而是业务源头的数据标准化。7. 数据质量数据质量聚焦质量校验规则、自动化监控、质量问题工单与整改闭环保障数据的准确性、完整性、一致性同时覆盖唯一性、及时性等质量维度形成脏数据整改闭环。数据质量不是一次性的数据清洗工作而是一套持续运转的机制源头录入规范 过程实时校验 问题工单派发 整改复核闭环。企业各类业务记录、台账一旦存在缺失、重复、口径不一致会直接影响报表统计、绩效考核与经营决策。CDGA 常考察数据质量维度、规则设计、质量监控。而企业落地更关键的是把质量规则嵌入业务流程必填字段强制校验、异常数据自动生成工单问题发生后回溯源头根治。比如施工项目成本台账中如果” 合同金额”“已结算金额”“已支付金额” 缺少必填校验月度经营分析就可能出现数据缺口如果劳务分包记录中人员身份证号重复后续工资发放、考勤统计也会出现异常。8. 元数据管理元数据管理管理数据表、字段、数据血缘、指标、业务释义等信息对应平台的字段级血缘、ChatBI 血缘追踪、数据地图、业务术语库与指标说明。业务人员查看指标时可以快速获取指标定义、计算公式、数据来源、更新周期技术人员排查异常时可以追溯到字段级血缘看清上下游影响链路。元数据需要自动采集技术元数据、业务元数据完善字段信息、业务口径、责任人、血缘链路搭建完整的数据资产视图。优化方向是将元数据能力与前端展示结合降低业务人员理解数据的门槛。对企业来说元数据管理就是回答这个报表指标来自哪个业务系统、哪张数据表、哪个字段经过哪些加工逻辑由谁负责维护。比如” 项目累计成本” 这个指标业务人员看到的不应该只是一个数字而应能看到它来自哪些合同、物资、劳务数据经过哪些汇总规则最后由哪个部门负责维护。9. 数据安全数据安全包含数据权限、分级分类、数据脱敏、访问审计、数据隔离。平台的多租户、部门级数据隔离就是这个领域的落地实践。承接上一篇的合规与风控内容但不止满足合规底线遵循最小权限原则完成数据分级、敏感数据脱敏、访问行为全程留痕审计。企业存在大量敏感数据经营成本、合同金额、合作方报价、员工个人信息。必须明确不同角色的查看范围、数据粒度、访问时间所有访问行为可追溯。数据安全不等于把数据锁死而是守住安全底线实现数据可控、可用、可审计。10. 数据集成与互操作数据集成与互操作负责数据抽取、实时同步、API 接口对接、跨系统数据流转。DAMA-DMBOK2 将其独立成域适配大数据与 AI 时代的落地场景。落地手段包含 ETL/CDC 同步、Kafka 实时采集接入 ERP、CRM、财务、项目管理、物资管理、合同管理等各类源系统对应平台的数据抽取管道、API 管理中台。企业业务系统繁多、厂商各异、接口杂乱多套业务系统之间需要持续流转数据。缺少集成与互操作能力主数据无法统一、数仓抽取不稳定、业务实时监控无法落地。数据集成不只是简单抽取数据还要约定接口标准、同步频率、责任边界、异常处理策略保障跨系统的数据一致性。✅本组小结数字化阶段核心能力是完成数据打通、治理、资产化。没有这一层底座企业商务智能、AI 智能问答、ChatBI 等 都将是空中楼阁。本组解决核心问题数据管得好、用得准、可追溯、可管控。第三组智能化侧 —— 数据价值应用定位智能化建设阶段将数据资产面向业务消费落地报表、多维分析与 AI 应用对应 传统 BI/ChatBI、智能知识问答场景。本组不是从零搭建新体系而是前面 10 个领域的价值出口。数据只有被业务使用、分析支撑 AI 应用才能从企业成本项转化为真正的数据资产。11. 数据仓库与商务智能传统的数据仓库与商务智能包含数仓建设、数据集市、固定报表、多维分析。“数据仓库建设指的是数据仓库中数据的抽取、清洗、转换、控制、加载等操作过程。数据仓库建设流程的重点是通过强制业务规则、维护适当的业务数据关系在运营的数据上实现一个集成的、历史的业务环境。”传统数仓与商务智能以结构化数据为主随着技术演进如今已经扩展到半结构化、非结构化数据场景。“传统意义上的数据仓库建设主要关注结构化数据。随着技术的不断发展商务智能和数据仓库空间现在也包含半结构化数据和非结构化数据。”进入智能化时代数仓与商务智能的能力进一步延伸支撑指标体系构建、ChatBI 对话式分析、数据服务输出成为 AI 数据应用的基础。场景一结构化数据智能问答。针对企业标准化业务报表、数仓数据搭建对话式 BI 智能问答体系彻底颠覆传统报表模式。场景二非结构化数据智能问答。企业海量文档、规章、手册、图片、工单等非结构化数据是最核心的知识资产。落地到企业数仓和商务智能不只是输出固定报表。而是把各类业务主题数据组织成统一的指标体系再通过 ChatBI 降低业务人员用数门槛依托智能知识问答盘活制度、方案这类非结构化知识资产。业务价值没有数仓与商务智能数据消费就缺少统一出口没有可信的数仓底座ChatBI 和 AI 知识问答就是无源之水。智能化建设不能跳过底层治理直接上马大模型必须依托可信的数据资产。✅本组小结前面十大领域的建设成果除了企业管理的需要另外一个成果就是数据服务于业务分析与 AI 应用。智能化不能跳过底层数据治理直接落地必须依托可信数仓与数据资产。11 个领域联动关系补充11 个领域不是串行先后建设而是交叉联动。车轮图每个领域都配套独立的语境关系图包含定义、目标、活动、输入、交付成果、角色、供给方、消费方、工具方法。一个领域的交付物往往是另一个领域的输入。举两个典型例子搭建智能知识问答同时依赖元数据、数据安全、数据质量。文档需要标注业务含义管控访问权限保证文档内容准确有效。ChatBI 依赖数据集成、主数据、数据治理。没有数据集成无法取数没有主数据统一指标口径冲突缺少数据治理规则不统一。很多企业踩坑就是直接上马 AI 项目但信息化源头不完善、数字化治理缺失最终 AI 试点难以落地。反面案例某中型企业信息化建设缺少顶层规划高层没有长期目标也未设立数据统筹组织多家外包团队独立开发系统底层表结构、编码互不兼容系统孤岛严重。数仓、BI 无法正常搭建报表数据不可信最终陷入恶性循环信息化效果差 → 削减预算 → 数据问题加剧。正面案例某高端制造企业将数据资产纳入五年战略成立跨部门治理委员会先行出台主数据、元数据、数据质量全套规范通过全域元数据梳理全链路血缘、字段释义与责任人分层落地主数据统一 → 系统集成 → 数仓 → BI → AI 知识库。落地后数据全链路可追溯生产效率提升跨部门协同效率明显改善。两家企业起步条件相近最终差距的根源就是是否按照” 源头 — 治理 — 应用” 主线串联 11 个领域而不是孤立采购系统、盲目追逐 AI 热点。三、全文总结1. 一句话读懂 DAMA 11 大领域✅信息化侧产生原始数据数据建模与设计、数据存储与操作、文档与内容管理解决数据从业务系统” 生得出来” 的问题。✅数字化侧治理并管好数据资产数据治理、数据架构管理、主数据管理、数据质量、元数据管理、数据安全、数据集成与互操作解决数据” 管得好、用得准、可追溯、可管控” 的问题。✅智能化侧消费数据创造业务价值数据仓库与商务智能解决数据” 用起来” 的问题支撑报表、多维分析、ChatBI 和 AI 知识问答。一句话收束11 个领域不是 11 个孤立名词而是一条完整建设链路从” 数据生得出来”到” 数据管得好、用得准”最终实现” 数据用起来”。2. 专栏后续规划后续文章我们会逐个深度拆解每一个领域结合通用企业落地案例、CDGA 考点、平台实操方法展开讲解。逐模块深度拆解官方标准、企业落地流程、一线实战经验、CDGA/CDGP 考试考点、平台落地方法论全方位深耕 DAMA 体系实战应用。同时持续融入数据伦理、AI 治理、隐私计算等前沿方向打造体系最全、落地最强、干货最实的 DAMA 实战专栏。3. 企业常见认知误区很多企业学习 DAMA只死记名词脱离信息化、数字化、智能化的建设主线学完无法落地。典型现象车轮图背诵熟练但无法判断企业当前优先补齐哪一块11 个领域名词熟记但源头模型无人评审、主数据没有统一、质量问题工单无法闭环急于上线 ChatBI、智能知识问答但缺少可信数仓、文档治理、分级权限。DAMA 的价值不是用来考试背书而是一套对标现状、查漏补缺的落地框架。先评估企业在信息化、数字化、智能化三层分别存在哪些短板再确定建设优先级远比盲目追逐 AI 热点更务实。下节预告企业数据架构顶层设计 —— 业务 / 应用 / 数据 / 技术四架构对齐本篇我们把 DAMA 11 大领域放到了”信息化 — 数字化 — 智能化” 三层主线里理解但真正落到企业建设时还有一个前置问题必须先回答数据架构不能只由技术团队闭门设计必须与业务、应用、技术整体对齐。下一篇文章将进入企业数据架构顶层设计重点拆解业务架构、应用架构、数据架构、技术架构如何联动业务架构明确企业有哪些业务域、业务流程、业务对象和管理目标应用架构梳理现有系统、系统边界、接口关系和重复建设问题数据架构设计数据主题域、分层体系、数据流向、主数据与指标体系技术架构选择存储、计算、集成、安全、AI 应用等技术承载方案。我们会结合企业常见痛点比如系统重复建设、数据流向不清、指标口径冲突、数仓分层随意、AI 应用缺少底座等说明为什么数据架构不能脱离业务和应用单独设计也不能只停留在技术选型层面。如果你也遇到过” 系统越建越多数据却越用越乱” 的情况下节内容会很有参考价值。互动交流你们企业当前最薄弱的环节是哪一个A. 源头建模不规范业务系统字段口径混乱B. 主数据一物多码跨系统对不齐C. 数据质量缺少闭环问题发现后无人跟进D. 元数据和血缘缺失指标来源说不清E. 数仓 / BI 口径不统一报表之间互相打架F. 想上 AI但数据底座不牢欢迎在评论区留言聊聊企业当下最头疼的数据治理难题。后续拆解对应领域时我会优先结合大家反馈的共性问题展开。
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →