数据质量测量的持续改进2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

数据质量测量的持续改进PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

概述1

第一部分 概念和定义13

第1章 数据13

1.1 目的13

1.2 数据13

1.3 数据表示14

1.4 数据事实20

1.5 数据作为产品20

1.6 数据作为分析的输入21

1.7 数据和期望21

1.8 信息22

1.9 总结思考23

第2章 数据、人员和系统25

2.1 目的25

2.2 企业或组织25

2.3 IT与业务26

2.4 数据生产者27

2.5 数据消费者27

2.6 数据代理27

2.7 数据管家和数据管家工作28

2.8 数据所有者28

2.9 数据所有权和数据治理29

2.10 IT，业务和数据所有者，终极版29

2.11 数据质量项目组30

2.12 利益相关者31

2.13 系统和系统设计31

2.14 总结思考32

第3章 数据管理、模型和元数据33

3.1 目的33

3.2 数据管理33

3.3 数据库、数据仓库、数据资产和数据集34

3.4 源系统、目标系统和记录系统35

3.5 数据模型35

3.6 数据模型的类型36

3.7 数据的物理特征37

3.8 元数据38

3.9 元数据是显性知识40

3.10 数据链和信息生命周期41

3.11 数据谱系和数据出处41

3.12 总结思考42

第4章 数据质量和测量43

4.1 目的43

4.2 数据质量43

4.3 数据质量维度44

4.4 测量45

4.5 测量数据46

4.6 数据质量测量和业务/IT鸿沟47

4.7 有效测量的特点48

4.8 数据质量评估49

4.9 数据质量维度，DQAF测量类型，特定的数据质量指标50

4.10 数据剖析51

4.11 数据质量问题和数据管理问题52

4.12 合理性检查52

4.13 数据质量阈值52

4.14 过程控制54

4.15 联机数据质量的测量和监控54

4.16 总结思考55

第二部分 DQAF的概念和测量类型58

第5章 数据质量评估框架概念58

5.1 目的58

5.2 DQAF解决的问题58

5.3 数据质量期望和数据管理59

5.4 DQAF的范围60

5.5 DQAF质量维度62

5.6 定义DQAF测量类型64

5.7 元数据的要求64

5.8 测量和评估分类的对象65

5.9 测量的功能：收集、计算、比较67

5.10 总结思考68

第6章 DQAF测量类型69

6.1 目的69

6.2 数据模型的一致性69

6.3 保证正确接收用于处理的数据69

6.4 检查接收到的数据的状况70

6.5 评估数据处理的结果71

6.6 评估数据内容的有效性72

6.7 评估数据内容的一致性73

6.8 对放置联机测量的注释75

6.9 跨表内容完整性定期测量76

6.10 评估整体数据库内容77

6.11 评估控制和测量78

6.12 测量类型：综合清单78

6.13 总结思考82

第三部分 数据评估方案86

第7章 初步数据评估86

7.1 目的86

7.2 初步评估87

7.3 初步评估的输入87

7.4 数据预期87

7.5 数据剖析87

7.6 列属性剖析89

7.7 结构剖析92

7.8 剖析现有数据资产96

7.9 从剖析到评估96

7.10 初步评估的可交付成果96

7.11 总结思考97

第8章 数据质量改进项目评估98

8.1 目的98

8.2 数据质量改进工作98

8.3 改进项目中的测量98

第9章 持续测量101

9.1 目的101

9.2 适于持续测量的情况101

9.3 示例：医疗保健数据103

9.4 持续测量的输入104

9.5 重要性和风险106

9.6 自动化106

9.7 控制106

9.8 定期测量107

9.9 持续测量的交付成果108

9.10 联机与定期测量的对比108

9.11 总结思考110

第四部分将DQAF运用到数据需求中114

第10章 需求、风险和重要性114

10.1 目的114

10.2 业务需求114

10.3 数据质量需求和期望的数据特征116

10.4 数据质量需求和数据风险118

10.5 影响数据重要性的因素119

10.6 指定数据质量指标120

10.7 总结思考127

第11章 提问128

11.1 目的128

11.2 提问128

11.3 了解项目129

11.4 了解源系统130

11.5 数据消费者的需求132

11.6 数据的状况133

11.7 数据模型、转换规则和系统设计134

11.8 测量规范过程134

11.9 总结思考137

第五部分 数据质量战略140

第12章 数据质量战略140

12.1 目的140

12.2 战略的概念140

12.3 系统战略、数据战略和数据质量战略141

12.4 数据质量战略和数据治理142

12.5 信息生命周期中的决策点143

12.6 数据质量战略一般注意事项144

12.7 总结思考145

第13章 数据质量战略的指令146

13.1 目的146

13.2 指令1：获得管理层对数据质量的承诺148

13.3 指令2：把数据作为资产149

13.4 指令3：应用资源来注重质量150

13.5 指令4：建立数据的显性知识151

13.6 指令5：把数据作为可测量和改进的流程的一个产品152

13.7 指令6：认识到质量是由数据使用者定义的153

13.8 指令7：解决造成数据问题的根本原因154

13.9 指令8：测量数据质量，监控关键数据156

13.10 指令9：保持数据生产者对自己的数据质量（和有关该数据的知识）负责158

13.11 指令10：为数据使用者提供所需的数据使用知识158

13.12 指令11：数据需要和用途将演进——为演进作规划159

13.13 指令12：数据质量超越了数据本身——构建注重质量的文化160

13.14 总结思考：使用现状评估161

第六部分 DQAF详解165

第14章 测量功能：收集、计算、比较165

14.1 目的165

14.2 测量功能：收集、计算、比较165

14.3 收集原始测量数据166

14.4 计算测量数据167

14.5 将测量结果与过去的历史结果比较168

14.6 统计168

14.7 控制图：统计过程控制的主要手段172

14.8 DQAF和统计过程控制172

14.9 总结思考173

第15章 DQAF测量逻辑模型的功能174

15.1 目的174

15.2 指标定义表和测量结果表174

15.3 可选字段176

15.4 分母字段177

15.5 自动阈值179

15.6 手动阈值180

15.7 紧急阈值180

15.8 手动或紧急阈值和结果表181

15.9 其他系统需求181

15.10 支持需求181

15.11 总结思考181

第16章 DQAF测量类型的各方面182

16.1 目的182

16.2 DQAF的各方面183

16.3 本章的组织结构183

16.4 测量类型#1：数据集的完备性——元数据和参照数据的充分性185

16.5 测量类型#2：一个字段内的格式一致性187

16.6 测量类型#3：跨表的格式一致性188

16.7 测量类型#4：一个字段内默认值使用的一致性189

16.8 测量类型#5：跨表的默认值使用的一致性189

16.9 测量类型#6：用于处理的数据的交付及时性190

16.10 测量类型＃7：数据集的完备性——对于处理的可用性192

16.11 测量类型＃8：数据集的完备性——记录数与控制记录相比193

16.12 测量类型#9：数据集的完整性——汇总数额字段数据194

16.13 测量类型#10：数据集的完备性——将大小与过去的大小作比较195

16.14 测量类型#11：记录的完备性——长度196

16.15 测量类型#12：字段的完备性——不可为空的字段197

16.16 测量类型#13：数据集的完整性——重复数据删除198

16.17 测量类型#14：数据集的完整性——重复记录的合理性检查199

16.18 测量类型#15：字段内容的完备性——来自数据源的默认值200

16.19 测量类型#16：基于日期标准的数据集的完备性202

16.20 测量类型#17：基于日期标准的数据集的合理性203

16.21 测量类型#18：字段内容的完备性——接收到的数据丢失要处理的关键字段204

16.22 测量类型＃19：数据集的完备性——经过一个流程的记录数的平衡205

16.23 测量类型#20：数据集的完备性——拒绝记录的理由206

16.24 测量类型＃21：经过一个流程的数据集的完备性——输入与输出的比率207

16.25 测量类型＃22：经过一个流程的数据集的完备性——数额字段的平衡208

16.26 测量类型#23：字段内容的完备性——汇总的数额字段的比率209

16.27 测量类型#24：字段内容的完备性——推导的默认值211

16.28 测量类型＃25：数据处理用时212

16.29 测量类型＃26：供访问的数据的及时可用性214

16.30 测量类型＃27：有效性检查，单字段，详细结果215

16.31 测量类型＃28：有效性检查，卷积汇总218

16.32 测量类型#29：有效性检查，表内多列，详细结果219

16.33 测量类型＃30：一致性列剖析221

16.34 测量类型＃31：数据集内容的一致性，所表示的实体的不重复计数和记录数比率223

16.35 测量类型#32：数据集内容的一致性，两个所表示的实体的不重复计数的比率225

16.36 测量类型#33：一致性多列剖析226

16.37 测量类型＃34：表内时序与业务规则的一致性229

16.38 测量类型＃35：用时（小时、天、月等）一致性229

16.39 测量类型#36：数额字段跨二级字段计算结果的一致性231

16.40 测量类型＃37：按聚合日期汇总的记录数的一致性233

16.41 测量类型＃38：按聚合日期汇总的数额字段数据的一致性235

16.42 测量类型＃39：父／子参照完整性236

16.43 测量类型#40：子／父参照完整性237

16.44 测量类型＃41：有效性检查，跨表，详细结果238

16.45 测量类型#42：跨表多列剖析一致性239

16.46 测量类型#43：跨表的时序与业务规则的一致性240

16.47 测量类型#44：跨表数额列计算结果的一致性241

16.48 测量类型#45：按聚合日期汇总的跨表数额列的一致性241

16.49 测量类型#46：与外部基准比较的一致性242

16.50 测量类型＃47：数据集的完备性——针对特定目的的总体充分性243

16.51 测量类型#48：数据集的完备性——测量和控制的总体充分性244

16.52 总结思考：了解你的数据245

术语表246

参考文献255