【信息科学与工程学】【数据科学】第一百四十五章 数据设计与数据库完整性约束体系 第四章节01 数据集成开发设计 4.3.3 数据清洗、转换与富化规则开发 第一部分01
发布时间：2026/10/12 2:27:43 锦皓数字建站
本章终极大纲第一部分：数据清洗（Data Cleaning）空值处理（Missing Value Handling）缺失机制理论：MCAR、MAR、MNAR的数学定义与检验（Little's MCAR检验、Logistic回归检验）删除法：Listwise/Pairwise删除的偏差分析单一填补：均值/中位数/众数填补的MSE分析高级填补：KNN填补、回归填补、MICE（多重插补）、深度学习填补（GAIN、MisGAN）行业案例：金融征信数据缺失处理、IoT传感器断点填补格式标准化（Format Standardization）正则表达式引擎与自动机理论日期/时间标准化：时区转换、日历系统统一（公历/农历/财年）地址标准化：地址要素解析、地理编码（Geocoding）、模糊匹配编码体系：ASCII/Unicode/GBK转换、Base64、哈希函数行业案例：医疗HL7/FHIR标准转换、跨境贸易商品编码（HS Code）映射异常值过滤（Outlier Filtering）统计方法：Z-score、IQR、Grubbs检验、Dixon检验距离方法：马氏距离、LOF（局部离群因子）、k-NN距离密度方法：DBSCAN、OPTICS的异常检测变体机器学习：Isolation Forest、AutoEncoder异常检测业务规则引擎：硬编码阈值、动态基线（STL分解）行业案例：反欺诈交易检测、工业设备预测性维护第二部分：数据转换（Data Transformation）
锦
锦皓数字建站
深耕本土企业品牌数字化升级，专注原创端正雅致商务官网，从视觉设计到稳定运维全程保驾护航。
