## 1. 项目背景与问题拆解 数学建模竞赛中的Data With The Stars赛题通常涉及复杂系统的多因素关联分析。第三问要求建立影响因素分析模型这需要解决三个核心问题如何量化影响因素、如何验证因素间的因果关系、如何评估各因素对结果的贡献度。这类问题在金融风控、医疗诊断、工业参数优化等领域都有广泛应用场景。 我参加过多次数学建模竞赛发现影响因素分析最常犯的错误是直接套用相关性分析代替因果推断。正确的建模流程应该包含数据预处理、特征工程、模型选型、验证评估四个阶段。下面以26届美赛C题为例详解每个环节的技术要点。 ## 2. 数据预处理关键技术 ### 2.1 异常值检测与处理 使用IQR四分位距方法检测异常值时要注意分组计算阈值。例如对时间序列数据应按周期分段 python def iqr_outlier_detection(df, group_col, value_col): q1 df.groupby(group_col)[value_col].transform(lambda x: x.quantile(0.25)) q3 df.groupby(group_col)[value_col].transform(lambda x: x.quantile(0.75)) iqr q3 - q1 return df[(df[value_col] q1-1.5*iqr) | (df[value_col] q31.5*iqr)]注意对于周期性数据如昼夜变化直接全局计算IQR会误判正常波动为异常2.2 缺失值填补策略不同缺失机制需要不同处理方式MCAR完全随机缺失可直接删除或均值填补MAR随机缺失使用回归模型预测MNAR非随机缺失需要建立缺失机制模型竞赛中推荐使用MissForest算法它通过随机森林迭代预测缺失值from missingpy import MissForest imputer MissForest() X_imputed imputer.fit_transform(X_missing)3. 特征工程构建方法3.1 时序特征构造对于包含时间戳的数据必须提取周期性特征sin/cos编码小时、星期等变化特征滑动窗口的均值/标准差事件特征节假日、特殊时点标记def create_time_features(df, time_col): df[hour_sin] np.sin(2*np.pi*df[time_col].dt.hour/24) df[hour_cos] np.cos(2*np.pi*df[time_col].dt.hour/24) df[rolling_avg] df[value].rolling(6).mean() return df3.2 交互特征生成使用遗传算法自动发现有效特征组合from sklearn.decomposition import PCA from sklearn.preprocessing import PolynomialFeatures poly PolynomialFeatures(degree2, interaction_onlyTrue) X_poly poly.fit_transform(X) pca PCA(n_components0.95) X_reduced pca.fit_transform(X_poly)4. 模型选型与实现4.1 因果森林模型比传统随机森林更适合因素分析可计算变量重要性from econml.dml import CausalForestDML model CausalForestDML(n_estimators1000) model.fit(Y, T, XX) importance model.feature_importances_4.2 结构方程建模(SEM)使用Python的semopy库实现from semopy import Model mod # 测量模型 latent1 ~ x1 x2 x3 latent2 ~ x4 x5 # 结构模型 latent2 ~ latent1 x6 model Model(mod) model.fit(data)5. 模型验证与评估5.1 因果效应检验使用双重机器学习(DML)验证from econml.dml import LinearDML est LinearDML() est.fit(Y, T, XX) est.summary()5.2 敏感性分析通过改变输入参数范围观察输出变化def sensitivity_analysis(model, X, feature_idx, grid): results [] for value in grid: X_test X.copy() X_test[:, feature_idx] value results.append(model.predict(X_test).mean()) return results6. 竞赛实战技巧可视化优先绘制因素影响矩阵图时使用热图网络图组合展示结果可解释性SHAP值解释要配合部分依赖图(PDP)稳定性验证对数据划分进行5次不同随机种子测试时间分配建议数据清洗30%特征工程40%建模分析20%报告撰写10%在最近一次竞赛中我们发现使用LightGBMSHAP解释的组合配合时序交叉验证能较好平衡准确性和可解释性。关键是要在论文中清晰展示因素排序的逻辑依据而非简单呈现算法结果。7. 常见问题解决方案7.1 多重共线性处理使用方差膨胀因子(VIF)检测后可采用逐步回归剔除变量主成分分析降维岭回归/L2正则化from statsmodels.stats.outliers_influence import variance_inflation_factor vif [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]7.2 小样本过拟合解决方法使用贝叶斯回归添加Dropout层早停策略from sklearn.linear_model import BayesianRidge model BayesianRidge(alpha_11e-6, lambda_11e-6)影响因素分析模型的核心在于建立可解释的因果关系链。在实际竞赛中我们团队通过构建数据清洗→特征筛选→因果验证→稳健性检验的四步流程最终在有限时间内完成了符合评分标准的解决方案。建议参赛者提前准备好特征工程和模型解释的代码模板以应对竞赛时间压力。