简介一份以多元线性回归预测房价为主题的 Python 源码集锦面向机器学习初学者、高校学生及相关课程设计人群。内容覆盖数据读取、异常值与缺失值处理、分类变量One-hot编码、数值特征标准化/归一化再到调用 scikit-learn 构建多元回归模型、评估 R²/MSE并能延伸至特征选择与L1/L2正则化调优配合房价 CSV 数据集与可运行的 Jupyter Notebook可快速跑通全流程。资源包共 5 个文件包括 2 个 ipynb 交互式脚本、1 个 csv 样本数据、1 个 html 结果预览和 1 个 txt 说明文档整体仅 196KB轻量而完整文件结构清晰。目前已有 7625 人学习浏览适合需要结合代码理解回归原理并动手实践的读者。通过源码可直观看到从数据预处理、模型训练、结果评估到残差图与预测对比可视化的实现细节也可将其中评估与调优模板迁移到其他回归任务。 身边的同学、同事问我最多的一句话就是能不能教我用 Python 预测房价其实市面上教机器学习的教程多到数不清但大部分要么堆了一堆数学公式要么就是照着 Kaggle 抄代码跑一遍。这次我把自己实际用过的一整套「多元线性回归模型预测房价」源码整理了一遍核心思路、代码实现、踩坑排查全都放在里面。对于刚接触 Python 数据分析或者想入门机器学习的人来说这个项目是一个很好的练手样本它不算难但已经把数据清洗、特征工程、模型训练、结果评估整个链路都覆盖了。结合热搜里大家常搜的“python源码”“pip 安装”“vscode 配置”等关键词我也会把环境相关的问题一并说清楚——因为我在跑通这套代码时还真因为这些环境问题卡过不少时间。1. 项目背景与整体思路1.1 为什么选择多元线性回归做房价预测房价预测在很多入门教程里都被当成回归问题的经典案例。选择多元线性回归不是因为它在房价预测上精度最高而是因为它解释性极强适合入门阶段搞清楚“模型到底学到了什么”。所谓多元线性回归就是有多个自变量 (x_1, x_2, ..., x_n)目标值 (y) 被假设成这些自变量的线性组合(y \beta_0 \beta_1 x_1 \beta_2 x_2 ... \beta_n x_n)。放到房价场景中就是面积、卧室数量、房龄、地理位置评分等特征共同决定房价。每个系数 (\beta_i) 代表在其他条件不变时该特征每增加一个单位房价上升或下降多少。这比树模型、神经网络更直观。比如你训练完模型后可以直接说“面积每增加 1 平方米房价平均上涨 0.8 万”。深度学习模型做不到这种可解释性对于非技术背景的业务人员来说线性模型的系数就是一份通俗易懂的报告。另外我选择线性回归还有一个现实原因手头数据量不大几百条到几千条样本线性模型训练速度极快几秒钟就能出结果这很利于调试和分析。1.2 一套完整项目流程包含哪些环节回头看我最终整理出的源码整个项目并不是只有训练模型那一段代码而是分成了好几块数据准备与读取数据探索EDA数据清洗与特征处理训练集与测试集拆分构建多元线性回归模型模型评估与结果可视化参数调优与诊断很多初学者写代码喜欢直接跳到第 5 步甚至直接在原始数据上训练结果跑出来的模型效果差得离谱还以为算法不行。实际上在真实项目中70% 的时间都在和数据缠斗。数据里有缺失值、异常值、量纲不一致的问题这些都会直接影响回归系数。我整理这套源码时刻意把每部分单独封装成了函数方便一个个环节调试。后面我会按这个顺序逐段讲解并给出可以直接运行的代码。2. 数据准备与特征工程2.1 数据集的取舍自己造数据 vs 真实数据集这个项目最省事的方案是直接加载 scikit-learn 自带的波士顿房价数据集。不过这个数据集因为一些争议已经从新版库中移除了而且它只有 13 个特征、506 条样本放到今天的视角看偏小。我在源码集锦里推荐的是另一个方案自己构造一份模拟数据集。不要觉得模拟数据不靠谱它最大的优势是你对真实关系一清二楚能完全掌控验证模型是否正确。比如我在代码里这样构造数据import numpy as np import pandas as pd np.random.seed(42) n 1000 area np.random.normal(120, 30, n).clip(50, 300) bedrooms np.random.randint(1, 6, n) age np.random.randint(0, 50, n) location_score np.random.uniform(0, 10, n) price (50 0.8 * area 5 * bedrooms - 0.3 * age 12 * location_score np.random.normal(0, 20, n)) df pd.DataFrame({ 面积: area.round(2), 卧室数: bedrooms, 房龄: age, 地段评分: location_score.round(2), 价格: price.round(2) }) df.to_csv(house_data.csv, indexFalse) print(df.head())构造逻辑很简单真实房价等于一个线性公式再加上一个正态噪声。因为我们知道真实系数是多少后面训练出来的模型系数能不能逼近这些真实值就成了检验实现是否正确的标准。这种“先给答案再倒推验证”的方式特别适合学习阶段。当然如果你有现成的 CSV 数据只需把数据读取那一行换成pd.read_csv()就行。2.2 缺失值、异常值与量纲问题拿到数据后通常要做三件事检查缺失值、检查异常值、看特征量纲。真实数据集里这三类问题几乎都会出现源码集锦里我也把对应的处理代码加上了。处理缺失值我用两种策略数值型特征用中位数填充不用均值因为均值容易受极端值影响如果某个特征缺失超过 30%我会选择直接丢弃该列。异常值检测这里用最简单的方法——箱线图四分位距IQR超过上下边缘的样本视为异常值。注意房价数据里超高价房产可能不是噪声而是真实存在的豪宅所以异常值要结合业务判断不要盲目删除。我在项目里只删除了面积小于 20 平方米或大于 500 平方米这种明显不符合常识的记录。量纲问题是线性回归最容易踩的坑但一般不会导致报错只会让系数解释变得困难。比如“面积”这个特征数值在几十到几百之间而“地段评分”在 0 到 10 之间二者尺度差距很大。我们通常用标准化或归一化把特征拉到同一量纲from sklearn.preprocessing import StandardScaler feature_cols [面积, 卧室数, 房龄, 地段评分] scaler StandardScaler() df_scaled df.copy() df_scaled[feature_cols] scaler.fit_transform(df[feature_cols])标准化后每个特征的均值为 0标准差为 1这时候线性回归得到的系数大小就能直接反映特征重要性。不标准化的唯一好处是业务解释更直接比如“面积每增加一平米价格增加多少”所以我在最终模型里保留了原始数据训练同时用标准化的结果辅助对比分析。两种做法各有价值源码里都保留了。2.3 训练集测试集拆分避免“考试成绩等于课堂作业”机器学习模型的目标是预测新数据不是记住旧数据。如果你用全部数据训练再用全部数据评估就像考试时直接抄课堂作业分数毫无意义。代码里我用了train_test_split并且设置了random_state保证结果可复现from sklearn.model_selection import train_test_split X df[feature_cols] y df[价格] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 )这里有一个容易忽略的点如果样本带有时间属性比如按月份记录的房价就不能随机拆分否则会用未来数据去训练再用过去数据测试产生数据泄漏。我构造的数据是截面数据没有时间顺序所以随机拆分是合理的。遇到时序数据时你要换成按时间顺序拆分前面的时间段训练后面的时间段验证。3. 多元线性回归模型构建3.1 核心原理最小二乘法在做什么多元线性回归的参数求解最常用的是普通最小二乘法OLS。它的目标很直白找一组系数 (\beta)让模型预测值 (\hat{y}) 与真实值 (y) 之间的误差平方和最小用公式表示就是[ \min_{\beta} \sum_{i1}^{n} (y_i - X_i \beta)^2 ]写成矩阵形式就是 (\hat{\beta} (X^T X)^{-1} X^T y)。这里不展开推导了但记住一个关键点(X^T X) 必须可逆也就是说特征之间不能存在完全的线性相关。如果两个特征高度相关公式在计算时就会数值不稳定这正是多重共线性问题的来源。后面我会专门讲这个问题。我在源码里同时用了两种方式来拟合模型一种是 sklearn 的实现适合快速训练与预测另一种是 statsmodels 的实现适合查看详细的统计分析报告包括 p 值、置信区间等。两者各有所长实际项目中我经常两个都跑一遍。3.2 核心训练代码from sklearn.linear_model import LinearRegression model LinearRegression() model.fit(X_train, y_train) print(截距:, model.intercept_) print(系数:, dict(zip(feature_cols, model.coef_)))训练完成后可以做预测和基础评估from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score y_pred model.predict(X_test) rmse mean_squared_error(y_test, y_pred, squaredFalse) mae mean_absolute_error(y_test, y_pred) r2 r2_score(y_test, y_pred) print(fRMSE: {rmse:.2f}) print(fMAE: {mae:.2f}) print(fR²: {r2:.4f})这里输出的截距和系数值我建议每次训练后都打印出来看一眼。如果某个系数的正负号不符合业务直觉比如“面积越大房价越低”就要回头检查数据是否出了问题而不是急着调参。模型解释和代码运行同等重要。3.3 用统计视角看模型p 值与置信区间只看 sklearn 的系数不够因为你不知道每个变量是否统计显著。所谓统计显著通俗说就是这个特征对房价的影响到底是真的还是可能只是随机波动。statsmodels 的OLS函数能输出完整的回归结果表import statsmodels.api as sm X_train_sm sm.add_constant(X_train) model_sm sm.OLS(y_train, X_train_sm).fit() print(model_sm.summary())重点关注表格里的P|t|列。如果某个特征的 p 值大于 0.05按常规标准认为它在统计上不显著意味着这个特征可能和房价没有真实的线性关系。出现这种情况通常有两种处理方式一是直接剔除该特征二是检查是否和其他特征存在共线性导致系数估计失真。我在项目里就遇到过“卧室数”的 p 值偏高的情况后面排查发现它和面积存在一定的相关性属于信息重复。这时候保留其中一个就足够了。4. 模型评估与诊断4.1 评估指标不是 R² 一个指标说了算很多初学者只看 R²认为 R² 越高模型越好。R² 衡量的是模型解释了多少方差但 R² 高不代表预测就准。我见过 R² 很高但预测误差依然大到离谱的模型原因可能是数据中有极端的离群值拉高了整体相关性的假象。所以我在项目里坚持同时看三个指标指标输出值示例解读R²0.892模型解释了 89.2% 的房价方差整体拟合优秀RMSE19.87平均预测误差大约 19.87 万元对大额房价来说可接受MAE15.62预测值与真实值平均相差约 15.62 万元RMSE 受大误差的影响比 MAE 更大因为它先平方再开方所以当 RMSE 明显高于 MAE 时意味着预测中存在少数误差特别大的样本。这时候不要急着优化整个模型应该先找出那些误差大的样本看看是什么情况——可能是一些特殊户型也可能是数据记录错误。通过这个思路我在源码里增加了残差分析的环节逐个检查预测偏差较大的样本。4.2 残差分析画图看模型是否正常所谓残差就是真实值与预测值的差。一个正常回归模型的残差应该随机分布在 0 附近不应该有明显趋势。我在源码里画了两张图残差与预测值的散点图、残差分布直方图。当你看到残差图呈现“喇叭口”形状即预测值越大残差也越大说明数据存在异方差性此时可以考虑对目标变量取对数或者使用加权最小二乘。我在这次项目中实际用到了一个处理技巧对房价取对数。完整代码如下df[价格_log] np.log(df[价格]) y_log df[价格_log] X df[feature_cols] X_train, X_test, y_train, y_test train_test_split( X, y_log, test_size0.2, random_state42 ) model_log LinearRegression() model_log.fit(X_train, y_train) y_pred_log model_log.predict(X_test)取对数之后有一个好处模型不再直接预测房价而是预测房价的对数这在房价跨度大时可以压低极端值的影响。想得到真实房价只需要np.exp(y_pred_log)还原。代价是系数的解释变复杂了因为此时系数含义是“特征每增加一个单位房价对数值变化多少”近似又可以理解为“房价大约变化百分之多少”。如果你注重业务可解释性这点要权衡。4.3 多重共线性别让自变量之间互相打架前面提到线性回归要求特征之间不能高度相关。判断共线性有一个常用指标叫方差膨胀因子VIF。VIF 大于 10 一般认为是存在严重共线性大于 5 就需要警惕。我写了一个遍历计算 VIF 的代码from statsmodels.stats.outliers_influence import variance_inflation_factor def calc_vif(X): X_with_const sm.add_constant(X) vif_data pd.DataFrame() vif_data[特征] X.columns vif_data[VIF] [variance_inflation_factor( X_with_const.values, i 1) for i in range(X.shape[1])] return vif_data print(calc_vif(X))如果发现某个特征 VIF 很高最简单的方法是直接剔除它或者用岭回归Ridge来压缩系数。岭回归通过引入 L2 正则化惩罚项可以缓解共线性导致的系数不稳定问题。我在源码集锦的“模型优化”文件夹中放了一个 ridge 回归的对比版本代码改动很小就是把LinearRegression()换成Ridge(alpha1.0)但效果在很多场景下更稳定。如果你是拿来跑真实数据我建议至少跑一遍 Ridge 作为对比基线。5. 优化方向与避坑指南5.1 常见报错与环境问题这篇博客发布前我把源码完整在干净环境里跑了一遍发现最容易出问题的环节是环境配置。很多同学下载了源码后直接运行然后看到ModuleNotFoundError就慌了。这里把我遇到的几个高频问题整理成一个速查表报错信息出现原因解决方法ModuleNotFoundError: No module named sklearn没安装 scikit-learn在终端运行pip install scikit-learnModuleNotFoundError: No module named statsmodels缺少统计建模库运行pip install statsmodelsImportError: DLL load failed在 Windows 上 numpy 版本不匹配建议先卸载再重装pip uninstall numpy scipy后重新安装DataFrame object has no attribute...pandas 版本 API 变动检查 pandas 版本建议pip install --upgrade pandas报错分辨率位置Kernel diedJupyter 内存溢出或依赖冲突关掉其他 kernel重启 Jupyter 再运行关于 VSCode 环境配置我想特别说一句不要在全局环境里一股脑撞包。比较推荐的做法是新建一个虚拟环境在项目根目录下运行python -m venv venv source venv/bin/activate # Windows 上使用 venv\Scripts\activate然后在这个虚拟环境里安装依赖。这样做的好处是不同项目之间的包版本互相隔离你在这个项目里升级了 sklearn不会把另一个项目的环境搞坏。很多 python 环境相关的报错都是因为包版本错乱导致的。5.2 数据层面的优化空间当你不满足于线性模型的精度时可以从下面几个方向继续扩展这些思路我在源码集锦的注释里也标了出来第一增加交互特征。面积大且卧室数少的房子可能属于高档公寓面积和卧室数之间存在交互效应。线性回归默认不考虑这种交互但你可以手动构造新列比如面积 * 卧室数然后把它加入特征中。第二分箱处理连续变量。比如把地段评分分成“低、中、高”三档转成哑变量有时比分值直接进入模型效果更好。第三尝试非线性模型。多元线性回归是一个很好的起点但在实际业务预测中随机森林或者 XGBoost 往往能拿到更好的精度。不过这些模型的解释性相对较弱。如果你是用真实数据集做项目我还额外建议做一轮特征重要性的对比分析。用随机森林算出来的 feature importance 和线性回归系数排序做个对照可以帮你找出哪些特征真正影响房价然后再反哺到特征工程里。这套“线性模型打底树模型校核”的做法是我个人最喜欢的组合拳。5.3 源码使用时的几个操作细节最后说一说这份源码在本地复现时的操作注意点。第一点保证代码和 CSV 数据文件在同一个目录下或者在读取文件时改成绝对路径不然会报FileNotFoundError。第二点如果你是逐段运行 Jupyter Notebook请注意前面画图用到的matplotlib显示设置我在源码里写了%matplotlib inline在 Jupyter 中能正常显示在 .py 脚本中运行则需要使用plt.show()。第三点源码里所有随机过程都设置了random_state如果你想对照复现我的输出结果不要修改这些参数如果自己跑真实数据则可以去掉改用交叉验证来评估稳定性。从我自己的经验看学这类机器学习项目最忌讳的是“面向跑通编程”。其实跑通源码一点都不难真正有价值的是你花时间看懂每行代码在做什么、改了某个参数模型输出如何变化。我在源码集锦里故意留了一两个可以调整的参数比如噪声大小、样本数量建议你动手改一改看看对模型评估指标有什么影响这样的实验比多看十篇原理文章都管用。在我自己上手这段代码的时候最深的体会是线性回归虽然古老但它的分析框架几乎覆盖了建模前中后所有核心环节。只要把这份源码从头到尾理解透再去学复杂模型会顺利很多。这也是我整理这份源码集锦的初衷希望它能成为你入门机器学习过程中的一块称手积木。本文还有配套的精品资源点击获取