前阵子有个学生读者问我说他在网上找“各省农业总产值”的数据找了小半天不是缺这个省就是少那一年搞得面板模型根本没法跑。这个问题我太熟了。做农业经济、区域经济研究的人几乎人人都会被这份数据折磨过。今天干脆把我自己整理的这份1996-2024年各省农业总产值数据无缺失拿出来说说不仅讲清楚数据本身包含什么更重要的是把这类数据从收集、清洗到使用的完整链路和经验都交代一遍尤其是那些没人写在文档里的坑。这份数据适合谁用农业经济、产业经济、区域经济方向的硕博研究生做实证论文做政策评估的研究人员以及需要快速搭建设计面板的咨询分析人士都会用得上。时间是1996到2024年跨度28年覆盖31个省级行政单位指标是农业总产值不包含任何缺失值。下面我会把它的口径界定、整理逻辑、使用方法和容易踩的坑全部拆开讲清楚。1. 先把标题拆开看时间跨度、地区范围、“无缺失”三个词到底意味着什么1.1 1996到2024跨越28年的年度面板结构很多读者看到“1996到2024”第一反应是“年份挺长”但未必意识到这个起点和终点背后的意义。1996年之前分省农业统计口径经历过几次调整早期各省在统计范围、指标定义上的差异比较大直接拿来拼面板容易出现断档和不可比的问题。从1996年开始分省年度农业经济数据的统计框架基本稳定下来所以这个起始年份不是为了凑整数而是为了可比的连续性。28年乘以31个省级行政单位一共是868个观测值。对于微观计量研究来说这是一个标准的中等规模省级面板。既足够做固定效应、随机效应、系统GMM这类经典面板模型又不至于像微观企业数据那样动辄几百万行需要大规模计算。而且年度数据的颗粒度刚好适合研究政策的中长期效应比如农业补贴政策、乡村振兴相关投入、价格波动冲击等。还有一个细节这份数据更新到了2024年。很多公开渠道只更新到2022年或者2023年2024年这一年的数据要等各省统计公报陆续公布后才能收集齐。所以“更新至2024年”并不是一个噱头它意味着你不需要自己去跑几十个省的门户网站扒最后一年的数据省下的时间够你多跑两个回归模型了。1.2 地区覆盖31个省级行政单位是怎么确认的这里的“各省”按常规统计口径指的是31个省级行政单位不包括港澳台地区。为什么是31个而不是34个因为公开可比的宏观经济统计数据一般只覆盖大陆省级行政单元港澳台的数据在统计口径、货币单位、产业分类上都存在差异强行并入只会让面板产生系统性的测量误差。我在这套数据里做了一个很关键的处理为每个省级行政单位生成了一个统一的数字代码。这个代码不是随意拍的而是按常用行政区划代码规则生成的整数编码保证从小到大排序的时候省份顺序稳定不变。为什么要单独做这一步因为我见过太多人直接从Excel里拉省份名称去合并结果遇到“省”“市”“自治区”后缀不一致、简称和全称混用的问题一个简单的merge就能匹配出几百个缺失。数字代码是解决这类匹配问题最笨但最可靠的办法。1.3 “无缺失”为什么是一件稀缺的事先说结论官方原始数据里分省农业总产值这个指标在1996到2024年之间确实存在一些缺失和断层但数量不算很多主要集中在个别省份的个别年份。“无缺失”这套数据之所以有价值是因为它把最终交付表做到了省×年完全平衡而不是偷懒地从公开库直接复制一个不平衡版本给你。对面板研究来说平衡面板的价值非常直接很多估计方法在非平衡面板上虽然也能跑但标准误的处理、组内离差的定义都会变得复杂更重要的是当你做地区间横向比较时某一年少了几个省份那几年的横向可比性就会打折扣。所以“无缺失”不是洁癖而是让下游实证分析省去大量额外处理的硬需求。2. 最容易被忽略的门槛农业总产值、农林牧渔业总产值与第一产业增加值到底选哪个2.1 三个口径的概念边界这是这类数据里最大的一个坑。标题写的是“农业总产值”但你在不同渠道会看到“农业总产值”“农林牧渔业总产值”“第一产业增加值”三个说法它们不是一回事。我用一张表把它们彻底说清楚指标名称包含范围数值量级特征典型使用场景农业总产值狭义仅种植业产值小于农林牧渔业总产值研究粮食、蔬菜、经济作物等种植业专题农林牧渔业总产值广义种植业林业畜牧业渔业农林牧渔辅助性活动最大通常被简称为“农业总产值”研究农业整体产出规模、产业结构变化第一产业增加值农林牧渔业总产值扣除中间消耗种子、饲料、化肥等后的新创造价值约为总产值的55%-65%核算农业对GDP的贡献、经济结构分析很多人下载数据时没注意最后发现自己手里的1986-2020年“农业总产值”实际上广义口径的农林牧渔业总产值但这并不一定是错误——关键是要明确口径并在论文里写清楚。最怕的是论文里写“农业总产值”数据却是第一产业增加值或者把狭义和广义的数据混在一列里用那结论就不太能看了。2.2 为什么网上下载的数据经常对不上同一个年份同一个省你在A网站和B网站下载的“农业总产值”可能相差几个点甚至十几个点很多人第一反应是“是不是哪个网站错了”。其实大概率不是绝对值错了而是三个口径在打架。举个例子某年某省在公开统计渠道里狭义农业种植业产值大致在2000多亿元量级农林牧渔业总产值会到3000多亿量级而第一产业增加值则只有2000亿上下。如果你自己拼数据从不同来源各拿了一部分拼出来的一定是一锅粥。这也是为什么我建议所有做这类数据的人动手之前先花十分钟明确自己要的口径。2.3 一个动作快速判断你手里的数据是哪个口径最笨但最有效的判断方法拿某一年全国或某个省份的官方公布值去对比。你先确定一个大致的数量级2023年前后全国农林牧渔业总产值已经达到10万亿元左右量级第一产业增加值在9万亿元左右而狭义的农业总产值仅种植业则要小不少。如果你的数据总量级在九到十万亿那大概率是广义口径如果你的数据和“GDP中的第一产业”非常接近那多半是增加值口径。另外可以看指标名称里的定语“农林牧渔业总产值”这个八字的说法一定是广义口径“农业总产值”单独出现的时候反而要小心因为在很多数据库里它已经被默认当作广义的同义词了。我自己更倾向于在论文里直接写清楚“本文使用农林牧渔业总产值广义农业口径”在摘要里就把口径锁死。3. 这套“无缺失”数据是怎么整理出来的从原始散点到最终面板3.1 一手来源与交叉验证逻辑这份数据不是从一个数据库里一键导出的而是做了多来源交叉整理。核心来源是历年公开统计年鉴、各省统计公报、以及农业统计资料汇编。一手来源分成了三个层次优先级从高到低历年公开统计年鉴的分省年度表这是最权威的主干来源各省统计公报里的农业经济部分用来补年鉴发布滞后造成的最近一两年缺口各类统计数据库的公开接口作为批量核对的辅助参照三层来源的优先级为什么这样排因为统计年鉴的口径最稳定、经过审核最严格但它有发布滞后省级统计公报时效性好但各省格式不统一有的用“亿元”有的用“万元”有的只给增长速度不给绝对值。数据库接口适合快速获得一个初步数值但偶尔会出现更新异常。我在整理时对每一个“省×年”的观测值都做了至少两个来源的交叉比对。如果两个来源的数值有差异看差值是否在合理范围内一般在0.1%以内可以认为是舍入误差如果差值超过0.5%就会去翻第三个来源确认。这一步非常耗时但保证了数据质量。3.2 单位、币值与口径的统一原始数据里最让人头疼的就是单位不统一。有的省份在早期用的是“万元”有的省份某几年突然改成了“亿元”还有个别年份由于统计公报排版原因小数点的位数都可能出问题。我在处理时全部统一为“亿元”并在数据文件里保留了原始单位标识字段方便使用者溯源。币值是当年的没有做平减。这一点必须说明如果你做跨年份的纵向比较直接用名义产值会被通货膨胀干扰。建议在实证模型里加入时间固定效应或者用GDP平减指数把名义值转为可比价。我没有在这份数据里强行加入“不变价”的序列因为各省各年的农业不变价指数在早期不好找齐强行推算只会增加噪声。这里还涉及一个统计常识各省农业总产值加总起来和全国公布的农业总产值会有一个小缺口一般不相等。原因是全国数据是单独核算的分省加总时存在重复计算和漏算的调整。所以如果你看到分省加总和全国数差了1%到3%这属于正常现象不要以为数据错了。3.3 缺失年份的补全逻辑这是全篇最干货的部分“无缺失”不是天生无缺失而是对原始缺漏做了补全。不同的缺失情况补法完全不同我按处理优先级列一下缺失情形补全方法可信度仅缺一年前后两年都有用前后两年的年均增速反推当年值前一年值×(当年/前年)^(1/2)的近似处理较高连续缺两到三年结合该省统计公报中的“上年数”字段推算有些公报会直接给调整后的上年基数中等统计口径调整导致的断档用农林牧渔业总产值下的分项农业、林业、牧业、渔业单独加总恢复较高实在无法从同省来源获取用全国数据乘以该省历史占全国比重的移动平均值推算较低但可接受特别注意最后一种方法它的误差会相对大一些属于不得已的选择。我在最终交付的数据文件里专门加了一个“缺失补全标记”字段0表示原始可得1表示插补得到2表示推算得到。这样你在做稳健性检验时可以把插补过的样本剔除再跑一遍看结论是否稳健。这个设计很重要因为有些严谨的审稿人会要求你说明缺失值的处理方式有了标记字段你直接就能写出“已剔除插补样本做敏感性分析”。4. 拿到数据之后的第一步读入、检查与面板设定4.1 Excel打开后的三件事很多读者拿到这类数据后第一件事就是做图结果做到一半发现省份排序乱了。我的建议是不管用什么工具打开文件后先做三件事第一看列名和单位说明。数据文件里除了“省份”“年份”“农业总产值”之外还有“代码”“单位”“缺失标记”几个字段。先确认你用的“农业总产值”那一列的单位到底是“亿元”而不是“万元”。第二用筛选功能检查空值。虽然交付时是无缺失的但你自己在筛选的过程中万一碰到了合并问题先筛一遍空值是最快的排查方式。第三做一次数据透视表把省份放在行、年份放在列看交叉表是否每一格都有值。这一步如果是在Excel里做透视表几十秒钟就能完成能直观确认面板的平衡性。4.2 Stataxtset之前的准备工作Stata用户拿到数据后最常见的错误是把省份名称直接当作面板ID来用。说句实话省份名称作为ID在Stata里不是不能跑但排序会按照拼音或者中文编码来图上看起来乱七八糟合并时也容易出问题。我建议你在Stata里按这样的流程走* 1. 导入数据 import excel 农业总产值1996-2024.xlsx, firstrow clear * 2. 确认变量类型省份代码必须为数值型 destring 省代码, replace tostring 省份, replace * 3. 设定面板 xtset 省代码 年份 * 4. 检查面板平衡性 xtdescribe * 5. 生成对数产值后期做模型常用 gen ln_agri ln(农业总产值)xtdescribe的输出里如果显示每个省都是28个年份就说明面板是平衡的。顺便提醒如果你用的省代码是字符型在xtset之前一定要先destring否则明明看起来是数字系统却会把它当作字符串来处理导致面板设定失败。4.3 PythonPandas从CSV到DataFrame的完整处理Python用户的流程更灵活但思路是一样的核心就是确认数据完整性。以csv格式为例完整代码如下import pandas as pd # 1. 读入数据 df pd.read_csv(农业总产值1996-2024.csv, encodingutf-8) # 2. 检查基本结构 print(df.head()) print(df.dtypes) # 3. 检查缺失值——这一步虽然叫无缺失但还是要验证 print(df.isna().sum()) # 4. 用透视表检查面板是否平衡 pivot df.pivot_table(index省代码, columns年份, values农业总产值) print(pivot.shape) # 预期结果是 (31, 28)如果少于这个数说明有缺失组合 # 5. 如果要用长面板格式可以做一个辅助标记 df[year_count] df.groupby(省代码)[年份].transform(count) print(df[year_count].value_counts()) # 如果全部都是28说明每个省都有完整的28年这里有一个小细节如果原始Excel文件里省份那一列是中文读入后编码保持正常一般没问题但有些系统导出的CSV是GBK编码pd.read_csv默认用UTF-8就会报错。遇到这种情况把encoding参数改成gbk再读就行。很多初学者在这一步被卡住以为是文件坏了其实只是编码问题。5. 用这份数据可以做什么真实可复现的三个分析场景5.1 趋势与结构从一条全国线到分省堆叠图的画法做农业经济分析第一张图通常是全国农业总产值的时间序列。但我不建议画31条省份线叠在一起的图那基本没法看。更可读的做法是先画全国加总趋势线再用近年来某几个年份的分省堆叠柱状图看结构变化。以Python为例全国加总的画法很简单import matplotlib.pyplot as plt # 按年份加总 total df.groupby(年份)[农业总产值].sum() # 绘图 plt.figure(figsize(10, 5)) plt.plot(total.index, total.values, markero, markersize3) plt.title(1996-2024年全国农业总产值(亿元)) plt.xlabel(年份) plt.ylabel(农业总产值) plt.grid(True, alpha0.3) plt.tight_layout() plt.show()这张图能看出两个现象一是总量长期上升二是增速在不同阶段有明显差异。做论文的时候配合描述这背后的政策背景和自然条件变化就是一个很好的“事实基础”小节。5.2 地区差异用泰尔指数量化不平衡省级面板最常见的用途之一就是刻画地区差距。农业总产值在各省之间的分布差异很大直接用基尼系数或泰尔指数可以量化这种不平衡的程度和演变趋势。这里给一个简化版的泰尔指数计算思路将31个省按农业总产值占全国比重做加权计算每个省份份额的自然对数加权和。代码实现并不复杂网上有很多现成公式可参考。关键是用分省数据算出逐年指数再画趋势线看它是上升还是下降这比单纯举出“最大省”“最小省”要有说服力得多。我实测下来1996到2024年期间的农业总产值地区差距总体上是在缩小的但中间有几个阶段出现了反弹。如果你做论文可以围绕“什么时候缩小、为什么缩小、哪些因素驱动”展开这就成了一个有数据支撑的实证故事。5.3 计量模型面板固定效应与工具变量场景从计量角度看农业总产值可以直接作为被解释变量也可以作为解释变量的一部分。最常见的设定是被解释变量农业总产值取对数ln_agri核心解释变量财政支农支出、农业机械总动力、有效灌溉面积、劳动力投入、受灾面积等模型双向固定效应省份固定效应年份固定效应Stata里的标准操作xtset 省代码 年份 xtreg ln_agri 财政支农 机械总动力 有效灌溉面积 受灾面积 i.年份, fe robust estimates store fe_model xtreg ln_agri 财政支农 机械总动力 有效灌溉面积 受灾面积 i.年份, re hausman fe_model .这里有两个很容易犯的错误提前帮你避掉第一被解释变量一定要取对数。农业总产值的量级在省级面板里差异很大不取对数的话残差方差会随产值水平变动异方差问题会很明显。第二一定要加时间固定效应。前面说过产值是名义值没做平减时间固定效应可以在很大程度上吸收价格水平波动的共同冲击。如果你不控制年份效应价格因素就会混进解释变量的系数里。如果你做政策评估比如研究某项农业支持政策的影响可以把政策虚拟变量和省份特征变量做交互用双重差分DID框架。当然政策变量的数据需要你再另行匹配这份农业总产值数据是基础的“地基”地基稳了上面盖什么楼都行。6. 我踩过的坑与验证方法几个只有真做过才写得出的细节6.1 省代码陷阱两位数到三位数的转换早期我整理数据时发现有些历史数据文件里的省份代码是两位数的旧编码后期文件则逐步变为三位数标准编码。如果你直接按“代码”去合并前后年份的数据会发现同一个省在两个时期出现了两个代码合并后直接多出一倍的行数——这是典型的面板“假膨胀”。解决办法是在整理早期就生成一份“省代码对照表”把旧代码和标准代码一一对应然后再统一成标准三位码。这份对照表现在已经建好交付时也附在了数据说明里。6.2 单位陷阱亿元和万元的真实差距有一次我帮一位读者做数据核对他告诉我“农业总产值的数据跟现实差太多”结果我一看他的数据某省某年的数值是“34562”他当成亿元写进了模型回归系数大得离谱。实际上那一年该省的农业总产值只有三千多亿元他那个数值的单位是万元。怎么快速判断单位是否正常记住两个量级锚点全国农林牧渔业总产值在2023年前后是十万亿元量级一个农业大省的年产值通常是几千亿元量级。如果某个省份单年数值大于10万亿那几乎可以肯定是单位或口径出了大问题。6.3 普查修订坑为什么同一个年份在不同时期下载的数据不一样这是很多做纵向研究的人最容易忽视的问题。最近一次全国农业普查开展后统计部门基于普查结果对往年历史数据进行了系统修订很多省份的农业总产值早年数值和普查前公布的版本不一样。如果你下载数据时混用了不同版本的报表1978年到2010年之间的某些数值会对不齐。这也是我为什么要强调数据“版本管理”你用的数据是哪一年整理的、基于哪一轮普查修订后的口径都必须记录在数据说明里。我这套数据基于2024年最新可得修订口径整理你在论文里引用时可以写“基于最新修订口径的1996-2024年分省农业总产值”审稿人一看就懂。6.4 怎么独立验证“无缺失”这件事如果你从别人那里拿到一份号称“无缺失”的面板别着急相信花两分钟做三个验证数一数省份数量df[省代码].nunique()应该等于31数一数每个省的年份数df.groupby(省代码)[年份].count()应该全部等于28做一个“省份×年份”的透视表检查零值或者空值是否存在这套数据交付时虽然是无缺失的但我依然建议你自己验证一遍。不是因为数据有问题而是因为做研究就要养成“所有数据进模型前都过一遍体检”的习惯。数据这行有个朴素的道理给你的数据是无缺失的不意味着你的合并过程也是无缺失的最后出问题的地方往往在你自己写的中间代码里。最后再分享一个小技巧也是我多年的习惯每整理一套数据我都会在旁边配一个codebook也就是数据字典里面写清楚每一个字段的含义、单位、缺失标记规则和来源。这份农业总产值数据同样附带了对应的字典文件。你别小看这一步论文写方法部分时数据字典就是你的“证据清单”能省掉后面大量补写说明的时间。拿到数据的第一天先读字典再跑描述性统计顺序别反。