前后端分离、静态托管这些概念这几年很流行但真正把这些东西和爬虫组合起来做成一个个人新闻聚合站不少朋友还没试过。这篇文章我分享的就是用 Python 从零写一个通用新闻采集器抓取多个新闻源的列表页和正文页清洗之后存入 SQLite再用模板渲染成一套完全静态的 HTML 站点。整个过程不依赖重型框架代码量不高但正好能把 requests、BeautifulSoup、SQLAlchemy、Jinja2 这些 Python 爬虫入门必备知识点串起来。这个项目解决的是典型的信息分散问题。今天刷 A 站明天刷 B 站内容零散链接还可能失效。不如自己写一个采集器定时抓取感兴趣的栏目最后在本地生成一个静态站想看的时候直接打开浏览器或者干脆部署到任意静态托管上分享给别人。无论你是有一定 Python 基础的同学还是刚学完基础语法的新手只要按下面的步骤走都能得到一套属于自己的新闻聚合页。先把整体思路讲清楚再逐步拆解代码最后整理几个我在调试过程中踩过的坑。这些代码我都跑通过你可以直接拿来改。1. 项目定位与整体设计思路1.1 为什么第一实战项目选新闻采集器爬虫项目的类型非常多但新闻站确实是最适合入门的。原因很实际新闻站的结构高度重复一个站里几十个频道都是列表页详情页的模式正好用来训练通用的解析逻辑。而且新闻正文排版相对规整大部分内容都放在一个article或者div.content容器里不像电商那样要面对复杂的商品变体、价格逻辑、库存状态。另一个关键是新闻内容采集之后天然适合静态化展示。一条新闻包含标题、发布时间、摘要、正文、来源链接这些字段展示起来非常直观不需要复杂的交互。做完这一个项目你就能明显感受到采集、清洗、存储、渲染四个环节是怎么衔接的。后面再去接触电商监控、舆情分析、论文检索这类项目思路会顺很多。如果第一节课直接上 Scrapy或者一上来就聊分布式爬虫反而容易被框架细节淹没。我见过太多新人被 Scrapy 的 Item Pipeline、Downloader Middleware 整晕最后连请求到底是怎么发出去的都没搞明白。所以这个项目刻意用最基础的 requests BeautifulSoup 手写把原理走一遍。之后再上任何框架理解完全不一样。1.2 静态站模板相比后端渲染的优势提到爬虫项目很多人第一反应是爬完存 MySQL再写个 Flask / Django 后端展示。这当然可以但对个人项目来说太重了。你得维护数据库服务、后端进程、依赖兼容还得担心安全问题。静态站完全不同爬虫把数据渲染成一批 HTML 文件放在任何静态托管上就能直接访问。没有服务端脚本没有数据库连接打开速度快也不用担心被扫漏洞。我把这套静态站模板设计成可复用的核心目的就是让采集器和展示层完全解耦。抓科技新闻也好抓体育新闻也罢只要改configs/sites.py里的解析配置生成静态站的框架完全不用动。模板做完之后每新增一个站点改完配置跑一次脚本就多一个栏目。下一次采集是增量合并。时间久了它就变成了你自己的信息阅读门户。1.3 技术选型与依赖清单这个项目最终用了 requests BeautifulSoup4 SQLAlchemy Jinja2没有用 Scrapy。具体选择见下表库/工具用途选用原因Python 3.10运行环境类型标注、海象运算符等语法支持更好requests发起 HTTP 请求接口直观适合新手理解请求流程beautifulsoup4 lxml解析 HTMLCSS 选择器提取节点容错性好SQLAlchemy 2.xORM 存储数据模型化切换数据库方便SQLite数据库引擎零配置、单文件本地项目首选Jinja2模板渲染模板继承、循环控制生成静态页方便requests 是网络请求的基础工具它封装了连接、Cookies、重定向这些细节但又让开发者能清楚看到 Response 的状态和内容。BeautifulSoup 负责把 HTML 转成可查询的节点树比手写正则去匹配标签可靠得多。SQLAlchemy 让你用 Python 类定义新闻这张表不用手写建表 SQL字段调整也直观。Jinja2 是 Flask 同款模板引擎模板继承、循环判断都很简单天然适合批量生成 HTML。提示如果你用 pip 下载安装比较慢可以切换国内镜像源例如pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests只是镜像源的问题和代码逻辑无关。2. 环境准备与项目脚手架搭建2.1 从零配置 Python 开发环境这一节主要写给刚入门的朋友。如果你已经装好 Python、虚拟环境可以跳过直接看 2.2 节。Windows 下可以去 python.org 下载安装包安装时务必勾选Add Python to PATH否则后续在终端敲python会提示找不到命令。macOS 建议用 Homebrew 安装Linux 用系统包管理器装。装完在终端执行python --version能看到Python 3.10.x就说明环境没问题。编辑器我用的是 VSCode装好 Python 插件后打开项目文件夹右下角选解释器。这里有个关键细节一定要选虚拟环境里的解释器而不是系统的全局 Python否则依赖会装乱。创建虚拟环境的命令如下python -m venv venv source venv/bin/activate # macOS / Linux venv\Scripts\activate # Windows激活后命令行前面会出现(venv)前缀。接着安装依赖pip install requests beautifulsoup4 lxml sqlalchemy jinja2最后把依赖固定到requirements.txt方便以后在别的机器一键还原pip freeze requirements.txt2.2 项目目录结构设计写爬虫最怕脚本堆在一起今天写一个spider.py明天再写一个parse.py时间一长自己都找不着。我的习惯是彻底分层把采集配置、请求逻辑、解析逻辑、存储逻辑、渲染逻辑彻底拆开。下面是这套项目推荐的结构news_spider/ |-- configs/ | |-- __init__.py | -- sites.py # 所有目标站的配置字典 |-- spider/ | |-- __init__.py | |-- engine.py # 请求、重试、限速 | |-- parser.py # 列表页与详情页解析 | -- storage.py # SQLAlchemy 模型与存储 |-- templates/ | |-- base.html # 公共导航和底部 | |-- index.html # 首页列表 | -- detail.html # 详情页 |-- output/ # 生成的静态站目录 |-- render.py # 数据库 - 静态站 |-- run.py # 主入口 -- requirements.txt你可能会问入门项目有必要拆这么细吗我的体会是如果只写一个脚本第一版确实很快但当你加第二个新闻源、第三个新闻源时代码会变成一堆if source xx的分支维护成本直线上升。拆分的代价只是多几个文件收益却是加站点只改配置不改逻辑。3. 通用采集器的核心机制3.1 配置驱动的采集器架构通用的关键在于让页面结构和采集逻辑分离。页面结构会变采集逻辑基本不变。我用 Python 字典来定义每个站点的解析规则每个新闻源只需要提供以下信息# configs/sites.py SITES { tech: { name: 科技新闻, base_url: https://news.example.com/tech/, list_url: https://news.example.com/tech/page/{}, encoding: utf-8, list_selector: { item: div.news-item, title: h2 a, link: h2 a, time: span.date, summary: p.desc }, detail_selector: { title: h1.article-title, content: div.article-content, time: span.publish-time }, max_pages: 5, request_headers: { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ... } }, # 新增站点直接在后面加 key 就行 }list_selector表示列表页中每条新闻位置的 CSS 选择器detail_selector表示详情页标题和正文的位置。采集引擎只认这套字典不关心具体是哪一个网站。这样设计的好处很直观新增站点时打开浏览器按 F12 查看元素把对应的 class 或标签层级填进字典完全不用改任何抓取逻辑。我在实际项目中还会把max_pages、request_interval这类行为参数也放在配置里面。这样控制抓取深度和频率时也只改配置不用翻代码。不同站点的列表页时间格式不一样我就再加一个time_format字段后面解析时间时就按这个字段去匹配。3.2 请求模块设置超时与重试采集代码的核心其实是稳定地拿到 HTML。这一步不能小看网络抖动、目标站超时、临时封禁都会让爬虫直接崩溃。我在engine.py里做了一个带重试机制的请求函数# spider/engine.py import time import random import requests from requests.adapters import HTTPAdapter def build_session(headersNone): s requests.Session() s.headers.update({ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ..., Accept-Language: zh-CN,zh;q0.9, }) if headers: s.headers.update(headers) # 挂上重试适配器遇到 5xx 或连接错误自动重试 adapter HTTPAdapter(max_retries2) s.mount(https://, adapter) s.mount(http://, adapter) return s def fetch(session, url, encodingutf-8, timeout10): try: resp session.get(url, timeouttimeout) resp.raise_for_status() except requests.RequestException as e: print(f[请求失败] {url} - {e}) return None resp.encoding encoding return resp.text这里有两个细节值得说。第一requests.Session()会自动复用底层连接连续请求同一域名时性能更好也更像普通浏览器的行为。第二HTTPAdapter(max_retries2)会让请求在遇到连接错误或 5xx 时自动重试两次。配合异常捕获基本能扛住大多数网络抖动。抓完一个页面后如果目标站没有明确反对最好加一个随机延时模拟人工操作降低被封风险time.sleep(random.uniform(1, 3))限速不是怂是给自己省麻烦。个人学习项目抓得太猛既抬高了 IP 被封的风险也增加了目标服务器负担。3.3 解析模块列表页与详情页的通用解析拿到 HTML 之后解析就交给 BeautifulSoup。我通常使用 CSS 选择器select_one/select原因是可读性非常好语法接近于前端工程师熟悉的 jQuery 选择器。列表页的解析逻辑是先找到所有新闻条目节点再逐条抽取标题、链接、时间和摘要。# spider/parser.py from bs4 import BeautifulSoup def parse_list(html, selector, base_url): soup BeautifulSoup(html, lxml) items [] for node in soup.select(selector[item]): title_node node.select_one(selector[title]) link_node node.select_one(selector[link]) if not title_node or not link_node: continue title title_node.get_text(stripTrue) link link_node.get(href) if not link: continue # 相对路径转绝对路径 if link.startswith(/): link f{base_url.rstrip(/)}{link} items.append({ title: title, url: link, time: node.select_one(selector.get(time)).get_text(stripTrue) if node.select_one(selector.get(time)) else , summary: node.select_one(selector.get(summary)).get_text(stripTrue) if node.select_one(selector.get(summary)) else , }) return itemsget_text(stripTrue)会把节点里的换行和首尾空格清干净。相对链接的情况很常见所以在拼接之前要判断startswith(/)。还有的站点链接会给//开头的协议相对地址这种情况需要补一个https:我建议统一做一次规范化否则后续生成静态站时点进去可能 404。详情页解析的重点是正文容器。我先按配置找到正文节点然后删掉里面的script、style这些无用标签再get_text提取纯文本。def parse_detail(html, selector): soup BeautifulSoup(html, lxml) title_node soup.select_one(selector[title]) title title_node.get_text(stripTrue) if title_node else None content_node soup.select_one(selector[content]) if content_node is None: return None, None for tag in content_node.find_all([script, style, ins]): tag.decompose() content content_node.get_text(\n, stripTrue) return title, content用get_text(\n, stripTrue)而不是默认的空字符串拼接是为了让段落之间保留换行。渲染成 HTML 的时候可以分段落展示。如果你发现正文里还残留大量广告文字可以在decompose()时多补充节点特征判断比如节点 class 或 id 包含advert、banner的直接删掉。3.4 数据存储SQLAlchemy 模型与去重策略数据不落盘一切都是白搭。静态站最终虽然是 HTML但中间一定要有一个数据库来帮助去重、排序、过滤否则每跑一次脚本就会重复生成。这里我定义了一个NewsItem模型# spider/storage.py from sqlalchemy import create_engine, Column, Integer, String, DateTime, Text from sqlalchemy.orm import declarative_base, sessionmaker from datetime import datetime Base declarative_base() class NewsItem(Base): __tablename__ news_items id Column(Integer, primary_keyTrue, autoincrementTrue) title Column(String(300), nullableFalse) url Column(String(500), nullableFalse, uniqueTrue) summary Column(String(1000), default) content Column(Text, default) source Column(String(50), default) published_at Column(DateTime, defaultdatetime.now) created_at Column(DateTime, defaultdatetime.now) def init_db(db_pathnews.db): engine create_engine(fsqlite:///{db_path}, echoFalse) Base.metadata.create_all(engine) Session sessionmaker(bindengine) return engine, Session()URL 唯一约束是最基础的去重手段。同一个链接重复抓取时插入会触发IntegrityError。我在存储时先按 URL 查询一次存在就跳过不存在才插入这样就不会重复。想更精细的话可以对标题做相似度去重比如用difflib.SequenceMatcher比较已有标题相似度超过 0.9 就视为重复。但相似度方案有误杀概率我建议第一版先用 URL 去重后面按需再上。时间字段也要注意。很多新闻站显示的是3小时前、昨天这类相对时间入库之前最好统一转成标准的datetime否则后面列表页按时间排序会错乱。4. 实操过程从目标站分析到静态站落地4.1 用浏览器分析目标站的页面结构实操第一步不是写代码而是看页面。拿一个简单新闻站举例打开开发者工具选中一条新闻标题你会看到对应的 HTML 结构大概是div classnews-item h2a href/post/12345.html某条新闻标题/a/h2 span classdate3小时前/span p classdesc这里是一段摘要……/p /div那配置就写成item: div.news-item、title: h2 a、link: h2 a、time: span.date、summary: p.desc。点击标题进详情页再定位正文div classarticle-content配置里填content: div.article-content即可。需要注意的是有的站点列表页标题链接不在h2下面而是a classtitle有的站点详情页正文还嵌套在多层 div 里面。最稳的办法是把浏览器复制出来的选择器先写进配置再在 Python 里快速验证一遍确认不会选到空白节点。4.2 主入口脚本采集、清洗、入库串起来run.py是整个采集器的编排中心。流程很直接遍历SITES配置对每个站点请求列表页解析出基础信息再逐个请求详情页解析正文最后写入数据库。核心代码# run.py import time import random from configs.sites import SITES from spider.engine import build_session, fetch from spider.parser import parse_list, parse_detail from spider.storage import init_db, NewsItem def normalize_datetime(text): # 简单场景适配 2024-05-20 10:30 和 3小时前 # 换成你自己的时间解析逻辑返回 datetime 对象 ... def run(): engine, session init_db() http build_session() for source_name, config in SITES.items(): print(f开始采集{config[name]}) for page in range(1, config[max_pages] 1): url config[list_url].format(page) html fetch(http, url, encodingconfig.get(encoding, utf-8)) if not html: continue page_items parse_list(html, config[list_selector], config[base_url]) for item in page_items: exists session.query(NewsItem).filter_by(urlitem[url]).first() if exists: continue detail_html fetch(http, item[url], encodingconfig.get(encoding, utf-8)) if not detail_html: continue title, content parse_detail(detail_html, config[detail_selector]) if not title or not content: continue news NewsItem( titletitle or item[title], urlitem[url], summaryitem.get(summary, )[:300], contentcontent, sourceconfig[name], published_atnormalize_datetime(item.get(time, )) ) session.add(news) time.sleep(random.uniform(0.5, 1.5)) session.commit() time.sleep(random.uniform(1, 3)) session.commit() session.close() if __name__ __main__: run()这里我刻意留出一个normalize_datetime空函数是想强调时间处理是真实项目中绕不开的环节。不同站点的格式差别很大有的带时区有的是时间戳有的直接写2024年5月20日。我的习惯是统一先转成datetime实在解析不了就用当前时间兜底。宁可时间不准也不能让程序崩溃。4.3 增量采集与数据校验第一次全量采集完毕后第二次跑就会自动进入增量模式因为 URL 去重会让已存在的记录被跳过。这个机制带来的好处是每次重跑成本很低适合放到定时任务里每天执行。不过增量模式有一个坑如果详情页正文更新了比如新闻被编辑修改去重逻辑发现 URL 已存在就直接跳过导致看不到最新版本。解决办法也不难在查询时加一个内容哈希比较URL 存在但内容字段的哈希值变化就执行更新。不过这是优化项第一版先不过度设计。数据入库后我通常会做一个简单的校验查询对比数据库中记录数和目标站列表页数量检查是不是有大量遗漏随机抽几条标题确认没有乱码或截断。这一步能帮你尽早发现解析规则的遗漏而不是等生成完静态站才看到一堆空白页。4.4 用 Jinja2 生成可复用的静态站数据入库后最后一步就是把数据渲染成静态站点。我用 Jinja2 模板继承实现。base.html负责公共头尾!-- templates/base.html -- !DOCTYPE html html langzh-CN head meta charsetUTF-8 meta nameviewport contentwidthdevice-width, initial-scale1.0 title{% block title %}我的新闻聚合站{% endblock %}/title style body { font-family: system-ui, sans-serif; max-width: 800px; margin: auto; padding: 1rem; } .post { padding: 0.8rem 0; border-bottom: 1px solid #eee; } .post a { font-size: 1.1rem; color: #333; text-decoration: none; } .meta { color: #888; font-size: 0.85rem; } /style /head body h1我的新闻聚合站/h1 {% block content %}{% endblock %} /body /htmlindex.html继承base.html循环展示所有新闻!-- templates/index.html -- {% extends base.html %} {% block title %}最新新闻{% endblock %} {% block content %} {% for news in news_list %} div classpost a href{{ news.filename }}{{ news.title }}/a div classmeta{{ news.source }} · {{ news.published_at }}/div p{{ news.summary }}/p /div {% endfor %} {% endblock %}注意我在循环里给每条新闻加了一个news.filename字段。它没有存在数据库里而是在渲染前计算出来的比如posts/20240520_3.html。这样首页链接就能直接指向生成的详情页文件。再补一个 detail.html!-- templates/detail.html -- {% extends base.html %} {% block title %}{{ news.title }}{% endblock %} {% block content %} article h2{{ news.title }}/h2 div classmeta{{ news.source }} · {{ news.published_at }}/div {% for paragraph in news.content %} p{{ paragraph }}/p {% endfor %} pa href{{ news.url }}查看原文/a/p /article {% endblock %}渲染脚本render.py的流程是从数据库取出全部新闻按发布时间倒序排列补上filename和正文段落列表然后渲染模板并写入output目录# render.py from pathlib import Path from datetime import datetime from jinja2 import Environment, FileSystemLoader from sqlalchemy.orm import sessionmaker from spider.storage import engine, NewsItem env Environment(loaderFileSystemLoader(templates)) output_dir Path(output) output_dir.mkdir(exist_okTrue) post_dir output_dir / posts post_dir.mkdir(exist_okTrue) Session sessionmaker(bindengine) session Session() rows session.query(NewsItem).order_by(NewsItem.published_at.desc()).all() news_list [] for row in rows: filename fposts/{row.id}.html news_list.append({ id: row.id, title: row.title, url: row.url, summary: row.summary, content: row.content.split(\n), source: row.source, published_at: row.published_at.strftime(%Y-%m-%d %H:%M), filename: filename, }) detail_page env.get_template(detail.html).render(newsnews_list[-1]) (output_dir / filename).write_text(detail_page, encodingutf-8) index_page env.get_template(index.html).render(news_listnews_list) (output_dir / index.html).write_text(index_page, encodingutf-8) session.close() print(f生成完成{len(news_list)} 条新闻输出至 {output_dir})渲染完成后在output目录下执行python -m http.server 8000浏览器访问http://localhost:8000一个完全由自己采集、自己渲染的静态新闻站就跑起来了。5. 常见问题与排查技巧实录5.1 中文乱码到底怎么治中文乱码是入门爬虫最常见的打击。问题通常出在编码判断上。requests 会根据响应头猜测编码但很多网站的响应头没写charset或者写错了。我的做法是在配置里显式声明每个站点的encoding而不是完全依赖apparent_encoding。比如有的老站是 GB2312你按 UTF-8 去读不乱码才怪。如果已经乱码了最简单的排查办法是打印 HTML 前 200 个字符看是\x转义还是正常汉字。如果是乱码就手动指定resp.encoding gbk。还有一个易被忽略的点同一个站点的列表页和详情页编码可能不同所以encoding字段在配置里最好分开或者统一用requests.utils.get_encodings_from_content去解析实际页面。5.2 Header 伪装与反爬很多新闻站的反爬并不强但如果完全不设置 headers某个请求一旦缺了 User-Agent服务器可能直接返回 403。我的做法是在build_session里统一设置一套浏览器 UA 和 Accept-Language这样所有请求默认都有正常的浏览器身份。如果遇到更严格的站点比如要校验 Referer就在具体请求里附加headers{Referer: config[base_url]}。再严格点的可能还要处理 Cookie 或验证码这种就不建议新手硬扛了。换个思路很多大站其实有移动版或者 RSS 订阅源接口反爬反而松。要学会挑软柿子捏。爬虫的目的是拿数据不是和服务器管理员斗智斗勇。5.3 列表页能打开详情页取不到正文这个现象我见得太多了。原因通常是详情页正文不是一次请求加载回来的而是通过 JS 异步请求接口再拼接的。这种情况下你用 requests 拿到的 HTML 里根本没有正文节点当然解析不到。应对办法分三个层次。最简单的是打开开发者工具的 Network 面板找 XHR 或 Fetch 请求看是否存在一个返回正文的 JSON 接口。如果有直接模拟请求那个接口解析 JSON 而不是 HTML。第二个层次是用 Playwright 或 Selenium 控制真实浏览器等 JS 渲染完再抓取解析这也是为什么 Selenium 反爬相关的内容在社区里一直热度很高。第三个层次是换一个信息源很多新闻门户的纯静态版、RSS 源反而更好抓不值得为单个站点上重型工具。5.4 SQLAlchemy 表结构变更和会话提交SQLAlchemy 的create_all()只会创建不存在的表不会改动已存在的表结构。所以你在开发过程中改了模型字段比如给NewsItem加了category列哪怕重启程序SQLite 里也不会有这个列。开发环境最简单就是删除news.db重新跑一遍。如果有不能丢失的数据就去了解 Alembic 迁移工具。个人项目我一般直接删库重跑但你应该至少知道迁移的概念进团队协作时会用到。另一个容易踩的坑是session.commit()的频率。等整个采集流程结束再 commit一旦中途某条数据触发异常回滚之前插入的数据也全丢了。我在每个 URL 处理完后判断是否已存在然后按页 commit 一次。这样即使异常恢复也不至于丢失太多进度又不至于每条都 commit 导致频繁磁盘写入影响速度。6. 扩展思路与我的实操体会6.1 把采集器扩展到更多站点这套结构加新站点的工作量基本就是编辑configs/sites.py。你只需要按浏览器里看到的页面结构把对应的选择器填对就行。唯一要注意的是不同站点的链接拼接规则可能不一样有的需要补base_url有的只需要补/这一块我在parser.py里做了统一处理。如果你遇到特殊的可以给配置再加一个link_prefix字段。多个站点跑完之后数据库里会有不同source的记录。你可以在渲染时按来源分组生成按栏目分类的首页也可以在首页顶部做一个简单的 tab 切换只显示某个来源的新闻。这些都是模板层的调整跟 Jinja2 的逻辑完全兼容。6.2 定时采集与自动化静态站最大优势是部署简单。本地跑通之后可以设置定时任务让它每天固定时间采集更新。Windows 用任务计划程序macOS/Linux 用crontab。比如每天凌晨 6 点执行0 6 * * * cd /path/to/news_spider /path/to/venv/bin/python run.py /path/to/venv/bin/python render.py如果想彻底免维护把output目录推送到 GitHub Pages、Cloudflare Pages 或对象存储就能实现每天醒来打开手机看到自动更新好的个人新闻站。这个组合拳是我个人很推荐的一种玩法。6.3 从手写到框架的升级路径写完这个项目最应该体会到的是爬虫的骨架请求、解析、存储、渲染。四个环节里只有解析是最依赖站点特征的部分其他都是相对通用的模块。理解了这一点之后再学 Scrapy会发现它其实是在更高的抽象层上帮你做好了调度、并发、中间件。你需要做的只是在items.py和pipelines.py里填自己的业务逻辑。我也是从这样的手写版本起步的。后来上 Scrapy 和更复杂的抓取方案并没有太多障碍因为我心里很清楚底层到底发生了什么。这个项目本身很小但只要你真正动手改过几个站点、踩过几个坑后续再学网络编程、数据可视化甚至学一点前端渲染都会快很多。最后分享一点个人体会。爬虫最重要的能力不是写代码而是拆需求。拿到一个站点先分析它有没有现成接口、有没有反爬、页面结构稳不稳定再决定怎么抓。这套配置驱动的写法其实就是我把拆需求的结果变成了可维护的工程代码。真把这一套逻辑吃透你的第一个通用采集器也就算彻底做完了。