MediaCrawler 教程一条命令抓取小红书和抖音的帖子数据并导出 CSV【免费下载链接】MediaCrawler项目地址: https://gitcode.com/GitHub_Trending/mediacr/MediaCrawler想拿到小红书的笔记和它的全部评论不用自己写抓取代码。MediaCrawler 是一个多平台社交爬虫填入关键词、跑一条命令Playwright 自动化帮你完成登录、采集和落盘数据直接以 CSV 或 JSON 交到你手上。MediaCrawler 是什么一句话定位它是基于 Playwright浏览器自动化框架的跨平台社交数据爬虫覆盖小红书、抖音、快手、B 站、微博 5 个平台替代的是自己写抓取脚本、逆向接口加密参数的那套流程。几个可以验证的差别登录后的浏览器上下文会持久化在本地browser_data/目录SAVE_LOGIN_STATE True时再次运行不用重新扫码加密参数通过在浏览器里执行 JS 直接获取libs/douyin.js封装了抖音的 Sign 函数libs/stealth.min.js负责去除浏览器自动化特征数据出口有 3 个CSV、JSON都落在data/目录或关系型数据库抖音内置滑块验证码处理由tools/slider_util.py配合tools/easing.py的轨迹模拟完成核心功能逐个看这一节讲最常用的 4 个功能每个都对应一条可以直接复制的命令或一个配置项。关键词搜索采集用 --type search 按词抓帖子场景想看「精品咖啡」这个类目下大家都在讨论什么。把config/base_config.py里的KEYWORDS改成目标词然后执行python3 main.py --platform xhs --lt qrcode --type search首次运行会拉起扫码登录程序按关键词翻页拉取帖子并采集每篇的评论结果按SAVE_DATA_OPTION的取值写成 CSV 或 JSON。定向爬取按帖子 ID 或创作者抓已知具体帖子或博主时不用走搜索。把帖子 ID 填进XHS_SPECIFIED_ID_LIST抖音用DY_SPECIFIED_ID_LIST、B 站用BILI_SPECIFIED_ID_LIST然后python3 main.py --platform xhs --lt qrcode --type detail要抓指定创作者发布的帖子列表把--type换成creator并在XHS_CREATOR_ID_LIST中填创作者 ID。登录三方式qrcode、phone、cookie 任选--lt参数支持三个值qrcode默认、phone、cookie。手机号验证码登录需要一台安卓机做短信转发docs/手机号登录说明.md 有完整搭建步骤Cookie 登录则直接把COOKIES字段填上即可。只要SAVE_LOGIN_STATE为True登录一次后状态就会缓存后面运行自动带入不用重复扫码。代理 IP 池与三种数据落盘方式频繁触发验证码时可以开代理池让请求换 IP 走把ENABLE_IP_PROXY设为TrueIP_PROXY_POOL_COUNT控制池内 IP 数量。IP 池靠 Redis 缓存 IP 和过期时间代理服务商注册后只需把提取链接里的 key、crypto 两个参数写进配置。MediaCrawler 代理 IP 池流程图Redis 缓存 IP 与过期时间落盘方面SAVE_DATA_OPTION三选一csv和json直接写进data/目录db需要先在 config/db_config.py 里配好连接地址默认示例是 MySQL也可以换成 SQLite。实战场景每周 10 分钟拿到竞品笔记数据小程是一家咖啡供应链公司的电商运营负责盯同品类的竞品内容。以前这事靠人工手动刷小红书和抖音、截图、再逐条贴进 Excel一轮要两天。接入 MediaCrawler 之后流程变成四步——① 把KEYWORDS改成「精品咖啡,某竞品」② 跑一次小红书--type search③ 换--platform dy再跑一次抖音④ 汇总data/目录下的 json 文件做词频统计。现在单轮采集 20 篇帖子及其全部评论一周跑三轮约 60 篇、9000 多条评论单轮耗时 10 分钟原来两天的手工活压缩到半天调脚本。快速上手 按下面 4 步走10 分钟内能跑通第一次采集。拉取项目代码git clone https://gitcode.com/GitHub_Trending/mediacr/MediaCrawler cd MediaCrawler建虚拟环境并安装依赖python3 -m venv venv source venv/bin/activate pip3 install -r requirements.txt安装浏览器驱动macOS/Linux 用上面的激活命令Windows 用venv\Scripts\activateplaywright install跑第一次采集首次用小红书 App 扫码登录python3 main.py --platform xhs --lt qrcode --type search配置速查表最常改的 4 个配置项都在 config/base_config.py配置项作用示例KEYWORDS搜索采集的关键词多个用英文逗号分隔python,golangCRAWLER_MAX_NOTES_COUNT单次爬取的视频/帖子数量上限20SAVE_DATA_OPTION数据落盘方式csv / json / dbjsonENABLE_IP_PROXY是否启用代理 IP 池依赖 RedisFalse避坑指南 新手最常踩的 4 个坑每条按现象、原因、解决办法说明。抖音启动报ProgramError: SyntaxError: 缺少 ;原因是机器上没有 Node.js 环境。装一个 v16.8.0 版本的 Node.js 就能跑。刚开始能爬过几天账号被风控、数据抓不动原因是账号触发了平台风控机制。把CRAWLER_MAX_NOTES_COUNT调小、拉长两次运行的间隔规模大的需求开代理 IP 池分散请求不要大规模高频抓取。换了账号爬虫还在用旧登录态原因是登录状态缓存在browser_data/目录里。删除项目根目录下的browser_data/文件夹即可重置。小红书扫码登录一直不通过原因是HEADLESS True时无头浏览器不显示界面弹滑块时没法人工处理。改成HEADLESS False打开浏览器手动过一次滑块即可。延伸资源常见运行问题问答docs/常见问题.md目录与代码结构说明docs/项目代码结构.md代理 IP 详细使用步骤docs/代理使用.md全部配置项与注释config/base_config.py环境跑通后建议下一步把--platform换成dy或bili用同一组关键词再跑一轮对比不同平台的数据结构想改逻辑的话各平台实现都在media_platform/目录下按同样的模式扩展新平台即可。【免费下载链接】MediaCrawler项目地址: https://gitcode.com/GitHub_Trending/mediacr/MediaCrawler创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考