awesome-claude-skills 实践:基于 Rube MCP(Composio)自动化 Scrapingbee 的完整指南
发布时间:2026/10/4 11:56:58 锦皓数字建站
自动化 Scrapingbee 的完整指南`)
AI 技能AI 插件人工智能工作流自动化【免费下载链接】awesome-claude-skillsA curated list of awesome Claude Skills, resources, and tools for customizing Claude AI workflows项目地址https://gitcode.com/GitHub_Trending/aw/awesome-claude-skills点击查看免费下载本文围绕 awesome-claude-skills 仓库中 composio-skills/scrapingbee-automation/SKILL.md 这一技能文档展开系统讲解如何借助 Rube MCPComposio 提供的 MCP 网关在 Claude 等 AI 助手中自动化 Scrapingbee 抓取操作。读完本文你将掌握从接入 Rube MCP、建立 Scrapingbee 连接到发现工具、执行抓取任务的完整链路并了解规避常见陷阱的实战要点。技能定位一句话说明这个 Skill 解决什么问题Scrapingbee 是知名的 Web 抓取与数据提取服务通常需要开发者自行封装 API 调用。而本仓库提供的scrapingbee-automation技能将 Scrapingbee 的操作能力通过 Composio 的 Scrapingbee toolkit 暴露为可被 AI 代理直接调用的工具再由 Rube MCP 统一桥接。用技能文档自身的话说其核心主张是Automate Scrapingbee operations through Composios Scrapingbee toolkit via Rube MCP.技能元数据frontmatter也给出了关键约束description中明确强调Always search tools first for current schemas永远先搜索工具获取当前 schemarequires: mcp: [rube]表明该技能依赖 Rube MCP 作为运行前提。这两点贯穿整个工作流设计的始终。从仓库视角看这并非孤立技能根据 README.md 的说明awesome-claude-skills 收录了78 个 SaaS 应用的预置工作流技能全部经由 Rube MCPComposio提供每个技能都包含工具调用序列、参数指引、已知陷阱和快速参考表工具 slug 均来自 Composio API 的真实数据。Scrapingbee 技能正是这一体系中的一员与其他 77 个技能共享同一套方法论。前置条件Prerequisites在开始任何工作流之前需要满足三个前提Rube MCP 已连接确保RUBE_SEARCH_TOOLS工具可用这是验证 Rube MCP 是否就绪的标志性信号Scrapingbee 连接已建立通过RUBE_MANAGE_CONNECTIONS建立 Scrapingbee 连接toolkit 名称为scrapingbee且状态必须为 ACTIVE先搜索再执行任何情况下都要先调用RUBE_SEARCH_TOOLS获取当前工具 schema不能凭记忆硬编码工具 slug 或参数。接入 Rube MCPSetup接入 Rube MCP 的过程极为轻量技能文档给出了明确的接入方式将https://rube.app/mcp添加为客户端配置中的 MCP server 即可无需任何 API Key添加端点后直接可用。完成端点添加后按以下四步完成验证与连接通过确认RUBE_SEARCH_TOOLS有响应验证 Rube MCP 可用调用RUBE_MANAGE_CONNECTIONStoolkit 指定为scrapingbee若连接状态不是 ACTIVE按返回的认证链接完成授权设置在运行任何工作流前确认连接状态已变为ACTIVE。值得一提的是这一步适用于仓库内全部 78 个 Composio 技能如 composio-skills/composio-automation/SKILL.md 采用了完全相同的四步接入流程也就是说只要接入一次 Rube MCP后续为任意 SaaS 应用建立连接都遵循同样的模式。工具发现Tool Discovery先搜索永远是第一步这是整个技能最强调的一环。技能文档明确要求在执行任何工作流之前先发现可用工具推荐调用如下RUBE_SEARCH_TOOLS queries: [{use_case: Scrapingbee operations, known_fields: }] session: {generate_id: true}该调用会返回四类关键信息可用工具的slug 列表后续执行时引用每个工具的输入 schema字段名、类型、必填项推荐执行计划针对当前 use case 的建议调用序列已知陷阱该工具已知的坑与注意事项。这里session: {generate_id: true}表示首次调用时让系统生成会话 ID供后续工作流复用。核心工作流模式三步走技能文档将标准执行流程归纳为三个步骤下面逐步展开并给出可直接复制使用的调用骨架。Step 1发现可用工具Discover Available Tools针对具体任务描述进行搜索复用已有会话 IDRUBE_SEARCH_TOOLS queries: [{use_case: your specific Scrapingbee task}] session: {id: existing_session_id}将use_case替换为你的真实任务描述例如Scrape product page with JS rendering或Extract structured data from search results page系统会返回与该任务匹配的工具 slug 与 schema。Step 2检查连接Check Connection执行工具前必须确认连接处于 ACTIVERUBE_MANAGE_CONNECTIONS toolkits: [scrapingbee] session_id: your_session_idStep 3执行工具Execute Tools使用从搜索结果中获得的真实 slug 与 schema 构造调用RUBE_MULTI_EXECUTE_TOOL tools: [{ tool_slug: TOOL_SLUG_FROM_SEARCH, arguments: {/* schema-compliant args from search results */} }] memory: {} session_id: your_session_id注意两个细节arguments必须严格遵循搜索返回的 schema字段名与类型逐一对应memory参数即便为空也必须显式携带写为{}。进阶操作批量执行与完整 schema除三步主流程外技能文档还提供了两种扩展手段用于更复杂的场景批量操作使用RUBE_REMOTE_WORKBENCH配合run_composio_tool()可在远程工作台中批量执行多个 Composio 工具调用获取完整 schema对于返回结果中带schemaRef的工具使用RUBE_GET_TOOL_SCHEMAS获取完整 schema 定义避免因 schema 过大或存在引用而信息不全。已知陷阱Known Pitfalls六大注意事项技能文档总结了六条经过实战验证的避坑要点值得逐条重视永远先搜索Always search first工具 schema 会持续变化。绝不能在未调用RUBE_SEARCH_TOOLS的情况下硬编码工具 slug 或参数这是技能元数据中反复强调的铁律检查连接Check connection执行工具前务必确认RUBE_MANAGE_CONNECTIONS返回的状态是 ACTIVE避免对失效连接发起调用Schema 合规Schema compliance必须使用搜索结果的精确字段名与类型多一个字符或少一个字段都可能导致调用失败Memory 参数每次RUBE_MULTI_EXECUTE_TOOL调用都必须包含memory参数即使没有上下文数据也要传{}会话复用Session reuse同一工作流内复用 session ID 以保持上下文连续性开启新工作流时才生成新的 session ID分页处理Pagination留意响应中的分页 token持续获取直到数据完整避免遗漏后续批次的结果。快速参考表Quick Reference技能文档末尾提供了一张速查表适合作为日常操作时的记忆索引操作方式查找工具RUBE_SEARCH_TOOLS传入 Scrapingbee 专属 use case建立连接RUBE_MANAGE_CONNECTIONStoolkit 为scrapingbee执行工具RUBE_MULTI_EXECUTE_TOOL使用发现的工具 slug批量操作RUBE_REMOTE_WORKBENCH配合run_composio_tool()完整 schemaRUBE_GET_TOOL_SCHEMAS针对带schemaRef的工具源码级佐证同一方法论在仓库中的普遍性从源码结构看本技能并非孤例。仓库中 composio-skills 目录下的 78 个自动化技能从-21risk-automation到zyte-api-automation在 frontmatter、接入步骤、三步工作流、六大陷阱和速查表结构上高度一致例如 composio-skills/composio-automation/SKILL.md 中同样使用RUBE_SEARCH_TOOLSqueries: [{use_case: Composio operations, known_fields: }]的工具发现模式。这种结构上的高度统一可以推断Rube MCP 为每个 SaaS toolkit 暴露的调用协议是同构的本篇文章讲解的 Scrapingbee 工作流模式可以平移复用到其余 77 个技能差异仅在于 toolkit 名称与具体的工具 slug。这正符合 README.md 中所描述的每个技能包含工具序列、参数指引、已知陷阱和快速参考表的统一设计。结语通过scrapingbee-automation技能AI 代理可以在不手写任何抓取代码的前提下以搜索工具 → 确认连接 → 执行调用的标准化流程完成 Scrapingbee 抓取任务。其核心方法论——先搜索 schema、严格参数合规、显式携带 memory、复用会话——既是本技能的实战准则也是理解仓库中全部 Composio 自动化技能的一把通用钥匙。安装该技能后只需在客户端中添加https://rube.app/mcp端点并完成一次 Scrapingbee 连接授权即可开始探索。赞分享AI 技能AI 插件人工智能工作流自动化【免费下载链接】awesome-claude-skillsA curated list of awesome Claude Skills, resources, and tools for customizing Claude AI workflows项目地址https://gitcode.com/GitHub_Trending/aw/awesome-claude-skills点击查看免费下载相关推荐基于 Rube MCP 与 Composio 的 Blackbaud 自动化实战指南awesome-claude-skills基于 Rube MCP 与 Composio 的 Blackbaud 自动化实战指南awesome claude skills 本篇指南以 awesomeAI 技能AI 插件人工智能工作流自动化awesome-claude-skills 中的 Borneo 自动化基于 Rube MCP 与 Composio 的完整实战指南awesome claude skills 中的 Borneo 自动化基于 Rube MCP 与 Composio 的完整实战指南 本篇技术指南以仓库内 coAI 技能AI 插件人工智能工作流自动化基于 Rube MCP 与 Composio 的 Magnetic 自动化实战指南awesome-claude-skills基于 Rube MCP 与 Composio 的 Magnetic 自动化实战指南awesome claude skills 导读 本文围绕 awesomeAI 技能AI 插件人工智能工作流自动化上一篇3步搞定Zotero文献管理智能化阅读进度可视化和标签管理终极指南下一篇Crossplane Composition Validating Webhook 设计解析从 schema 校验到渲染资源验证的完整方案创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
锦
锦皓数字建站
深耕本土企业品牌数字化升级,专注原创端正雅致商务官网,从视觉设计到稳定运维全程保驾护航。