gpt-prompt-engineer 完整指南提示词自动生成、测试、排名告别手动试错【免费下载链接】gpt-prompt-engineergpt-prompt-engineer - 一个工具用于自动化生成、测试和排名多种提示以找到最适合特定任务的提示。项目地址: https://gitcode.com/GitHub_Trending/gp/gpt-prompt-engineer你有没有过这种经历同一个提示词改来改去十几遍模型输出还是不理想也不知道第几版才算对路。gpt-prompt-engineer 是一个免费开源的提示工程工具给它一段任务描述和几个测试用例它会自动生成一批候选提示词让它们在测试用例上两两比赛再用 ELO 评分系统排出名次直接告诉你哪个提示词最适合你的任务。 上手前你需要知道什么它是一组独立的 Jupyter notebook不是复杂的框架新手和已经在用 OpenAI API 的工程师都能直接用。前置条件只有一个OpenAI API Key想跑 Claude 版本则换成 Anthropic API Key。它可以在 Google Colab 里免安装运行也可以克隆到本地用 Jupyter 打开。 四步跑通你的第一次提示词排名拿到 notebook。用 Colab 直接打开 gpt_prompt_engineer.ipynb本地运行则克隆仓库git clone https://gitcode.com/GitHub_Trending/gp/gpt-prompt-engineer填 API Key。在第二个代码单元格把openai.api_key换成你的密钥这是唯一的硬性门槛。写任务和测试用例。一句任务描述加几条输入即可。没有 GPT-4 权限的话把配置单元格里的模型改成gpt-3.5-turbo。官方自带的例子是为落地页生成标题description Given a prompt, generate a landing page headline. test_cases [ {prompt: Promoting a fitness app called Smartly}, {prompt: Why a vegan diet is healthy}, ]跑比赛。执行最后一个单元格里的generate_optimal_prompt(description, test_cases, 10)等几分钟。产出的是一张按分数排序的 ELO 评分表第一名就是你可以直接投产的提示词。 它最擅长的三件事 候选提示词生成——省掉憋初稿环节提示词初稿不用你自己写由 GPT-4 一次性生成多条表达各异的候选默认 10 条。系统明确禁止候选提示词包含测试用例的细节防止背答案保证结果具备泛化能力。 ELO 锦标赛——把哪个好变成分数机制借鉴国际象棋等级分每条提示词从 1200 分起步每轮由裁判模型在同一条测试用例的两个输出中挑更优的一方再按胜负动态加减分调整系数 K32。跑完只看一张排名表就知道谁强省掉了肉眼对比输出的成本。 多场景版本——分类、Claude、模型转换都有现成的仓库里提供了多个开箱即用的 notebookNotebook适用场景gpt_prompt_engineer.ipynb通用任务GPT-4 / GPT-3.5-Turbogpt_prompt_engineer_Classification_Version.ipynb分类任务按与预期输出的精确匹配打分claude_prompt_engineer.ipynbClaude 3 Opus自动生成测试用例支持多输入变量opus_to_haiku_conversion.ipynb先用 Opus 产出高质量示例再用 Haiku 获得更低延迟与成本 跟一个例子走一遍完整流程以上面的标题生成为例工具先让 GPT-4 产出 10 条候选提示词每条再对所有测试用例生成输出裁判模型对两两输出做胜负判定。结束后你会拿到按 ELO 降序的评分表头部条目可直接上线如果前几名分差太小把候选数调大再跑一轮即可。整个过程只需填两个变量不用改动任何代码。⚙️ 进阶参数与实验记录三个角色可独立更换CANDIDATE_MODEL负责生成候选提示词GENERATION_MODEL负责生成测试输出RANKING_MODEL当裁判预算紧张时都可降为 gpt-3.5-turbo。实验可追溯use_wandbTrue会把配置、提示词和最终评分记到 Weights Biasesuse_portkeyTrue可追踪完整的提示词调用链。控制花费NUMBER_OF_PROMPTS决定候选数量生成越多花费越高README 建议从 10 起步。 许可与文件入口项目采用 MIT 许可可自由用于商业场景。主入口是 gpt_prompt_engineer.ipynb完整说明见 README.md。打开 notebook、填上你的第一个任务让下一轮锦标赛替你找出那个最优提示词。【免费下载链接】gpt-prompt-engineergpt-prompt-engineer - 一个工具用于自动化生成、测试和排名多种提示以找到最适合特定任务的提示。项目地址: https://gitcode.com/GitHub_Trending/gp/gpt-prompt-engineer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考