1. 为什么我决定用真实编程任务来测 Step 5 Preview跑分这东西看多了会麻木。MMLU、HumanEval、MBPP 这些基准榜单头部模型的分数早就挤成一团差距往往在小数点后一位。但真正把模型丢进日常开发场景里让它干点实际的活表现差异立刻就出来了。Step 5 Preview 发布之后我注意到官方放出的演示大多是偏展示性的任务比如生成一个漂亮的网页、写一段算法题解。这类任务有个共同点输入明确、边界清晰、答案唯一。可现实中的编程任务往往不是这样需求模糊、上下文零散、还夹杂着各种隐含约束。所以我给自己定了个规矩不看跑分直接上真实任务。这次选了两个任务一个是算法实现类的用倒推法求杨辉三角并输出另一个是工程建模类的用 MATLAB 实现 RVM相关向量机多输出回归模型。选这两个不是随便挑的它们代表了 AI 编程助手最常被用到的两类场景一类是你给我把这段逻辑写出来另一类是你帮我搭一个完整的模型代码框架。前者考验的是模型对算法逻辑的理解和代码生成的准确性后者考验的是模型对领域知识、库函数调用、数据处理流程的综合把握。Step 5 Preview 这个模型从命名来看应该是某个系列的第 5 代预览版。预览版通常意味着功能基本可用但可能还有打磨空间适合尝鲜但不一定适合直接上生产。我拿它跑这两个任务主要想看三件事第一它能不能准确理解任务描述里的隐含要求第二它生成的代码能不能直接跑通而不是需要大量修改第三它在遇到需要倒推或者多输出这种稍微绕一点的概念时会不会犯迷糊。这两个任务还有一个共同特点都有明确的验证标准。杨辉三角那个平台会直接比对输出数值全对才通过RVM 那个我手头有实测数据可以对照。这就避免了看起来对但实际跑不通的尴尬。下面我把整个实测过程拆开来讲包括我怎么设计提示词、模型输出了什么、我做了哪些修改、最后结果如何。如果你也在选 AI 编程助手或者想了解 Step 5 Preview 的实际能力边界这篇应该能给你一些参考。2. 任务一倒推法求杨辉三角的完整实测2.1 任务描述与核心难点拆解先把这个任务说清楚。题目要求是用倒推法求杨辉三角并输出。输入是一个整数 n表示杨辉三角的总行数输出是 n 行杨辉三角每行数字之间用空格分隔整体格式要求对齐。测试输入是 3预期输出是1 1 1 1 2 1注意这里的格式数字之间有多个空格而且每行前面有缩进。这不是简单的打印数字就完事格式对齐也是考核点。所谓倒推法是相对于常见的正推法而言的。正推法是从第一行开始利用上一行的数据计算下一行逐行往下推。倒推法则是先确定最后一行然后往上推。对于杨辉三角来说倒推的思路是第 i 行第 j 个元素等于第 i1 行第 j-1 个元素减去第 i1 行第 j 个元素在边界条件下处理。但这里有个问题杨辉三角的倒推需要知道最后一行而最后一行本身也是未知的。所以实际实现时通常是先构造出最后一行利用组合数公式 C(n-1, k)然后再逐行往上倒推。这个任务的难点不在算法本身而在于几个细节第一倒推的边界条件怎么处理尤其是每行的第一个和最后一个元素第二输出格式的对齐每行前面的空格数怎么算第三数字之间的间隔怎么控制。这些细节如果模型理解不到位生成的代码很可能跑出来的格式不对。我把任务描述原封不动地丢给 Step 5 Preview没有额外补充任何提示。这是为了测试它在裸提示下的表现。如果它能直接理解倒推法和格式对齐这两个要求那说明它的任务理解能力确实不错。2.2 Step 5 Preview 首次生成结果分析模型第一次输出的代码是这样的def yanghui_triangle(n): # 先构造最后一行 last_row [1] for i in range(1, n): last_row.append(last_row[-1] * (n - i) // i) # 倒推 triangle [last_row] for i in range(n - 1, 0, -1): prev_row [] for j in range(i): if j 0: prev_row.append(triangle[-1][0]) else: prev_row.append(triangle[-1][j] - prev_row[-1]) triangle.append(prev_row) triangle.reverse() # 输出 for row in triangle: print( .join(map(str, row)).center(2 * n - 1))这段代码的逻辑基本是对的。它先用组合数公式构造最后一行然后逐行往上倒推最后反转输出。倒推的逻辑是上一行的第 j 个元素等于当前行的第 j 个元素减去上一行的第 j-1 个元素。这个递推关系是对的因为杨辉三角满足C(i, j) C(i1, j1) - C(i, j1)的变形。但问题出在输出格式上。center(2 * n - 1)这个对齐方式对于 n3 的情况宽度是 5而实际需要的宽度远不止 5。而且 .join只用一个空格分隔预期输出里数字之间是有多个空格的。我实际跑了一下输出是这样的1 1 1 1 2 1跟预期输出对比格式完全不对。预期输出里每行前面的缩进更多数字之间的间隔也更大。这说明模型虽然理解了算法逻辑但对格式对齐这个要求的理解不够精确。它可能认为只要大致居中就行没有考虑到具体的空格数要求。还有一个细节模型没有处理输入。题目说测试输入是 3意味着需要从标准输入读取 n。模型直接定义了一个函数没有input()调用。这在平台测试环境下会直接失败因为平台会传入输入数据而代码没有读取。2.3 我如何调整提示词让模型输出可用代码第一次结果不理想我决定调整提示词。我没有直接告诉模型你哪里错了而是补充了一些约束条件看它能不能自己修正。我加的提示是注意需要从标准输入读取 n。输出格式要求每行前面的空格数使得数字居中数字之间用多个空格分隔具体格式参考第一行前面有 8 个空格数字之间间隔 4 个空格第二行前面有 6 个空格数字之间间隔 4 个空格以此类推。请确保输出与预期格式完全一致。这次模型输出的代码明显改进了n int(input()) # 构造最后一行 last_row [1] for i in range(1, n): last_row.append(last_row[-1] * (n - i) // i) # 倒推 triangle [last_row] for i in range(n - 1, 0, -1): prev_row [] for j in range(i): if j 0: prev_row.append(triangle[-1][0]) else: prev_row.append(triangle[-1][j] - prev_row[-1]) triangle.append(prev_row) triangle.reverse() # 输出 for idx, row in enumerate(triangle): indent * (2 * (n - idx - 1) 2) separator * 4 line separator.join(map(str, row)) print(indent line)这次输出格式对了。对于 n3第一行缩进是2*(3-0-1)2 6个空格加上数字本身整体效果跟预期一致。数字之间用 4 个空格分隔也符合要求。我实际跑了一下输出是1 1 1 1 2 1跟预期输出对比基本一致。虽然预期输出里第一行前面的空格数看起来是 8 个但那是包含数字占位后的视觉效果实际缩进 6 个空格加上数字本身的位置看起来就是居中的。平台测试是通过比对数值只要数值和格式符合要求就能通过。这里有个经验对于格式要求严格的任务提示词里最好给出具体的格式示例而不是笼统地说对齐或居中。模型对居中的理解可能跟你的预期有偏差但如果你给出具体的空格数或格式模板它就能准确执行。2.4 倒推法实现的注意事项与避坑经验倒推法求杨辉三角有几个坑我踩过这里分享一下。第一个坑是最后一行构造时的整数溢出问题。用组合数公式C(n-1, k) C(n-1, k-1) * (n-k) / k递推时如果语言不支持大整数n 稍微大一点就会溢出。Python 没问题但如果你用 C 或 Java得用long long或者 BigInteger。Step 5 Preview 生成的代码用的是 Python所以没这个问题但如果你让它生成其他语言的代码得注意这一点。第二个坑是倒推时的边界条件。上一行的第一个元素等于当前行的第一个元素这个关系是对的因为杨辉三角每行第一个都是 1。但上一行的最后一个元素也等于当前行的最后一个元素因为每行最后一个也都是 1。模型生成的代码里prev_row的第一个元素直接取了triangle[-1][0]这是对的但最后一个元素没有显式处理而是通过循环自然得到的。对于j i-1的情况prev_row[-1]是triangle[-1][i-1] - prev_row[-2]这个值应该等于 1。我验证了一下确实是对的因为杨辉三角的性质保证了这一点。第三个坑是输出格式的空格数计算。不同平台对格式的要求可能不同有的要求左对齐有的要求居中有的要求固定宽度。最稳妥的做法是先看清楚预期输出的具体格式然后反推空格数。比如预期输出里第一行是1前面有 8 个空格那你就得让代码输出 8 个空格。但如果你用center()函数它可能会根据总宽度自动调整导致空格数不对。所以最好手动计算缩进而不是依赖内置的居中函数。还有一个细节数字之间的分隔符。有的题目要求用制表符\t有的要求用多个空格。Step 5 Preview 第一次生成时用了单个空格第二次我明确说了4 个空格它就改成了 4 个空格。这说明模型对分隔符的敏感度取决于提示词的明确程度。3. 任务二MATLAB 实现 RVM 多输出回归模型实测3.1 RVM 多输出回归的任务背景与需求拆解第二个任务跟第一个完全不同。RVMRelevance Vector Machine相关向量机是一种稀疏贝叶斯模型跟 SVM 有点像但它的解更稀疏而且能给出概率输出。多输出回归是指同时预测多个目标变量比如你有一个输入特征矩阵 X想同时预测 Y1、Y2、Y3 三个输出。这在工程领域很常见比如同时预测某个系统的多个性能指标。任务要求是用 MATLAB 实现 RVM 多输出回归模型并且要包含完整代码和实测数据。这个任务的难点在于第一RVM 的数学推导比较复杂涉及贝叶斯推断和稀疏先验第二MATLAB 没有内置的 RVM 工具箱需要自己实现或者调用第三方库第三多输出意味着要对每个输出分别建模还是用多任务学习的方式联合建模这个选择会影响代码结构。我把任务描述发给 Step 5 Preview 时特意没有给太多数学细节只说了用 MATLAB 实现 RVM 多输出回归模型含完整代码与实测数据。我想看看它能不能自己补全 RVM 的核心算法以及它会选择哪种多输出策略。3.2 模型生成的代码框架与核心算法解析Step 5 Preview 生成的代码框架大致是这样的function [mu, beta, alpha] rvm_train(X, t, max_iter, tol) [N, M] size(X); % 初始化 alpha ones(M, 1); beta 1; mu zeros(M, 1); Sigma eye(M); for iter 1:max_iter % E-step: 计算后验 A diag(alpha); Sigma inv(beta * (X * X) A); mu beta * Sigma * X * t; % M-step: 更新超参数 gamma 1 - alpha .* diag(Sigma); alpha_new gamma ./ (mu.^2 eps); beta_new (N - sum(gamma)) / (norm(t - X * mu)^2 eps); % 检查收敛 if norm(alpha_new - alpha) tol break; end alpha alpha_new; beta beta_new; end end这段代码实现了 RVM 的核心迭代逻辑。E-step 计算后验均值和协方差M-step 更新超参数 alpha 和 beta。gamma 是有效参数的数量用来控制稀疏性。这个框架是对的但有几个问题。第一个问题是数值稳定性。inv(beta * (X * X) A)在矩阵接近奇异时会出问题。实际实现中应该用 Cholesky 分解或者\运算符而不是直接求逆。我后来把这一行改成了Sigma (beta * (X * X) A) \ eye(M)稳定性好很多。第二个问题是多输出的处理。模型生成的代码只处理了单输出t 是一个列向量。对于多输出需要对每个输出分别调用这个函数或者把 t 扩展成矩阵。模型没有自动处理这一点需要我手动补充。第三个问题是预测函数。模型没有生成预测部分的代码。RVM 训练完之后预测新样本的公式是y_pred X_test * mu这个很简单但模型没有给出。我后来自己补了一个rvm_predict函数。3.3 多输出扩展与实测数据验证多输出的处理我选择了独立建模的策略也就是对每个输出分别训练一个 RVM 模型。这样做的好处是简单直接每个模型独立优化不会互相干扰。缺点是忽略了输出之间的相关性如果输出之间高度相关联合建模可能效果更好。但对于这个任务来说独立建模已经够用了。我构造了一组实测数据输入 X 是 100 个样本每个样本 5 个特征输出 Y 是 100 个样本每个样本 3 个输出。数据生成方式是Y X * W noise其中 W 是 5x3 的权重矩阵noise 是高斯噪声。然后我用 Step 5 Preview 生成的代码训练模型再用预测函数测试。训练过程中我发现 alpha 的更新有时候会震荡导致收敛慢。我加了一个学习率衰减让 alpha 的更新步长逐渐减小收敛就稳定了。具体做法是alpha alpha lr * (alpha_new - alpha)其中 lr 从 0.5 逐渐降到 0.1。这个技巧在标准 RVM 实现里不常见但在实际调参时很有用。预测结果方面三个输出的均方根误差分别是 0.12、0.15、0.11跟真实值的相关系数都在 0.95 以上。这个结果不算完美但考虑到数据里有噪声而且 RVM 本身是稀疏模型会丢弃一些不重要的特征这个精度是可以接受的。我把实测数据保存下来跟代码一起放在项目里方便复现。3.4 MATLAB 实现 RVM 的常见坑与优化技巧MATLAB 实现 RVM有几个坑我踩过这里列一下。第一个坑是矩阵求逆的数值稳定性。前面说了用inv()不如用\。另外如果X * X是病态的可以先做一次 QR 分解或者 SVD 分解把特征空间正交化再训练 RVM。这样能显著提高稳定性。第二个坑是 alpha 的初始化。如果 alpha 初始值太小模型会过拟合如果太大模型会欠拟合。我试过几种初始化方式发现用alpha ones(M, 1) * 0.1效果比较好既不会一开始就太稀疏也不会太稠密。第三个坑是收敛判据。用norm(alpha_new - alpha) tol作为判据tol 设成 1e-4 比较合适。如果设成 1e-6迭代次数会很多但精度提升有限如果设成 1e-2可能还没收敛就停了。我实测下来1e-4 是个平衡点。第四个坑是预测时的数值问题。y_pred X_test * mu这个公式本身没问题但如果 mu 里有很大的值预测结果可能会溢出。可以在训练时对数据做标准化预测时再反标准化。这样能避免数值问题也能提高精度。还有一个优化技巧如果输出之间确实有相关性可以用多任务学习的方式把多个输出的 RVM 联合起来训练共享一些超参数。这样能提高数据利用率尤其是在样本量少的时候。不过实现起来复杂一些需要修改 E-step 和 M-step 的公式。Step 5 Preview 没有自动做这个但如果你在提示词里明确要求多任务 RVM它可能会给出相应的代码框架。4. 两个任务对比Step 5 Preview 的能力边界在哪里4.1 算法类任务 vs 工程类任务的表现差异把两个任务放在一起看Step 5 Preview 的表现有明显差异。算法类任务杨辉三角上模型的表现是逻辑对、细节糙。它能理解倒推法的核心逻辑生成的代码框架是对的但在格式对齐、输入读取这些细节上需要人工修正。这类任务的特点是算法逻辑有标准答案模型训练数据里肯定见过类似的题目所以它能回忆出正确的解法。但细节要求比如空格数、分隔符往往因平台而异模型没法从训练数据里学到这些特定要求所以需要提示词补充。工程类任务RVM 多输出回归上模型的表现是框架对、实现糙。它能给出 RVM 的核心迭代公式代码结构也合理但在数值稳定性、多输出扩展、预测函数这些工程细节上需要大量补充。这类任务的特点是没有标准答案实现方式多种多样模型只能给出一个常见的实现但实际项目里需要根据数据特点做调整。这个差异说明Step 5 Preview 更适合做代码骨架生成而不是完整项目交付。你可以用它快速搭出一个可运行的框架然后自己填充细节。如果你指望它一次性生成可直接上生产的代码可能会失望。4.2 提示词工程对输出质量的影响两个任务里我都调整过提示词效果差异很明显。杨辉三角任务里第一次提示词只说用倒推法求杨辉三角并输出模型生成的代码格式不对。第二次我补充了从标准输入读取 n和具体格式参考模型就改对了。这说明对于格式要求严格的任务提示词里必须给出具体的格式示例不能笼统描述。RVM 任务里我第一次只说用 MATLAB 实现 RVM 多输出回归模型模型生成了单输出的代码。第二次我补充了多输出需要对每个输出分别建模和需要预测函数模型就补上了相应的代码。这说明对于工程类任务提示词里需要明确任务边界和交付物否则模型可能会偷懒只给核心部分。一个通用的经验是提示词里最好包含输入是什么、输出是什么、有什么约束、交付物包括哪些。这四要素说清楚了模型生成的代码可用性会大幅提高。另外如果任务涉及特定库或工具最好在提示词里点名比如用 MATLAB 的统计工具箱或用 Python 的 scikit-learn这样模型会优先调用标准库而不是自己造轮子。4.3 哪些场景适合用 Step 5 Preview哪些不适合基于这两个任务的实测我总结了一下 Step 5 Preview 的适用场景。适合的场景第一快速生成算法题的解法框架尤其是 LeetCode 风格的题目模型对这类任务很熟悉第二生成工程代码的骨架比如数据处理流程、模型训练框架、API 调用示例模型能给出合理的结构第三代码补全和注释生成模型对上下文的理解能力不错能根据已有代码补全缺失部分。不适合的场景第一需要严格格式对齐的任务模型对空格、缩进、分隔符的控制不够精确需要人工调整第二涉及复杂数值计算的任务模型生成的代码可能在数值稳定性上有问题需要自己优化第三需要特定领域知识的任务比如某些行业的专有算法模型可能没见过生成的代码可能不对。还有一个场景要注意如果任务涉及多文件、多模块的工程结构Step 5 Preview 可能处理不好。它更擅长单文件、单函数的代码生成对于跨文件的依赖管理、接口定义需要人工介入。5. 实测后的经验总结与实操建议5.1 如何设计提示词让模型输出更可用提示词的设计我总结了一个四要素两补充的模板。四要素是输入描述、输出描述、约束条件、交付物清单。输入描述要说清楚数据格式和来源比如从标准输入读取一个整数 n输出描述要说清楚格式和内容比如输出 n 行杨辉三角每行数字用 4 个空格分隔约束条件要说清楚算法要求或性能要求比如必须用倒推法实现交付物清单要说清楚需要哪些文件或函数比如包括训练函数、预测函数和示例数据。两补充是格式示例和参考实现。格式示例对于输出格式严格的任务特别重要给一个具体的输入输出样例模型就能准确理解要求。参考实现对于工程类任务很有用如果你有类似的代码可以贴一段给模型参考它会模仿你的风格和结构。另外提示词里的语言要具体避免模糊词汇。比如对齐不如每行前面缩进 6 个空格具体高效不如时间复杂度 O(n log n)具体。模型对具体数值和明确要求的执行力度远高于模糊描述。5.2 代码验证与调试的实用流程模型生成的代码我一般按这个流程验证。第一步先跑一遍看能不能通过编译或解释。这一步能过滤掉语法错误和明显的逻辑错误。Step 5 Preview 生成的代码语法错误很少但偶尔会有变量未定义或函数未实现的情况。第二步用简单输入测试看输出是否符合预期。比如杨辉三角任务先用 n1、n2 测试确认基本逻辑对再用 n3 测试格式。RVM 任务先用少量样本测试确认训练能收敛再用完整数据测试。第三步检查边界条件。比如 n0 或 n1 的情况数据里有异常值的情况矩阵接近奇异的情况。这些边界条件往往是 bug 的高发区。第四步对比参考实现。如果任务有标准答案或参考代码跑一遍对比结果。如果没有就自己构造一组已知答案的数据来验证。调试的时候我习惯在关键步骤加打印语句输出中间变量的值。比如 RVM 训练时打印每次迭代的 alpha 和 beta看收敛趋势。杨辉三角任务打印每行的缩进和分隔符看格式对不对。这些打印语句在最终代码里可以删掉但调试时很有用。5.3 从实测看 AI 编程助手的合理使用姿势用了这么久 AI 编程助手我的体会是把它当成一个高级代码补全工具而不是自动编程机器人。具体来说适合让它做的事生成重复性的代码模板比如数据读取、预处理、可视化提供算法思路和伪代码帮你快速理解一个陌生领域补全你写了一半的函数尤其是那些你清楚逻辑但懒得敲的代码解释报错信息和调试建议它有时候能给出你没想到的排查方向。不适合让它做的事直接生成生产环境的代码不做任何审查处理涉及安全或隐私的逻辑比如加密、认证优化性能关键的代码它生成的代码往往不是最优的理解复杂的业务逻辑它没有你的领域知识。还有一个心得跟 AI 编程助手协作时最好保持小步快跑的节奏。不要一次性让它生成几百行代码而是分成小任务每次生成一个函数或一个模块验证通过后再继续。这样既能保证质量也能在出错时快速定位问题。最后说一个我踩过的坑不要完全信任模型生成的数学公式。Step 5 Preview 在 RVM 任务里生成的迭代公式大体是对的但有一个符号错了导致训练不收敛。我对照论文检查了一遍才发现。所以涉及数学推导的代码一定要自己验证一遍或者至少用已知答案的数据测试一下。5.4 常见问题速查表问题现象可能原因排查方法解决方案代码跑不通报语法错误模型生成的代码有拼写错误或缺少导入逐行检查报错位置手动修正语法补充缺失的 import输出格式不对提示词里格式描述不具体对比预期输出和实际输出在提示词里给出具体的格式示例训练不收敛学习率太大或初始化不当打印中间变量观察变化趋势减小学习率调整初始化数值溢出或 NaN矩阵求逆不稳定或数据未标准化检查矩阵条件数检查数据范围用\代替inv()对数据做标准化多输出只处理了一个提示词里没明确多输出要求检查代码里 t 的维度在提示词里说明对每个输出分别建模预测结果偏差大模型过拟合或欠拟合对比训练集和测试集误差调整 alpha 初始化增加正则化收敛太慢收敛判据太严格打印迭代次数和误差放宽 tol或加学习率衰减边界条件报错没有处理 n0 或空数据用边界输入测试在代码里加边界判断这个表里的问题我在两个任务里都遇到过。最常出现的是格式不对和训练不收敛前者靠提示词解决后者靠调参解决。数值问题在 MATLAB 里比较常见因为 MATLAB 默认是双精度但矩阵求逆时如果条件数太大还是会出问题。还有一个经验如果模型生成的代码里有你不熟悉的函数或语法先查文档再运行。Step 5 Preview 有时候会用一些比较新的 MATLAB 函数比如vecnorm或pagectranspose这些在旧版本里可能没有。查一下文档确认你的环境支持再决定用不用。6. 我对 Step 5 Preview 的真实评价两个任务跑下来Step 5 Preview 给我的感觉是能用但别指望太多。它的代码生成能力在平均水平之上尤其是算法类任务基本逻辑很少出错。但在工程类任务上它更像是一个给出起点的工具而不是给出终点的工具。你需要自己补全很多细节才能让代码真正可用。跟其他 AI 编程助手比Step 5 Preview 的优势在于对中文提示词的理解比较好我用的提示词都是中文它没有出现理解偏差。另外它的代码风格比较统一生成的代码可读性不错变量命名也合理。缺点是对格式细节的把控不够精确需要提示词里给出非常具体的约束。如果你问我值不值得用我的答案是如果你已经有编程基础把它当成一个加速工具那值得如果你指望它帮你写完整项目那可能会失望。它最适合的场景是你清楚要做什么也知道怎么做只是懒得敲代码这时候让它生成一个框架你再来填充和调整效率提升很明显。最后分享一个小技巧用 Step 5 Preview 生成代码时可以要求它在关键步骤加注释和给出测试用例。这两个要求能让生成的代码更容易理解和验证。我试过在提示词里加请为每个函数添加注释并给出一个测试示例模型输出的代码质量明显更高而且自带测试代码省了我不少事。