简介这份资源面向使用KettlePentaho Data Integration进行数据集成开发的工程师聚焦「循环获取结果集并传入转换」这一常见但易踩坑的场景。内容围绕t1.ktr生成结果集、通过JavaScript步骤读取previous_result.getRows()、借助parent_job.setVariable设置tables、size、id、name等作业变量再在var.ktr中循环取值并输出到本地txt文件的完整链路展开帮助读者理解作业与转换之间的变量传递与循环控制逻辑。资源包共1个文件为PDF格式大小约130KB便于随时查阅与对照实践。目前已有3111人学习下载适合需要掌握Kettle结果集迭代、变量传递及文本文件输出等中高级用法的开发者参考可据此排查循环变量更新、结果集为空判断等常见问题提升数据处理的自动化与灵活性。1. Kettle 循环取结果集再喂给转换这件事到底卡在哪Kettle 里有一类需求特别常见上游一个转换查出一批数据下游另一个转换要拿着这批数据逐条去跑比如逐行调接口、逐行写文件、逐行做二次查询。很多人第一反应是用「复制记录到结果」加「从结果获取记录」结果跑起来发现下游转换只拿到第一行或者干脆一行都拿不到日志里还飘着The server time zone value这种看着像乱码的报错。问题不在 Kettle 本身而在于结果集Result在作业和转换之间的传递是有作用域和生命周期限制的跨转换、跨作业层级用错了地方数据就断在半路。这篇讲的就是把「Kettle 循环获取结果集中的数据并传入转换里面」这条链路走通结果集怎么产生、怎么在作业里循环、怎么把每一行参数化地传进子转换、参数和变量到底该用哪个、循环次数怎么控制。适合已经会拖控件但一遇到跨转换传参就翻车的同学也适合想把批量任务拆成「查询 逐条处理」两段结构的熟手。下面按「先立住原理再动手复现最后讲坑」的顺序推。2. 结果集、参数与变量先把传递机制理清楚2.1 结果集是什么它和「复制记录到结果」的关系Kettle 里的结果集Result不是数据库游标也不是一个持久化的临时表它是作业Job在执行过程中挂在内存里的一份行集合。产生它的典型方式是转换里的「复制记录到结果」Copy rows to result步骤这个步骤把流经它的每一行塞进当前转换所属作业的结果集里。注意关键词是「所属作业」——结果集是绑定在作业执行上下文上的不是绑定在转换上的。这就解释了一个高频困惑为什么我在转换 A 里复制了记录在转换 B 里用「从结果获取记录」却拿不到因为转换 B 如果不是同一个作业上下文里被调起的它看到的结果集就是空的。结果集的读取步骤「从结果获取记录」Get rows from result会把结果集里的行一行行吐出来但它吐完就没了默认是一次性消费。所以「循环」这件事Kettle 不是靠结果集自己循环而是靠作业的「执行每一个输入行」这类作业项去驱动。理解这一层后面所有配置才有依据结果集负责「存」作业项负责「循环」参数/变量负责「把当前这一行的值带进子转换」。2.2 参数Parameter和变量Variable到底该用哪个这是最容易混的地方也是循环传参翻车的根源。简单说机制作用域赋值时机典型用途参数 Parameter单个转换/作业内部调用时传入运行中不可改子转换接收外部输入变量 Variable整个 JVM/作业链运行中可 set可继承循环里逐行变化的当前值结果集 Result作业上下文转换执行时写入批量行的暂存与传递循环场景里当前行的值每一轮都在变所以要用「变量」来承载而不是参数。作业里用「设置变量」Set Variables作业项把从结果集取出的字段值设成一个变量比如v_id、v_name子转换里用${v_id}去引用。参数更适合「整个作业跑一次就定死」的配置比如批次号、目标表名。提示变量名大小写敏感${V_ID}和${v_id}在部分版本里不互通统一小写最省心。2.3 作业循环的三种驱动方式与选型Kettle 作业里驱动循环常见三种第一种是「执行每一个输入行」Execute for every input row它直接消费结果集每行执行一次后续作业项是最贴合本标题的做法。第二种是「简单评估」Simple Evaluation配合计数器变量手动控制循环次数适合没有结果集、纯按次数循环的场景。第三种是在转换内部用「JavaScript 脚本」或「执行 SQL 脚本」自己写循环但这样就把循环关在了单个转换里跨转换传参反而更麻烦。选型建议很直接只要数据来源是上游转换查出来的行就用第一种让作业去循环子转换只负责「处理一行」。这样职责清晰出问题也好定位——循环次数不对查作业单行处理不对查子转换。3. 动手搭一条最小可复现链路3.1 整体结构一个作业 两个转换先明确要搭的东西。作业job_loop.kjb里放三个节点转换t_query.ktr查数据并复制到结果、作业项「执行每一个输入行」、子转换t_process.ktr接收变量处理单行。数据流是t_query查出 N 行 → 复制到结果 → 作业逐行循环 → 每行设变量 → 调t_process→ 处理完继续下一行。先建一张测试表方便复现-- 建一张最小测试表插 5 行 CREATE TABLE demo_loop ( id NUMBER(10), name VARCHAR2(50), amount NUMBER(12,2) ); INSERT INTO demo_loop VALUES (1, alpha, 100.00); INSERT INTO demo_loop VALUES (2, beta, 200.50); INSERT INTO demo_loop VALUES (3, gamma, 300.25); INSERT INTO demo_loop VALUES (4, delta, 400.00); INSERT INTO demo_loop VALUES (5, epsilon, 500.75); COMMIT;字段选 id、name、amount 是有意的一个整型、一个字符串、一个带小数的数值正好覆盖循环传参时最常见的类型转换问题。3.2 t_query.ktr查询并复制记录到结果这个转换只有两步表输入 → 复制记录到结果。表输入的 SQL 就是SELECT id, name, amount FROM demo_loop ORDER BY id。关键是「复制记录到结果」这个步骤它不需要额外配置字段流进来什么就存什么但字段名会原样带进结果集后面取值时必须对得上。-- 表输入步骤里的 SQL注意别用 SELECT * SELECT id, name, amount FROM demo_loop ORDER BY id;逻辑说明ORDER BY id不是必须的但强烈建议加。结果集本身不保证顺序如果下游处理对顺序敏感比如逐行追加写文件不加排序会出现「明明查出来是 1 到 5处理顺序却是 3、1、5、2、4」的玄学现象。参数说明这里没有参数纯查询如果数据量大记得在表输入里勾选「允许懒转换」并配合分页避免一次性把几十万行全塞进内存结果集。3.3 作业里配置「执行每一个输入行」在作业画布上把t_query连到「执行每一个输入行」作业项再把该作业项连到子转换t_process。双击「执行每一个输入行」它有一个关键选项是否从结果集获取行。勾上之后它会消费上游转换写入的结果集每取一行就执行一次后续节点。这里有个容易忽略的点这个作业项消费结果集是「一次性」的。如果同一个作业里有两个「执行每一个输入行」都指向同一份结果集第二个会拿到空。要复用就重新查一遍或者用「复制记录到结果」再写一份。3.4 用「设置变量」把当前行值传下去「执行每一个输入行」本身不会自动把当前行的字段变成变量需要中间加一个「设置变量」作业项。在它里面配置字段到变量的映射字段名 变量名 变量类型 id v_id Integer name v_name String amount v_amount Number逻辑说明左边是结果集里的字段名必须和t_query里 SELECT 出来的列名完全一致大小写也要对右边是变量名子转换里用${v_id}这种形式引用。变量类型建议显式指定不指定时 Kettle 会按字符串处理amount这种带小数的值传下去可能变成200.5而不是200.50做金额计算就会出偏差。注意变量是在作业级别设置的子转换通过继承拿到。如果子转换里又嵌套了转换变量默认会继续往下传但一旦某层用了「设置变量」覆盖同名变量下层看到的就是新值排查时容易懵。3.5 t_process.ktr接收变量并处理单行子转换里怎么用变量两种方式。一是在「表输入」的 SQL 里直接写${v_id}Kettle 会在执行时替换二是用「获取变量」步骤把变量取成字段再参与后续流。前者简单后者灵活。-- t_process.ktr 表输入里的 SQL用变量做条件 SELECT id, name, amount FROM demo_loop WHERE id ${v_id};逻辑说明${v_id}会被替换成当前循环行的 id 值所以每轮查出来的就是那一行。参数说明如果v_id是字符串类型SQL 里要写成WHERE name ${v_name}引号不能省否则会拼出语法错误的 SQL。这也是为什么前面强调变量类型要设对——类型错了引号加不加都别扭。如果不想在 SQL 里拼变量可以加一个「获取变量」步骤把v_id、v_name、v_amount取成字段后面接「写日志」或「文本文件输出」就能直观看到每轮拿到的是什么。获取变量步骤配置 变量名 字段名 类型 v_id id Integer v_name name String v_amount amount Number跑起来之后日志里应该能看到 5 轮处理每轮 id 从 1 到 5。看到这个链路就通了。4. 循环传参的避坑与排查清单4.1 子转换只处理了第一行就停了现象日志显示子转换只执行了一次后面几行没动静。原因通常是「执行每一个输入行」没有正确勾选从结果集获取行或者上游转换的「复制记录到结果」没连上。解决回到作业确认t_query的最后一个步骤是「复制记录到结果」且「执行每一个输入行」的配置里结果集来源指向它。还有一种可能是结果集里确实只有一行——检查上游 SQL 是不是被LIMIT 1或者WHERE条件卡住了。4.2 变量在子转换里取到的是上一轮的值现象第二轮处理用的还是第一轮的 id。原因多半是「设置变量」和子转换的执行顺序没排对或者变量作用域被上层同名变量覆盖。解决在作业里把「设置变量」放在子转换之前用连线顺序保证排查时在子转换开头加一个「写日志」打印${v_id}看实际拿到什么。Kettle 的变量是「设置即生效、后续可见」顺序错了就是错值。4.3 数值字段传下去变成科学计数法或丢精度现象amount是200.50传进子转换变成200.5甚至2.005E2。原因是变量类型没设成 Number或者子转换里用字符串拼接时没做格式化。解决在「设置变量」里把类型显式设为 Number如果最终要输出成固定两位小数在子转换里用「数值范围」或 JavaScript 步骤做toFixed(2)处理别指望变量自己保留格式。4.4 结果集太大导致内存溢出现象跑几万行以上时作业变慢甚至 OOM。原因是结果集全量驻留内存。解决控制上游查询的行数能分批就分批或者改用「转换内循环」的思路把逐行处理逻辑放进同一个转换用「执行 SQL 脚本」处理避免结果集跨转换搬运。结果集适合几百到几千行的量级上万行就要重新评估架构。4.5 数据库连接报时区乱码导致整个循环起不来现象日志里出现The server time zone value ... is unrecognized转换直接失败循环自然跑不起来。原因是 JDBC 驱动和数据库时区配置不匹配跟循环逻辑无关但它会伪装成「循环不工作」。解决在数据库连接的「选项」里加上serverTimezoneAsia/ShanghaiMySQL 场景Oracle 场景检查ojdbc驱动版本和NLS设置。先把连接跑通再谈循环。5. 让循环更稳的几个进阶技巧5.1 用计数器变量做循环次数兜底结果集循环最怕「不知道要跑多少轮」和「跑飞了停不下来」。我一般会在作业里加一个「设置变量」初始化v_count 0在每轮子转换后用「JavaScript」作业项或「设置变量」做自增再配合「简单评估」判断v_count是否超过阈值。这样即使结果集异常膨胀也能在到达上限时中断不至于把下游系统打爆。// JavaScript 作业项里做计数自增与阈值判断 var c parseInt(parent_job.getVariable(v_count, 0)); c c 1; parent_job.setVariable(v_count, c); // 超过 1000 轮就返回 false触发作业失败分支 c 1000;逻辑说明parent_job拿到当前作业上下文getVariable读、setVariable写返回值决定这个作业项成功还是失败。参数说明阈值 1000 按实际业务调批量任务一般几百轮就够如果确实要跑上万轮说明该换批量处理而不是逐行循环了。5.2 用「写日志」做每轮快照方便回溯循环出问题时最难的是「不知道第几轮开始错的」。我的习惯是在子转换开头固定加一个「写日志」步骤输出${v_id} | ${v_name} | ${v_amount}日志级别用 Basic。这样跑完翻日志哪一轮的值不对一眼就能看到。代价是日志量变大生产环境记得把级别调到 Minimal 或按需开关。5.3 验证循环是否真的逐行一个最小断言想确认循环没偷懒最直接的办法是让子转换往一张结果表里插一行跑完数一下行数对不对。-- 子转换里每轮插一行跑完核对 INSERT INTO demo_loop_result (id, name, amount, batch_time) VALUES (${v_id}, ${v_name}, ${v_amount}, SYSDATE);跑完执行SELECT COUNT(*) FROM demo_loop_result如果等于demo_loop的行数说明每一行都进了循环、变量也传对了。这个方法比看日志更硬也是我交付前必做的一步。5.4 我踩过的最大一个坑早年做批量对账结果集里有两万行我图省事直接全量复制到结果再循环测试环境跑得好好的上生产当天内存直接顶满作业卡死。后来改成按批次号分段查询、每段几百行循环问题再没出现过。教训是结果集循环适合「行数可控」的场景行数一上来架构就得换。希望帮到你。本文还有配套的精品资源点击获取