资讯详情

资讯详情

PySpark transformWithState 报 AttributeError 的版本原因

照着结构化流的新一代有状态算子写了一个自定义StatefulProcessor,在 Spark 4.0.3 上一跑就AttributeError,提示GroupedData没有transformWithState这个属性。这不是代码写错,是版本号差了一档。问题现象output_schema=T.StructType([T.StructField('customer_id',T.StringType())/
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →