DataHub Cloud v0.3.10 发布说明全解Smart Assertions、API Tracing 与 Remote Executor 运维要点【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub导读本文基于 DataHub 开源仓库中 DataHub Cloud v0.3.10 发布说明完整梳理该版本2025 年 4 月发布的能力变更、已知问题与升级路径并结合仓库源码解析upsertLinkGraphQL 端点、scrollAcrossEntities排序、在线 Smart Assertions、OpenAPI 异步写入与 API Tracing 等关键特性的底层实现。读完本文你将掌握 v0.3.10 全系列版本v0.3.10 → v0.3.10.4的变更全貌明确升级时的版本选型与前置条件如 Remote Executor 最低版本、环境变量配置并能从源码层理解各特性背后的工作方式。一、版本概览发布时间、配套组件与升级基线v0.3.10 是 DataHub Cloud 于 2025 年 4 月发布的一个重要版本其配套组件版本如下项目版本发布日期Release Availability Date2025 年 4 月 4 日推荐 CLI/SDK 版本1.0.0.2配套 Helm Chart 版本1.5.21需要特别注意的是v0.3.10 主版本本身因 Slack 应用回归问题详见下文版本演进脉络被标记为不可使用官方建议直接升级到 v0.3.10.1 及以上。该系列最终收敛到 v0.3.10.4其中 v0.3.10.2 被明确标注为相比 v0.3.10.1 的推荐版本。该发布说明与仓库中同目录的 v1.0.0 发布说明 相互衔接v0.3.10.1 的变更集与开源仓库 v1.0.0 版本保持一致。二、已知问题升级前必读的两个前提条件1. API Tracing 与系统 Hook 生成的 aspect 冲突发布说明明确指出API Tracing 对部分可由系统 hook 生成的 aspect如siblings会报告为 trace error前提是系统 aspect 与 ingestion 正在创建冲突的 aspect。这背后的机制可以从 response_helper.py 中窥见API Tracing 依赖服务端在响应头返回traceparent追踪头_TRACE_HEADER_NAME traceparent客户端通过_extract_trace_id从响应头提取 trace ID再用TraceData对指定 aspect 的写入状态进行校验。当siblings这类由系统 hook 异步生成的 aspect 与 ingestion 写入的 aspect 互相覆盖时客户端校验自然会出现不一致的错误记录。这是功能本身处于实验阶段Experimental的正常表现不代表数据写入真正失败。2. Online Smart Assertions 的启用前置条件开启 GMS 中的ONLINE_SMART_ASSERTIONS_ENABLED特性开关前必须满足两个条件Remote Executor 必须升级到 v0.3.10.2 或更高版本必须禁用离线 pipeline 驱动的 smart assertionsoffline pipeline driven smart assertions。v0.3.10.1 与 v0.3.10.2 之间对这条规则的描述差异也印证了其演进v0.3.10.1 要求远程执行器手动设置ONLINE_SMART_ASSERTIONS_ENABLED环境变量而 v0.3.10.2 起不再需要在远程执行器上设置该环境变量Online Smart Assertions 即可工作——这正是 v0.3.10.2 被推荐的原因之一。三、版本演进脉络从 v0.3.10 到 v0.3.10.4该发布说明按子版本组织变更日志反映了发布后快速修补的迭代节奏。以下按时间线完整梳理。v0.3.10因 Slack 回归被废弃发布后发现 Slack 应用存在回归问题官方直接声明Do not use this release, instead go straight to v0.3.10.1.不要使用此版本直接升级到 v0.3.10.1。这是该系列中唯一一个完全不可用的版本。v0.3.10.1功能大版本与开源 v1.0.0 对齐v0.3.10.1 包含开源仓库 v1.0.0 版本的全部变更是本次发布的功能主体。破坏性变更Breaking ChangesAPI 校验全面启用所有ASYNC ingestion 请求都将执行 API 校验校验范围包括URN、Entity Type Name、Entity 与 Aspect 名称。违反这些规则将返回 4xx 异常。这意味着旧版本中宽松写入的 ingestion 任务在新版本下可能直接报错升级前需要审计 ingestion 配置中的 URN 与命名是否合规。Bug 修复Schema TabV1 体验中支持富文本渲染链接可直接点击无需再点 View moreSubscriptions修复订阅摘要中用户/组显示名称的边界情况Nav Bar修复 Safari 中新版导航栏头部 Logo 的样式问题Group Membership加固用户详情页展示组成员时的 UI 容错Structured Properties允许为资产应用结构化属性值时搜索 Glossary 节点Lineage多项隐藏列表视图中无用过滤器移除每跳节点数限制此前会导致部分结果被隐藏修复 Charts 等实体类型的间接上游血缘不完整问题——同时影响 Impact Analysis 与 Lineage Graph并导致 Upstream Health 侧边栏漏报存在健康问题的上游资产Queries Tab调整分页大小Search Filters新增 Has Siblings 过滤器默认关闭可按需申请开启。Product 特性面向最终用户NavigationV2 UI 中新的简化导航栏默认开启Custom Asset Actions通过 Documentation 页签创建的链接可以提升显示到页面头部与搜索结果中同时新增upsertLinkGraphQL 端点便于以编程方式管理链接Proposals实体详情页开始展示新的提案类型——Ownership所有权、Domains域与 Structured Properties结构化属性重新设计的 Proposals 2.0 体验进入 Beta按需开启并支持在Settings My Notifications中配置被指派审阅提案或自己提交的提案被批准/拒绝的通知Observe按需 Smart Assertions 进入 Beta按需开启可通过 UI 为 Observe 支持的任何表创建 freshness新鲜度、volume量与 field metric字段指标异常检测Smart Assertion 调优支持调整训练数据回看窗口lookback window、收紧或放松敏感度、增加数据点排除窗口Incidents V2显著增强支持设置指派对象assignees、严重级别severity、阶段stage与受影响资产并支持在 incidents 页签中搜索、分组与过滤Remote ExecutorManage Data Sources页面新增Executors页签用于远程执行器池的管理与可观测性可直接从 UI 创建并配置新的 Executor Pools并可将其设为未来 Ingestion Source 配置的默认池可查看已部署执行器集合、其状态、配置的 Ingestion Source 与当前运行任务Compliance Forms支持在 Compliance Center 中深链到特定 Compliance Form 的填写体验Search新增Deprecated 过滤器支持搜索已弃用资产并在 Lineage 侧边栏中将弃用状态作为上游健康警告展示。Platform 特性面向平台/开发者OpenAPIAPI Tracing 改进实验性GraphQL为scrollAcrossEntities增加排序能力Performance使用嵌套域与容器时改进访问策略access policy性能OpenAPI新增操作端点可获取原始 ES 文档并查看 MCP/MCL topic 的 Kafka lagOpenAPI对异步端点使用的 URN 与实体/方面名称增加额外校验OpenAPI修复 timeseries aspect ingestion bug #12912Restore Indices Job支持只读副本read-only replicas。Ingestion 特性MLflow支持数据集 ↔ 运行的 lineage并支持数据集的自定义平台映射OpenAPIIngestion 可使用 OpenAPI 替代 Rest.li设置环境变量DATAHUB_REST_SINK_DEFAULT_ENDPOINTOPENAPI即可切换API TracingIngestion 可通过跟踪到 primary 与 search 存储的写入来追踪每个异步写入设置环境变量DATAHUB_REST_TRACE_MODEENABLED即可开启。v0.3.10.2推荐修补版本已知问题Remote Automations runner 在安装acryl-datahub时遇到依赖解析问题因此本版本中远程自动化为不支持状态需要运行自动化请联系 DataHub Cloud 支持Bug 修复Executor/ObserveOnline Smart Assertions 无需再在远程执行器上设置ONLINE_SMART_ASSERTIONS_ENABLED环境变量Forms修复 v0.3.10.1 引入的在按问题批量表单视图中应用过滤器或做某些修改时被移出表单体验的 bugManage Ingestion修复 v0.3.10.1 引入的无法正常切换管理 ingestion 页面的 bugStructured Properties修复可误创建不接受任何 Entity 类型值的 Entity 类型结构化属性问题API修复 Entity 类型大小写敏感导致的校验错误Observe为断言添加标签tags现在可以正常工作Product 改进Executor PoolsPool id 字符数上限提升到 200Observe为 Smart Assertions 的各种调优旋钮提供清晰说明。v0.3.10.3一批体验与统计修复Automations修复远程 action 因尝试安装本地版本acryl-datahub时报错而无法运行的问题Automations修复 Glossary 术语选择器中部分术语无法加载的渲染问题Stats修复使用采样sampling分析表时获取表行数的 bugAnalytics首页新增 usage analyticsLineage修复隐藏 transformation 节点时血缘边不显示的问题Slack修复极少数情况下 Slack 应用安装报错的问题UX Permissions修复查看结构化属性页面与管理 ingestion 页面的权限问题。v0.3.10.4图形界面与依赖收尾GraphQL固定 GraphiQL 依赖并使用 React 18 的特定版本与修正后的 SRI 哈希UX首页推荐中隐藏已删除资产。四、源码级解读v0.3.10 关键特性的底层实现4.1 Custom Asset Actions 与upsertLinkGraphQL 端点v0.3.10.1 宣布新增upsertLinkGraphQL 端点用于编程式管理资产链接。该端点在仓库中的服务端实现位于 UpsertLinkResolver.java参数绑定从AddLinkInput中解析linkUrl、label链接标签与resourceUrn目标资产 URN并读取可选的联系settings权限校验调用LinkUtils.isAuthorizedToUpdateLinks(context, targetUrn)检查操作者是否被授权更新该资产的链接同时允许GlossaryUtils.canUpdateGlossaryEntity放行 Glossary 实体场景未授权则抛出AuthorizationException输入验证LinkUtils.validateAddRemoveInput对 link URL 与目标 URN 做合法性校验落库写入以当前操作者 URN 为 actor调用LinkUtils.upsertLink(...)写入元数据。整个解析器通过GraphQLConcurrencyUtils.supplyAsync异步执行失败时会包装为运行时异常并记录日志。对应的解析器注册在 GmsGraphQLEngine.java测试覆盖见 LinkUtilsTest.java。此外仓库中还有配套的链接工具类 LinkUtils.java 与 entity.graphql 中的 GraphQL schema 定义。4.2 GraphQLscrollAcrossEntities排序平台特性中提到的scrollAcrossEntities增加排序对应 schema 定义 search.graphql 中的scrollAcrossEntities(input: ScrollAcrossEntitiesInput!): ScrollResults。该查询用于跨实体类型做滚动式scroll搜索结果分页适合在大结果集下按序翻页消费新增排序能力后调用方可以在滚动遍历的同时按自定义字段排序为搜索结果 排序的组合场景如资产列表导出、批量扫描提供了便利。4.3 Has Siblings 搜索过滤器v0.3.10.1 新增的 Has Siblings 过滤器默认关闭、按需开启在前端有完整实现传统搜索路径位于 HasSiblingsFilter.tsx 与配套的 HasSiblingsRenderer.tsx同时新的 searchV2 体验也有对应实现见 searchV2/filters/render/siblings。siblings兄弟实体是 DataHub 中表达同一逻辑资产的不同物理实现如 Hive 表与对应的 S3 数据集的建模方式Has Siblings 过滤器让用户可以快速筛选出存在兄弟实体的资产便于识别需要同步元数据的资产组。4.4 Ingestion 切换 OpenAPI 端点与 API Tracingv0.3.10.1 引入的两个 Ingestion 环境变量其底层实现在 Python ingestion SDK 中OpenAPI 端点切换DATAHUB_REST_SINK_DEFAULT_ENDPOINTOPENAPI发布说明中的名称对应当前仓库源码 env_vars.py 中get_rest_emitter_default_endpoint()读取的DATAHUB_REST_EMITTER_DEFAULT_ENDPOINT取值RESTLI或OPENAPI。在 rest_emitter.py 中emitter 会先探测服务端能力get_rest_emitter_default_endpoint() or RestSinkEndpoint.RESTLI再决定_openapi_ingestion模式并打印Using OpenAPI for ingestion.或Using Restli for ingestion.的启动日志。启用后每个MetadataChangeProposal会通过_to_openapi_request转换为 OpenAPI 请求格式发送。API Tracing发布说明中的DATAHUB_REST_TRACE_MODEENABLED对应 SDK 中的 emitter 追踪机制当前源码中为DATAHUB_EMITTER_TRACEtrue见 env_vars.py 的get_emitter_trace()。开启后异步写入会跟踪到 primary 与 search 存储response_helper.py 中的TraceData从响应头traceparent提取 trace ID 与各 aspect 的写入时间戳帮助定位MCP 已发送但尚未落到搜索索引的中间状态。值得一提的是文档中使用的变量名与当前仓库实现中的变量名存在差异REST_SINKvsREST_EMITTER、TRACE_MODEENABLEDvsEMITTER_TRACEtrue从源码结构看属于后续版本对配置项的重命名部署时应以所使用 SDK 版本的实际支持为准。4.5 Incidents V2 与 Observe 能力Incidents V2 引入的指派对象、严重级别、阶段、受影响资产等能力在 GraphQL 层对应 resolvers/incident 目录下的一组解析器EntityIncidentsResolver查询实体关联的 incident、RaiseIncidentResolver发起、UpdateIncidentResolver更新字段、UpdateIncidentStatusResolver更新状态、UpsertIncidentResolver新建或更新以及工具类IncidentUtils。配合 Observe 模块的按需 Smart Assertions 与调优能力用户可以基于异常检测结果直接驱动 incident 全生命周期管理。4.6 Smart Assertions 与 Remote Executor 的依赖关系在线 Smart Assertions 是本版本最重要的 Observe 能力之一。结合已知问题部分可以梳理出完整的启用链路在 GMS 侧开启ONLINE_SMART_ASSERTIONS_ENABLED特性开关确保所有 Remote Executor 升级到v0.3.10.2v0.3.10.2 起无需在执行器上再设置同名环境变量确保离线 pipeline 驱动的 smart assertions 已禁用避免两种执行路径同时运行产生重复或冲突的断言结果。离线 pipeline 与在线执行是两套互斥的运行机制混用会导致断言结果口径不一致。这正是该特性上线门槛高的原因升级前需要同时协调 GMS 配置、执行器版本与离线任务下线三个动作。五、升级路径建议与注意事项综合整个 v0.3.10 系列升级时建议遵循以下检查清单版本选型跳过 v0.3.10Slack 回归最低选择 v0.3.10.1推荐直接升级到v0.3.10.2修复了 v0.3.10.1 中 Forms 与 Manage Ingestion 的回归 bug且放宽了 Online Smart Assertions 的执行器配置最终版本 v0.3.10.4 提供了最完整的修复集。破坏性变更评估v0.3.10.1 起对所有 ASYNC ingestion 请求执行 URN、Entity Type、Entity/Aspect 名称的严格校验升级前需审计 ingestion 配置中的命名合规性避免 4xx 报错。Remote Automations 限制v0.3.10.1 与 v0.3.10.2 中远程 automations 因acryl-datahub依赖解析问题暂不支持依赖远程自动化的场景需联系 DataHub Cloud 支持或评估后续版本。Smart Assertions 启用顺序先升级执行器到 v0.3.10.2再关闭离线 pipeline 版 smart assertions最后开启 GMS 的ONLINE_SMART_ASSERTIONS_ENABLED。配套版本对齐CLI/SDK 使用 1.0.0.2Helm Chart 使用 1.5.21并留意后续发布说明仓库 release-notes 目录持续更新含 v0.3.11 至 v2.x 的演进记录以规划后续升级。总结DataHub Cloud v0.3.10 系列是一次以Observe可观测性能力大升级 API 治理收紧为双主线的重要发布按需 Smart Assertions、Incidents V2、Smart Assertion 调优共同完善了异常检测闭环Async API 严格校验、OpenAPI 写入通道、API Tracing 与upsertLink端点则让平台在工程治理与可编程性上更进一步。升级时务必以跳过 v0.3.10、优先 v0.3.10.2为基线并严格按本文清单处理 Smart Assertions 与 Remote Executor 的前置条件即可平稳完成这次升级。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考