人工智能媒体生成数字人多模态【免费下载链接】ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60项目地址https://ai.gitcode.com/hf_mirrors/nvidia/ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60点击查看免费下载ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60 是 NVIDIA 开源 ARDY 系列中用于交互式人体动作生成的扩散模型输入一句文字提示text prompt配合可选的路径、关键点约束即可实时生成自然流畅的人体动作序列广泛用于人形机器人动作规划、游戏动画与数字孪生。本教程面向新手带你从零理解模型、准备环境、读懂核心配置最终生成你的第一段动作。一、ARDY 是什么这款动作生成模型强在哪 ARDYAutoregressive Diffusion with Hybrid Representation for Interactive Human Motion Generation是一个为实时交互而设计的自回归扩散模型核心亮点✍️在线文本提示随时输入/修改文字描述模型即时响应灵活的长时程运动约束支持根轨迹/路径点root paths/waypoints、全身关键帧、稀疏关节位置与旋转⚡实时响应单次生成 60 帧30 FPS 下约 2 秒支持自回归连续续写最长输出可达 8 秒关键规格一览项目说明架构类型扩散模型两阶段 Transformer192M 参数denoiser 157M 动作 tokenizer 36M骨骼30 关节 SOMA 人体模型SOMASkeleton30帧率30 FPS生成窗口60 帧gen_horizon_len: 60输入文本字符串、姿态约束 Tensor、历史姿态最长 8 秒输出姿态序列 Tensor全局根位移 关节旋转最长 8 秒训练数据Bones Rigplay 1 数据集630 小时光学动捕 文本描述与其他 ARDY 变体不同本变体输出的是 Kimodo 模型使用的平滑根smooth-root运动表示可与 Kimodo 系列的约束和输出直接对比。二、仓库结构速览你拿到的到底是什么 这个仓库是一个模型权重仓库安装和调用代码在 ARDY 官方代码库中提供。仓库内文件各司其职config.yaml核心配置文件定义自回归生成参数、tokenizer 与 denoiser 的网络结构denoiser.safetensors去噪器权重157M 参数tokenizer.safetensors动作 tokenizer 权重36M 参数stats/motion/运动数据的归一化统计量mean.npy/std.npy细分为 body、global_root、local_root 三部分stats/pre_quantization/ 与 stats/post_quantization/量化前后的统计量README.md模型说明、输入输出规格、伦理说明LICENSENVIDIA Open Model Agreement 许可协议三、环境准备硬件与软件要求在动手前确认你的环境满足以下条件依赖要求操作系统Linux框架PyTorch显卡NVIDIA GPU支持 Ampere / Hopper / Blackwell 架构官方在 A100 与 RTX 4090 上验证可选加速TensorRT模型已标记trt_compatible: true可编译加速⚠️ 该模型针对 NVIDIA GPU 优化不建议在纯 CPU 环境运行。四、获取模型克隆与放置将权重仓库克隆到本地git clone https://gitcode.com/hf_mirrors/nvidia/ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60然后安装 ARDY 官方代码库仓库 README.md 中给出了安装与使用说明入口把克隆下来的目录作为checkpoint 目录即可——config.yaml 中所有权重路径都通过${oc.select:checkpoint_dir}指向模型所在目录无需手动改写路径。五、读懂 config.yaml影响生成效果的关键参数 打开 config.yaml这几个参数值得重点理解参数取值含义gen_horizon_len60每次自回归生成 60 帧30 FPS 下即 2 秒一段可滚动续写num_base_steps10扩散去噪步数越大质量越好、速度越慢cfg_typeseparated分类器自由引导CFG模式tokenizerFSQ 量化128 级 × 64 层每 4 帧压缩为 1 个 tokenlatent 维度 512denoiser8 层 8 头 Transformer文本嵌入维度 4096支持input_first_heading_angle首帧朝向输入简单来说tokenizer 把动作压缩成离散 tokendenoiser 依据文本和约束逐步去噪还原动作两者共同构成混合表示的两阶段流水线。六、生成第一段动作输入文本与约束生成流程可以概括为三步写提示词用中性、物理化的动作描述效果最好例如一个人缓慢拖步前行。避免使用与人群特征相关的形容词官方 README.md 伦理部分有此建议可选加约束提供根路径/路径点、全身关键帧或稀疏的关节位置/旋转最多还可传入 8 秒历史姿态保证与前段动作平滑衔接运行推理模型输出包含全局根位移与关节旋转的姿态序列 Tensor按 30 FPS 播放即为一段可驱动骨骼的动作 小贴士60 帧只是单个生成窗口。借助自回归特性 历史姿态输入可以连续生成最长 8 秒的连贯动作。七、常见问题 FAQ ❓Q1可以商用吗可以。模型支持商业与非商业用途遵循 LICENSE 中的 NVIDIA Open Model Agreement。Q2生成动作有滑步foot skating怎么办这是官方列出的已知现象脚在应该静止时可能轻微打滑。可通过添加脚部关键帧约束来缓解。Q3模型都会什么动作行走、日常活动、手势、舞蹈、格斗类动作表现最佳目前输出为真实感人体动作不适合卡通或非物理动作且模型不感知场景中的人物以外的物体。Q4还有其他 ARDY 变体吗有。同系列还提供 27 关节 Core 骨骼20 FPS40/8 帧窗口和 34 关节 Unitree G1 机器人骨骼25 FPS52/8 帧窗口等版本可按你的骨骼与实时性需求选择。八、总结下一步可以做什么 结合 ARDY 代码库搭建交互式 Demo体验边打字边出动作的实时生成尝试叠加路径约束与关键帧约束把动作钉在你想要的轨迹上按项目场景选型机器人动作规划选 G1 变体通用人体动画选本文的 SOMA 30 FPS 变体从零到第一段动作你只需要克隆权重 → 安装代码库 → 指向 checkpoint 目录 → 输入一句提示词。祝你生成顺利赞分享人工智能媒体生成数字人多模态【免费下载链接】ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60项目地址https://ai.gitcode.com/hf_mirrors/nvidia/ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60点击查看免费下载相关推荐ARDY-SOMA-RP-30FPS-Horizon60快速上手教程5步生成你的第一段文本驱动人体动作ARDY SOMA RP 30FPS Horizon60快速上手教程5步生成你的第一段文本驱动人体动作 ARDY SOMA RP 30FPS Horizon6人工智能媒体生成数字人手把手教程如何快速上手Kimodo-SOMA-RP-ArdyRep-v1.2从零到生成第一段人体动作手把手教程如何快速上手Kimodo SOMA RP ArdyRep v1.2从零到生成第一段人体动作 Kimodo SOMA RP ArdyRep v1.2人工智能深度学习媒体生成数字人TIL 仓库 MySQL 实战用 SHOW CREATE TABLE 获取表的完整建表语句TIL 仓库 MySQL 实战用 SHOW CREATE TABLE 获取表的完整建表语句 本篇技术指南基于 TIL 仓库的 mysql/show creat人工智能媒体生成数字人多模态创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考