数据集人工智能【免费下载链接】object-permanence项目地址https://ai.gitcode.com/hf_mirrors/Hokin/object-permanence点击查看免费下载object-permanence 是一个基于Blender 批量生成训练视频的程序化生成器数据集项目它用 150 个手工设计的认知任务每个任务生成10000 条视频续写样本共产出 150 万条214 GB训练语料用于训练具备物体恒存性object permanence的世界模型。本文带你理解它的设计原理与数据组织方式。 先认识一下这个项目物体恒存性是认知科学里的经典概念一个球滚到箱子后面消失了婴儿也知道球还在。视频模型也叫世界模型 world model是否具备这种看不见时依然认为物体存在的能力object-permanence 项目给出的答案是用数据教出来。它的核心做法是设计150 个认知任务如 ball_behind_box_stack_task.tar、three_cup_shell_game_task.tar 这类杯子盖球经典场景分成六大认知类别为每个任务编写一个Blender 程序化生成器procedural generator每个生成器随机化场景参数批量渲染出10000 条训练样本关键信息速览来自 README.md属性数值任务数150个分六大认知类别样本总量1,500,000条每任务 10000 条打包方式150 个 tar 包一个任务一个包每个 0.7–4.1 GB总大小214 GB视频规格1280 × 72024 fps片段长度60 帧输入 → 60 帧目标2.5 s → 2.5 s每条样本文件数5 个文件 程序化生成器的设计原理这是整个项目最精华的部分可以拆成三个核心思想。固定认知结构随机干扰参数程序化生成的难点在于既要样本千变万化又不能改变任务要考察的认知点。object-permanence 的解法是分离两类参数认知结构参数固定任务逻辑本身。比如小球滚过屏幕后方这个遮挡任务里球必须从一侧消失、从另一侧出现遮挡关系始终成立干扰参数nuisance parameters随机化球速快慢、光照方向、摄像机角度、物体尺寸与颜色等无关变量生成器每次渲染时只重掷随机骰子速度、光照、机位等而任务的核心认知逻辑原样保留。这样就做到了同一个任务渲染 10000 次得到 10000 条长得都不一样但考的是同一个能力的视频样本。这正是程序化生成器区别于手工拍 10000 条视频的关键——人力只花在设计任务上量级交给程序。每个任务 一个 Blender 生成器train/ 目录下的 150 个 tar 包一一对应 150 个生成器任务名直接写在文件名里遮挡类pivoting_occluder_task.tar旋转遮挡板、theater_curtain_task.tar舞台幕布容器类cabinet_task.tar柜子、sliding_lid_box_task.tar滑动盖盒子碰撞与运动类ball_strikes_pendulum_task.tar撞摆锤、headon_velocity_exchange_task.tar正碰速度交换记忆/追踪类four_cup_three_swaps_task.tar四杯三换、moving_tray_task.tar移动托盘从命名就能看出设计思路每个任务都指向一种具体的认知能力——遮挡追踪、因果碰撞、身份追踪、计数等。渲染输出视频 真值标注一次到位每条样本不是一段裸视频而是 5 个文件一组的完整训练单元以cabinet_0000为例见 README.md 的目录说明文件作用input_video.mp460 帧上下文视频2.5 秒即题目target_video.mp460 帧目标续写视频即标准答案prompt.txt场景文字描述统一以 Continue this scene as a short video. 开头trajectory.npz全部 120 帧的真值物理轨迹物体位姿metadata.json该样本的随机参数、来源信息、视频切分方式其中trajectory.npz体现了程序化生成的另一个优势因为视频是算出来的而不是拍的每一帧每个物体在哪里都有精确真值可做轨迹一致性校验、可监督训练这是实拍数据给不了的。 1.5M 数据是怎么打包交付的数据集按一个任务一个 tar的方式组织展开后的结构见 README.mdtrain/ └── shard1/ └── cabinet_task/ ├── cabinet_0000/ # 5 个文件一组 ├── cabinet_0001/ └── …共 10000 个样本目录几个值得注意的工程细节分片渲染shardingshard1对应生成器 G01–G30shard5对应 G121–G150说明渲染是按 5 个分片并行分发的——150 万个视频不可能在一台机器上串行渲完完整性校验train/checksums.txt 为每个 tar 记录了 sha256 哈希与文件数每包 50000 个文件即 10000 样本 × 5 文件下载后可直接校验文件头部还附了一键校验命令样本可溯源metadata.json记录了每条样本的随机参数与 provenance来源任何一条奇怪样本都能定位到是哪个生成器、哪组参数产生的 上手路径三步用上这批数据下载从项目的训练语料仓库获取你需要的任务 tar不必一次拉满 214 GB先挑一两个任务如 train/top_rail_screen_task.tar 试跑即可校验对照 train/checksums.txt 执行文件头部注释给出的sha256sum -c流程确认完整性加载训练按input_video.mp4→target_video.mp4构造续写预测任务prompt.txt作为文本提示trajectory.npz可用于真值比对或评估 许可与引用须知数据采用CC BY-NC 4.0协议仅限非商业用途商用需联系版权方授权项目同时发布了配套的 300 题评测集exam、14 个视频模型的评测结果以及 16B 参数的世界模型 PWM-WROP——该模型在盲测 Elo 对抗中位列第三、续写类模型第一从侧面验证了这套程序化训练数据的有效性引用可参考 README.md 中的 BibTeX总结object-permanence 展示了一套可复用的程序化训练视频生成范式其设计精髓可归纳为三点任务驱动150 个任务各自锁定一种认知能力数据为考察点服务结构固定 参数随机认知逻辑不变速度/光照/机位等无限重掷单任务稳定产出 10000 条样本真值内建轨迹、参数、元数据与视频同批生成天然带标注、可校验、可溯源这套用 Blender 批量生成训练视频的思路对任何想为世界模型、视频预测模型构造大规模合成数据的团队都有一份完整的参考答案。赞分享数据集人工智能【免费下载链接】object-permanence项目地址https://ai.gitcode.com/hf_mirrors/Hokin/object-permanence点击查看免费下载相关推荐如何用object-permanence数据微调你的视频生成模型从数据加载到训练的实战指南如何用object permanence数据微调你的视频生成模型从数据加载到训练的实战指南 object permanence 是由 WROP 团队发布数据集人工智能终极指南如何使用OpCore-Simplify实现Hackintosh EFI配置自动化终极指南如何使用OpCore Simplify实现Hackintosh EFI配置自动化 你是否曾经为Hackintosh的EFI配置而头疼繁琐的ACPI补开发工具CLI十条蛍LoRA批量处理自动化生成工作流设计十条蛍LoRA批量处理自动化生成工作流设计 痛点手动处理海量LoRA模型的效率困境 你是否曾经面对数百个LoRALow Rank Adaptation模上一篇燃料管路泄漏排查记录下一篇华为运动数据迁移终极指南3分钟实现Strava同步创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考