数据集AI 评测计算机视觉多模态人工智能【免费下载链接】HSS项目地址https://ai.gitcode.com/hf_mirrors/ScaleAI/HSS点击查看免费下载HSSHumanitys Sixth Sense是 Scale AI 推出的直觉视觉推理基准其中 234 道视频任务均标注了evidence证据窗口——记录答案证据出现在视频的哪几秒。这个字段能让你快速诊断模型到底看了多少视频才答对、哪些题目卡住了它。本文带你完整拆解这套设计。先认识 HSS测的是「一眼看穿」的推理能力HSS 专门考察人眼扫一眼图片或短视频就能直觉推断、但模型常常栽跟头的隐性结构时间因果、空间关系、社交情境、抽象模式。指标数据任务总数522288 图片 234 视频评分标准723 条 rubric criteria每题 1–7 条领域 / 子领域4 大类 / 11 个子领域人类得分93.1%最强模型GPT-6-astra53.6%也就是说人几乎一眼就能答对的题最强模型也错了一半多。题目由训练有素的标注员编写3466 道候选题经过三轮独立评审全票通过仅 522 道15.1%存活质量门槛极高。什么是 evidence 证据窗口翻开 data/test.jsonl每道任务都有 4 个相关字段字段说明evidence_start/evidence_end视频任务中承载答案证据的片段m:ss时间戳格式如0:53evidence_start_sec/evidence_end_sec同一片段的秒数版本方便程序计算图片任务的这 4 个字段全部为null234 道视频任务 100% 都有证据窗口。⚠️ 关键规则README.md 原文强调模型评分时看的是完整视频证据窗口只是分析用元数据不属于输入。它的用途是做「模型到底看了多少视频」这类归因分析。234 道视频任务证据窗口全景分布我们对全部 234 道视频任务做了统计结果非常有趣证据起始时间分布证据出现在任务数占比前 5 秒内9440%5 秒 – 1 分钟7331%1 – 5 分钟4218%5 – 10 分钟167%10 分钟之后94%其他关键统计 证据窗口结束时间的中位数仅 31 秒——一半题目在视频前 31 秒内就有答案⚡ 56 道24%的证据窗口短到5 秒以内 但也有 33 道题需要超过 30 秒的长片段才能推理最极端的窗口长达 511 秒 视频任务集中在Social Understanding82 题、Physical Spatial Logic62 题、Temporal Causal Dynamics53 题、Abstract Contextual Inference37 题结论HSS 的视频任务两极分化明显。四成多题目答案在开头考的是细节捕捉少数长窗口题目则逼着模型跨分钟级时间跨度做因果推理。3 个典型案例从 2 秒到 19 分钟案例 1只给 3 秒的快问快答任务6a89e4598df6268d281ac27fMechanistic Causality戴眼镜、红衬衫、蓝色背包带的男孩为什么向前扑去挥拍证据窗口0:00 → 0:03。参考答案对方传球时意外发力过猛球飞向人群他扑过去接球。3 秒内必须看清「传球—失误—扑接」完整因果链任何抽帧策略都够用考的是纯推理速度。案例 2藏在 53 秒处的 3 秒镜头任务6a7f82ad5cfeb63114fa869bTheory of Mind另一名女人是否对讨论表现出兴趣为什么证据窗口0:53 → 0:56。判断依据是女人「转头看向两人并露出专注神情」——一个仅 3 秒的微表情镜头。这类任务最能暴露问题如果模型对长视频做了激进的均匀抽帧这 3 秒很可能被整个跳过。案例 3必须看完全片的守门员题任务6a9e06476699ef3aefe34221Theory of Mind服务员回来找左边顾客找零时他认为自己脚底下踩着什么证据窗口18:53 → 19:15也就是约 19 分钟视频的最后 22 秒。答案只能从视频收尾处获得前 18 分钟全是铺垫。如何用证据窗口诊断你的模型证据窗口最实用的玩法是把全对与全错的任务按窗口位置分组定位模型失效模式诊断「开头盲区」若模型在前 31 秒有证据的任务上正确率显著偏低说明它对视频开头的细节如0:00→0:03的接球瞬间捕捉不足诊断「长程遗忘」若证据出现在 1 分钟之后的任务正确率断崖式下跌说明模型在长视频后段丢失了信息——对比案例 3它要求记住开头场景后回到结尾做关联诊断「抽帧粒度」56 道窗口 ≤5 秒的题目是天然的帧率压力测试正确率偏低往往意味着抽帧间隔过粗建立成本预算证据结束时间中位数 31 秒意味着对一半题目而言理论上只需处理视频前 31 秒即可作答——这为先粗看后精看的分阶段推理策略提供了量化依据配合 HSS 的评分方式LLM judge 逐条核对 rubric criteria全部标准满足才算答对证据窗口能让你把模型错了进一步归因到它没看到还是看到了但没推理对。快速上手加载数据与核对字段用 Hugging Facedatasets库加载后直接读取 4 个证据字段即可from datasets import load_dataset ds load_dataset(ScaleAI/HSS, splittest) task ds.filter(lambda x: x[media_type] video)[0] print(task[evidence_start], task[evidence_end]) # 如 0:53 0:56 print(task[evidence_start_sec], task[evidence_end_sec])媒体文件视频、图片存放在 media/videos/ 与 media/images/ 目录文件名为task_id加扩展名与 data/test.jsonl 中的media_path一一对应。字段定义、评分规则与更新日志的完整说明见 README.md。总结HSS 的 234 道视频任务全部带有evidence证据窗口是该基准独有的可诊断性设计40% 的证据出现在前 5 秒中位数结束时间为 31 秒——大部分视频题本质上是短窗口快推理少数 1–5 分钟甚至 10 分钟的长窗口任务则专门考验长程时间建模与跨段关联把模型正确率按证据窗口位置切片能直接回答模型看了多少视频才答对这个关键问题指导抽帧策略与推理预算的优化赞分享数据集AI 评测计算机视觉多模态人工智能【免费下载链接】HSS项目地址https://ai.gitcode.com/hf_mirrors/ScaleAI/HSS点击查看免费下载相关推荐imapsync开发者指南如何扩展功能与二次开发imapsync开发者指南如何扩展功能与二次开发 imapsync是一款强大的IMAP传输工具主要用于邮箱账户的迁移或备份。它支持增量和递归的IMAP传输运维后端InternVideo2-Stage1-1B-224p-K700 性能解析1B 视频基础模型如何看懂视频InternVideo2 Stage1 1B 224p K700 性能解析1B 视频基础模型如何看懂视频 本文解析 InternVideo2 Stage1告别视频播放与多任务冲突JiaoZiVideoPlayer小窗口功能全解析告别视频播放与多任务冲突JiaoZiVideoPlayer小窗口功能全解析 在移动应用开发中视频播放与多任务处理的冲突一直是困扰开发者和用户的难题。Jiao音视频移动开发上一篇终极MTK设备安全刷机实战指南3步解决连接、模式与配置难题下一篇Win11Debloat 系统瘦身与隐私清理10 分钟移除预装应用、遥测和界面冗余开机时间砍掉近一半创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考