人工智能计算机视觉深度学习【免费下载链接】mmaction2OpenMMLabs Next Generation Video Understanding Toolbox and Benchmark项目地址https://gitcode.com/gh_mirrors/mm/mmaction2点击查看免费下载MMAction2 是 OpenMMLab 面向视频理解动作识别、时序动作定位、时空动作检测、骨架动作识别与多模态检索的开源工具箱。本文以仓库官方变更日志 docs/en/notes/changelog.md 为骨架逐版本梳理 v0.5.02020 年 7 月到 v1.2.02023 年 10 月期间新增的模型、数据集、工具链与工程能力并对照当前仓库中的源码、配置与示例给出可验证的落点。读完本文你将掌握 MMAction2 各版本的功能边界、1.x 相对 0.x 的破坏性重构迁移到 MMEngine 体系以及新算法/新数据集在仓库中的具体位置与用法。版本总览一次看懂三年演进节奏以仓库当前状态mmaction/version.py 中的__version__ 1.2.0与变更日志为据MMAction2 的发布节奏可分为两大阶段阶段版本区间时间范围核心主题0.x 时代v0.5.0 – v0.24.02020-07 ~ 2022-05模型与数据集快速扩充MMCV 1.x 训练引擎1.x 时代1.0.0rc0 – 1.2.02022-09 ~ 2023-10基于 MMEngine 的全面重构、统一接口、多模态与 Transformer 算法其中1.0.0rc02022-09-01是里程碑式分水岭日志明确宣布 MMAction2 1.x 是 OpenMMLab 2.0 项目群的一部分构建于新一代训练引擎 MMEngine 之上统一并重构了 train/test、dataset、model、evaluation、visualization 的接口与内部逻辑为多任务/多模态算法铺平道路同时带来大量 Breaking Changes官方提供了 迁移指南中英文文档均已收录于 docs 与 docs。1.2.02023-10-12多模态与轻量骨干并行推进作为当前仓库对应的最新版本1.2.0 的三大亮点是ActionCLIP 训练支持、VindLU 多模态算法、MobileOne TSN/TSM。ActionCLIP 训练支持ActionCLIP 将动作识别建模为视频-文本匹配问题通过 pre-train, prompt and fine-tune 范式获得零样本/少样本迁移能力。仓库在 projects/actionclip 中提供了完整实现模型定义位于 projects/actionclip/models含actionclip.py、adapter.py、load.py三个模块配置示例包括 8/16/32 帧采样策略的 ViT-B/16 与 ViT-B/32 多种组合如 actionclip_vit-base-p16-res224-clip-pre_g8xb16_1x1x8_k400-rgb.py训练前需先安装 OpenAI CLIPpip install githttps://github.com/openai/CLIP.git并把项目目录加入PYTHONPATH单卡训练命令为mim train mmaction projects/actionclip/configs/actionclip_vit-base-p32-res224-clip-pre_g8xb16_1x1x8_k400-rgb.py多卡--launcher pytorch --gpus 8与 Slurm 启动方式在 项目 README 中均有示例同时提供零样本推理的 Naive PyTorch 用法。VindLU 多模态算法VindLU 是面向视频-语言理解检索、VQA 等的多模态算法。仓库提供三份配置覆盖检索、VQA 与多选题三类任务vindlu_beit-base_8x16_retrieval_msrvtt-9k.py视频-文本检索vindlu_beit-base_8x8_vqa_msrvtt-qa.pyVQAvindlu_beit-base_vqa-mc_msrvtt-mc.py多选题以检索配置为例其模型结构为VindLURetrieval视觉编码器采用BeitModel3D基于 BEiT-base-patch16-224叠加 Timesformer 时序建模、num_frames12文本编码器采用XBertModelbert-base-uncasedfusion_layer9投影维度proj_dim256温度参数temperature0.07并加载vindlu_c5m_pretrain.pth预训练权重。数据侧使用 MSR-VTT 9k 训练集与 1k 测试集标注文件data/msrvtt/annotations/msrvtt_ret_train9k.json/msrvtt_ret_test1k.json。MobileOne TSN/TSM 与其余改进MobileOne 是面向移动端的轻量骨干。仓库在 configs/recognition/tsn/custom_backbones 中演示了如何将其作为 TSN 骨干使用通过typemmpretrain.MobileOne、archs4、out_indices(3,)接入并配合cls_headdict(in_channels2048)调整分类头同时提供_deploy重参数化部署版本tsn_imagenet-pretrained-mobileone-s4_deploy_8xb32-1x1x8-100e_kinetics400-rgb.py。TSM 侧对应配置位于 configs/recognition/tsm。本版本其他要点新增 MSVD 视频检索数据集、Dense Regression NetworkDRN视频时序定位、视频与音频 Demodemo/demo.py、demo/demo_audio.py、SlowOnly K700 特征用于时序定位模型训练修复 MPS 设备支持并重构了ActionDataSample结构mmaction/structures/action_data_sample.py。1.1.02023-07-03数据集、项目与纯 Python 配置1.1.0 是一次高密度扩充版本可归纳为五条主线新数据集HACS-segmentsICCV2019、MultiSportsICCV2021、Kinetics-710Arxiv2022以及 Kinetics-710 专用下载/说明工具tools/data/kinetics710/README.md。HACS 的特征生成、标注转换与列表生成脚本位于 tools/data/hacsMultiSports 的标注解析与结果格式化位于 tools/data/multisports对应检测配置见 slowfast_kinetics400-pretrained-r50_8xb16-4x16x1-8e_multisports-rgb.py 与 tcanet_2xb8-700x100-9e_hacs-feature.py。新项目projects手势识别projects/gesture_recognition、时空动作检测教程projects/stad_tutorial、基于 MMRazor 的知识蒸馏projects/knowledge_distillation。新算法TCANetCVPR2021时序动作提议配置见 configs/localization/tcanet、VideoMAE V2CVPR2023、VideoMAE 在动作检测上的应用configs/detection/videomae、CLIP 系多模态模型 ActionCLIP 与 CLIP4clip检索配置见 configs/retrieval/clip4clip。工程能力支持纯 Python 风格配置文件以及通过 MIM 直接下载数据集。改进与修复重构 TSM 权重初始化、为 Recognizer 2D 增加单元测试、增强推理 APImmaction/apis/inference.py、支持 ST-GCN 与 PoseC3D 导出 ONNXtools/deployment/export_onnx_gcn.py、tools/deployment/export_onnx_posec3d.py、支持特征提取 head并将最低 PyTorch 版本要求提升到 1.8.1。1.0.x 正式版系列从统一引擎到稳定 API1.0.02023-04-06正式版重点在于训练能力补全与文档重构支持 RGB-PoseC3DCVPR2022、UniFormer V2 训练configs/recognition/uniformerv2并在 projects 中引入 MSG3DCVPR2020与 CTRGCNCVPR2021见 projects/msg3d、projects/ctrgcn。改进侧包括使用 MMEngine 计算 FLOPs、加速 LFB 训练、AVA 评估支持多进程、新增时空检测模型 ONNX 导出 demodemo/demo_spatiotemporal_det_onnx.py并修复 PyTorch 2.0 下local-rank参数兼容性问题。1.0.0rc32023-02-10与 1.0.0rc22023-01-10rc3 引入了统一推理接口 Inferencermmaction/apis/inferencers 下的 mmaction2_inferencer.py 与 actionrecog_inferencer.py并支持 UniFormer V1/V2、MViT V2 训练与 MaskFeat 微调、多后端数据列表加载。rc2 则覆盖了 VideoMAE、MViT V2、C2D、STGCNconfigs/skeleton/stgcnpp、AVA-Kinetics 数据集、Omni-Source 训练、时空检测 ONNX 导出、重复批数据增强mmaction/datasets/repeat_aug_dataset.py、fvcore 驱动的 FLOPs 计算、实时摄像头 demodemo/webcam_demo.py、2s-AGCN 重构以及SampleFrames变换更新支持调节 fps并相应提升了多数模型性能。1.0.0rc12022-10-14与 1.0.0rc02022-09-01rc1 支持Video Swin Transformerconfigs/recognition/swin与骨架动作识别 demodemo/demo_skeleton.pyrc0 即 1.x 体系的开端——MMEngine 新引擎、统一接口、更多文档与教程以及需要对照 迁移指南 处理的破坏性变更。0.x 时代能力拼图逐步成型v0.5.0 – v0.24.00.x 阶段以 2021 年为界可分为“基础模型期”与“检测/骨架扩充期”。0.24.0 – 0.16.02022-05 ~ 2021-070.24.0支持不同随机种子、MLU 后端、multigrid 配置中新增 lateral norm。0.23.0多节点训练/测试脚本、错误日志更新。0.22.0Multigrid 训练策略、CPU 训练、音频 demo、head 中自定义 topk。0.21.02s-AGCN、Windows 下发布模型、BABEL 数据集。0.20.0TorchServe 部署tools/deployment/mmaction2torchserve.py、视频结构化 demodemo/demo_video_structuralize.py、3D 骨架支持。0.19.0ST-GCNconfigs/skeleton/stgcn、推理 API 重构。0.18.0NTU 骨架提取、RawFrameDecode 缓存。0.17.0PyTorch 1.9、Pytorchvideo Transforms、PreciseBN。0.16.0TimeSformer、timm 骨干TSNSwintransformer 示例、PIMS 解码器。0.15.0 – 0.10.02021-05 ~ 2020-120.15.0PoseC3Dconfigs/skeleton/posec3d、MIM、ACRN 与 Focal Loss、Jester 数据集。0.14.0TRN、Diving48、时空检测 webcam demodemo/webcam_demo_spatiotemporal_det.py。0.13.0LFBconfigs/detection/lfb、TSN 接入 MMCls/TorchVision 骨干、Mixup/Cutmix、中文文档大规模上线。0.12.0TSM-MobileNetV2、TANet、GPU Normalize、train_cfg/test_cfg移入model。0.11.0imgaug 增强、时空检测 demo、EvalHook 与配置结构重构。0.10.0时空动作检测 AVAconfigs/detection 下 slowfast/slowonly/acrn/lfb/videomae 全套、PreciseBN、inference_recognizer返回特征图。v0.9.0 – v0.5.02020-11 ~ 2020-07v0.9.0GradCAM 工具mmaction/utils/gradcam_utils.py、GYM99、AudioOnly 路径AVSlowFast、在线运动矢量解码器、打印配置脚本。v0.8.0OmniSourceconfigs/recognition/omnisource、C3D、音频模态识别、HVU、X3Dconfigs/recognition/x3d。v0.7.0TPN、JHMDB/UCF101-24/HVU 数据准备、ONNX 转换、摄像头实时识别、ActivityNet 全流程数据管线。v0.6.0TIN、CSN、SSN、NonLocal、FP16 训练。v0.5.0MMAction2 正式发布首发即支持 UCF101、Kinetics-400、Something-Something V1V2、Moments in Time、Multi-Moments in Time、THUMOS14 等数据集以及 TSN、TSM、R(21)D、I3D、SlowOnly、SlowFast、Non-local 识别方法与 BSN、BMN 时序定位方法。如何在当前仓库中快速验证这些版本能力版本号mmaction/version.py中__version__ 1.2.0与 changelog 最新条目一致可用parse_version_info解析形如1.3.0、2.0.0rc1的版本字符串。配置落点识别模型见 configs/recognitionslowfast、slowonly、tsm、tsn、swin、uniformer、videomae 等子目录检测见 configs/detection时序定位见 configs/localization骨架见 configs/skeleton多模态见 configs/multimodal 与 configs/retrieval。数据工具各数据集准备脚本集中在 tools/datakinetics、ava、hacs、multisports、kinetics710、msrvtt 等均有独立 README。模型清单model-index.yml与各算法目录下的metafile.yml记录了模型权重、指标与测试协议可作为训练/复现的索引。结语从 v0.5.0 的“动作识别时序定位”起步到 1.2.0 的“统一引擎 多模态 移动端骨干”MMAction2 的版本演进清晰地反映出视频理解领域的技术走向Transformer 化Swin、VideoMAE、UniFormer、MViT、多模态化ActionCLIP、VindLU、CLIP4clip、轻量化MobileOne、MobileNetV2以及工程化ONNX 导出、TorchServe、MIM、纯 Python 配置。对使用者而言理解 1.0.0rc0 之后基于 MMEngine 的新接口体系入门指南、用户指南是高效上手当前仓库的前提对算法研究者而言projects 目录与不断扩充的 configs 是快速复现与二次开发的直接入口。赞分享人工智能计算机视觉深度学习【免费下载链接】mmaction2OpenMMLabs Next Generation Video Understanding Toolbox and Benchmark项目地址https://gitcode.com/gh_mirrors/mm/mmaction2点击查看免费下载相关推荐ODrive 固件演进全解析从 0.1.0 到 0.5.6 的版本脉络、功能变迁与 API 迁移指南ODrive 固件演进全解析从 0.1.0 到 0.5.6 的版本脉络、功能变迁与 API 迁移指南 导读 本文以 ODrive 仓库根目录的 CHANGEL嵌入式固件硬件开发智能硬件机器人从 0.8.6 到 1.1.20Solaar 版本演进脉络与核心技术能力全解析从 0.8.6 到 1.1.20Solaar 版本演进脉络与核心技术能力全解析 Solaar 是 Linux 平台上的 Logitech 设备管理器负责通过开发工具MailHog 版本演进全解析从 v0.01 到 v1.0.0 的核心能力与发布脉络MailHog 版本演进全解析从 v0.01 到 v1.0.0 的核心能力与发布脉络 本篇指南以仓库 docs/RELEASES.md https://lin后端开发工具上一篇解决90%定时任务故障ElasticJob错误处理与监控全攻略下一篇Falco性能优化与高级配置技巧创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考