人工智能AI 应用语音音视频【免费下载链接】VideoCaptioner 卡卡字幕助手 | VideoCaptioner - 基于 LLM 的智能字幕助手 - 视频字幕生成、断句、校正、字幕翻译全流程处理- A powered tool for easy and efficient video subtitling.项目地址https://gitcode.com/gh_mirrors/vi/VideoCaptioner点击查看免费下载本篇技术指南以 docs/dev/architecture.md 为骨架结合 VideoCaptioner 开源仓库的实际源码系统讲解该项目的分层架构、核心模块职责与端到端数据流。读者将掌握 ASR 引擎抽象、LLM 字幕断句/优化、多翻译器工厂、视频合成等模块的源码级实现原理以及如何基于该架构扩展新能力。总体架构与技术栈VideoCaptioner 是一个基于大语言模型的视频字幕处理工具覆盖「语音识别 → 字幕断句 → LLM 优化 → 翻译 → 视频合成」的全流程。其架构设计以core业务核心与 ui界面、cli命令行分层解耦为原则videocaptioner/core/存放与界面无关的纯业务逻辑videocaptioner/ui/提供 PyQt5 桌面界面videocaptioner/cli/提供命令行入口。官方架构文档列出的技术栈如下仓库 pyproject.toml 的依赖声明可逐一印证层次技术选型仓库证据UI 框架PyQt5 PyQt-Fluent-WidgetsQFluentWidgetsPyQt55.15.11、PyQt-Fluent-Widgets1.8.4ASR 引擎FasterWhisper / WhisperCpp / Whisper API / 必剪 / 剪映videocaptioner/core/asr/下的faster_whisper.py、whisper_cpp.py、whisper_api.py、bcut.py、jianying.pyLLM 集成OpenAI 兼容接口DeepSeek / Gemini / Ollama 等均可接入videocaptioner/core/llm/client.py基于openaiSDK 实现统一客户端entities.py中LLMServiceEnum枚举了 OpenAI 兼容、SiliconCloud、DeepSeek、Ollama、LM Studio、Gemini、ChatGLM视频处理FFmpeg含 FFprobevideocaptioner/core/utils/video_utils.py、subtitle_thread.py及合成相关线程均调用 FFmpegCLI 的doctor命令会检查 FFmpeg/FFprobe 依赖其他支撑requests、diskcache缓存、pydub音频分块、yt-dlp视频下载、json-repairLLM 输出修复、edge-tts配音见pyproject.toml的dependencies从源码结构看项目采用经典的模板方法 工厂 装饰器组合模式所有 ASR 引擎继承同一基类BaseASR所有翻译器继承BaseTranslator并通过ChunkedASR装饰器为任何 ASR 实现叠加「长音频分块」能力通过TranslatorFactory统一创建翻译器实例。核心模块一ASR 语音识别模块模块结构与统一抽象ASR 模块位于videocaptioner/core/asr/对外统一暴露transcribe()入口函数见 transcribe.pyfrom videocaptioner.core.asr import transcribe from videocaptioner.core.entities import TranscribeConfig, TranscribeModelEnum config TranscribeConfig( transcribe_modelTranscribeModelEnum.FASTER_WHISPER, transcribe_languagezh, need_word_time_stampTrue, ) result transcribe(audio_pathvideo.mp4, configconfig, callbackprogress_callback) # 返回 ASRData其 segments 为带毫秒级时间戳的字幕片段列表transcribe()的核心逻辑transcribe.py根据config.transcribe_model通过_create_asr_instance()工厂方法选择合适的引擎实现所有引擎统一被包装为ChunkedASR返回ASRData对象若未开启词级时间戳调用asr_data.optimize_timing()优化相邻片段边界减少字幕闪烁ASRData.optimize_timingasr_data.py。TranscribeConfig定义于 entities.py集中管理转录参数主要包括transcribe_model引擎选择必剪 B 接口、剪映 J 接口、Whisper API、FasterWhisper、WhisperCpptranscribe_language源语言如zh/en/ja留空表示自动检测need_word_time_stamp是否输出词级时间戳供后续字幕断句使用output_formatSRT / ASS / VTT / TXT / AllFasterWhisper 专属参数faster_whisper_device默认cuda、faster_whisper_vad_filter默认开启、faster_whisper_vad_threshold默认 0.5、faster_whisper_vad_method默认silero_v3、faster_whisper_one_word、faster_whisper_prompt等Whisper API 专属参数whisper_api_key、whisper_api_base、whisper_api_model、whisper_api_promptWhisperCpp 专属参数whisper_modeltiny ~ large-v2。entities.py中的ASR_LANGUAGE_CAPABILITIES字典定义了各引擎的语言支持范围必剪/剪映仅支持中英双语可自动检测FasterWhisper 支持全部语言但必须显式指定不支持自动检测Whisper API 与 WhisperCpp 支持全语言且可自动检测。基类 BaseASR缓存、限流与模板方法所有引擎继承自 base.py 中的BaseASR其职责包括音频加载与校验接受文件路径或字节流支持 flac/m4a/mp3/wavCRC32 缓存键对音频字节计算 CRC32 作为缓存键配合 diskcache 实现识别结果磁盘缓存缓存有效期 2 天避免重复调用付费接口公益接口限流内置_check_rate_limit()以「12 小时窗口内最多 100 次调用、累计时长不超过 360 分钟」的阈值保护必剪/剪映等免费公共接口RATE_LIMIT_MAX_CALLS 100模板方法子类只需实现_run()调用具体 ASR 服务并返回原始响应和_make_segments()把响应解析为ASRDataSeg列表。ChunkedASR长音频分块转录的装饰器长视频转录面临 API 超时与内存溢出的问题。chunked_asr.py 以装饰器模式为任何BaseASR子类叠加分块能力工作流为切割 → 并发转录 → 合并。使用 pydub 将音频按默认chunk_length600秒、chunk_overlap10秒切成带重叠的块重叠区域用于消除拼接缝隙用ThreadPoolExecutor以默认 3 并发转录各块并通过线程锁保证整体进度单调递增调用ChunkMergerchunk_merger.py参数min_match_count2, fuzzy_threshold0.7合并各块结果去重重叠区域文本。值得注意的工程细节本地引擎FasterWhisper、WhisperCpp在_create_*_asr工厂中强制chunk_concurrency1本地转录单线程且每块 20 分钟避免 GPU 显存或 CPU 资源竞争而云端接口必剪、剪映、Whisper API则使用默认 3 并发。ASRData贯穿全流程的中间数据模型asr_data.py 定义了架构中最重要的数据载体ASRDataSeg单条字幕片段持有text、start_time、end_time毫秒和translated_text并提供 SRT / ASS / LRC 时间戳格式转换ASRData片段集合提供排序、去空、合并、save()导出等能力并内置多格式解析器from_srt/from_vtt/from_youtube_vtt/from_ass/from_json。from_srt会通过语言检测自动识别双语字幕4 行块且两行语言不同的比例 ≥70% 判为双语从而正确还原「原文 译文」结构。ASRData支持按扩展名导出 SRT、TXT、JSON、ASS 四种格式并支持SubtitleLayoutEnum定义的四种双语布局译文在上、原文在上、仅原文、仅译文。核心模块二字幕断句与优化模块断句规则引擎 LLM 语义理解的混合策略字幕断句位于 split/split.py核心类SubtitleSplitter采用先规则、后 LLM、失败降级的混合策略内置丰富的规则常量CJK 单行上限 25 字MAX_WORD_COUNT_CJK、英文 18 词MAX_WORD_COUNT_ENGLISH、最大时间间隔 1500ms、短片段合并阈值等处理流程split_subtitle包括预处理剔除纯标点、为空格分隔语言补空格→ 按时间间隔分组 → 常见词分割 → 长片段拆分 → 短片段合并 → 基于 LLM 语义句子的对齐合并_merge_segments_based_on_sentencesLLM 路径由 split_by_llm.py 提供split_by_llm()调用 LLM 按语义断句并通过_validate_split_result()校验结果字数上限、完整性必要时进入 agent loop 重试。对应提示词模板见 prompts/split/。SubtitleSplitter内部使用ThreadPoolExecutor并发处理分段并通过atexit.register(self.stop)确保进程退出时释放线程池。优化带验证反馈循环的 LLM 校正字幕优化模块 optimize/optimize.py 的SubtitleOptimizer用于修正 ASR 识别错误、标点与格式问题其亮点是agent loop 自动验证与修正将字幕分批batch_num条/批并发提交线程池对每批构造 system prompt见 prompts/optimize/subtitle.md 用户输入以temperature0.2调用 LLM用json_repair容错解析 LLM 返回的 JSON_validate_optimization_result()校验键集合必须完全匹配、改动相似度不得过低短文本阈值 0.3其余 0.7防止 LLM 过度改写校验失败则把错误信息作为反馈追加进消息历史最多重试MAX_STEPS 3次通过SubtitleAlignersplit/alignment.py基于 difflib将优化文本重新对齐到原时间轴处理优化过程产生的合并/拆分。优化失败时保留原文optimized_dict.update(chunk)保证流程不会因个别批次失败而中断——这是批处理场景中重要的容错设计。核心模块三翻译模块翻译模块位于videocaptioner/core/translate/通过 factory.py 的TranslatorFactory.create_translator()统一创建四种翻译器翻译器类型特点LLMTranslatorTranslatorType.OPENAIOpenAI 兼容 API支持批量/单条翻译、Reflect 反思模式、自定义 PromptGoogleTranslatorTranslatorType.GOOGLE免费服务工厂内强制batch_num5、timeout20BingTranslatorTranslatorType.BING微软翻译免费batch_num10DeepLXTranslatorTranslatorType.DEEPLXDeepL 免费接口可自定义端点batch_num5、timeout20所有翻译器继承 base.py 的BaseTranslator只需实现_translate_chunk()一个抽象方法即可接入新服务扩展指南。基类统一提供线程池并发翻译thread_num默认 5单批失败率 ≥50% 时抛出运行时错误低于 50% 仅告警基于「原文 目标语言 翻译器类名」的 diskcache 翻译缓存有效期 7 天stop()优雅停止与线程池清理。LLMTranslatorllm_translator.py同样实现了 agent loop_validate_llm_response校验返回键完整性失败后把错误反馈追加进对话并重试最多 3 次Reflect 模式使用 prompts/translate/reflect.md 提示词让模型先翻译再反思修正结果优先取native_translation字段。核心模块四LLM 统一客户端llm/client.py 为优化、断句、翻译、配音台词改写等所有 LLM 消费方提供单一入口线程安全单例get_llm_client()通过双重检查锁缓存OpenAI客户端实例Base URL 归一化normalize_base_url()自动为缺少路径的地址补/v1后缀环境变量驱动读取OPENAI_BASE_URL与OPENAI_API_KEY未配置时抛出明确的ValueError重试与限流保护基于 tenacity 的retry装饰器对限流类异常做随机指数退避重试请求日志通过create_logging_http_client()把请求/响应写入llm_requests.jsonl配合 GUI 的 LLM 日志界面llm_logs_interface.py可逐条回溯调用详情。LLM 服务选择在entities.py的LLMServiceEnum中体现OpenAI 兼容 / SiliconCloud / DeepSeek / Ollama / LM Studio / Gemini / ChatGLMGUI 设置页setting_interface.py的__createLLMServiceCards提供对应配置卡片并内置连通性检查线程。核心模块五UI 与命令行双入口PyQt5 桌面界面UI 模块位于videocaptioner/ui/入口为 ui/main.py主窗口 main_window.py 继承 QFluentWidgets 的FluentWindow按官方架构文档的页面组织可对照 view-structure.mdhome_interface.py主页容器内嵌任务创建、语音转录、字幕优化、视频合成四个子页面transcription_interface.py语音转录页音轨选择、缩略图、转录进度subtitle_interface.py字幕优化/翻译页基于QAbstractTableModel的可编辑字幕表格支持选中行合并、删除、局部重译video_synthesis_interface.py视频合成页软/硬字幕、渲染模式、质量选择batch_process_interface.py批量处理页BatchTaskType支持批量转录 / 批量字幕 / 转录字幕 / 全流程四种模式subtitle_style_interface.py字幕样式编辑与实时预览setting_interface.py设置页LLM / ASR / 翻译服务配置卡片线程层videocaptioner/ui/thread/用QThread封装转录、视频信息、合成、下载等耗时任务避免阻塞 UI 主线程。pyproject.toml中PyQt55.15.11与PyQt-Fluent-Widgets1.8.4为固定版本确保桌面版行为可复现。CLI 命令行CLI 入口为 cli/main.py命令模块见 cli/commands/覆盖transcribe、subtitle、synthesize、dub、process、download、config、doctor、style。完整参数表见 docs/cli.md。例如一行命令即可完成全流程# 转录 → 断句 → 优化 → 翻译 → 合成 videocaptioner process video.mp4 --asr bijian --translator bing --target-language jaCLI 与 GUI 共享同一套 core 层只是入口与交互形式不同。核心模块六视频合成视频合成为流水线最后一环支持两种字幕形态见SynthesisConfigentities.py软字幕soft_subtitleTrue字幕作为独立轨道嵌入容器不修改画面硬字幕soft_subtitleFalse字幕烧录进画面支持两种渲染模式ASS 模式SubtitleRenderModeEnum.ASS_STYLEFFmpeg ASS 滤镜渲染描边/阴影样式圆角背景模式SubtitleRenderModeEnum.ROUNDED_BGPillow 绘制圆角矩形背景。视频质量通过VideoQualityEnum映射为 CRF 与 preset极高质量 CRF 18 slow高质量 CRF 23 medium中等质量默认CRF 28低质量 CRF 32 fast。渲染与样式实现位于 subtitle/ass_renderer.py、rounded_renderer.py、style_manager.py、font_utils.py合成任务由 video_synthesis_thread.py 在后台线程执行。数据流一条贯穿全流程的管道官方架构文档给出了核心数据流结合源码可还原为更完整的实现细节视频/音频 → ASR → ASRData → 断句 → 优化 → 翻译 → 字幕文件 → 视频合成 │ │ │ │ (ChunkedASR 分块并发) (LLM agent loop 验证修正) │ │ │ ASRDataSeg: text start_time end_time ( translated_text)各阶段以ASRData为统一数据载体天然支持流水线式组合与断点续做GUI 侧任务模型entities.py 的TranscribeTask/SubtitleTask/SynthesisTask/FullProcessTask通过need_next_task标志串联三个子任务用户可在任意阶段介入编辑CLI 的subtitle命令允许直接处理已有字幕文件ASRData.from_subtitle_file解析 SRT/VTT/ASS/JSON意味着管道可从任意中间节点启动阶段间天然可缓存ASR 结果按音频 CRC32 缓存 2 天翻译结果按内容哈希缓存 7 天重复处理同一素材可大幅节省 API 成本。架构的可扩展性设计从源码结构可以归纳出四条明确的扩展路径新增 ASR 引擎继承BaseASR实现_run()与_make_segments()然后在 transcribe.py 的_create_asr_instance工厂中注册即可自动获得分块、缓存、限流能力新增翻译服务继承BaseTranslator实现_translate_chunk()在TranslatorFactory中注册translate-module.md 有完整示例新增 LLM 服务商由于底层统一走 OpenAI 兼容协议只需在设置中填入 base_url 与 api_key无需改动代码新增 CLI 命令在videocaptioner/cli/commands/下按现有命令风格添加模块并在 cli/main.py 注册。相关文档索引架构设计本文主题API 文档含transcribe()调用示例翻译模块详解UI 视图结构CLI 完整文档贡献指南ASR 分块合并设计 与 分块用法开发者如需上手调试可参考 README.md 的开发流程uv sync uv run videocaptioner运行 GUIuv run pytest tests/ -q运行测试测试覆盖 ASR 分块合并、断句、翻译、字幕渲染、线程管线等见 tests/ 目录。赞分享人工智能AI 应用语音音视频【免费下载链接】VideoCaptioner 卡卡字幕助手 | VideoCaptioner - 基于 LLM 的智能字幕助手 - 视频字幕生成、断句、校正、字幕翻译全流程处理- A powered tool for easy and efficient video subtitling.项目地址https://gitcode.com/gh_mirrors/vi/VideoCaptioner点击查看免费下载相关推荐终极指南如何用FunASR语音识别流水线实现海量音频到结构化文本的高效转换终极指南如何用FunASR语音识别流水线实现海量音频到结构化文本的高效转换 FunASR是一个开源的端到端语音识别工具包提供了语音识别、语音活动检测、文本后语音人工智能NLP音频预训练本地部署CLI-Anything 实战用 cli-anything-videocaptioner 实现从语音识别到双语字幕烧录的全自动视频加字幕流水线CLI Anything 实战用 cli anything videocaptioner 实现从语音识别到双语字幕烧录的全自动视频加字幕流水线 本指南以 sk人工智能AI AgentAI 技能工具调用CLI构建视频处理流水线StreamV2V的模块化设计思想构建视频处理流水线StreamV2V的模块化设计思想 你是否在开发实时视频处理应用时遇到过性能瓶颈是否为如何优雅地组织复杂的视频转码逻辑而烦恼Stream人工智能深度学习计算机视觉视频处理媒体生成上一篇Kafka-Python项目使用指南从消费者到管理客户端全面解析下一篇【免费下载】 MMDetection3D可视化功能全面解析从基础绘制到结果展示创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考