人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载SpeechFeaturizer 是 PaddleSpeech 语音识别ASR前端frontend中负责一次输入、双路输出的核心封装类它同时管理音频特征频谱图/MFCC/FBank与文本特征字符/词/子词 token 索引的提取是连接原始音频、转写文本与深度学习模型输入的枢纽。本文基于当前仓库 paddlespeech/s2t/frontend/featurizer/speech_featurizer.py 的完整实现结合其内部引擎 audio_featurizer.py、text_featurizer.py 以及数据流水线 collator.py逐参数、逐方法讲解其设计原理与实际调用方式。读完本文你将能理解 ASR 训练/推理数据从 wav 到模型输入张量的完整变换链并能独立配置与调试前端特征参数。模块定位SpeechFeaturizer 在 PaddleSpeech 中的角色PaddleSpeech 的 s2tspeech-to-text前端目录paddlespeech/s2t/frontend/中featurizer子包通过init.py 统一导出三个类AudioFeaturizer从AudioSegment/SpeechSegment提取音频特征TextFeaturizer将文本字符串切词并转换为 token 索引序列SpeechFeaturizer组合上述两者提供语音 文本联合特征提取的统一入口。从源码结构看SpeechFeaturizer是典型的外观Facade组合类构造函数内部同时实例化AudioFeaturizer与TextFeaturizer对外只暴露两个高内聚方法featurize与text_featurize并向上层暴露feature_size音频特征维度与vocab_size词表大小两个关键属性。这一设计让数据加载器无需关心底层频谱计算或切词细节只需拿到特征即可进行 padding 与 batch 组装。在官方 API 文档中该模块以 paddlespeech.s2t.frontend.featurizer.speech_featurizer.rst 为索引页使用 Sphinxautomodule指令自动生成类与方法文档与audio_featurizer、text_featurizer并列收录于 featurizer 包文档。构造参数详解一次配置双引擎就绪SpeechFeaturizer.__init__的完整签名源码 speech_featurizer.py如下def __init__(self, unit_type, # 文本建模单元char / word / spm vocab_filepath, # 词表文件路径 spm_model_prefixNone, # sentencepiece 模型前缀unit_typespm 时必填 spectrum_typelinear, # 音频特征类型linear / mfcc / fbank feat_dimNone, # mfcc/fbank 的特征维数 delta_deltaFalse, # 是否拼接一阶/二阶差分 stride_ms10.0, # 帧移毫秒 window_ms20.0, # 窗长毫秒 n_fftNone, # FFT 点数None 时用 window 对应的点数 max_freqNone, # 最高保留频率None 为采样率一半 target_sample_rate16000, # 目标采样率 use_dB_normalizationTrue, # 是否做 dB 归一化 target_dB-20, # 目标 dB 值 dither1.0, # 加性抖动噪声幅度mfcc/fbank maskctcFalse): # 是否为 Mask-CTC 非自回归模型追加 mask构造时L42-L61顺序完成三件事用所有音频相关参数实例化AudioFeaturizer并立刻通过self.audio_feature.feature_size求出特征维度feature_size用unit_type、vocab_filepath、spm_model_prefix、maskctc实例化TextFeaturizer并取出vocab_size保存stride_ms、window_ms供上层统计帧长使用。参数按用途可分成三组各参数的核心影响如下表参数默认值作用与说明unit_type无必填文本建模单元取char/word/spm三者之一TextFeaturizer构造时用assert强制校验vocab_filepath无必填词表文件路径逐行解析为词表也可直接传入词表 listspm_model_prefixNonesentencepiece 模型前缀unit_typespm时会在内部拼接.model并加载spectrum_typelinear音频特征类型当前实现支持linear/mfcc/fbank三种feat_dimNonemfcc/fbank的滤波器组维数如 80/40/13对linear不生效delta_deltaFalse为mfcc/fbank拼接一阶、二阶差分特征维度变为 3 倍stride_ms10.0分帧帧移也是特征的时间分辨率每帧 10mswindow_ms20.0分帧窗长linear类型下同时决定 FFT 点数n_fftNone显式指定 FFT 点数为None时按window_ms对应的采样点数计算max_freqNone截断的最高频率None表示奈奎斯特频率采样率一半同时代码会校验其不超过采样率一半target_sample_rate16000特征提取前的目标采样率音频会被重采样到该值use_dB_normalizationTrue是否在提取特征前对音频做 dB 归一化target_dB-20dB 归一化的目标强度dither1.0抖动dither幅度用于mfcc/fbank的抗量化噪声处理maskctcFalse为 Mask-CTC 非自回归模型在词表中追加mask特殊 token需要注意spectrum_type的三类取值中feature_size的计算路径不同详见下文若传入未知类型AudioFeaturizer会抛出ValueError: Unknown spectrum_type。音频引擎AudioFeaturizer 的三步流水线SpeechFeaturizer将音频特征工作全部委托给AudioFeaturizer。其featurize(audio_segment, allow_downsamplingTrue, allow_upsamplingTrue)audio_featurizer.py按固定三步处理重采样当输入audio_segment.sample_rate高于目标采样率且允许降采样或低于目标采样率且允许升采样时调用audio_segment.resample(target_sample_rate)若重采样后仍不等于目标采样率则抛出ValueError(Audio sample rate is not supported...)。这保证了进入模型的音频采样率统一。dB 归一化当use_dB_normalizationTrue时调用audio_segment.normalize(target_dbtarget_dB)把响度拉齐到目标 dB缓解不同录音设备带来的音量差异。相关的 dB 换算工具函数rms_to_db、mean_dbfs、gain_db_to_ratio等位于 utility.py。特征计算按spectrum_type分发到_compute_linear_specgram/_compute_mfcc/_compute_fbank。特征维度feature_size的计算规则feature_size属性audio_featurizer.py按类型分支计算是模型输入维度的直接依据linearfft_point * (target_sample_rate / 1000) / 2 1其中fft_point在n_fft为None时取window_ms。例如采样率 16kHz、窗长 20ms、n_fftNone时维度为20 * 16 / 2 1 161若配置window_ms25则为201。mfcc/fbank维度为feat_dim开启delta_delta后变为3 * feat_dim原始 一阶差分 二阶差分。三种频谱实现linear 线性谱_specgram_real使用np.lib.stride_tricks.as_strided高效切窗加 Hanning 窗后做实数 FFTnp.fft.rfft取能量谱并按窗能量与采样率缩放_compute_linear_specgram再按max_freq截断频率轴、取对数log(spec eps)最终返回(time, freq)形状的二维数组audio_featurizer.py。同时代码强制校验max_freq不超过采样率一半、stride_ms不超过window_ms。MFCC复用python_speech_features.mfcc参数为nfilt23, nfft512, lowfreq20, preemph0.97, ceplifter22, useEnergyTrue, winfuncpovey即 Povey 窗 首维替换为对数帧能量的 Kaldi 风格 MFCCaudio_featurizer.pydelta_delta时通过_concat_delta_delta拼接delta(feat, 2)与再一阶差分。FBank将样本转为paddle.Tensor后调用paddlespeech.audio.compliance.kaldi.fbankKaldi 兼容实现参数n_melsfeat_dim、frame_lengthwindow_ms、frame_shiftstride_ms、energy_floor0.0audio_featurizer.py。文本引擎TextFeaturizer 的切词与索引化TextFeaturizertext_featurizer.py负责文本侧。它支持三种unit_typechar按字符切分空格替换为特殊 tokenspace去 tokenize 时再还原word按空格切分为词spm加载spm_model_prefix .model的 sentencepiece 模型用EncodeAsPieces编码为子词单元。词表加载与特殊 token构造函数通过_load_vocabulary_from_file加载词表若传入路径调用 utility.py 中的load_dict逐行读取每行取第一个空格前的字段作为 token并自动保证blank位于词表首位CTC 的 blank 符号用于对齐eos追加在末尾SOS与EOS使用同一 tokeneos当maskctcTrue时追加mask供 Mask-CTC 非自回归模型使用。其他特殊 token 还包括unk未登录词与space。加载后建立token2id/id2token双向映射并记录blank_id、eos_id、unk_id、sos_id、space_id。若未提供词表则只可用作 Tokenizer无法做索引转换会打印 warning。核心方法tokenize(text)/detokenize(tokens)按unit_type分发的切词与还原featurize(text)切词后逐 token 查表未登录词替换为unk返回token 索引列表defeaturize(idxs)反向将索引还原为文本遇到eos_id即停止——这是解码/评估阶段还原句子的关键路径。核心方法featurize 与 text_featurizeSpeechFeaturizer对外仅提供两个方法speech_featurizer.pyfeaturize(speech_segment, keep_transcription_text)—— 同时处理语音与文本返回二元组先调用self.audio_feature.featurize(speech_segment)得到二维频谱特征若keep_transcription_textTrue直接返回原始转写文本推理/验证阶段无需 token 化若False优先复用speech_segment上已有的token_ids否则调用text_feature.featurize(transcript)现场转换返回 token 索引列表。text_featurize(text, keep_transcription_text)—— 仅处理文本keep_transcription_textTrue时原样返回字符串否则调用TextFeaturizer.featurize返回索引列表。这一方法被语音翻译ST等单音频多文本任务的流水线复用见下文TripletSpeechCollator。在训练流水线中的实际调用SpeechFeaturizer的真实消费方是 paddlespeech/s2t/io/collator.py。SpeechCollatorBase.__init__L111-L131用数据加载配置实例化SpeechFeaturizer随后直接取出self.feature_size self._speech_featurizer.audio_feature.feature_size self.text_feature self._speech_featurizer.text_feature self.vocab_dict self.text_feature.vocab_dict self.vocab_list self.text_feature.vocab_list self.vocab_size self.text_feature.vocab_size在process_utteranceL133-L172中形成完整的数据变换链音频文件/对象 → SpeechSegment.from_file → 增强(augmentation.transform_audio) → SpeechFeaturizer.featurize → CMVN归一化(FeatureNormalizer) → 特征增强(transform_feature) → (spectrum, transcript_part)SpeechCollator.from_configL220-L267则从yacs配置对象逐项读取unit_type、vocab_filepath、spm_model_prefix、spectrum_type、feat_dim、delta_delta、stride_ms、window_ms、n_fft、max_freq、target_sample_rate、use_dB_normalization、target_dB、dither、keep_transcription_text等字段直接映射到SpeechFeaturizer的构造参数——配置文件中的这些键名与SpeechFeaturizer.__init__参数一一对应。此外ST 任务专用的TripletSpeechCollatorL270-L286在处理翻译translation与转写transcript双文本时正是通过self._speech_featurizer.text_featurize(transcript, self.keep_transcription_text)复用文本特征引擎印证了text_featurize的设计价值。配置文件中的真实参数示例以官方 AISHELL 示例为证配置文件位于 examples/aishell/asr0/conf/deepspeech2.yaml 与 examples/aishell/asr1/conf/chunk_conformer.yamlDataloader 段落的典型取值vocab_filepath: data/lang_char/vocab.txt spm_model_prefix: unit_type: char feat_dim: 161 # 16kHz、20ms 窗的 linear 谱20*16/21161 stride_ms: 10.0 window_ms: 25.0AISHELL asr0DeepSpeech2使用char建模单元、feat_dim: 161对应 16kHz 采样率下线性谱(time, 161)的输入形状AISHELL asr1Conformer/ChunkConformer使用feat_dim: 80即 FBank 80 维的常规 ASR 配置配合stride_ms: 10.010ms 帧移得到标准的时间分辨率。这些键名经SpeechCollator.from_config原样传入SpeechFeaturizer最终决定送入编码器的(B, T, D)特征张量形状。小结SpeechFeaturizer是 PaddleSpeech ASR/ST 数据前端的统一入口构造时通过参数校验与双引擎装配一次性完成音频特征与文本特征的配置运行时通过featurize/text_featurize输出「频谱 token 索引」或「频谱 原文」的配对数据并通过feature_size/vocab_size向上游模型定义提供维度信息。理解它的参数语义就等于掌握了 PaddleSpeech 从 wav 与文本到模型输入张量的整条变换链的起点。赞分享人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载相关推荐PaddleSpeech S2T 前端特征提取器Featurizer完全解析AudioFeaturizer / SpeechFeaturizer / TextFeaturizer 源码级指南PaddleSpeech S2T 前端特征提取器Featurizer完全解析AudioFeaturizer / SpeechFeaturizer / Te人工智能语音音频NLP媒体生成PaddleSpeech SpeechFeaturizer 深度解析语音与文本联合特征提取模块实现与配置指南PaddleSpeech SpeechFeaturizer 深度解析语音与文本联合特征提取模块实现与配置指南 导读 本文围绕 PaddleSpeech 中 p人工智能语音音频PaddleSpeech S2T 前端之 AudioFeaturizer音频特征提取器源码级解析与实战指南PaddleSpeech S2T 前端之 AudioFeaturizer音频特征提取器源码级解析与实战指南 导读 本文围绕 PaddleSpeech 语音识别人工智能语音音频创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考