简介本资源面向计算机视觉方向的毕业设计学生与OCR入门开发者提供一套基于TensorFlow、Keras与PyTorch实现的自然场景文字检测及端到端中文识别完整方案可解决不定长文本检测与识别、多框架切换学习等实际问题。压缩包共237个文件约62.71MB以91个Python源码为核心辅以50个pyc编译文件、38张jpg与19张png测试图片、8个sh环境脚本以及mdb、txt、json、yml等配置与说明文件另含pth权重、cu与cpp等底层实现文件结构完整便于直接运行与二次开发。资源包含文本方向检测VGG16分类、CTPN文本区域检测、CRNN端到端识别三个网络支持CPU与GPU一键部署并提供Keras与PyTorch双版本训练代码其中方向检测准确率达88.23%。目前已有697人学习下载适合需要完整赛题级方案、排错思路与多框架对照实践的读者参考。1. 自然场景文字检测加端到端 OCR一份能跑通的中文识别毕业设计源码拆解自然场景下的文字检测和识别是 OCR 方向里最容易被低估的一类任务。文档扫描件里文字横平竖直、背景干净检测框随便回归一下就能收敛但换成街景招牌、商品包装、票据照片文字有旋转、有透视变形、有光照不均还有中英文混排和密集小字难度直接上一个台阶。这份毕业设计源码包做的事情就是把「检测」和「识别」两段串成一条端到端的中文 OCR 流水线检测侧基于 TensorFlow/Keras 体系识别侧给出 PyTorch 实现覆盖从数据准备、模型训练到推理可视化的完整链路。它适合正在做 OCR 方向毕业设计、需要一份可复现基线代码的本科生也适合想快速搭一个中文文字识别 Demo 验证业务可行性的工程师。下面我按「这是什么、怎么跑、坑在哪」的顺序把这份资源拆开讲清楚。2. 检测与识别两段式架构为什么不是一个大模型端到端2.1 两阶段流水线的选型理由自然场景 OCR 主流方案分两类一类是检测加识别两阶段先框出文字区域再逐块识别另一类是检测识别共享 backbone 的端到端模型。这份源码走的是两阶段路线检测和识别各自独立训练、独立调参。这么选不是偷懒而是有很实际的工程考量。检测阶段的目标是「找全」识别阶段的目标是「认对」两个任务的损失函数、数据增强策略、收敛速度都不一样。如果强行塞进一个网络联合训练检测分支的回归损失和识别分支的 CTC 或注意力损失量级差很多学习率很难同时照顾两边调参成本陡增。两阶段拆开之后检测模型可以单独用大量无标注或弱标注的文字区域数据去训识别模型可以单独用文字行切片数据去训各自的数据集构建难度都降低了。对于毕业设计这种周期有限、算力有限的场景两阶段是更稳的选择。代价也很明显检测框不准会直接传导到识别框歪了、框多了、框漏了识别结果都会崩。所以两阶段方案里检测后处理NMS 阈值、框的扩边、倾斜矫正往往比模型本身更影响最终指标。2.2 检测分支从 backbone 到文本框回归检测分支常见做法是借鉴目标检测框架把文字当成一类特殊目标来回归。源码里检测部分基于 TensorFlow/Keras 实现典型结构是 backbone 提特征、FPN 做多尺度融合、检测头输出文本框。文字检测和普通目标检测最大的区别在于文字框通常是任意四边形而不是水平矩形所以回归的是四个角点坐标或者旋转框参数而不是简单的中心点加宽高。下面是一段检测推理的核心逻辑展示从模型输出到文本框的还原过程import numpy as np import tensorflow as tf def decode_boxes(preds, score_thresh0.5, nms_thresh0.4): preds: 模型原始输出, 形状 [N, H, W, C] C 通道包含分类得分 四个角点偏移 score_thresh: 文字/背景分类阈值, 低于此值的像素点丢弃 nms_thresh: 非极大值抑制阈值, 控制重叠框合并力度 scores preds[..., 0] # 文字置信度 offsets preds[..., 1:9] # 4 个角点, 每个 2 维偏移 mask scores score_thresh # 先按置信度粗筛 ys, xs np.where(mask) boxes [] for y, x in zip(ys, xs): off offsets[y, x].reshape(4, 2) # 以当前像素为中心, 加上回归偏移得到四个角点 corners off np.array([[x, y]]) boxes.append(corners) boxes np.array(boxes) # 按得分排序后做 NMS, 合并高度重叠的框 keep nms_polygon(boxes, scores[mask], nms_thresh) return boxes[keep]这段代码里三个参数最关键。score_thresh调低会召回更多候选框但误检也跟着涨街景图里纹理丰富的区域特别容易被误判成文字调高则漏检小字。nms_thresh控制重叠框合并文字密集排列时这个值要适当放大否则相邻文字框会被误合并成一个。角点偏移的还原方式决定了框的精度如果训练时用的是归一化坐标推理时记得乘回原图尺度这一步漏了框会全部缩在左上角是新手最常见的翻车点之一。2.3 识别分支PyTorch 侧的 CRNN 加 CTC识别分支源码给出的是 PyTorch 实现典型结构是 CRNNCNN 提图像特征RNN 建模序列依赖CTC 做不定长解码。中文识别和英文识别最大的差别在字符集规模英文加数字符号也就几十类中文常用字就有几千类输出层维度直接差两个数量级训练时对显存和收敛速度都是考验。import torch import torch.nn as nn class CRNN(nn.Module): def __init__(self, num_classes, hidden_size256): super().__init__() # CNN 部分: 把文字行图像压成高度为 1 的特征序列 self.cnn nn.Sequential( nn.Conv2d(3, 64, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(64, 128, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(128, 256, 3, padding1), nn.ReLU(), ) # RNN 部分: 双向 LSTM 建模字符间上下文 self.rnn nn.LSTM(256, hidden_size, bidirectionalTrue, batch_firstTrue) # 输出层: num_classes 含 CTC 的 blank 占位 self.fc nn.Linear(hidden_size * 2, num_classes) def forward(self, x): feat self.cnn(x) # [B, C, H, W] b, c, h, w feat.shape feat feat.permute(0, 3, 1, 2).reshape(b, w, c * h) seq, _ self.rnn(feat) # [B, W, 2*hidden] logits self.fc(seq) # [B, W, num_classes] return logits.log_softmax(2)num_classes必须包含 CTC 的 blank 类别通常设成「字符集大小加一」漏掉这个加一会导致解码时字符整体错位一位训练 loss 能降但识别结果全乱属于典型的玄学 bug。hidden_size影响序列建模能力中文长文本行建议不低于 256。CNN 的下采样倍数要和文字行高度匹配如果输入高度是 32经过两次池化后特征高度是 8再 reshape 时要把通道和高度合并这个维度顺序搞错是另一个高频翻车点。3. 从零跑通数据准备、训练与推理的完整步骤3.1 数据格式与标注转换自然场景 OCR 的数据一般分两块检测需要文字区域的四边形标注识别需要文字行的图像切片加对应文本。公开数据集常见格式是四点坐标加转录文本源码里通常需要转成训练脚本能吃的格式。检测标注转成每张图一个标注文件每行是「x1,y1,x2,y2,x3,y3,x4,y4,文本」识别数据则按文字行切图每张切片配一个文本标签。# 目录结构建议, 检测和识别数据分开管理 dataset/ det/ images/ # 原图 labels/ # 每张图对应的四点标注 txt rec/ images/ # 文字行切片 labels.txt # 每行: 切片文件名 空格 文本标注转换时最容易出问题的是坐标顺序。四点标注必须按顺时针或逆时针统一顺序顺序乱了框会自交训练时回归目标就是错的。我一般会在转换脚本里加一步校验算一下四边形面积面积异常小或者为负的直接打日志排查。3.2 检测模型训练与关键参数检测训练的核心是损失函数配置。分类损失用交叉熵回归损失用平滑 L1 或 IoU 类损失两者加权求和。权重比例很关键分类权重过大模型只顾找文字不管框准不准回归权重过大又容易在背景区域乱回归。# 训练主循环关键片段 optimizer tf.keras.optimizers.Adam(learning_rate1e-4) for epoch in range(num_epochs): for images, cls_gt, reg_gt in train_dataset: with tf.GradientTape() as tape: cls_pred, reg_pred model(images, trainingTrue) cls_loss focal_loss(cls_gt, cls_pred) # 分类用 focal 缓解正负样本失衡 reg_loss smooth_l1(reg_gt, reg_pred) # 回归用 smooth L1 total_loss cls_loss 2.0 * reg_loss # 回归权重适当放大 grads tape.gradient(total_loss, model.trainable_variables) optimizer.apply_gradients(zip(grads, model.trainable_variables))学习率从 1e-4 起步比较稳太大检测头容易震荡。分类损失用 focal loss 是因为文字区域在整图里占比很小正负样本严重失衡普通交叉熵会让模型倾向于全预测背景。回归权重设成分类的两倍左右是常见起点具体要看数据集里文字框的密集程度。3.3 识别模型训练与 CTC 解码识别训练用 CTC 损失PyTorch 里直接调nn.CTCLoss。注意 CTC 要求输入序列长度大于等于目标标签长度文字行切片太短或者下采样太狠会导致这个条件不满足报错信息不太直观得提前检查。ctc_loss nn.CTCLoss(blank0, zero_infinityTrue) logits model(images) # [B, T, num_classes] log_probs logits.permute(1, 0, 2) # CTC 要求 [T, B, num_classes] input_lengths torch.full((b,), T, dtypetorch.long) target_lengths torch.tensor([len(t) for t in targets]) loss ctc_loss(log_probs, targets, input_lengths, target_lengths)blank0要和字符集编码对应通常把 blank 放在索引 0真实字符从 1 开始。zero_infinityTrue能避免某些样本因为长度问题产生无穷大损失把整个 batch 带崩这个参数建议一直开着。解码阶段用贪心解码就够跑通流程追求精度再上 beam search。3.4 端到端推理串联两段模型都训好之后推理流程是原图进检测模型得到文本框按框裁剪并做透视矫正切片送识别模型最后把文本按框的位置排序拼回整图结果。def ocr_pipeline(image, det_model, rec_model): boxes det_model.predict(image) # 检测得到文本框 boxes sort_boxes(boxes) # 按从上到下、从左到右排序 results [] for box in boxes: crop perspective_crop(image, box) # 透视矫正成水平文字行 text rec_model.predict(crop) # 识别单行文本 results.append((box, text)) return resultssort_boxes这步别省检测输出的框顺序是乱的不排序直接拼接识别出来的句子语序会错乱。排序逻辑一般先按框中心 y 坐标分行行内再按 x 坐标排。4. 避坑与排查那些让 loss 降不下去的细节4.1 检测框全部偏移或缩放异常现象训练 loss 正常下降但推理时框要么全挤在左上角要么整体放大缩小一圈。原因基本是坐标归一化不一致训练时回归目标用了归一化坐标推理还原时忘了乘回原图宽高或者反过来。解决方式是统一坐标体系训练和推理都基于原图绝对坐标或者在配置里显式记录归一化尺度推理时严格按同一尺度还原。4.2 识别结果整体错位一位现象识别出来的文字和真实标签每个字都对不上像是整体平移了一位。原因是 CTC 的 blank 类别没算进输出维度或者字符集映射表里索引和实际编码差了一位。解决方式是打印字符集字典确认 blank 在索引 0真实字符从 1 开始输出层维度等于字符数加一。4.3 中文识别收敛慢或直接不收敛现象英文数字识别正常一换中文 loss 就卡住不降。原因是中文字符集太大输出层参数多小学习率下梯度更新慢。解决方式是先用较小字符集比如只保留高频字跑通流程再逐步扩大字符集同时适当提高学习率或者用 warmup 策略让输出层先热起来。4.4 密集小字漏检严重现象大招牌文字能检出密集排列的小字整片漏掉。原因是检测模型下采样倍数太大小字在特征图上只剩一两个像素回归不出来。解决方式是减小下采样倍数、提高输入分辨率或者在 FPN 里多用高分辨率特征层。代价是显存和推理时间上升得权衡。4.5 推理速度慢到无法接受现象单张图推理要好几秒Demo 演示卡顿。原因是检测和识别串行跑且识别是逐框循环。解决方式是把识别切片攒成 batch 一起送模型检测侧也可以适当降低输入分辨率。如果还慢考虑把识别模型量化或者换更轻的 backbone。5. 进阶技巧把识别准确率再往上抬一截的验证方法跑通流程只是起点真正决定这份毕业设计能不能拿得出手的是识别准确率。我一般会按下面的顺序做验证和优化每一步都能看到明确收益。第一步是建立分场景的评测集。不要只用一个整体准确率糊弄自己把测试集按「清晰水平文字」「倾斜文字」「密集小字」「中英混排」分开统计。很多时候整体准确率 85%拆开一看密集小字只有 50%问题定位一下就清楚了。第二步是单独评估检测和识别。检测用 IoU 阈值下的召回率和准确率识别用字符级准确率和整行准确率。两阶段方案里整行准确率低到底是检测框不准还是识别模型弱必须拆开看。我见过太多人一上来就调识别模型结果发现是检测框把文字裁掉了一半。第三步是针对性数据增强。自然场景 OCR 最有效的增强是随机透视变换、运动模糊和光照扰动这三样直接对应真实场景里的主要退化因素。增强强度别一步拉满先小幅度加上去看验证集指标变化再调。优化方向具体手段预期收益代价检测召回提高输入分辨率小字召回提升明显显存和耗时上升检测精度后处理加倾斜矫正倾斜文字识别改善增加预处理耗时识别精度扩大字符集加高频字生僻字覆盖提升输出层变大识别速度识别切片 batch 化吞吐提升数倍显存占用上升整体检测识别联合微调边界样本改善调参复杂度上升第四步是错误样本回流。把验证集里识别错的样本挑出来看看是标注错了、框裁歪了还是模型确实认不出。标注错误在自建数据集里占比往往不低先把标注清洗一遍比调模型见效快。从那以后我每次拿到一份 OCR 源码都强制先跑一遍分场景评测再决定往哪个方向优化而不是凭感觉调参。希望这份拆解能帮到你把这份毕业设计源码真正跑起来、用起来。本文还有配套的精品资源点击获取