1. 自助售货机商品检测毕设到底在做什么自助售货机商品检测这个课题说白了一件事让摄像头代替人的眼睛识别出货架上的商品是什么、是否齐全、还有没有货。听起来不复杂放在毕业设计里却是个特别完整的项目——有数据采集、有模型训练、有算法部署、有界面展示任何一个环节都能单独拿出来讲技术点工作量也正好不会少到没内容写也不会多到做不完。在视觉方向上很多毕设课题喜欢做人脸识别、车牌识别这类经典目标但我给你一个实在的建议自助售货机商品检测比那些课题更好做也更好讲。原因有三个。第一是场景固定货架背景相对单一不需要处理复杂的行车环境或街景第二是数据好收集自己用手机拍一组商品照片就能起步不需要去蹭公开数据集第三是结果直观检测框画在商品上拿给导师看一眼就知道你在做什么不需要解释一堆玄乎的理论。这篇内容我按一个完整项目推进的顺序来梳理从数据集构建讲到模型训练再讲到推理部署和问题排查。无论你是打算从零开始搭这套系统还是想找一个现成的毕设题目做参考这一套流程都能省掉一部分自己摸索的时间。在动手之前先把目标定清楚你要做的是目标检测就是给定一张图片程序输出“什么商品”和“商品在哪”。不是图像分类不是语义分割而是一个框标注出来的目标检测。选择一个主流检测模型就够了我建议用YOLO系列后文会说明具体选型理由。2. 数据集构建毕设流程里最耗时却最容易被低估的部分2.1 商品图像采集的三个来源很多同学做这个课题时会犯同一个错拿到框架代码就急着跑训练结果发现模型检测效果稀烂最后排查来排查去问题几乎都出在数据上。目标检测这个任务数据决定了模型天花板上限算法只是在逼近这个上限。所以说数据构建是整个毕设的重头戏一点不夸张。图像采集有常规的三种路径。第一种是实拍收集自己去超市或者便利店买一批饮料零食找一块白底或灰色的背景板用手机在不同角度、不同距离、不同光照下各拍十几张。这个方法最推荐因为模型最终要部署在真实货架上实拍数据与实际场景分布最接近。第二种是从公开数据集里筛选比如一些通用物品检测数据集中有饮料罐、零食包装类别的子集但需要花时间清洗噪音数据而且商品类别往往匹配不上自助售货机里的真实品项。第三种是模拟合成用渲染软件搭建简易货架模型把商品贴图放上去批量生成图像并用脚本自动标注。合成数据适合做大范围预训练但直接用于正式训练容易过拟合到贴图纹理上除非学校验证要求特别严格否则不推荐作为主力数据来源。我在实际操作中更偏爱“实拍为主、公开数据为辅”的组合方式。如果目标商品是像可乐罐、矿泉水瓶、薯片袋这类标准化包装我会先实拍每种商品30到50张图再借助公开数据集把每类扩充到100张以上。需要注意的一点是每张图中尽量让商品占据画面的适当比例尽量覆盖不同的位置和角度这样模型才能泛化到“商品没摆正”、“部分被遮挡”这些真实场景。2.2 标注规范标签一致性比标注数量更重要采集到图像后下一步是标注边界框。工具方面常用LabelImg操作很简单打开一张图用鼠标框住商品选对应类别保存为XML文件即可。如果想提高效率也可以试一下部分开源的半自动标注工具先用已有模型做预标注人工只修正歪掉的边界框几百张图一上午就能搞定。标注里有几个细节直接决定训练效果。第一标注框要贴边。框住商品时宁可紧一些也不要留大量空白背景否则模型学到的是“商品加环境”的混合特征检测框出来会明显偏大。第二边界不清晰的图片要及时修正比如瓶装饮料这类透明容器标注框建议包含瓶盖和底部整段如果只框到标签区域训练时模型会很困惑。第三类别标签尽量用拼音或英文例如Coca Cola、Sprite、Water等中文标签在部分框架的字符编码处理上会额外增加麻烦。每类商品建议至少标注150到200个实例才能保证模型在训练时的正样本数量足够。不是每张图只标一个框而是一张货架图里可能有五六件同类商品这本身就增加了同类的实例数。宁可少一些图像总数也要保证每张图标注内容扎实。这一条经验——标签一致性比标注数量更关键——也是后期模型效果不翻车的重要前提。2.3 数据增强和训练集划分标注完原始图片后增强处理能显著提升模型的鲁棒性。针对自助售货机的实际场景优先推荐三种增强方式亮度抖动售货机内部灯管亮度并不均匀白天和晚上拍摄时色温差异很大。把亮度随机调整到原图的0.7到1.3倍能模拟不同照明条件下的图像变化。随机水平翻转与裁剪增加商品位置分布的多样性。注意如果包装上有文字水平翻转后文字会反向不过对于目标检测模型来说这个影响通常很小。仿射变换轻微旋转和缩放模拟镜头角度略有偏移的情况。这些增强在训练时用在线增强即可没有必要事先生成扩充后的文件夹。在YOLO框架里这几种增强方式直接以参数形式配置在训练配置中。有些同学非要在训练前用脚本生成几万张“增强图片”然后堆进数据集这只会让训练速度变慢实际增益并不大属于典型的无效努力。数据集划分遵循常规的7:2:1七成训练集、两成验证集、一成测试集。需要留意一点同一种商品的所有图片要确保只分到一个集合里。这很像考试时不能把试题答案提前给学生——如果训练集和验证集里出现同一商品的相似图像验证指标会虚高而模型真实泛化能力并没有那么好。3. 模型训练全流程环境、参数与调优3.1 检测算法选型为什么是YOLO目前做目标检测的主流方向可以分成两类。一类是两阶段检测器如Faster R-CNN系列精度上限较高但推理速度偏慢另一类是单阶段检测器典型代表是YOLO和SSD系列速度和精度的平衡更适合实时应用场景。自助售货机商品检测并不需要毫秒级的极限性能但摄像头画面连续输入时检测速度太慢会出现明显卡顿影响最终展示效果因此单阶段模型是首选。在YOLO系列里面我建议优先考虑YOLOv8或YOLOv5。YOLOv5生态最成熟中文教程多遇到任何问题几乎都能搜到解决方案YOLOv8在结构上做了更新训练流程更简洁精度略高一些。如果毕设时间比较充裕可以直接从YOLOv8上手不过前提是你的电脑能正常跑通PyTorch环境并且训练时有足够的显存支撑。不同模型规模的选择我也给你一个参考方便根据自己电脑的显卡配置来判断模型版本参数量级别训练显存需求推理速度精度表现YOLOv8n小4G左右可训练最快适中适合实时性突出场景YOLOv8s中8G左右快精度明显提升推荐使用YOLOv8m中大12G左右中等精度较高训练成本上升YOLOv8l/x大16G以上较慢精度高对毕设而言性价比不高普通笔记本或者迷你主机跑训练选n或是s就够用了。不要一上来就选最大的模型大模型对硬件的要求会直接影响训练阶段的顺利程度且如果数据集规模不够大大模型反而更容易过拟合。3.2 环境配置过程中的常见坑环境搭建是整个毕设流程里第一个劝退点但大多数问题其实是版本不匹配。建议使用PyTorch官方安装命令确认CUDA版本和显卡驱动匹配。我遇到最多的问题是装了新版PyTorch后旧显卡驱动不支持报出各种算子错误。这个问题的排查口诀先看驱动再选CUDA最后选对应版本的PyTorch。如果你的显卡比较老可以用nvidia-smi命令查看驱动支持的CUDA版本上限按上限去装性能不会有严重损失。配置好环境后训练流程可以用YOLO自带的命令行工具完成不需要自己复杂实现网络结构。以YOLOv8为例训练一条命令就能跑起来yolo detect train data售货机数据集.yaml modelyolov8s.pt epochs80 imgsz640 batch8模型会在训练结束后自动输出最佳权重文件并在验证集上给出指标报告。比起替导师报告里的算法原理部分也许先顺利把模型训练出来、看到检测效果才是整个毕设中保持信心的重要环节。3.3 理解训练日志里的关键信息训练日志刚开始时大家通常会看不懂Tabular格式输出的一堆数值好像都在波动。实际上核心指标只需要关注几个train的损失函数值是否随迭代轮数下降val精度是否随训练轮数上升以及训练与验证之间的差距是否过大。损失值下降的速度取决于数据集难度。我自己跑商品检测项目时通常前10个epoch损失会跌得很快之后进入缓慢下降期最终趋于平缓。如果损失在前几个epoch就几乎不掉那说明可能存在比较严重的配置问题要么学习率设置得过低要么数据标注存在大量错误要么类别映射不匹配比如背景被视为目标类别或标注框坐标算错。学习率这个超参数在YOLO训练中的默认值已经比较合理初学者不建议随意改动。真正需要手动调的是batch size和图片尺寸。显存不够时优先降低batch size同时保持图片尺寸不变因为自助售货机外壳边缘的小商品检测非常依赖分辨率。实在需要减少图片尺寸可以把640降到512但精度会掉一截。训练完成后程序会生成混淆矩阵和PR曲线等验证图这些图在论文里是一份很有说服力的材料。先把指标跑出来再在论文中做解释这部分内容就自然充实了。3.4 过拟合与欠拟合的处理策略用过拟合这个词说得太多可能有点抽象用一个生活中的例子来说一个学生只在课本上见过苹果考试时题目里出现了一只被咬了一口的苹果他就认不出来了。模型在训练集上学得太“死”没有学会通用特征就叫过拟合。具体表现是训练集损失降到很低验证集指标反而很差。过拟合的典型应对方案分别是增数据、调增强、降模型复杂度。优先增加数据多样性如果条件受限则提高增强强度。其次在模型复杂度上YOLOv8n到YOLOv8s之间切换也是一种有效调整。还有一种被忽略的方案——早停法在YOLO配置中开启早停参数如果验证指标连续多个epoch不再改善训练自动终止这能有效防止过拟合继续扩大。欠拟合则相反表现为训练集损失降到一定程度后不再变化验证集也不好。还说烧烤的例子可能更好懂底火不够旺肉一直熟不透。当模型不够复杂或训练轮数不足时就会陷入这种状态。解决办法相对直接增大模型规模、增加训练轮数、提高输入图片的分辨率都能让模型更有“精力”去捕捉特征。4. 推理部署与系统集成让检测结果真正跑起来4.1 导出模型并在图片上进行测试训练完成后模型在torch格式下可以正常运行但进一步部署到实际环境有自己的需求。推理导出推荐转成ONNX格式后续在CPU推理或用OpenVINO加速时兼容性更好。在YOLOv8中导出一条命令即可完成yolo export modelbest.pt formatonnx转换后拿一张取景好的货架照片跑一次推理确认检测框和置信度是否合理。这里有一个我自己踩过的坑向你说说商品检测时会出现“一个商品上多个框”的情况。原因是同一种商品的多个实例彼此紧挨着NMS阈值设置不合理时框就被保留了好几个。训练后的默认配置通常够用但如果你发现重叠框过多可以把推理时的置信度阈值稍微调高比如从0.25调到0.35重叠框就会明显减少。4.2 构建一个实时的检测循环训练模型搞定下一步是把静态图片推理换成视频流或连续图像的检测循环。用一个简洁的Python脚本以OpenCV读取视频流把每一帧送入检测模型再绘制检测结果就构成了基础设施。import cv2 from ultralytics import YOLO model YOLO(best.onnx) cap cv2.VideoCapture(0) while cap.isOpened(): ret, frame cap.read() if not ret: break results model(frame) annotated results[0].plot() cv2.imshow(Market Detection, annotated) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()这里的results[0].plot()方法会直接在原始帧上绘制检测框、类别和置信度非常方便。如果遇到视频流卡顿的情况可以把输入图像尺寸适当缩小后再送入模型或者启用半精度推理降低延迟。这些在展示阶段比较重要因为演示时的流畅度对完成度和最终体验有直接影响。4.3 补货判断与UI界面设计自助售货机商品检测真正有“毕设感”的环节是把单纯的视觉识别和应用逻辑结合起来。货架商品的检测结果其实能直接完成两个应用需求第一目标类别统计第二商品是否存在。判断某个货位是否缺货可以从检测结果中各商品类别的数量与预期数量比较得到。但需要注意货架上的商品如果摆放比较密集模型偶尔会漏检掉后面的罐装商品这时仅凭数量判断容易误报缺货。一个比较实用的策略是在统计结果中加入“低库存”状态例如某商品检测数量低于设定阈值的30%时提示需要补货而不是到零才算缺货。界面展示方面可以做一个简易的Qt或Streamlit面板左侧显示摄像头检测画面右侧显示商品库存状态表。这一环节至关重要它把试验性质的代码变成一件可以演示的交互系统。如果时间来不及直接用OpenCV窗口配上行数统计输出也能完成基本要求但交互式面板在答辩时的表现力和分数通常更高毕竟导师更想看到的是“检测结果如何服务于业务”。5. 疑难问题排查实战中整理出的避坑指南5.1 训练时Loss不下降或出现NaN这个问题在刚入门的同学里出现的频率比较高。Loss是一直卡在一个数值上不动反复检查网络和参数也没发现明显错误。依据经验更多时候问题出在标签文件和数据加载两个环节训练集与验证集的标签编号不匹配、类别编号从1开始但类别文件里有0号背景、图片路径中有中文导致读取异常都会造成Loss异常。NaN问题则更凶险训练到一半出现NaN通常是因为学习率过高或数据本身包含异常值。排查方法先降低学习率再删掉标注框中尺寸特别小的样本最后检查数据中是否有损坏图片。从逐项排查的结果来看大多数NaN问题来源是数据而不是网络结构。5.2 检测效果差漏检、误检与定位不准训练完模型后测试如果发现检测框明显偏大、偏小或位置不准通常可以分成两类原因一类是标注框不准另一类是同类商品多样性还不够。标注框不准在2.2节已经强调过涉及标签的贴合性。如果检测结果中大量出现“一个瓶子有多个框”或者“把瓶盖标成整瓶商品”则几乎是标注数据映射混乱导致的。如果是误检比如把可乐检出成芬达从经验来看大概率是类别标签标反了个别标注图上张冠李戴。可以用训练的混淆矩阵快速找到误检方向再回到标注文件夹里批量检查工件。不需要重新标注所有图片只要把混淆严重的类别重新筛选一遍通常能挽回大部分精度损失。5.3 实时推理帧率过低演示系统跑在实时视频流上如果帧率只有个位数体验会大打折扣。影响因素从大到小排列通常是推理图片分辨率、模型规模、是否启用GPU加速、输入输出环节是否反复拷贝。可以先降低imgsz参数再看模型切换为n版本最后确认推理启用了GPU。CPU模式下也可以尝试devicecpu并配合ONNX Runtime的CPU加速线程配置。如果仍然不够流畅可以加入跳帧逻辑比如每两帧检测一次中间用上一帧结果代替这在显示效果上几乎没有体验差异但能直接节省接近一半的计算。5.4 答辩时容易被问到的技术点每次答辩都有人被“你这个模型为什么选YOLO”这个问题问住我是建议在写论文阶段就把这类问题准备清楚。常见的追问包括“YOLO的损失函数由哪几项组成”“你做过哪些数据增强为什么选择这些”“你的模型每秒能处理多少帧怎么测出来的”“模型检测到多个目标时如何保留最合适的框”如果能流畅回答最后一条并顺带说出NMS和置信度阈值那么答辩的深度评价通常会高于平均水平。另外郑重提醒一点答辩演示时一定要准备一份预录的视频或静态截图避免现场摄像头对焦慢、灯光差导致检测效果不佳。这个细节看似简单但很多同学都在这里吃了亏现场翻车影响的是整个项目完成度的评价。6. 再分享一些实战中的体会自助售货机商品检测这个毕设题目真正做完一遍后最大的感受是数据工程的复杂度远超模型训练。模型选型和训练参数路线成熟稳定只要不是完全不动脑地抄配置基本都能跑出可以接受的效果。反倒是采集图像、清洗数据、标注边界框这些繁琐步骤决定后期调试了多少个夜晚。如果时间允许我会建议把所有商品图片在室外自然光和室内灯光下各拍一部分混合进数据集里这与售货机实际部署时的照明条件会更接近模型在最终演示环节的检测表现也会更稳定。另外有一个值得尝试的扩展方向在完成基本检测功能后把每一帧的检测结果写入日志文件做一个简单的销量或库存变化统计。这并不增加太多工作量但能让项目从“检测到商品”进一步走向“感知货架状态”应用价值讲出来比单纯贴检测框要高很多。祝愿这部分内容能够帮你在自己动手完成这套流程时减少一些疑难困惑。