简介YOLOv8瞳孔识别目标检测项目代码基于Ultralytics YOLOv8框架开发面向需要快速落地瞳孔定位任务的计算机视觉开发者和学习者。项目聚焦瞳孔这一小目标检测场景可应用于人机交互视线估计、医疗辅助诊断、疲劳驾驶监测等领域。资源以zip压缩包形式提供大小约28.29MB内含环境依赖文件requirements.txt及核心检测代码按文件说明配置依赖即可直接运行显著降低复现门槛。目前已有203人学习下载适合作为YOLOv8实战练习或算法改造的参考。通过该项目代码读者可以学习YOLOv8数据加载、模型训练与推理的具体实现理解在特定目标检测任务中的调参与改进思路并能够将代码迁移到其他自定义检测场景。项目结构简洁注释清晰便于快速定位关键模块若需配套数据集资源描述中已给出数据集下载与详细介绍链接可结合使用。1. 为什么执着于用目标检测做瞳孔识别1.1 瞳孔识别的真实场景与需求项目名起得挺简单——YOLOv8瞳孔识别。但真正动手前得先搞清楚一个问题你要的到底是瞳孔检测、瞳孔分割、还是瞳孔中心点定位这三件事看起来像技术路线却差得远。我做这个项目最初的动机来自一个疲劳驾驶预警的原型验证。传统方案多用红外设备加Dlib人脸关键点或者用霍夫变换找圆但实测下来都不够稳。瞳孔这东西说白了一个黑色椭圆区域光线稍微变一下、眼睛眨一下、头偏一下传统图像处理就崩了。换成目标检测思路后整个流程变得简单粗暴输入一张人脸图模型直接告诉我瞳孔在哪、范围多大。这背后的核心诉求是鲁棒性是要在非受控环境下也能稳定输出。这个方案能辐射的场景其实很广。除了疲劳驾驶还有视线追踪、注意力检测、医疗辅助诊断比如瞳孔对光反射的自动评估、人机交互里的眼动控制。哪怕是做科研或者毕业设计一个端到端的瞳孔检测模型也比调一堆传统算法的上限高得多。适合来看这篇内容的人是那种手头有数据集或者能自己采集数据想快速跑通一个目标检测模型但又不确定该怎么处理小目标、怎么调参、怎么判断模型好坏的开发者。1.2 传统瞳孔检测方案的痛点先说说我踩过的传统方案的坑这有助于理解为什么最后选了YOLOv8。最经典的做法是霍夫圆检测。思路挺直观瞳孔近似圆形边缘梯度明显用Canny提取边缘后再找圆。但问题在于霍夫变换对参数极其敏感。瞳孔在图像里可能只有几十个像素直径光照稍微不均匀边缘就断了眼睫毛一挡轮廓就缺了一块戴眼镜的话镜片反光会直接把瞳孔边缘打成碎片。调参调到头秃换一段视频又废了。另一个常见方案是阈值分割加轮廓查找。这个方法在红外图像下效果还行因为红外下瞳孔和虹膜的对比度很高。但在可见光图像下深色虹膜和黑色瞳孔的灰度差很小阈值设高了把瞳孔淹没设低了把眉毛和睫毛全选进来。不同人种、不同光照下的最优阈值还不一样写成规则就是一场灾难。深度学习方案的逻辑完全不同。它不依赖人工设计的特征而是让模型自己从大量标注样本里学“瞳孔长什么样”。这带来一个好处模型能隐式地学到瞳孔在不同条件下的形态变化比如部分遮挡、反光、模糊泛化能力远超手工特征。1.3 选型YOLOv8的核心逻辑市面上目标检测模型一大把为什么我选了YOLOv8而不是Faster R-CNN或者SSD第一个原因是速度与精度的平衡。Faster R-CNN这种两阶段检测器精度不错但在低算力设备上跑实时推理有点吃力。YOLO是单阶段检测器直接在特征图上回归目标的类别和边框天然适合实时场景。瞳孔识别如果用在驾驶行为分析或者眼动追踪上实时性不是加分项是硬指标。第二个原因是YOLOv8本身的架构设计。它的Backbone用了CSPDarknet结构颈部是PAN-FPNHead换成了主流的Decoupled Head。重点说这个Decoupled Head——分类和回归分支各自独立对小目标的分类和定位精度都有提升。而C2f模块替换了早期YOLOv5里的C3模块引入了更丰富的梯度流简单理解就是特征提取更充分了这对小目标很关键。第三个原因是工程化便利。Ultralytics这个框架把训练、验证、导出、部署全链路封装得相当完善。不是每个人都愿意从头写训练循环、NMS、数据增强那一大堆代码。YOLOv8开箱即用同时保留了足够的自定义空间适合拿来快速验证想法也适合后期做模型改进。2. 瞳孔数据集的准备与标注细节2.1 数据集从哪来、怎么凑模型好不好数据占七成。瞳孔检测的数据集比通用目标检测的数据集少得多需要自己想办法。几个可行的渠道一是公开数据集比如一些眼动追踪领域的公开数据像OpenEDS、NVGaze不过这些大多是合成图像或者特定设备如VR头显采集的迁移到普通摄像头场景需要考虑域差异。二是自己采集用普通RGB摄像头对准人脸尽量覆盖不同光照条件、不同头部姿态、戴不戴眼镜的样本。三是混合方案——公开数据集做预训练自己采集的数据做微调。我当时大概收集了8000张左右的人脸图像包含约15000个瞳孔标注。说实话数量不算多但关键在于多样性。我个人体会样本多样性比样本数量更重要。同一个人的1000张图远不如100个人的各10张图有用。标注时类别就一个pupil。2.2 小目标标注的细节技巧瞳孔在整张图中的占比非常小可能只有几十乘几十像素这在目标检测里属于典型的小目标。标注这种小目标有几个细节要注意。第一边界框要贴边。稍微多框一点背景或者少框一点瞳孔边缘都会对后续的回归训练产生噪声。如果用的是LabelImg这类工具建议把图像放大到400%再精确调整边界。第二边界框的形状问题。瞳孔近似圆形但YOLO的边界框是矩形。标注时应该用外接正方形还是最小外接矩形实践中我推荐外接正方形。因为瞳孔是圆的正方形外接框的中心更接近瞳孔中心而且避免宽高比极端变化给回归头带来额外负担。第三注意异常样本的处理。比如闭眼状态的图像要不要标注我的建议是不标注。闭眼时瞳孔不可见硬标一个框会让模型学会在眼皮上输出虚假检测。睡眠检测场景另说——那种情况你应该标注的是“闭眼状态”而不是“瞳孔位置”。第四遮挡的处理。轻微遮挡比如睫毛挡住一小部分正常标注完整瞳孔范围。严重遮挡比如超过一半被眼睑覆盖建议直接丢弃。中间地带的取舍标准是人眼能准确判断瞳孔中心位置的就标判断不了的不标。2.3 数据增强策略与常见误区YOLOv8默认自带Mosaic增强、随机仿射变换等对小目标数据集默认设置并不一定是最优的。Mosaic增强会把四张图拼成一张变相扩大batch size对提升小目标检测效果帮助较大但要注意一件事瞳孔太小在Mosaic拼接时会被进一步缩小有些甚至缩到几个像素变成无效学习。如果发现loss降不下去可以试试把Mosaic关闭或者只在训练后期开启。我自己后续用的增强策略是保留YOLOv8默认的hsv_h、hsv_s、hsv_v因为光照变化是瞳孔识别的核心干扰项。加大随机旋转范围到正负30度因为头部姿态变化会导致瞳孔在图像中倾斜。增加随机平移和缩放比例模拟摄像头在不同距离下的成像效果。增强的目的是让模型见过足够多的“变体”。但如果增强过猛导致样本失真比如旋转90度后瞳孔看起来像外星人眼睛那是帮倒忙。增强之后的样本仍需保证人眼能认出瞳孔这是底线。3. 环境配置与模型训练实战3.1 需要什么硬件GTX 1660 Ti够不够总有人问“GTX 1660 Ti能不能跑YOLOv8”。能完全能。我最初就是在6GB显存的GTX 1660 Ti上完成训练的。YOLOv8nnano版本在这种显卡上训练COCO级别的通用数据集大约需要几十个小时但瞳孔数据集很小训练时间其实可控。关于显存占用几个关键因素模型尺寸YOLOv8有n/s/m/l/x五个版本参数从300万到6800万不等。瞳孔数据集不大n和s完全够用m是为了对比实验才跑的。输入分辨率默认640x640在显存不够时可以降到512甚至416。瞳孔足够小分辨率反而不能太低。batch size6GB显存跑YOLOv8s建议从batch8起步显存不够就等比例缩小。如果没有GPU纯CPU训练也不是不行但会特别折磨。用CPU训练一个YOLOv8s模型一个epoch可能就要十几分钟跑几百个epoch要命。有条件还是建议搞一个GPU哪怕是云GPU也行。3.2 环境安装与数据组织环境安装没什么玄学就是conda建环境、pip装ultralytics。需要注意版本锁定ultralytics迭代快不同版本的API和默认配置有差异。我的建议是创建一个独立conda环境装好ultralytics和对应版本的torch之后就一直用别随便升级。数据组织按YOLO格式来目录结构如下datasets/ pupil/ images/ train/ val/ labels/ train/ val/标注文件是txt格式每行一个目标格式为“class x_center y_center width height”坐标全部归一化到0到1。比如一张640x480的图像里瞳孔中心在(320, 240)宽高都是40像素则标注为“0 0.5 0.5 0.0625 0.0833”。特别注意这里的宽高是相对图像宽高的比例不是绝对像素值。我第一次写脚本时在这里踩了坑算出的归一化坐标老是不对害得训练时loss根本不收敛。3.3 训练参数的选择思路Ultralytics框架训练命令非常简单yolo detect train datapupil.yaml modelyolov8s.pt epochs200 imgsz640 batch16 device0但参数背后的逻辑值得琢磨。首先是预训练权重的选择。用yolov8s.pt作为起点而不是从零训练。COCO预训练模型已经学到了丰富的底层特征迁移到瞳孔检测上相当于站在巨人肩膀上。对于小数据集用预训练模型微调几乎是必须的否则很难收敛。另外yaml配置文件的写法也要注意。我当时按Ultralytics要求做了一个pupil.yaml内容大概如下path: datasets/pupil train: images/train val: images/val nc: 1 names: [pupil]这个文件里的类别数、类别名必须和标注文件对应否则训练直接报错。训练时加入验证集epochs先设200配合early stopping机制patience50模型如果在50个epoch内没有明显提升就直接停止节省时间。3.4 训练过程中的监控与调整训练过程中需要盯几个东西loss曲线、验证集的精度指标、以及偶尔的预测可视化。Loss一般包含三部分box回归损失、分类损失、DFL损失。正常的训练状态是这三条曲线都平稳下降最终趋于平台期。如果loss曲线震荡剧烈不收敛优先检查数据标注有没有错、学习率是不是太高。学习率方面Ultralytics默认使用AdamW优化器和余弦退火调度器默认的学习率是0.002。经验上如果数据集很小可以适当降低到0.001防止在预训练权重的基础上“走过头”。当时我用默认参数训练出现了轻微的过拟合——训练集loss很低但验证集mAP上不去。把学习率调低后情况明显改善。训练的另一个坑是pupil小目标本身Anchor匹配的难度。YOLOv8是Anchor-Free的但它还是依赖目标尺寸和特征层感受野的匹配。640x640的输入下瞳孔通常只有10x10像素到50x50像素这需要模型深层特征有足够的空间分辨率。如果发现mAP一直上不去可以试试提高输入分辨率到768或者1024或者加入P2小目标检测头。P2检测头就是把Backbone更浅层的特征也拿来做检测分辨率更高、对小目标更友好代价是显存和计算量增加。4. 训练完成后的关键验证与评价4.1 评价指标怎么读训练结束后Ultralytics会在验证集上跑出一堆指标新手最需要关注的几个是Precision、Recall、mAP50和mAP50-95。Precision衡量的是“检测出来的目标里有多少是真正的瞳孔”Recall衡量的是“真正的瞳孔有多少被检测出来了”。瞳孔检测如果用在疲劳预警上Recall比Precision重要——漏检一次可能就错过了一次危险操作。但也不能为了Recall牺牲太多Precision否则屏幕上到处都是误报框也没法用。mAP50是指IoU阈值为0.5时的平均精度mAP50-95是IoU从0.5到0.95步长0.05的平均精度。对瞳孔这种小目标mAP50相对容易达到不错的水准但mAP50-95会比较低因为它更考验边界框预测的精确度——这不完全是我们模型的锅小目标本身的IoU对几个像素的偏移都很敏感。我当时的训练结果在验证集上大约是Precision 0.93、Recall 0.91、mAP50 0.95、mAP50-95 0.68。mAP50-95偏低的主要原因是框的位置还不够准尤其是在戴眼镜和遮挡的场景下。4.2 推理测试与边界情况模型训练完拿一段全新视频来测试不能只看验证集指标。我习惯准备三段视频正常光照场景、强反光场景、戴眼镜场景分别观察模型的框稳定性和置信度变化。测试时有一个参数需要调整就是置信度阈值conf。默认0.25在瞳孔检测上略低会导致很多低置信度的误报。我调到0.35左右效果好很多。另外NMS的IoU阈值保持默认0.7就行瞳孔之间在空间上不会互相重叠太多这个参数影响不大。边界情况里最需要注意的是快速眨眼和运动模糊。眨眼瞬间瞳孔是不完整的模型很可能给出低置信度的小框这种结果应该在后处理里根据时序做平滑——上一帧有框、这一帧置信度骤降的直接用上一帧的结果补充或做kalmn滤波。后处理逻辑虽然简单但能让最终系统在真实场景里的体验提升一大截。4.3 导出模型用于部署训练完的模型格式是PyTorch的.pt部署时通常要转成TensorRT或其它推理格式。Ultralytics提供了便捷的导出命令yolo export modelbest.pt formatengine device0TensorRT导出后会生成一个engine文件推理速度能提升数倍。我在这次项目中还专门在RK3588的板子上部署过整条链路是PyTorch模型转ONNX再转RKNN在NPU上跑推理。边缘设备部署和训练是完全不同的思路训练时要追求精度上限部署时要在精度和速度之间找平衡点。5. 最常见的训练问题与排查思路5.1 小目标漏检怎么办漏检是瞳孔检测最让人头疼的问题。排查时先想清楚漏的是训练集里的还是新场景里的。如果是训练集里的某些样本漏检大概率是标注问题或样本不均衡。用yolo detect val跑一版验证集的结果把漏检的图像翻出来看挨个检查标注框有没有问题。如果是新场景里的漏检那就是泛化问题。处理方法有几种增加该场景的样本、加大数据增强的强度、提高输入分辨率、或者尝试加入小目标检测头。当时我发现红外摄像头下的瞳孔位置总是偏下因为红外图像里瞳孔边缘的灰度特征和可见光不同单纯靠增强不够最后还是补了一批红外样本才算把漏检率压下来。5.2 误检频繁出框误检的场景通常出现在眼眶附近模型把眼睫毛、眼影、眼镜框边缘当成瞳孔。这背后其实反映了特征混淆——模型没有学到足够强的“瞳孔区域与周围区域”的判别特征。我的处理经验是分三步走。第一步增加负样本不含瞳孔的人脸图像让模型看到“没有瞳孔长什么样”。第二步检查标注的边界框是否过大如果框里包含太多虹膜区域模型会倾向于把深色虹膜也当成目标的一部分。第三步考虑增大输入分辨率让瞳孔区域对应的特征图更大模型能更精细地建模边界。5.3 Loss不下降或NaN这是新手最容易慌的问题。我的排查顺序是先检查标注文件路径对不对、标注坐标有没有超出0到1的范围。如果标注没问题试试加载预训练模型而不是从零训练。从零训练在数据量不足时loss在很长时间内不下降是正常的。如果出现NaN优先怀疑学习率过大或者数据里混进了异常值比如宽度或高度为0的标注框把学习率降到0.0005再看看。5.4 关于训练耗时的另一种选择如果你确实没有GPU或者只想快速验证一个思路Ultralytics还支持在Colab或者Kaggle这类在线平台上训练。瞳孔数据集很小用免费GPU训练完整个流程大概不会超过1小时。环境配置和本地一致用!pip install ultralytics先装上再把数据传上去就行。我有时会在本地做小规模调试到云端跑全量训练两边的工作流保持同步。最后分享一点实操体会做了几次瞳孔检测项目之后其实最大的感受是在目标检测里算法的坑反而没有数据的坑多。YOLOv8的代码、权重、训练流程都已经很成熟真正决定模型上限的是你喂给它的标注数据质量以及你对场景边界条件的理解。网上很多人说“train一发就完事了”用在小目标场景就是自欺欺人。把一条视频放到模型面前盯住所有漏检误检的帧逐帧追问原因这个流程永远避不开。最后再掏一个细节技巧瞳孔识别做完之后别急着收工。把模型的输出框中心点连成一条轨迹看一下时间序列的稳定性。很多时候单帧检测结果看着还行但画成轨迹就是一抖一抖的。这时候在输出端加一个简单的滑动平均或者卡尔曼滤波系统体验会提升很多。这类后处理技巧不会出现在模型论文里但它才是从“能跑demo”走向“能用”的关键一步。本文还有配套的精品资源点击获取