简介基于图像检测的Python驾驶员疲劳检测系统聚焦实时识别打哈欠、眨眼、瞌睡点头等疲劳行为适合希望掌握计算机视觉与模式识别应用的个人学习者也便于安全驾驶相关研究者快速搭建实验环境。压缩包共21个文件总大小约85.77MB涵盖Python源码、Jupyter Notebook演示、UI界面文件、模型数据、测试视频、运行效果图以及可直接安装的exe程序从代码到成品一应俱全。资源明确了疲劳判定标准连续三帧眼睛长宽比0.2为眨眼嘴部0.5为打哈欠头部pitch角0.3为瞌睡点头为理解阈值设定与特征提取提供了具体参照。项目结构清晰包含主程序、面部检测模块、界面设计文件和安装包可直接运行或修改后二次开发适合用于课程设计、毕业课题或竞赛实操。已有55人学习下载属个人学习用途请勿商用。1. 基于图像检测的Python驾驶员疲劳检测系统到底在解决什么问题凌晨两点的国道方向盘后面的眼皮开始打架等司机自己意识到“该靠边了”往往已经晚了几秒。基于图像检测的Python驾驶员疲劳检测系统就是在这个场景里用摄像头盯着眼睛、嘴巴和头部把闭眼、哈欠、点头三个动作换算成疲劳分数。它不碰脑电、不接方向盘传感器一台带摄像头的普通笔记本就能跑通全流程这也是它在毕业设计、车辆管理和低成本车载监控里被反复做的原因。适合三拨人做课题和竞赛的学生想在车队里快速验证摄像头报警方案的车队工程师以及想给现有监控系统加一层“司机状态判断”的开发者。接下来我把判定原理、代码做法、踩坑记录和打包发布一条线讲完。2. 从关键点到疲劳指标眨眼、哈欠、点头三个维度的判定原理市面上能搜到的疲劳检测方案不少脑电手环、方向盘转角、心率带都有但基于图像检测的Python方案能一直有热度核心原因是传感器门槛低、指标直观。整个系统拆开只有三步定位人脸和面部关键点、用几何公式把关键点变成“指标”、按时间窗口统计指标得到结论。这一章只讲前两步第三步放到第4章。2.1 为什么选 dlib 68 点而不是 YOLO图像检测的两种技术路线刚开始做的人容易一上来就用 YOLO 检测人脸然后发现后面没法做——YOLO 给你一个框但拿不到眼睛在哪、嘴巴在哪。疲劳检测需要的不是人脸框而是眼睛和嘴部的精细轮廓所以主流方案是 dlib 的 68 点人脸关键点模型。dlib 里带一个人脸检测器再加一个 shape predictor 输出 68 个坐标点索引和 iBUG 300-W 数据集一致36 到 41 是左眼42 到 47 是右眼48 到 59 是嘴巴外围。它速度很快CPU 上单帧也就几毫秒足够满足实时检测。这里的选型逻辑是“先用检测器粗定位人脸再用关键点模型精定位五官”。检测器可能漏检或误检但关键点模型在拿到人脸框之后才会运行两者串起来整体稳定性比单独用 YOLO 输出关键点靠谱得多。YOLO 在疲劳检测里不是不能用而是用错了地方。如果场景是车内多人、大范围监控常见做法是先用 YOLO 把驾驶位的人脸区域框出来裁给 dlib 做关键点能明显提升复杂背景下的稳定性。我建议先把 dlib 这一条路跑通再按需在前面串 YOLO 做前置过滤不要一上来就端到端。2.2 EAR 眨眼指标公式、阈值与采样频率的关系眨眼是眼部肌肉把眼皮合上又睁开的过程正常成年人每分钟 10 到 15 次疲劳时频率下降、单次闭眼时长变长。量化这件事业内常见做法是使用 EAREye Aspect Ratio眼睛纵横比公式是这样# EAR (|p2-p6| |p3-p5|) / (2 * |p1-p4|) # p1 到 p6 分别对应一只眼的 6 个关键点p1 和 p4 是左右眼角p2/p3 和 p5/p6 是上下眼睑的位置。睁眼时这个值在 0.25 到 0.35 之间闭眼时会掉到 0.1 以下。好处是它只依赖几何距离不关心脸的大小和距离摄像头的远近归一化之后阈值相对通用换人换机器都不用大改。阈值怎么设这里不是拍脑袋要看采样频率。同一个系统30fps 和 15fps 下“连续闭眼几帧”对应的真实时间完全不同。我一般把闭眼判定阈值设在 0.2 左右然后要求至少连续 2 帧 EAR 低于阈值才记一次闭眼。如果摄像头是 30fps连续 2 帧闭眼对应约 66 毫秒这个值偏紧需要根据实际画面微调。不同场景的参考值大概是这样场景睁眼 EAR 参考闭眼阈值参考正常坐姿、顺光0.28 - 0.350.20戴眼镜、有反光0.22 - 0.300.17侧光、夜间红外0.20 - 0.280.15如果你只看“闭眼帧数”而不换算成时长在不同采样率的摄像头之间对比数据很容易翻车。2.3 MOAR 哈欠指标与点头检测的头部姿态估计打哈欠本质是嘴巴大幅度张开并持续 2 到 4 秒图像检测里用嘴部开合度来判断。常见做法是取左嘴角 48、右嘴角 54、上唇外中点 51、下唇外中点 57 这 4 个点算垂直距离和水平距离的比值。正常说话时这个比值在 0.2 到 0.4 浮动哈欠时会冲到 0.6 以上。只靠瞬时值不够得加持续时间条件张嘴 0.3 秒内不算哈欠持续 1 秒以上基本可以确定。点头检测相对麻烦因为头部在三维空间里转动摄像头只拿到二维投影。两条路线一条用 solvePnP 做完整头部姿态估计输出 pitch 俯仰角需要相机内参矩阵标定略麻烦另一条是几何近似用鼻尖点和双眼外眼角中点做垂直偏差偏差突然变大又恢复就算一次点头。项目初期建议用第二条跑通需求再换第一条。几何近似的核心是归一化垂直偏差必须除以当前人脸的宽度比如眼距或嘴角宽否则人靠近摄像头和远离摄像头同一个低头角度会得到完全不同的像素值。这个归一化不做点头检测就是玄学后面第 4 章和第 5 章的代码和坑都会围绕这一点展开。3. 把检测逻辑写成可跑的代码环境、EAR 函数、点头判定原理清楚了接下来就是把每一帧图像变成可计算的数字。这一章从 Python 环境准备开始到关键点的坐标提取再到三个疲劳指标的代码实现全部是可抄作业的内容。3.1 环境准备Python 版本、OpenCV、dlib、numpy 的安装顺序先说结论建议用 Python 3.8 或 3.9不要追最新的小版本。dlib 这个库在 Windows 上的 wheel 对 Python 版本很敏感3.11 以后很多机器没有预编译包会现场从源码编译连带把 CMake 和 VS2015 的坑全给你踩一遍。环境搭建的第一步是到 python 官网下载对应版本安装时勾上“Add Python to PATH”环境变量配好后续所有 pip 命令才不会报“不是内部或外部命令”。# 建议用虚拟环境避免和系统 Python 打架 python -m venv fatigue_env # Windows 激活虚拟环境 fatigue_env\Scripts\activate # Linux / macOS 激活方式不同但推荐做法一致 source fatigue_env/bin/activate pip install opencv-python dlib numpy scipy逻辑说明opencv-python 装完就可以import cv2负责读摄像头和画框dlib 负责 68 点关键点推理numpy 用来算欧氏距离scipy 在后面做旋转向量转欧氏角度时会用到虽然初版用不到但一次性装齐比后面补省事。这一行命令里最容易翻车的是 dlib如果你在 Windows 上看到它尝试下载源码包并调用编译器直接停掉换 Python 3.8 再装或者用 conda 的 conda-forge 通道装 dlib能避开绝大多数编译噩梦。装完之后验证一下python -c import cv2, dlib, numpy; print(cv2.__version__, dlib.__version__, numpy.__version__)能打印出三个版本号环境就绪。3.2 定义 EAR 和 MOAR 计算函数代码与参数说明这一节把指标公式转成函数。dlib 返回的 landmarks 可以通过.part(i)取第 i 个点每个点有.x和.y。先转成 numpy 数组再算距离。import numpy as np def eye_aspect_ratio(eye_landmarks): # eye_landmarks: ndarrayshape(6,2)顺序为 # 外眼角、上睑外侧、上睑内侧、内眼角、下睑内侧、下睑外侧 p1, p2 eye_landmarks[0], eye_landmarks[1] p3, p4 eye_landmarks[2], eye_landmarks[3] p5, p6 eye_landmarks[4], eye_landmarks[5] # 垂直距离取两组并平均降低单点抖动影响 vertical_a np.linalg.norm(p2 - p6) vertical_b np.linalg.norm(p3 - p5) horizontal np.linalg.norm(p1 - p4) # 避免除零水平距离为 0 时直接返回 0 if horizontal 0: return 0.0 return (vertical_a vertical_b) / (2.0 * horizontal) def mouth_open_ratio(left_corner, right_corner, upper_lip, lower_lip): # left_corner: 左嘴角点即索引 48 # right_corner: 右嘴角点即索引 54 # upper_lip: 上唇外中点即索引 51 # lower_lip: 下唇外中点即索引 57 vertical np.linalg.norm(upper_lip - lower_lip) horizontal np.linalg.norm(left_corner - right_corner) if horizontal 0: return 0.0 return vertical / horizontal参数说明EAR 函数里我把垂直距离做了两次测量再平均因为眼皮关键点在眨眼瞬间容易抖动单次垂直距离偶尔会跳高两只眼睛的 EAR 外面再平均一次能进一步压噪声。MOAR 函数里我用的是嘴角宽度做分母嘴张得越大、嘴角越不动这个值越接近 1。实际调试时会发现张嘴说话和打哈欠的 MOAR 都超过 0.5区分靠的是持续帧数这个逻辑在第 4 章写。接着是从 landmarks 里取出这些点的坐标def extract_points(landmarks): # landmarks: dlib.full_object_detection left_eye np.array([(landmarks.part(i).x, landmarks.part(i).y) for i in range(36, 42)]) right_eye np.array([(landmarks.part(i).x, landmarks.part(i).y) for i in range(42, 48)]) # 嘴部四个关键点 left_corner np.array([landmarks.part(48).x, landmarks.part(48).y]) right_corner np.array([landmarks.part(54).x, landmarks.part(54).y]) upper_lip np.array([landmarks.part(51).x, landmarks.part(51).y]) lower_lip np.array([landmarks.part(57).x, landmarks.part(57).y]) return left_eye, right_eye, left_corner, right_corner, upper_lip, lower_lip这段代码的逻辑是把 iBUG 索引映射到数组方便上层直接调用。注意range(36, 42)包含 36 到 41左眼 6 个点一个不多一个不少右眼同理。嘴部四个点是最小集合如果想更稳可以取 48 到 59 全部外围点算平均值但初版用 4 个点足够。3.3 点头检测用几何近似计算低头程度点头检测的几何近似思路是用鼻尖相对双眼外眼角连线的垂直偏移来反映低头幅度。鼻尖在下视线平视时偏移量是一个稳定的负值低头时鼻尖向下移动偏移量的绝对值变大。为了做到尺度无关把这个偏移量除以眼距。def head_nod_value(landmarks): # 鼻尖索引 30左外眼角 36右外眼角 45 nose np.array([landmarks.part(30).x, landmarks.part(30).y]) left_corner np.array([landmarks.part(36).x, landmarks.part(36).y]) right_corner np.array([landmarks.part(45).x, landmarks.part(45).y]) eye_center_y (left_corner[1] right_corner[1]) / 2.0 eye_width np.linalg.norm(left_corner - right_corner) if eye_width 0: return 0.0 # 负值越大表示低头越明显平视时接近 0 return (eye_center_y - nose[1]) / eye_width参数说明返回值的量纲是“像素差除以像素距离”和摄像头分辨率、人脸距离无关。平视时这个值一般在 -0.1 到 0.1 之间低头 15 到 30 度时大概在 -0.3 到 -0.6。判定“一次点头”不能只看瞬时值要看它在 1 到 2 秒内从平视位置变大再恢复这个过程才算一次。如果你在车内这种振动环境下拿原始值直接卡阈值会得到大量误报正确做法是记录最近 30 帧的 nod_value 序列判断是否存在一个明显的波峰。4. 主循环与疲劳判定把三个指标揉成一个可用的报警策略这一章解决最后一步把每一帧算出来的 EAR、MOAR、点头值变成“疲劳”结论。核心是两个设计帧状态转换和时间窗口统计。4.1 单帧检测主循环摄像头读取与关键点提取主循环的结构不复杂难在状态变量的管理。先看最小框架import cv2 import dlib import numpy as np # 打开摄像头索引 0 一般是笔记本内置摄像头 cap cv2.VideoCapture(0) # 降低分辨率可以明显提升帧率640x480 够用 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) detector dlib.get_frontal_face_detector() predictor dlib.shape_predictor(shape_predictor_68_face_landmarks.dat) # 状态计数器 eye_closed_frames 0 # 连续闭眼帧数 mouth_open_frames 0 # 连续张嘴帧数 head_down_frames 0 # 连续低头帧数 blink_counter 0 # 眨眼总次数 yawn_counter 0 # 哈欠总次数 nod_counter 0 # 点头总次数 while True: ret, frame cap.read() if not ret: continue gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 参数 0 表示检测窗口不放缩速度更快多人脸时改成 1 faces detector(gray, 0) for face in faces: landmarks predictor(gray, face) left_eye, right_eye, lc, rc, ul, ll extract_points(landmarks) ear (eye_aspect_ratio(left_eye) eye_aspect_ratio(right_eye)) / 2.0 mar mouth_open_ratio(lc, rc, ul, ll) nod head_nod_value(landmarks) # 在画面上画关键点和实时数值 for point in np.vstack([left_eye, right_eye, [lc], [rc], [ul], [ll]]): cv2.circle(frame, (int(point[0]), int(point[1])), 2, (0, 255, 0), -1) cv2.putText(frame, fEAR: {ear:.2f} MOAR: {mar:.2f} NOD: {nod:.2f}, (20, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 0), 2) # 状态更新逻辑放在下一节这里先占位 break # 初版只处理第一个人脸多人场景再改 cv2.imshow(fatigue, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()逻辑说明这段代码把三类指标全部算出来并显示在画面上是调试阶段的“仪表盘”。detector(gray, 0)的第二个参数是 upsample 次数0 表示不放大图像人脸小于 80 像素时需要调成 1但帧率会掉一半。break写在for face in faces里是为了初版只处理最大的人脸避免坐在副驾驶的人干扰判定生产版本里应该比较人脸框宽度取最大的那个继续处理。4.2 时间窗口统计连续帧判定与阈值参数状态判定不能单帧拍板。EAR 低一帧不能算闭眼MOAR 高一帧也不能算哈欠。这里用连续帧计数加上时间窗口两个手段来扛噪声。# 这些常量建议放文件顶部方便调参 EAR_THRESHOLD 0.20 # 低于此值视为眼睛闭合 EYE_CLOSE_FRAMES 2 # 连续 2 帧闭眼才认为是一次闭眼行为 MOAR_THRESHOLD 0.55 # 嘴部开合比高于此值视为张嘴 MOAR_HOLD_FRAMES 15 # 连续 15 帧张嘴约 0.5 秒才认为是哈欠 NOD_THRESHOLD 0.30 # 点头值低于 -0.3 视为低头 NOD_HOLD_FRAMES 3 # 连续 3 帧低头 # 在 4.1 的循环内根据 ear / mar / nod 更新状态 if ear EAR_THRESHOLD: eye_closed_frames 1 else: # 如果闭眼累积少于阈值说明只是眨了一下不计为闭眼行为 if eye_closed_frames EYE_CLOSE_FRAMES: blink_counter 1 eye_closed_frames 0 if mar MOAR_THRESHOLD: mouth_open_frames 1 else: if mouth_open_frames MOAR_HOLD_FRAMES: yawn_counter 1 mouth_open_frames 0 if nod -NOD_THRESHOLD: head_down_frames 1 else: # 点头是“低头后抬起”才算完整所以只在复位时计数 if head_down_frames NOD_HOLD_FRAMES: nod_counter 1 head_down_frames 0参数说明EYE_CLOSE_FRAMES设成 2 意味着一次低于 0.2 的瞬时抖动不会被当成闭眼。如果现场发现眨眼完全数不出来多半是阈值太紧或者闭眼帧数要求太多把它降到 1 先看效果。MOAR_HOLD_FRAMES设成 15配合 30fps 就是 0.5 秒的持续张嘴正常说话的单字发音很难持续这么久误报会明显减少。点头判定这里用了“复位时计数”的技巧——低头过程不算抬头回到正常位置才算一次完整点头这样能滤掉“一直趴着睡觉”这种极端情况因为那种场景计一次头意义不大应该报警的是“长时间低头”。4.3 综合疲劳评分三个指标怎么配合单个指标都容易误报常见做法是加权评分。我一般用一分钟窗口统计三项指标的异常程度分别打分指标一分钟内统计疲劳分眨眼眨眼次数低于 5 次或单次闭眼超过 0.6 秒40哈欠哈欠次数大于 3 次30点头点头次数大于 5 次30总分超过 60 就触发一级报警超过 80 触发二级报警。这个分数体系不是标准但比单纯叠加次数直观也方便在车载环境下调灵敏度。报警动作常见做法是画面里弹红色字体、用winsound.Beep在 Windows 上发声或者通过串口给外部设备一个高电平信号。# 用时间戳统计一分钟窗口内的指标次数 import time window_start time.time() # 每帧更新 blink_counter 等计数 # 一分钟到期后读取并清零 elapsed time.time() - window_start if elapsed 60.0: score 0 if blink_counter 5: score 40 if yawn_counter 3: score 30 if nod_counter 5: score 30 if score 60: cv2.putText(frame, FATIGUE!, (20, 60), cv2.FONT_HERSHEY_SIMPLEX, 1.0, (0, 0, 255), 3) # 清零重新开始下一个窗口 blink_counter, yawn_counter, nod_counter 0, 0, 0 window_start time.time()逻辑说明这里用墙钟时间而不是帧数做统计因为 fps 会波动帧数窗口在不同机器上对应的时间长度不同。疲劳驾驶判定的标准里时间才是统一量纲。如果你的摄像头实际只有 15fps把 MOAR_HOLD_FRAMES 除以 2 就能保持真实时长不变这是最容易忽略的参数联动。5. 常见问题与排查从环境崩溃到误报翻车的 5 个现场记录这套系统我前后调过三轮最花时间的不是算法是环境、阈值和现场光线。下面 5 条每一条都对应真实翻车经历按现象、原因、解决的顺序写。5.1 现象pip install dlib 报错提示需要 CMake 和 VS2015代码一步没跑先卡在安装第一次做的人最容易死在这。现象是 pip 在 Windows 上装 dlib 时开始下载源码包然后控制台出现Failed to build dlib、error C2065这类输出问就是缺 C 编译工具链。原因很简单dlib 对 Python 新版本没有提供预编译的 Windows wheelpip 只能现场从源码编译而编译需要 VS2015 及以上的 C 生成工具。解决优先级从高到低先换 Python 3.8 环境再pip install dlib大部分情况下有现成 wheel不行就conda install -c conda-forge dlibconda 的二进制包比 pip 全最后才考虑装 VS2015/2017 的生成工具让源码编译通过这条路径编译一次要 10 分钟以上。另外别在 64 位 Python 里强行装 32 位 dlib报错更莫名其妙。5.2 现象眼睛明明睁着EAR 却长时间低于 0.2系统疯狂报警有次现场测试司机戴了个半框眼镜系统在二十分钟里报了十几次疲劳。看回放画面眼睛是睁着的但 EAR 数值掉到了 0.15 左右。原因有两个镜片反光让关键点定位漂移眼睑上下点的垂直距离被压短另外司机坐姿偏侧单眼的关键点轮廓变形。解决先在灰度图上做高斯模糊再送给 detector 和 predictor能压掉一部分反光噪声把 EAR 阈值从 0.20 下调到 0.17并要求左眼和右眼同时低于阈值才判闭眼最后加一个“最近 50 帧 EAR 中位数”的动态基线如果某只眼睛的基准值本来就偏低用相对量代替绝对量。这个动态基线是降低换人误报的关键。5.3 现象说话、大笑被当成哈欠哈欠计数器一路飙升哈欠误报的根因是把“嘴张开了”等同于“在打哈欠”。说话时 MOAR 也能到 0.6笑的时候更高。我最早只要求 MOAR 超过 0.55 就计数结果一段正常聊天能触发 30 多个“哈欠”。解决加两个条件。第一MOAR 连续高值必须超过 0.5 秒单字或短音节的张嘴持续时间远达不到第二哈欠是一个全身动作多数人打哈欠时会伴随眼睛略闭所以在 MOAR 高的同时去检查 EAR 是否相对平时降低如果眼睛完全睁着大概率是说话或笑。这套组合过滤之后误报率能降到可接受范围。5.4 现象同一个低头动作人靠近摄像头时触发坐直后不触发点头阈值怎么调都不稳这是点头检测最常见的坑。我最早直接用鼻尖点 Y 坐标的像素位移结果后排乘客一个大低头触发报警驾驶员轻微点头反而没反应因为人脸在画面里的尺寸完全不一样。问题本质是没有尺度归一化。解决用眼距做归一化就是第 3.3 节写的head_nod_value里除以eye_width的操作。像素坐标的绝对值没有意义除完眼距之后低头角度和返回值才呈稳定关系。另外要注意不同的人鼻梁高度不同同一个低头角度算出的值会有差异所以阈值先按 0.3 起步再根据目标人群微调。5.5 现象开发机上运行正常打包后在别的机器上闪退提示找不到 DLL 或 Python 环境打包发布是另一个大坑。现象是 exe 在自己的开发机双击就能跑换一台干净的 Windows 机器直接闪退或者弹“无法启动此程序因为计算机中丢失 xxx.dll”。原因有两层PyInstaller 没把 dlib、scipy 的隐藏依赖带全目标机器缺少 Visual C 运行库也就是安装程序时常见的 microsoft runtime dll 报错。解决打包命令显式加 hidden-import安装包阶段把 VC 运行库一起静默装掉。具体做法在第 6 章展开这条坑我每次发布都要踩一遍所以现在固定把打包脚本写成模板不再手动敲命令。6. 把检测系统打包成安装程序PyInstaller 与 Inno Setup 的配合用 C# 的人可能熟悉 winform 打包成安装程序那套Python 这边思路类似但工具换成 PyInstaller 加 Inno Setup。PyInstaller 负责把脚本和依赖做成 exeInno Setup 负责把 exe、模型文件、运行库做成一个让用户双击就能装的安装包。6.1 PyInstaller 打包命令与 hidden importpyinstaller -F -w \ --add-data shape_predictor_68_face_landmarks.dat;. \ --hidden-import scipy._lib.messagestream \ --hidden-import numpy.core._methods \ --name FatigueDetect \ fatigue.py-F生成单个 exe用户拿到手就是一个文件-w去掉控制台黑窗否则报警画面之外还会多一个命令行窗口--add-data把 68 点模型文件打进 exe程序运行时从sys._MEIPASS读取。这个模型文件约 100MB不打好这一条换机器必报“找不到模型文件”。6.2 把模型文件和运行库一起塞进安装包exe 打包完之后在 Inno Setup 里写一个安装脚本把 exe、模型资源、VC 运行库按目录组织好。运行库静默安装脚本要放在 exe 启动之前执行不然用户第一次启动还是会遇到 runtime dll 报错。# Inno Setup 的 [Run] 段示意完整脚本用 Inno 的向导生成即可 Filename: {tmp}\vc_redist.x64.exe; Parameters: /quiet /norestart这条命令解决的是“安装程序无法继续”那类运行库问题。实际发布前建议在虚拟机里用一个干净系统跑一遍安装流程验证从双击安装包到看到摄像头画面的完整链路。6.3 发布前的一个习惯打包耗时和杀毒软件误报是最后一道坎。PyInstaller 单文件 exe 很容易被 Windows Defender 拦我现在的习惯是打包后用签名工具给 exe 做一次数字签名没有签名就先加白名单再测试。整个流程跑通后疲劳检测系统才算真正交付而不是只在开发机上能用。希望帮到你。本文还有配套的精品资源点击获取