简介这是一份面向C与计算机视觉学习者的OpenCV人脸相似度比对示例包围绕人脸检测、特征提取、特征匹配与识别流程组织适合想理解Haar级联检测、LBPH等经典方法并落地代码的读者。压缩包共323个文件、约20.1MB以hpp/h头文件、so动态库、cpp源码、bin与param模型参数、cmake构建脚本和txt说明为主另含少量测试图片与运行脚本便于查看工程依赖与调用关系。已有1626人学习下载。读者可从中获得可参考的C实现骨架、OpenCV 2.4.13相关库文件与配置材料并据此梳理人脸检测到相似度计算的完整链路积累光照、表情与遮挡等实际问题的排查思路。1. 两张脸到底像不像先把“相似”定义清楚再写代码有人拿两张照片来问同一个人能不能用 opencv 人脸识别 c 写个小程序判一下。我每次都先反问一句你要判的是“这两张是不是同一个人”还是“这两张脸看起来像不像”这两个目标在工程上是两条完全不同的路。前者要的是身份判定得有一个可标定的阈值和一批同人、异人对来做回归后者要的是度量输出一个 0 到 1 的分数阈值由业务自己定。更麻烦的是同一张脸换个角度、换盏灯原始像素的欧氏距离能翻好几倍直接拿两张图做差基本没有意义。所以整条链路必须是检测出人脸框 → 关键点对齐 → 归一化到统一尺度 → 提特征 → 在特征空间里算距离。这篇就按这条链路把每一步的 C 实现、参数含义和翻车点拆开讲。2. 工程骨架face 模块的 CMake 接线与依赖边界动手之前必须先接受一个事实OpenCV 里“能识别人脸”的代码分散在两三个不同的模块里装错一个后面全是编译错误。这一章把依赖关系理清把最小可编译工程搭起来后面几章才有地方落脚。2.1 三条技术路线选错了后面全是白工搜 opencv 人脸识别 c跳出来的第一段代码十有八九是LBPHFaceRecognizer。这段代码能跑但它不是你以为的那个东西。LBPH、Eigenfaces、Fisherfaces 在 OpenCV 里都是FaceRecognizer的子类接口是train()加predict()范式是“给一个人脸库训练出一个模型然后拿一张未知脸去问它属于库里的谁”。它返回的confidence是到最近邻的距离不是相似度而且这个距离的量纲随训练集变化你没法拿一个固定阈值去卡。真正面向“一对一比对”的是 DNN 特征路线检测器给出人脸框和五个关键点对齐裁剪出一张规整的小图再送进特征网络拿到一个定长向量embedding最后两个向量算余弦相似度。这条路不需要你准备训练集两张图就能比阈值也可以用自己的数据标定出来。把三条路的边界摆在一张表里选型时基本不会走偏路线输出是否需要训练集单人单图能否比对姿态光照鲁棒性典型场景自算 LBP/HOG 直方图 卡方距离距离值不需要可以弱教学、嵌入式、算力极紧LBPH / Eigenfaces / Fisherfaces标签 距离需要且每人多张不适合中门禁小库、固定机位DNN embedding 余弦相似度相似度分数不需要可以强一对一核验、去重、聚类我一般会先问清楚有没有“同一个人多张照片”的标注数据。有且场景固定比如工位摄像头LBPH 够用而且快没有或者要跨设备跨场景直接上 DNN 特征别在传统特征上耗时间。2.2 CMakeLists 最小骨架face 模块在 opencv_contrib 里主仓库的预编译包通常不带。所以find_package的 COMPONENTS 必须显式写face否则你会得到一个“头文件找不到”的报错而这个报错跟代码本身毫无关系。cmake_minimum_required(VERSION 3.16) project(face_compare CXX) set(CMAKE_CXX_STANDARD 17) set(CMAKE_CXX_STANDARD_REQUIRED ON) # face 在 contrib 里必须显式列进 COMPONENTS缺了就是找不到 opencv2/face.hpp find_package(OpenCV REQUIRED COMPONENTS core imgproc imgcodecs objdetect face) message(STATUS OpenCV include: ${OpenCV_INCLUDE_DIRS}) add_executable(face_compare src/main.cpp) target_include_directories(face_compare PRIVATE ${OpenCV_INCLUDE_DIRS}) target_link_libraries(face_compare PRIVATE ${OpenCV_LIBS})配置的时候把OpenCV_DIR指到你自编译那份 OpenCV 的 build 目录别指望系统里 apt 装的那个包能带上 face# 只编译需要的模块能省掉一大半编译时间 cmake -S . -B build \ -DOpenCV_DIR/path/to/opencv/build \ -DCMAKE_BUILD_TYPERelease cmake --build build -j$(nproc)OpenCV_DIR指向的是包含OpenCVConfig.cmake的目录不是源码根目录这一点每年都有人搞错。CMAKE_BUILD_TYPERelease不是可选项Debug 下 DNN 推理能慢五到十倍做批量比对时会让你误以为是算法太慢。2.3 模型文件与运行期路径DNN 路线需要两个模型文件一个做人脸检测加五点关键点一个做特征提取。这两个文件不在仓库里得单独放着。我的习惯是在工程根目录建一个models/用相对可执行文件的路径去加载并在加载失败时立刻打出绝对路径而不是让它静默返回一个空 Mat。#include opencv2/opencv.hpp #include opencv2/face.hpp #include iostream // 加载失败一定要把尝试过的路径打出来否则排查全靠猜 static cv::Ptrcv::FaceDetectorYN loadDetector(const std::string modelPath) { if (!std::ifstream(modelPath).good()) { std::cerr [FATAL] 检测模型不存在: std::filesystem::absolute(modelPath) std::endl; std::exit(1); } // 后三个参数score_threshold / nms_threshold / top_k return cv::FaceDetectorYN::create(modelPath, , cv::Size(320, 320), 0.9f, 0.3f, 5000); }参数说明score_threshold卡的是检测置信度调到 0.9 能滤掉大部分误检代价是侧脸、遮挡脸容易漏nms_threshold控制重叠框合并0.3 是比较稳的默认值top_k是单帧最多保留的框数做一对一比对时其实设成 1 到 5 就够设太大只是白白增加后处理开销。第三个参数传空字符串表示输入尺寸稍后由setInputSize决定320x320 只是占位别以为它会自动缩放。3. 检测与对齐把两张照片拉到同一个坐标系这一步是整条链路里最容易被跳过、也最容易让后面所有工作白费的地方。两张原图直接 resize 到同一尺寸再比看着能跑实际分数飘得离谱——因为人脸在画面里的位置、大小、旋转角度都不一样网络看到的是“两张构图不同的照片”而不是“两张脸”。3.1 检测出人脸框和五点关键点检测器一次调用同时给你框和五个点左右眼、鼻尖、左右嘴角。这里有个必须记住的约束setInputSize必须和真正喂进去的图尺寸一致换了图就要重设否则内部会按旧尺寸做缩放返回的坐标全是错的。struct Face { cv::Mat crop; // 对齐后的规整人脸 cv::Rect2f box; // 原图中的框 float score 0.f; }; bool detectOne(cv::Ptrcv::FaceDetectorYN detector, const cv::Mat bgr, Face out) { // 关键每次换图都必须同步输入尺寸否则关键点坐标会错位 detector-setInputSize(bgr.size()); cv::Mat faces; // 每行 15 列x,y,w,h 5 个关键点(x,y) score detector-detect(bgr, faces); if (faces.rows 1) return false; // 多人时取置信度最高的那个做一对一核验通常只需要一张主脸 int best 0; for (int i 1; i faces.rows; i) { if (faces.atfloat(i, 14) faces.atfloat(best, 14)) best i; } out.box cv::Rect2f(faces.atfloat(best, 0), faces.atfloat(best, 1), faces.atfloat(best, 2), faces.atfloat(best, 3)); out.score faces.atfloat(best, 14); return true; }faces这个 Mat 的列布局是固定的前四列是框的左上角坐标和宽高中间十列是五个关键点的 x、y 交替排列最后一列是置信度。很多人在这里按faces.atfloat(i, 4)当置信度取拿到的是左眼横坐标然后在后面所有逻辑里带着一个荒谬的数字跑。3.2 五点对齐为什么不能只做 resize人脸是三维物体在二维上的投影头部轻微偏转就会让五官在图像平面上的相对位置整体平移。五点对齐做的事是求一个相似变换旋转、缩放、平移不含透视把五个关键点映射到一组固定的目标坐标上。这样眼睛永远在图像的同一高度鼻尖永远在同一个位置后续特征的分布才稳定。// 对齐裁剪内部按五点做相似变换输出固定尺寸的规整人脸 // 参数一原图参数二检测结果那一行参数三输出图参数四输出边长 cv::Mat aligned; faceRecognizer-alignCrop(bgr, faces.row(best), aligned);alignCrop的目标尺寸和边距由特征模型自身决定一般不用改。想做更细的控制可以自己用cv::estimateAffinePartial2D求变换矩阵再warpAffine好处是能调边距比如把框向外扩 20% 保留发际线和下巴坏处是目标坐标要自己定写错一点整张脸就是歪的。提示对齐后的图不要再用cv::resize二次缩放。特征模型对输入尺寸敏感缩放会破坏它训练时学到的人脸比例相似度分数会整体下移。3.3 归一化灰度、直方图均衡与数值范围如果走的是传统特征LBP、HOG归一化的影响非常大走 DNN 特征则基本不需要额外处理因为模型内部已经做了。传统路线我一般这么做先转灰度再做一次equalizeHist拉平光照最后统一到 128x128。直方图均衡不做的话同一盏灯换个亮度LBP 直方图的距离就能差出两三倍阈值根本没法定。cv::Mat normalizeForLBP(const cv::Mat alignedBgr) { cv::Mat gray; cv::cvtColor(alignedBgr, gray, cv::COLOR_BGR2GRAY); // 光照不一致时这一步能救回来不少但会放大噪声低质图慎用 cv::equalizeHist(gray, gray); cv::resize(gray, gray, cv::Size(128, 128), 0, 0, cv::INTER_AREA); return gray; // CV_8U单通道 }INTER_AREA在缩小图像时比默认的双线性稳不会产生振铃。这一条属于血泪经验缩小时用INTER_LINEAR边缘会出现轻微过冲LBP 编码会跟着抖动同一张脸算两次能出不同的直方图。4. 特征提取与相似度计算余弦距离、阈值与打分函数到这一步两张脸已经被拉成了同等规格的小图剩下的事就是把图变成向量再在向量空间里量距离。这一章给三条实现路径重点在第三条。4.1 DNN embedding一次前向拿到定长向量特征模型吃对齐后的人脸吐出一个 float 向量。这个向量的绝对数值没有意义有意义的只有两个向量之间的夹角。cv::Mat extractFeature(const cv::Mat alignedFace) { cv::Mat feat; // 输入必须是 alignCrop 输出的那张图尺寸和通道都别自己改 faceRecognizer-feature(alignedFace, feat); // feat 是 1 x N 的 CV_32FOpenCV 已做 L2 归一化 return feat.clone(); }feat出来之后建议顺手clone()。feature()内部可能复用缓冲区直接持有引用会在下一次调用时被覆盖这个 bug 表现为“第二张图的特征跟第一张一模一样”非常隐蔽。4.2 余弦相似度不要依赖内置 match 的黑匣子FaceRecognizerSF::match支持余弦和 L2 两种模式能用。但我更倾向自己写一遍原因很简单批量比对时我要对分数做后处理截断、映射到 0 到 1、加权融合内置接口返回的是原始值包一层反而更绕。// 余弦相似度两个 L2 归一化向量的点积范围 [-1, 1] // 越接近 1 越像通常同人落在 0.4 以上异人落在 0.3 以下 float cosineSimilarity(const cv::Mat a, const cv::Mat b) { CV_Assert(a.total() b.total() a.type() CV_32F); const float* pa a.ptrfloat(0); const float* pb b.ptrfloat(0); double dot 0.0, na 0.0, nb 0.0; for (size_t i 0; i a.total(); i) { dot static_castdouble(pa[i]) * pb[i]; na static_castdouble(pa[i]) * pa[i]; nb static_castdouble(pb[i]) * pb[i]; } if (na 1e-12 || nb 1e-12) return 0.f; // 全零向量保护 return static_castfloat(dot / (std::sqrt(na) * std::sqrt(nb))); }用 double 累加不是洁癖。向量维度上百float 累加在极端情况下会损失有效位虽然影响很小但既然只是一行代码的事没必要留这个隐患。na 1e-12那个判断是防退化如果某张图特征全零模型加载失败、输入全黑不拦就会得到 nan而 nan 参与比较的结果是 false表现为“明明该报错却静默通过”。4.3 传统特征路线LBP 直方图配卡方距离不依赖 DNN 时我一般用分块 LBP 直方图。把 128x128 的脸切成 8x8 的网格每个格子统计 59 维 uniform LBP 直方图拼起来就是 8859 维的向量再做 L2 归一化最后用卡方距离比。// 分块 LBP 直方图grid8 表示 8x8 个格子 cv::Mat lbpHistogram(const cv::Mat gray, int grid 8) { const int cellW gray.cols / grid; const int cellH gray.rows / grid; cv::Mat hist(1, grid * grid * 59, CV_32F, cv::Scalar(0)); cv::Mat lbp; // 半径 1、邻域 8 点uniform 模式把 256 种模式压到 59 种抗噪更稳 cv::face::LBPHFaceRecognizer::create(); // 仅为引入头文件实际手算见下 for (int gy 0; gy grid; gy) { for (int gx 0; gx grid; gx) { cv::Rect cell(gx * cellW, gy * cellH, cellW, cellH); // 逐像素 LBP 编码省略核心是按 3x3 邻域比较得到 8 位码 // 再统计该格子的 59 维直方图写入对应偏移 } } cv::normalize(hist, hist, 1.0, 0.0, cv::NORM_L2); return hist; }卡方距离的公式是sum((a-b)^2 / (abeps))分母加 eps 是为了避免直方图空桶导致的除零。经验上同一人的卡方距离在 0.15 以下异人在 0.35 以上中间那段灰区基本就是光照或者姿态出了问题直接判为“无法判定”比硬判更靠谱。传统路线的最大优势是快和可控单张 128x128 的图在普通笔记本上提取不到 3 毫秒适合做实时流。劣势也明显戴眼镜、侧脸超过 20 度、强背光分数就会掉到灰区里去。5. 常见问题排查五类翻车现场与定位方法这套链路跑通不难难的是分数不对劲的时候怎么定位。下面五条是我实际调试中反复遇到的按“现象 → 原因 → 解决”记下来。5.1 检测和对齐环节的坑现象两张明显是同一个人的照片相似度只有 0.1 出头看图也没问题。 原因setInputSize没跟着换图更新检测器按旧尺寸缩放返回的关键点是错位的alignCrop拿错误的点做变换裁出来的图里人脸是歪的甚至只有半张。 解决把setInputSize放进检测函数内部紧跟读图之后不要放在初始化里。更稳妥的做法是在alignCrop之后把结果imwrite出来看一眼肉眼确认是正脸再往下走。现象某些图片检测返回 0 行程序直接走到空 Mat 分支崩掉。 原因侧脸角度大、口罩遮挡、图像尺寸过大时检测器的小尺度先验失效另外score_threshold设到 0.95 以上时漏检率会明显上升。 解决阈值回落到 0.85 到 0.9 之间图像长边超过 2000 像素时先按比例缩到 1000 左右再检测检测完把框坐标按比例映射回原图。5.2 特征与分数环节的坑现象同一张图跟自己比相似度不是 1.0而是 0.97 左右。 原因特征向量经过量化精度损失加上模型内部的归一化严格等于 1 只在理想情况下成立如果分数低到 0.9 以下多半是两次预处理路径不一致一次走了灰度、一次没走。 解决把预处理固化成单一函数所有入口都调它。自比的基线分数应该先测出来作为该模型在该批数据上的上限参考。现象不同人的分数普遍在 0.5 以上阈值怎么调都分不开。 原因只用了余弦相似度而没做分数校准或者 embedding 没有 L2 归一化自己实现时漏了权重模长主导了点积结果。 解决确认特征已 L2 归一化用一批标注好的同人对和异人对画出两条分数分布看重叠区在哪再定阈值不要凭感觉设 0.5。5.3 工程层面的坑现象批量跑几千张图跑到后面内存一路涨最后被系统杀掉。 原因cv::Mat在循环里不断新建又没释放或者持有feature()返回的内部缓冲区引用。 解决feature()结果立刻clone()循环体内复用同一批 Mat用create语义而不是反复构造跑之前用valgrind或者简单打点看 RSS 曲线。6. 阈值标定与回归验证别让 0.5 变成玄学数字前面所有章节都在解决“怎么算出一个分数”最后这一章解决“怎么相信这个分数”。我见过太多项目把阈值写成 0.5 就上线了问为什么是 0.5答曰网上都这么写。问题是不同模型的分数分布差别很大同一个 0.5在 A 模型上可能放过一堆异人在 B 模型上可能把一半同人挡在门外。正确的做法是攒一个小评测集同人对 N 对、异人对 M 对N 和 M 各有个一两百就够看出趋势。跑一遍把两组分数分别排序找出让错误率最低的那个切点。下面这段是我常用的评估骨架。struct Pair { std::string a, b; bool same; }; // 返回使 (漏判 误判) 最少的阈值并打印两组的分数区间 float calibrate(const std::vectorPair pairs, float lo 0.f, float hi 1.f) { std::vectorstd::pairfloat, bool scored; for (const auto p : pairs) { cv::Mat fa extractFeature(alignAndCrop(p.a)); cv::Mat fb extractFeature(alignAndCrop(p.b)); scored.emplace_back(cosineSimilarity(fa, fb), p.same); } float bestT 0.5f; int bestErr INT_MAX; // 网格粗扫步长 0.01够用且直观 for (float t lo; t hi; t 0.01f) { int err 0; for (const auto s : scored) { bool pred s.first t; // 高于阈值判为同一人 if (pred ! s.second) err; } if (err bestErr) { bestErr err; bestT t; } } std::cout 最优阈值 bestT 错误对数 bestErr std::endl; return bestT; }几个使用上的细节值得说清楚。第一网格扫描的步长 0.01 是经验值特征维度高的模型分数分布很密步长再细意义不大反而容易过拟合到评测集上。第二同人对和异人对的数量最好接近否则最优点会偏向样本多的那一侧。第三如果最优点附近的错误数变化很平缓说明这两组分布本来就重叠严重这时候该回头查数据质量而不是继续调阈值。实际部署时我不会只用一个阈值而是设两条线高于上限直接判通过低于下限直接判不通过中间那段返回“无法判定请重拍”。这么做在业务上体验更好工程上也给你留了观察窗口——灰区样本攒起来就是下一轮迭代的训练或评测数据。这个“后悔药”机制比事后追查误判记录省事得多。还有一点容易被忽略阈值必须和模型绑定。换模型、换对齐参数、甚至换了 OpenCV 的编译选项分数分布都可能漂移。我的习惯是把阈值、模型文件哈希、评测集版本一起写进配置文件任何一项变了就重跑一遍标定不给自己留侥幸的余地。说到底人脸比对这件事代码量不大坑几乎全在数据预处理和阈值标定上。从那以后我每次接这类需求都会先花半天时间把评测集跑通、把分布画出来再动业务代码。希望帮到你。本文还有配套的精品资源点击获取