《数字图像处理》的第一章是很多人在这门课上第一次产生自我怀疑的地方。打开书全是矩阵、坐标、采样、量化、邻域、连通性……这些词每一个都认识连在一起就是不知道在说什么。但恰恰是这一章决定了你后面学滤波、分割、特征提取时是游刃有余还是寸步难行。这篇笔记不打算复述教材而是想以做项目的视角把第一章里真正决定认知高度的东西拎出来图像是怎么变成数字矩阵的像素和像素之间怎么“打交道”文件格式和存储空间怎么算以及直方图这个工具为什么后面无处不在。不管你是正在上课的学生、准备复试的同学还是刚转行做计算机视觉的开发者建议把这章当成一门“底层语法课”来学而不是考前背一背就扔掉的内容。1. 第一章的主线从连续图像到数字矩阵1.1 数字图像本质上是一张“会算数的马赛克”先抛开所有公式用一个最直观的类比来理解数字图像。想象把一张照片放大很多倍你会看到一个个小方格每个方格只有一个颜色这种方格就是像素。整张图就是一个由像素组成的二维网格而在计算机里这个网格就是矩阵。教材里常见的表示方法是 f(x, y)其中 x 和 y 是坐标f 的值是灰度强度。灰度图是一个二维矩阵每个元素是一个 0~255 的整数彩色图则是三个二维矩阵叠在一起分别对应 R、G、B 三个通道。所谓“数字图像处理”本质上就是对矩阵做运算。卷积是矩阵运算滤波是矩阵运算直方图均衡化也是矩阵映射连深度学习里的卷积神经网络输入的第一层也是这个矩阵。很多同学在这一章犯的第一个认知错误是只记住了 f(x,y) 这个符号却没有建立起“图像矩阵”的直觉。一旦缺了这个直觉后面学边缘检测时就会想不明白“为什么求导能检测边缘”——因为图像是矩阵矩阵可以做差分。学滤波时也想不明白“为什么模糊是邻域平均”——因为所谓模糊就是拿一个窗口去扫矩阵把窗口里的值求平均。所以第一章最重要的产出不是背会定义而是让你看到任何一张图时脑子里的第一反应是“这是一个 H 行 W 列的矩阵每个元素是整数”。当你有了这个反应第一章就成功了一半。1.2 采样与量化两次不可逆的离散化模拟图像是连续的数字图像是离散的连接两者的过程叫数字化两个核心步骤分别是采样和量化。采样解决的是“空间上取哪些点”的问题。决定采样密度的参数是分辨率比如 1920×1080意思是横向采样 1920 个点、纵向采样 1080 个点。采样密度越高图像越细腻但数据量也越大。这里有一个所有教材都会提但很多人只是背过的定理——奈奎斯特采样定理采样频率至少要是信号最高频率的两倍才能无失真地重建原始信号。放到图像里如果你采样过稀就会出现摩尔纹、锯齿、车轮倒转这类视觉现象学名叫混叠。量化解决的是“每个点取什么灰度值”的问题。决定量化精度的参数是灰度级通常用 2 的整数次幂表示。8bit 对应 256 个灰度级也就是 0~25510bit 对应 1024 级12bit 对应 4096 级。量化级数太少会产生“伪轮廓”比如把 256 级压到 4 级原本平滑的渐变会变成一块一块的色带像低配版卡通画。这两个步骤的共同特点是不可逆。采样丢失的是空间细节量化丢失的是灰度细节一旦丢了就找不回来。这也是为什么拍摄设备要强调高分辨率、高动态范围——后期处理能增强对比度、能去噪但没法把采样时丢掉的信息凭空变出来。存储量计算是这章必考的实操点公式很简单一张灰度图需要的位数 M × N × k其中 M 是行数N 是列数k 是灰度级的比特数。以 512×512、8bit 灰度图为例512×512×8 2,097,152 bit 262,144 byte 256 KB。彩色 RGB 图再乘以 3就是 768 KB。这个计算请务必自己手推一次别用计算器因为后面所有压缩、传输、显存占用估算都要用到这个基本功。1.3 工具选型MATLAB、Python 怎么选才不后悔很多学校的《数字图像处理》课程还以 MATLAB 为教学工具因为它语法接近数学表达式矩阵操作极其顺手图像处理工具箱也完善。如果你只是为了应付课程用 MATLAB 最小成本。但如果你打算做科研、进工业界或者搞深度学习我更建议 Python OpenCV NumPy 的组合。理由很简单MATLAB 是收费软件出了学校很多人就用不上了而 Python 生态里 OpenCV、scikit-image、Pillow 覆盖了传统图像处理几乎全部功能PyTorch 和 TensorFlow 覆盖了深度学习数据可视化还能用 Matplotlib一条链路走到底。我在实际项目里见过太多这样的场景学校里用 MATLAB 写论文入职后公司里的训练推理代码全是 Python结果还得推翻重学一遍。如果今天你刚开始学别犹豫直接用 Python 环境。代码风格上建议用cv2.imread读图、np.array理解矩阵、matplotlib.pyplot.imshow显示图像这三个动作几乎能覆盖第一章所有概念验证需求。2. 像素之间的“人际关系”邻域、连通性与距离度量2.1 邻域先搞清楚每个像素能看到谁图像处理里很多算法不是对单个像素独立操作的而是要看它和周围像素的关系。这就引入了邻域的概念。教材里定义了三类最常见的邻域4邻域N4目标像素上、下、左、右四个相邻像素。对角邻域ND目标像素左上、右上、左下、右下四个相邻像素。8邻域N84邻域和对角邻域的并集也就是周围一圈共 8 个像素。为什么要区分得这么细因为很多算法的结果会直接受到邻域定义影响。以形态学膨胀为例如果按 4 邻域膨胀物体向外长的速度是十字方向的按 8 邻域膨胀斜角方向的扩张速度立刻提上来。边缘检测里的梯度计算通常用 8 邻域里的差分算子而某些连通域标注算法默认用 4 邻域或 8 邻域又会得到不同结果。初学者最容易犯的错是把“像素坐标”和“屏幕坐标”搞混。数字图像里原点在左上角x 轴向右y 轴向下所以“上方”是 y 减 1“下方”是 y 加 1。这和数学里原点在左下角的笛卡尔坐标系是反的。很多代码 bug 其实不是逻辑错了是坐标方向反了。2.2 连通性两个像素什么时候算“同一个物体”连通性是建立在邻域之上的概念如果两个像素相邻并且满足某种灰度/颜色相似性条件就说它们是连通的。最常见的定义是 4 连通和 8 连通。判断两个像素是否 4 连通要求它们是 4 邻域关系判断是否 8 连通要求它们是 8 邻域关系。区别在哪儿呢我举个例子看下面这个 5×5 的二值矩阵0 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0三个值为 1 的像素呈对角线排列。按 8 连通来判断它们相邻属于同一个物体按 4 连通来判断它们彼此都不相邻属于三个独立的物体。同一个矩阵用不同的连通性定义得到的目标数量完全不同。这就是为什么教材里特别强调做连通域分析前必须先明确你用的是哪种连通性。另外还有一个容易在课后题里出现的 m 连通混合连通。它主要是为了消除 8 连通带来的“多路径二义性”问题。假设两个像素同时满足 4 邻接和对角邻接的条件m 连通会规定只要它们还存在 4 连通的路径就不把对角连接算进来。实际工程里直接使用 m 连通的场景不多但理解它能帮你吃透“连通”的本质——连通不是几何上挨着而是按你定义的规则是否存在可达路径。实操时可以用 OpenCV 自带的连通域函数快速验证import cv2 import numpy as np img np.array([ [0, 0, 0, 0, 0], [0, 1, 0, 0, 0], [0, 0, 1, 0, 0], [0, 0, 0, 1, 0], [0, 0, 0, 0, 0] ], dtypenp.uint8) # connectivity4背景0不计减1得到前景连通域个数 n4, labels4 cv2.connectedComponents(img, connectivity4) n8, labels8 cv2.connectedComponents(img, connectivity8) print(f4连通目标数: {n4 - 1}) print(f8连通目标数: {n8 - 1})运行结果会输出 3 和 1和手推一致。这个小实验强烈建议自己跑一遍比背定义有用十倍。2.3 距离度量图像里的“远”和“近”有四种说法做图像匹配、路径规划、区域生长时需要量化两个像素相距多远。教材里常见的三种距离是欧氏距离就是我们熟悉的直线距离公式为 √((x2-x1)²(y2-y1)²)。城市街区距离 D4等于 |x2-x1| |y2-y1|名字很形象想象在只能横着竖着走的城市街道里走。棋盘距离 D8等于 max(|x2-x1|, |y2-y1|)想象棋盘上国王走一步可以横竖斜随便走步数就是 D8。举例来说坐标 (1,1) 和 (4,5) 之间欧氏距离是 5D4 距离是 347D8 距离是 max(3,4)4。它们数值不同含义也不同选哪种取决于应用。计算图像缩放、旋转时的插值权重多用欧氏距离而形态学距离变换、中轴变换这类算法里为了计算效率常会用到 D4 和 D8。很多刚学这一节的人会问“既然欧氏距离最符合直觉为什么不总是用它”因为欧氏距离涉及开方运算在像素网格上不一定是整数而且计算量大D4、D8 都是整数运算速度快在某些算法里还能保持和像素网格完全一致的拓扑性质。所以工程里选哪个距离不是“哪个对”而是“哪个够用”。3. 图像存储与格式第一章最容易忽略的实战坑3.1 位深和灰度级为什么8bit图像最流行位深决定了单通道能表示多少种灰度。8bit 是 256 级这个数字恰好能覆盖人眼对亮度细节的大多数感知需求而且存储上每个像素只用 1 字节处理起来非常对齐。所以从早期的 BMP、JPEG 到现在的 PNG绝大多数常见格式都默认 8bit 每通道。但医疗影像、专业摄影、遥感图往往用 10bit、12bit 甚至 16bit。高位数不是单纯“更清楚”而是给后期处理留操作空间。比如一张 8bit 图如果暗部欠曝直方图集中在低灰度区这时你想拉亮暗部会发现很容易出现色带断层而 12bit 原图有 4096 级灰度同样拉亮度中间级足够多断层就少很多。有个非常现实的容量计算场景一张 1920×1080 的 8bit 三通道彩色图未压缩大小是 1920×1080×3 6,220,800 字节约 5.93 MiB。按 25 帧每秒算一小时未压缩视频是 5.93×25×3600 ≈ 533,520 MiB约 521 GiB。这就是为什么视频必须做压缩编码——未经压缩的原始数据量在传输和存储上完全不可接受。3.2 常见格式底层差异无损、有损、通道顺序第一章通常只要求认识文件头、文件体但真正做项目后格式差异会直接决定工作流。BMP 基本不压缩结构简单只适合学习阶段用来读像素。JPEG 使用离散余弦变换和量化表做有损压缩在压缩比和画质之间找平衡适合照片、网页缩略图但反复保存会累积画质损失。PNG 使用 LZ77 变体的无损压缩支持透明通道适合截图、UI 素材、医学图像这些不允许有损丢细节的场景。还有一个跨平台必踩的坑OpenCV 读图像时默认通道顺序是 BGR而不是常见的 RGB。这导致用 OpenCV 读图、再直接用 Matplotlib 显示时红蓝通道互换画面整体偏蓝偏橙。纠正方法很简单显示前用cv2.cvtColor(img, cv2.COLOR_BGR2RGB)转一下。我见过不止一个新手在这个问题上浪费了一下午还以为自己的图像处理逻辑写错了其实是显示环节的通道顺序问题。这类排错经验很好记先用一个纯红色图片(0,0,255)验证显示通道顺序一次排查永远记住。3.3 实操用Python验证格式和存储开销在 Python 环境里下面几行代码就能直观对比不同格式的大小差异import cv2 img cv2.imread(demo.png) # 分别保存为 BMP、JPEG、PNG cv2.imwrite(demo.bmp, img) cv2.imwrite(demo_90.jpg, img, [cv2.IMWRITE_JPEG_QUALITY, 90]) cv2.imwrite(demo.png, img)对一张普通照片来说BMP 体积往往是 PNG 的 3~5 倍是高质量 JPEG 的 10 倍以上。但这个对比想说明的不是“JPEG 最好”而是不同场景选不同格式Web 性能优化时可以放心用有损 JPEG/WebP医学和遥感图必须用无损 PNG/TIFF。顺便提醒一个容易忽略的细节保存 PNG 时它内部会做压缩但这是无损的放大后像素值不会变保存 JPEG 时压缩是有损的即使质量参数开到 95像素值和原图也不完全相等。如果后续算法要逐像素比对比如做图像质量评估、计算 PSNR/SSIM尽量全程使用 PNG 或 TIFF避免 JPEG 反复压缩的误差污染实验结果。4. 灰度直方图第一章埋下的最锋利工具4.1 直方图到底在讲什么灰度直方图统计的是每个灰度级在图像中出现的次数。横轴是灰度值 0~255纵轴是像素个数。它的价值在于不看图只看直方图就能大致判断一张图的明暗分布。一张整体偏暗的图像直方图会集中在低灰度区偏亮的图集中在高灰度区对比度低的图直方图会像一根细柱子一样挤在中间某个窄区间对比度高的图直方图则铺得比较开。这种能力在工程里非常实用——批量筛查一批图片的曝光情况时不需要一张张打开看直接统计所有图的直方图分布即可。在自动驾驶、工业质检场景里光照不均和过暗过亮的图像识别很多都是靠直方图特征先做一层过滤。需要特别说明直方图只是统计分布不包含任何空间位置信息。两张完全不同的图可以拥有完全一样的直方图——一张是左半边白右半边黑另一张是黑白交错直方图可能完全相同。所以直方图适合描述“这张图整体长什么样”不适合回答“具体内容在哪个位置”。后面讲的直方图均衡化能改善对比度也正是因为它只改灰度映射、不改空间结构。4.2 手算一次直方图均衡化直方图均衡化的目标是让输出图像的灰度分布尽可能均匀从而提高对比度。原理本质上是用累积分布函数做映射设 r 是原灰度s 是目标灰度L 是灰度级数则离散形式的变换公式为s_k (L-1) × Σ p_r(r_j)其中累加从 j0 到 kp_r(r_j) 是灰度 r_j 出现的概率。很多教材用积分形式写初学者容易被吓到。其实离散场景下就是三步统计直方图算概率累计和再乘 (L-1) 后取整。我用手算一个例子。假设一张 64×64 的图灰度级 L4也就是灰度只有 0、1、2、3各灰度像素数分别为 32、16、8、8。总像素数 64所以概率分别是 0.5、0.25、0.125、0.125。累计概率依次为 0.5、0.75、0.875、1.0。乘以 (L-1)3得到 1.5、2.25、2.625、3.0四舍五入后映射为 2、2、3、3。也就是说原灰度 0 和 1 都会变成 2原灰度 2 和 3 都变成 3。均衡化后虽然灰度级合并了但 0 和 1、1 和 2 之间的间隔被拉大了视觉上暗部和亮部的层次更分明。这个手算过程能帮你理解一个反直觉结论均衡化不一定让直方图变得“完全平均”更常见的是让灰度分布铺满整个动态范围。如果原图已经很均匀均衡化后效果甚至可能变差。它解决的问题是“动态范围被压缩在某个区间”不是万能对比度增强。4.3 用OpenCV实战均衡化OpenCV 提供了现成的cv2.equalizeHist只接受灰度图import cv2 img cv2.imread(dark.jpg, cv2.IMREAD_GRAYSCALE) equ cv2.equalizeHist(img) cv2.imwrite(dark_equ.jpg, equ)更推荐的方式是自己写一遍映射逻辑方便彻底理解。用 NumPy 手写只需要几行import numpy as np def my_equalize(img): hist np.bincount(img.ravel(), minlength256) / img.size cdf np.cumsum(hist) # 找第一个非零累计概率的位置避免除以0 cdf_min cdf[cdf 0].min() cdf (cdf - cdf_min) / (1 - cdf_min) lut (cdf * 255).astype(np.uint8) return lut[img] img cv2.imread(dark.jpg, cv2.IMREAD_GRAYSCALE) output my_equalize(img)注意一个细节OpenCV 的全局均衡化是整张图一起算。如果图像里同时有很亮的区域和很暗的区域全局均衡化会把两者都拉向中间可能让亮部过曝、暗部发灰。这时候应该考虑 CLAHE对比度受限自适应直方图均衡化它按局部小块做均衡化并限制对比度放大倍数是实际项目里更常用的方案。第一章不用急着掌握 CLAHE但知道它的存在能让你后面真正处理真实图片时少走弯路。5. 学习避坑指南第一章最常见的5个坑和我的建议5.1 五个常见的坑第一个坑是只背公式不手推。采样定理、存储量公式、均衡化公式如果只是抄笔记考完就忘。手推一次存储计算、手算一次均衡化映射比背十遍都管用。第二个坑是忽略坐标方向。图像原点在左上角y 轴向下这和数学坐标系相反。写代码时凡是涉及循环遍历行列、裁剪区域、旋转方向第一反应先检查坐标处理对不对。第三个坑是直接调库不改参数。很多同学用 OpenCV 一行cv2.Canny就能检测边缘却不知道高低阈值为什么是那两个数字导致换一张图效果崩了不会调。第一章虽然没有讲边缘检测但它教的邻域、梯度、矩阵运算就是理解这些参数的底层素材。第四个坑是通道顺序混淆。BGR、RGB、灰度图、单通道还是三通道这些状态要心里有数。检查方式很简单打印img.shape灰度图是 (H, W)彩色图是 (H, W, 3) 或 (H, W, 4)。看到 shape 不等于预期先不要怀疑算法先确认通道数和顺序。第五个坑是忽视数据溢出和类型。图像处理里常用 uint80~255 之外的数会被截断或回绕。做像素值加减时比如给所有像素加 50 再存成 uint8超过 255 的会变成 255 而不是 305。这种问题在调试时极其隐蔽建议中间计算用 float32最后再转回 uint8。5.2 给自学者的一条实操路线如果你完全自学我的建议是不要把第一章当“背概念”章节而是当“验证章节”来过。第一步准备一张自己拍的、内容丰富的照片转成灰度图然后用 NumPy 打印它的矩阵形状、最大值、最小值、均值。第二步自己写代码把它每隔 2 个像素取一个点观察清晰度变化体会采样密度对清晰度的影响。第三步把灰度值整除 32 再乘 32把 256 级变成 8 级观察色带体会量化级数的影响。第四步把上面这几步的中间结果都存成 PNG对比不同格式文件大小。第五步用今天讲的手写均衡化函数处理一张偏暗的图再看直方图前后的变化。这套流程做下来第一章所有核心概念就不再是纸面知识了。一个很大的好处是它不依赖任何第三方复杂库只要 NumPy 和 OpenCV 就能跑通四十行代码以内可以全部完成。最后再分享一个我个人的习惯学图像处理期间把每一个算法的输入图、输出图、参数值、耗时全部记录在一个专门表格里。这个习惯一开始看起来有点多余但当我做项目里需要横向比较不同算法、复现论文结果时这些记录成了最可靠的第一手资料。第一章是整个课程的基石慢一点、细一点、多动手一点后面会省下成倍的时间。