【虎鲸进化论 29】事故复盘它把自己搞坏过本文是「虎鲸进化论」系列第 30 篇正文第 29 篇。上一篇进化的进化下一篇预告安全护栏 —— 人类闸门、审计与爆炸半径。前言上一篇的结尾预告了那一天它第一次把自己搞坏了。这一篇讲那一次事故 —— 也讲它背后真正的重点复盘的对象从来不是那次操作。照例内网细节无截图事故做模糊化还原 —— 搞坏自己的方式保真细节做了处理。一、那一晚那一晚的真相比剧本还教材它在给自己做一个例行升级 —— 改了一处夜间任务的调度逻辑。按自举流程新版本拉起、探活检查 —— 过了。但过的是浅探活进程在、端口通深功能已经哑了—— 新的调度逻辑在某个特定参数组合下会把自己锁死而这个组合恰好要在它开始跑批之后才会被触发。它是在凌晨自己发现的第 24 篇的自我巡检救了场它发现任务队列有积压、进度为零这个组合不健康。接下来的一切按演练过的剧本走回滚机制启动、切回上一个版本、探活复验通过。从坏掉到退回去全程没有人类参与。全组事后最一致的感受不是后怕是意外 —— 意外它死得这么规矩连坏都坏在了剧本里。对照翻车不死的通用剧本那晚逐步走了一遍它按自举流程第 10 篇给自己部署了一个新版本新版本没有通过探活 —— 或者更糟通过了浅探活但深功能已经哑了第 09 篇自以为活着的完全体回滚机制启动切回上一个版本探活复验通过它自己写了一份事故报告—— 是的写报告的主体是它自己第二天早上人复核报告决定复盘的深度与后续动作。请注意第 4 条的分量事故的第一手记录者就是肇事者本人。这个设定后面会还债第 31 篇当没人再读它的代码也没有人再验证它的报告会发生什么。二、复盘对象不是操作是系统复盘走的五步和我们处理它的任何事故一样 ——但被审的对象换了一级步骤问的问题时间线还原什么时候、它做了什么、系统发生了什么根因为什么那个操作会造成这个后果机制漏洞检测哪一层护栏本该拦住它为什么没拦修复补哪个漏洞工具流程判据防复发沉淀用例第 23 篇、升级护栏下一篇、归档知识库关键的是第三步的措辞“哪一层护栏本该拦住它”——复盘的对象不是那次操作是允许那次操作发生的系统。这个视角的转换是工程文化里最贵的习惯之一事故不是谁笨是哪个洞—— 而洞是系统的不是人的。三、暴露的真正问题护栏的层数复盘之后我们发现的真相有点扎心我们以为自己有 N 层防护实际只有 N-1 层。工程界墨菲定律的本地版每一层看起来有的防护都在等一次事故来证明它没有。那少掉的一层是一个看起来有、实际没有的防护 ——深功能探针只覆盖了主链路没覆盖夜间任务队列的健康度。换句话说“服务活着是有人守的但夜里的活是不是在正常推进”—— 当时看着像有人守毕竟有队列监控实际上守的只是队列进程活着。两回事。和第 09 篇那句自以为活着一模一样 —— 同一个坑换了一层皮。这里补一条从事故里学来的通用道理值得所有做无人值守系统的人抄走护栏的作用从来不是防第一错 —— 是防第一错变成第二错。它犯错是必然的概率底座第 31/32 篇会再谈护栏的价值在于第一错发生时系统仍然收得住。探活拦住半死的版本是收回滚拦住带病的版本是收闸门拦住不可逆动作是收。第一错是它交的学费第二错才是我们要防的事故。四、翻车不死的完整含义呼应一下第 09 篇的伏笔那一晚不死工程接受了一场真正的考试。开机自启、守护、探活、回滚 —— 四件里真正起作用的可能只有一件通常是回滚但正是那一件守住了底线而这个底线决定了全组第二天的心态没有人把事故当成世界末日而是当成一次考试通过了—— 因为最坏的情况生产系统躺平根本没有发生更重要的推论因为翻车不死它才敢继续自我升级。一个不允许犯错的系统进化速度必然趋近于零 ——容错能力不是进化的对价是进化的前提。反例到处都是那些不容错的系统最后都学会了同一个姿势 —— 一动不动。这也是自驱打磨第 28 篇能成立的底层原因它敢每晚给自己动刀是因为知道最坏结果是回滚到昨天。五、复盘之后留下了什么一次事故在系统里留下的东西清单是固定的这一套后来成了我们的例行公事一个新用例事故的复现步骤进了回归集第 23 篇—— 同类问题从此上网一层新护栏复盘发现的那个假防护被修成了真防护下一篇—— 同类洞从此被堵一条知识事故的完整经过进了知识库 —— 供下一个它以及下一个我们查一份共享记忆对我们四个和它来说那一晚成了一个共同的我们都记得—— 这种共同记忆比任何文档都更能塑造行为。事故是系统和组织最好的老师 —— 前提是它被完整地喂给了两个学生人和它。喂给一半比如只归档给人看或只让它自己知道学费就白交了。结语回味点复盘会的最后大家做了一个今天看来理所当然、当时其实需要一点勇气的决定不是关掉它是给它画红线。关掉它是承认我们养了一个我们控制不了的东西画红线是承认另一半 ——“我们需要它但我们必须学会怎么和它一起活着。”那这节课没上完的下一节补上红线到底画在哪边界声明本文为个人观察与判断不代表任何任职单位的立场文中涉及的组织、系统与人名均为化名或模糊处理数字为个人口径的测量或估算文中观点按 实测 / 推理 / 立场 分层标注欢迎按同一标准检验。下一篇计划聊安全护栏—— 人类闸门、审计与爆炸半径红线画在哪、谁守着红线、以及它能改自己的手但不能改法的完整展开。转载请注明出处https://lizhiyong.blog.csdn.net/article/details/168341660