资讯详情

资讯详情

软件测评实验室CNAS认可体系文件搭建:从四级架构到清单

前几年陪一家软件测评实验室做CNAS认可准备时我第一件事不是让他们填申请书而是把实验室现有的文件全部摊在桌上。结果不出所料一堆测试模板、几个零散的管理规定、各类记录表格七十多张唯独没有一套能支撑认可申请的质量管理体系文件。做软件测评CNAS认可这件事很多实验室的理解是“把测试做规范、报告写得漂亮就能过”。实际上评审组长打开文件柜的第一眼看的就是体系文件架构。文件搭得散、层级乱、职责不清后面技术能力再扎实现场评审也会被开出一堆与管理体系相关的不符合项。这篇文章就把我这些年帮软件测评实验室搭建体系文件的思路、文件层级架构和具体清单完整梳理一遍供准备申请或正在整改的同行直接参考。1. 体系文件为什么必须四级架构先把逻辑理清1.1 CNAS认可不是“买证书”核心是运行机制要能自证先替很多第一次接触认可的测试团队说句公道话你们平时测试流程可能是通的Bug管理、报告审核也都有但CNAS评审组看的不只是“测试做得对不对”而是“你们能否持续、稳定、有序地产出有效结果”。这种“持续稳定有序”在管理体系上的体现就是四个字有据可查。所有活动都要有文件规定所有文件规定都要被执行所有执行过程都要留下记录。这四句话翻译成体系语言就是质量手册—程序文件—作业指导书—记录表格这个四级金字塔。有些团队想省事只写一本《质量手册》加几个程序文件把大量操作细节塞在手册里。这种做法的直接后果是手册动辄一百多页修订一次全实验室跟着改评审员问一个具体问题例如“你们用什么方法判定缺陷等级”手册里没有程序文件里也只是点到为止最后只能靠口头解释这就等于在文审现场暴露了运行漏洞。四级架构的核心价值是把“原则—流程—方法—证据”逐层落实每一层只解决一类问题不会牵一发动全身。1.2 软件测评领域特殊在哪为什么不能照搬通用模板很多实验室从网上找一份通用实验室质量手册环境检测、化学分析方向的把“样品”改成“测试任务”就开始用这是最大的坑。CNAS针对软件检测领域发布有专门的应用说明我接触的是CNAS-CL01-A025系列文件软件测评实验室的认可依据在这里有非常明确的要求对软件测试活动提出了大量通用领域没有的细节要求比如测试环境、测试数据、测试工具、缺陷管理、测试充分性等都有具体的管控点。举个例子。通用实验室管理设备讲的是校准、核查、维护保养。软件测评实验室的“设备”主要是一堆测试工具和测试环境。你怎么确认自动化测试工具的结果是可靠的你用的开源性能测试工具版本升级后之前的结果还有效吗测试环境从Windows切到Linux配置发生了哪些变化这些都是软件测评特有的“设备管理”问题不能靠通用模板解决。所以软件测评实验室必须基于自身业务识别特殊要求再结合CNAS-CL01通用要求形成一套领域化的文件体系。直接“抄模板改名称”的文件文审阶段就会被退回。1.3 各层级文件到底管什么边界和责任划分四个层级的文件简单理解是这样分工的质量手册回答“我们承诺怎么做”它把质量方针、质量目标、组织架构、岗位职责、资源保障这些方向性问题说清楚。程序文件回答“每件事分几步做、谁来做、做完留什么记录”它是整个体系运转的规则骨架。作业指导书回答“某个具体动作怎么做”解决操作层面的技术细节比如测试用例设计规范、缺陷等级定义、报告编写格式要求。记录表格则是体系运行留下的“脚印”用来证明前面三层文件是真的被执行了。这里特别想强调职责划分。我见过不少实验室质量负责人挂名不做事技术负责人只管技术不管质量测试组长既当裁判又当运动员。文件里写得再清楚岗位设置和实际分工对不上评审一访谈就露馅。文件架构在设计时就要把每个岗位在每类活动中的角色定死谁的签字有效、谁负责审批、谁负责执行必须做到一一对应不能出现“相关岗位协助”这种模糊表述。2. 软件测评实验室体系文件清单从手册到记录逐层搭建2.1 质量手册章节设计不要直接照抄CNAS-CL01条款质量手册常见的设计思路是逐条对照CNAS-CL01的条款写“我们如何满足”。这个方向没有错但要注意手册的读者是评审员、管理层和全体人员它阐述的是一个组织的质量管理思路。如果只是把标准条款翻译一遍变成“公司建立了程序以保持记录的清晰”这种手册没有任何信息量。我梳理软件测评实验室手册时建议按以下模块组织章节前言与发布令质量方针与质量目标组织结构、职责与权限组织架构图、岗位职责矩阵表资源管理人员、设施与环境、设备/工具/系统过程管理合同评审/受理、测试方案设计、测试实施、结果报告、记录管理等管理体系运行文件控制、内部审核、管理评审、不符合与纠正措施等风险管理与改进。值得注意的是测试任务的生命周期管理用分布式思维来理解就是“拆解调度兜底”一个大型软件系统比如有多个子系统的ERP评测任务要拆成多个测试分项并行执行需要明确任务调度规则和各分项的衔接点同时又要有异常兜底机制。质量手册应当在“过程管理”这一章把实验室如何管理这类多分项、跨周期的测试任务讲清楚而不是停留在“实验室应制定测试流程”的空话层面。手册要不要写测试方法的判定准则要写但只写到原则层。具体怎么划功能测试通过不通过、性能指标怎么对比那是技术层面的作业指导书负责的内容。否则手册就会变成一本“什么都写了、什么都不好用”的字典。2.2 程序文件清单哪些是必须建的程序程序文件是体系文件里的重点也是数量最多的一层。从认可要求和工作实际两个角度看软件测评实验室至少要建以下程序文件记录控制程序、文件控制程序、内部审核程序、管理评审程序、不符合工作控制程序、纠正措施程序、投诉处理程序、应对风险和机遇的程序这几项是通用管理体系里绕不开的。同时结合软件测评业务还需要建测试合同/委托评审程序含需求变更控制、测试工具与测试环境管理程序、测试数据/测试项目管理程序、结果报告及报告修改程序、能力验证与实验室间比对管理程序、人员培训与监督程序、服务供应商与分包管理程序、保密与数据安全管理制度。程序文件的命名要能直接说明它管什么业务避免“XX管理办法”这种大而空的标题。每个程序文件的内容建议固定模板目的、适用范围、职责与权限、工作流程必须配流程步骤说明、相关文件与记录表单编号。有些实验室喜欢在程序文件里画流程图我建议流程图画可以但必须有配套的文字步骤一步一步说明“谁在什么条件下做什么、输入什么、输出什么”。评审员更看重文字流程的可执行性而不是图表的规范性。2.3 作业指导书/操作规程清单软件测评领域的核心储备作业指导书这一层最能体现软件测评实验室的专业深度也是很多实验室最薄弱的地方。很多团队有测试用例模板却没有任何关于“测试用例怎么设计才有效”“测试执行中发现问题怎么判断是不是缺陷”“什么时候可以停止测试”的指导性文件。导致的结果是不同测试工程师执行同一份方案风格和结论可能完全不同。围绕软件测评的测试生命周期我建议至少准备以下作业指导书测试需求分析与可测试性评审指导书测试计划编写规范测试方案与用例设计规范里面要覆盖等价类、边界值、场景法等常用方法同时对状态迁移、决策表等方法的适用场景做说明测试数据准备与隐私处理规范测试执行与缺陷跟踪规范缺陷等级定义及处理流程说明测试报告编写规范性能测试实施与技术指标分析指导书自动化测试脚本开发与执行规范测试环境搭建与配置管理规范测试工具的选择、引入与验证评估指导书。如果实验室还做信息安全方向等保测评、渗透测试的项目则需要额外建立漏洞扫描与渗透测试规程、风险评估报告规范等文件。作业指导书不需要追求数量但必须和实验室实际开展的业务范围一一对应。评审组会按申请认可的能力范围抽查作业指导书如果你们申请了性能测试却拿不出性能测试SOP基本属于“能力与文件不匹配”的严重不符合项。2.4 记录表格清单证明体系运转的关键证据记录表格经常被忽视但它在文审和现场评审中的地位非常高。很多团队准备了大堆表格实际项目里却只填流程需要的部分质量目标统计表、不符合项报告、纠正措施验证记录等要么空白要么补填。CNAS评审组对记录真实性非常敏感现场评审时会随机抽取已完成项目沿着合同评审→测试方案→用例→缺陷→报告这条线验证每一环节的记录是否完整、逻辑是否闭环。参照我前面梳理软件测评实验室常用记录时用的分类大致分成这样几类委托与合同类测试委托单/合同评审记录/需求变更申请单项目过程类测试计划审批表、测试方案评审记录、用例评审记录、功能测试执行记录、性能测试执行记录、缺陷报告单、测试报告审批单资源管理类测试工具申请表/验证记录表、测试环境配置表、环境变更记录表体系运行类文件发放回收登记、内审计划与检查表、不符合项报告与纠正措施记录、投诉处理记录、管理评审输入材料与输出决议、质量目标统计表人员管理类培训申请与签到表、人员能力评价与授权表、技术档案。每个记录表格都建议有唯一编号表头包含项目名称、日期、记录人、审核人等信息。表格数量控制在够用就好不要为了“看起来完整”而制造大量实际没人填的表格。否则文审文档堆了一桌子真正抽查时现场人员连表格在哪都找不到这比文件少更尴尬。3. 文件编写过程中的常见误区这些坑最容易推倒重来3.1 现状是“先跑起来再补文件”导致两层皮我接触的软件测评实验室十个里有八个是业务先行测试服务已经签了合同、报告已经出了几份然后才开始准备认可体系文件几乎全靠后期“追认”。这样一来文件里写的规定和实际跑通的流程往往对不上。举个典型现象文件里写“测试方案需经技术负责人审批”实际项目中项目周期很短、方案经常是测试组长自己看完就执行了。评审员问“你的方案谁批的”回答“技术负责人批”可查记录时技术负责人根本没签字只能后补后补又容易露出时间线破绽。这种“两层皮”问题文审阶段很难完全暴露现场评审一查记录就现原形。所以我一直建议文件编写之前先花时间把现有真实流程画出来。找几个典型的已验收项目把从受理到出报告的每一步实际动作拉出来用真实流程来设计文件规定。文件规定与实际执行的差异要么改文件要么改做法不能“文件一套、现场一套”。3.2 把手册写成条款翻译结果“查无可查”一种很容易犯的错是把质量手册当成了CNAS-CL01的逐条翻译稿。标准说“实验室应保留记录”手册就写“实验室应保留记录”标准说“人员应具备能力”手册就写“人员应具备相应能力”。整本手册读下来评审员看不见这个实验室的组织架构、看不见业务特点、更看不见质量目标是多少、怎么考核。这种手册能过文审的唯一理由是评审员网开一面。正确做法是手册中涉及“怎么做”的部分全部指向配套的程序文件具体内容放在下一层。手册里写“实验室建立《文件控制程序》以规范文件的编写、审核、批准、发放、变更和废止文件控制程序见QP-01”这就让评审员知道你们的管理体系是成体系的不是一本手册打天下。质量目标也不能写成“测试报告正确率100%”这种空话。结合软件测评实际可以设计为“年度客户满意度不低于95%”“按期交付率不低于90%”“重大缺陷漏测率为0”“内审不符合项整改关闭率100%”等可测量指标。目标定了就要有数据收集和统计的机制不然管理评审的时候没有输入材料可看。3.3 程序文件、作业指导书、记录表之间编号对不上文件编号体系看着是小事实际是文审最容易挑出的问题。很多实验室的文件编号规则不统一程序文件叫“CX-XX”指导书叫“ZD-XX”记录表叫“JL-XX”相互之间看不出任何关联。评审员从程序文件的“相关表单”跳到记录表时经常需要翻半天目录。建议用一种直观的编号规则用部门/体系缩写-文件层级代码-顺序号。例如质量手册用QM、程序文件用QP、作业指导书用WI、记录表单用RF。再按业务模块分段比如文件管理类从QP-01到QP-05测试过程类从QP-20开始。这样哪些程序对应哪些记录能通过编号段初步分辨比如程序QP-24对应的记录表单编号可以是RF-24-01。为了更清楚程序文件正文末尾的“相关记录”处直接列出记录编号和名称保持随时更新。文件受控管理有一个口诀受控章、分发号、修订状态、回收记录缺一不可。电子文件控制则建议用共享文件夹加权限管理历史版本一律移入“已废止”独立目录防止误用旧版。表头必须有生效日期和版本号没有版本号的记录表后续修订时完全无法追溯。3.4 测试工具的“设备档案”意识太弱软件测评实验室与硬件实验室一个很大的区别是测试工具往往被当成“装了就能用”的普通软件。但CNAS对设备/工具的要求非常明确关键设备或软件工具投入使用前要经过验证/确认使用中要有版本控制系统环境发生变化时要评估影响对外部工具购买的商业工具或开源工具与内部开发工具的管理要求也要区分清楚。对应到程序文件可以参考这类做法建立工具管理台账记录工具名称、版本、来源、用途、安装时间、验证记录、升级历史等新增或升级工具时要执行验证验证内容至少包括功能是否满足预期、输出结果是否稳定开源工具还要记录其授权协议类型商用合规也是评审关注点对自研工具比如很多实验室自己开发的测试管理平台要求更加严格要有软件测试文档比如需求规格、设计方案、测试报告、用户手册。不少实验室用禅道管理测试用例和Bug或者用自己开发的内部系统记录缺陷和报告。那么项目管理工具本身算不算“设备”我的建议是凡是直接影响测试结论形成和记录保存的系统都应该纳入工具管理范围例如数据库中缺陷记录是否会被误修改、删除后能否追溯。如果缺陷管理流程依靠某个平台而平台上任何人都能随意改写历史Bug状态且无日志这个问题在评审现场会被放大成不符合项。4. 从文件发布到现场评审文件体系落地的关键动作4.1 文件发布前先试运行记录先行、培训同步文件写完不是直接盖章发布就完事至少要经历一个月的试运行期。试运行有两个目的第一检验文件规定的流程在真实项目里是否跑得通。很多流程只有在实际试用时才会暴露问题比如某个环节要求的审批级别过高导致项目停滞或者某张记录表设计缺字段导致信息填不下。第二为后续内审和管理评审积累真实的运行数据。试运行期间最容易犯的错是光发文件不培训、直接投入运行。文件换版了一线测试工程师根本不知道新流程和旧流程的差别。正确的配套动作是文件发布时要附带培训记录针对直接相关岗位做专项培训涉及流程节点变化时要讲解变化前后的差异并让岗位人员签字确认。文审或现场评审时评审员可能会随机问一个测试工程师“你们实验室文件控制程序规定发生变化时在哪个环节做更改”如果对方答不上来说明培训环节失效这是体系运行有效性方面的问题。4.2 内部审核与管理评审不能只做表面文章文件体系发布后真正的考验来自第一次内部审核。很多实验室的内审是质量负责人自己闭门造车填表完成的审核计划、检查表、不符合项报告全是一个人编出来的。这种内审不叫内审叫“造假”。CNAS评审组对“内审是否真实开展”非常敏感会通过抽样方式核查内审员是否具备资格、审核记录是否覆盖全部部门和关键过程。软件测评实验室的内审员最好具备两个条件一是参加过内审员培训并取得相应证明二是了解软件测试基本流程否则看不懂测试现场的问题。内审检查表要针对软件测评业务定制不要随便下载一份通用的化学实验室检查表改个名就用。管理评审也一样要输入实质性内容比如质量目标完成情况、投诉与不符合处理情况、能力验证结果、客户反馈等输出要包括改进决策、资源需求调整等内容并形成管理评审报告和决议清单。如果管理评审报告里只写“本次评审未发现重大问题体系运行持续有效”那就是一份毫无信息量的文件在评审员眼里等于没做。4.3 文审阶段评审员到底在看什么CNAS的文件审核也叫“文审”是正式现场评审前的第一道关卡。申请材料提交后评审组长先看体系文件是否满足认可准则和领域应用说明的要求会给出整改意见。文审阶段常见的问题集中在三类第一质量手册和程序文件的版本不一致。常见的情况是手册引用了旧版程序文件编号程序文件已经编号更新但手册正文没有同步改或者受控文件清单与实际物理文件版本号对不上。第二制定的文件数量足够但内容缺乏针对性。比如程序文件里出现“实验样品应标识清晰”的表述而软件测评里根本没有“样品”这个环节或是套用了别的领域的内容未做适配性修改。评审员看这类文件就可以判断实验室的文件体系是“量身定制”的还是“套模板”的。第三程序文件规定的接口职责不清。典型表述是“相关部门应予以配合”但具体配合什么、什么时候配合、配合结果怎么传递完全没有下文。这样的条款一旦被实际工作触发就会出现部门之间互相推诿。出现这种模糊表述时建议一律明确到具体岗位。4.4 现场评审中的“文件—记录—行为”三方一致性核查现场评审阶段评审组会非常关注“文件怎么说、记录怎么记、实际怎么做”三者的一致性。这里分享一个高频检查手法评审员会随机找一份已完成的测试项目从最开始的合同/委托单开始一步步顺着流程查看是否存在“该签字的地方没签”“签字的日期早于文件生效日期”“测试执行记录里的时间与报告审核时间逻辑矛盾”等情况。软件测评实验室常见的“三方不一致”有测试执行记录中的操作时间在测试环境搭建记录之前意味着环境还没搭好就开始测试了缺陷记录已经关闭但缺陷修复回归验证的说明和测试日志对应不上外场测试比如在客户现场做的验收测试缺少现场环境确认记录导致项目过程记录不完整。这些细节如果不在日常运行中严抓到现场评审时才来补补出来的记录时间线很容易出现漏洞。因此建议为每个项目建立“项目过程档案包”按项目收集所有记录设定专人负责归档检查把文件要求落到日常项目而不是等到评审前突击整理。体系文件写得再好若项目过程档案缺东少西最终认可依然会被延期或暂停。5. 一份可直接对照的体系文件总清单与常见问题速查5.1 软件测评实验室CNAS认可体系文件总清单参考下面这份清单是结合我给软件测评实验室做体系文件的实践整理出来的。实验室可以根据自身定位和业务范围裁剪增删但大框架基本是通用的。注意这里列的每份文件都要能拿出实际对应的记录表格质量手册层面1份质量手册含质量方针、质量目标、组织结构与职责分配表、程序文件目录清单。程序文件层面建议20份以上文件控制程序、记录控制程序、内部审核程序、管理评审程序、不符合工作控制程序、纠正措施程序、投诉处理程序、风险和机遇管理程序、人员培训与管理程序、委托与合同评审程序、测试方案与过程控制程序、测试工具管理程序、测试环境管理程序、测试数据安全管理程序、结果报告与报告修改程序、能力验证程序、服务商与耗材采购管理程序如果有采购外包服务、保密与知识产权保护程序、设备软硬件管理程序、外部支持服务和供应商管理程序。作业指导书层面按能力范围对应建立测试需求分析规范、测试计划编写规范、测试用例设计规范、测试执行与缺陷管理规范、测试报告编写规范、性能测试实施指导书、自动化测试开发执行规范、测试环境搭建与配置指导书、测试工具验证评估规范、常见缺陷等级判定标准可并入缺陷管理或单列。记录表格层面每个程序文件至少配套1-2份记录表每份作业指导书配套对应模板。项目档案建议保留至少6年记录保存期限要与管理体系文件里声明的时间一致。5.2 体系文件运行的常见问题速查关于文件控制旧版文件仍在现场使用处理办法是现场只保留受控现行有效版本旧版由质量部统一回收销毁或加盖“作废”章后留档。记录填写记录出现涂改但无签字确认处理办法是记录修改采用杠改法保留原内容清晰可见修改人签字并注明日期。培训落实培训签到表有记录但没有培训内容材料或效果评价处理办法是培训记录后附培训教材/PPT及考核记录考核可采用提问、试卷或实操评价方式。工具管理自研工具无法提供验证报告处理办法是长期未做验证的自研工具应及时补做验证记录放入工具档案并在程序中明确自研工具上线前验证规范。报告管理已发出的测试报告因客户需求改动需要重新出具处理办法是收回原报告或作废声明后重新签发保留原报告编号并在新报告中注明替代关系。报告编号和记录必须有唯一性标识且不能复用。5.3 一点长期有用的建议如果实验室是第一次做CNAS认可进度上宁可按“三个月编文件、两个月试运行、一次内审一次管理评审、再提交申请”来排也不要把所有事压到半年内赶完。文件体系不是给评审组看的陈列品它是实验室管理从“凭经验”走向“按规则”的脚手架。从实际操作来看硬件不算投入最大人力投入才是大头。体系文件编写阶段质量负责人和技术负责人要承担大量工作试运行阶段所有项目人员都要按新流程走工作效率可能短期下降。这些阵痛期过去之后文件化运行带来的好处会逐渐显现人员流动后新人上手更快、项目交付过程更透明、质量复盘有数据可依。我个人的体会是软件测评领域有一个天然优势测试团队普遍有较强的逻辑能力和文档习惯只要把体系文件的结构讲透让团队理解了“为什么这么规定”执行层面的阻力会小很多。真正卡住实验室的往往不是能力而是开头那几十份文件的“骨架”没立稳。骨架稳了后面的血肉填充只是时间问题。
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →