1. 兜兜转转还是回到数据安全大模型的第一个拦路虎做了这么久大模型训练我越来越确信一件事在网络安全这个垂直领域模型结构、训练框架、算力调度这些环节都相对成熟真正卡住项目进度的几乎永远是数据。通用大模型你随便找个开源语料库几十个TB的清洗文本唾手可得。但到了网络安全场景就不一样了。你要让模型理解漏洞利用链、看懂恶意流量特征、能分析告警日志、能回答渗透测试的思路这些知识散落在各种安全博客、漏洞公告、开源仓库、技术论坛里没有现成的网络安全版C4数据集可以直接下载。更麻烦的是安全数据的形态极其碎片化。CVE通报是半结构化的JSON漏洞分析文章是网页HTML恶意软件样本是二进制文件流量抓包是PCAP格式EDR告警日志是CSV表格。想把这一堆乱七八糟的东西变成大模型能直接吃的文本语料中间需要一条相当长的加工流水线。这篇文章是我这个系列实战篇的第十四篇重点就聊一个事训练网络安全大模型数据到底从哪里来怎么处理成能用的格式这里面的坑都有哪些。先说结论网络安全大模型的数据获取不是找到一份数据集然后下载这么简单它是一个包含渠道建设、合规审查、清洗去重、格式转换、样本构造五个环节的持续工程。下面我按实际操作的顺序把这套流程完整拆开讲。2. 数据来源全景图七条渠道的安全语料获取路线我最早做安全大模型的时候天真地以为爬几个安全论坛就够了。结果训练出来的模型答非所问连基础的SQL注入是哪一类漏洞都会说错。后来我把数据获取渠道重新梳理了一遍才发现问题出在语料来源太单一。2.1 开源数据集起步最快但要注意时效性目前公开渠道能直接下载的安全数据集大概分几类入侵检测数据集CICIDS2017/2019、NSL-KDD、UNSW-NB15、BoT-IoT、CSE-CIC-IDS2018。这类数据集结构规范字段完整适合做流量分类、异常检测方向的模型基座。恶意软件样本库MalwareBazaar、TheZoo、VX Underground。样本量大但很多是压缩包和二进制文件直接拿来训练大模型意义不大需要先提取行为特征或反编译后的代码片段。漏洞信息库CVE 官方库、NVD、CNNVD、Exploit-DB。这些数据半结构化程度高JSON或XML格式处理起来最省事是训练漏洞知识问答的重要来源。ATTCK 知识库MITRE 开源的攻击战术、技术、过程映射表质量非常高结构化程度极好是模型理解攻击链知识骨架的必需品。使用开源数据集的核心要点是注意时效性。CICIDS2017 的数据特征是2017年的网络环境很多攻击模式放在今天已经过时。我建议把开源数据集当冷启动语料用它让模型先建立安全领域的基础认知后续再用新鲜数据做增量训练。2.2 威胁情报平台高质量语料的连续供给源如果说开源数据集是历史教材威胁情报平台就是每日新闻。AlienVault OTX、MISP、IBM X-Force Exchange、微步在线、奇安信威胁情报中心这类平台每天都产生大量新鲜的威胁分析报告、IOC指标、攻击事件描述。这些平台的接入方式通常是 API 或订阅邮件摘要。我的做法是写一套定时采集脚本每天自动拉取新增的威胁情报条目存入 MongoDB 作为原始库。这样做的最大好处是语料保鲜——安全大模型最怕学到过时的攻击手法而威胁情报源能保证模型对最新攻击趋势有感知。需要提醒的是威胁情报条目的原始表达很碎片化经常是IP 1.2.3.4 has been observed distributing Emotet这种句式直接塞给模型训练会拉低文本质量。后面清洗环节我们专门处理这个问题。2.3 结构化知识库让安全大模型具备体系感我发现很多团队做安全大模型数据来源就是漏洞库加安全博客结果训练出来的模型单个知识点能答对但一问到一次完整的APT攻击通常包含哪些阶段就逻辑混乱。原因就是缺少结构化知识的注入。这块我强烈建议把 ATTCK、CAPEC攻击模式枚举与分类、CWE常见弱点枚举、CWE Top 25、OWASP Top 10 这些知识库全部纳入语料。更重要的是不要只把它们当作文本灌进去而是要把这些知识库映射成指令微调的训练样本。2.4 蜜罐与沙箱自采获取真实攻击行为的一手数据如果你有条件我特别推荐自建一套蜜罐体系来采集真实攻击数据。用 T-Pot 或 Cowrie 这类开源蜜罐框架部署在公网挂一个月能采集到大量真实的自动化攻击行为日志。这些日志的可贵之处在于真实性。扫描器探测规律、暴力破解的密码字典内容、常见漏洞利用的 payload 模式这些东西在开源数据集里很难有但蜜罐日志里全是原汁原味的攻击行为。蜜罐日志的缺点是信噪比极低一天可能产生几十万条日志有价值的信息可能就几百条。我一般配合沙箱Cuckoo、CAPE对可疑样本做动态分析提取行为报告再转成模型语料。2.5 安全社区与文章沉淀语言风格的自然来源安全博客、技术社区、SRC漏洞报告平台、技术公众号文章这些内容的好处是语言表达丰富自然非常贴近真实安全从业者的交流方式。模型有了这些语料输出的回答才像人话不是机械地拼接知识库条目。采集渠道包括FreeBuf、先知社区、看雪论坛、安全客还有大量独立安全研究者的个人博客。SRC平台如补天、漏洞盒子上的公开漏洞报告也是极佳的数据源里面往往包含完整的漏洞发现过程、利用思路和修复建议是思维链形式的天然训练样本。2.6 代码仓库定向采集让模型读懂漏洞代码安全大模型需要理解代码层面的漏洞所以 GitHub 上公开的 PoC 仓库、漏洞利用代码、安全工具的源码都是重要的语料来源。我通常用 GitHub API 按关键词检索比如 CVE-2024-xxxx PoC、exploit、C2 framework 等把命中的仓库克隆下来然后只抽取代码文件中的注释、README、以及代码本身。需要注意合规问题只采集明确开源授权的仓库不碰私有仓库和授权不明的代码。2.7 大模型辅助生成语料用合成数据弥补缺口最后这条渠道是最近才大规模用起来的——用现成的通用大模型辅助生成安全领域的训练数据。具体做法包括让大模型把漏洞公告改写成通俗的漏洞科普文章把英文安全文档翻译成中文再反向翻译做一致性校验把结构化漏洞数据生成问答对CVE-2023-1234 影响哪些版本攻击复杂度是多少让大模型扮演攻击者和防御者进行对话生成安全运营场景的语料用大模型生成语料要控制比例我建议合成语料不要超过总语料的20%否则模型容易学到大模型自身的表达习惯和错误认知。3. 合规红线与隐私处理安全数据比其他领域更敏感网络安全数据有个天然矛盾你想训练的恰好是那些最敏感的信息。漏洞细节、攻击手法、恶意样本、真实攻击日志这些内容如果处理不当轻则数据来源方追责重则触碰法律红线。3.1 数据获取阶段的授权边界获取安全数据首先要搞清楚来源的授权条款。GitHub 仓库看 License公开数据集看发布说明爬虫采集看 robots.txt 和平台服务条款。有些安全社区明确禁止爬虫抓取内容用于模型训练这条红线不能碰。我遇到过最典型的案例某个团队从某漏洞报告平台批量爬取了所有漏洞报告用于训练因为平台声明禁止任何形式的自动抓取最后被平台发函要求删除数据并停止训练。这里我的原则是——宁可少一些数据也不碰授权不明的来源。3.2 四个必须做的脱敏处理即便数据来源合规内容本身也可能包含敏感信息。互联网上采集的日志、报告、文章里经常夹带个人隐私和敏感落地数据。我总结了一套四层脱敏流程脱敏层级处理内容常见手段第一层个人身份信息PII邮箱、手机号、身份证、姓名等正则替换统一改为脱敏占位符第二层网络标识信息内网IP段、域名、MAC地址映射为随机生成的仿真数据第三层凭据信息密码、Token、API Key、私钥片段一旦识别直接删除第四层敏感落地信息涉及具体企业名称、真实业务系统的描述进行泛化替换注意第二层很重要。内网IP和域名除了隐私问题还有个更实际的风险——直接保留会让模型产生错误的联想把某个特定域名和某种攻击行为建立强关联实际推广到新环境时模型表现会很差。把具体域名泛化成internal-host-01这类占位符反而提升了模型的泛化能力。3.3 二进制样本的合规存放如果你的数据来源涉及恶意软件样本VX Underground、TheZoo 这类要特别注意样本不能直接进入语料库也不能放在公开可达的存储上。我一般把样本文件单独存到隔离对象存储里训练时只提取样本的行为分析报告、静态特征描述等文本信息样本本身不允许出现在训练数据流水线里。这么做的原因有两个。第一是安全考虑模型输入输出过程中样本泄露风险太高第二是法律考虑恶意代码在一些司法管辖区属于受管制对象。所以用样本分析后的描述文本而不是样本本身是安全大模型数据工程的一条铁律。4. 清洗与去重从原始杂乱语料到训练可用格式数据拿到手七七八八什么格式都有下一步就是清洗加工。这个环节决定了模型训练的天花板网上流传一句老话——garbage in, garbage out。我见过太多团队在模型结构和调参上花大量精力却忽视了数据清洗最后训练效果始终上不去。4.1 非结构化文本的抽取与转写原始数据大量是 HTML 页面、PDF 文档、二进制格式第一步是把它们转成纯文本。实际操作中我用的工具链是HTML 转文本用 BeautifulSoup 或 trafilatura。这里有个坑安全博客大量使用代码高亮插件和广告位trafilatura 默认配置抽取效果比 BS4 自己写好很多能自动跳过导航栏、页脚、广告区的噪声。PDF 转文本先用 pdfplumber 试试复杂版式漏洞报告经常是双栏或带大量图片注释用 OCR 兜底。注意安全领域的 PDF 经常含有技术文档中少见的特殊字符比如 Unicode 混淆攻击的真实样本OCR 后要做字符编码归一化。日志与流量文件PCAP、EVTX、Syslog 这类先用 Wireshark/tshark、EVTXtract、LogParser 转成 CSV 或 JSON 文本再入语料库。抽取完还要做一轮质量过滤。我常用的过滤规则文本长度少于200字符的丢弃重复率过高的模板文本比如大量类似的告警日志按比例抽样保留检测到乱码或编码异常的直接剔除。4.2 深度去重不只是删掉一模一样的内容网络安全语料的重复问题比通用语料严重得多。一个漏洞分析报告会被几十个公众号转载一个攻击事件会被上百家媒体改写。如果不去重模型会反复强化同一段知识导致过拟合到某些特定表达上。传统去重MD5比对、Jaccard相似度对完全复制有效对改写转载效果有限。我推荐使用MinHash LSH 的近似去重方案。具体参数我给一个可以参考的配置对文本做 5-gram 分片计算 MinHash 签名使用 128 个哈希函数分成 16 个 band相似度阈值设置在 0.8高于阈值的文本对视为重复保留信息量更大、表达更完整的一篇不要用 SimHash它在大规模文本去重上的精度不如 MinHash 稳定尤其安全文档大量存在长代码片段SimHash 容易被代码局部特征带偏。4.3 安全语料的格式统一与对话样本构造清洗后的语料最终要统一成模型训练的格式。我的做法是把原始文本分成两个池子预训练语料池纯文本格式一篇一个文档用特殊分隔符分开比如|endoftext|。来源包括博客文章、漏洞报告、知识库文本、情报描述。这个池子的数据用于继续预训练增量预训练。指令微调语料池JSONL 格式每行一个样本结构是{instruction: ..., input: ..., output: ...}。这个池子的数据是从清洗后的文本里二次构造的问答对。构造问答对是个手艺活。我常用的构造方式有四种一是从漏洞报告中提取漏洞描述-成因分析-修复建议三元组转成问答二是把 ATTCK 技术条目转成攻击者会如何利用XX技术的问题和答案三是基于威胁情报生成这个IOC关联什么恶意家族的问答四是让大模型把长文章改写成单轮问答再人工抽检。5. 增量训练与微调的数据配比不是堆量就能出效果数据准备好了还有一个绕不开的问题拿多少数据训练、各类数据按什么比例混合。这个比例直接决定模型最终的能力偏向。5.1 继续预训练和指令微调的数据配比如果是在通用底座模型上做网络安全方向的继续预训练我的经验做法是分两阶段第一阶段用大规模免费样本来建立领域词汇和知识骨架比如从头收集的安全文章、漏洞库、代码仓内容总量建议1到3GB左右的文本语料。第二阶段用企业内部的、较敏感的高质量私有数据做针对性增强日志脱敏文本、内网蜜罐数据、自产情报标注量不在多但相关性极高。两阶段配比大概控制在 70% 通用安全语料 30% 针对性私有语料。5.2 通用语料与安全语料的黄金比例这里有个反直觉的结论纯安全语料训练出来的模型效果往往不如掺了通用语料的模型。原因是安全语言表达极其依赖通用语言的底座。如果模型只见过安全文本它可能会用漏洞利用这类术语表达一切概念导致生成的回答生硬且隐晦。我实践下来继续预训练阶段安全语料和通用语料的比例控制在 3:1 到 4:1 比较合适。通用语料不需要额外采集直接用公开的 Chinese-LLaMA 或 SkyPile 的子集即可。指令微调阶段就完全不一样了。SFT 阶段建议全部使用安全领域的数据因为此时模型的目的是学会如何回答安全类问题这个行为模式通用指令数据反而会稀释领域能力。5.3 指令数据的难度阶梯与思维链样本指令微调数据的质量比数量重要得多。我建议把安全指令数据按难度分级初级概念问答如什么是XSSSQL注入的分类有哪些中级场景分析如拿到一个告警日志如何判断是不是误报高级推理任务如根据流量特征分析攻击者可能的下一步动作三级数据配比建议 2:5:3。占比最高的是中级场景分析因为这是安全运营人员真实工作中最常遇到的需求。高级推理任务要多设计需要思维链的样本让模型输出包含推理过程。构造思路上可以参考给一个渗透测试场景要求模型先列出目标信息收集的步骤再分析漏洞可能性最后给出利用思路和修复建议。这类数据不需要每一步都是完美答案关键是推理路径要合理。5.4 对抗样本与负样本的必要性安全大模型跟通用大模型有个很大的不同——它会被攻击者针对性地探测和诱导。比如攻击者可能故意问如何绕过Web应用防火墙如果模型只会正面回答就变成了攻击辅助工具。所以安全大模型的训练数据里必须包含大量边界约束负样本。常见做法是给部分危险问题配上合规的拒绝或引导性回答比如这个问题涉及具体绕过技术的细节我不能直接给出完整方案但可以解释WAF的常见检测机制和原理。负样本的比例不要过高我一般控制在指令数据总量的10%到15%太多会导致模型过度保守什么都拒绝回答可用性大打折扣。6. 数据质量评估与迭代闭环用客观标准替代感觉最后聊一个很多团队忽略的问题数据搞完了怎么知道数据质量到底行不行总不能等模型训练完才发现数据有问题。我搭建了一套训练前评估-训练中监控-训练后复盘的闭环机制这里把核心步骤分享出来。6.1 训练前小规模试训与困惑度评估正式训练前先用小批量数据大概总量的5%-10%做一次短周期的试训练观察两个指标一是训练损失Training Loss下降曲线是否平滑。如果损失在某个点突然反弹大概率是语料里混入了大量噪声或重复内容如果损失下降过慢可能是数据格式不统一模型在努力适应文本结构。二是困惑度Perplexity对安全领域专门做一个评测集包含漏洞知识、攻击技术命名、情报术语、代码安全等几类问题用同一批评测题对比增量训练前后的得分。困惑度显著下降说明数据方向是对的。6.2 训练中训练动态的告警阈值训练过程中我会在日志系统里设置几个告警阈值loss 炸点突然上升超过历史均值的3倍、梯度范数异常、数据采样卡死。这些异常往往指向数据 pipeline 的问题而不是模型的问题。举个例子有一次训练到第三步 loss 突然飙升查了半天发现是某个新增数据源里有百万级重复内容被采样器反复抽中导致模型出现病态更新。如果没设告警这个问题可能要白跑几十个小时才发现。6.3 训练后基于真实场景的回归测试训练结束后除了常规的评测集测试我强烈建议做一轮真实安全任务的回归测试。题目应该由一线安全工程师从实际工作场景中提取比如给出一个 Snort 规则问模型是否发现里面的绕过逻辑给一段恶意流量描述让模型判断属于哪类攻击给一个 CVE 编号让模型复述影响范围并给出修复建议这些题目不一定要多难但必须紧贴真实使用场景。我在这轮测试里发现过奇葩问题模型把SMB 端口 445写成了445 端口是 RDP 吗原因是训练语料里大量混入了问答社区的垃圾回复清洗环节没有做答案正确性验证。6.4 数据版本管理与溯源数据迭代的地基数据工程是持续迭代的今天加了新数据源明天调整了清洗规则如果没做版本管理后面复盘会非常被动。我现在用 DVCData Version Control管理数据集的每次变更每次清洗或新增数据都生成新版本记录数据来源清单、清洗脚本版本、关键处理参数、数据量变化、过滤规则变更。训练脚本里固定数据版本号确保任何一次训练结果都能追溯到具体的数据集快照。这个习惯救过我一次某次模型效果突然变差我翻数据版本发现是某个清洗脚本的正则表达式写错了把 http:// 当成了 URL 噪声全部删掉导致语料里大量出现残缺的 URL 片段。有版本管理十分钟定位问题并回滚没有版本管理可能要在几 TB 数据里捞针。写在最后的一点实在话数据获取这件事我做了快一年最深的一个体会是别指望一步到位也别指望靠钱砸出来。安全大模型的数据工程本质上是把碎片化的知识重新组织成一门可以学习的语言。今天这个模型能回答简单概念问答明天加了威胁情报数据后能分析攻击事件了后天补了代码数据后能看漏洞代码了——每一轮迭代都是建立在前面数据基础上慢慢爬坡的。如果让我给刚开始做这个方向的人一条最实在的建议那就是先别贪多求全。用一个星期跑通数据采集 → 清洗 → 小规模训练 → 评测这个最小闭环哪怕数据量只有几百兆也没关系。先把流程跑顺再逐步扩充数据来源远比一开始就试图堆几十 GB 数据靠谱得多。数据管道打通了后面的路才走得快。