简介华为分布式存储软件 FusionStorage 安装指南面向存储系统工程师与运维人员主要解决在虚拟化生产环境中正确部署 FusionStorage 的困惑。整个压缩包只有一个 PDF 文件体积约 2.98MB内容为 2016 年发布的官方安装手册目前已有三百八十人学习该文档。文档按照安装简介、安装准备、系统要求、部署 FSM 组件、部署 FSA 组件等模块组织具体涵盖 FSM 的安装与配置、FSA 的安装与可选配置如安装存储节点、挂载元数据分区、配置 IB 网络以及将存储资源接入虚拟化环境的完整步骤整个流程覆盖从环境检查、组件部署到资源接入的主要环节。由于 FusionStorage 基于分布式架构强调高性能、低延迟和可扩展性文档对这些关键配置给出了针对性说明可帮助读者规避常见部署问题并建立从环境检查到资源上线的实施思路无论初次部署还是系统扩容都能从中找到对应操作指引。1. FusionStorage软件安装指南为什么拿到PDF仍然装不上很多运维同事拿到《华为FusionStorage软件安装指南.pdf》后第一反应是照着文档敲命令但实际部署时还是会卡在“节点间网络不通”“存储池状态异常”这类问题上。FusionStorage是华为的分布式块存储软件核心是把多台服务器的本地磁盘聚合成一个统一存储池再通过iSCSI或FC协议提供给上层虚拟化和数据库使用。安装这套软件不只是跑完安装脚本它涉及硬件兼容性核对、组网规划、License导入、存储池初始化等一系列环节任何一个环节出错存储集群都起不来。这篇笔记不打算复述PDF里的操作截图而是把我在多个项目里跑通FusionStorage安装的完整链路讲一遍从拿到软件包开始到集群初始化完成再到最终能在虚拟化平台里创建一块可用存储卷。适合正在做存储选型或首次部署FusionStorage的工程师参考也适合读过PDF但没实际动手、需要避开常见坑的同行。2. 安装前必须做三件事看清版本、核对硬件、画好组网安装FusionStorage这类分布式存储最大的误区是拿到软件介质就直接开工。我一般会先花半天时间做环境检查这个时间省不得否则后面集群起不来排查起来更痛苦。2.1 先确认版本和License模式FusionStorage 6.3和8.0安装差异很大FusionStorage目前常见的是6.3和8.0两个大版本。6.3.x对底层操作系统和虚拟化平台的要求比较传统支持Linux和FusionSphere8.0开始支持容器化和更智能的运维界面安装方式也有调整。拿到《华为FusionStorage软件安装指南.pdf》后先翻到“版本配套表”那一节确认你手头的软件包和操作系统、虚拟化平台是匹配的这一步直接决定后面能不能装成功。License模式也要提前确认。FusionStorage按容量授权有永久License和订阅制安装时需要一个License文件里面写明了允许使用的容量上限和功能特性。我遇到过有人装完集群后才发现没用License文件结果存储池只能创建很小的卷业务一跑就报容量不足。所以安装前先把License文件准备好或者至少有评估版的授权文件。2.2 硬件兼容性不要只看CPU和内存网卡和硬盘控制器才是大头FusionStorage对服务器的要求有自己的兼容性列表尤其是网卡型号、硬盘控制器、固件版本。官方文档里会列出兼容的服务器型号和配件型号比如华为RH2288H、TaiShan 200等。如果用的是白牌服务器需要重点确认网卡是否支持SR-IOV和RDMA因为FusionStorage的数据路径对网络延迟非常敏感普通千兆网卡在性能测试时很容易成为瓶颈。硬盘控制器方面建议关闭RAID卡的Cache直通模式JBOD是最稳的选择。FusionStorage要求每块物理盘都能被操作系统直接识别如果RAID卡把多块盘组了RAID 0安装程序会认不出单个磁盘导致存储池候选盘数量不够。这一点我在一个项目里踩过服务器是华为RH2288H默认RAID卡开了Cache装完FusionStorage Manager后扫描节点发现所有磁盘状态都是“无候选盘”最后进BIOS把RAID卡改成JBOD模式才解决。2.3 组网规划存储平面网络隔离没做好集群很容易脑裂FusionStorage的组网分为业务网络、存储网络、管理网络三个平面。安装前必选把IP地址规划好存储网络必须和业务网络物理隔离至少也要用VLAN隔开。它的内部通信包括节点间的心跳、数据复制、元数据同步这些流量很大如果业务流量混在一起网络拥塞时节点心跳超时集群就会判定节点故障引发数据重建风暴。IP地址规划表我一般这样列节点角色管理网IP存储网IP业务网IPMDC节点3台192.168.1.11-1310.10.10.11-13172.16.1.11-13VBS节点按需部署192.168.1.21-2310.10.10.21-23172.16.1.21-23OSD节点192.168.1.31-3910.10.10.31-39172.16.1.31-39注意每个角色的三个IP要规划在同一网段内但不同角色之间的存储网络不能互通需要在交换机上做端口隔离。MDC节点建议独立部署3台不要和OSD节点混装否则MDC故障时会影响整个集群的元数据访问。3. 从裸机到集群起来一口气跑完安装链路的操作细节进入安装阶段后我习惯把所有节点先装好操作系统并配置好网络然后再部署FusionStorage软件。这样方便定位问题是出在操作系统层面还是存储软件层面。整个过程分为四个步骤装系统与基础配置、安装FusionStorage Manager、导入License并创建集群、验证集群状态。3.1 操作系统基础配置关闭防火墙和SELinux配置主机名解析FusionStorage要求每个节点的主机名、IP、MAC三者对应关系写入/etc/hosts主机名不能重复不能带下划线。我一般会写成一个脚本在每台服务器上执行避免手工敲错。#!/bin/bash # set_hosts.sh - 配置FusionStorage节点的hosts解析 # 用法: bash set_hosts.sh 本机IP 本机主机名 cat /etc/hosts EOF 192.168.1.11 mdc01 192.168.1.12 mdc02 192.168.1.13 mdc03 192.168.1.21 vbs01 192.168.1.31 osd01 192.168.1.32 osd02 EOF # 关闭防火墙避免FusionStorage内部端口不通 systemctl stop firewalld systemctl disable firewalld # 关闭SELinuxFusionStorage的安装程序不识别SELinux上下文 setenforce 0 sed -i s/SELINUXenforcing/SELINUXdisabled/g /etc/selinux/config # 配置本机主机名与IP一致 hostnamectl set-hostname $(grep hostname -I | awk {print $1} /etc/hosts | awk {print $2})这段脚本做了三件事一是把集群所有节点的主机名与IP解析关系写进hosts文件保证节点间互相通信时不需要依赖DNS二是关闭防火墙因为FusionStorage使用的端口范围很大逐一放行不现实安全要求高的话可以在交换机上做访问控制三是关闭SELinux不然安装程序在调用系统命令时可能被SELinux策略拦截日志会显示权限拒绝。主机名解析这里容易踩坑多个节点之间必须能互相通过主机名访问不能只配本机。可以用ssh 主机名 date测试逐台验证双向解析。另外主机名里不要用中文和特殊符号FusionStorage的安装脚本会对主机名做正则校验。3.2 安装FusionStorage Manager用自动化部署减少手工失误FusionStorage Manager是管理集群的控制节点它负责集群的创建、监控和告警。安装方式有ISO全自动部署和手工安装两种我一般推荐ISO全自动部署因为手工装需要配置数据库、Web服务等多个组件步骤多容易出错。ISO全自动部署的入口是进入BMC挂载ISO镜像然后启动服务器。安装过程中需要手动输入管理网络的IP、掩码、网关等参数。装完Management节点后登录Web界面会看到“添加存储节点”的引导。这里要准备一个包含所有节点信息的Excel或CSV文件格式如下节点IP, 主机名, 角色, 管理网网关, 存储网IP 192.168.1.11, mdc01, MDC, 192.168.1.254, 10.10.10.11 192.168.1.31, osd01, OSD, 192.168.1.254, 10.10.10.31 192.168.1.21, vbs01, VBS, 192.168.1.254, 10.10.10.21注意CSV文件里的IP不能和已有的管理IP冲突存储网IP和管理网IP要在不同网段。上传Excel后Manager会自动推送安装包到各节点并执行节点加入集群的操作。整个安装过程大约30到60分钟取决于节点数量。安装中如果某个节点失败Web界面会显示失败原因。常见的失败原因有节点SSH密码错误、磁盘空间不足/opt分区至少50GB、操作系统版本不在兼容列表内。这时不要反复重试先到失败节点上看/var/log/fusionsphere/下的安装日志定位原因修掉再重新添加节点。3.3 创建集群三个元数据节点是集群正常工作的前提节点全部添加成功后进入“创建集群”流程。这里需要指定集群名称、存储网络网段、元数据节点列表等。MDC节点必须选3台这是FusionStorage集群的一致性和高可用基础。# 登录Manager节点的命令行查看当前节点状态 # 所有节点状态应为“正常”才能创建集群 fsp CLI -c show nodes # 如果某节点状态为“离线”或“异常”先排查网络和SSH服务 # 创建集群的CLI命令示例 fsp CLI -c create cluster -name fscluster -ips 192.168.1.11,192.168.1.12,192.168.1.13 -storage_network 10.10.10.0/24上述命令中-name指定集群名-ips指定MDC节点地址-storage_network指定存储网络的网段。创建集群前要确认MDC节点间网络时延低于1毫秒如果超过这个值集群在后续正常运行时会出现元数据同步延迟表现为读写的延迟抖动。可以用ping -c 100和traceroute检查网络质量。创建集群后系统会自动分配VBS和OSD角色。VBSVirtual Block System负责处理IO请求OSD负责数据落盘。VBS建议至少部署2台并分散在不同物理机上这样一台VBS故障时另一台可以接管IO。检查集群状态的方法是登录Manager的Web界面看“资源概况”里的集群健康度。正常情况下显示“健康”如果显示“亚健康”或“故障”说明有节点离线或者磁盘异常。这一步最好在创建完集群后立即确认不要等到后续存储池创建时报错才回来看。4. License导入与创建存储池让FusionStorage真正可用集群创建完成只是安装的一半导入License和创建存储池才是让存储系统进入生产可用状态的关键。很多刚接触分布式存储的同事把这一阶段当成“管理操作”其实它的配置直接决定了存储性能和可用性边界。4.1 导入License容量和功能的约束都在这个文件里License文件的导入方式有两种一种是通过Web管理界面选择“系统管理”-“License管理”上传后缀为.lic的文件另一种是通过CLI执行导入命令。无论哪种方式导入后要立刻确认两点License容量是否满足规划功能项的开关是否与购买的版本一致。# 通过CLI导入License文件 fsp CLI -c add license -file /opt/license/FS_V6.3_100TB.lic # 查看License容量和使用情况 fsp CLI -c show licenseshow license的输出里会显示总容量、已用容量和到期时间。我习惯在导入后把License信息截图保存到运维档案防止以后容量规划时搞不清授权边界。License容量是存储池裸容量的上限不是可用容量的上限这一点要特别留意。比如购买了100TB的License在三副本策略下实际可用容量大约只有33TB左右因为每份数据要占三倍物理空间。如果业务容量规划是50TB那么License至少要买150TB以上否则存储池创建的卷总大小会受到限制。4.2 创建存储池候选盘怎么选决定了性能天花板存储池是FusionStorage管理物理磁盘的单元创建时需要从所有候选盘中挑出部分或全部加入存储池。候选盘是节点上未被其他系统占用、能被FusionStorage识别的物理磁盘。这些磁盘会按一定策略划分成多个数据分片再复制到其他节点上实现冗余。在Manager界面“存储资源”-“存储池”中点“创建存储池”需要填写存储池名称、选择加入存储池的磁盘、设置硬盘域Disk Domain。硬盘域决定了数据放在哪些节点上一般建议所有OSD节点都加入同一个硬盘域这样数据可以均匀分布到所有节点的磁盘上避免出现热点盘。创建存储池时有个关键参数是“每盘的容量阈值”系统默认是磁盘容量的90%也就是每块物理盘最多使用90%的空间预留10%用于数据重构和临时写缓存。这个参数不建议改成100%因为当某块盘故障时重构任务需要临时额外空间如果磁盘已满重构会失败极端情况可能导致第二个副本丢失。# 创建存储池的CLI命令示例实际命令参数随版本略有差异 fsp CLI -c create storagepool -name sp01 -disk_list /dev/sdb,/dev/sdc,/dev/sdd -domain default-disk_list里的设备名需要先在节点上确认。用lsblk或fdisk -l查出每台节点的裸盘设备名确认没有分区和文件系统。如果磁盘之前被系统分区过需要先清除分区表dd if/dev/zero of/dev/sdb bs512 count14.3 创建存储卷并映射给主机走完最后一步才算真正装完存储池创建成功后还需要创建存储卷Volume并映射Map给业务主机。FusionStorage支持通过iSCSI或FC协议提供块存储虚拟化平台如FusionSphere、VMware通过存储适配器连接后才能识别到存储卷并创建虚拟磁盘。创建卷时选择存储池、输入卷名称和容量。容量单位是GB最小创建大小一般是10GB。映射时选择“添加主机”输入主机IP或主机名系统会自动生成iSCSI IQN或FC WWN。这一阶段最容易出问题的是主机端的发起程序Initiator没配置好导致卷映射成功但主机扫描不到设备。# 在Linux主机上配置iSCSI Initiator连到FusionStorage的存储IP yum install -y iscsi-initiator-utils echo InitiatorNameiqn.2025-01.example:host01 /etc/iscsi/initiatorname.iscsi # 发现存储目标 iscsiadm --mode discovery --type sendtargets --portal 10.10.10.11 iscsiadm --mode node --targetname iqn.2025-01.fusionstorage:vol001 --portal 10.10.10.11 --login执行iscsiadm --mode session查看会话是否建立然后通过lsblk检查是否多出新的磁盘设备。如果看不到新设备优先排查存储网络路由和防火墙状态而不是反复发起登录。iSCSI通过存储网络传输业务主机必须能路由到存储平面的IP很多部署环境里管理网和存储网没打通导致iscsiadm发现目标超时。卷创建和映射完成后建议用fio或dd简单测一下读写确认卷可读写再交付给业务。dd if/dev/zero of/dev/sdb bs1M count1024 convfdatasync可以初步验证写路径再读回来确认数据一致。这个验证不复杂能提前发现卷不可写的隐性故障。5. FusionStorage安装避坑四个高频故障的现象、原因、解决部署FusionStorage过程中最让人头疼的不是安装脚本本身而是安装完成后暴露出来的环境问题。这一章我整理了四类高频故障每类都按“现象到原因再到解决”的顺序梳理基本涵盖了从安装到初始化存储池的常见拦路虎。5.1 节点离线或状态“异常”多半是网络心跳断了现象是Manager界面上某个节点的状态亮红灯或显示“离线”集群告警提示“节点心跳丢失”。查看MDC节点的告警信息显示Lost heartbeat from node xxx。原因是存储网络不稳定或者节点上的防火墙被开启导致FusionStorage的心跳报文被丢弃。还有一种情况是节点的存储网IP配置了多个网卡系统路由表混乱心跳包走了错误网卡。解决方法是先检查物理链路和交换机端口状态然后在每个节点上测试存储平面IP的连通性ping -c 10 对端存储IP如果延迟抖动大于2毫秒说明交换机端口有协商问题需要固定网卡速率和双工模式。如果是防火墙问题把firewalld彻底关闭并设为开机禁用重启节点后再观察状态。5.2 候选盘数量不足RAID卡和分区残留的坑现象是创建存储池时磁盘列表为空或者磁盘平铺后发现每块盘都是“不可用”状态后台日志提示disk has partition table或disk in RAID mode。原因是RAID卡把物理盘做了RAID阵列主机看到的是虚拟盘不是物理盘。另一个原因是磁盘上残留分区表或文件系统元数据安装程序拒绝把它识别为裸盘。解决方法是重启服务器进入BIOS把RAID卡调整为直通模式JBOD或HBA模式并将所有物理盘设为“未配置”。调整后操作系统才能看到每块物理盘。如果是分区残留导致的问题用dd if/dev/zero of/dev/sdX bs512 count2清除前2个扇区的分区表信息再执行partprobe通知内核刷新分区信息然后重新扫描候选盘。5.3 License导入后容量不增加授权容量和可用容量的理解偏差现象是License导入成功但Web界面的“可用容量”与License容量差异很大用户怀疑License没有生效。原因是可用容量裸容量/副本数且还要扣除存储池的预留空间。FusionStorage默认采用三副本冗余License显示“总容量100TB”可用容量可能只有约30TB。如果创建了纠删码存储池可用容量会略高但CPU开销也会增加。解决方法是创建存储池前先计算清楚业务有效容量 License容量 / 副本数 × 0.9预留10%。把这块计算逻辑提前同步给运维和业务方避免后续扯皮。如果业务确实需要更大可用容量可以调整存储池的数据冗余策略为“纠删码42”或“纠删码21”不过要注意纠删码对CPU占用较高部署前测一下同样的IO密度下延时是否满足要求。5.4 卷映射后主机看不到设备iSCSI记得配置发起方名称和网络现象是存储卷创建成功、映射成功但业务主机上lsblk看不到新设备iscsiadm --mode session没有输出或显示Session creation failed。原因是主机端的initiatorname.iscsi未配置或格式错误另一种原因是主机到存储平面的网络不通。iSCSI发现阶段走的是存储网络的IP如果业务主机把流量发到了管理网络网关会超时。解决方法是先确认/etc/iscsi/initiatorname.iscsi的IQN格式IQN要包含合法的日期和域名形式例如iqn.2025-01.example:host01。再确认路由表ip route get 10.10.10.11如果不通需要增加静态路由。然后重新执行发现和登录iscsiadm --mode discovery --type sendtargets --portal 10.10.10.11 iscsiadm --mode node --targetname iqn.2025-01.fusionstorage:vol001 --portal 10.10.10.11 --login登录成功后再执行partprobe或重启iscsi服务让内核重新扫描SCSI总线。6. 把安装经验固化成检查清单最后一次验证和后续习惯安装并初始化FusionStorage后不急着马上交付业务先按一套验证清单走一遍能避免很多生产环境才暴露的问题。这个清单是我经过多个项目迭代出来的每一条都有实际踩坑支撑。检查项验证方法通过标准节点间网络延迟ping -c 100 存储IP平均延迟1ms无丢包存储网络带宽iperf3 -c 对端IP -b 10G实测带宽网卡标称的70%MDC节点时间同步chronyc tracking时钟偏差10ms磁盘候选状态Manager界面查看候选盘所有OSD盘状态为“正常”License容量fsp CLI -c show license剩余容量规划容量的20%存储卷读写dd或fio写后读数据一致无IO错误最后要强调一个我个人的原则安装完成后不要把《华为FusionStorage软件安装指南.pdf》丢进归档目录就完事。把安装过程中实际的版本配套、IP规划、配置文件修改、故障处理记录整理成一份项目自己的运维文档放到团队知识库。因为每个环境的硬件和网络都不可能和官网文档完全一致后期扩容和排障时项目自己的记录往往比官方指南更贴近现场。一次规范的安装交付的不仅是能用的存储系统还包括一份能让后来者快速上手的环境清单。希望这篇文章能帮你少走弯路希望帮到你。本文还有配套的精品资源点击获取