1. 项目概述在Windows系统上利用9070XT显卡运行Ollama大模型去年入手9070XT显卡时我就琢磨着怎么把这16GB显存用在AI计算上。经过多次尝试终于找到了一套在Windows系统稳定运行Ollama大模型的方案。不同于常规的Linux环境部署Windows下的配置需要特别注意驱动兼容性和计算资源分配问题。这个方案特别适合两类人群一是手头有AMD显卡但不想折腾双系统的开发者二是需要快速验证大模型效果的Windows用户。实测在9070XT上可以流畅运行7B参数的Llama2模型推理速度能达到8-10 tokens/s完全满足本地开发和测试需求。2. 环境准备与核心组件解析2.1 硬件配置要求我的测试平台配置如下CPUAMD Ryzen 7 5800X显卡AMD Radeon RX 9070XT (16GB GDDR6)内存32GB DDR4 3200MHz系统Windows 11 22H2关键点在于显卡驱动版本。必须安装最新版Adrenalin驱动建议23.12.1及以上旧版驱动在ROCm支持上存在兼容性问题。安装后需在设备管理器确认显卡计算功能正常启用。2.2 软件依赖安装需要按顺序安装以下组件Windows Subsystem for Linux (WSL2)以管理员身份运行PowerShellwsl --install -d Ubuntu-22.04安装完成后务必执行wsl --update获取最新内核ROCm 5.7.1 for WindowsAMD官方提供的计算平台下载后需手动添加环境变量ROCM_PATHC:\Program Files\AMD\ROCm\5.7.1 HIP_PATHC:\Program Files\AMD\ROCm\5.7.1\hipPython 3.10环境建议使用Miniconda创建独立环境conda create -n ollama python3.10 conda activate ollama3. Ollama部署与优化配置3.1 安装Ollama核心组件在WSL Ubuntu环境中执行curl -fsSL https://ollama.com/install.sh | sh安装完成后需要修改服务配置sudo nano /etc/systemd/system/ollama.service在[Service]段添加EnvironmentHIP_VISIBLE_DEVICES0 EnvironmentHSA_OVERRIDE_GFX_VERSION11.0.03.2 模型下载与加速技巧国内用户推荐使用镜像源加速下载OLLAMA_MODELS_SOURCEhttps://ollama-mirror.example.com ollama pull llama2:7b实测下载速度能从50KB/s提升到8MB/s。对于7B模型完整下载约需15分钟取决于网络状况。3.3 性能调优参数创建~/.ollama/config.json添加以下配置{ num_gpu_layers: 35, main_gpu: 0, tensor_split: 0.9, threads: 8 }关键参数说明num_gpu_layers控制在GPU上运行的Transformer层数35层可将7B模型完全载入显存tensor_split显存分配比例0.9表示90%显存用于模型推理4. 常见问题与解决方案4.1 显存不足错误处理当遇到CUDA out of memory错误时可以降低num_gpu_layers值建议每次减少5层在启动命令添加--low-vram参数清理后台占用显存的程序如游戏、视频播放器等4.2 中文输出异常优化对于中文支持问题建议ollama run llama2:7b --template {{ .System }}你是一个中文AI助手\n{{ .Prompt }}或者在pull时指定中文优化版本ollama pull llama2-chinese:7b4.3 性能监控与调优推荐使用AMD Radeon Software的性能监控功能重点关注GPU利用率理想值90%显存占用建议不超过15GB核心温度建议85℃可以通过ollama serve --verbose查看详细日志关注token生成耗时指标。5. 进阶应用场景5.1 本地API服务部署创建start_api.sh脚本#!/bin/bash ollama serve --host 0.0.0.0 --port 11434 curl -X POST http://localhost:11434/api/generate -d { model: llama2:7b, prompt: 为什么天空是蓝色的, stream: false }Windows端可以通过端口转发访问netsh interface portproxy add v4tov4 listenport11434 listenaddress0.0.0.0 connectport11434 connectaddress$(wsl hostname -I)5.2 多模型并行运行技巧通过修改服务配置实现多实例sudo cp /etc/systemd/system/ollama.service /etc/systemd/system/ollama2.service修改新服务的Environment参数为EnvironmentOLLAMA_HOST0.0.0.0:11435这样可以在不同端口运行多个模型实例。经过两个月的实际使用这套方案在保持系统稳定的同时能充分发挥9070XT的计算性能。有个小技巧分享定期执行ollama prune可以清理缓存碎片长期使用后性能可提升15%左右。对于需要更高性能的场景可以考虑在WSL内编译启用FlashAttention的定制版本不过那又是另一个复杂话题了。