资讯详情

资讯详情

WeKnora 本地化部署:断网也能跑通的完整文档问答方案

WeKnora 本地化部署断网也能跑通的完整文档问答方案【免费下载链接】WeKnoraOpen-source LLM knowledge platform: turn raw documents into a queryable RAG, an autonomous reasoning agent, and a self-maintaining Wiki.项目地址: https://gitcode.com/GitHub_Trending/we/WeKnora把网线拔掉文档照样能解析、问题照样能问、回答还带着引用出处——这就是 WeKnora 本地化部署 带来的结果。它是一个开源 LLM 知识平台把 PDF、Word 等原始文档变成可检索的 RAG 知识库配上会自主推理的问答 Agent还能自动生成 Wiki。部署完成后解析、检索、推理全部在本机完成数据不出机器。适合上本地还是先别急着上适合上本地先别急着上机器连不上外网单位内网、机房服务器浏览器都打不开云端模型 API 无从调起。本地部署后解析、检索、推理全在本机完成只是个人尝鲜、用不到多空间协作先试单应用、零依赖的 Lite 版本部署更轻见 docs/LITE.md数据不能出机器金融、政务、医疗的涉密文档交给第三方 API 过不了合规私有化之后文件只落在自己的磁盘上外网稳定、只是短期使用本地部署要额外备硬件和镜像成本未必划算想在自己的硬件上吃透整套 RAG或给小团队做试点单机 Docker 就够不用上 Kubernetes 那套重型编排机器与前提条件核对表项目要求备注软件Docker ≥20.10 Docker Compose v2 GitOllama 不用预装启动脚本会自动装硬件8 核 CPU 32GB 内存起步模型推理主要吃内存跑 7B 对话模型建议留 16GB 以上可用内存磁盘预留 200GB镜像、模型、文档解析产物都会往盘上写联网窗口首次拉镜像和拉模型必须联网无网机器先在联网机上用docker save打包镜像、导出模型拷过去再部署⚠️ 无网环境最容易卡住的一步就在这里别指望在目标机上现拉。思路是先备货、后断网——在一台能上网的机器上把所有大件备齐再整体搬到目标机。部署主线从配置入口到上线走查配置入口.env 是唯一入口git clone https://gitcode.com/GitHub_Trending/we/WeKnora cd WeKnora cp .env.example .env这一个文件就是整套部署唯一的配置入口数据库密码、存储类型、Ollama 地址全在里面模板每一项都带注释。重点确认三处STORAGE_TYPE保持local文件直接存进容器挂载的本地目录不引入对象存储少一个外部依赖OLLAMA_BASE_URL用单机默认值http://host.docker.internal:11434容器靠它找到宿主机的 OllamaDB_PASSWORD、REDIS_PASSWORD、SYSTEM_AES_KEY换成自生成值——内网部署也别沿用模板里的示例值。另外 config/config.yaml 会被直接挂载进 app 容器想微调解析和检索行为改它就行不用重建镜像。离线启动命令./scripts/start_all.sh --no-pull--no-pull表示不联网拉镜像、只用本地已有的这是 WeKnora 本地化部署 离线场景的关键开关第一次在有网机器上装就去掉它。脚本按顺序做三件事先看 Ollama 是否在跑再核对 .env 是否齐全最后用 compose 把前端、app、postgres、docreader、redis 几个容器一起拉起来。动手前也可以先跑./scripts/start_all.sh -c做一次环境自检。 等它打出两行地址——前端界面: http://localhost和API接口: http://localhost:8080集群就算起来了。模型就位检查ollama pull bge-m3 # 嵌入模型 ollama pull qwen2.5:7b # 对话模型可换成你已有的模型名无网机器上这两步要在联网机执行导出模型文件拷过来再导入。就算模型还没就位app 也只是打一条告警进程不会崩但问答会不可用所以别把这步往后拖。上线验收走查服务起来后别信脚本的自报自己走一遍docker compose ps所有容器 Up重点看 WeKnora-app、WeKnora-postgres、WeKnora-docreadercurl -f http://localhost:8080/health返回 200后端健康浏览器打开 http://localhost默认开放注册注册并登录第一个账号新建知识库、上传一份 PDF等解析状态变成完成在问答页问这份文档主要讲什么能拿到带引用出处的回答解析、检索、推理三件事就算全通了。高频故障排查路径app 容器反复重启日志报 Ollama 连不上→ 先在宿主机执行curl http://localhost:11434/api/tags确认 Ollama 进程活着 → 再看 .env容器里这个地址必须写host.docker.internal写成localhost是连不到宿主机的。上传文档失败→ 先核文件大小默认单文件上限 50MB由MAX_FILE_SIZE_MB控制超了会被直接拦下 → 没超就翻docker compose logs docreader的输出解析器会写明不支持的是哪种格式。问答太慢→ 没 GPU 时推理只能靠 CPU 硬扛先换一个小一号的对话模型 → 如果瓶颈在内存再把 .env 里的BATCH_EMBED_SIZE调小这两招见效都比换硬件快。想继续压性能优先动三个旋钮对话模型规格、嵌入批次大小、top_k 召回数量——都集中在 .env 和 config/config.yaml 里。收尾数据不出机器整套 WeKnora 本地化部署 走完解析、检索、推理都留在了本机数据从头到尾没出过这台机器。后面建议做两件事给数据卷挂一块独立磁盘、定期备份把 Ollama 指向内网显存最大的那台机器把推理负载分担过去。想深入的话从这几份仓库内材料入手启动、停止与环境自检scripts/start_all.sh配置模板.env.example、config/config.yaml运维与解析细节docs/QA.md、docs/CHUNKING.md【免费下载链接】WeKnoraOpen-source LLM knowledge platform: turn raw documents into a queryable RAG, an autonomous reasoning agent, and a self-maintaining Wiki.项目地址: https://gitcode.com/GitHub_Trending/we/WeKnora创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →