【免费下载链接】TensorFoldLLM Inference Engine for Metal, CUDA and Vulkan.项目地址https://gitcode.com/gh_mirrors/te/TensorFold点击查看免费下载TensorFold 是一个纯原生的 LLM 推理引擎用 Zig 编写、直接运行 Metal 与 CUDA 内核无需安装 Python 或 MLX。本文将带你走完第一个请求的全流程用tensorfold pull一键下载并校验模型再发一条curl请求约 5 分钟在本地部署一个 OpenAI 兼容的 Chat 服务。1️⃣ TensorFold 是什么无 Python 依赖的本地推理引擎TensorFold 1.0.5 以单个可执行文件的形式提供大语言模型服务引擎直接读取模型 checkpoint、处理 tokenize 请求、在 GPU 上运行推理内核。核心特性说明 纯原生运行一个二进制文件即服务无需 Python、MLX 或 Xcode 环境 Apple SiliconMetal 后端覆盖 M1 到 M5 全系芯片 NVIDIA GPUCUDA 后端支持 DGX SparkGB10与 RTX 30 系列 OpenAI 兼容 API默认监听http://127.0.0.1:8080/v1提供 chat/completions、completions、Responses 和 Anthropic Messages 路由 自带模型管理pull下载 sha256 全文件校验 断点续传最多 16 条连接并行下载项目结构上模型管理子命令models、info、pull实现在 zig/src/cli/cli.zig下载与校验逻辑在 zig/src/cli/pull.zigHTTP 服务实现在 zig/src/server/ 目录中。2️⃣ TensorFold 安装步骤macOS 与 Linux 两种方法方法一macOS Homebrew 安装最简单brew install ashhart/tensorfold/tensorfold tensorfold --version tensorfold capabilities --jsonHomebrew 会把原生二进制注册为tensorfold命令capabilities --json可以查看当前二进制支持的参数与平台值。方法二Linux / 发布包安装CUDA 用户从项目发布页下载对应平台的发布包arm64 选linux-aarch64x86_64 选linux-x86_64连同附带的 sha256 校验文件一起下载并验证V1.0.5 curl -fLO 发布页地址/tensorfold-$V-linux-x86_64.tar.gz sha256sum -c tensorfold-$V-linux-x86_64.tar.gz.sha256 tar -xzf tensorfold-$V-linux-x86_64.tar.gz cd tensorfold-$V-linux-x86_64 bin/tensorfold-native --version发布包要求 glibc 2.28 以上以及提供libcuda.so.1的 NVIDIA 驱动。CUDA 内核已内嵌在可执行文件中无需额外安装。详细步骤见 RUNBOOK.md。3️⃣ 三步下载模型tensorfold pull 一键获取并校验以 Nemotron 3.5 Lightning 30B-A3BMLX 4-bit 量化为例一条命令即可完成下载tensorfold pull TensorFold/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bitpull命令背后做了不少保险工作全文件校验大文件逐段做 sha256小文件用 git blob sha1 校验防止下载损坏高速下载大文件切成多段最多 16 条连接并行拉取断点续传中断后重新执行pull只补齐缺失的片段拒绝不兼容模型1.0.5 不支持的模型家族会直接拒绝下载。模型会落到 Hugging Face 缓存目录~/.cache/huggingface/hub/。下载完成后用两个子命令确认tensorfold models # 列出缓存中可服务的 checkpoint tensorfold info TensorFold/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bitinfo会展示该 checkpoint 的模型家族、量化格式、上下文窗口和内存下限帮你判断本机能否跑得动。4️⃣ tensorfold serve 常用参数速查在确认模型可用后启动本地 Chat 服务注意服务是常驻进程保持终端运行tensorfold serve $HOME/models/nemotron-lightning \ --name local-model --parallel 1 --context 8192 --temperature 0 --no-thinking新手只需关注这几个高频参数参数作用--name NAME对外暴露的模型 ID客户端请求时要填这个名字--port PORT监听端口默认8080--context N限制提示词 回复的总 token 数--temperature T采样温度0表示贪心解码输出最稳定--no-thinking关闭模型的推理thinking块回复更直接--parallel N允许同时接纳的请求数auto为默认值--api-key KEY开启 Bearer 鉴权对局域网开放时强烈建议服务默认只监听127.0.0.1本机访问无需鉴权如需远程访问加--host 0.0.0.0 --api-key-file ...客户端通过Authorization: Bearer KEY携带密钥。完整参数表见 README.md。5️⃣ curl 第一个对话3 个请求验证服务新开一个终端先用健康检查和模型列表确认服务就绪curl -fsS http://127.0.0.1:8080/health curl -fsS http://127.0.0.1:8080/v1/models然后发出第一个 Chat 对话请求curl -fsS http://127.0.0.1:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model:local-model,messages:[{role:user,content:用一句话打个招呼}],max_tokens:128,temperature:0}成功时会收到类似这样的 JSON 响应内容为示例{ model: local-model, choices: [ { message: { role: assistant, content: 你好我是一个运行在你本地机器上的语言模型。 } } ], usage: { prompt_tokens: 23, completion_tokens: 15, total_tokens: 38 }, tensorfold: { tokens_per_second: 118, time_to_first_token: 0.31 }tensorfold字段是原生服务独有的运行统计包含解码速率、首 token 延迟、草稿接受率等指标——这也是它比通用推理框架更有工程师味道的地方。想要流式输出在请求体里加上stream: true回复将以 SSE 逐段推送最后一个事件携带 token 用量。多轮对话则只需把上一轮的assistant回复追加进messages数组再发一次即可后续轮次会自动复用已缓存的前缀状态响应更快。请求字段与路由的完整说明见 docs/api.md。6️⃣ 选对模型按硬件匹配官方认证清单不是任意模型都能跑——TensorFold 只服务经过认证的模型 硬件组合。1.0.5 的认证清单如下模型Checkpoint 格式认证平台Nemotron 3.5 Lightning 30B-A3BMLX affine 4-bitM1–M5MetalGB10 / RTX 3090CUDANemotron 3.5 Lightning 30B-A3BNVFP4NVIDIA NVFP4GB10sm_90 及以上CUDAQwen3.8 Flash NextMLX affine 6-bitM5 UltraMetalGLM-5.3-FlashMLX affine 4-bit双 M5 UltraMetalQwen3.5-2BMLX affine 4-bitM5 MaxMetalQwen3.8-27BMLX affine 4-bit DFlash2 草稿器M5 Max / M3 Ultra各模型的完整使用配方checkpoint 来源、版本 revision、启动参数都在 docs/recipes/ 下例如 docs/recipes/nemotron-3.5.md、docs/recipes/qwen3.8-27b.md。7️⃣ 常见问题速查部署卡住了怎么办现象排查方向找不到可执行文件Homebrew 安装用tensorfold发布包安装用bin/tensorfold-native模型无法打开checkpoint 是否完整、量化格式是否受支持、路径或缓存是否存在客户端连不上看服务端日志、先试/health、检查 base URL、模型 ID、监听地址与 API keyCUDA 内核资产缺失使用发布包自带的share/tensorfold/cuda/或通过TENSORFOLD_CUDA_KERNELS指定内存不足被拒绝调小--context或--max-tokens或换更小的认证模型更多排查细节见 RUNBOOK.md。写在最后回顾一下这条 5 分钟路线brew install或解压发布包→tensorfold pull下载校验模型 →tensorfold serve启动服务 →curl发出第一个 Chat 请求。全程只用了四条命令没有一行 Python。接下来你可以试试加--dashboard参数启动打开本地/dashboard页面实时查看服务状态把 OpenAI 客户端的 base URL 指向http://127.0.0.1:8080/v1直接复用现有工具链阅读 README.md 了解上下文压缩--compact-at与 Living Weights 等进阶能力。本地跑通第一个请求只是起点——这个 Chat 服务已经完全兼容 OpenAI 协议你的应用代码几乎无需改动。赞分享【免费下载链接】TensorFoldLLM Inference Engine for Metal, CUDA and Vulkan.项目地址https://gitcode.com/gh_mirrors/te/TensorFold点击查看免费下载相关推荐从零到第一次对话:FreeToken快速开始完整指南,5分钟启动本地大模型服务从零到第一次对话:FreeToken快速开始完整指南,5分钟启动本地大模型服务 本指南带你用 FreeToken 在自己的电脑上启动一个 免费的本地大模型服务人工智能大模型模型推理服务本地部署推理引擎如何快速掌握xLSTM从安装到实战的完整指南 如何快速掌握xLSTM从安装到实战的完整指南 xLSTM是一款革新性的循环神经网络架构基于原始LSTM改进而来通过指数门控和矩阵记忆技术突破传统模型GodSVG高级技巧利用ThorVG渲染后端实现高质量图形输出GodSVG高级技巧利用ThorVG渲染后端实现高质量图形输出 GodSVG是一款跨平台的矢量图形编辑应用专注于结构化SVG编辑目前处于后期alpha阶段创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考