你见过把Fortnite这种满屏枪火、盖楼、跑毒的大逃杀游戏硬生生变成一局只能靠敲字推进的老式文字冒险吗沃顿商学院教授Ethan Mollick还真干过这事——他利用Astra多模态智能体让玩家用自然语言“玩”Fortnite。Astra会盯着游戏画面把眼前的一切实时翻译成文字描述你输入的每一条指令也会被拆解成键盘鼠标操作最终体验就像是在玩一局3D版《zork》。更关键的是他把这套东西做成了在线可访问的demo公开了链接任何人都能在浏览器里体验一把“打字打天下”的奇妙感觉。我前阵子花了好几个晚上把这个案例完整拆了一遍也亲手搭了一个差不多的原型。今天想把这套玩法的思路、技术细节、复现步骤以及我在实操中踩过的坑一次性讲透。不管你只是对AI Agent好奇的玩家还是想研究多模态模型怎么落地的开发者这篇应该都能给你一些启发。1. 这个改造到底是什么拆开它背后的核心思路1.1 “文字冒险版Fortnite”不是改代码而是给AI加了一个“能玩游戏的壳”很多人听到“把Fortnite改造成文字冒险游戏”第一反应是去改游戏源码或者用UEFN去重做地图。但Ethan Mollick这个实验完全不是走这个路线。他没有动Fortnite本身而是在Fortnite外面套了一层AI交互层。Fortnite照样是那个Fortnite画面还是3D实时渲染的建筑、枪械、地形都在。但玩家的操作方式彻底变了你不再用键盘鼠标去瞄准和跑位而是通过一个聊天窗口输入指令比如“跳到前面那堵墙后面躲着”或者“看下附近有什么能捡的”。Astra扮演的是“代理驾驶员”的角色它坐在你电脑前看着屏幕听到你的话之后自己按W、转向、蹲下然后把画面变化实时描述给你听“你躲到了矮墙后方远处传来脚步声空气里有一丝火药味。”这个过程本质上就是给游戏加了一层自然语言界面。以前我们玩游戏必须理解图形界面、操作逻辑、按键绑定现在Astra成了中间的翻译官把你脑子里的念头变成游戏操作再把游戏的世界变成你能读的文本。这种思路最早可以追溯到让AI去玩精灵宝可梦或超级马里奥的像素操作实验但Astra更大的进步在于它可以在没有对手册进行详细编程的情况下通过“看”就理解复杂的3D场景和动态UI。所以这个改造并不是传统意义的MOD而是“超级辅助大脑机械手”的结构。它跳过了改代码、改资源包这些重活把问题转换成了“如何让AI看懂屏幕、如何让AI做出决策、如何让AI准确操作”这个思路可以复用到几乎任何软件上。这也是我对这个项目感兴趣的主要原因——游戏只是一个最有观赏性的试验场。1.2 为什么是Astra为什么是Fortnite选型背后的考量先聊Astra。大家都在说Astra是新一代多模态智能体除了能理解文字和图片还能更自然地识别屏幕中的空间关系、物体状态、UI元素并生成下一步操作指令。像最近很多热搜词里提到“Astra Pro摄像头点云”这类空间感知能力说明这类模型已经开始把画面理解从“这是什么”推进到“东西在哪个位置、离我多远、我该怎么做”的层面。对于控制游戏这种任务来说空间关系和工具调用能力比单纯的图像识别重要得多Astra刚好踩在这条线上。再来看Fortnite。为什么拿它做实验第一Fortnite的世界足够复杂有地图、建筑、地形、天气、NPC、可拾取物远比传统测试游戏更像一个真实环境。如果AI能在这个环境里稳定给玩家提供文字冒险体验那它的泛化能力大概率是靠谱的。第二Fortnite自带的创意模式允许你创建一个私有岛屿相当于一个独立试验室。你可以在这里测试AI操作不会干扰到正常匹配的玩家也更符合游戏规则。第三Fortnite的受众广作为演示项目容易被普通人感知到“AI真的在玩一个大型3D游戏”比在命令行里跑一个文字迷宫更有话题性。Ethan Mollick本身是研究AI在教育和组织场景应用的学者他经常通过公开实验来展示AI工具的现实边界。选择Fortnite这样一个大众熟知的产品也能让非技术背景的人直观理解“多模态Agent到底能干什么”。所以这个选型并不是随手一挑而是兼顾了模型能力验证、实验安全性和传播效果。2. 核心细节拆解Astra如何“看懂”Fortnite并执行玩家指令2.1 屏幕感知与状态构建把像素变成可读的文本世界要让Astra驱动游戏第一件事是让它“看”到游戏。这一步的实现没那么玄乎本质上就是定时抓取游戏窗口的画面然后把截图压缩后发给Astra的视觉接口。我用的方案是用mss库直接抓取显示器指定区域比pyautogui.screenshot()更快尤其是在游戏全屏模式下mss的帧率可以做得比较高。抓到的原始截图通常有1920x1080甚至更高直接送给API会非常慢且耗费大量token所以需要先压缩到合适尺寸比如最长边1024像素。压缩之后画面上文字可能有点模糊但Astra这类模型即便看到部分锯齿仍然能理解场景结构、角色位置和大致物体。在调用Astra之前最关键的是设定一个稳定的“世界描述协议”。你不能让Astra自由发挥写散文而是要求它返回结构化JSON里面包含场景描述、可见目标、玩家状态、动作列表等。我会在提示词里强制规定输出格式比如这样{ scene_description: 你身处一片废弃的街区右侧有一栋三层的蓝色房屋门口有一个宝箱。, visible_objects: [宝箱, 房屋, 树木, 远处敌人], player_state: { health: unknown, position: 蓝色房屋前空地, nearby_interactables: [宝箱] }, suggested_actions: [ {type: press_key, key: w, duration: 1.0}, {type: press_key, key: e, duration: 0.2} ] }这里面scene_description是给玩家看的叙事文本visible_objects是给系统做状态管理用的player_state则用于更新地图中的位置信息。有了这套协议Astra就不再是“随便聊聊画面的聊天机器人”而是成了一个能与下游代码对接的感知模块。2.2 指令解析与动作规划从一句“向左跑”到实际按键光会“看”还不够Astra还得会“动”。当玩家输入“向左跑到墙边蹲下”时我们不能真让Astra生成一段自然语言回答而是要让它在理解指令后生成一系列可执行的动作序列。这个步骤通常需要设计一个动作白名单。我设计的动作列表大概包括这些移动类press_key WASD、release_key视角类mouse_move相对坐标偏移交互类按E键拾取/打开按空格跳跃攻击类鼠标左键按下通常只在确认需要时才启用状态类按1/2切换武器按Tab查看背包或地图Astra返回的actions字段必须严格从这些类型里选不能输出随机坐标或未登记的键位。这样做的原因有两个第一脚本执行层不需要解释复杂语法直接映射到pyautogui或pydirectinput即可第二给Astra的搜索空间设限可以有效降低误操作概率。我在最开始调试时让Astra自由输出动作结果它有时候会输出一个根本不存在的键或者自作主张把鼠标甩到屏幕边缘这种自由发挥在真实游戏中非常致命。动作的执行顺序也很重要。比如“跑向宝箱并拾取”这个复合指令Astra给出的动作序列应该是先按W前进2秒松开再轻微左移调整方向最后按E键。这里要注意动作之间必须留出足够的间隔时间否则游戏引擎可能无法处理高频输入导致角色卡在墙角。另外我也让Astra在动作执行完毕后返回一个新的story字段作为玩家看到的下一段冒险文本。比如“你推开宝箱里面躺着一把稀有手枪。远处传来警报声看来你的行动已经被发现。”这样玩家才真正有“文字冒险”的感觉而不是单纯在看AI操作演示。2.3 双循环设计短时对话循环与游戏状态循环文字冒险有一个天然需求连续性。玩家上一轮在房间里看到一扇门下一轮推开它这个状态必须被记住。如果每轮都只丢一帧截图给Astra它会完全丧失上下文产生“刚才还在室内现在又说你在室外”的荒谬情况。所以我在实现里做了两个循环。第一个是短时对话循环。Astra接口本身支持多轮对话我会把最近几轮的系统提示、玩家指令、AI生成的场景描述都塞进消息列表里让模型保持对当前情境的感知。但这个历史不宜太长否则token消耗会爆炸而且旧信息会干扰新画面的理解。我一般只保留最近六轮对话再往前的直接截断。第二个是持久化世界状态循环。我在Python里维护了一个world_state字典记录当前地图名称、玩家所在区域、已解锁事件、背包物品、NPC状态等。每一轮调用Astra时这个字典会被压缩成一段简短文字塞进系统提示里调用结束后根据Astra返回的player_state和story内容再更新这个字典。这样即使对话历史被截断核心信息依然不会丢。两个循环各有分工对话循环负责保持叙事连贯世界状态循环负责维持游戏逻辑。它们的结合让Astra既能扮演好“声音有感情的旁白”又不会把任务进度搞丢。这个设计本来是我想给机器人做导航用的结果放到文字冒险里意外地合适。3. 从零复现搭建一个可公开访问的文字冒险Fortnite3.1 环境准备与工具清单如果你想照着复现需要准备的东西并不复杂但有一些必不可少一台能跑Fortnite的电脑最好是Windows因为键鼠模拟在Windows上兼容性更好Fortnite账号并在创意模式里创建一个私人岛屿Astra的API密钥需要开通多模态视觉接口Python 3.10以上环境依赖库mss、opencv-python、numpy、pyautogui或pydirectinput、fastapi、uvicorn、websockets、python-dotenv一个内网穿透工具比如ngrok或cloudflared用于把本地服务暴露到公网这里说一下为什么我推荐用pydirectinput而不是pyautogui。pyautogui在Windows上调用的是旧式鼠标键盘事件部分游戏会忽略而pydirectinput是对DirectInput接口的封装很多电脑游戏对这类输入更敏感。不过它也不是万能的后面我在问题排查里会细说。3.2 核心代码实现抓屏、调用Astra、执行按键下面是核心代码骨架。我尽量写了注释方便理解。import base64 import json import time import cv2 import mss import numpy as np import pyautogui import pydirectinput from openai import OpenAI from fastapi import FastAPI, WebSocket # 初始化Astra客户端注意这里需要替换为实际可用的SDK client OpenAI( api_keyyour_astra_key, base_urlhttps://api.astra.example.com/v1 ) WORLD_STATE { area: 废弃街区, position: 蓝色房屋门口, events: [], inventory: [] } def grab_frame(): 抓取主显示器画面可以裁剪为游戏窗口区域 with mss.mss() as sct: monitor sct.monitors[1] img sct.grab(monitor) frame np.array(img) return cv2.cvtColor(frame, cv2.COLOR_BGRA2RGB) def compress_frame(frame, max_size1024): 将截图压缩到合适尺寸控制API开销 h, w frame.shape[:2] scale min(1.0, max_size / max(h, w)) if scale 1.0: new_w, new_h int(w * scale), int(h * scale) frame cv2.resize(frame, (new_w, new_h)) return frame def frame_to_base64(frame): 把图像转为base64字符串便于API传输 _, buffer cv2.imencode(.jpg, frame) return base64.b64encode(buffer).decode(utf-8) def call_astra(frame, user_input): 调用Astra输入截图和玩家指令返回结构化结果 frame_b64 frame_to_base64(frame) system_prompt SYSTEM_PROMPT # 见3.3节 world_state_text json.dumps(WORLD_STATE, ensure_asciiFalse) response client.chat.completions.create( modelastra-vision, messages[ {role: system, content: system_prompt}, {role: user, content: f世界状态{world_state_text}}, {role: user, content: f当前截图data:image/jpeg;base64,{frame_b64}}, {role: user, content: f玩家指令{user_input}} ], response_format{type: json_object} ) result json.loads(response.choices[0].message.content) return result def execute_action(action: dict): 把Astra输出的动作指令转化为真实键鼠操作 act_type action.get(type) if act_type press_key: key action.get(key) duration float(action.get(duration, 0.2)) if key: pydirectinput.keyDown(key) time.sleep(duration) pydirectinput.keyUp(key) elif act_type mouse_move: dx action.get(dx, 0) dy action.get(dy, 0) pydirectinput.moveRel(dx, dy, relativeTrue) elif act_type click: button action.get(button, left) pydirectinput.click(buttonbutton) elif act_type wait: time.sleep(float(action.get(duration, 1.0))) app FastAPI() app.websocket(/ws) async def websocket_endpoint(websocket: WebSocket): 浏览器通过WebSocket与后端交互 await websocket.accept() while True: user_input await websocket.receive_text() if user_input.strip().lower() in [quit, exit]: break # 抓取最新一帧画面 frame grab_frame() frame compress_frame(frame) # 调用Astra进行感知和规划 result call_astra(frame, user_input) # 执行动作如果动作不止一个就依次执行 for action in result.get(actions, []): execute_action(action) # 更新世界状态这里做精简处理 if result.get(player_state): WORLD_STATE[position] result[player_state].get(position, WORLD_STATE[position]) # 把故事文本回传给玩家 await websocket.send_text(result.get(story, ))这段代码不算完整产品但已经覆盖了主干链路抓帧 - Astra推理 - 动作执行 - 返回叙事。启动服务之后浏览器页面用一个简单的JavaScript WebSocket客户端就能连上。3.3 提示词模板把Astra调教成“游戏主持人”Astra能不能表现得像文字冒险游戏主持人关键在系统提示词。我调试了很多版最后稳定下来的是下面这个模板你可以直接抄走用你是一个文字冒险游戏的游戏主持人。玩家正在游玩Fortnite创意地图。 你会收到一帧游戏截图、当前的世界状态文本以及玩家的文字指令。 请你完成三件事 1. 根据截图和世界状态写一段有沉浸感的场景描述作为玩家的冒险文本。 2. 推断玩家当前状态包括所在位置、附近可交互物体、可能的敌人。 3. 根据玩家指令输出一个动作序列用于在真实游戏中执行这些操作。 动作类型只能从以下范围选择 - {type: press_key, key: w/a/s/d/space/e/shift, duration: 秒数} - {type: mouse_move, dx: 相对位移, dy: 相对位移} - {type: click, button: left/right} - {type: wait, duration: 秒数} 严格输出JSON格式不得输出任何其他内容。JSON结构如下 { scene_description: 场景描述文本, player_state: { position: 当前位置, health: 生命值或unknown, nearby_interactables: [附近可交互物体] }, actions: [], story: 给玩家看的故事文本 } 规则 - 只能描述截图里可见的内容不确定的信息用unknown表示。 - 动作序列必须简短最多5个动作不要做复杂组合。 - story要像文字冒险游戏那样第一人称或第二人称描述带一点紧张感。 - 除非玩家明确要求否则不要主动攻击敌人。这个提示词里的几个约束值得细说。限制动作列表是最重要的否则模型会输出非法动作。要求“只能描述截图里可见的内容”是抑制幻觉的第一步。而“story要像文字冒险游戏”则是体验上限的保证——很多人复现时发现AI输出的画面描述像流水账就是因为没给够叙事风格上的引导。3.4 公网在线链接让任何人随时玩上文字冒险Fortnite本机调试没问题后要像Ethan Mollick那样公开在线链接只需要两步。第一步确认FastAPI服务跑在本机8000端口。然后使用ngrok暴露ngrok http 8000ngrok会生成一个随机公网地址比如https://xxxx.ngrok-free.app。你把WebSocket地址改成wss://xxxx.ngrok-free.app/ws别人就能通过浏览器访问了。如果用自己的域名可以用cloudflared tunnel配置稍微复杂一点但稳定性更好。第二步加访问控制。直接裸奔暴露很危险我在3.2的代码里没有加鉴权正常使用时要加。最简单的方式是在WebSocket握手时校验一个token参数或者做一个简单的密码登录页。你也可以在ngrok配置里设置Basic Auth。就算只是给朋友演示也不要省这一步因为一旦地址泄露别人可以向你的电脑发送任意“动作序列”这等同于远程控制你的鼠标键盘风险非常大。另外公开链接期间那台电脑必须保持Fortnite运行并且角色要停留在预定地图里。最好把屏幕保护、系统休眠、自动更新都关掉。我就因为Windows自动更新重启过一次演示到一半链接断了非常尴尬。4. 实操中一定会踩的坑问题排查与经验实录4.1 延迟高到没法玩三招把响应时间压下来所有多模态Agent的玩法第一道坎就是延迟。Astra虽然能做视觉理解但实时性依然有限。我实测一轮“截图API推理动作执行文本返回”的整体延迟大概在4到8秒如果网络状态不好甚至会超过10秒。这个延迟用来玩回合制文字冒险还能接受但如果Astra每执行一个动作就要截一次图问一次API体验会稀碎。我的解决办法有三个。第一降低视觉调用的频率。不要每个动作执行完都去截图问一遍Astra而是在执行期间用固定的等待时间比如按下W行走2秒后默认你已经前进到大概位置再重新截图更新世界。第二让Astra一次生成多步动作比如[前进1秒, 左转, 前进1秒, 按E]脚本本地循环执行执行完再询问下一轮。这能明显减少API往返次数。第三把动作映射提前在本地缓存例如玩家输入“往前走”时如果Astra连续几轮都返回同样的w键动作就不再重复调用API直接执行缓存策略。注意这是在牺牲一定灵活性换速度适合演示场景。4.2 画面和文本对不上如何压住Astra的“幻觉”多模态模型在处理游戏画面时经常会出现一个毛病一本正经地描述画面里根本不存在的东西。比如截图里只有一面墙Astra却偏偏说“角落里有一把蓝色手枪”。这在文字冒险里是致命的因为玩家会顺着描述去找不存在的物品。我试过几种压制幻觉的方法效果比较好的是在提示词里加这样一句“只描述当前截图里出现的具体元素。如果没有看到门、敌人或物品必须写unknown不要发散想象。”另外在player_state里设置nearby_interactables时要求Astra必须从截图可见的物体中挑不能写推测性的东西。但这还不够。后来我发现对话历史里的旧描述会污染新判断。比如上一轮Astra说“前方有敌人”这一轮即使敌人已经跑出视野Astra也可能觉得“既然刚才有敌人那现在还应该有”结果一直描述那个不存在的敌人。所以我在系统提示里反复强调“最新截图是唯一事实来源历史描述仅供参考如果截图里看不到就说明对象已经离开。”如果你想要更硬核的校验可以在本地挂一个轻量物体检测模型比如YOLO先检测出截图中的“人”“枪”“箱子”等类别再把这些检测结果作为额外提示喂给Astra这样它能“看到”的内容就会更加贴近真实。4.3 实现过程中容易被忽略的安全与合规问题这个项目涉及公众demo有两个安全点非常容易被忽略。第一个是游戏规则问题。Fortnite的用户协议明确限制使用脚本和自动化工具进入在线匹配。Ethan Mollick的公开实验是在创意模式、私有岛屿等封闭环境下进行的不会破坏其他玩家的游戏体验。你复现时也务必在自建岛屿或离线环境中测试千万不要让这套自动化脚本跑进正常的匹配对局。一方面这是协议红线另一方面也是对真人玩家负责。第二个是公网服务的安全问题。如果你把Astra控制服务暴露到公网却不在服务端校验指令那么任意拿到链接的人都可以通过发送动作序列来控制你的电脑。不要说普通人就是随手扫描端口的脚本都可能顺手搞一下。所以我建议把动作执行层和对话层彻底分离公网访问的只是一个对话代理动作执行默认关闭或者需要密码解锁。更稳妥的方法是在代码里加一个emergency_stop开关一拨开关就立刻切断所有键鼠操作同时关闭接收远程指令的接口。4.4 环境适配与游戏版本带来的连带问题Fortnite几乎每个赛季都会调整UI布局和操作绑定Astra看到的画面也会随之变化。我在一次版本更新后发现截图里左下角的背包位置变了Astra把原本“武器栏”的位置识别成了“地图”导致它建议玩家按键1选择武器结果角色开始旋转视角整个流程就乱了。遇到这种问题最直接的方案是固定游戏版本或者至少保证在演示期间不更新游戏。另外尽量把游戏内界面调整为最简模式隐藏聊天、任务提示、小地图等噪音元素减少Astra被干扰的概率。还有一个常见问题是中文输入法冲突。Windows下如果玩家在聊天框里敲中文但输入法还是中文状态模拟按键时会触发输入法弹窗直接吃掉WASD。我在代码里加了一条预检逻辑在执行任何按键前先把输入法切换到英文模式。5. 后续还能怎么玩我的三点延伸思考5.1 回到“AI即接口”这个更大的命题Ethan Mollick用Astra改造Fortnite最让我在意的不是游戏本身而是“用AI给任意软件加一层自然语言接口”这件事。你看这套架构视觉感知理解当前状态大模型规划下一步动作脚本执行真实操作。它完全可以套到表格处理、剪辑软件、甚至企业级系统上。游戏的优点在于反馈即时、试错成本低所以成了这项技术最自然的展示场。未来你操作电脑的方式可能不是拖动鼠标打开按钮而是直接告诉AI“帮我把上周会议纪要发给相关部门”。Fortnite实验只是把这个未来提前演示了一遍。5.2 从“AI玩现有游戏”到“AI原生游戏设计”顺着这个思路再往前走你会发现完全可以让游戏设计者为AI量身定制交互方式。传统文字冒险游戏需要把整个世界文本化但Fortnite实验告诉我们画面仍然是真实世界信息的主要来源AI做的是“看图说话决策执行”。那么未来的独立游戏完全可以设计成“画面给AI看玩家只用说话”——游戏里大量信息隐藏在视觉深处玩家需要像侦探一样向AI提问AI也需要学会在某一帧画面里寻找线索。这种“双人成行”式的人机协作会是独立游戏开发者非常值得尝试的方向。5.3 我个人的实操心得照着这个思路复现以后我最大的感受是模型能力其实不是瓶颈稳定的交互工程才是。Astra确实能看懂画面也能输出像模像样的指令但把它从“能看能想”变成“用得稳”中间隔着的是状态管理、动作映射、幻觉抑制和异常恢复这一大堆脏活累活。你可能会碰到它明明看到树却一头撞上去或者在空地上非说前方有个宝箱的尴尬场景。这种时候先别急着否定模型大概率是你的提示词约束不够、状态历史太乱或者动作间隔太短。再提醒一句每次给项目加新功能先让AI自己闭循环跑几十步再看。我一般会在无人介入的情况下让Astra连续执行“探索当前区域并返回描述”这个动作如果连续二十步没有出现非法按键或者自相矛盾的世界状态才敢开放给真实玩家。这样虽然慢但可以让别人打开你公开链接的时候体验尽量接近Ethan Mollick那个demo给人的惊喜感。