跳到主要内容
AI 3D LEARNING SERIES · 09 / PROJECT PRACTICE

让角色
看见,再行动。

多智能体空间模拟,不是把几个小人放进 3D 房间里播放动画。关键在于:每个角色能观察到什么、根据什么选择动作、动作怎样改变环境,以及下一轮如何利用变化后的信息。

本节目标:理解多智能体与局部观察;拆解观察—决策—执行—反馈闭环;体验视野范围如何影响行动;明确 3D 资产与玩法逻辑的分工;把大创意缩成可验收的 MVP。
OBSERVE → DECIDE → ACT → UPDATE
Agent AAgent BAgent C障碍物出口
概念示意:多个角色处于同一环境,但各自依据局部观察采取动作。
01 / CORE CONCEPTS

多智能体,不只是多个角色

多个 Agent 在共享环境中行动,彼此的动作会改变其他角色之后能观察到的状态与可选行动。

AGENT

智能体

能够接收信息、选择动作并对环境产生影响的行动主体。可以是一个虚拟角色,也可以是机器人或软件代理。

MULTI-AGENT

多智能体系统

多个 Agent 在同一个环境中运行。它们可能合作、竞争、互相影响,也可能各自只掌握部分信息。

PARTIAL OBSERVABILITY

局部可观测

角色只能看到视野范围内的内容,而不是系统完整的全局地图。隔墙、家具、距离和朝向都会限制观察。

关键区别:从上帝视角看,观众可能知道房间里所有角色和出口的位置;角色本身却未必知道。不能把观众看到的信息,偷偷当成 Agent 已经观察到的信息。
02 / CLOSED-LOOP ACTION

真正的行动,需要反馈闭环

一句“向前走”不是动作完成。动作必须改变环境状态,下一轮观察也必须反映这个变化。

01 · Observe读取当前视角与状态
02 · Decide从允许动作中选择一步
03 · Act执行动作,更新角色与环境
04 · Feedback获取新观察,进入下一轮
EXAMPLE · FIND THE DOOR

找门任务怎么验收?

角色从起点出发,只能看到眼前画面;根据观察选择前进或转向;绕过隔墙到达门前;满足条件后开门;每一步都能看到位置和状态变化。

ACTION SPACE

先限制动作集合

第一版只允许前进、左转、右转、后转、开门和停留。动作数量少,问题更容易定位,也更容易判断角色是否真的在依据观察行动。

“模型输出动作”与“环境成功执行动作”是两个环节。需要分别记录模型选择了什么、执行器是否接受、状态有没有变化,以及下一轮输入是否更新。
03 / INTERACTIVE EXPERIMENT

视野变了,角色知道的也会变

用一个简化房间观察局部视野。移动角色、改变视野半径,看看当前能看到什么、哪些区域只是曾经探索过。

局部观察实验 · 手动移动角色示意模型 / 非 AI 推理
角色出口墙家具障碍已探索当前可见
扩大视野只改变观察范围,不会自动让角色更聪明。
角色在起点。用方向键移动,观察视野与已探索区域的区别。
本实验只演示“局部观察”和“探索记忆”的区别。角色由你手动移动,没有调用大模型,也没有实现寻路算法、真实碰撞物理或自主导航。真实作品必须把这些能力分别实现并验证。
04 / BUILDING BLOCKS

3D 内容与玩法逻辑,分开处理

把工作交给最合适的工具:群核负责生成或重建视觉资产,AI 编程工具负责把资产组织成一个可运行的交互系统。

任务可用工具 / 方式交付物仍需自行检查
真实房间重建Aholo Reality / 3DGS 采集可浏览的空间场景缺失区域、可行走区域、碰撞与尺度信息
生成独立物件Lux3DGLB 等 3D 资产结构、贴图、比例、朝向与碰撞体
网页场景与交互AI 编程工具 + three.js 等可运行的网页模型加载、坐标、相机、性能与移动端
角色决策与规则程序规则 / 模型调用 / 状态机观察、动作、状态更新逻辑动作是否合法、是否真正执行、是否有反馈
VISUAL ASSETS

看得见的内容

房间、门、桌椅、角色、道具。可以用群核工具生成或重建,再以实际导出的格式加载到网页里。

BEHAVIOR & SYSTEM

会发生的事情

可走区域、碰撞、视野、动作规则、胜负条件、回合推进、状态记录。这些不会因为模型看起来真实就自动出现。

开发分工原则:不要让代码里的方块占位物冒充已经完成的群核资产;也不要把 GLB 或 3DGS 场景误当成已经具备碰撞、导航和智能决策的游戏系统。
05 / FAILURE MODES

最容易踩的四个坑

先把一个场景做扎实,比同时启动三个玩法、一个编辑器和一个通用平台更容易交付。

01 · VISUAL ≠ COLLISION

房间看起来真实,小人却穿墙

视觉场景不一定自带可走区域、碰撞体或导航网格。需要另外定义哪些地方能走、哪些物体会阻挡角色,并在场景中实测。

02 · ANIMATION ≠ ACTION

播放了走路动画,却没有移动

动作动画只是视觉表现。验收时要看角色位置、朝向、环境状态是否真实更新,下一轮观察是否使用新状态。

03 · HIDDEN STATE LEAK

角色似乎知道它不可能看到的信息

检查提示词、输入数据和代码是否把全局地图、目标坐标或隐藏资源直接提供给角色。要声称局部观察,就不能偷偷喂全局答案。

04 · SCOPE EXPLOSION

一个场景没做好,就开始造通用引擎

多角色、资源争夺、捉迷藏、场景编辑器和通用规则引擎都能成为后续方向,但第一版只选一个核心任务。

06 / MVP & USER TEST

把大想法缩成一张需求卡

第一版先回答:谁来玩、要完成什么、怎样算完成。不要先写“打造一个通用多智能体空间模拟平台”。

OPTION A

找门

一个角色、一间房、一扇门。验证局部观察、移动、避障和开门闭环。

最适合第一版
OPTION B

资源争夺

多个角色、公共资源和各自的家。验证采集、搬运、记忆更新与守卫规则。

需要状态管理
OPTION C

捉迷藏

寻找者与躲藏者。验证视线遮挡、发现条件、躲藏位置和行动时机。

需要对手策略
COPY-READY PRODUCT BRIEF

第一版需求模板 · 3D 找门小游戏

我要做一个能在网页里演示的 3D 找门小游戏。 给谁玩:[具体用户,以及他为什么想试] 核心体验:使用者调整角色视野,看它能否绕过隔墙、找到门并开门。 本次只做:一间房、一扇门、一个角色;能开始、结束和重置。 本次不做:多人对战、复杂剧情、通用场景编辑器。 完成标准: 1. 角色只能依据当前观察和允许的记忆行动。 2. 到门前并满足条件后才能开门。 3. 动作执行后,角色位置或环境状态真实更新。 4. 下一轮观察反映更新后的状态。 5. 能从相同起点重新开始,并重复演示。 展示材料:可操作页面,以及能看清角色观察、行动和结果的演示片段。 群核工具:[填写实际使用的工具、资产和用途,不把计划写成已完成] 请先检查需求是否有歧义,列出最先要跑通的一步和验收办法;先不要写代码。
复制后替换方括号内容
USER TEST · DON'T EXPLAIN FIRST

请同学独立试一次

已完成 0 / 4 项
07 / ACTIVE RECALL

多智能体空间模拟 · 翻面知识卡

先尝试自己回答,再翻面核对。知识卡重点覆盖概念、闭环、工具边界和 MVP 验收。

点击卡片翻面查看答案已翻开 0 / 15
08 / QUICK CHECK

自测:你的角色真的在行动吗?

选完立即查看解析。答错时回到对应知识卡复习。

多智能体空间模拟 · 四道检查题已答对 0 / 4

01 / 只剩几天开发,想做会捉迷藏的小人,第一步选哪个?

02 / 模型已经说出“向前走”,怎样才算这一步真的完成?

03 / 你把漂亮的 3D 房间放进网页,小人就能正确绕开家具吗?

04 / 第一版能跑了,接下来哪件事最值得先做?

本页整理自观猹《项目实战:多智能体空间模拟》,知识学习版;网格实验为手动示意,不含 AI 推理与寻路。