从菜单点击到语言直达：三维映射的三重断层
三维GIS以几何模型、纹理材质、空间层级、属性信息与动态状态共同表达真实地理空间，其信息承载量与场景复杂度远高于二维GIS，也给用户交互带来新的认知负荷：在视觉遮挡、层级交叠与状态变化的场景中，用户既要具备先验空间认知，又需在「窗口-菜单-指针」范式下把分析意图拆解为菜单、工具与参数操作。自然用户界面与LLM的兴起为意图直达提供了可能，但三维交互的特殊性仍使「语言—操作」之间存在三重断层。
语义层次叠加，意图转化成本陡增
三维GIS交互同时涵盖场景状态、对象属性、工具功能与参数约束多层语义，而自然语言指令又具有表达灵活、语义隐含的特点。相较于二维GIS，三维场景中的意图转化还额外受用户实时视角与空间关系影响，需结合三维几何边界等场景约束才能确定目标交互对象及其操作条件，交互效率高度依赖用户对数据内容与系统操作逻辑的熟悉程度。
LLM输出概率性，缺约束即调用失败
LLM本质上是基于概率的文本生成模型，输出天然存在不确定性。在缺乏约束与校验机制时，模型直接生成的操作指令极易出现参数格式错误、参数推断混乱与工具调用失败。提示词思维链、工作流编排与检索增强生成虽能提升输出质量，但动态三维场景仍要求模型显式获得可操作对象范围、可修改参数集合与自身能力边界等可解析结构。
动态场景状态难以实时同步
现有研究多采用知识库嵌入方式向LLM提供场景信息，缺少在用户持续交互过程中对动态变化信息进行实时同步与一致性维护的机制。一旦LLM依据过时的场景状态生成操作指令，就会导致操作对象错误或参数失效。因此，须把三维系统实时获取的动态交互信息与知识库中的静态语义一并引入推理上下文。
符号·视图·分析·模拟
人工转写与标注
意图·参数·效果
室内外一体化模型
三元组加工作流：五段式操作映射链路
框架由信息抽象层、工作流处理层与系统操作执行层构成。信息抽象层按统一规范将三维系统动态信息、知识库静态语义与工具调用规范组织为「场景状态-对象属性-工具参数」三元组；工作流处理层先由意图识别节点判定任务类型并分发，再由专用任务处理LLM完成对象匹配与参数推断；系统操作执行层解析指令、绑定参数并触发场景操作，随后回写更新的场景状态，形成可持续多轮的闭环。
三维空间对象知识库构建
在三维空间数据库基础上构建三维空间对象知识库，将建筑名称、建筑简称、楼层、房间名称、房间中心点 X/Y/Z 坐标与房间用途属性按统一字段整理为结构化记录，每一行对应一个房间对象。知识库构建时把每条记录转换为独立检索单元并生成高维语义向量，建立向量索引；切换新场景时按相同字段结构重新提取并建立索引，原有组织方式与处理逻辑即可复用。
三元组信息抽象与语义范式设计
场景状态描述交互发生的环境及其实时状态，含用户位置、当前视角、交互范围、可交互对象集合；对象属性描述对象类型、所属空间层级、位置、材质与功能用途；工具参数描述工具功能、输入字段、字段类型、取值范围与调用约束。三者呈逐级衔接的约束关系：场景状态限定候选对象，对象属性匹配目标与待改属性，工具参数规范生成操作指令，并据此为符号样式设计、视图控制、空间分析与参数化空间模拟4类任务分别设计结构化语义范式。
检索增强生成与上下文裁剪
若将全部场景状态、对象属性和工具参数一次性输入LLM，会显著拉长上下文并影响推理效率与输出稳定性。为此按信息更新频率分层获取：用户位置、视角、当前房间、可交互对象集合与材质状态等实时信息由三维系统在指令发出时动态获取；建筑与房间层级关系、房间用途、固定坐标等相对稳定信息预置为知识库按需检索。检索结果不足时，LLM可依工具调用规范进一步查询系统数据补充三元组。
工作流编排与提示词约束
工作流将交互过程分解为意图识别、任务分发、任务处理和指令生成等可控节点：意图识别节点判断任务类型并分发至相应任务处理LLM，避免单一LLM在多种处理规则间反复切换。任务处理节点提示词模板包含角色设定、任务说明、输入信息、处理流程与限制条件，用于约束对象匹配、参数推断与规范化输出形式，从而降低LLM输出不确定性对映射稳定性的影响。
多轮上下文维护与场景状态回写
针对多轮对话中用户输入的省略性与继承性，工作流设置变量「ActiveNode」与会话历史查询节点：ActiveNode为空时识别为新任务并重新执行意图识别与三元组获取；非空时优先视为前序任务延续，通过会话历史查询获取最新三元组与工具调用结果；若当前输入与活跃任务类型不匹配则清空并重新分发。操作执行后系统同步更新三维场景状态，为后续交互提供新的实时状态。
校园室内外三维模型与知识库字段
实验数据为校园室内外三维模型，主要基于激光点云数据并参考建筑平面设计图纸，经三维建模软件构建完成，选取校园整体占地约 0.18 km²。场景同时包含室外空间与建筑内部多层级空间，室内按「楼栋-楼层-房间」树状结构组织，对象具备位置、类型、材质及空间关系等属性。知识库字段包括 Building、Building_abbrev、Floor、Room、Location_x、Location_y、Location_z 与 Room_type，其中坐标字段为 Number 型，用于支持视图定位、路径导航与布局模拟中的位置推断。
Coze 智能体 + UE5 引擎与对照设计
以 Coze 智能体开发平台承载智能体、工作流、知识库与插件模块，以 UE5 作为三维可视化与交互执行引擎，搭建从自然语言指令到三维GIS操作的验证系统。围绕材质参数修改、视图移动、布局模拟与路径导航4类任务，通过人工设定任务参数集、随机组合生成指令原型再人工转写为自然语言，共构建 220 条测试指令。对照实验采用相同LLM、指令、流程、场景、接口与三元组规范，仅取消意图识别分发与专用节点，由独立LLM统一完成全流程。评分上意图识别采用 0/1 二值计分，参数映射与最终效果采用 0、0.5、1 三级计分。
九成八意图识别与工作流的参数推断增益
在 220 条测试指令上，本文工作流方式的意图识别正确率、参数映射符合度与最终效果达成度分别为 98.64%、86.59% 与 85.45%；独立LLM对照虽在意图识别上达到 100.00%，但参数映射与效果达成度仅 62.96% 与 47.05%。两组差距集中出现在视图移动、布局模拟与路径导航等需要空间关系推断、工具调用或知识库检索等中间步骤的任务上，说明工作流的作用主要体现在参数推断与操作生成阶段。
工作流方式总体
较独立LLM +23.63%
较独立LLM +38.40%
四类任务最高
| 任务类型 | 指令数量 / 条 | 主要测试内容 |
|---|---|---|
| 材质参数修改 | 72 | 操作对象、材质参数是否输出正确，修改效果是否符合要求 |
| 视图移动 | 56 | 目标位置、属性是否识别正确，视图是否移动正确 |
| 布局模拟 | 40 | 行列数、间距、组合形式是否符合要求，结果是否符合约束 |
| 路径导航 | 52 | 起点终点、目标位置和类型是否识别正确，路径工具是否成功调用 |
| 合计 | 220 | 覆盖符号样式设计、视图控制、空间分析与参数化空间模拟4类交互 |
| 任务类型 | 指令数量 / 条 | 意图识别正确率 / % | 参数映射符合度 / % | 效果达成度 / % |
|---|---|---|---|---|
| 材质参数修改 | 72 | 100.00 | 74.30 | 81.94 |
| 视图移动 | 56 | 98.21 | 94.64 | 83.93 |
| 布局模拟 | 40 | 95.00 | 85.00 | 80.00 |
| 路径导航 | 52 | 100.00 | 96.15 | 96.15 |
| 总体 | 220 | 98.64 | 86.59 | 85.45 |
| 任务类型 | 工作流参数映射 / % | 独立LLM参数映射 / % | 工作流效果达成 / % | 独立LLM效果达成 / % |
|---|---|---|---|---|
| 材质参数修改 | 74.30 | 80.56 | 81.94 | 72.92 |
| 视图移动 | 94.64 | 67.86 | 83.93 | 44.64 |
| 布局模拟 | 85.00 | 23.75 | 80.00 | 22.50 |
| 路径导航 | 96.15 | 63.46 | 96.15 | 32.69 |
| 总体 | 86.59 | 62.96 | 85.45 | 47.05 |
意图识别不是瓶颈，参数推断才是
独立LLM以 100.00% 的意图识别正确率高于工作流的 98.64%，因其上下文同时包含4类任务的描述边界与处理规则；而工作流中的意图识别节点仅依据功能描述与任务边界分类，遇到表达简短、主语缺失或动词模糊的视图移动与布局模拟指令时会误分至通用节点。材质参数修改与路径导航因指令常含「墙壁」「改成」「前往」等明确对象与动作词，未出现识别错误。
多步骤推断任务增益最为显著
两类方式在材质参数修改上参数映射接近（74.30% 与 80.56%），因该任务可依据对象属性与工具参数直接判断，参数前后依赖少；而视图移动、布局模拟与路径导航需先由工具调用或知识库检索获得中间结果，工作流可显式组织步骤顺序，独立LLM则易把对象名称直接当作目的地终值，布局模拟参数映射仅 23.75%、效果达成仅 22.50%。
参数符合并不等价于效果达成
材质参数修改的效果达成度 81.94% 高于其参数映射符合度 74.30%，因部分样本虽未直接修改 RGB 值，却通过生成或替换纹理实现了用户期望的颜色与风格；反之，视图移动参数映射 94.64% 而效果达成 83.93%，布局模拟亦存在桌椅排列超出房间边界、参数修改过多等偏差，说明最终效果还受场景几何约束、参数匹配与系统执行逻辑共同影响。
工作流任务组织方式的作用主要体现在参数推断与操作生成阶段：参数映射符合度与效果达成度相较独立LLM处理方式分别提高 23.63% 和 38.40%。
可复用的语义组织与操作编排方案
面向三维GIS场景中交互对象、场景状态与交互功能高度耦合、自然语言意图难以映射为可执行操作的问题，本文提出以三元组为语义基础、以智能体工作流为处理链路的自然语言操作映射框架，并在 220 条测试指令上以意图识别、参数映射与效果达成三维指标完成验证，为三维GIS客户端与大语言模型的衔接提供了可复用的语义组织与操作编排方案。
三维场景交互三元组的语义抽象
将操作映射所需信息统一组织为场景状态、对象属性与工具参数构成的三元组，分别从交互上下文、语义对象与系统执行三个层面描述映射所需信息，并呈逐级衔接的约束关系。针对符号样式设计、视图控制、空间分析与参数化空间模拟4类典型任务给出结构化语义范式，为限定操作范围、匹配目标对象与推断参数提供统一基础。
动态同步与工作流编排机制
把三维系统实时获取的动态交互信息与知识库中的静态语义共同引入LLM推理上下文，并以 RAG 按更新频率分层供给信息、压缩上下文长度；工作流通过意图识别、任务分发、任务处理与指令生成节点显式组织复杂任务，辅以 ActiveNode 与会话历史查询维护多轮上下文，降低输出不确定性对映射稳定性的影响。
分环节的评价方案与量化验证
区别于现有研究多从代码生成质量或任务整体完成情况评价，本文将评价划分为意图识别正确率、参数映射符合度与最终效果达成度3个层面，分别反映任务类型判断、系统操作参数生成与实际场景执行结果。实测总体达 98.64%、86.59% 与 85.45%，相较独立LLM分别提升与对照，验证了技术路径的可行性。
面向数字孪生与三维决策支持
该框架为三维GIS自然语言交互提供了可复用的语义组织、自然语言解析流程编排和实验评价方案，可为数字孪生、虚拟地理环境和三维空间决策支持系统的人机交互设计提供参考。其信息组织方式、知识库构建方法与工作流处理逻辑在切换场景时可继续复用，只要新场景能提供对象标识、层级关系、空间位置和语义属性，即可快速接入并支撑协同规划、应急指挥等场景下的语言直达操作。
场景适配成本与歧义消解
自然语言映射的准确性依赖场景数据预处理，研究人员需将坐标、材质纹理及含语义的属性显式提取，切换新场景时仍需按相同字段重新整理并建立向量索引，属性适配工作量有待降低。此外，同一自然语言需求可能存在多种合理参数实现路径，指令歧义时模型易在多个执行路径间不稳定选择。未来可从三方面拓展：实现三元组与典型GIS二次开发接口的语义映射；研究面向不同三维场景的语义理解与信息动态组织方法，提升泛化能力；引入用户确认机制，并探索多用户任务协同、操作冲突消解与共享场景状态维护。