碎片化证据与硬约束：三重方法瓶颈
旅游业已由单一观光消费演变为融合休闲娱乐、文化体验与生活方式的综合性活动。随着移动互联网与智慧旅游基础设施完善，用户需求已从传统信息检索转向时间、预算与主题偏好等多重约束下的决策支持。然而，旅游场景具有强事实依赖与多约束决策特征，无论是基于知识图谱的路径推理、纯 LLM 的零样本生成，还是以文本块为单元的检索增强生成，都难以同时兼顾事实可靠性、约束一致性与结果可解释性。
二元图谱拆解导致证据割裂
基于知识图谱的方法通常将用户需求拆解为离散的二元关系并依赖路径游走推理，容易产生语义漂移与证据割裂。面对「景点-预算-交通-人群-主题-时间」等多条件耦合需求，关键证据分散于文本、图像与属性信息之中，需借助多条关系路径或多个社区摘要片段才能间接表达完整场景，导致约束分散、推理链条有效性不足。
LLM 事实幻觉与约束响应不足
大语言模型在开放域问答中表现突出，但旅游推荐对其提出两重挑战：在缺乏外部证据支撑时易产生事实幻觉；在多约束、多跳推理任务中难以严格遵循条件边界，且缺乏可验证的推理链。以 GraphRAG 为代表的稠密向量检索虽提升了全局聚合能力，却仍会出现语义接近但不满足预算、距离、开放时间等硬约束的误召回。
视觉信息长期处于利用盲区
景点图像能直接表征外观特征、环境氛围与场景状态，是旅游推荐的重要补充知识来源，但传统方法对视觉信息的利用明显不足，难以表征景点的感知吸引力与情境表达力。同时，用户需求往往呈高阶、多元且强约束特征，例如「秋季带儿童前往具有历史背景且交通便利的景点」，低阶证据表达需频繁执行交集过滤，无法把「景点-场景-文化-交通」视为整体筛选。
图谱核心语义单元
8 150 实体 / 40 类关系
4 类任务：80/50/50/20
覆盖景点·用户·时空·情境
以景点为中心：超图证据五步链路
TMKG-LLM 遵循「图谱构建—证据组织—精准检索—约束生成」的技术路线：先借助 LLM 提示工程对多源图文数据做知识抽取与融合，形成语义完备的旅游多模态知识图谱 TMKG；再引入超图增强检索机制，用超边刻画景点属性间的复杂关联，并结合 PageRank 拓扑先验与多维评分提升召回准确性；最后将结构化证据作为事实约束注入 LLM，输出可追溯的推荐与行程建议。
旅游本体构建与语义框架定义
本体构建是实现多源异构数据结构化组织与语义关联的基础，其目标在于定义旅游场景中的概念类别、关系类型与模态关联方式。TMKG 被形式化为实体集合、语义关系集合与多模态关联集合的三元组结构，其中多模态关联集合用于建立文本实体、图像实体及其视觉属性之间的映射。据此定义 8 类核心本体：景点实体、用户画像、主题类别、配套服务、旅行场景、时空约束、交通关联与动态情境。
提示工程驱动的多模态知识抽取
原始数据源自去哪儿网、马蜂窝等垂直平台及景点官网。文本侧采用分层抽取：门票、开放时间等结构化信息由规则解析直接入库；景点介绍、游记评论等长文本则构建基于提示工程的抽取框架，统一以 Qwen3-8B 作为抽取模型，通过领域自适应专家提示词引导模型对齐本体约束，输出标准 JSON 三元组。视觉侧利用 Qwen2.5-VL 的图像理解能力，将预处理图像与定制化视觉指令同步输入，把视觉信息转化为文本标签或视觉感知三元组，挂载至核心景点实体。
实体对齐、知识融合与图库存储
为消除抽取环节引入的实体冗余与语义歧义，例如「故宫博物院」与「故宫」指向同一景点的情况，先对实体字符串做规范化处理与别名统一，再结合文本相似度与实体类型一致性完成实体对齐，最后经人工复核确保融合结果准确。融合后的 TMKG 统一存储于 Neo4j 图数据库，实现知识的结构化组织与高效检索调用。标注评测集上文本抽取 F1 为 0.773，视觉抽取 F1 为 0.714。
超边封装的高阶证据表示
传统二元关系图在处理复杂约束时会把完整语义拆解为离散三元组。本文引入超边机制，将景点及其 1-hop 多维属性关系组织为高阶证据单元，使「空间属性-文化内涵-价格信息」被封装为统一的场景语义整体。超边的全局表示由其内部节点表示经 mean-pooling 池化获得，各节点初始表示由文本编码器 BGE-M3 生成，超边向量随后存入向量数据库以支持检索阶段的高效召回。
拓扑先验筛选与多维评分检索
系统先用 LLM 解析查询中的关键实体与关系，再用 BGE-M3 将整句查询编码为语义向量。候选实体定位阶段引入 PageRank 作为轻量级拓扑先验，得分由语义相似度与归一化 PageRank 值加权得到，权重 λ 取 0.1~0.2，截取 Top-20 个实体作为锚点并召回关联超边。随后以语义匹配、实体覆盖率与实体相关性三维评分加权排序（α+β+γ=1），其中覆盖率以全局 IDF 加权，使「无障碍通道」等长尾硬约束不被常规属性稀释，最终取 Top-3 条超边作为证据集合。
事实约束注入与推荐生成输出
检索完成后，系统将证据集合中的结构化事实与多模态信息序列化为紧凑且可追溯的证据集合，与原始查询共同输入 LLM。在强事实约束下，模型执行逻辑推理并生成行程建议，从而降低无依据生成风险，增强推荐结果的忠实度与可解释性。图文联合输入场景中，模型可协同红叶景观、秋日山林等视觉特征与家庭出行、一日游等文本约束，召回香山公园等相关证据并组织秋季主题游方案。
北京市多模态语料与图谱规模
实验以北京市为研究区域，通过马蜂窝、去哪儿网及景点官方网站获取多模态旅游数据：文本数据包括景点介绍、游记攻略与用户评论，图像数据主要采用景点官方高清图片。经清洗、去重与降噪后构建覆盖主要景点的多模态语料库。从中分层选取 100 个旅游文本段与 100 张景点图像构建标注评测集，以 Precision、Recall、F1 评价抽取效果。最终构建的北京市旅游多模态知识图谱包含 891 个景点、40 类关系、8 150 个实体与 47 283 个三元组。
三类基线、四类任务与评测指标
基线选取 LLM-only、NaiveRAG 与 GraphRAG，所有模型统一采用 Qwen3-8B 并保持相同实验设置，硬件环境为 2 张 NVIDIA RTX 4090 GPU。评测集面向真实场景构建基础事实、多跳推理、条件约束与复杂场景推荐 4 类任务，数量分别为 80、50、50、20 条，问题由未参与图谱构建的人员独立编写，参考答案经官方网站等权威资料核验。评价指标参考 RAGAS，检索侧采用 Context Precision 与 Context Recall，生成侧采用 Faithfulness 与 Answer Relevance；另新增 50 条行程规划样本，以微观与宏观硬约束满足率评价可行性。
四项指标全面领先：从检索到生成
在北京市旅游推荐评测集上，TMKG-LLM 在检索性能与生成质量两个维度均取得最优结果。检索侧，GraphRAG 的 Context Precision 优于 NaiveRAG，说明图结构能过滤无关文本干扰，但其 Context Recall 反而略低，反映传统二元图在复杂场景下证据覆盖不足；生成侧，缺乏外部事实支撑的 LLM-only 因幻觉表现最弱，NaiveRAG 受浅层匹配限制易引入噪声。本文方法则在这两类缺陷上同时取得改善，并在消融与约束评测中进一步验证。
相对最佳基线提升
证据完整性提升
事实一致性提升
需求对齐度提升
| 模型 | Context Precision | Context Recall | Faithfulness | Answer Relevance |
|---|---|---|---|---|
| LLM-only | — | — | — | 0.607 3 |
| NaiveRAG | 0.714 3 | 0.673 6 | 0.644 9 | 0.764 7 |
| GraphRAG | 0.786 1 | 0.652 5 | 0.716 3 | 0.801 2 |
| TMKG-LLM（本文） | 0.865 7 | 0.728 0 | 0.784 2 | 0.860 8 |
| 知识组织方式 | 基础事实类 | 多跳推理类 | 条件约束类 | 复杂场景类 |
|---|---|---|---|---|
| w/o HG（离散三元组） | 0.807 5 | 0.601 4 | 0.512 5 | 0.382 6 |
| BlockRAG（文本块聚合） | 0.864 4 | 0.635 2 | 0.558 3 | 0.425 5 |
| TMKG-LLM（超边组织） | 0.891 7 | 0.680 1 | 0.610 8 | 0.476 2 |
| 模型 | 微观硬约束满足率 | 宏观硬约束满足率 | 约束响应特征 |
|---|---|---|---|
| NaiveRAG | 0.628 | 0.360 | 依赖文本片段检索，缺乏证据间关联建模，多约束场景难以保证信息一致性 |
| GraphRAG | 0.696 | 0.520 | 实体关系图增强知识关联，但二元关系结构难以表达旅游场景高阶语义 |
| TMKG-LLM（本文） | 0.812 | 0.620 | 超边组织景点多维属性，实现多条件证据联合建模，提升行程方案可行性 |
超图组织是性能增益的首要来源
消融实验中移除任一模块均导致性能下降，其中取消超图增强检索（w/o HG）的降幅最为明显。新增的 BlockRAG 变体把同一景点及其一跳属性序列化为普通文本块后，在 4 类任务上均优于 w/o HG，说明属性聚合可缓解碎片化；而 TMKG-LLM 进一步取得最优，且在多跳推理、条件约束与复杂场景任务上的优势更为明显，基础事实类增益相对有限，表明提升更依赖超图对共享实体及节点-超边关联结构的显式保留。
视觉知识补充文本缺失的感知信息
剔除与保留视觉知识的对照显示：NaiveRAG 的 Context Recall 由 0.673 6 升至 0.689 4、Answer Relevance 由 0.764 7 升至 0.781 5；TMKG-LLM 则由 0.700 5 升至 0.728 0、由 0.824 6 升至 0.860 8，提升更为明显。说明视觉信息可补充景观风格、季节特征与环境氛围等感知内容，而多模态知识图谱与超图证据组织能更有效地整合利用视觉语义。
小参数基座亦可被高质量知识托举
三种基座 LLM 的 Answer Relevance 随参数规模与推理能力提升：Qwen3-1.7B 为 0.716 5，Llama-3.1-8B 为 0.837 4，Qwen3-8B 为 0.860 8。即便在较小参数规模下，接入 TMKG 的模型性能仍优于未引入检索增强的 LLM-only。效率方面，统一采用 Qwen3-8B 时 GraphRAG 与 TMKG-LLM 独立运行 5 次的平均端到端响应时间分别为 5.4 s 与 6.8 s，增加约 25.9%，新增开销主要来自关联超边召回与多维证据重排序。
本文方法的优势并非仅体现在信息召回数量的增加，更体现在证据结构完整性与约束一致性的提升；超边把景点及其多维属性组织为高阶证据单元，使分散事实得以被统一检索与聚合。
从语义匹配到结构约束的三点结论
针对复杂旅游场景下 LLM 易产生事实幻觉、约束响应不足的问题，TMKG-LLM 融合多模态知识图谱、高阶超图证据建模与 LLM 推理生成能力，实现了知识增强的旅游推荐生成。在北京旅游推荐测试集上，该方法在检索质量与生成效果方面均优于对比方法，并在行程可行性评测中展现出对多维硬约束的处理能力，为智能旅游助手与行程决策提供了可落地的技术路径。
景点中心的多模态知识图谱构建
以 8 类核心本体为语义框架，通过提示工程联合 Qwen3-8B 文本抽取与 Qwen2.5-VL 视觉抽取，并经规范化、实体对齐与人工复核完成跨模态融合，构建出包含 891 个景点、40 类关系、8 150 个实体与 47 283 个三元组的北京市旅游多模态知识图谱，实现了旅游知识由碎片化数据向结构化事实的转化。
超边高阶证据与多维评分检索
以超边封装景点及其 1-hop 多维属性，配合 PageRank 拓扑先验筛选与语义匹配、IDF 加权实体覆盖率、细粒度实体相关性三维评分，实现复杂耦合约束下的精准证据召回。相比最佳基线，Context Precision 与 Context Recall 分别提升 10.1% 与 8.1%，Faithfulness 与 Answer Relevance 分别提升 9.5% 与 7.4%。
多约束行程的事实一致生成
把结构化证据序列化为紧凑可追溯的约束集注入 LLM，显著降低无依据生成风险。在 50 条行程规划样本上，微观与宏观硬约束满足率分别达到 81.2% 与 62.0%，优于 NaiveRAG 的 62.8%、36.0% 与 GraphRAG 的 69.6%、52.0%，并在图文联合输入场景中实现了视觉特征、文本约束与结构化知识的协同对齐。
低算力环境下的可信旅游助手
该方法对不同基座 LLM 均具良好适配性，高质量外部知识可在一定程度上弥补小参数模型的领域推理不足，为低算力环境下部署可靠的旅游助手提供可行路径。实践中可将超边构建与向量化计算移至离线阶段，在线阶段仅执行检索与生成，从而降低实时计算开销，为延迟控制与吞吐优化提供基础；证据可追溯的特性也便于推荐结果向用户展示事实依据，提升智慧旅游服务的可信度。
时空可行性校验与跨模态融合
当前方法对距离、预算和开放时间等约束仍主要依赖语义匹配，尚无法严格保证行程的时空可行性；多模态协同主要发生在知识语义与图结构层面，而非原始图像特征与文本特征的端到端融合，语义化过程仍可能损失部分细粒度视觉特征。未来将融合规则校验、时空分析与路径优化方法，引入用户动态兴趣及实时交通信息，并进一步研究图文联合表示与跨模态证据融合，以增强特征层面的协同能力。