### 文章总结本文是哈尔滨工业大学（深圳）团队发表的关于大型多模态推理模型（LMRMs）的综述论文，系统梳理了多模态推理模型的发展脉络、技术挑战及未来方向。核心内容如下：#### **主要内容**1. **多模态推理模型的发展阶段**- **阶段1：感知驱动的模块化推理（2016-2020）**早期模型依赖卷积神经网络（CNN）和循环神经网络（LSTM），通过模块化设计（如神经模块网络NMN、层次协同注意力HieCoAtt）处理多模态数据，推理隐含在表征、对齐和融合过程中。- **阶段2：以语言为中心的短推理（System-1，2021-2023）**引入多模态思维链（MCoT），通过提示工程（如IPVR的“看-想-确认”框架）和结构化推理（如Multimodal-CoT的两阶段生成）增强可解释性，结合外部工具（如检索、数学求解器）扩展推理能力。- **阶段3：以语言为中心的长推理（System-2，2023至今）**强调系统性推理和规划，通过跨模态推理链（如视觉-文本联合推理）、强化学习（如DeepSeek-R1的GRPO算法）和多模态O1/R1模型（如OpenAI O1、LLaVA-CoT）实现长程依赖和自适应决策。- **阶段4：原生多模态推理模型（未来展望）**提出原生大型多模态推理模型（N-LMRMs），目标是通过统一表征空间（如VideoPoet的跨模态编码）和具身学习，实现无模态偏见的通用推理，支持动态环境中的实时交互与规划。2. **关键挑战与创新方向**- **现存挑战**：跨模态泛化能力不足、推理深度有限、缺乏环境交互能力。- **技术突破**：统一表征（如混合专家模型Mo