大型语言模型（LLM）在训练完成后，其内部知识便处于冻结状态，无法自主获取新信息。这一局限性在企业级AI应用中尤为突出——当业务场景需要结合最新数据或领域专有知识时，开发者只能依赖检索增强生成（RAG）、微调等间接方法，但这些方案要么成本高昂，要么受限于技术瓶颈。近日，来自多所大学的研究人员提出了一种名为MeMo（Memory as a Model）的模块化框架，通过将新知识编码至独立于主模型运行的小型记忆模型，实现了在不重新训练LLM的情况下持续更新其知识库，实验数据显示性能提升达26%。
LLM知识更新的现实困境
当前，为LLM整合外部知识主要依赖三类方法，每类均存在显著短板。
非参数方法：RAG与上下文学习的局限
检索增强生成（RAG）和上下文学习等非参数方法，通过从外部数据库检索相关文档并将其直接插入模型提示词中来实现知识注入。这类方法虽广受欢迎，却受限于上下文窗口大小。论文合著者、MIT教授Armando Solar-Lezama向VentureBeat指出：“向量数据库本质上难以将一段文本的全部语义编码到单个向量中，并在查询时完成匹配——尤其当文本片段的相关性可能只有在其他片段的上下文中才显现时。”研究人员进一步表示，嵌入的语义相似性往往与用户的真实查询需求脱节。此外，处理数千个检索到的词条会带来大量计算开销和推理延迟。最突出的问题是，RAG系统对噪声高度敏感：无关或检索不当的段落常常导致模型最终回答质量下降。
参数方法：微调与持续预训练的成本与风险
持续预训练或有监督微调等参数方法，尝试将新知识直接内化到LLM的权重中。然而，更新现代巨量级LLM的成本高得令人却步，且对于隐藏在API背后的闭源模型而言几乎不可行。同时，微调容易引发灾难性遗忘——强迫模型适应新的企业数据往往会侵蚀其先前获得的推理能力，削弱原有性能。
MeMo：模块化记忆架构的设计原理
MeMo（Memory as a Model）采用截然不同的途径：将记忆与推理分离。框架将新知识编码至一个专用的小型“记忆模型”中，该模型与主LLM协同运行但彼此独立。主LLM负责推理与生成，记忆模型则作为外部知识库按需提供信息。这种模块化设计使得知识更新无需触及主模型参数，只需迭代记忆模型即可，从而规避了完整重训练的高昂成本与灾难性遗忘风险。
在架构兼容性方面，MeMo同时支持开源与闭源模型，无需改动主LLM的内部结构。这使得企业能够继续使用现有的经优化模型（包括通过API调用的商业模型），同时灵活地为它们注入最新的业务知识。与RAG相比，MeMo不再依赖语义检索的准确性，也无需将大量文档塞入提示词窗口；与微调相比，它避免了破坏模型已有能力的风险。
实验表现与评估结论
研究团队通过一系列实验对MeMo进行了验证。结果表明，即使检索管道存在噪声干扰，MeMo也能可靠处理复杂查询，显著优于传统RAG方案在类似条件下的表现。同时，框架彻底规避了直接微调带来的灾难性遗忘问题——主LLM的推理能力在更新后得到完整保留。论文指出，MeMo为持续知识更新提供了一条经济高效的路径，无需承担繁重的计算成本。
从性能指标看，在标准测试集上，集成MeMo的LLM相比基准模型取得了最高26%的成绩提升。这一数字表明，将记忆模块化不仅解决了知识更新的操作难题，还能实质性地改善模型在需要外部知识的任务上的输出质量。
MeMo的提出标志着LLM知识管理从“整体重训”或“管道补偿”向“模块化记忆”的转变。对于需要频繁接入新数据、新法规或内部知识库的企业而言，这种架构有望大幅降低AI系统的维护成本与迭代周期，同时保持模型核心能力的稳定。
本文参考来源：VentureBeat
微信扫描下方的二维码阅读本文
