源自：软件学报

作者：刘泽垣 王鹏江 宋晓斌 张欣 江奔奔

扫描二维码

了解更多资讯

4 大模型幻觉的缓解方法

根据大模型在数据层、模型层与应用层的幻觉成因，常见的幻觉缓解方法可以分为三类：数据层幻觉缓解方法、模型层幻觉缓解方法以及应用层幻觉缓解方法。本节将从方法原理、研究进展及优缺点分析等方面梳理这三类模型幻觉的缓解方法。

4.1 数据层幻觉缓解方法

4.1.1数据收集

考虑到不忠实的数据会引发模型幻觉，学术界和产业界已提出多种人工构建忠实数据集的方法，该方法可以缓解启发式数据收集方法不准确、不符合事实等问题产生的幻觉。一般常用于缓解内在幻觉、封闭域幻觉、输入矛盾幻觉和上下文矛盾幻觉。一种方法是从现有的知识库编写忠实的语料库。例如，Gardent等人提出从现有知识库中半自动地创建“数据到文本”语料库的新框架，创建过程主要包含：(1)内容选择模块：用于从数据库提取不同的、相关的且类型一致的数据单元。(2)众包过程：将数据单元与人类撰写的文本联系起来，从而正确地捕捉到它们的意义。

另一种方法是重写来自现实数据的真实句子，修改策略主要包括：(1)短语删除：删除例句中数据源不支持的短语；(2)去语境化：识别句子的主要主题，解析共同引用，并用源中的命名实体替换依赖于上下文的短语；(3)语法修改：使修改后的句子更加正确流畅。此外，针对“数据到文本”相关任务，还有研究提出了修改现有数据集中的内容来提升数据保真度的缓解方法。

一些研究利用模型生成数据，并标记这些输出是否包含幻觉。例如，Gabriel等人对生成的细粒度事实错误的摘要进行注释，以创建一个事实一致性诊断数据集。Honovich等人通过自动问题生成和问答，并使用自然语言推理比较答案范围，进而确保基于知识的对话中的事实一致性。Dziri等人通过编辑WoW基准测试中的幻觉反应，创建用于信息检索对话的忠实数据集FaithDial。由此可见，利用模型生成数据的相关方法通常被用于构建幻觉评估数据集，同时也可作为忠实数据集以降低模型幻觉。虽然这种方法比从重新收集数据的成本要低，但它仍然需要耗费大量的人力和资源。

此外，其他方法也被用于构建忠实的数据集。例如，Cheng等人构建了一个用于问答系统和自然语言生成的层次表数据集HiTab，其中模型基于一组选定的单元格和运算符生成句子，从而提升模型生成语言的忠实性和逻辑性。Chen等人构建了涉及常见逻辑类型的大型数据集Logic2Text，用于从逻辑表生成高可信度的语言。其构建过程主要分为三个步骤：(1)描述的组成和验证；(2)逻辑表的注释和推导；(3)逻辑表的执行和验证。为了提升模型的诚实性，使其在面对超出能力范围的问题时能够坦诚地承认无法作答，一种可行的解决方法是在数据收集阶段中引入一些体现诚实态度的样本。具体而言，Sun等人在Moss项目的数据集中引入了诚实的样本，依据其调整的模型学会了在适当的情况下拒绝回答问题，从而有助于减少幻觉现象的发生。

综上所述，通过数据收集提升训练数据集质量，是缓解大模型幻觉的一种直观且有效的方法。然而，数据收集方法一般是基于特定任务的，其可能缺乏泛化性，导致大模型在其他任务中仍存在幻觉性。

4.1.2数据预处理

数据预处理方法主要包括数据清洗和数据增强两类方法，通过处理训练数据增强模型在输入和输出之间的对齐，一般常用于缓解内在幻觉、封闭域幻觉、输入矛盾幻觉和上下文矛盾幻觉。

4.1.2.1数据清洗

数据清洗方法可用于解决由于数据重复或缺失、数据标注等问题引发的幻觉。在训练数据的构建过程中，难免会引入语义噪声，例如输出中的一些短语不能用输入来解释。Raunak等人研究表明，部分幻觉类型可以通过特定的语料库级噪声模式产生和解释，该模式决定了由模型产生的幻觉类型。为了缓解语义噪声问题，一些研究提出采用数据清洗手段过滤数据集中可能导致模型幻觉的样本，该方法适用于原始数据中存在低或中等噪声的情况。例如，一种方法是通过幻觉评估指标，从现有的语料库中找到与输入无关或矛盾的信息，从而对数据过滤或修正。一般而言，语料库过滤方法包括下列步骤：

(1)利用模型幻觉的评估指标，根据幻觉水平衡量训练样本的质量；

(2)将训练样本的幻觉性评分按降序排列；

(3)根据样本的幻觉性排序，选择并过滤出不可靠的样本。

一些工作已经在实例层面缓解了幻觉产生的问题，Liu等人通过对每组“源-目标”使用一个评分，并过滤掉有幻觉产生的实例，从而降低模型的幻觉性表现。Shen等人提出一种基于贝叶斯优化的数据过滤方法，通过线性组合多种属性的质量度量，量化实例的幻觉水平。

然而，实例级的过滤可能会导致信号丢失，其原因在于一些情况下幻觉发生在单词级，即目标句子的某部分忠于源输入，而其他部分则可能存在幻觉。针对信号丢失问题，一些研究提出根据参考信息修正训练样本与模型输入数据。例如，Nie等人将一个用于数据细化的语言理解模块与自训练迭代集成起来，从而有效地诱导输入数据和对应文本之间的强等价性，进而减少模型的幻觉。该方法的数据清洗步骤主要通过迭代重新标记过程实现，这种修正输入意义表示的方法可以增强输入和输出之间的语义一致性，而不需要删除部分数据集，从而缓解了信号丢失的问题。

针对具体任务，数据清洗有如下的应用实例。在文本摘要任务中，Nan等人提出首先在参考摘要上应用Spacy方法识别所有命名实体，并从摘要删去无法在源文档中找到匹配内容的句子，以确保数据集中没有幻觉。针对机器翻译任务，通过删除无效的“源-目标”对，使用启发式或滤波器的语料库级噪声过滤也能有效减少机器翻译中的幻觉。

4.1.2.2数据增强

数据增强方法可用于缓解由于数据收集、数据标注等问题引发的幻觉。不同于数据清洗方法，数据增强技术主要基于有限的数据生成更多有效的数据，通过丰富数据的分布，提升模型泛化能力。针对大模型的幻觉性问题，由于外部知识、显式对齐和额外的训练数据等外部信息可以提高源与目标之间的相关性，帮助模型更好地学习与任务相关的特征，因而可通过增强输入数据的方式使其获得更好的源表示，进而缓解模型的幻觉问题。

在实体信息层面，Liu等人提出合并辅助的实体信息增强模型训练过程。在事实描述提取层面，Cao等人通过从源文档中提取的事实描述(如“主谓宾”关系三元组)增强数据，为摘要总结提供清晰且正确的指导。在预执行操作结果层面，Nie等人提出通过预先操作输入数据提取信息，并将结果作为从输入数据中推断出的事实来指导生成。在合成数据层面，Wang等人通过替换或扰动合成数据以增强负样本，并训练了一个受控生成模型。该模型可基于忠实性控制代码生成忠实或不忠实的摘要。Longpre等人提出了“知识冲突”现象，即上下文信息与模型在训练过程中学习到的信息不符。

此外，为了避免模型过度依赖于历史知识，可通过替换修改语料库的训练示例来增强训练集。Chen等人提出“对比候选生成和选择”模型。这是一种与模型无关的幻觉缓解技术。其中，“对比候选生成”步骤(数据增强)将生成摘要中的命名实体和数量替换为源文档中具有兼容语义类型的实体和数量。Biten等人通过采用不同的采样策略来选择图像说明中要替换的对象，从而增强原训练数据。在外部知识检索层面，Bi等人提出允许模型利用不在输入中的相关外部知识，并利用外部检索的知识增强模型生成内容的真实性。

针对具体任务，数据增强有如下应用实例。在对话生成系统中，Shuster等人提出一种通过检索增强的架构，其中对话基于检索到的知识生成。针对文本摘要任务，Chen等人通过替换或扰动生成增强数据，提升了文本摘要的可信度。

综上所述，数据预处理方法可以在数据层对大模型幻觉性问题进行有效缓解。其中，数据清洗方法从现有的并行语料库中找到与输入无关或矛盾的信息，然后对数据进行过滤或修正，但这种方法可能会造成信号丢失等问题。数据增强方法强制要求在输入和输出之间进行更强的对齐。然而，原始信息源和增强信息之间的差距，如语义差距和格式差异，将增加数据增强方法的应用挑战。

为进一步清晰展示各种幻觉缓解方法的应用场景，表3中将数据层幻觉缓解方法和幻觉产生的机理类型与任务类型相关联，相关方法也被作为实例总结在表3中。

表3 数据层幻觉缓解方法分类

4.2 模型层幻觉缓解方法

4.2.1模型结构

对大模型架构，特别是编码器和解码器部分进行修改，有助于缓解由于编码与解码缺陷等问题引发的模型幻觉。下文将从编码器和解码器两个角度分别介绍相关的模型层幻觉缓解方法。

4.2.1.1编码器

对文本进行编码是机器理解语言的核心。在语言模型中，编码器将一个可变长度的序列从输入文本编码为一个固定长度的向量表示。由于模型对输入缺乏语义解释，进而导致幻觉产生，因此一些工作从模型角度出发，通过修改编码器架构，使其与输入文本更兼容。改进编码器的结构可以使模型学习更好的文本表示，使其对文本间的内在联系有更好的理解，进而缓解大模型的幻觉性问题。因此，基于编码器的方法一般常在缓解内在幻觉、封闭域幻觉、输入矛盾幻觉和上下文矛盾幻觉类型中展现出较强的适用性。例如，Lim等人提出了一种基于多编码器的候选评分系统，包括候选项编码器和上下文编码器等部分，用于捕获上下文输入和候选项之间的语义相似性，进而在知识选择器和角色选择器中选取最合适的源。

针对具体任务，编码器优化方法有如下的应用实例。在文本摘要任务中，Zhu等人使用显式图神经网络对从源文档中提取的事实元组进行编码。在对话生成系统中，Wang等人采用了掩码语言模型(MLM)任务推断输入词是否被正确编码，该任务可以提高对整体输入的建模能力，并给出准确和完整的表示。

综上所述，改进的编码器可以提升对输入文本的理解，并将其编码到有意义的表示。提升编码器的理解能力，并避免其对训练数据的不同部分之间产生错误相关性，能够有效缓解大模型的幻觉性问题。

4.2.1.2解码器

在语言模型中，解码器将一个固定长度的向量表示(自然语言的编码)转化为可变长度的文本序列，通常用给定输入表示的自然语言生成最终输出。如前文所述，错误的解码会导致模型幻觉。因此，众多研究致力于修改解码器结构以减轻幻觉。由于基于解码器的幻觉缓解方法直接作用于输出端，这种方法不受限于任何幻觉类型，而是与缓解场景高度相关。

Liu等人提出一种用于受控文本生成的解码方法，它将预先训练的语言模型与“专家”和“反专家”语言模型相结合。Rebuffel等人提出多分支解码器，其中每个控制因素(即内容、幻觉或流畅性)均通过单一的解码模块进行建模，最终的输出表示可以根据各分支期望的重要性进行加权，从而减轻推理步骤中的幻觉。考虑到幻觉概率与预测的不确定性呈正相关，Xiao等人提出一种不确定性感知解码器，通过在模型解码过程中惩罚预测的不确定性来减少生成语言的幻觉。Song等人提出一种由序列解码器和基于树的解码器组成的双解码器。其中序列解码器主要用于生成新的摘要词，而基于树的解码器主要用于预测部分摘要单词之间的依赖关系，从而将源序列转换为摘要序列的线性化解析树，可以在改善句子语法的同时提升忠实性。Balakrishnan等人提出一种约束解码方法，该解码器使用具有词汇或结构限制的约束，并利用这种表示方式来提高语义的正确性。

这些改进的解码器通过找出标记之间的隐性差异和受显式限制的依赖性，提高了忠实标记的可能性，同时减少了在推理过程中产生幻觉的可能性。但由于改进后的解码器可能更难生成流畅或多样化的文本，因此还需要在大模型的语言生成性能和幻觉水平之间寻求恰当的平衡。

4.2.2模型训练与微调

在模型训练与微调阶段引入幻觉缓解策略有助于缓解由预训练知识偏好、模型知识更新局限等因素引发的幻觉性问题。这类方法主要用于内在幻觉、封闭域幻觉、输入矛盾幻觉和上下文矛盾幻觉的缓解。下文将从优化损失函数、引入辅助任务两个角度介绍模型层中训练与微调相关的幻觉缓解方法。

4.2.2.1损失函数

损失函数是用来度量模型的预测值与真实值的差异程度的运算函数，语言模型通常通过最小化损失函数来匹配大尺度语料库的分布特性。正则化则通过在损失函数的末尾添加额外的惩罚项来帮助防止模型过度拟合。Lee等人通过实验分析了常用的正则化项在缓解模型幻觉性问题方面的作用。此外，Kang等人提出，常用的损失函数(如对数损失等)虽然易于优化，但这种方法迫使模型重现数据集中的所有变化，包括噪声和无效的引用，从而导致模型幻觉。因此，一些工作通过修改模型训练中的损失函数来缓解幻觉问题。

针对对话生成任务，Yoon等人提出引入文本幻觉的正则化损失，该正则化项根据语言模型和幻觉模型之间的互信息求出，最小化该项有助于提高对话性能。针对预训练的视觉-语言模型，Dai等人提出对象掩码语言模型，通过屏蔽在图像中出现文本所指对象，该方法可以在生成过程中增强文本标记和视觉对象之间的对齐和限制。为了减轻噪声数据集的影响，Li等人提出倾斜的经验风险最小化方法，通过引入倾斜超参数，直接扩展传统的经验风险目标函数，灵活地调整单个损失的影响。

针对机器翻译任务，Wang等人提出最低风险训练方法，其目标函数可以表示为关于后验分布的预期损失，从而有效避免传统对数损失函数在训练过程中与模型推断不匹配的问题。针对表到文本生成任务，Wang等人通过引入新的表格-文本最优传输匹配损失以及一个表格-文本嵌入相似性损失作为内容匹配约束的方法，提升了生成文本的忠实性。

综上所述，作为一般的训练方法，针对损失函数进行优化，如正则化和损失重建，对幻觉问题的缓解有重要作用。在实际应用中，基于改进损失函数训练的模型可能更难生成流畅或多样化的文本，因此还需要在大模型的语言生成性能和幻觉水平之间寻求恰当的平衡。

4.2.2.2辅助任务

幻觉问题可能源于训练过程对单个数据集或任务的依赖，导致模型无法学习到实际的任务特征。因此，通过在训练过程中添加适当的额外任务和目标，可以提升模型的综合性能，并减少模型幻觉。基于辅助任务的方法将大模型和事实正确性相关的额外任务结合起来，以隐式的方式提高大模型性能。其中，强化学习和多任务学习是常用的将辅助任务纳入大模型相关任务的方法。

由于词级最大似然训练会导致暴露偏差的幻觉性问题，一些研究采用强化学习来解决幻觉问题，如图5所示。强化学习的目的是让智能体学习一个最优策略，使从环境中积累的奖励最大化，将实际任务和与正确性相关的辅助任务结合起来，以提高生成性能。其中，奖励函数对强化学习至关重要，如果设计得当，它可以提供训练信号，帮助模型实现其减少幻觉的目标。

图5 强化学习方法示意图

Cao等人提出一种用于区分实体事实和非事实性幻觉的检测方法，并将检测器评分当作离线强化学习算法的奖励信号，从而降低生成内容的幻觉性。Mesgar等人通过自然语言推断模型获得人格一致性奖励，可以量化生成内容和角色之间的一致性以及语义合理性，以减少幻觉问题。Song等人提出基于强化学习的RCDG模型，用于生成角色一致的对话。类似于生成对抗性神经网络，RCDG由一个生成器和两个评估器组成，分别用于估计生成话语的质量和一致性。Wang等人扩展了基于注意力的Transformer的极大似然损失，通过度量输入表和输出文本的嵌入向量之间的距离和实体匹配情况，缓解数据到文本生成的幻觉。基于这些奖励函数的强化学习方法可以直接优化生成文本的忠实度。为了提升模型的诚实性，并使其在超出训练数据范围的任务时能够准确判断自身的能力边界，Schulman等人提出了诚实导向的强化学习方法。其核心理念是鼓励模型表达不确定性，并通过学习特殊设计的奖励函数促使模型在超出能力范围时予以坦诚承认。该方法不再需要大量的人工标注数据，同时也消除了对注释者准确猜测模型知识边界的依赖。

还有一些研究通过多任务学习处理大模型在不同自然语言任务中的幻觉问题，其方法如图6所示。在多任务学习的训练范式中，一个共享模型同时在多个任务上进行训练，以学习不同任务的共性。对于大模型的多任务学习框架，一般将在共享权重编码器的基础上构建一个特定于任务的层。由此，大模型和辅助不同模型可以具有相同的语义表示，但具有不同的学习目标。

图6 多任务学习方法示意图

Weng等人将单词对齐任务纳入翻译模型，通过从训练集中抽取一个子集翻译获得误翻译片段。随后，在编码器和解码器上采用多任务学习范式指导语言模型正确翻译这些片段，由此提高输入和输出之间的对齐精度，从而缓解模型幻觉。Li等人将基本原理提取任务整合到语言生成模型中，在编码过程中将与问题最相关的输入片段作为答案的基本原理。基于提取的基本原理和原始输入，解码器可以产生一个高可信度的答案。Wang等人提出了具有两个辅助任务的多任务学习范式方法：首先，在编码器层面引入掩码语言模型任务，用于推断输入的词是否被正确地翻译，以提高对输入的建模和表示能力。在解码器方面，引入单词对齐任务来提高编码器，解码器和交叉注意的对齐精度，以帮助解码器捕获正确的上下文表示。Nan等人提出在文本摘要任务的训练过程中添加判断实体是否值得总结的分类任务，并采用联合实体和摘要的生成方法，从而进一步改进了模型在实体级别的事实一致性。

综上，基于辅助任务的训练方法可以有效缓解大模型的幻觉性问题。其中，基于强化学习的训练方法有助于根据训练信号，帮助模型实现其减少幻觉的目标。在实际应用中，其难点在于奖励函数的设计与选取。多任务学习的训练方法具有提高数据效率、减少过拟合等优点。在大模型的应用中，其难点在于共同学习的附加任务的选择。此外，同时学习多个任务对模型的设计和优化提出了新的挑战。

4.2.3后处理输出内容

基于后处理输出内容的方法是一类通用性的幻觉缓解方法。这类方法可用于缓解多种因素引发的幻觉，如编码与解码缺陷、预训练知识偏好、模型知识更新局限等。由于后处理方法直接作用于模型生成的内容，因此其适用范围广泛，不受特定幻觉类型的限制。在对应的缓解场景下，只需开发相关的后处理方法即可有效地改善模型输出质量。这种灵活性使得后处理方法成为一个有前景的研究方向。通过对生成内容的智能化分析和修正，可以在不改变原有模型架构的情况下，显著提升其抗幻觉能力和实际应用价值。

前文所述方法需要通过额外的样本构建过程、修改模型结构或训练过程，以提高生成内容与事实的一致性，这可能会影响模型的输出性能。基于后处理的方法通过对生成内容添加校正器以纠正幻觉（如图7所示）。特别是对于在产生幻觉的噪声数据集上训练的模型，建模校正可以作为缓解幻觉的有效方法。这种方法一般将生成的内容视为草稿，并采用删除、重写等方法纠正事实错误，以形成最终的输出文本。此过程与人类写作中审查和编辑初稿的过程非常相似，是常用的后处理方法。

图7 后处理方法示意图

Cao等人提出了后处理校正器模块的方法，通过识别和纠正生成文本中的事实错误来解决幻觉。其中，神经校正器模型的预训练过程在人工实例上进行。这些训练数据是在参考摘要上应用一系列启发式变换而创建的。Chen等人提出一种与模型无关的后处理技术，通过“对比候选生成和选择”的后处理方法减轻生成内容的幻觉性。其通过命名实体和数量替换生成候选摘要学习并生成判别矫正模型，将生成摘要中的命名实体和数量替换为源文档中具有兼容语义类型的实体和数量。然后使用该模型选择最佳的备选内容作为最终输出摘要。Dong等人提出考虑实体级修正并迭代进行的SpanFact。该方法使用两种事实修正模型，利用从问题回答模型中学到的知识，通过跨度选择和校正来纠正系统生成的摘要。Song等人提出了一个基于后处理的对话模型，通过生成、删除和重写三个步骤改正生成话语中的事实错误：(1)生成：正常的文本生成过程；(2)删除：识别并删除冲突词；(3)重写：通过生成模块恢复被删除的单词。Dziri等人对基于知识的对话系统应用了类似的策略，通过后处理模块对基于知识图的内容进行重写。在删除生成文本中潜在的错误实体后，基于图神经网络的后处理模块在基础知识图中检索正确的实体并进行改进。

综上所述，作为一个独立模块，后处理方法可以在保持信息量的同时有效地缓解大模型幻觉。在实际应用中，后处理校正步骤可能会导致不符合语法的文本，但这种方法允许研究人员利用在其他属性(如多样性、流畅性)方面表现最佳的模型，然后通过使用少量训练数据校纠正结果。

4.2.4(反)专家模型

另一种常用的幻觉缓解方法是通过专家模型或反专家模型。这种方法可以用于缓解由模型知识更新局限产生的幻觉。其中专家模型主要引导模型转向积极行为，而反专家模型主要引导模型远离消极行为。专家模型通常基于忠实样本子集训练，反专家模型通常基于幻觉性的训练数据。只需在对应的缓解场景收集相关的幻觉数据，并据此训练专家模型和反专家模型，就可以将这一方法应用于任何幻觉类型。

Qiu等人采用源摘要数据集训练一个基本的模型，其次用忠实的子集进行微调，以获得一个专家模型，并用幻觉的子集进行微调，以获得一个反专家模型。Ilharco等人提出“任务向量否定”方法。该种方法通过从大模型中减去反专家模型的任务向量来减轻幻觉，并使用超参数控制二者融合程度。Choubey等人认为仅从大模型中减去反专家任务向量会造成模型性能的潜在损失，因此提出“对比参数组合”方法，建议添加专家模型参数，并使用超参数控制三种模型之间融合程度。与直接操纵模型参数的“任务向量否定”和“对比参数组合”方法相反，Liu等人使用专家模型和反专家模型在每个解码步骤中修改预测内容的分数。同样，其通过使用超参数控制解码过程中的融合程度实现对生成内容的调整。

综上，(反)专家模型是引导模型行为的重要方法，可以有效缓解幻觉。在实际部署过程中，其难点之一是确定不同模型参数之间的融合程度，从而实现可控生成。

为了更清晰、直观地展示各种幻觉缓解方法的应用场景，表4中将模型层的幻觉缓解方法和幻觉产生的不同机理与任务类型相关联，相关方法也被作为实例总结在表4中。

表4 模型层幻觉缓解方法分类

4.3 应用层幻觉缓解方法

4.3.1提示工程

提示工程是一种在不更新模型参数的前提下，通过精心设计输入文本等方式引导大模型的方法，其旨在指导模型行为，引导其生成所需的结果。提示工程方法可以缓解由模型同质化、模型输入提示合理性以及有效性和多样性不足引发的幻觉性问题。当大模型的参数给定后，在模型部署应用的过程中，提示工程是影响模型生成质量的关键环节。许多研究通过提示工程方法缓解模型幻觉，提高输出的忠实性。由于提示工程的多样性与灵活性，该种方法可以针对任意缓解场景设计相关指令，不受限于任何幻觉类型。

针对大模型幻觉，Lightman等人通过对比根据最终结果提供反馈的结果监督方法与根据中间推理步骤提供反馈的过程监督方法发现，在解决来自MATH数据集的问题时，过程监督方法明显优于结果监督方法，且主动学习显著提高了过程监督的有效性。Li等人提出了一种基于轮询的对象探测评估方法。通过轮询方式，其将图片标注问题转变为一系列单独的分类问题，即判断特定目标是否存在，从而避免了指令设计和标题长度带来的偏差。Kumar认为，提供足够的上下文可以让模型为专业问题生成相关且准确的内容，通过在提示工程中加入一系列“思维链提示”方法，可提升大模型推理能力。该研究还提出可以利用“行动-观察-思维”框架解决综合性工程问题。Zhang等人提出过程监督方法可能存在“幻觉滚雪球”现象，在此基础上，通过提示使模型回溯其错误，可以提高模型在相关任务上的性能。Martino等人还提出了“知识注入”技术，通过将与任务相关的实体的上下文数据从知识图映射到文本空间，并将其包含在模型输入的提示符中以缓解模型幻觉。

基于提示工程的方法可以在不改变模型参数和结构的前提下，缓解大模型幻觉。然而，由于提示工程是影响模型生成质量的关键环节，这种方法的难点在于设计合理的输入指令，引导模型生成具有较低幻觉性的结果。

4.3.2事实指导

事实指导是提高大模型输出可靠性和信息量的一种直观、有效的方法。事实指导方法可以用于缓解由下游任务领域专业化、模型同质化等问题带来的模型幻觉。输入模型的引导信号可以定义为对原输入的附加内容。在事实指导方法中，关键在于向模型输入信息的类型以及输入信息的方法。引导信号可以是关键词句、外部知识或其他结构，如关系图或语义图。其中，关键词指导主要用于缓解内在幻觉、封闭域幻觉、输入矛盾幻觉以及上下文矛盾幻觉。而外部知识指导引入了额外事实信息，可以缓解外在幻觉、开放域幻觉和事实矛盾幻觉。

在关键词指导层面，针对抽象摘要任务，Li等人提出了结合提取方法的语言生成模型指导方法，通过关键信息指南网络的方式将关键词编码为关键信息表示，并以协同注意机制和指针机制中的关键词表示指导生成过程。Saito等人进一步将预训练模型与显著性标记模型相结合，通过显著性标记模型为每个令牌产生一个分数，实现对生成内容重要的字符片段的选择。

在外部知识指导层面，Dong等人提出，通过利用从源链接的外部知识库可以提高摘要的忠实度。在对话生成任务中，Shuster等人提出“检索-增强”的神经结构，基于检索到的相关知识生成对话，以提升生成内容的忠实性。在知识问答系统中，Zhang等人提出一种用户和知识库交互的框架，通过使用语言模型实现自动问题-知识对齐，以使存储的信息与用户的问题相关联。针对其他领域的专业任务，Bran等人提出由于大模型缺乏对外部知识来源的获取，限制了其在科学应用场景的有效性。通过将大模型与化学专家工具结合，大模型原本欠缺的化学性能获得了增强，并涌现出了将化学相关任务自动化的能力。

综上所述，事实指导是提高大模型忠实度和信息性的一种直观、有效的方法。在事实指导框架中，关键的技术挑战在于确定向模型中输入信息的类别以及输入方式。

4.3.3多模态应用

在通用人工智能发展的背景下，实现多模态、多任务的智能体已经成为人工智能研究的新趋势。由于大模型具有解决自然语言处理、机器视觉、自主决策等多模态任务的能力，其可以作为涵盖各种输入模态的下游任务的支柱，成为通用智能体的核心组件。同时，大模型在某一领域的专业能力也十分重要。因此，在模型部署过程中，基于多模态应用幻觉缓解方法依赖于下游任务类型及任务需求，需要通过对不同下游任务进行适配，提升大模型在特定领域的专业能力，并可以解决多种类型的幻觉性问题。

Li等人首次对大型视觉语言模型中的物体幻觉开展研究。其研究揭示输入视觉指令中出现的物体可能会导致模型幻觉，为避免评价标准受到输入指令和生成风格的影响，基于轮询的物体幻觉评估方法可能有效缓解该问题。Yoon等人发现基于视频的对话系统可能出现以输入中不加选择地复制文本为表现形式的文本幻觉问题。根据信息理论文本幻觉测量方法，他们提出了文本幻觉正则化损失，相应的文本幻觉缓解框架显著提升了系统的忠实性和可解释性。Biten等人针对图像字幕中的物体幻觉问题，采用均匀抽样、逆多项式抽样和更新共存矩阵等不同的策略选择要替换的对象，从而开展数据增强。该方法显著减少模型对幻觉指标的物体偏差，同时减少了对视觉特征的依赖性。

针对条件语言的生成任务，Xiao等人发现在图像字幕和数据到文本生成任务中，预测不确定性与幻觉发生几率正相关，从而提出了不确定性感知解码器的方法，通过在模型解码过程中惩罚预测的不确定性来减少幻觉。Dai等人研究了大规模视觉语言预训练模型在基于视觉信息生成文本时的幻觉问题。他们发现基于图像块(patch)的图像编码会产生较低的幻觉性，且更小的图像块分辨率可以显著减少模型关于物体的幻觉性。

此外，鉴于词(token)级的图像文本对齐和受控生成对减少幻觉的重要性，对象掩码语言模型被提出。通过屏蔽在图像中出现文本的所有对象，该方法通过增强文本标记和视觉对象之间的对齐和限制减少幻觉的产生。

为了更清晰地展示基于应用层的幻觉缓解方法的使用场景，表5中将应用层幻觉缓解方法和不同产生幻觉的机理与任务类型联系起来，相关方法也被作为实例总结在表5中。

表5 应用层幻觉缓解方法分类

4.4 小结

本节分别从数据层、模型层、应用层三个角度详细梳理了大模型幻觉的缓解方法，并对不同方法的原理进行了介绍和分析，相关的研究被总结在表6中。

表6 大模型幻觉缓解方法分类

通过以上分析，大模型幻觉的缓解方法较为丰富，但也存在一些局限性，具体对比分析如下（见表7）：

（1）数据层幻觉缓解方法集中在通过构建真实数据集或修正幻觉数据集以提高数据质量从而减少幻觉的产生。常用的策略包括数据清洗和数据增强等方法，亦有研究者关注对抗学习和检索增强的架构。目前数据层方法的局限性在于针对于个别数据集或者下游任务设计缺乏泛化性，同时缺乏小样本学习方法以进一步提升效率。

（2）模型层幻觉缓解方法涵盖从模型初始结构、模型训练与微调过程、模型后处理方法等各个方面，灵活且多样，并易于根据不同幻觉成因进行迭代优化。同时，所提出方法也面临解释性差，缺乏保障模型时效性，难以平衡生成性能和幻觉水平的局限。

（3）应用层幻觉缓解方法能够直接设计相关提示或者对齐指令缓解特定任务幻觉的产生，效率高且易于实现。但仍然存在方法的颗粒度高，与下游任务适配不精确等局限性。此外，外部知识是否完备也是影响方法有效性的重要原因。

表7 大模型幻觉缓解方法对比

5 大模型幻觉问题的未来展望

5.1 大模型幻觉问题影响的系统认知

在开发真实可靠的大模型时，如何平衡创造力与真实性是处理幻觉问题的巨大挑战。大模型的幻觉问题具有两面性。一方面，幻觉被视为模型的缺陷，需要通过技术手段予以纾解。尤其当大模型用于法律、医疗等关键应用时，不正确或虚构的信息可能导致严重后果，破坏信任和可靠性。但与此同时，幻觉也可以带来创新和创造性，生成出人意料的、新颖的想法。例如，在创意写作、产品设计、营销广告等应用场景中，幻觉能够激发设计师的灵感，协助探索多种可能的解决方案，生成引人注目的广告语和活动策划，打破传统思维定式的束缚。

已有学者认识到幻觉的“两面性”特点及其带来的相互作用，从认知科学的角度评估其价值，旨在将幻觉风险降至最低的同时，评估和利用其创造潜力，使大模型幻觉的价值最大化。Sam Altman认为大模型的幻觉是释放人工智能创造潜力的基石。Lee等人通过严格的数学分析，从概率论和信息论的角度为理解大模型幻觉和创造力的相互联系提供了理论参考。Wang等人通过对多模态AGI模型的分析表明幻觉与创造之间的相互作用是有益的。Rawte等人则将幻觉模型描述为“协作创意伙伴”，在创造性和艺术的背景下，“幻觉”被视为是创新思维的催化剂。在科学研究领域，大模型的创造性有助于拓展人类知识边界，协助人类研究者取得突破性进展。具体而言，Gupta等人基于微调的大模型实现了精确的分子能量预测。Völker等人开发了Text2Concrete，通过大模型对实验进行优先级排序，从而加快混凝土材料设计进程。Hong等人利用科学文章训练ScholarBert模型，并通过上下文发现与储能应用相关的氢载体分子。Abramson等人提出AlphaFold3模型，并利用其准确预测蛋白质、DNA、RNA 以及配体等生命分子的结构及其相互作用方式。综上所述，由于大模型具有自然语言输入的灵活性和上下文学习能力，因此可以非常有效地构建专业领域模型，并以前所未有的方式进行知识发现与创新。这些研究工作充分展现了大模型在科学研究中的巨大潜力,也为进一步探索幻觉与创造力的平衡提供了实践基础。

当前的研究工作倾向于减少幻觉，一定程度上忽略了其创造性。以教育领域为例，保证人工智能的诚实输出是教学和培训顺利开展的重要指标；然而，另一方面，利用幻觉生成的模拟教学案例和多样化场景能够增强学生的学习体验和理解能力，培养其批判性思维。因此，评估和利用幻觉现象与缓解幻觉问题同样重要，需要给予均衡的关注。Liu等人通过调研发现，确保模型输出的真实性无可厚非，因为错误的信息对于实际问题的解决可能带来重大影响，但幻觉的评估不应仅局限于诚实和有用这两个维度。对于幻觉问题，可控性意味着模型能够控制幻觉水平，并在忠实性和多样性之间取得平衡。可控生成将幻觉视为一种可控属性，成为权衡幻觉和多样性的一种重要方法。这种方法通过受控重采样和提供控制代码，可以对幻觉水平进行手动或自动的控制。考虑到幻觉的两面性特点，可以进一步调整可控生成方法来改变幻觉的程度，以满足不同现实应用对忠实性和多样性的需求。

总之，在未来的工作中，通过更细致的幻觉分类兼顾事实准确性和知识灵活性具有重要的现实意义。具体而言，可通过对有益幻觉的注释和识别，使大模型能够有能力区分有害和有价值的幻觉，通过价值对齐保证大模型的诚实性和真实性。随着大模型应用场景的不断扩展，不同应用领域的用户对于幻觉中创造力的价值具有不同的标准，对于“幻觉两面性”的深入理解与评估至关重要。未来的研究应继续致力于改进幻觉的检测和缓解技术，在不同应用场景下实现忠实性与创造力的动态平衡，最大限度地发挥大模型的价值。

5.2 大模型幻觉评估展望

尽管目前的幻觉评估方法已经在许多任务中取得了不错的效果，但仍存在一些不足与挑战。有关幻觉评估方法潜在的研究方向将体现于下列方面：

（1）细粒度(Fine-grained)

一方面，许多幻觉评估方法是通过统计指标度量的，虽可估计生成文本的整体幻觉水平，但很难精确定位幻觉。而幻觉定位对于成因剖析、寻求缓解以及下游部署策略等具有重要意义，因此需要从更细致的层面来展开。另一方面，绝大多数方法在评估时未能区分内在幻觉与外在幻觉，无法为人们提供足够的信息探究幻觉来源与纾解方法。设计细粒度的评估方法需要两步：先从更精细的层级精确定位幻觉，如使用依存级的依存弧；再对检测出的幻觉分别进行分类，这需要能够对幻觉进行自动分类的方法加以指引。因此，对该方法的实现是研究开展的未来方向，其挑战包括：用何种方式提取文本关键信息来定位幻觉、如何自动判断生成文本中幻觉部分与源文本的关系以确定幻觉类别以及如何保证两步方法的适配度等。

（2）内在幻觉的解释与外在幻觉的事实验证

考虑到内在幻觉的成因，如果设计的幻觉评估方法能够提供适当的关于内在幻觉的解释，例如提供与生成文本中幻觉相矛盾的源文本中的关键和精确信息，则可以更好地判断幻觉评估的正确性并更为精确地分析幻觉。这不仅可以指导幻觉评估方法的设计，还能够为幻觉评估方法的应用增加可靠性。

而对于外在幻觉而言，仅检测外部幻觉难以满足需求，还需要使用世界知识对其进行事实验证。由于人工验证耗费通常需要大量成本，如何设计能够自动进行事实验证的方法是未来的研究方向。Ji等人指出事实验证包含两个子任务：知识证据选择与声明验证。对于前一子任务，主要挑战在于如何从世界知识中获取证据，尤其是世界知识的完整性与正确性。如果能够准确地选择知识证据，便可更加精确地完成事实验证。该子任务的输出结果也可以提供给人类使用者，帮助其判断验证结果的合理性。而对于后一子任务，所用的验证模型鲁棒性一般较差，例如易受对抗性攻击以及易受否定词、数字和比较词的影响等。因此，如何提高其鲁棒性以及两个子任务之间的协同成为了重要的研究方向。

（3）训练数据的自动合成

基于模型的评估方法需要足够的数据训练评估模型，而传统方法均是在已有数据集的基础上添加人工扰动，这不仅耗费人力，还可能导致添加扰动后的幻觉类型与模型产生的幻觉类型不一致，同时出现难以覆盖所有幻觉类型的情况，影响幻觉评估效果。因此，自动合成幻觉数据的方法被提出，旨在解决简单的噪声添加方法所呈现的模式单一以及难以满足训练要求的技术局限。Gekhman等人提出了TrueTeacher方案，通过利用模型生成数据，并通过大模型标注幻觉。此研究方向的挑战在于如何保证自动生成数据的质量，包括幻觉类别覆盖情况、正负样本的占比，以及如何确保数据标注的正确性从而提升评估模型性能等问题。如果未来能够很好地解决这些挑战，则自动合成训练数据的方法将会为基于模型的方法的发展起到积极作用。

（4）泛化能力

现有评估方法多针对特定的自然语言生成任务，难以直接应用到其他任务场景中，这限制了幻觉评估方法的发展。因此，如何设计能够适用于多种任务(多模态、多语言等)的自动评估方法将成为重要的研究方向。这包括了不同任务数据的标准化整合以及能够应用于多种任务的评估模型的设计。Zha等人设计的AlignScore就是一种有益尝试。此外，为不同生成任务的幻觉评估设计标准化指标也十分重要，在这个过程中需要了解不同任务的联系，以避免牺牲一些任务的特有性质。因此，如何在泛化能力与特定任务中的表现之间做权衡也是该方向的一大挑战。

（5）幻觉评估方法的可解释性

幻觉评估方法的可解释性对于大模型性能提升具有重要意义，可从模型内部和模型外部分别进行。从自解释性角度，可直接设计可解释性强的幻觉评估模型方法。例如，可参考已有设计，修改模型结构从而提升模型可解释性，或者在评估时展示模型方法对于生成文本中幻觉部分的识别与评价过程以提供更多参考。从事后解释性角度，可在评估结果基础上执行额外的操作为其提供解释。基于迁移学习的思想，Wang等人指出模型的可解释性具有可迁移性，可通过局部替代模型和模型蒸馏两类方法展开。前者用可解释强的模型来拟合目标模型的局部来辅助解释，代表性工作为LIME；后者则利用结构简单的学生模型来模拟相对复杂的教师模型，在尽可能保证性能的前提下压缩模型，从而提升解释模型决策过程。

此外，还可结合幻觉评估问题的特点，参考基于反向传播、基于注意力机制以及基于样例驱动等方法提高评估模型方法的可解释性。Michaud等人提出了利用模型增强其自身可解释性的方法，这对提高幻觉自动评估方法的可解释性有所启发：可以用模型为自动评估方法提供安全性证明，再通过人工检查证明的正确性。

5.3 大模型幻觉缓解方法展望

（1）数据层展望

如前所述，海量的优质数据是训练可信大模型的重要基石，而训练数据也往往是大模型幻觉的根本成因之一。因此，从数据角度入手缓解大模型幻觉问题是机器学习未来发展的重要方向之一。Villalobos等研究人员通过研究揭示，机器学习将可能在2026年前耗尽高质量的语言数据，并可能在2060年前耗尽图像数据。这表明，如果数据使用效率并未大幅提高或开发出新的优质数据源，依赖大量数据集的机器学习模型的发展趋势可能会放缓。因此，如何提升数据利用效率和质量，开拓更先进的数据增广方法和更有效的小样本学习方法，以及知识蒸馏架构等提升数据利用效率的机器学习方法，将成为未来的重要发展方向。此外，由于尚不存在对各类人工智能任务有效的通用方法，通用人工智能的发展受到实质性限制。因此，开发通用且稳健的处理方法以缓解大模型幻觉将成为未来发展的重要方向。

（2）模型层展望

近年来，大模型的兴起和其在各领域的广泛应用在很大程度上源于其“涌现能力”，即当训练数据的量与模型规模超过某个阈值的时候，模型的性能突然大幅提升。然而，大模型的涌现特性是欠鲁棒的，且不具备可解释性。由于大模型训练基于概率分布进行，这就导致大模型生成的信息具有基于概率分布的随机性，无法在理论上保证生成信息的真实性和准确性。因此，改进模型结构，通过优化输入内容表示能力、数据推理能力以及因果推理能力，从根源上缓解模型幻觉成为重要的发展方向。

在大模型需要进行多模态输入输出任务的前提下，学习跨模态表示是提高大模型表达性，进而提高其忠实性的一个重要方向。数据推理能力主要涉及数学问题解答和生成文本中数字的正确性，通过“思维链”等基于提示工程的推理方法，以及在数值建模中增加推理能力是缓解大模型幻觉问题的关键方法。因果推理是根据一个结果发生的条件对因果关系得出结论的过程，与人类的思维过程类似。因此，将因果推理纳入大模型可以为解决模型的幻觉性问题提供新的思路，从而提升机器学习模型可信性。

提升大模型的可解释性，特别是提供关于模型输出的结果解释问题，对缓解大模型幻觉至关重要。首先，可以进一步将知识库技术与大模型相融合，在提升模型可解释性的同时，利用知识库中的真实知识缓解模型幻觉。基于溯源的方法也可以为模型的输出提供可解释性，这种方法通过展示关于模型输出的预测推导过程，为最终的输出结果提供推理依据。当模型输出是一系列推理步骤的结果时，这是一种直观而有效的可解释性技术。此外，对可解释性评估过程和指标的扩展，也可以作用于缓解模型幻觉性的过程中。这些指标可以作为损失函数的一部分纳入机器学习模型的训练过程中，或作为强化学习过程中的奖励函数。在可解释性指标的指导下，模型的可信性会进一步提升，其幻觉性问题也有机会得到有效缓解。

此外，虽然关于减轻幻觉的研究已经非常丰富，但大多数研究并未着重区分内在幻觉和外在幻觉。如前所述，当前研究的主要重点是处理内在幻觉，而外在幻觉则通常被忽视。由于大模型在事实性上的表现与其训练数据量和时效性的息息相关，模型的知识参数也需要不断更新。因此，应对模型时效性等因素导致的外部幻觉也是面临的重要挑战。未来应当对内在和外在幻觉系统探索多元化缓解方法。

（3）应用层展望

模型幻觉问题导致其实际部署面临着可信性不足、传播误导性信息等严峻挑战。推进大模型广泛落地的关键在于解决前沿技术与真实应用场景之间的适配问题。首先，应建立能够与应用场景相衔接的大模型体系。其次，需要配套平台、工具，尽可能降低非专家用户的应用门槛。最后，大模型需要完整的生态支持，包括应用生态、硬件生态的建设等。这些措施有助于对大模型的实际应用提供全流程、端到端的支持，增强其在真实应用场景中的可信度。

大模型具有数据量大、参数规模大、通用性高等优势，但直接部署利用大模型却难以处理实际应用场景中多样化的应用需求，过多的通用知识可能会对专业问题产生幻觉性影响。因此，在通用模型基础上，还需要根据具体下游任务和专业领域创建专家模型。其中，针对特定任务，如自然语言处理领域的抽象摘要、对话等任务以及视觉领域的图文搜索、文档图像理解等，需要对大模型进行适配，以减少其幻觉性问题。同样，对于特定的行业或专业领域，应当以通用大模型为支柱，挖掘高质量的行业领域数据，将其与知识引入模型中，提高其生成内容的忠实性。

在用户层面，还可通过多样化的正确指令，对模型识别复杂性问题的能力做出指引，在提示工程中尽可能提供正确的外部知识，降低模型输出幻觉的概率。与此同时，以无害性、真实性、专业性为对齐标准，尽可能提供公正、无偏的人类反馈，优化和改进奖励模型，通过对齐技术进一步降低幻觉问题的产生也是值得关注的重要方向。

随着生成式人工智能产业的不断壮大，大型模型幻觉问题已经显现为制约其广泛应用的重要障碍。解决这一问题不仅需要在数据层、模型层和应用层系统上展开综合性的努力，还需要广泛的技术社群、用户群体等多元利益相关者的积极协同合作。只有通过多维度的探索和合作，形成跨领域的技术解决方案，才能够切实推动可信人工智能的健康和持续发展。

声明:公众号转载的文章及图片出于非商业性的教育和科研目的供大家参考和探讨，并不意味着支持其观点或证实其内容的真实性。版权归原作者所有，如转载稿涉及版权等问题，请立即联系我们删除。