在线工具推荐：三维数字孪生场景工具 - GLTF/GLB在线编辑器 - Three.js AI自动纹理化开发 - YOLO 虚幻合成数据生成器 - 3D模型在线转换 -  3D模型预览图生成服务

什么是大语言模型幻觉

众所周知，大型语言模型（LLM）有“幻觉”。这是一种行为，因为模型说出错误的知识，就好像它是准确的一样。在这篇文章中，您将了解为什么幻觉是法学硕士的本质。具体来说，您将学习：

• 为什么法学硕士会出现幻觉
• 如何让幻觉为你工作
• 如何减轻幻觉

让我们开始吧。

大语言模型中
幻觉的温和介绍 作者使用稳定扩散生成的图片。保留部分权利。

概述

这篇文章分为三个部分;他们是

• 什么是大语言模型中的幻觉
• 使用幻觉
• 减轻幻觉

什么是大语言模型中的幻觉

大型语言模型是一种经过训练的机器学习模型，可根据提供的提示生成文本。模型的训练为其配备了从我们提供的训练数据中获得的一些知识。很难说一个模型记住了什么知识，或者没有记住什么知识。事实上，当模型生成文本时，它无法判断生成是否准确。

在LLM的上下文中，“幻觉”是指模型生成不正确，无意义或不真实的文本的现象。由于LLM不是数据库或搜索引擎，他们不会引用他们的回应基于哪里。这些模型根据您提供的提示生成文本作为外推。外推的结果不一定得到任何训练数据的支持，但与提示最相关。

要理解幻觉，您可以从一些文本中构建一个双字母双字母的马尔可夫模型：提取一长段文本，构建每对相邻字母的表格并计算计数。例如，“大语言模型中的幻觉”会产生“HA”、“AL”、“LL”、“LU”等。还有一项“LU”和两项“LA”计数。现在，如果您从提示符“L”开始，则产生“LA”的可能性是“LL”或“LS”的两倍。然后，在提示“LA”的情况下，您生成“AL”、“AT”、“AR”或“AN”的概率相等。然后，您可以尝试使用“LAT”提示并继续此过程。最终，这个模型发明了一个不存在的新词。这是统计模式的结果。你可能会说你的马尔可夫模型出现了拼写幻觉。

LLM中的幻觉并不比这复杂得多，即使模型要复杂得多。从高层次来看，幻觉是由有限的上下文理解引起的，因为模型有义务将提示和训练数据转换为抽象，其中某些信息可能会丢失。此外，训练数据中的噪声也可能提供偏斜的统计模式，导致模型以您意想不到的方式做出响应。

使用幻觉

您可能会认为幻觉是大型语言模型中的一个特征。如果你想让他们有创造力，你就希望看到模特产生幻觉。例如，如果您要求 ChatGPT 或其他大型语言模型为您提供一个幻想故事的情节，您希望它不是从任何现有故事复制，而是生成新的角色、场景和故事情节。仅当模型未查找训练它们的数据时，才有可能这样做。

你可能想要幻觉的另一个原因是在寻找多样性时，例如，询问想法。这就像让模特为你集思广益。您希望从训练数据中可能找到的现有想法派生，但不完全相同。幻觉可以帮助你探索不同的可能性。

许多语言模型都有一个“温度”参数。您可以使用 API 而不是 Web 界面来控制 ChatGPT 中的温度。这是随机性的参数。较高的温度会引入更多的幻觉。

减轻幻觉

语言模型不是搜索引擎或数据库。幻觉是不可避免的。令人讨厌的是，模型生成的文本包含难以发现的错误。

如果受污染的训练数据导致了幻觉，则可以清理数据并重新训练模型。但是，大多数模型太大，无法在自己的设备上进行训练。在商用硬件上，甚至微调现有模型也是不可能的。最好的缓解措施可能是人为干预结果，并要求模型在严重错误时重新生成。

避免幻觉的另一种解决方案是控制生成。这意味着在对模型的提示中提供足够的详细信息和约束。因此，该模型产生幻觉的自由有限。提示工程的原因是指定模型的角色和场景来指导生成，使其不会无限产生幻觉。

总结

在这篇文章中，你了解了LLM是如何产生幻觉的。特别

• 为什么幻觉会有用
• 如何限制幻觉

值得注意的是，虽然幻觉可以减轻，但可能不会完全消除。在创造力和准确性之间有一个权衡。

由3D建模学习工作室 翻译整理，转载请注明出处！