点击下方“JavaEdge”，选择“设为星标”
第一时间关注技术干货！
免责声明~ 任何文章不要过度深思！ 万事万物都经不起审视，因为世上没有同样的成长环境，也没有同样的认知水平，更「没有适用于所有人的解决方案」； 不要急着评判文章列出的观点，只需代入其中，适度审视一番自己即可，能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。 怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的大道」
2024年，大模型发展的脚步持续加快，你一定对 RAG（检索增强生成）有所耳闻，随大模型快速发展，RAG 作为一种新兴开发范式，能有效解决大模型的幻觉和知识停滞的问题，并已成为企业构建智能问答应用的最佳实践。
1 什么是RAG？
对大型语言模型输出进行优化，使其能够在生成响应之前引用训练数据来源之外的权威知识库。大型语言模型（LLM，Large Language Model）用海量数据进行训练，使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。
在 LLM 本就强大的功能基础上，RAG 将其扩展为能访问特定领域或组织的内部知识库，所有这些都无需重新训练模型。这是一种经济高效地改进 LLM 输出的方法，让它在各种情境下都能保持相关性、准确性和实用性。
2 为啥RAG很重要？
LLM 是一项关键的AI技术，为智能聊天机器人和其他自然语言处理（NLP）应用程序提供支持。目标是通过交叉引用权威知识来源，创建能够在各种环境中回答用户问题的机器人。但 LLM 技术本质在 LLM 响应中引入不可预测性。此外，LLM 训练数据是静态的，并引入其所掌握知识的截止日期。
LLM 面临已知挑战：
在没有答案的情况下提供虚假信息
当用户需要特定的当前响应时，提供过时或通用的信息
从非权威来源创建响应
由于术语混淆，不同的培训来源使用相同的术语来谈论不同的事情，因此会产生不准确的响应
可将LLM看作一个过于热情的新员工，他拒绝随时了解时事，但总是会绝对自信地回答每一个问题。不幸的是，这种态度会对用户的信任产生负面影响，这是您不希望聊天机器人效仿的！
RAG 是解决其中一些挑战的一种方法。它会重定向 LLM，从权威的、预先确定的知识来源中检索相关信息。组织可以更好地控制生成的文本输出，并且用户可以深入了解 LLM 如何生成响应。
3 RAG的好处
RAG 技术为组织的AIGC工作带来多项好处。
3.1 经济高效的实施
聊天机器人开发通常从[基础模型]开始。基础模型（FM）是在广泛的广义和未标记数据上训练的 API 可访问 LLM。针对组织或领域特定信息重新训练 FM 的计算和财务成本很高。RAG 是一种将新数据引入 LLM 的更加经济高效的方法。它使AIGC技术更广泛地获得和使用。
3.2 当前信息
即使 LLM 的原始训练数据来源适合您的需求，但保持相关性也具有挑战性。RAG 允许开发人员为生成模型提供最新的研究、统计数据或新闻。他们可以使用 RAG 将 LLM 直接连接到实时社交媒体提要、新闻网站或其他经常更新的信息来源。然后，LLM 可以向用户提供最新信息。
3.3 增强用户信任度
RAG 允许 LLM 通过来源归属来呈现准确的信息。输出可以包括对来源的引文或引用。如果需要进一步说明或更详细的信息，用户也可以自己查找源文档。这可以增加对您的生成式人工智能解决方案的信任和信心。
3.4 更多开发人员控制权
借助 RAG，开发人员可以更高效地测试和改进他们的聊天应用程序。他们可以控制和更改 LLM 的信息来源，以适应不断变化的需求或跨职能使用。开发人员还可以将敏感信息的检索限制在不同的授权级别内，并确保 LLM 生成适当的响应。此外，如果 LLM 针对特定问题引用了错误的信息来源，他们还可以进行故障排除并进行修复。组织可以更自信地为更广泛的应用程序实施生成式人工智能技术。
4 RAG的工作原理
如果没有 RAG，LLM 会接受用户输入，并根据它所接受训练的信息或它已经知道的信息创建响应。RAG 引入了一个信息检索组件，该组件利用用户输入首先从新数据源提取信息。用户查询和相关信息都提供给 LLM。LLM 使用新知识及其训练数据来创建更好的响应。
4.1 创建外部数据
LLM 原始训练数据集之外的新数据称为外部数据，可来自多个数据源如 API、数据库或文档存储库。数据可能以各种格式存在如文件、数据库记录或长篇文本。
另一种称为嵌入语言模型的 AI 技术将数据转换为数字表示形式并将其存储在向量数据库。这个过程会创建一个AIGC模型可以理解的知识库。
4.2 检索相关信息
下一步是执行相关性搜索。用户查询将转换为向量表示形式，并与向量数据库匹配。如考虑一个可回答组织的人力资源问题的智能聊天机器人。如员工搜索*：“我有多少年假？”*，系统将检索年假政策文件及员工个人过去的休假记录。这些特定文件将被退回，因为它们与员工输入的内容高度相关。相关性是使用数学向量计算和表示法计算和建立的。
4.3 增强 LLM 提示
接下来，RAG 模型通过在上下文中添加检索到的相关数据来增强用户输入（或提示）。此步骤使用提示工程技术与 LLM 进行有效沟通。增强提示允许大型语言模型为用户查询生成准确的答案。
4.4 更新外部数据
外部数据过时咋办？要维护当前信息以供检索，请异步更新文档并更新文档的嵌入表示形式。您可以通过自动化实时流程或定期批处理来执行此操作。这是数据分析中常见的挑战——可以使用不同的数据科学方法进行变更管理。
RAG 技术易于入门，但效果难提升：
如何借助 RAG，最大限度发挥大模型的潜力？
怎样轻松搭建你的专属 RAG 知识库与智能问答机器人？
RAG 又如何能够在企业级场景中高质量落地？
腾讯云开发者社区携手腾讯云向量数据库团队与腾讯云安灯团队，联合推出**《RAG 七天入门训练营》，将从基础理论到实际应用**，由鹅厂大牛带你快速学习 RAG，助你轻松上手AI Plus，玩转高质量 RAG 应用！
公众号：JavaEdge 专注分享软件开发全生态相关技术文章、视频教程资源、热点资讯等，如果喜欢我的分享，给 点一个赞 或者 ➕关注 都是对我最大的支持。
欢迎长按图片加好友，我会第一时间和你分享软件行业趋势，面试资源，学习途径等等。
添加好友备注【技术群交流】拉你进技术交流群
关注公众号后，在后台私信：
更多教程资源应有尽有，欢迎
关注，慢慢获取