ChatWiki，一个RAG本地AI问答系统开源了，在GitHub可免费下载！

ChatWiki可以基于AI大模型搭建聊天机器人：点此进入芝麻小客服官网

可选择OpenAI/ Google Gemini/Cohere/文心一言/讯飞星火/通义千问/Kimi/腾讯混元等国内外20多种AI大模型。
同时支持在线网站、H5链接、微信公众号、微信小程序、微信客服、视频号小店等接入。
能处理任意格式文本，包括pdf、docx、txt、Markdown、xlsx、csv、html、在线网页数据。

企业可以直接使用ChatWiki提供的SaaS版本，或者在GitHub上下载源代码，部署定制本地私有智能知识库。

在GitHub上下载ChatWiki代码是免费的！

ChatWiki官网：chatwiki.com

GitHub开源地址：https://github.com/zhimaAi/chatwiki

ChatWiki体验地址：http://h5.wikichat.com.cn/#/chat?robot_key=lTo85wvGSj

ChatWiki，一个RAG本地AI问答系统开源了，在GitHub可免费下载！

一、ChatWiki技术架构

ChatWiki基于大语言模型（LLM ）和检索增强生成（RAG）技术构建，将传统的检索方法与生成模型结合，通过引入外部知识库来增强生成的内容。不仅能够显著提高回答的准确性，还能够有效地处理一些生成模型单独无法处理的长尾问题和专业问题。

RAG 的工作流程可以参考下图来直观地了解。

ChatWiki，一个RAG本地AI问答系统开源了，在GitHub可免费下载！

具体来说可以分为以下几个主要步骤：

1.知识库的构建

首先，RAG 模型需要一个包含丰富信息的私有知识库。这个知识库可以包括各种类型的文档，如 PDF 文件、笔记、技术文档等。知识库的内容需要预先进行处理和分块，以便于后续的检索操作。每个文档被分成若干小的文本块（text chunk），这些文本块是后续检索操作的基本单位。

2.嵌入模型的训练

接下来，利用嵌入模型（Embedding Model）对知识库中的每个文本块进行编码，生成对应的向量表示。这些向量表示捕捉了文本块的语义信息，能够在向量空间中反映出文本块之间的相似性。嵌入模型通常是通过大规模预训练语言模型（如 BERT、RoBERTa 等）进行微调，以适应特定领域的知识和语言风格。

3.向量索引和存储

生成的向量表示需要进行索引和存储，以便于后续的快速检索操作。这一步通常使用向量数据库（如 FAISS）来实现。向量数据库能够高效地处理大规模向量数据，并支持近似最近邻（ANN）搜索，从而在大规模数据中快速找到与查询向量相似的存储向量。

4.查询处理与嵌入

当用户通过聊天界面提交查询时，RAG 模型首先将查询输入嵌入模型，生成查询向量。这个查询向量同样捕捉了查询的语义信息，便于后续的相似性搜索。

5.相似性检索

通过查询向量，RAG 模型在向量数据库中进行相似性检索。检索过程利用近似最近邻搜索算法（如 HNSW），快速找到与查询向量相似的存储向量。这些相似向量对应的文本块就是检索到的上下文文档片段。

6.文档片段的生成

检索到的文档片段被传递给生成模型（如 GPT-4），作为生成答案的上下文。生成模型利用这些上下文信息，结合查询内容，生成更加准确和相关的答案。生成模型的提示（Prompt）可以设定为“根据上下文回答查询”，确保生成的内容紧扣检索到的信息。

7.答案生成

最终，生成模型输出的答案通过聊天界面返回给用户。这一过程确保了答案的准确性和相关性，因为生成模型依赖于从知识库中检索到的实际文档片段，而不仅仅是依赖于其内部的预训练知识。

二、私有化部署

1.准备工作