视频号：黄益贺
YouTube / Medium: huangyihe
如果你对现在的知识库产品不满意，想要提升检索精确度，我推荐你试一试RAGFlow。它提供了更深度、更细致的选项，你可以根据自己文档的情况做针对性的调整。如果你们团队或者公司想要搭建一套本地知识库，我也建议你们先研究一下RAGFlow。我之前就在社群里说过：大概率，你们自己捣鼓出来的东西不会比它更好——还不如在它的基础上做定制化。RAGFlow是一套开源的RAG引擎。它重度集成了各种技术，而且更新很快。咱们可以来对比一下：像AnythingLLM之类的知识库应用，在RAG设置方面，一般就允许你选择用什么嵌入引擎，以及Chunk Size多大，有多少Overlap。再来看RAGFlow。除了Embedding Model，还可以选择Rerank Model。在知识库设置里，可以针对不同的文档类型，选择不同的切割方式，以及是否要开启RAPTOR。在Chatbot设置里，可以选择是否要开启Self-RAG。RAPTOR这个技术简单来说就是，先把文档分成小块，然后对每一块做总结，然后再次总结、形成更高一层的概括。这么一层层地总结、叠加，最终形成一种树状的结构。对于需要多步骤推理的复杂问题，把RAPTOR开起来，效果更好。至于Self-RAG，其实就像名字里说的那样，它会自我反省。因为，RAG虽然解决了外部知识补充的问题，但在实际使用中，有时会出现过度检索等问题。所以就需要用大模型来评判、来自我反省。所以你看，这些更进阶的东西，我们目前常用的应用都没有，它们都还是一种轻量化的设计。RAGFlow的定位是引擎，所以它自身得足够强大，对技术得扎得足够深。既然是引擎，那就得支持向外输出马力。通过RESTful APIs，RAGFlow可以跟其它Chatbot或者Agent打通——这个以后我会在社群里详细介绍。通过Docker，很容易就能完成部署。唯一需要注意的是，留出至少50G的硬盘空间，这个项目很大条的。首先咱们创建一个RAGFlow文件夹。接着在VS Code里打开它，通过git clone命令把仓库克隆到本地。然后通过cd命令进入docker文件夹。最后运行docker compose up这行命令，就会开始下载镜像了。因为包含了一些模型文件，所以体量挺大的。大家得耐心等等。我这边等了得有10分钟，终于全部搞定了。在Docker里把项目启动起来。打开一个浏览器页面，输入localhost就可以看到RAGFlow的页面了。第一次进入需要注册，这个也是为了方便团队使用。我们首先点击右上角的头像，做一些设置。用户名、头像、密码什么的我就不说了，大家都懂。主要是模型设置这边。RAGFlow支持所有主流模型提供方。国内的有月之暗面、智谱等等，国外的有OpenAI那些，基本是应有尽有了。对于云端的平台，把API Key填进去，点击确认，它会验证是否可用。然后打开下拉列表就可以看到支持的模型了，包括Chat、Embedding、Image2Text、Speech2Text。如果是要本地运行，比如Ollama，Base URL记得是填host.docker.internal:11434，不是localhost:11434。在模型名称这边别填错了。如果不确定的话，打开终端，输入Ollama list，就会列出你现有的所有模型。然后把名称复制、粘贴过去。设置完成之后，就可以创建知识库了。这边主要有三点：第一，使用什么嵌入模型。你可以用RAGFlow自带的，也可以用你自己的。第二，切块的方式。不同的文档类型，RAGFlow有不同的切块方法。选中任意一个，在右边就会有具体的解释。从这点你就能看出它的专业度。如果你拿不准，也可以选择General。第三，选定切块方式之后，有可能会让你设置切块的大小。默认是128，你可以根据文档的情况把它调大一点，比如256、512。至于最下边的RAPTOR，大家可以把它打开，试一下效果。这一切设置完成，就可以上传文档了。我这边准备了一篇关于英伟达的文章，从公众号里复制下来的，内容是关于英伟达的网络产品。大家都知道，英伟达的GPU和CUDA是护城河。现在，趋势有变化——单卡的性能已经无法满足大模型训练和推理的需求了，集群是唯一出路。但是，要把几万块GPU组合成一个超大GPU有很高的难度。所以，英伟达正在构建自己的第三条护城河：Networking。跑题了，咱们回到RAGFlow这边。文档传上去之后，别忘了要手动点击开始。有时会解析失败，不要紧，再来一次就好。如果还不行，就回去改一改设置，也许是切块的大小设得太高了等等。为了测试检索的效果，RAGFlow还提供了Retrieval Testing。咱们可以输入一个问题，看一下它都找到哪些相关的文本块。对于一些场景，比如AI客服，我们会希望检索尽可能准确。于是就可以在这一步检测，不满意就回头修改。最后是落地环节。这一步需要创建一个Assistant，也就是聊天机器人。同样地，RAGFlow也提供了丰富的定制化选项。比如，AI用什么开场白跟用户打招呼；如果没有在知识库检索到相关的内容，AI该怎么回复；是否要开启Self-RAG；要关联哪些知识库，等等。我敢肯定，这三页的设置就超过市面上绝大多数的Chatbot类产品。因为，RAG其实包含了两个环节：一个是Retrieval，检索；一个是Generation，生成。这一步的设置就是为了提升生成的质量，很容易被大家忽视——RAG不能只看检索。OK，全都搞定之后，咱们来测试一个问题，看看回答效果：英伟达为什么要造交换机？虽然回答的时间有点长，但效果还挺不错的。而且这还是在我没有做细致设定的情况下。我相信，如果花时间去调试的话，效果一定会很不错。OK，RAGFlow的部署和基本应用就这些。从检索到生成，它所提供的设置选项应该能满足各种需求。这也是为什么我在社群里说它是Ultimate RAG Engine的原因。之后有更多进阶内容的话，我会发在社群里。在公域讲太深了挺浪费的。那咱们下期见！