LLM入门

LLM入门

LLM入门 #

LLM这么好用，入门当然是先把它用起来了。以下是常见的LLM应用：

个人推荐chatgpt和kimi。chatgpt的生成质量不用说。kimi现在已经是我在国内唯一认可的搜索引擎了。

LLM for Developer #

开发人员用的大语言模型，是真的大语言模型，与上述的几个平台是不一样的。上述平台看上去是接收了一条用户消息后，直接反馈结果，事实上后面可能调用了几十次大语言模型。通过多次的思考、交流，才得出用户需要的回复。

本节所说的LLM只是一个模型，给定一个输入，直接计算输出的这种，所以需要对这个输入做大量的控制。通常被称作：Prompt Engineering。国内的小微企业很多就卡在这一步了。别人做的东西效果就很好，但到自己这里怎么调也不对。为了让效果达成想要的目标，就拼命加模块，改逻辑结构，最终的代码越发改不动。

有一个推荐的视频，吴恩达的： ChatGPT Prompt Engineering for Developers。看完之后效果会好不少。但是Prompt撰写还是需要大量经验的。

RAG (Retrieval-augmented Generation) #

RAG分两个步骤：1、检索相关的信息；2、将相关信息交给大模型，生成最终的结果。相关的方法参考： RAG综述。

RAG是我认为目前LLM落地的最佳实践，没有之一。原因如下：

  1. RAG是与模型无关的。现在模型效果都还不错，接口也比较一致。使用RAG可以根据需求快速在各模型间切换。
  2. RAG能够确保结果的信息来源，降低大模型的幻觉。
  3. RAG能够实时引入更新的数据。

知识库基于RAG建立，针对RAG的两个步骤，需要建立有效的检索方案（与传统的搜索引擎有很大区别），也需要能够有效的组织检索到的信息。