文章目录
[隐藏]
AnythingLLM
是一款开源的全栈应用程序,旨在帮助用户构建基于检索增强生成(RAG
)技术的私有知识库。通过将本地的 PDF
、Word
文档、文本文件等嵌入到本地向量库,并连接大型语言模型(LLM
),用户可以通过对话或搜索的方式获取答案、见解,甚至生成摘要。
通过AnythingLLM
,可以方便的构建自己的知识库,不用再手动上传文档到模型中了~~
1、注册SILICONFLOW
并获取API
首先注册SILICONFLOW
(硅基流动):点击注册
然后打开API
页面,新建一个API
密钥:SiliconCloud
2、在AnythingLLM
中添加DeepSeekAPI
打开AnythingLLM
的设置,找到LLM
首选项,在LLM提供商处找到“Generic OpenAI
”,然后按照下面的配置进行填写:
解释一下两个重要参数:
1). Token Context Window
(上下文窗口大小)
- 定义:指的是模型一次能够处理的 最大输入
token
数量(包括问题和上下文)。 - 作用:决定模型能“记住”多少内容,在
RAG
(检索增强生成)应用中,context window
限制了检索后能提供给模型的上下文信息。
2). Max Tokens
(最大生成 token
数量)
- 定义:控制模型 最大可以输出的
token
数量。 - 作用:影响回答的长度,防止生成过长的内容导致超时或消耗过多算力。
这里的chat Model Name
可以在下面的地址中找到:https://cloud.siliconflow.cn/models
另外,还有一种魔改内置DeepSeek
路径的方法,如果你不用官方的API
,也可以试试,具体参考: