马春杰杰博客
致力于深度学习经验分享!

如何利用AnythingLLM部署SILICONFLOW的DeepSeek满血版API?

最新目录

AnythingLLM 是一款开源的全栈应用程序,旨在帮助用户构建基于检索增强生成(RAG)技术的私有知识库。通过将本地的 PDFWord 文档、文本文件等嵌入到本地向量库,并连接大型语言模型(LLM),用户可以通过对话或搜索的方式获取答案、见解,甚至生成摘要。

通过AnythingLLM,可以方便的构建自己的知识库,不用再手动上传文档到模型中了~~

1、注册SILICONFLOW并获取API

首先注册SILICONFLOW(硅基流动):点击注册

然后打开API页面,新建一个API密钥:SiliconCloud

2、在AnythingLLM中添加DeepSeekAPI

打开AnythingLLM的设置,找到LLM首选项,在LLM提供商处找到“Generic OpenAI”,然后按照下面的配置进行填写:

解释一下两个重要参数:

1). Token Context Window(上下文窗口大小)

  • 定义:指的是模型一次能够处理的 最大输入 token 数量(包括问题和上下文)。
  • 作用:决定模型能“记住”多少内容,在 RAG(检索增强生成)应用中,context window 限制了检索后能提供给模型的上下文信息。

2). Max Tokens(最大生成 token 数量)

  • 定义:控制模型 最大可以输出的 token 数量
  • 作用:影响回答的长度,防止生成过长的内容导致超时或消耗过多算力。

这里的chat Model Name可以在下面的地址中找到:https://cloud.siliconflow.cn/models

另外,还有一种魔改内置DeepSeek路径的方法,如果你不用官方的API,也可以试试,具体参考:

anythingLLM 如何使用 硅基流动API 使用DEEPSEEK R1 – 哔哩哔哩

赞(5) 打赏
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《如何利用AnythingLLM部署SILICONFLOW的DeepSeek满血版API?》
文章链接:https://www.machunjie.com/setup/1841.html
本站资源仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。

评论 抢沙发

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫

微信扫一扫

:smile: :sad: :arrow: :cool: :confused: :cry: :eek: :evil: :exclaim: :idea: :lol: :mad: :mrgreen: :neutral: :question: :razz: :redface: :rolleyes: :surprised: :wink: :biggrin: :twisted: