马春杰杰博客
致力于深度学习经验分享!

如何利用AnythingLLM部署SILICONFLOW的DeepSeek满血版API?

文章目录
[隐藏]

AnythingLLM 是一款开源的全栈应用程序,旨在帮助用户构建基于检索增强生成(RAG)技术的私有知识库。通过将本地的 PDFWord 文档、文本文件等嵌入到本地向量库,并连接大型语言模型(LLM),用户可以通过对话或搜索的方式获取答案、见解,甚至生成摘要。

通过AnythingLLM,可以方便的构建自己的知识库,不用再手动上传文档到模型中了~~

1、注册SILICONFLOW并获取API

首先注册SILICONFLOW(硅基流动):点击注册

然后打开API页面,新建一个API密钥:SiliconCloud

如何利用AnythingLLM部署SILICONFLOW的DeepSeek满血版API?

2、在AnythingLLM中添加DeepSeekAPI

打开AnythingLLM的设置,找到LLM首选项,在LLM提供商处找到“Generic OpenAI”,然后按照下面的配置进行填写:

如何利用AnythingLLM部署SILICONFLOW的DeepSeek满血版API?

解释一下两个重要参数:

1). Token Context Window(上下文窗口大小)

  • 定义:指的是模型一次能够处理的 最大输入 token 数量(包括问题和上下文)。
  • 作用:决定模型能“记住”多少内容,在 RAG(检索增强生成)应用中,context window 限制了检索后能提供给模型的上下文信息。

2). Max Tokens(最大生成 token 数量)

  • 定义:控制模型 最大可以输出的 token 数量
  • 作用:影响回答的长度,防止生成过长的内容导致超时或消耗过多算力。

这里的chat Model Name可以在下面的地址中找到:https://cloud.siliconflow.cn/models

如何利用AnythingLLM部署SILICONFLOW的DeepSeek满血版API?

另外,还有一种魔改内置DeepSeek路径的方法,如果你不用官方的API,也可以试试,具体参考:

anythingLLM 如何使用 硅基流动API 使用DEEPSEEK R1 – 哔哩哔哩

免费使用DeepSeek满血版

如果你对这篇文章有什么疑问或建议,欢迎下面留言提出,我看到会立刻回复!

打赏
未经允许不得转载:马春杰杰 » 如何利用AnythingLLM部署SILICONFLOW的DeepSeek满血版API?
超级便宜的原生ChatGPT4.0

留个评论吧~ 抢沙发 评论前登陆可免验证码!

私密评论
  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址(选填,便于回访^_^)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

登录

忘记密码 ?

切换登录

注册