马春杰杰 Exit Reader Mode

如何利用AnythingLLM部署SILICONFLOW的DeepSeek满血版API?

AnythingLLM 是一款开源的全栈应用程序,旨在帮助用户构建基于检索增强生成(RAG)技术的私有知识库。通过将本地的 PDFWord 文档、文本文件等嵌入到本地向量库,并连接大型语言模型(LLM),用户可以通过对话或搜索的方式获取答案、见解,甚至生成摘要。

通过AnythingLLM,可以方便的构建自己的知识库,不用再手动上传文档到模型中了~~

1、注册SILICONFLOW并获取API

首先注册SILICONFLOW(硅基流动):点击注册

然后打开API页面,新建一个API密钥:SiliconCloud

2、在AnythingLLM中添加DeepSeekAPI

打开AnythingLLM的设置,找到LLM首选项,在LLM提供商处找到“Generic OpenAI”,然后按照下面的配置进行填写:

解释一下两个重要参数:

1). Token Context Window(上下文窗口大小)

2). Max Tokens(最大生成 token 数量)

这里的chat Model Name可以在下面的地址中找到:https://cloud.siliconflow.cn/models

另外,还有一种魔改内置DeepSeek路径的方法,如果你不用官方的API,也可以试试,具体参考:

anythingLLM 如何使用 硅基流动API 使用DEEPSEEK R1 – 哔哩哔哩