第 2 页，共 2 页
由于本地模型有算力、参数规模等限制，要想使用更智能的模型还是需要用到API来调用云端大模型，这里选择“Generic OpenAl”为模型提供商，可以使用由OpenDatasky提供的全球顶级大模型，如GPT、Claude系列。（具体支持的模型请参考OpenDatasky官方API文档）
通过API密钥直连商业大模型
AnythingLLM支持直接接入OpenAI、Claude、Gemini等商业大模型的API服务。用户只需在系统设置中创建API密钥，并配置模型参数即可实现无缝对接。以OpenAI为例，用户需在“LLM首选项”中选择“Generic OpenAI”作为提供商，输入API密钥及模型名称，系统将自动调用云端模型完成推理。这种方式的显著优势在于无需维护本地硬件，即可获得高算力支持，尤其适合处理大规模文本生成任务。
利用中间件平台实现模型聚合
对于需要同时调用多个大模型的应用场景，中间件平台提供了更高效的解决方案。以OpenDataSky平台为例，其集成了国内外数十种大模型的API接口，用户可通过统一入口管理不同模型。在AnythingLLM中配置时，只需将Base URL指向OpenDataSky的API网关。配置操作如下：
- Base URL中输入OpenDatasky的 Base URL。
- 输入 API Key，为您在OpenDataSky注册账号的API Key。
- 在Chat Model Name一栏输入您需要使用的文本模型，支持的模型请参考 OpenDatasky API 文档页面 。
- 在Token context window一栏中输入模型的上下文长度，上下文长度请参考相应的模型文档，如不确定您可以输入128000 (128k)。
- 在Max Tokens 一栏输入模型的最大输出长度，最大输出长度请参考相应的模型文档，如不确定您可以输入1024 。
- 大模型配置完成后，根据后续指引即可开始使用AnythingLLM。
配置嵌入模型
除了Chat模型以外，OpenDatasky也提供了在线嵌入模型使用，模型能力远高于AnythingLLM自带的本地模型。
配置OpenDatasky嵌入模型：
- 进入设置页面的“Embedder首选顶”，选择嵌入引擎提供商为“Generic OpenAl”。
- Base URL中输入OpenDatasky的Base URL。
- Embedding Model一栏输入您需要使用的嵌入模型，支持的模型请参考模型页面。
- Max embedding chunk length输入合适的值，如8192。
- API Key一栏输入您账号的API Key。
API获取地址：https://opendatasky.com
其他：配置知识库
知识库设置中，除了设置“工作区 LLM 提供者”和“聊天模式”外，可将“系统提示词”和“查询模式拒绝响应”内容更改为中文。
“工作区代理LLM提供商”中，可设置用于此工作区的@agent代理的特定LLM提供商和模型。
第 2 页，共 2 页