Ollama+Cherry Studio构建Windows系统本地AI知识库

构建本地AI知识库的好处:

  • 数据安全:数据不出本地,无泄露风险。
  • 零成本运行:核心组件(Ollama, Cherry Studio, 开源模型)免费。
  • 控制权:可自由选择和更换本地模型。

本地部署对硬件有一定要求。建议至少拥有16GB内存和一块支持CUDA(NVIDIA)或Metal(Apple Silicon)的显卡,以获得流畅的体验。CPU也可以运行,但速度会慢很多。

1.本地部署Ollama

Ollama是一个极简的本地大模型运行框架,首先安装它,是需要用它来下载并管理本地模型。

  • 官网下载Ollama。ollama.com

  • 完成指定目录安装。Ollama默认安装在C盘,后续大模型也安装在C盘,要改变Ollama安装目录,可按Windows图标键+R,输入“cmd”回车,在CMD窗口输入:

OllamaSetup.exe /DIR=D:\Ollama  (“D:\Ollama”即自已指定的目录)

然后Ollama就会进入安装,点击“Install”后,可以看到Ollama的安装路径就变成了我们指定的目录了,这样大模型数据包也会默认下载在指定目录中。

  • 安装成功后,Ollama会启动并进入chat窗口,这时可以用云端大模型进行问答了。后面部署本地模型后,选择相应本地模型,就可以进行本机调用问答。

2.本地部署大语言模型(Deepseek R1或千问3、Gemma3)

选择其体的大语言模型,主要看自己计算机的内存大小,模型体量(有多少G)大于内存容量,就会运行不了。一般模型的G数,占内存+显存G数的一半左右,较为合适。

Deepseek

在Ollama官网,搜索“deepseek-r1”,搜出结果中,可看到各Models的大小,deepseek-r1:1.5b是Deepseek R1中最小的,但生成效果一般。下载安装的CMD命令为:

ollama run deepseek-r1:1.5b

千问3

在Ollama官网,搜索“qwen3”,搜出结果中,可看到各Models的大小,千问3 4b只有2.5G大小,比较适中。下载安装的CMD命令为:

ollama run qwen3:4b

Gemma3

ollama run gemma3:4b

大模型安装完成后,可以在CMD中直接与其对话一下,进行个测试。

3.安装词嵌入模型(dmeta-embedding-zh)

Embedding模型负责将文本转换为向量,构建知识库。安装的CMD命令为:

ollama pull shaw/dmeta-embedding-zh

此外,nomic-embed-text也可以,安装的CMD命令为:

ollama pull nomic-embed-text:v1.5

4.安装Cherry Studio

Cherry Studio 是一款集多模型对话、知识库管理、AI 绘画、翻译等功能于一体的全能 AI 助手平台。

配置模型服务

点击右上角的齿轮(设置)图标,选择“模型服务/Ollama/管理”:

将刚刚拉取本地部署的嵌入模型shaw/dmeta-embedding-zh:latest和大语言模型deepseek-r1:1.5b(或qwen3:4b),点击右边的“+”,添加到模型列表中。

Image Title

创建知识库

同上“设置”中,在“常规设置/通知设置”中,开启“知识库”。

点击首页旁边的“+”,应用中选择“知识库”,然后点击"添加",输入“知识库名称”,选择嵌入模型shaw/dmeta-embedding-zh:latest

上传文件(知识库文档)

回到知识库界面,点“添加文件”,上传本地各类知识文档,也可以通过“笔记”自己输入内容,添加目录和网址等。Cherry Studio会自动在后台进行文本分块和向量化处理。处理完成后,文件会显示绿色对勾。

5.使用知识库

在聊天窗口下方点“笔记本左下有放大镜”图标,选中添加的自有知识库;同时,点击“@”图标,选择本地大模型,就可以对话了。它的回答就会以上传的自有知识为基础,进行输出。

Image Title

此外,如果本地大模型速度慢,也可以考虑使用线上的大模型,搭配本地的知识库,这样更“满血”。


留下高论






0CiFqV