Jun 6, 2025 · 首先，这个系列的模型是以 Qwen3 做 backbone 的，比起 BGE 系列的 XLM-RoBERTa，算是彻底切换到了 LLM。 既然用大模型，就要有 prompt，也就带上了“指令跟随 Instruction Aware ”。

LM-studio模型加载失败问题的解决方法，提供详细步骤和注意事项，帮助用户顺利加载模型。

这两种我都用过，也不算重度用户。我个人的体会是，LM STUDIO更适合硬件强大，且希望得到最佳效果的用户。比如说你有一块24GB显存的N卡，那么就可以从HG上自由选择并匹配到显卡vram大小的模型文件，并通过LM加载到显卡，榨干显卡的全部潜力。LM图形化界面也可以微调大量的模型运行参数，ollama这 ...

作者决定使用较小的BAAI/bge-base-en-v1.5模型进行微调，因为这个模型在资源效率和性能之间找到了一个良好的平衡点，同时适合作者的GPU（NVIDIA A40）。

逻辑推理用deepseek大模型, 知识库Embedding不用deepseek，说命中率不高，回答问题效果不好，所以选用BGE-M3。 按如下红色箭头命令操作，然后查看一下，模型已经下载完成。

向量化工具下载 我们已经完成了本地R1部署，下面就是为了本地知识库的向量化需要部署对应工具（所谓向量化，就是帮助大模型对文本的理解与组织），还是再ollama找 bge-m3，或者 nomic-embed-text，二选一，两个都下都行，这个是将本地知识库向量化的工具。

4.4 Cherry Studio配置模型 在客户端底部点击“管理按钮”，添加嵌入式模型。 这里需要注意，BAAI/bge-m3 模型是免费的，而 Pro/BAAI/bge-m3 模型是收费的，默认已经把这两个嵌入式的模型加进来了。

从huggingface上下载embedding模型后用代码加载报错: HFValidationError: Repo id must use alphanumeric chars or '-', '_', '.', '--' and '..' are forbidden ...

为什么要用OLLAMA？貌似启动ROCM后，它的速度比LM Studio的vulkan模式要快一些。同样用qwq 32b： lm studio：输出速度大概是1~2之间； OLLAMA：输出速度大概是3~4之间。 如何安装780M核显能够使用的OLLAMA，B站上已经有比较完整的教程了，包括五个步骤（教程中主要说了四个步骤）： 第一，安装AMD官方的ROCM程序 ...

embedding模型微调： LLamaIndex 提供了embedding模型微调的方式，根据国外博主的实测，bge-large-en-v1.5的embedding模型微调能够对RAG系统带来2%的性能提升。