llama.cpp：一个高效的机器学习推理库，其中实现了很多量化方法。 他的作者 @ggerganov 不喜欢写论文和教程文档，导致这个库的学习资料非常少，很多时候只能看代码。

Lama glama（拉丁学名）=llama（西班牙语通用名），主要被印加人当驴子当驮兽，毛比较粗不怎么有价值，用来做毛毡；肉可以吃。现在白人又找到一个新的用途——当畜群守卫，这种生 …

它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai的接口。 本文将按照如下顺序介绍Ollama的使用方法~

cuda llama.cpp v1.17.1版本有问题，删除后，用v1.15.3就可以了，升级后报错

我电脑配置i7-11800H，ram 40G，3060 6G laptop显卡，想本地运行一下deepseek，遇到类似问题，即ollama运行deepseek 7b，8b尚可，而14b模型时候逐词输出太慢，而且只有CPU工 …

还有一点，ollama是llama.cpp实现模型推理，模型小，速度快。 4. 还有，ollama提供11434端口的web服务，重要的是还兼容openai的端点接口，可以和各种前端配合，比如ollama自己open …

比如llama的参数量为7000559616，那么全精度加载这个模型参数需要的显存为： 7000559616 * 4 /1024/1024/1024 = 26.08G 这个数字就有点尴尬，专注游戏的Geforce系列最高只有24G，运行 …

2.LLama 1代是曾经最好的开源大模型，从使用热度，开源生态，用户口碑全方位碾压其他的模型，LLama 2改进了它。 我们先说第一个，失败的经验和找diff是技术人员最希望看到的东西，diff …

文章中的TODO有待补充，第一次认真写知乎，有任何问题欢迎大家在评论区指出. 官方vllm和sglang均已支持deepseek最新系列模型(V3,R)，对于已经支持vllm和sglang的特定硬件（ …

Llama 3 70B 到底好不好用呢？ 我第一时间就做了测试。 顺便说一下，目前能够使用 Llama 3 70B 对话的地方很多，包括但不限于 Meta 官方的 meta.ai，Huggingface 的 …