Jan 28, 2025 · 常年写sft/RL Qwen和DeepSeek训练脚本和优化，算法同事就是爬数据and跑训练。 Qwen靠美金就可以，并不是靠技术创新（看模型结构基本没咋变，和llama比难有优势），而且结果只是打榜，经不住真实用户拷打，R1是能经受美国佬的考验，且把NV股价干掉18%，折合好几个阿里巴巴，都不用吹，另外Deepseek目前 ...

还有一点，ollama是llama.cpp实现模型推理，模型小，速度快。 4. 还有，ollama提供11434端口的web服务，重要的是还兼容openai的端点接口，可以和各种前端配合，比如ollama自己open webui，国产的chatbox，连后端带界面，一套搞定

Apr 5, 2025 · llama真是吊死在DPO上了..... 新架构infra，长上下文，Reasoning RL，工程性coding可能还是大家今年的主攻方向。 移步转眼，时间快来到了2025年中旬，Openai，Anthropic，Deepseek的大模型都憋着劲还没发，要一飞冲天，未来几个月想必会非常 …

Jan 21, 2025 · 而目前很火的 llama、glm 模型也是采用该位置编码方式。 和相对位置编码相比，rope 具有更好的外推性，目前是大模型相对位置编码中应用最广的方式之一。 备注：什么是大模型外推性？

llama.cpp：一个高效的机器学习推理库，其中实现了很多量化方法。 他的作者 @ggerganov 不喜欢写论文和教程文档，导致这个库的学习资料非常少，很多时候只能看代码。

最近，我分别使用了llama-factory和unsloth对一个大型语言模型进行了微调。 在微调过程中，UNSLOTH的 微调速度 给我留下了深刻的印象。 本文将简要介绍这两个框架，并重点对比它们在微调速度上的差异，以帮助大家更好地理解和选择合适的工具。

Lama glama（拉丁学名）=llama（西班牙语通用名），主要被印加人当驴子当驮兽，毛比较粗不怎么有价值，用来做毛毡；肉可以吃。现在白人又找到一个新的用途——当畜群守卫，这种生物和驴一样，对于小动物尤其是绵羊和山羊有很强烈的保护欲望。

cuda llama.cpp v1.17.1版本有问题，删除后，用v1.15.3就可以了，升级后报错

跟前作BitNet相比，这篇报告中主要的改动有两点，一个是把二值参数{-1, +1}变成三值参数{-1, 0, 1}，另一个是把模型结构改成llama。 二值网络或者三值网络的训练并不是新技术，在CNN时代就有很多类似的工作。

文章中的TODO有待补充，第一次认真写知乎，有任何问题欢迎大家在评论区指出. 官方vllm和sglang均已支持deepseek最新系列模型(V3,R)，对于已经支持vllm和sglang的特定硬件（对vllm和sglang做了相应的修改，并且已经支持deepseek-v2），为了同样支持deekseek最新系列模型，需要根据最新模型所做改进进行对应修改 ...