DARE

标题自称「语言模型是超级马里奥」的合并论文:把大部分权重差随机置零、再缩放剩下的,作者宣称能力可被吸收进另一个模型。稀疏化比例等具体超参本课未取正文,一律不给数值。

生产方式:AI 生成AI 生成,仅供参考签发:晓黎学习复核:2026年11月8日被 3 个词条引用

合并路线的第三篇:做法是把大部分权重差随机置零、再缩放剩下的,标题的说法是能力可以被吸收进另一个模型。摘要给的是作者的主张和做法,不是对任意任务成立的定律。见 任务向量、TIES-Merging。

课拦下的一处误读:把「置零再缩放」读成「能力本来就在少数参数里,删了也不亏」。能不能不亏,只能在你的留出集上看;稀疏化比例这类具体超参本课未取正文,一律不给数值。案例门槛(教学虚构)里那条「与未置零的直接相加相比」的对照写法,就是给这种主张上证据约束的示范。见 留出集、模型合并。

互链

链接来自概念卡正文里的双链,编译时能解到本期词条集的才成为站内链接。

反链(3)

出现在哪些课时里(1)

判据与「课时正文里能不能点出来」是同一个:那一节确实提到了它。点课时走当前页跳转, 它是导航,不是词条链接。

关联图

只画这一条与它直接相连的词条,边与上面两区同源。可拖拽、可缩放,点节点是新标签。

出处

路径是本地知识库(Obsidian 库)里的位置,正文与概念卡逐字对应。

  • 课程正文用法归纳不训新能力,也能把能力搬进小模型packages/db/prisma/lesson-content/distill-and-merge.md
  • 课程正文用法归纳课程派生词条 · 模型训练与后训练

编译入库:2026年11月2日。词条由知识库编译而来, 修正要回到概念卡改,再重新编译。