免费
9 课时0 人在学高级
高级免费
大模型后训练：偏好、权重与测得出退化的评测
把「拿数据调一下」拆成三件可以检查的事：偏好是怎么变成损失里的一个数的、省内存省的到底是哪一块账、以及怎么证明模型真的变好了而不是评测集变宽了。全课不承诺复现任何商用模型的训练过程；动手部分走「可 CPU 跑通的最小配置」与「纸面预算与日志诊断」两条等价路径。
9 课时
0 人在学
免费
- 3 个章节 · 9 节课
- 9 个随堂测验
- 9 份课程资料
- 完课可获学习证书
课时数量9 课时
学习人数0 人
难度级别高级
LEARNING MATERIALS
课程课件
已审核 · 可下载 / 在线查看
动手练习数据 · 基座只会续写，听话是后来加上的ZIP包含本节三步练习的全部材料：一句要交给模型的居民答疑指令与两组下一句记录表、四段待判定的虚构模型输出与判定栏、以及"同一句输入的两种读法"对照卡的空白格。机构、人名、接口与读数均为教学虚构，不对应任何真实单位或产品。动手练习数据 · SFT 教的是格式，知识不是它给的ZIP包含本节三步练习的全部材料：六条待判定的虚构训练样本（甲到己）与判定栏、一张当作外部真值用的中心排班表、把一句过头主张改写的工作表、以及格式与知识分栏的判定表模板。样本、排班与读数都是课堂编造的虚构内容，不可当依据引用。动手练习数据 · 奖励分是一个会撒谎的数字ZIP包含本节三步练习的全部材料：三组待判读的虚构训练读数（甲乙丙）与判定表、一份内部评测重做的任务书（含 12 题的分桶清单）、以及一张分数与代价并排的读图卡模板。机构、人名、接口与所有读数都是课堂编造的，不可当依据引用。动手练习数据 · RLHF 三步各吃什么数据ZIP本节三步练习的输入都在这里：五批待归位的虚构数据与一张五行判定表、一段留白的 PPO 外循环伪代码模板、一张三工序数据流清单模板。机构、人名、数量与读数都照本节正文的案例走，全部为教学虚构，不对应任何真实系统。动手练习数据 · DPO 一家省掉了哪一步ZIP本节三步练习的输入都在这里：甲乙丙丁四张场景卡与两行复盘读数、一张待补后三列的五算法取舍表、一页三栏取舍表的成稿模板。四组数据的数量与约束照本节正文的案例走，批次编号承接第 4 节那五份材料，全部为教学虚构，不对应任何真实机构或系统。动手练习数据 · GRPO 与只对得上答案的奖励ZIP本节三步练习的输入都在这里：八项虚构任务与"谁判对错"一栏的分级工作表、案例里两行虚构读数配套的两层奖励设计表、三堆可验证性分级清单模板。任务描述、编号与读数照本节正文的案例走，全部为教学虚构，不对应任何真实业务或真实数据。动手练习数据 · 省内存省的到底是哪一块账ZIP包含本节三步练习的全部输入：一张待填的四格显存预算表、四份待归账的配置卡、一份半页纸的交付模板。案例沿用本节正文的星湾那次 OOM：模型 example-chat-mini、单卡 24GB、周衡与李陌的配置建议。包里一个数值读数都不给，四格的数要你自己估。动手练习数据 · 不训新能力，也能把能力搬进小模型ZIP本节三步练习的输入都在这里：甲乙丙丁四条虚构需求与选路工作表、2026-10-18 那轮留出集读数、两句"一定不掉点"的原话与三格改写工作表、五行三列对照表的空表架。需求、方案名与读数照本节正文的案例走，数字全部教学虚构，不对应任何真实机构或测量。动手练习数据 · 四种失败形状，各指向哪一步ZIP本节三步练习的输入都在这里：四份训练日志加两份评测报告的归因判定表、评测方案的四格模板、结课交付的合成检查表。材料与读数照本节正文的案例走（题目从 120 换成 260、总分涨 6、"漏项"类从 2 条涨到 9 条），全部为教学虚构，不对应任何真实运行。
课程目录
第一章：后训练改掉了什么
先看清基座缺的是哪一格，再分清监督微调与奖励各自改到了什么。
第二章：三条偏好优化路线
RLHF、直接偏好优化与可验证奖励，各自把哪一步省掉了、又留下了什么。
第三章：做出来，并证明它真的变好了
省内存的真实预算、不训新能力的搬运路径，和一套测得出退化的评测。