AWQ
面向部署的 activation-aware 权重量化:按激活中体现出的重要性决定哪些通道更该保住精度;与 GPTQ 同记「推理时占多少、跑多快」那本账。
- 推理部署
- 量化
- AI 生成 · 2026年11月1日
把 Agent、协议与商业模式里反复出现的那些词,各写成可查、可追出处的一页。 内容编译自本地知识库的概念卡,正文一个字不改写;每页底部列出出处、生产方式与签发记录。
共 225 条,正文一个字不改写,每页底部列出出处与签发记录
面向部署的 activation-aware 权重量化:按激活中体现出的重要性决定哪些通道更该保住精度;与 GPTQ 同记「推理时占多少、跑多快」那本账。
把成对比较折成分数的统计模型:A 胜过 B 的概率由两者的分数差决定;奖励模型训练与 SimPO 一家的成对损失都写在这种偏好形式上。
标题自称「语言模型是超级马里奥」的合并论文:把大部分权重差随机置零、再缩放剩下的,作者宣称能力可被吸收进另一个模型。稀疏化比例等具体超参本课未取正文,一律不给数值。
给 RLHF 的奖励模型换一种参数化,让最优策略有闭式解,于是一个简单分类损失就能做偏好对齐,省掉单独训奖励模型和强化学习采样循环两格。
面向生成式预训练 Transformer 的训练后量化方法,论文标题即「Accurate Post-Training Quantization for Generative Pre-trained Transformers」;与 AWQ 同属部署侧成本账。
DeepSeekMath 提出的 PPO 变体:在提升数学推理能力的同时优化 PPO 的显存占用;课程采用的读法是省掉单独训练的价值网络,用同题一组样本互比来估计优势(这一格标注为推断)。
把 RLHF 地基拆成两处近似的论文(讨论里通称 IPO):点名 DPO 绕开了奖励模型的分布外泛化问题,却仍重度依赖「成对偏好可被逐点奖励替代」这处近似。
2022 年论文「Training language models to follow instructions with human feedback」,RLHF 三道工序的经典出处:示范做 SFT、排序训奖励模型、强化学习最大化估计奖励。
衡量两个分布差多远的读数。课里比的是训练后策略与它的初始化:HH-RLHF 摘要报告 RL 奖励与「策略对初始化的 KL 散度的平方根」大致成线性。它回答走了多远,不回答方向对不对。
吃逐条「可取 / 不可取」标签的对齐目标:不再要求成对偏好,直接最大化生成结果的效用;理论来路是前景理论里人对随机量感知的系统偏置(HALOs)。
2023 年论文:把大模型训练描述成两阶段(无监督预训练学通用表示,指令微调与强化学习用于对齐任务与用户偏好),实验把第二阶段的数据规模大幅压低,为「能力主要来自预训练」提供反方向支持。
参数高效微调方法:冻住预训练权重,往 Transformer 每层注入可训练的低秩矩阵;更新只发生在小矩阵上,省的是梯度与优化器状态这笔账,不省底座权重本身的驻留。
研究「强模型当评审」这篇论文提出的两个基准之一(另一个是 Chatbot Arena)。本课只核到摘要:点名的评审局限含位置偏置、冗长偏置与自我增强偏置,并提出办法缓解其中一部分。
把偏好项并进监督微调的单阶段免参考模型做法,省掉额外的偏好对齐阶段;它自己的前提摘要写明:监督微调对成功收敛仍然必要。
2017 年提出的一族策略梯度方法:在「与环境交互采样数据」和「用随机梯度上升优化一个代理(surrogate)目标」之间交替;课程把它当作 RLHF 第三步的常用引擎。
把冻结的预训练模型量化到 4 位、再让梯度穿过它,其上仍只用 LoRA 那一小撮可训练参数:在 LoRA 之外继续压缩底座权重的驻留开销。
InstructGPT 定名的三道工序后训练管线:人写示范做监督微调,同题多答的排序训练奖励模型,策略再以强化学习最大化这个估计出来的奖励。
监督微调:拿一批「输入配一条人工写好答复」的成对样本接着预训练目标继续训;损失函数没换、换的是数据分布,所以它教的是回答的样子,不是知识本身。
2020 年论文《Scaling Laws for Neural Language Models》:损失随参数量、数据量、算力跨几个数量级近似落在一条直线上;2022 年 Chinchilla 修正了算力预算内参数与数据的配比。
用序列的平均对数概率当隐式奖励的成对偏好优化:不需要参考模型、更省算力与显存,并在 Bradley-Terry 目标里加一个目标奖励间隔。
处理合并时参数互相干扰(interference)的论文:几路权重差在同样的参数位置上想往相反方向走,直接相加会互相抵消。本课只核到摘要点名的这一格,解决步骤的细节未取。
替你想要的东西出数的可计算读数。失败形状三「奖励涨、人评跌」指向的就是代理被钻空子:这个数涨与答复更好,是需要各自测量的两件事。
PPO 里为估计优势而单独训练、单独驻留的一份与策略同规模的权重。本课读法认定 GRPO 省掉的是它,并明确把这一格标成推断(摘要只写了「优化 PPO 的显存占用」)。
Editing Models with Task Arithmetic 这篇论文的核心一步:微调得到的权重差被当成可加可减的对象,同一基座加上它就带上那个任务,减掉它就削弱那个任务。这一篇把「差」变成了可以搬运的东西。
MT-Bench 摘要点名的评审偏置之一:同样两条答复,谁排在前面会影响判决。课的判语:把候选换序再评一次不是可选项,而是最低要求。
LoRA 往 Transformer 每层注入的可训练小矩阵:原始权重一个都不更新,更新只发生在这几个矩阵上,第二格显存因此塌下去。推理时可把它合并回原权重。
MT-Bench 摘要点名的评审偏置之一:把「长」读成「好」。课里它是所有偏置里最便宜的涨分路径,长度读数必须按「长度该不该换来分数」分桶。
QLoRA 摘要列出的对付显存尖峰的工具:优化器状态按页存放,撞峰值时不至于整次训练被一次分配挤爆。英文摘要原词拼作 paged optimziers,本课留档为原文自身的拼写错误。
DPO 一类走法里额外挂着做对照的第二份权重。SimPO 与 ORPO 的摘要各写了一次不需要它:省的是再挂一份权重做对照这笔开销;「别离原模型太远」的约束有没有被替代,摘要没逐条交代。
QLoRA 摘要列出的三件配套工具之一:连量化时算出的缩放常数也再量化一次,把平均占用再压一层。方法各部分如何搭配未取正文,本课不给数值。
由判对错的规则给分,不由打分器给分。课的收窄只算三种判法里的两种:程序判(规范化后逐格比对)与执行判(跑测试用例);人判不算本节说的可验证。
预训练之后的微调工序总称:SFT 管回答的样子,偏好优化管对齐,强化学习阶段管分数。本课的验收是「能说清哪一格在动、缺哪个读数、下一步动谁」,不承诺模型变好。
用同题多答的成对排序训练出来的打分器,在 RLHF 第三道工序里给策略自采的新输出打分;它只见过旧分布,策略一变打分就成了盲猜。
让模型输出更贴合任务与用户偏好的一族后训练目标的统称:LIMA 摘要把第二阶段(指令微调与强化学习)直接写成「用来更好地对齐到任务与用户偏好」;DPO 一家的路线之争都发生在这个方向内。
与环境交互采样数据、再按奖励信号优化目标的学习范式;在课程语境里主要是 RLHF 第三步的引擎:策略自采新输出、奖励模型打分、PPO 类方法做更新。
在预训练模型之上继续训练的统称:训练目标不换,换的是数据分布;SFT、偏好优化、LoRA/QLoRA 这些做法都在这一个词的伞下,但各自省的账不同。
教师写出来的中间步骤。逐步蒸馏把它当额外训练信号;R1 摘要主张推理能力可以经纯强化学习被激发、不需要人工标注的推理轨迹。本课未取证「话说得漂亮的链条」与模型内部实际过程是不是一回事。
训练与部署的容量账。本课拆成三笔加一格缓冲:权重、梯度与优化器状态、激活,以及必须留下的峰值余量。「这张卡跑不动」先落到具体一格,再谈解法。
「搬」能力里搬权重差的那条:同一基座上的微调权重差可当作任务向量相加相减;TIES 处理同位置互相对消的干扰,DARE 把大部分权重差随机置零再缩放。
固定下来、不给调参的人看的那批题:回答「模型在没被碰过的题上到底什么水平」。课里的评测方案要求题量、留出集、失败样例原文、停止条件四格齐备,缺一格读数就不能定案。
PPO 摘要所归类的那一族强化学习方法:在「与环境交互采样数据」和「用随机梯度上升优化代理目标」之间交替。标准做法每个样本只做一次梯度更新,PPO 换目标后敢在同一批样本上多轮小批量更新。
「搬」能力三条路里搬行为的那条:用教师模型的输出信号(乃至中间步骤)作为训练数据教小模型;省的是训练信号来源,不是权重字节数。
与普通蒸馏的分界只在搬的格数:除教师的输出外,连中间步骤也当训练信号。摘要报告任务专用小模型能以更少数据、更小尺寸超过大模型;教师的冗长会一起搬来。
压的是权重占几个字节:把高精度参数改写成低位宽表示,降低驻留与推理成本;改存储和运算精度,不改训练信号来源,别与蒸馏混成一件事。
通常指 2012 年那篇 ImageNet 大规模视觉分类论文的通行叫法;本课把它当两件事用:卷积加 GPU 这条技术线公开的转折点,以及「开创了 GPU 深度学习时代」这类复合主张该怎么提问的练习对象。
2018 年 10 月提交的论文,本课只把它当「预训练加微调」两阶段范式的论文锚点;「预训练加微调始于 BERT」在课程口径里是站不住的优先权主张。
大规模图像分类数据集与竞赛:在本课的历史线里它是「三本账」中数据那一格的关键变量,让深度网络第一次有了够大的公开训练与评测面。
模型处理文本的基本单位:Tokenizer 先把文字切成一串编号,模型对「下一个 Token」算候选分布再解码选取;计费、限流与上下文长度都按 Token 计,它不等于「字」。
把文本转换成 Token 序列并映射为词表编号的组件。一个 Token 可能对应一个字、词的一部分、标点或空格,具体取决于分词器,不与汉字数固定对应。
2017 年论文 Attention Is All You Need 提出的架构:用自注意力把同一条序列内部的时间维并行掉,换来可训练的规模,代价落在注意力的平方开销、位置信息与仍然串行的推理上。
一次模型计算能装下的输入总量(当前问题、历史、系统规则、工具结果、文件片段):它只决定可见范围,不保证模型用对范围内的材料;窗口外的内容无法直接依赖。
课程开篇的概念地基:模型按上下文生成结果、产品包装成界面、工具提供动作、API 是程序约定、Agent 是目标驱动的循环——五个词各管一层,混用是后面所有排错的起点。
由人先把「什么算一条边、什么算一个圈」从像素里挑出来再喂给机器。它贵不在于难写,而在于由人写:换一类图像就得重写,低级结构改由层自己在样本上长出来后被省掉。
每个输出神经元连接全部输入的层:参数量按位置数乘神经元数相乘地长,且把「第几行第几列」当独立坐标。卷积压掉的正是这笔账。
用局部连接与权共享两条约束把「每个位置各学一套权重」这笔账压掉的网络结构:一个卷积核在整张图上滑动复用;本课把它讲成一笔参数账,而不是一个玄学结构。
用局部连接与权共享两条约束压参数账的结构:一个核从 1 个输入通道到 6 个输出通道只要 156 个参数(含偏置),尺寸再大这个数也不动。省的是参数与人工特征依赖,不是精度。
网络里待学数字的个数。课里始终分两格算账:总参数量(权重账)与可训练参数量(梯度账);LoRA 压的是后者的规模。
沿链式法则把损失对每层权重的梯度逐层往回传的算法:Rumelhart、Hinton、Williams 1986 年那篇 Nature 确实存在,但「1986 年发明」是本课证据下站不住的优先权主张(Werbos 1974 已把它用于神经网络训练)。
课的起点模型:经过预训练、未做后训练的模型,目标只是把上文续写下去。权重公开改变的是微调的起点,不是「任何人都能预训练」。
以原始文本无监督预训练为主体的大规模语言模型:基座只会根据可见上下文续写下一个 Token,听话、拒绝、反问这些能力是 SFT 与 RLHF 等后训练阶段后来加上的。
比整词更小的切分单元。课里点名的常见切分方法是 Byte-Pair Encoding;子词单元来自神经机器翻译中处理罕见词的原始研究。
每次参数更新的步幅。失败形状课里「损失平线」先分两半:学习率太小是信号在但推不动,数据没信号是推得动也没东西推;后者改多少学习率都一样平。
卷积的第一条约束:一个神经元只看输入上的一小扇窗口,不看整张图。与权共享配对,构成从全连接层到卷积的那一步。
无依据、错误或与来源不一致的生成:模型能组合出符合事实文体外观的文本,字段却可能不存在或互相不匹配;课程的对策是建立核验习惯,而不是把它当成偶发 Bug。
单层感知机的容量边界:输入不同时输出 1、输入相同输出 0。一条直线切不开它,而且不是训练不够久,是几何上不可能。
最简的单层判别模型:每个输入配一个权重,乘加后过阈值输出「是 / 否」,学习规则按错例微调权重;1958 年的新意不在算法复杂,而在判断依据的来源换成了数据。
定义「怎样算好」的优化公式。SFT 一格:损失函数没换,换的是数据。DPO 一格:把 RLHF 问题压进一个简单的分类损失,绕开奖励建模。
卷积的第二条约束:窗口里学到的那套权重(一个卷积核)在整张图上滑动复用。它与局部连接一起,把参数量从「位置数乘神经元数」换成「核尺寸乘通道数」。
网络里可学习的参数。课里三条线都落在它上面:感知机按误差挪权重,LoRA 冻结原权重只更新低秩矩阵,合并同基座模型之间搬运的是「权重差」。
参数该往哪个方向挪的依据:更新一个参数就得为它算梯度,优化器还要再挂同形状的缓冲。QLoRA 的判据正是「这份权重接下来会不会被梯度写回」。
让每个位置对上下文中的其他位置做加权聚合:Query 用来寻找相关信息、Key 用来被匹配、Value 是被聚合的信息;它决定「如何组合信息」,不决定「哪些材料可见」。
「规模带来全新能力」的主张。课里把它定成质变主张:要证它,跳变必须在换指标定义、换样例顺序后仍然存在,并有连续量同步记录。本课对「涌现是不是质变」不站边。
以多层网络加反向传播训练为技术主体、2012 年后随算力与数据条件成熟而兴起的方向;LeCun、Bengio、Hinton 2015 年 Nature 综述是本课的历史锚点,相关叙事本身被当作取证练习对象。
影响选择分散程度的解码参数。课程判语:温度不能给错误事实加上真实性保证,低温度也不等于数据库查询;参数含义与取值范围按各服务文档,不设通用公式。
常用于改写、归类、摘要、候选方案和结构化抽取的生成能力。课程判语:「通常能辅助」不等于「每次都正确」,先评价任务(输入、处理、输出、验收),再评价回答。
由带权连接与激活函数分层组成的模型家族:前向结构给出输出、损失定义对错、梯度负责把判断依据从数据里更新出来;本课的历史线用算法、算力、数据三本账解释它的起伏。
单个阈值单元能表达的关系类别:能用一条直线(高维时一个平面)分开的两类。异或不属于这一类,而且不是训练不够久的问题,是几何上不可能。
「据可见上下文计算下一项分布、选一个、追加、继续」的生成环。已生成的内容会影响后面的内容:早期理解错任务,后面能沿错误方向写出一篇连贯文章。
从候选分布中选出生成项的动作,也是后训练各步的进料方式:策略更新吃的是策略自己采出来的新输出;GRPO 用一道题采一组回答换掉价值网络。
「发明」四格表的第一格:数学工具成形在 19 世纪,本课能当天核完、且不争议的那一格。反向传播借它把误差沿网络逐层分摊,但工具的出生地和算法的出生地不是一回事。
感知机的输出分界:输入乘权重求和,加权和超过阈值输出「是」,没过输出「否」。改权重只能把这条线挪位置,不能把线弯。
第一阶段的大规模文本训练:目标只有「给定前面这串字符,给下一个词打分」。环里没有任何一步判断「这是一次请求」,指令跟随是后面加上去的一层。
以逗号分隔字段、一行一条记录的纯文本表格格式:本课把它当接口输出与数据交换的一种落点,考核「导出 CSV」时同时检查格式正确率是否真有实测。
一套带选项组合的公开版权许可:课程要求对标注 CC 的材料「读清具体许可条款」——是否要求署名、能否商用、能否改作是三个独立的开关,能打开网页不等于能搬运整套内容。
学术出版物的元数据注册机构与 DOI 基础设施:本课用它反查论文的作者、卷页等书目记录,把「文献说过的话」钉回可核对的记录,而不是模型记忆。
以大规模并行算术见长的处理器,本课把 GPU 当「三本账」里算力那一格的实例:深度学习史的关键变量之一,也是本地跑模型时的现实预算约束。
代码的版本控制系统:本课把它当与 Agent 协作的安全网——先确认工作目录与 Git 状态保护已有工作,改动用 diff 审阅而不是只看 Agent 总结。
Web 技术的开放文档库,本课用它核对 HTTP 请求响应、URL 解析与服务端事件流(SSE)的基础结构,是课程参考书目里出现频率最高的文档源之一。
以少量符号标记结构的纯文本格式,本课的定位是「内容源,不是首页导航」:适合承载可版本控制、可再加工的正文,导航与展示规则要另立一层。
美国国家标准与技术研究院;本课引用它的 AI Risk Management Framework 与 Generative AI Profile(DOI 10.6028/NIST.AI.600-1),把「使用情境与风险的关系」列为交付检查的参照。
开放 Web 应用安全项目的缩写,其 Cheat Sheet Series 是安全实践的公开汇编;本课引用的两页是 LLM Prompt Injection Prevention 与 Secrets Management。
以本地 Markdown 文件为存储、支持双链与 Properties 的知识库工具;本课用它演示内部链接与发布环境的差异,以及用属性页组织项目资料与状态。
Tiago Forte 提出的信息组织法:按 Projects(有目标与结束条件)、Areas(持续负责)、Resources(可复用主题)、Archives(不再活跃)四类安置材料。
用最小成本先验证最危险假设的一轮:课程要求最小 POC 自带可复查的证据包——Golden Set 与 Bad Case、预期结果、禁止动作、人工接管点和停止条件。
W3C 的溯源数据模型(PROV Overview 给的是实体、活动、代理之间的追踪概念):本课用它在知识工作流里表达「产物来自哪些材料、经过哪些处理」。
允许一个仓库拥有多个检出工作目录的机制:每个 worktree 是独立的工作目录与暂存状态,通常各自对应不同分支,共享对象库;并行跑多个 Agent 时用来隔离副本。
查看实际变化的命令:默认显示工作区相对暂存跟踪的未暂存修改,git diff --cached 显示暂存区相对提交的差异;课程用它作为审阅 Agent 改动的第一手证据。
规则由人写的那条路线。课用三本账解释它在 1970 年代为什么拿到资源:不需要大标注集、推理过程可逐步打印、交付周期可承诺,更便宜、更可交付,与「更正确」无关。
先建立主张与证据的对应再写正文的中间结构:候选主张逐项映射证据,标注支持程度,区分直接支持、有限支持、推断与无证据,再决定保留、改写、补充研究或删除。
「第一个、最早、由谁发明」一类说法。证它要遍历同期文献并说明检索面,取证代价比存在性主张高一个量级;「排他主张」是课里对这一类的统称。
描述内容的身份、来源、时间和状态。课给的字段按使用需要选择:标题、资料类型、原始来源、发布日期、核验日期、适用版本、复核状态,宁写未确认也不填猜测值。
成稿之后的回读检查:从正文出发逐句对证据,防止写作过程中悄悄增加新的事实。优先扫描数字、时间、功能、比较和因果句这些最容易出错的格子。
改动把原本正确的行为弄坏了。课程动作:每次重写后用同一张检查表重测,尤其检查以前已经通过的硬条件;新测试通过、旧测试失败时,先分析影响,不能直接删除旧测试。
把状态退回上一版的恢复动作。课的立场:检查点不是万能撤销键,文件、数据库、外部消息、公网部署各有各的恢复方式与限制,笼统写「出错就回滚」不算设计。
「有过这件事」一类说法。取证代价最低的主张类型:一条可反查的 DOI、一枚能打开的一手件就够立住;它的否定式「没人做过」同样要靠遍历才有资格说。
技术史的默认失败模式:只有赢的那条路还在被持续叙述,今天的讲法就读起来像必然。还原办法是把「因为它对了所以赢了」改写成「因为它在当时更便宜、更可交付,所以拿到了资源」。
让读者能够从结论回到证据的登记。课锚在 W3C PROV:实体、活动与责任主体的追踪关系,用来描述产物从哪里、经过哪些处理活动而来。
你检查资料的时间,与资料发表时间、事实生效时间是三个不同的日期。记录核验日期、来源与适用版本,才谈得上「这条信息什么时候还能信」。
从外部资料里找到并选读当前任务需要片段的过程:先搜索、再选择性读取,按命中情况逐步修正查询,并保留选择与排除理由。窗口之外的事实要靠它补。
进程获得配置的一种方式:父进程启动子进程时传递环境值;改了你这一侧的变量不会影响已在运行的进程,课程用它解释配置优先级与密钥的存放位置。
内容对象的长期身份:课时标题调整或正文扩写后,学习者的笔记和完成记录仍应关联原来的课时。发布设计要明确哪些字段可以更新、哪些身份必须保持。
与学习路线并存的另一条技术线。课的用法:它在寒冬期与专家系统同期拿到资源,不是「更正确」,是在当时的算力与数据条件下更便宜、更可交付;「输了」不等于「错了」。
结论与证据之间的可核对连接:每条关键事实都能定位到来源与位置。检查引用要看支持关系是否成立,主题相关不等于证明了这句话。
自动合并也能通过的错误:文本不重叠,业务假设却相反。例子里后端把金额单位改成分、前端仍按元展示,Git 没有任何冲突而用户看到的结果错误。
跨组件运行的检查。课的警惕:它可能连接真实数据库或发送通知,因此要先核对专用目标、数据初始化逻辑与凭证范围,不能靠工作区名称里带 test 判断安全。
模型调用的凭证:证明「谁在请求」,经请求头传递;与地址、模型标识、请求体格式是四条不同的账。课程要求:凭证只走后端、开发生产分离、轮换有预案、日志不落原始凭证。
程序之间交互的约定:规定双方怎样输入、怎样认证、返回什么。它不是模型本身,也不专属于 AI;五层拆分一课把它定为「说明怎样通信、不说明谁负责决策」的那一层。
提供 Messages API、Claude Code 编码 Agent 与一系列 Agent 工程文章(Building effective agents、Demystifying evals)的公司;在本课里是接口合同与评测方法论的实例一方。
OpenAI 的对话接口:响应返回 choices 数组,文本在 choices[0].message.content、工具调用在 message.tool_calls;流式增量藏在 choices[0].delta,以一行 data: [DONE] 收尾。
声明数据格式的头部元信息:application/json 表示 JSON。排错先看响应的 Content-Type 与接口文档,再决定用非流式解析还是事件处理。
请求链路中替客户端转发的一跳:课程给的不是名词定义而是判据——别看名字(网关、代理、中转),看这一跳做了什么:终止 TLS、验证凭证、改写请求、选择上游、统计用量还是存储日志。
模型服务接口所依据的请求响应协议:一个请求拆成方法、地址、请求头和请求体,一个响应拆成状态码、响应头和响应体;TLS 握手失败这类问题发生在收到 HTTP 状态之前。
Anthropic 的对话接口:系统提示放顶层 system 字段、与 messages 平级;响应用 stop_reason 给停止原因(end_turn、max_tokens、tool_use、stop_sequence);与 Chat Completions 是「同一条消息的两种写法」。
提供 Chat Completions、Responses 系列接口、Codex 编码 Agent 与 gpt-oss 模型的公司;在本课里是模型接入与 Agent 产品对照的实例一方,也是「OpenAI-compatible」兼容口径的参照对象。
OpenAI 官方仓库描述的响应格式,与 gpt-oss 的对话结构和工具交互表示有关;它是「线上格式」,与指系统层的 Harness 没有关系,拼写相近不构成同一技术。
一种接口兼容声明:某服务实现了部分与 OpenAI 相似的请求响应格式,让现有客户端能通过配置接入;「兼容」是范围不是证书,流式事件、工具调用与错误处理要逐项对照。
服务提供的客户端库:封装认证、请求构造与流解析,同时也会静默执行追加路径、填默认值等行为;排错时要能说清最终 URL 和请求头里哪些来自你的配置、哪些来自 SDK 默认。
流式响应的事件协议:事件按协议分隔,一个事件可能被拆成多块、多条事件也可能同块到达。Messages API 与 Chat Completions 的流式都建立在它之上,但事件组织方式不同构。
传输层连接加密协议:TLS 握手失败发生在服务返回任何 HTTP 状态之前;某一跳终止 TLS 就能在其处理边界看到明文——HTTPS 保护的是连接传输,不意味着端点不可见。
请求的完整地址。课程判据:检查程序实际发出的完整 URL,不能只凭 baseURL、endpoint 这些字段名推断;路径重复前缀是 404 的第一排查方向。
客户端使用的服务基础地址,决定「请求去哪里」;与 SDK 追加的接口路径(决定调用哪项能力)、请求体里的模型标识(用哪个模型)是三层不同的定位,拼接规则最容易出错。
决定「调用哪项能力」的接口合同(请求路径那一格):对照问题是「请求体是否兼容」;404 常常是地址对了但 endpoint 不对,与 baseURL 指错地方是两种排错。
服务识别某个模型或路由目标的标识:网页展示名、家族名与 API 标识可能各不相同,网关还可能用别名把请求转到另一个实际模型——不能凭名称推断能力与价格相同。
凭证的完整生命周期:创建、分配、使用、监测、轮换和撤销。按应用与环境分开、使用所需最小权限;删除文字或改仓库私有都不等于凭证已失效。
响应的返回内容部分:Messages API 返回 content 块数组,Chat Completions 返回 choices 数组。格式解析成功不等于业务内容正确,两者分开检查。
请求链路里的角色:客户端发起这一轮请求,服务端接收并处理。同一程序在链路的不同段可以互换角色,网站后端既是浏览器的服务端,又是模型服务的客户端。
模型触发一次外部动作的机制:计划是准备做什么、工具调用是尝试做什么、验证回答实际发生了什么,三件事不能用一句「已完成」替代;Tool 提供有输入输出合同的有限动作。
一次调用交给模型的全部输入文字与指令,属于上下文的一种;课程的边界感:提示词里的约束影响模型的选择,但不是强制控制,也不授予或撤销任何权限。
实际出售模型推理的组织:接口形态、计费口径与限流由它定;一次请求可能经过企业网关、反向代理或第三方中转才到达提供商,成本与数据边界问题要先画链路。
响应里表示处理结果的一段:401 认证缺失或无效、403 拒绝、404 可能是路径或资源、429 多与限流或配额有关、5xx 指向服务端。课程判语:状态码帮助定位,不替你完成诊断。
设定助手行为的那条规则消息:Messages API 放在顶层 system 参数,Chat Completions 作为 messages 数组里 role 为 system 的一条。多条时转换只能合并,或报告无法无损转换。
要求输出按约定结构返回的接口能力:一边可能用工具或输出结构约束 JSON,另一边只当文本处理,解析失败才在应用层暴露。它是兼容检查清单上的单独一项。
请求里携带具体输入的部分,模型调用常用 JSON。字段名与类型要符合接口合同;密钥不应出现在 URL 查询参数或公开页面里。
请求里传递元信息的部分:认证方式、内容类型等。凭证常经请求头传递;课程要求排错时不把完整请求头贴给别人,日志不保存原始凭证。
用于关联一条请求链路的标识:教学报文里响应体的 requestId 是本例用于追踪请求的编号,不是用户密码,也不是所有接口都会采用的固定字段。它帮定位链路,不携带密钥。
把客户端、网关、上游各层尝试次数合起来算的总预算:客户端三次乘网关三次,极端情况一次用户动作产生九次上游尝试。各层分别配重试而不看整体行为,是课里点名的错误。
服务对请求的边界限制:可能按请求数、Token 数、并发连接、项目或账号分别限制;网关与提供商还可能各有一层配额,错误要记录是哪一层返回的。
Agent 系统里保存稳定信息的层:本课用 System、User、Project、Session 四种范围作分析框架(不是所有产品共享的官方标准),检查点是「别把本次临时事实混进长期规则」。
把某类已验证任务的做法、资源和检查要求组织成可复用单元的机制:按规范以目录加 SKILL.md(元数据与指令)组织,可附带脚本、参考或模板;与 Tool 的区别是「方法对」与「能动」。
围绕目标循环「观察—计划—行动—验证」并能调用工具的执行系统;先用五层拆分(模型、产品、工具、API、Agent)划清它不是什么,再用工作流与 Agent 的区分判断它需要多自主。
失败、冲突、缺失或诱导类样例的集合:与 Golden Set 成对准备,覆盖缺失资料、相互冲突、范围夸大、提示注入和无来源数字,每个样例写预期结果与停止条件。
四种 AI 工作入口之一:在终端里让 AI 改代码的交互形态;适合重复运行既有脚本,与 IDE、桌面应用、Cowork 的差别主要在交互形态,不在底层能力。
Anthropic 提供的 Agentic coding 工具:观察它如何获取项目上下文、调用工具、修改文件并验证结果是理解它的正确方式;代码在哪里运行、推理在哪里发生是两个不同的问题。
OpenAI 的编码 Agent:围绕任务使用工具检查代码、编辑文件、执行验证并组织交付,区别于在你编写时给局部候选的普通代码补全;能力边界仍取决于界面、环境、工具与权限。
四种 AI 工作入口中面向任务组织的那一种形态:以任务与审阅来组织工作的界面,与 CLI、IDE、桌面应用三个「交互形态」词不在同一分类轴上。
四种 AI 工作入口之一:安装在本机的应用形态,常便于处理本地文件与预览改动;安装方式不等于计算位置——文件存储位置、工具执行位置、模型推理位置是三件事。
一组代表性正常样例:用来定义「系统照规矩工作时应该是什么样」,与 Bad Case 配对收集、与人工结果并排比较,是把不确定性前移的最小评测资产。
围绕模型搭的执行与治理系统:管理上下文包、循环、状态与停止条件;课程用「马与缰绳」比喻定位它,并专门与 OpenAI Harmony(响应格式)切开。
四种 AI 工作入口之一:编辑器侧栏里与 Agent 讨论并逐行检查改动的形态;用 Agent 改代码时先核对实际工作路径与分支,防止编辑器看的目录不是 Agent 改的目录。
一次任务的对话与运行上下文:与 Git worktree(独立工作目录)、Agent(执行者)三者可组合但不能互相替代——开两个聊天窗口,可能仍是两个执行者在改同一份副本。
为一个具体任务挑选和整理的输入材料集合:任务问题、必要背景、来源编号、相关片段、冲突说明与待确认事项。目的不是展示资料数量,而是让执行者知道哪些结论还不能下。
编写时在光标位置提供局部候选的形态:主要产生候选片段,定位问题、运行程序与组合修改仍由使用者负责。它与 Agent 工作流并不互斥。
从真实任务写出的最小任务说明:给出期望行为、输入合同的边界情况、硬条件与质量判断的分列,让人「不打开你的会话也能理解这次工作」。
循环什么时候合法结束的规定:至少包括完成、预算耗尽、连续失败和需要人工判断。达到预算不代表成功,系统要交付当前可用结果与明确缺口。
Harness 六类责任的最后一格:出错后能否定位和接手。可检查的证据是脱敏日志、恢复点与交接说明;日志的目的是重建可观察的执行过程,不是索取隐藏思维链。
Anthropic 工程文章给的分界:预先规定代码路径的是工作流,由模型自主决定步骤与工具的是 Agent;课程补一句——循环不要求每步自由选,只在需要现场判断处增加自主。
一个动作的完整约定:接受什么输入、返回什么结果、可能怎样失败、谁有权调用。模型提出调用只是一次请求,执行器仍负责参数校验与授权判断;语法合法不等于业务合法。
这次动作实际发生在哪:本地目录、独立 worktree、云端还是远程模式。课程把它与模型推理位置、文件存储位置拆成三问,界面位于哪里不决定命令在哪运行。
材料正文夹带指令、诱导系统忽略原任务或执行额外动作的攻防:课程的验收法是给评测集放一个「夹带指令」样例,预期是正文保持资料身份、不触发额外工具动作。
内容发送到哪里、保存在哪、谁能看到、留多久。第三方中转要独立核对运营主体与数据政策,所谓备用方案也必须满足相同的数据边界;公开产物不得依赖私人材料才能被理解。
凭证与工具配置的原则:只给完成该任务所需的访问能力,按应用与环境分开。一个服务若暴露了当前用不到的写能力,就应在配置与账号层面限制。
对工具、路径、网络目标或特定操作能否执行的规定。课把「能做什么」「允许做什么」「实际被限制在哪里」拆成三层,提示词里的约束不应被当作唯一强制控制。
用操作系统、容器或其他机制限制执行环境访问范围的控制层:技术上能运行命令不等于被授权运行所有命令;提示词约束只影响选择,沙箱与权限才是硬边界。
由同伴、另一位审阅者或独立检查流程做的一轮反驳性检查:尝试实现是否真的符合合同,而不是重复作者的总结。审阅指出真问题就修正、重测、再审阅,形成闭环。
结课项目把组件名称落实为责任:模型组织语言并提出下一步,Harness 管上下文、执行与状态,Tool 提供有限动作,MCP 可连接能力,Skill 存经过验证的方法,Memory 存适用的稳定信息。每格都要说明实际实现位置。
围绕任务组织多步工作的编程助手:读取仓库证据、编辑文件、执行验证、组织交付。与代码补全的分界是责任的组织方式,产品名称本身不是无限执行授权。
用固定样例、明确通过条件和可复查记录来判断系统好坏:既看最终结果也看运行轨迹,区分硬条件(零越权)与质量判断(量表、人工审阅),不把综合平均分当全部合格。
仓库里给 Agent 的稳定约定(AGENTS.md、CLAUDE.md 一类文件):适合保存不易从代码表面看出的规则,链接详细文档而不是复制正文。加载范围与优先级按当前工具文档,指令是上下文,不是权限。
理解 AI Agent 和自动化工具在真实环境中的权限、数据、误操作和治理风险。越高级的 AI 用户,越需要系统化的安全边界意识。
一个人同时管理多个 AI Agent 的能力上限——拆任务、设边界、防污染、统输出、控质量。未来效率提升的瓶颈可能不再是个人能力,而是调度带宽。
李飞飞等提出的 Agent AI 统一框架:感知(Perception)→认知(Cognition)→行动(Action)→环境(Environment),辅以记忆(Memory)和学习(Learning)。是理解所有 Agent 系统的元模型。
一个可替换能力的完整角色定义:接口、实现与使用方三者齐备才构成接缝。
设计和管理 AI 系统的上下文(文件结构、记忆、RAG、system prompt、任务边界),使其稳定产出高质量结果。是 AI 工程化的核心子能力。
浏览器在某一时刻的页面结构序列化结果,让不直接看屏幕的 Agent 也能理解并操作页面。
在真实工作中系统化评估 AI 效果的方法论和实践框架。区分专业用户和普通用户的**分水岭**——前者用数据,后者凭感觉。
当授权、校验或应答处于不确定状态时,默认拒绝而非放行。
一个 Agent 把任务控制权完全转移给另一个 Agent,与原 Agent 是否保留控制链相对。
设计围绕 AI Agent 的系统、约束和反馈回路的技术学科。已取代 Prompt Engineering 成为 AI 落地的关键护城河。模型是'马',Harness 是'缰绳、马鞍与衔铁'。
将 Git 分支思维应用于 AI 会话管理:主干只做编排,分支会话阅后即焚。是 Harness Engineering 中对抗上下文熵增的核心实践。
具有环绕中间件语义的事件分发模式,监听器可观察、修改、拦截或包装下游结果。
插件贡献的服务、工具与监听器在卸载时必须完全撤销,是热加载与干净卸载的前提。
个人将外部 AI 工具、模型、框架和方法吸收内化后形成的**层级化生产系统**。核心特征是能力复利——每次使用都留下可复用资产。
能把 AI 前沿变化持续转化为个人能力、工作系统、组织影响力和世界理解框架的人。区别于 AI Power User(高频但零散使用)和普通用户(偶尔使用)。
在 AI 信息洪流中持续感知真正重要的变化,并从噪音中提炼出值得投入的方向。既不是盲目追热点,也不是保守拒绝变化。
Karpathy 2026-04 提出的个人知识库构建范式:agent 把不可变原始材料增量编译成一层自己拥有的 markdown wiki,用 Ingest/Query/Lint 三操作维护,靠整页读取与文件检索取代 embedding 检索。
AI Native 的学习方法:先跑起来,再深入理解。发现新工具→找最小任务→快速跑通→横向比较→决定投入程度。反对'先收藏、先看教程、先学理论'的传统学习路径。
AI 时代的编程范式转变:从'告诉 AI 怎么做(命令式)'转向'告诉 AI 做到什么程度算成功(声明式)'。给目标,不给步骤。
把理解成本从查询期搬到写入期的范式:源材料编译成持久结构后长期复用,而非每次提问重新推导。代价是写入变贵、偏差会被固化。
当 UI 与基础功能可被 AI 瞬间写出、技术壁垒消失后,AI 时代产品的核心护城河从实现能力迁移为开发者的行业深度与业务审美。
AI 最大的'震撼感'不是聪明,而是永不疲惫——可以持续尝试、失败、再尝试。耐力本身是生产力的核心瓶颈,AI 打破了这个瓶颈。
AI Agent 代表用户完成发现、比价、下单、支付的商业模式;Personal Agent 的核心变现层与激励冲突所在。
主动性 + 持久记忆 + 跨应用执行 + 代交易四要素齐备的常驻个人 AI,区别于 chatbot 与传统助理。
面向中国备案/上架/税务等重复文书场景的垂直填报智能体;零佣金所以大厂不做,定价锚是代办市场。
AI 把人的工作状态从'通过做事来思考'变成'从 AI 输出中做选择',但选择能力依赖做事积累的隐性经验——越依赖 AI,判断力越弱;判断力越弱,越离不开 AI。
API 认证的核心概念:Bearer Token、API Key、OAuth,以及为什么 AI API 用 Bearer Token
HTTP 方法的完整说明:GET、POST、PUT、DELETE、PATCH 的区别和使用场景
JSON Schema 的核心概念:如何用 JSON 描述 JSON 数据的结构和约束
JSON 数据结构的详细说明:对象、数组、嵌套、类型,以及 API 中常见的结构模式
RESTful API 的核心概念:HTTP 方法、请求/响应结构、端点、状态码
Server-Sent Events 的工作原理、格式,以及与 AI 流式输出的关系
长任务执行过程中持久化的状态快照,用于进程崩溃或中断后从最近的点恢复。
Grafana Loki 使用的日志查询语言,用标签筛选加管道式过滤从海量日志中取出所需记录。
云原生可观测性的开放标准,统一日志、指标与追踪的采集与传输协议。
追踪一次请求完整链路的两个基本单位:trace 是一条链路,span 是链路中的一个环节。
同一个操作执行一次与执行多次,对外部状态产生相同结果的性质。是安全重试的前提。
当任务到达速度超过处理速度时的流控机制,防止队列无限积压。
把一次性现场解法抽象为可验证、可配置、可迁移的产品与服务资产,从而降低下一次同类交付的边际成本。
从真实痛点、AI 能力边界、ROI 和真实降本/增效四个维度筛选企业 AI 场景,并用五个问题设置进入门槛。
把工程、产品与业务能力前置到客户现场,验证真实价值并将一线解法反哺为可复用产品能力的复合角色与组织机制。
在项目早期用最低成本验证最危险的需求、数据、技术或组织假设,避免把风险推迟到完整交付阶段。
跟随一线人员完整执行真实任务,通过观察流程、例外和隐性判断,发现访谈与需求文档无法表达的问题。
跨系统 Agent 协作的开放协议,用 Agent Card 发现能力、用 Task 表达协作。
连接 Agent 与外部工具、数据源的开放协议,让能力以标准方式被发现和调用。
第三方 App 自主声明允许/拒绝 AI 在其界面内做屏幕自动化的协议,被称为 AI 时代的 robots.txt。
按『输出环里的哪一块』而非按领域口号来切分世界模型:渲染器输出像素、仿真器输出状态、规划器输出行动;三者是同一份世界理解的三个投影,边界正在塌陷。
词条正文与出处逐字对应知识库里的概念卡;发现表述问题请到意见反馈里指出, 我们会回到源头修正后重新编译。