从零开始学 AI
一门完整的人工智能课程，从数学基础讲到 LLM、智能体和 MCP。共三十章，每一章都值得单独阅读。
从零实现感知机：一个神经元到底计算什么
神经元就是加权求和加阈值。整个想法就这么简单——而它的局限，也逼出了之后的一切。
损失函数从何而来：是似然，不是惯例
平方误差不是惯例。它是在宣称噪声的形态，而且你能亲眼看到它何时出错。
下坡：Gradient Descent，以及所有人都跳过的两个步骤
每个人都会写那个减号。几乎没人说明它为什么在那里，或步子到底能迈多大。
分类、交叉熵，以及如何不被自己骗倒
准确率是最容易汇报的数字，也是最容易让人受骗的数字。
从零实现 Backpropagation：先造引擎，再搭网络
Backpropagation 不是神经网络算法。它是 chain rule 应用于计算图，并沿高效方向执行。
让它能训练，也让它能泛化
gradient 是正确的，网络却仍然学不会。本章讲的就是其中的差别。
构建一个 BPE Tokenizer：模型为什么数不清 R
模型从来没见过字母。它拼写、计数和缩进时的一切怪事，都来自这一点。
Next-token 预测：embedding，以及困惑度到底意味着什么
一个目标、没有标签，以及一张没人设计过的向量表。
从平均值推导 Attention 与 transformer block
Attention 不是一个只能接受的公式。它是在你停止均匀平均过去，并让模型选择权重时得到的东西。
预训练 LLM：数据、算力、Scaling Laws 与成本
剩下的决定不再是编程决定，而是采购决定。
从基础模型到助手：SFT、RLHF、DPO 与 GRPO
预训练模型并不会回答问题。它只是在续写文本，而差别来自一个没人看见的第二训练阶段。
Chain of Thought、RLVR 与 Test-Time Compute：一次实测
模型并不会思考。它只是在回答前花更多 token，而这既可测量，也会计费。
让推理更便宜：KV cache、批处理与量化
生成不是单一问题：先是 compute-bound 的首个 token，随后是成千上万个 memory-bound token，服务端技巧几乎都源于这个分裂。
你的第一次生产级 LLM 调用：流式传输、重试与超时
model 现在在一个端口后面。从这里开始，几乎所有出错的事都不再是数学。
用测量理解 Prompt Engineering：什么会改变输出
prompt 要测量，不要争论。20 个案例上的 4 个变体，根本区分不出什么。
把 context window、token 和账单算清楚
window 不是记忆。每次调用都会从头重填一次，而你要为这次重填付费。
温度、top-p，以及你并不拥有的确定性
温度不会让模型更有创意。它会提高模型自己打低分的 token 的概率，而你可以亲眼看到这一点。
Tool Calling 与结构化输出：守得住的契约
模型从不真正执行任何事。它只会按你定义的形状提出请求，而这个形状就是你唯一能控制的部分。
生产环境中的 RAG：chunking、检索与诚实引用
糟糕的 chunking 会在搜索开始前毁掉答案，任何 reranker 都救不回来。
Fine-Tune、检索还是 Prompt？决定因素是经济账
没人是在问模型问题。他们问的是预算问题。
多模态定价：图像、音频和视频到底按什么收费
一张照片的成本并不是“一张照片”。它按token计费，而公式并不是你选的。
AI agent 是什么：五种经典类型与两种相互竞争的定义
目录里的一个 tool 让一次调用变成两次，让 39 个 input token 变成 420 个。它算不算 agent，取决于你打开哪一种定义。
构建 agent harness：循环与五种退出方式
循环只有十五行。让它可上线的一切，都是离开循环的方法。
Context Engineering：为什么你的 agent 到第 40 轮会变笨
窗口没有溢出。事实只是换了位置，agent 就找不到了。
Multi-Agent 编排：五种模式，以及何时单 agent 胜出
四种安排，一个任务，一张账单。最便宜的错了，最贵的无法核验自己的 worker。
对照规范解释 MCP：服务器到底是什么
这不是魔法。它只是传输、消息格式和三个基本原语，而且你可以手动敲出来。
发布一个 MCP Server：TypeScript 与 Python 实测对比
两个 SDK，同一条 wire。真正有意思的差异，是协议本身看不见的那些。
Agent Skills 与 SKILL.md：实测渐进式披露
skill 就是一个包含 Markdown 文件的文件夹。真正关键的是：文件的哪一部分会被读取，以及何时读取。
LLM 评估：从公开 benchmark 到你的黄金集
没有区间的数字，只是带小数的轶事。
Prompt injection 与致命三角：保护真实 agent
模型分不清你的指令和陌生人的指令。有效的做法，都建立在接受这一点之上。