STENCIL NO. 25 · FIELD MANUAL · V1.0 · ATLAS SERIES

注意力几何

THE GEOMETRY OF ATTENTION — A FIELD MANUAL TO TRANSFORMER MATHEMATICS

用 56 个维度把 Transformer 拆回数学直觉:一切是 matmul,意义是方向,注意力是软查表,层是总线上的编辑,训练是压缩。两轴判定每个概念的理解杠杆与直觉雷区——哪里最值得学,哪里你的第一直觉必然翻车。

– DIMENSIONS – DOMAINS – PATH CARDS DUAL-AXIS 杠杆 × 雷区
认识论声明:本作记录「经过修剪的教学直觉」,全篇按 定理级 / 主流假说 / 教学隐喻 三档口径标注;直觉是脚手架,不是建筑本身。所有评分与星级为编辑判断,非统计测量。
TRACE MAINBOARD · 主板示意 NO. 25 T · 一切连线皆 matmul(×W) TRANSFORMER BLOCK × N T0T1T2 ×WE EMBED 翻译层 词 → 方向 R C 残差流 RESIDUAL STREAM ATTENTION × h Q · K → softmax → V 软查表 SOFT LOOKUP A ×WQKV RoPE 位置=旋转 LN MLP 仓库 KV MEMORY · SwiGLU 三分之二的参数住这里 ×Win/Wout ×Wout LM HEAD P(next token) E COMPRESSION OS —— 压缩即学习 · 交叉熵为唯一压力
TRACE 五层栈:T 张量语言 · R 表示几何 · A 软路由 · C 组合编辑 · E 演化动力学 —— OS:压缩
CODE 代号
TRACE-25 FIELD MANUAL
SCALE 规模
– 维 × – 域 + 14 路径卡
STACK 核心结构
五层栈 T·R·A·C·E + 压缩 OS
ANCHOR 时间锚
2017 · Attention → 2026 · 推理模型时代
SEC.00

阅读图例

双轨是全篇的度量衡:一个概念值不值得学(杠杆),与你的直觉在这里会不会翻车(雷区),是两个独立的问题。

双轨评分 LEVERAGE × TRAP

轴 A · 理解杠杆

5 缺它整栋楼是黑箱,弄通它一大片论文/代码/调参自动亮起 · 3 常用支线,不懂可绕行 · 1 冷门装饰,主要是谈资。

轴 B · 反直觉度

5 第一直觉几乎必然错、且错得自信 · 3 有坑,被点破后能立即自悟 · 1 与常识同向,顺手就懂。

灵魂区 · 双高最重要且最危险,直觉在此需要推倒重建
白送区 · 高杠杆低雷区与常识同向的承重墙,学了就赚
彩蛋区 · 低杠杆高雷区不常考,但翻车现场最精彩
通勤区 · 双低路过顺手带走,不必专程

星级与口径 EVIDENCE TIERS

★★★ 定理级或多文献硬支撑 —— 直觉本身就是定理的马甲

★★ 主流假说 —— 有代表性论文链,但非定论

★ 教学隐喻 / 社区共识 —— 有用的脚手架,未经严格验证

#定理马甲#善意的谎言#悬案 #2026进行时#中文圈源头#一手是博客

口径纪律:定理级 / 假说级 / 隐喻级三档在每张卡上以星级+标签显式区分,绝不把隐喻包装成事实。

SEC.0R

八域雷达 · 双轴分布

左:8 域两轴均值雷达(青=杠杆,粉=雷区)——注意力域杠杆最高(4.4),训练物理域雷区最深(3.9):工程的心脏在 C,直觉的地狱在 H。右:两轴五档分布由 56 维实时计算。

轴A 杠杆轴B 雷区

读法:杠杆右偏=该域是理解主干;雷区右偏=进入前请先放下朴素直觉。象限归属见记分卡四榜。

SEC.0B

记分卡 · 四榜

由 56 维数据排序自动生成:必修榜按杠杆排(同分者雷区高者优先),幻灭榜按雷区排,白送榜=杠杆≥4 且雷区≤2,灵魂榜=杠杆×雷区乘积——最重要且最危险的概念都在第四张榜上。

SEC.01–08

八大领域 · 56 维度

每张卡片五要素:编号与标题、描述、一条内行梗、双轨评分、归因+星级+口径标签。用下方筛选条按象限切片;空域自动折叠。

SEC.0P

实践路径 · 学习者地铁图

四条主线各四站,左端 junior、右端 senior,菱形为终局支线;虚线为换乘通道。14 张路径卡=14 种学习者画像,五星=「建立真直觉」的效率与可持续性——适配度评分是编辑判断,不是天赋判决。

LEARNING METRO · 实践路径地铁图 JUNIOR → SENIOR → ◇ 终局 MATH 理论线 线代三件套注意力几何优化动力学前沿理论 CODE 工程线 调包 API复现 minGPT从头训 nanoGPT推理优化 PAPER 研究线 精读三篇复现竞赛找到缝隙命名你的层 SHIP 产品线 Prompt 内功评测直觉微调与 RAGAgent 编排 换乘 · nanoGPT↔复现 换乘 · 理论↔研究 单义性圣杯 一人推理集群 新架构命名权 AGI 产品
SEC.0P-1

14 张路径卡 · 学习者画像

SEC.0P-2

雷区速查 · 八个入口死法

每条雷区配一句死因——不是不许去,是去了请知道怎么死的。

SEC.0P-3

三定律 · 可背诵版

SEC.0T

总表 · 56 维度双轨点阵

全部维度的双轴评分(● 实心=分数)、星级、归因与标签。表头粘性,表格可横滑。