LLM-01 · LLM
01 / 18
LLM 怎样理解输入并生成输出
从一个资产脚本问题，追踪文本进入模型后的计算。
- 解释 Token、向量、注意力和输出选择的职责。
- 区分模型计算、文件读取与工具执行。
- 用真实分词记录和教学分布检查概念。
LLM-01 · LLM
02 / 18
输入到输出的逻辑架构
LLM-01 · LLM
03 / 18
一次真实的资产检查请求
提供的输入
- 具体函数 inspect_csv 与四行 CSV。
- 需要的问题表、行号和规则依据。
- 输入只读，不推断磁盘文件存在。
能够检查的结果
- 第 3 行前缀错误，第 4 行名称重复。
- 第 5 行名称和路径两个字段为空。
- 运行脚本得到四项问题；模型对照未运行。
LLM-01 · LLM
04 / 18
中文、英文与代码的 Token
| 输入 | 字符数 | Token 数 |
|---|---|---|
| 材质检查 | 4 | 7 |
| material check | 14 | 3 |
| name.startswith(prefix) | 23 | 10 |
本次使用 Whisper multilingual 文本分词器，只展示切分差异；不代表 Claude 或 GPT 的分词与计费。
LLM-01 · LLM
05 / 18
从 Token ID 到向量
- Token ID 是词表索引；嵌入层把索引查成数值向量。
- N 个 Token、D 维表示，可示意为 N × D 矩阵。
- 向量由训练形成，通常不能逐维命名为可读概念。
- 这里的形状是机制示意，不是商业模型的公开参数。
LLM-01 · LLM
06 / 18
位置信息提供顺序线索
a - b
b - a
prefix = 'T_'
name.startswith(prefix)- 相近的词集合，顺序变化会改变含义。
- 定义与引用的位置影响代码理解。
- 原论文位置编码和现代位置方法不必相同。
LLM-01 · LLM
07 / 18
注意力连接定义与引用
当前位置生成查询表示，与可访问位置的表示匹配。
根据相关权重组合其他位置的信息。
解释 startswith(prefix) 时，需要前面的 prefix 定义。
相关计算有助于利用上下文，但不保证每次引用正确。
LLM-01 · LLM
08 / 18
因果约束、多头与多层
| 组成 | 作用 | 不能直接推出 |
|---|---|---|
| 因果约束 | 预测后续时限制访问未来答案 | 模型已知道下一句 |
| 多头 | 并行处理不同投影的关系 | 每个头有固定人类语义 |
| 多层 | 反复变换序列表示 | 所有事实都被正确利用 |
LLM-01 · LLM
09 / 18
Transformer 层中的其他组成
- 前馈网络进一步变换每个位置的表示。
- 残差连接把前后信息相加，归一化控制数值尺度。
- 解码器叠加多个层，输出层得到词表分数。
- 原论文含编码器与解码器；本章聚焦因果语言生成。
LLM-01 · LLM
10 / 18
输出分数与概率分布
教学 logits = [3, 2, 1]
p = softmax(logits / T)
候选：A / B / C- logits 是当前上下文下的候选分数。
- softmax 将分数转换成概率分布。
- 分布说明选择倾向，不表示事实正确率。
LLM-01 · LLM
11 / 18
温度改变分布的集中程度
| 温度 | A 概率 | B / C 概率 |
|---|---|---|
| 0.5 | 0.866813 | 0.117310 / 0.015876 |
| 1.0 | 0.665241 | 0.244728 / 0.090031 |
| 2.0 | 0.506480 | 0.307196 / 0.186324 |
教学候选与真实答案无对应；低温度不保证事实更准确，也不保证产品每次完全相同。
LLM-01 · LLM
12 / 18
逐 Token 生成与停止
先处理上下文，产生第一项新 Token。
把已生成项纳入后续条件，继续预测。
终止标记、长度、工具边界或取消可结束输出。
流式显示展示已经到达的内容，不能证明代码已执行。
LLM-01 · LLM
13 / 18
三组上下文的可比较条件
| 输入组 | 增加的信息 | 需要记录 |
|---|---|---|
| 仅问题 | 任务目标 | 是否凭常见做法猜测 |
| 问题与函数 | 实现与字段规则 | 是否正确解释函数 |
| 问题、函数与清单 | 具体数据 | 行号、规则和遗漏 |
三组输入已保存；本次未调用模型，所以没有补写响应或准确率提升。
LLM-01 · LLM
14 / 18
常见概念混淆
| 对象 | 可以证明 | 不能证明 |
|---|---|---|
| 上下文 | 当前请求能访问的信息 | 永久更新模型参数 |
| 工具请求 | 提出了结构化动作 | 已经执行成功 |
| 生成概率 | 候选分布的集中程度 | 答案事实可信度 |
| KV cache | 复用部分已计算表示 | 成为项目知识库 |
LLM-01 · LLM
15 / 18
把 TA 问题写得可检查
解释 inspect_csv 的输入与规则。
以 assets.csv 逐行列出问题。
给出行号和对应条件。
指出代码未实现的检查。
保持输入文件不变。- 明确对象，不让模型猜当前实现。
- 给出结果结构，便于逐项比较。
- 写清边界，避免扩展成资产修改。
LLM-01 · LLM
16 / 18
练习与检查办法
- 画出模型计算与宿主文件读取两条流程。
- 运行分词实验，核对整体解码还原输入。
- 复算温度表，说明为什么它不是正确率。
- 自己保存三组真实模型响应后，再按固定答案评价。
LLM-01 · LLM
17 / 18
LLM 机制思维导图
LLM-01 · LLM
18 / 18
来源与延伸阅读
- Transformer 原始论文
机器翻译任务的原始结构；机制背景
- nanoGPT / model.py
CausalSelfAttention、MLP、Block 教学实现
- 分词实验
配置、哈希、实际 Token 与解码结果
- 教学计算结果
温度计算和三组输入；模型未运行
- 本章完整学习稿
含解释、案例、练习与逐项来源
- 版本来源索引
来源、版本、核验日期与使用位置
核验日期：2026-10-10。具体产品的结构与计费回到该产品文档。