# AI 三大能力边界

> 学习日期：2026-06-26
> 核心来源：Karpathy 红杉峰会发言（2026-04）+ 智科小探解读 + CSDN《算力造就AI的外表，判断力决定AI的上限》

---

## 核心框架

AI 真正的能力边界不由算力、参数规模或训练数据决定，而由三个缺口划出：

| 边界 | 核心问题 | 一句话 |
|------|---------|--------|
| **验证边界** | 输出能被多便宜地检验？ | 「能验证的，才是你的」 |
| **判断力边界** | 敢不敢把重要的事交给它？ | 「算力造就外表，判断力决定上限」 |
| **知识边界** | 存量整合 vs 从零到一？ | 「AI 能复刻已知，不能突破未知」 |

---

## 边界一：验证边界（Verification Gap）

### Karpathy 原话

> *"Software automates what you can specify; LLMs automate what you can verify."*

- 传统软件 = 事前 define 规则 → 确定性 if-else 执行
- LLM = 事后 verify 结果 → 概率性「猜+验」循环

### 参差不齐的智能（Jagged Intelligence）

- 顶尖模型能重构十万行代码 → 但可能建议走路去 50 米外的洗车店（车明明在门口）
- 根因：数学/编程有标准答案（**RL 覆盖区**，强化学习反复打磨）；生活常识/商业判断无验证奖励回路（没有 feedback loop）

### 验证成本决定 AI 价值

| 场景 | 验证难度 | AI 自动化程度 |
|------|---------|-------------|
| 代码生成 | 低（跑单元测试） | 极强 |
| 数学计算 | 低（答案确定） | 极强 |
| 数据清洗 | 中低（交叉校验） | 很强 |
| 文案写作 | 高（主观） | 辅助为主 |
| 商业决策 | 极高（无即时反馈） | 必须人类主导 |

**核心公式：验证越便宜，AI 自动化价值越大。**

### 三步判断法

1. 答案能被计算机检验吗？
2. 验证反馈周期多短？（秒级 > 分钟级 > 天级 > 年度）
3. 如果错了，代价是什么？

### Verification-First 方法论

1. 拆解任务，找可验证环节
2. 先写测试/校验脚本
3. 再让 AI 接手，用验证结果当反馈
4. 不可验证的环节，AI 只给建议，人类拍板

---

## 边界二：判断力边界

### 感知 vs 推理 vs 判断力

- **感知**：「前面有什么」
- **推理**：「这是什么意思」
- **判断力**：「我该怎么做」← AI 缺的这个

大模型能看懂每个字、理解每句话，但不知道这些话放一起意味着什么情境，不知道什么能做、什么绝对不能做。

### 外生安全 vs 内生安全

- **外生安全**（当前主流）：让模型自由生成 → 输出口加滤网。像给没刹车的车装海绵垫。
- **内生安全**（目标方向）：先判断再生成。危险直接拒、矛盾说「不确定」、清晰的在安全边界内生成。

### 三个上限

| 上限 | 含义 | 核心问题 |
|------|------|---------|
| **上限1：物理世界通行证** | 数字世界允许犯错，物理世界不允许 | 你敢让它开车吗？ |
| **上限2：工具→伙伴** | 能感知情绪、理解处境、知道何时说/沉默 | 你敢让它陪你成长吗？ |
| **上限3：能生成→能负责** | 知道每句话意味着什么、每个动作带来什么后果 | 你敢让它替你担责吗？ |

### AGI 的核心

**不是「更聪明」，而是「更可靠」。** 判断力是 AGI 唯一的必要条件。

---

## 边界三：知识边界

AI 能做的是**存量知识的极致运用**——整合已有成果、复刻、推演、优化。

**不能做的**：从零到一的原创突破（提出新定理、设计新实验范式、开创全新艺术流派）。

---

## 与 RAG + CE 的衔接

| 边界 | RAG/CE 对应方向 |
|------|---------------|
| 验证边界 | RAG 的 Rerank/评估 → 用检索结果作为可验证锚点 |
| 判断力边界 | CE 的 Compress/Select/Isolate → 替 AI 做「什么该进上下文」的判断 |
| 知识边界 | RAG 检索 + CE 记忆分层 → 外部知识弥补内置知识截止限制 |

**一句话总结**：RAG 管「查什么」，CE 管「记什么/喂什么」，三大边界告诉你「AI 在什么条件下可靠、在什么条件下不能信任」。

---

## 核心概念速查

- **Verification Gap（验证差）**：可验证任务 vs 不可验证任务之间的能力鸿沟
- **RL 覆盖区**：有明确标准答案、被强化学习反复打磨的任务地带
- **Jagged Intelligence（参差不齐的智能）**：AI 在某些领域超强、某些领域极其愚蠢的不均衡现象
- **内生安全 vs 外生安全**：先判断再生成 vs 先生成再过滤
- **Specify vs Verify**：事前穷举规则 vs 事后检验结果