进阶

《AI Engineering》— 知识吞噬 + 课程补全

作者: Chip Huyen (O'Reilly, 2024)

页数: 535

定位: AI 工程的战略决策层 — 不教你"怎么写代码", 教你"选什么方案、为什么"

它在课程矩阵中的位置

现有课程: Course-A: LLM基础 (书1) → 从零搭建, 理解原理 Course-B: 推理模型 (书2) → 推理优化 Course-C: LLM工程 (书3) → FTI管道, 生产部署 Course-D: AI治理 (L4) → 合规与安全 Course-E: 产品管理 → 市场与产品缺口: 缺少"为什么这么做"的战略决策层 → 这本书填补: 评估方法论、微调vs RAG决策、数据集工程、用户反馈

全书脉络: 从"能跑"到"能用"

Ch1 AI工程全景 ─── 战略层: 用不用AI? 怎么规划? Ch2 理解基础模型 ─── 理解层: 架构、训练、采样 Ch3-4 评估方法论 + 系统评估 ─── 衡量层: 怎么知道好不好? ← 最独特 Ch5 提示词工程 ─── 交互层: 提示攻击防御 ← 治理 Ch6 RAG + Agent ─── 增强层: 知识库、工具、规划 Ch7 微调 ─── 定制层: 什么时候微调? 不是怎么微调 Ch8 数据集工程 ─── 数据层: 质量/合成/蒸馏 Ch9 推理优化 ─── 性能层: 与书2 Ch2、书3 Ch8互补 Ch10 架构 + 用户反馈 ─── 产品层: 护栏/路由/缓存/监控

与现有课程矩阵的映射（新内容标 ⭐）

|---------|----------|--------|-------------|

最独特价值: Ch3-4 (评估) + Ch5 (防御提示) + Ch8 (数据集) — 这三块在之前的书里没有覆盖

补充到课程: 新增模块 vs 融入现有模块

| 策略 | 内容 | 操作 |

|------|------|------|

| 融入 Course-C W8 | Ch3-4 评估方法论 | 把"AI as Judge"评估框架加入已有课程 |

| 融入 Course-D | Ch5 防御性提示工程 | L4 Reference: Prompt Injection 新增实战 |

| 融入 Course-C W3 | Ch8 数据集工程 | 数据质量/合成作为书3数据工程的补充 |

| 融入 Course-E | Ch10 用户反馈 | 产品经理培训的反馈系统设计 |

| 新增迷你模块 | Ch7 微调决策框架 | "微调 vs RAG"决策树 |

> 不建议单独开一门课, 而是把独特的 4 块内容补进已有课程

代码

# 最能代表本书价值的一句话: AI as Judge
print("评估是 AI 工程中最被低估的环节")
print()
print("三层评估框架:")
print("  Layer 1: 传统指标 — Perplexity, BLEU, ROUGE")
print("  Layer 2: 代码/功能评估 — Functional Correctness")
print("  Layer 3: AI as Judge — 让LLM评估LLM ← 本书最推崇")
print()
print("AI as Judge 的关键:")
print("  1. 定义评估维度 (准确性、完整性、安全性)")
print("  2. 提供评分规则 + 示例")
print("  3. 校准: 确保 Judge 评分与人工评分一致")

代码

# 微调 vs RAG 决策树 (本书 Ch7 核心)
decision_tree = {
    "需要模型学习新知识?": {
        "是": "RAG (比微调更灵活, 成本更低)",
        "否": None
    },
    "需要模型改变行为/风格?": {
        "是": "微调",
        "否": "提示词工程"
    },
    "两者都需要?": {
        "答案": "RAG + 微调 组合"
    }
}

print("微调 vs RAG 决策参考:")
print("  用 RAG: 添加新知识、更新信息、引用来源")
print("  用微调: 改变输出格式、风格、行为")
print("  两者不互斥: RAG提供知识, 微调提供行为")

元数据已追加到 COURSE_METADATA.yaml

| 字段 | 值 |

|------|-----|

| 书名 | AI Engineering (Chip Huyen) |

| 页数 | 535 |

| 文件大小 | 8.8MB |

| 课程映射 | Course-C (W3/W6/W8)、Course-D、Course-E |

> 这本书是"决策层"的补全。有它在, 课程矩阵不再是纯技术路线, 而是包含了"为什么选这个方案"的战略层。