Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models（语音与语言处理：基于语言模型的自然语言处理、计算语言学与语音识别导论）

引用

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models (3rd ed., draft of 19 August 2026). Online manuscript. Free official edition: https://web.stanford.edu/~jurafsky/slp3/

章节概要

免费公开的第三版草稿共 26 章，分为三个部分——大语言模型；大语言模型进阶主题与工具；语言结构标注——另有仅在网上发布的附录。以下概要依照草稿目录中的章节标题。

第1章：导论

新写的开篇章节面向初学者介绍大语言模型（LLM）：什么是大语言模型，模型从预测下一个词元中学到了什么，其基础——神经网络与嵌入，以及从香农和早期分布语义学以来的语音与语言处理简史。本章预先介绍模型的训练方式（预训练、指令数据、偏好数据和可验证奖励数据）、推理、智能体和评估，最后讨论安全与对齐以及拟人化术语问题。

第2章：词与词元

本章从 ELIZA 的模式匹配讲起，界定词与语素，解释 Unicode 码位和 UTF-8，并介绍作为大语言模型标准数据驱动分词器的字节对编码（BPE）。还涵盖语料库、正则表达式、简单的 Unix 工具、基于规则的分词以及最小编辑距离算法。

第3章：n 元语言模型

本章借助 n 元模型引入语言建模的核心概念：根据计数估计概率、训练集与测试集、困惑度、句子采样、过拟合，以及平滑、插值和回退，另有一节进阶内容讨论困惑度与熵的关系。

第4章：逻辑回归

本章（正文标题为"逻辑回归与文本分类"）用 sigmoid 函数、交叉熵损失和梯度下降引入有监督分类，再扩展到多项（softmax）回归，并讨论用精确率、召回率和 F 值进行评估、交叉验证、统计显著性检验、避免分类带来的危害、模型解释和正则化。

第5章：嵌入

本章通过词汇语义学、基于计数的嵌入和余弦相似度引入向量语义学，然后讲解 word2vec（跳元模型）和 GloVe，并讨论可视化、嵌入的语义性质（如类比）、嵌入中的偏见以及评估。

第6章：神经网络

本章从单个单元出发构建前馈网络，以异或（XOR）问题说明其必要性，并把以嵌入为输入的网络用于分类；还解释了在计算图上利用反向传播进行训练以及神经语言模型。

第7章：Transformer 与预训练

作为体系结构的核心章节，本章讲解注意力和多头注意力、Transformer 块与残差流、位置嵌入、语言模型输出头、解码与采样、Transformer 大语言模型的预训练，以及旋转位置嵌入和 KV 缓存等最新改进。

第8章：后训练

后训练针对预训练模型的局限：指令微调（有监督微调）、LoRA 等参数高效微调，以及通过 PPO、DPO 等方法从偏好中学习以实现对齐；基于可验证奖励的强化学习被列为又一阶段。

第9章：掩码语言模型

第二部分从通过掩码语言建模训练的 BERT 系列双向 Transformer 编码器讲起，说明如何针对分类以及命名实体识别等序列标注任务对其进行微调，并对比编码器、解码器和编码器—解码器三种架构。

第10章：可解释性

这是一个关于机制可解释性的不完整（"占位初稿"）章节，内容包括语境化嵌入、探针、logit 透镜、稀疏自编码器、因果可解释性技术以及语境学习与归纳头。

第11章：基于检索的模型

正文标题为"信息检索与检索增强生成"，内容包括基于 tf-idf、BM25 和倒排索引的稀疏检索、检索系统的评估、基于嵌入的稠密检索、检索增强生成（RAG）、问答数据集及其评估。

第12章：智能体

在本草稿中，这一章只是没有内容的占位章节。

第13章：机器翻译

本章讨论语言差异与类型学、带交叉注意力的编码器—解码器 Transformer、束搜索、低资源翻译（包括回译）、借助人工评判和 chrF 等指标评估忠实度与流利度，以及偏见与伦理问题。

第14章：RNN 与 LSTM

本章把循环神经网络作为另一种建模时间的方法：用作语言模型及其他任务的简单 RNN、堆叠与双向变体、解决梯度消失问题的 LSTM，以及带注意力的 RNN 编码器—解码器——这是通往 Transformer 的历史路径。

第15章：语音学与语音特征提取

语音部分从音素（phone）、国际音标和 ARPAbet、发音语音学、韵律以及声学语音学（波形、频谱、语图、共振峰）讲起，最后介绍通过对数梅尔频谱和 MFCC 进行语音识别特征提取。

第16章：自动语音识别

本章界定自动语音识别任务，讲解卷积网络、带注意力的编码器—解码器架构、HuBERT 等自监督模型、用于流式识别的 CTC，以及用词错误率进行评估。

第17章：语音合成

本章把现代语音合成描述为：以语言模型对神经编解码器（矢量量化与残差矢量量化）产生的离散音频词元进行条件生成，并以 VALL-E 为例；还涉及语音合成的评估、其他语音任务和口语语言模型。

第18章：词性与命名实体的序列标注

第三部分从词类、词性标注和命名实体标注讲起，接着介绍使用维特比解码的生成式隐马尔可夫模型标注器和判别式条件随机场，并讨论命名实体识别的评估。

第19章：上下文无关文法与成分句法分析

本章用上下文无关文法和树库为成分结构建模，涵盖乔姆斯基范式、结构歧义、基于动态规划的 CKY 句法分析、基于跨度的神经成分句法分析、句法分析器评估以及中心词识别。

第20章：依存句法分析

本章介绍依存关系和依存树库，然后讲解基于转移（基于栈的贪心算法）的分析和基于图（最大生成树）的分析，以及用带标签和不带标签的依存准确率进行评估。

第21章：信息抽取：关系、事件与时间

本章涵盖关系抽取（模式匹配、有监督学习、自举、远程监督和开放信息抽取）、事件抽取、时间与体的表示、TimeBank 语料库、自动时间分析以及模板填充。

第22章：语义角色标注

本章从帕尼尼的 kāraka 讲到题元角色、语态交替、PropBank 和 FrameNet，然后讨论语义角色标注算法、选择限制以及谓词的原子分解。

第23章：情感、情绪与内涵词典

本章在情感分析的基础上界定情绪等情感状态，概述现有的情感与情绪词典，说明如何通过人工标注、半监督归纳和有监督学习构建词典，以及如何把它们用于情感、情绪、以实体为中心的情感和内涵框架。

第24章：共指消解与实体链接

本章讲解共指现象、任务与数据集、提及检测、提及对、提及排序和基于实体的架构（使用基于特征的分类器和神经分类器）、实体链接、评估、维诺格拉德模式问题以及共指中的性别偏见。

第25章：语篇连贯

本章通过连贯关系（修辞结构理论和宾州语篇树库）、语篇结构分析、中心理论与实体网格、局部连贯的神经模型以及论证挖掘等全局结构，讨论局部与全局连贯。

第26章：会话及其结构

这是关于人类会话特性和对话行为的简短初稿，也意在为分析人与大语言模型之间的对话提供工具。

核心概念

第1—3章：大语言模型、词元与 n 元语法

• 大语言模型：经训练以预测下一个词元、并可通过采样生成文本的神经网络。
• 字节对编码（BPE）：构建子词词元词表的数据驱动方法。
• 困惑度：测试集概率的倒数按长度归一化后的值，用于评估语言模型。

第4—6章：分类、嵌入与神经网络

• 交叉熵损失与梯度下降：学习分类器权重所用的目标函数和优化方法。
• 静态词嵌入：每个词对应一个稠密向量，例如通过 word2vec 的跳元模型学习得到。
• 反向传播：通过计算图计算梯度以训练神经网络。

第7—8章：Transformer 与后训练

• 自注意力与残差流：每个词元的表示汲取其他词元信息，并通过堆叠的模块向上传递的机制。
• 预训练与解码：通过预测下一个词元从海量文本中学习，再用采样方法生成。
• 指令微调与偏好对齐：让模型遵循指令并符合人类偏好的后训练步骤。

第9—12章：大语言模型进阶主题

• 掩码语言建模：训练双向编码器根据两侧语境预测被遮盖的词元。
• 探针与稀疏自编码器：揭示模型内部表示的可解释性工具。
• 检索增强生成：以检索到的段落为条件生成输出，以提高事实准确性。

第13—14章：翻译与循环网络

• 带交叉注意力的编码器—解码器：把输入序列映射为长度不同的输出序列。
• LSTM：决定记住什么、遗忘什么的门控循环网络。

第15—17章：语音

• 对数梅尔频谱与 MFCC：作为语音识别器输入的声学特征。
• CTC 与词错误率：用于流式识别的损失函数和标准的语音识别评估指标。
• 神经音频编解码器：把语音转换为语言模型可生成的离散词元的模型。

第18—20章：标注与句法分析

• HMM 与 CRF 标注器：用维特比算法解码的生成式和判别式序列模型。
• CKY 句法分析：针对乔姆斯基范式文法的动态规划成分句法分析。
• 基于转移和基于图的依存分析：基于栈的贪心分析与最大生成树方法。

第21—23章：意义抽取

• 远程监督：利用已有的关系数据库训练关系抽取器。
• 语义角色（PropBank、FrameNet）：事件中谁对谁做了什么。
• 情感词典：标注了情感、情绪或内涵的词表。

第24—26章：语篇与会话

• 共指链：文本中指向同一实体的所有提及。
• 连贯关系与中心理论：说明句子和实体如何使语篇连贯的模型。
• 对话行为：话语在会话中所起作用的分类。

评析

优点

• 新颖而全面。 2026 年 8 月的草稿围绕大语言模型——分词、Transformer、预训练、后训练、掩码模型、可解释性和检索——重新组织全书，同时保留了语音识别与合成以及经典语言标注任务的章节，一本书兼顾现代方法与领域基础。
• 从简单模型循序渐进。 n 元语法、逻辑回归和前馈网络先于 Transformer 介绍，因此在讲解大语言模型时，困惑度、交叉熵损失、嵌入和梯度下降等概念已经建立起来。
• 具有语言学和历史根基。 各章把方法与语言学（形态学、类型学、语音学、语义角色、共指、语篇）联系起来，大多数章节以小结和"历史注记"（Historical Notes）结束；第 1 章及其他若干章节讨论了安全、偏见和危害。
• 开放获取并配有教学资源。 完整草稿和各章均可免费获取，许多章节配有课件，另有一组仅在网上发布的附录（例如关于 HMM、朴素贝叶斯和 WordNet）。

局限

• 尚未完成的草稿。 在这一版本中，第 10 章被标为占位初稿，第 12 章（智能体）是没有内容的占位章节，第 26 章是初步草稿；若干章节（如第 6、8、9、14 章）没有练习，正文中的章节标题有时与目录不一致。
• 并非印刷版。 免费公开的是第三版草稿；最近的印刷版第二版（Pearson，2008 年）早于本草稿赖以组织的神经网络和大语言模型方法。使用 2008 年印刷版的读者应预期章节和内容都有所不同。
• 数学要求较高。 本书假定读者熟悉概率、线性代数和微积分（梯度、softmax、注意力的矩阵表示），对缺乏这些背景的语言学学生来说门槛较高。
• 内容不断变化。 各次发布之间内容会变动（网站还列出了 2026 年 1 月和 2025 年 8 月的旧草稿），页码和章节引用可能改变，部分关于当前模型的内容也会很快过时。

在课程中的定位

在"计算语言学与语料库语言学"书单中，Jurafsky 和 Martin 的这本书是全面而偏技术的自然语言处理教材。Language and Computers 以不涉及编程的方式对其中许多应用作了概念性介绍，Bird、Klein 和 Loper 的 Natural Language Processing with Python 则培养词性标注、句法分析和分类的实际操作技能；两者都是很好的准备，之后本草稿补充它们未涉及的算法以及基于神经网络和大语言模型的方法。

几本语料库语言学著作——Doing Corpus Linguistics、McEnery 和 Hardie 的 Corpus Linguistics 以及 Gries 的 Quantitative Corpus Linguistics with R——服务于不同的目标：用语料库和统计方法分析语言使用，而不是构建语言处理系统。以语料库为重点的课程可以只选用本书部分章节（例如第 2、3、5 和 18 章），作为分词、n 元语法、嵌入和词性标注方面的背景知识。

如何使用本书

本书适合具备一定编程经验以及概率、线性代数和微积分基础的计算语言学、计算机科学或数据科学方向的高年级本科生和研究生。核心学习顺序是第 1—8 章（词元、n 元语法、分类、嵌入、神经网络、Transformer、后训练）。之后可按兴趣选择：大语言模型进阶主题和翻译读第 9—11 章和第 13 章；语音读第 15—17 章；语言结构与意义读第 18—25 章。第 14 章（RNN 与 LSTM）是有用的背景知识，但已不再是必修前提。

复习时利用章末小结和历史注记，有练习的章节应完成练习；作者网站提供课件以及关于 HMM、朴素贝叶斯等主题的网络版附录。由于草稿定期更新，请记下所用版本的发布日期，并留意网站上的新版本。

版本与来源

本导读依据 Speech and Language Processing 第三版草稿（2026 年 8 月 19 日版），底本为作者官方网站 https://web.stanford.edu/~jurafsky/slp3/ 上发布的完整 PDF。它不是第二版（Pearson，2008 年），第二版没有免费公开。本导读参考了网站的版本说明和附录列表、内容概要和完整目录，以及全部 26 章的开篇页面和（如有）章末小结，并阅读了第 1、7、23 章的部分小节，统计了各章练习和历史注记部分的设置情况。