Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models（語音與語言處理：以語言模型為本的自然語言處理、計算語言學與語音辨識導論）

引用

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models (3rd ed., draft of 19 August 2026). Online manuscript. Free official edition: https://web.stanford.edu/~jurafsky/slp3/

章節概要

免費公開的第三版草稿共 26 章，分為三個部分——大型語言模型；大型語言模型進階主題與工具；語言結構標記——另有僅在網路上發布的附錄。以下概要依照草稿目次中的章節標題。

第1章：導論

新寫的開篇章節為初學者介紹大型語言模型（LLM）：什麼是大型語言模型、模型從預測下一個詞元中學到什麼、其基礎——神經網路與嵌入，以及從夏農與早期分布語意學以來的語音與語言處理簡史。本章預先介紹模型的訓練方式（預訓練、指令資料、偏好資料與可驗證獎勵資料）、推論、代理與評估，最後討論安全與對齊，以及擬人化術語的問題。

第2章：詞與詞元

本章從 ELIZA 的樣式比對談起，界定詞與詞素，說明 Unicode 碼位與 UTF-8，並介紹作為大型語言模型標準資料驅動斷詞器的位元組對編碼（BPE）。也涵蓋語料庫、正規表示式、簡單的 Unix 工具、以規則為基礎的斷詞，以及最小編輯距離演算法。

第3章：n 元語言模型

本章藉 n 元模型引入語言建模的核心概念：依據計數估計機率、訓練集與測試集、困惑度、句子取樣、過度擬合，以及平滑、內插與退回，另有一節進階內容討論困惑度與熵的關係。

第4章：邏輯斯迴歸

本章（正文標題為「邏輯斯迴歸與文本分類」）以 sigmoid 函數、交叉熵損失與梯度下降引入監督式分類，再延伸到多項（softmax）迴歸，並討論以精確率、召回率與 F 值進行評估、交叉驗證、統計顯著性檢定、避免分類造成傷害、模型詮釋與正規化。

第5章：嵌入

本章透過詞彙語意學、以計數為基礎的嵌入與餘弦相似度引入向量語意學，接著說明 word2vec（skip-gram）與 GloVe，並討論視覺化、嵌入的語意性質（如類比）、嵌入中的偏誤與評估。

第6章：神經網路

本章從單一單元出發建構前饋網路，以 XOR 問題說明其動機，並把以嵌入為輸入的網路用於分類；也說明在計算圖上以反向傳播進行訓練，以及神經語言模型。

第7章：Transformer 與預訓練

作為架構的核心章節，本章說明注意力與多頭注意力、Transformer 區塊與殘差流、位置嵌入、語言模型輸出頭、解碼與取樣、Transformer 大型語言模型的預訓練，以及旋轉位置嵌入與 KV 快取等近期改良。

第8章：後訓練

後訓練處理預訓練模型的限制：指令微調（監督式微調）、LoRA 等參數高效微調，以及透過 PPO、DPO 等方法從偏好中學習以達成對齊；以可驗證獎勵進行的強化學習則被列為另一個階段。

第9章：遮罩語言模型

第二部分從以遮罩語言建模訓練的 BERT 系列雙向 Transformer 編碼器談起，說明如何針對分類以及命名實體辨識等序列標記任務進行微調，並比較編碼器、解碼器與編碼器—解碼器三種架構。

第10章：可解釋性

這是關於機制可解釋性的不完整（「暫存稿」）章節，內容包括脈絡化嵌入、探測、logit 透鏡、稀疏自編碼器、因果可解釋性技術，以及情境學習與歸納頭。

第11章：以檢索為基礎的模型

正文標題為「資訊檢索與檢索增強生成」，內容包括以 tf-idf、BM25 與反向索引進行的稀疏檢索、檢索系統的評估、以嵌入進行的稠密檢索、檢索增強生成（RAG），以及問答資料集及其評估。

第12章：代理

在本草稿中，此章僅為沒有內容的預留章節。

第13章：機器翻譯

本章討論語言差異與類型學、具交叉注意力的編碼器—解碼器 Transformer、束搜尋、低資源翻譯（包括回譯）、以人工評判與 chrF 等指標評估忠實度與流暢度，以及偏誤與倫理議題。

第14章：RNN 與 LSTM

本章把遞迴神經網路視為另一種建模時間的方式：作為語言模型及用於其他任務的簡單 RNN、堆疊與雙向變體、處理梯度消失的 LSTM，以及具注意力的 RNN 編碼器—解碼器——這是通往 Transformer 的歷史路徑。

第15章：語音學與語音特徵擷取

語音部分從音段（phone）、國際音標與 ARPAbet、構音語音學、韻律以及聲學語音學（波形、頻譜、聲譜圖、共振峰）談起，最後介紹以對數梅爾頻譜與 MFCC 進行語音辨識的特徵擷取。

第16章：自動語音辨識

本章界定自動語音辨識任務，說明卷積網路、具注意力的編碼器—解碼器架構、HuBERT 等自監督模型、用於串流辨識的 CTC，以及以詞錯誤率進行評估。

第17章：語音合成

本章把現代語音合成描述為：以語言模型對神經編解碼器（向量量化與殘差向量量化）產生的離散音訊詞元進行條件式生成，並以 VALL-E 為例；也涉及語音合成的評估、其他語音任務與口語語言模型。

第18章：詞性與命名實體的序列標記

第三部分從詞類、詞性標記與命名實體標記談起，接著介紹以維特比解碼的生成式隱藏馬可夫模型標記器與判別式條件隨機域，並討論命名實體辨識的評估。

第19章：上下文無關文法與成分剖析

本章以上下文無關文法與樹庫為成分結構建模，涵蓋喬姆斯基範式、結構歧義、以動態規劃進行的 CKY 剖析、以跨度為基礎的神經成分剖析、剖析器評估，以及中心語判定。

第20章：依存剖析

本章介紹依存關係與依存樹庫，接著說明以轉移為基礎（以堆疊進行的貪婪演算法）的剖析與以圖為基礎（最大生成樹）的剖析，以及以帶標籤與不帶標籤的依附正確率進行評估。

第21章：資訊擷取：關係、事件與時間

本章涵蓋關係擷取（樣式、監督式學習、自舉、遠距監督與開放式資訊擷取）、事件擷取、時間與時貌的表徵、TimeBank 語料庫、自動時間分析，以及模板填充。

第22章：語意角色標記

本章從帕尼尼的 kāraka 談到題旨角色、語態交替、PropBank 與 FrameNet，接著討論語意角色標記演算法、選擇限制，以及述語的原素分解。

第23章：情感、情緒與隱含意義詞典

本章以情感分析為基礎，界定情緒等情感狀態，概述現有的情感與情緒詞典，說明如何以人工標記、半監督歸納與監督式學習建立詞典，以及如何用於情感、情緒、以實體為中心的情感與隱含意義框架。

第24章：共指消解與實體連結

本章說明共指現象、任務與資料集、提及偵測、提及對、提及排序與以實體為基礎的架構（使用以特徵為基礎的分類器與神經分類器）、實體連結、評估、維諾格拉德模式問題，以及共指中的性別偏誤。

第25章：言談連貫

本章透過連貫關係（修辭結構理論與賓州言談樹庫）、言談結構剖析、中心理論與實體網格、局部連貫的神經模型，以及論證探勘等整體結構，討論局部與整體連貫。

第26章：對話及其結構

這是關於人類對話特性與對話行為的簡短初稿，也意在作為分析人與大型語言模型之間對話的工具。

核心概念

第1—3章：大型語言模型、詞元與 n 元語法

• 大型語言模型：經訓練以預測下一個詞元、並能透過取樣產生文本的神經網路。
• 位元組對編碼（BPE）：建立子詞詞元詞彙的資料驅動方法。
• 困惑度：測試集機率的倒數依長度正規化後的值，用來評估語言模型。

第4—6章：分類、嵌入與神經網路

• 交叉熵損失與梯度下降：學習分類器權重所用的目標函數與最佳化方法。
• 靜態詞嵌入：每個詞對應一個稠密向量，例如透過 word2vec 的 skip-gram 學得。
• 反向傳播：透過計算圖計算梯度以訓練神經網路。

第7—8章：Transformer 與後訓練

• 自注意力與殘差流：每個詞元的表徵汲取其他詞元的資訊，並透過堆疊的區塊向上傳遞的機制。
• 預訓練與解碼：透過預測下一個詞元從大量文本中學習，再以取樣方法生成。
• 指令微調與偏好對齊：讓模型遵循指令並符合人類偏好的後訓練步驟。

第9—12章：大型語言模型進階主題

• 遮罩語言建模：訓練雙向編碼器依據兩側脈絡預測被遮蔽的詞元。
• 探測與稀疏自編碼器：揭示模型內部表徵的可解釋性工具。
• 檢索增強生成：以檢索到的段落為條件產生輸出，以提升事實正確性。

第13—14章：翻譯與遞迴網路

• 具交叉注意力的編碼器—解碼器：把輸入序列對應到長度不同的輸出序列。
• LSTM：決定記住什麼、遺忘什麼的閘控遞迴網路。

第15—17章：語音

• 對數梅爾頻譜與 MFCC：作為語音辨識器輸入的聲學特徵。
• CTC 與詞錯誤率：用於串流辨識的損失函數與標準的語音辨識評估指標。
• 神經音訊編解碼器：把語音轉換為語言模型可生成之離散詞元的模型。

第18—20章：標記與剖析

• HMM 與 CRF 標記器：以維特比演算法解碼的生成式與判別式序列模型。
• CKY 剖析：針對喬姆斯基範式文法、以動態規劃進行的成分剖析。
• 以轉移為基礎與以圖為基礎的依存剖析：以堆疊進行的貪婪剖析與最大生成樹方法。

第21—23章：意義擷取

• 遠距監督：利用既有的關係資料庫訓練關係擷取器。
• 語意角色（PropBank、FrameNet）：事件中誰對誰做了什麼。
• 情感詞典：標註了情感、情緒或隱含意義的詞表。

第24—26章：言談與對話

• 共指鏈：文本中指向同一實體的所有提及。
• 連貫關係與中心理論：說明句子與實體如何使言談連貫的模型。
• 對話行為：話語在對話中所發揮作用的分類。

評析

優點

• 新穎而全面。 2026 年 8 月的草稿圍繞大型語言模型——斷詞、Transformer、預訓練、後訓練、遮罩模型、可解釋性與檢索——重新組織全書，同時保留語音辨識與合成，以及經典語言標記任務的章節，一本書兼顧現代方法與領域基礎。
• 從簡單模型循序漸進。 n 元語法、邏輯斯迴歸與前饋網路先於 Transformer 介紹，因此在講解大型語言模型時，困惑度、交叉熵損失、嵌入與梯度下降等概念都已建立。
• 具語言學與歷史根基。 各章把方法與語言學（構詞學、類型學、語音學、語意角色、共指、言談）連結起來，多數章節以摘要與「歷史註記」（Historical Notes）作結；第 1 章及其他若干章節討論了安全、偏誤與傷害。
• 開放取用並附教學資源。 完整草稿與各章皆可免費取得，許多章節附有投影片，另有一組僅在網路上發布的附錄（例如關於 HMM、單純貝氏與 WordNet）。

局限

• 尚未完成的草稿。 在這個版本中，第 10 章被標示為暫存稿，第 12 章（代理）是沒有內容的預留章節，第 26 章是初步草稿；若干章節（如第 6、8、9、14 章）沒有練習，正文中的章節標題有時也與目次不一致。
• 並非印刷版。 免費公開的是第三版草稿；最近的印刷版第二版（Pearson，2008 年）早於本草稿據以組織的神經網路與大型語言模型方法。使用 2008 年印刷版的讀者應預期章節與內容都有所不同。
• 數學要求較高。 本書假定讀者熟悉機率、線性代數與微積分（梯度、softmax、注意力的矩陣表示），對缺乏這些背景的語言學學生而言門檻偏高。
• 內容持續變動。 各次發布之間內容會改變（網站也列出 2026 年 1 月與 2025 年 8 月的舊草稿），頁碼與章節引用可能變動，部分關於當前模型的內容也會很快過時。

在課程中的定位

在「計算語言學與語料庫語言學」書單中，Jurafsky 與 Martin 的這本書是全面且偏技術性的自然語言處理教科書。Language and Computers 以不涉及程式設計的方式，對其中許多應用作概念性介紹；Bird、Klein 與 Loper 的 Natural Language Processing with Python 則培養詞性標記、剖析與分類的實作技能。兩者都是很好的準備，之後本草稿再補上它們未涵蓋的演算法，以及以神經網路與大型語言模型為基礎的方法。

幾本語料庫語言學著作——Doing Corpus Linguistics、McEnery 與 Hardie 的 Corpus Linguistics 以及 Gries 的 Quantitative Corpus Linguistics with R——服務的是不同目標：以語料庫與統計方法分析語言使用，而非建構語言處理系統。以語料庫為重點的課程，可以只選用本書部分章節（例如第 2、3、5 與 18 章），作為斷詞、n 元語法、嵌入與詞性標記方面的背景。

如何使用本書

本書適合具備一定程式經驗以及機率、線性代數與微積分基礎的計算語言學、資訊科學或資料科學領域的大學高年級生與研究生。核心學習順序是第 1—8 章（詞元、n 元語法、分類、嵌入、神經網路、Transformer、後訓練）。之後可依興趣選擇：大型語言模型進階主題與翻譯讀第 9—11 章與第 13 章；語音讀第 15—17 章；語言結構與意義讀第 18—25 章。第 14 章（RNN 與 LSTM）是有用的背景知識，但已不再是必要前提。

複習時利用章末摘要與歷史註記，有練習的章節應完成練習；作者網站提供投影片，以及關於 HMM、單純貝氏等主題的網路版附錄。由於草稿定期更新，請記下所用版本的發布日期，並留意網站上的新版本。

版本與來源

本導讀依據 Speech and Language Processing 第三版草稿（2026 年 8 月 19 日版），底本為作者官方網站 https://web.stanford.edu/~jurafsky/slp3/ 上發布的完整 PDF。它並非第二版（Pearson，2008 年），第二版沒有免費公開。本導讀參考了網站的版本說明與附錄清單、內容概要與完整目次，以及全部 26 章的開頭頁面與（若有）章末摘要，並閱讀了第 1、7、23 章的部分小節，也統計了各章練習與歷史註記部分的設置情形。