Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models（音声と言語の処理：言語モデルで学ぶ自然言語処理・計算言語学・音声認識入門）

引用

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models (3rd ed., draft of 19 August 2026). Online manuscript. Free official edition: https://web.stanford.edu/~jurafsky/slp3/

章の要約

無料で公開されている第3版草稿は、三つの部――大規模言語モデル、LLMの発展的トピックとツール、言語構造の注釈――に分かれた26章と、ウェブのみで公開される付録から成ります。以下の要約は、草稿の目次にある章題に従っています。

第1章：導入

新たに書かれた冒頭の章は、初学者向けに大規模言語モデル（LLM）を紹介します。LLMとは何か、次のトークンを予測することからモデルは何を学ぶのか、その基盤となるニューラルネットワークと埋め込み、そしてシャノンや初期の分布意味論以来の音声・言語処理の簡潔な歴史を扱います。モデルの訓練方法（事前学習、指示データ、選好データ、検証可能な報酬のデータ）、推論、エージェント、評価を予告し、安全性とアラインメント、擬人化した用語についての議論で締めくくります。

第2章：単語とトークン

ELIZAのパターンマッチングから出発し、この章は単語と形態素を定義し、Unicodeのコードポイントと UTF-8を説明し、LLMの標準的なデータ駆動型トークナイザとしてバイト対符号化（BPE）を示します。コーパス、正規表現、簡単なUnixツール、規則に基づくトークン化、最小編集距離アルゴリズムも扱います。

第3章：nグラム言語モデル

nグラムモデルを用いて言語モデルの中核的な考え方を導入します。頻度からの確率推定、訓練セットとテストセット、パープレキシティ、文のサンプリング、過学習、そしてスムージング、補間、バックオフであり、パープレキシティとエントロピーの関係を扱う発展的な節もあります。

第4章：ロジスティック回帰

この章（本文の見出しは「ロジスティック回帰とテキスト分類」）は、シグモイド関数、交差エントロピー損失、勾配降下法による教師あり分類を導入し、それを多項（ソフトマックス）回帰に拡張し、適合率・再現率・F値による評価、交差検証、統計的有意性検定、分類における害の回避、モデルの解釈、正則化を扱います。

第5章：埋め込み

ベクトル意味論は、語彙意味論、頻度に基づく埋め込み、コサイン類似度を通じて導入され、続いてword2vec（スキップグラム）とGloVeが説明されます。可視化、埋め込みの意味的性質（類推など）、埋め込みにおける偏り、評価も論じられます。

第6章：ニューラルネットワーク

フィードフォワードネットワークを単一のユニットから組み立て、XOR問題によって動機づけ、埋め込みを入力とする分類に適用します。計算グラフ上の誤差逆伝播法による訓練とニューラル言語モデルも説明されます。

第7章：トランスフォーマーと事前学習

アーキテクチャの中心となる章で、注意機構とマルチヘッド注意、トランスフォーマーブロックと残差ストリーム、位置埋め込み、言語モデルヘッド、デコーディングとサンプリング、トランスフォーマーLLMの事前学習、そして回転位置埋め込みやKVキャッシュといった最近の改良を説明します。

第8章：事後学習

事後学習は事前学習済みモデルの限界に対処するものです。指示チューニング（教師ありファインチューニング）、LoRAのようなパラメータ効率のよいファインチューニング、そしてアラインメントのためのPPOやDPOのような手法による選好からの学習を扱い、さらなる段階として検証可能な報酬による強化学習が挙げられています。

第9章：マスク言語モデル

第II部は、マスク言語モデリングで訓練されるBERT系の双方向トランスフォーマー・エンコーダから始まり、それを分類や固有表現認識のような系列ラベリングのためにファインチューニングする方法を示し、エンコーダ、デコーダ、エンコーダ・デコーダの各アーキテクチャを対比します。

第10章：解釈可能性

機械論的解釈可能性についての部分的な（「スタブ」の）章で、文脈化埋め込み、プロービング、ロジットレンズ、スパース・オートエンコーダ、因果的解釈手法、文脈内学習と帰納ヘッドを扱います。

第11章：検索に基づくモデル

本文の見出しは「情報検索と検索拡張生成」で、tf-idf、BM25、転置インデックスによる疎な検索、検索システムの評価、埋め込みによる密な検索、検索拡張生成（RAG）、質問応答のデータセットとその評価を扱います。

第12章：エージェント

この草稿では、内容のないプレースホルダーとなっています。

第13章：機械翻訳

この章は、言語間の相違と類型論、クロス注意をもつエンコーダ・デコーダ型トランスフォーマー、ビームサーチ、低資源の翻訳（逆翻訳を含む）、人手評価やchrFのような指標による妥当性と流暢さの評価、そして偏りと倫理的問題を論じます。

第14章：RNNとLSTM

再帰型ネットワークは、時間をモデル化するもう一つの方法として示されます。言語モデルやその他のタスクのための単純なRNN、多層および双方向の変種、勾配消失に対処するLSTM、そしてトランスフォーマーへの歴史的な道筋となった注意機構付きのRNNエンコーダ・デコーダです。

第15章：音声学と音声特徴抽出

音声の章は、単音、IPAとARPAbet、調音音声学、韻律、音響音声学（波形、スペクトル、スペクトログラム、フォルマント）から始まり、対数メルスペクトルとMFCCによる音声認識のための特徴抽出で終わります。

第16章：自動音声認識

この章は自動音声認識（ASR）のタスクを定義し、畳み込みネットワーク、注意機構付きのエンコーダ・デコーダ・アーキテクチャ、HuBERTのような自己教師ありモデル、ストリーミング認識のためのCTC、単語誤り率による評価を説明します。

第17章：音声合成

現代の音声合成（TTS）は、ニューラル・コーデック（ベクトル量子化と残差ベクトル量子化）が生成する離散的な音声トークン上の言語モデルによる条件付き生成として示され、VALL-Eが例として取り上げられます。TTSの評価、その他の音声タスク、音声言語モデルも扱われます。

第18章：品詞と固有表現のための系列ラベリング

第III部は、品詞、品詞タグ付け、固有表現タグ付けから始まり、ビタビ復号を用いる生成的な隠れマルコフモデルのタガーと、識別的な条件付き確率場を扱い、固有表現認識の評価を論じます。

第19章：文脈自由文法と句構造解析

構成素は文脈自由文法とツリーバンクによってモデル化されます。この章は、チョムスキー標準形、構造的曖昧性、動的計画法によるCKY構文解析、スパンに基づくニューラル句構造解析、構文解析器の評価、主要部の特定を扱います。

第20章：依存構造解析

依存関係と依存ツリーバンクを導入し、続いて遷移に基づく（スタックを用いた貪欲な）構文解析と、最大全域木を用いたグラフに基づく構文解析、そしてラベル付き・ラベルなしの付加正解率による評価を扱います。

第21章：情報抽出――関係、出来事、時間

この章は、関係抽出（パターン、教師あり学習、ブートストラップ、遠隔教師あり学習、オープン情報抽出）、出来事の抽出、時間とアスペクトの表現、TimeBankコーパス、自動時間解析、テンプレート充填を扱います。

第22章：意味役割付与

意味役割は、パーニニのカーラカから主題役割、態の交替、PropBank、FrameNetに至るまで導入されます。その後、意味役割付与のアルゴリズム、選択制限、述語の原始的分解を扱います。

第23章：感情・情動・含意のための語彙目録

感情分析を土台に、この章は情動などの感情的状態を定義し、感情・情動の語彙目録を概観し、人手によるラベル付け、半教師ありの帰納、教師あり学習によって語彙目録をどう作るか、そしてそれを感情、情動、実体中心の感情、含意フレームのためにどう使うかを説明します。

第24章：共参照解析とエンティティリンキング

この章は、共参照現象、タスクとデータセット、言及検出、言及対・言及順位づけ・実体に基づくアーキテクチャ（素性に基づく分類器とニューラル分類器）、エンティティリンキング、評価、ウィノグラード・スキーマ問題、共参照におけるジェンダーの偏りを説明します。

第25章：談話の結束性

局所的・大域的な結束性を、結束関係（修辞構造理論とペン談話ツリーバンク）、談話構造解析、中心化理論とエンティティ・グリッド、局所的結束性のニューラルモデル、そして議論マイニングのような大域的構造を通じて扱います。

第26章：会話とその構造

人間の会話の性質と対話行為についての短い初期のスタブで、人間とLLMの会話を分析するための道具ともなることが意図されています。

主要概念

第1〜3章：LLM、トークン、nグラム

• 大規模言語モデル：次のトークンを予測するよう訓練され、サンプリングによってテキストを生成できるニューラルネットワーク。
• バイト対符号化（BPE）：サブワード・トークンの語彙を構築するデータ駆動型の手法。
• パープレキシティ：テストセットの確率の逆数を長さで正規化したもので、言語モデルの評価に使われる。

第4〜6章：分類、埋め込み、ニューラルネットワーク

• 交差エントロピー損失と勾配降下法：分類器の重みを学習するための目的関数と最適化法。
• 静的な単語埋め込み：各単語に対する密なベクトルで、例えばword2vecのスキップグラムによって学習される。
• 誤差逆伝播法：ニューラルネットワークを訓練するために計算グラフを通して勾配を計算すること。

第7〜8章：トランスフォーマーと事後学習

• 自己注意と残差ストリーム：各トークンの表現が他のトークンの情報を取り込み、積み重ねられたブロックを通じて上へ受け渡される仕組み。
• 事前学習とデコーディング：次トークン予測によって膨大なテキストから学習し、サンプリング手法で生成すること。
• 指示チューニングと選好アラインメント：モデルが指示に従い、人間の選好に沿うようにする事後学習の段階。

第9〜12章：LLMの発展的トピック

• マスク言語モデリング：両側の文脈から隠されたトークンを予測するよう双方向エンコーダを訓練すること。
• プロービングとスパース・オートエンコーダ：モデルが何を表現しているかを明らかにする解釈可能性の道具。
• 検索拡張生成：事実性を高めるため、検索した文章を条件としてLLMに出力させること。

第13〜14章：翻訳と再帰型ネットワーク

• クロス注意をもつエンコーダ・デコーダ：入力系列を長さの異なる出力系列に写像すること。
• LSTM：何を記憶し何を忘れるかを決めるゲート付きの再帰型ネットワーク。

第15〜17章：音声

• 対数メルスペクトルとMFCC：音声認識器の入力として使われる音響特徴。
• CTCと単語誤り率：ストリーミング認識のための損失関数と、標準的なASRの評価指標。
• ニューラル音声コーデック：音声を、言語モデルが生成できる離散トークンに変換するモデル。

第18〜20章：タグ付けと構文解析

• HMMタガーとCRFタガー：ビタビアルゴリズムで復号される生成的および識別的な系列モデル。
• CKY構文解析：チョムスキー標準形の文法に対する動的計画法による句構造解析。
• 遷移に基づく依存構造解析とグラフに基づく依存構造解析：スタックを用いた貪欲な解析と最大全域木の手法。

第21〜23章：意味の抽出

• 遠隔教師あり学習：既存の関係データベースから関係抽出器を訓練すること。
• 意味役割（PropBank、FrameNet）：出来事において誰が誰に何をしたか。
• 感情語彙目録：感情、情動、含意について注釈を付けた単語の一覧。

第24〜26章：談話と会話

• 共参照連鎖：テキスト中で同じ実体を指す言及の集合。
• 結束関係と中心化理論：文や実体がどのように談話をまとまりあるものにするかのモデル。
• 対話行為：発話が会話の中で何を行っているかの分類。

批判的分析

長所

• 最新で包括的。 2026年8月の草稿は、トークン化、トランスフォーマー、事前学習、事後学習、マスクモデル、解釈可能性、検索といったLLMを軸に本書を再構成する一方で、音声認識・音声合成の章と古典的な言語注釈タスクの章も維持しており、一冊で現代の手法と分野の基礎の両方をカバーしています。
• 単純なモデルから積み上げる。 nグラム、ロジスティック回帰、フィードフォワードネットワークがトランスフォーマーより前に導入されるため、LLMを説明する時点で、パープレキシティ、交差エントロピー損失、埋め込み、勾配降下法といった概念がすでに身についています。
• 言語学的・歴史的な裏づけ。 各章は手法を言語学（形態論、類型論、音声学、意味役割、共参照、談話）と結びつけ、ほとんどの章が要約と「Historical Notes（歴史的注記）」で終わります。第1章をはじめいくつかの章では安全性、偏り、害が論じられています。
• 教材付きのオープンアクセス。 草稿全体と各章が無料で公開されており、多くの章のスライドと、ウェブのみで公開される付録（例えばHMM、ナイーブベイズ、WordNetについて）が用意されています。

短所

• 未完成の草稿。 このリリースでは、第10章はスタブとされ、第12章（エージェント）は内容のないプレースホルダー、第26章は初期のスタブです。いくつかの章（例えば第6、8、9、14章）には演習がなく、本文中の章題が目次の章題と異なることもあります。
• 印刷版とは異なる。 無料で公開されているのは第3版の草稿です。最後の印刷版である第2版（Pearson、2008年）は、この草稿の構成の軸となっているニューラル手法やLLM手法が登場する前に刊行されました。2008年の印刷版を使う読者は、章立ても内容も異なることを想定すべきです。
• 数学的な要求が高い。 本書は確率、線形代数、微積分（勾配、ソフトマックス、注意機構の行列表現）に慣れていることを前提としており、そうした背景をもたない言語学の学生には急な登り坂となりえます。
• 変化し続ける対象。 内容はリリースごとに変わり（サイトには以前の2026年1月版と2025年8月版の草稿も掲載されています）、ページや章の参照がずれる可能性があり、現在のモデルについての一部の節は早く古くなるでしょう。

コースにおける位置づけ

「計算言語学・コーパス言語学」のリストで、JurafskyとMartinの本書は包括的で技術的な自然言語処理の教科書です。Language and Computers は同じ応用の多くについてプログラミングなしの概念的な入門を提供し、Bird、Klein、Loperの Natural Language Processing with Python はタグ付け、構文解析、分類の実践的な技能を養います。どちらもよい準備となり、その後この草稿が、それらが扱わないアルゴリズムやニューラル・LLMに基づく手法を補います。

コーパス言語学の書籍――Doing Corpus Linguistics、McEneryとHardieの Corpus Linguistics、Griesの Quantitative Corpus Linguistics with R――は別の目的に役立ちます。言語処理システムを作ることではなく、コーパスと統計を使って言語使用を分析することです。コーパス中心の授業では、トークン化、nグラム、埋め込み、タグ付けの背景として、本書の一部の章（例えば第2、3、5、18章）だけを使うこともできます。

本書の使い方

本書は、ある程度のプログラミング経験と、確率、線形代数、微積分の基礎をもつ、計算言語学、コンピュータ科学、データサイエンスの上級学部生と大学院生に向いています。中核となる流れは第1〜8章（トークン、nグラム、分類、埋め込み、ニューラルネットワーク、トランスフォーマー、事後学習）です。その後は関心に応じて選びます。LLMの発展的トピックと翻訳には第9〜11章と第13章、音声には第15〜17章、言語構造と意味には第18〜25章です。第14章（RNNとLSTM）は有用な背景知識ですが、もはや前提条件ではありません。

復習には章末の要約と歴史的注記を使い、演習がある場合は取り組んでください。著者のサイトには、スライドと、HMMやナイーブベイズなどについてのウェブのみの付録があります。草稿は定期的に更新されるため、使っているリリースの日付を記録し、サイトで新しい版を確認してください。

版と出典

本ガイドは、2026年8月19日付の Speech and Language Processing 第3版草稿に基づいており、底本は著者の公式サイト https://web.stanford.edu/~jurafsky/slp3/ で公開されている全体のPDFです。無料では公開されていない第2版（Pearson、2008年）ではありません。本ガイドは、サイトのリリースノートと付録一覧、内容の要約と目次全体、そして全26章の冒頭のページと（ある場合は）章末の要約に加え、第1、7、23章の一部の節と、演習および歴史的注記の節の有無の確認に基づいています。