Computer Vision: Algorithms and Applications（计算机视觉：算法与应用）

引用

Szeliski, R. (2022). Computer Vision: Algorithms and Applications (2nd ed.). Springer. 作者提供免费在线版本的页面：https://szeliski.org/Book

章节概要

第二版共十五章，另有一组附录，正文约725页，Springer版全书共925页。这是围绕深度学习修订的一版：作者在访谈中说，第一版（2010年）沿用低层、中层、高层视觉的传统分层，而深度学习颠覆了这种组织方式。下面各章的篇幅依据Springer的页码范围，可看出全书的分量分布。每章末尾都有习题，出版社称这些习题强调对算法的测试，并包含适合作为期中小项目的建议。

第1章：导论（约26页）

开篇一章介绍这一领域；据出版社介绍，其中包含针对各种定制化、以项目为主的课程如何使用本书的提示。

第2章：图像形成（约57页）

图像如何由场景形成。作为第一章技术性内容，它支撑后面关于特征、运动和三维结构的各章。

第3章：图像处理（约67页）

对图像进行变换和分析的基本操作，是低层视觉的工作词汇。

第4章：模型拟合与优化（约34页）

技术基础各章中最短的一章；讲述用模型拟合数据，以及后续各章反复使用的优化方法。

第5章：深度学习（约85页）

全书最长的一章，也是本版的主要新增内容。作者说明，较高级的深度学习专题由一名学生撰写。出版社指出，本版在经典模型之外也处理了最新的深度学习模型。

第6章：识别（约59页）

计算机如何识别图像所包含的内容。

第7–9章：特征检测与匹配；图像对齐与拼接；运动估计（约67、41和40页）

这几章涵盖图像特征的发现与匹配、图像的对齐与拼接，以及帧间运动的估计。

第10–14章：计算摄影；运动恢复结构与SLAM；深度估计；三维重建；基于图像的渲染（约60、52、44、42和42页）

后半部分转向应用与三维：计算摄影、从图像恢复相机运动与结构（包括SLAM）、深度估计、三维形状重建，以及由图像渲染新视图。出版社点名的应用包括移动计算摄影、自动导航和增强现实。

第15章：结论（3页）

非常简短的结束章。

附录

出版社列出的附录涉及线性代数、数值技术、估计理论、数据集和软件。

核心概念

第1–4章：基础

• 图像形成：三维场景与二维图像之间的联系。
• 图像处理：用于变换和分析图像的操作。
• 模型拟合与优化：从数据估计参数。

第5–6章：学习与识别

• 深度学习：用作者的话说，已成为首选技术的神经网络方法。
• 识别：判断图像包含什么。

第7–9章：特征、对齐与运动

• 特征检测与匹配：在多幅图像之间找到并关联点。
• 对齐与拼接；运动估计：关联多个视图和多帧图像。

第10–14章：摄影与三维

• 计算摄影：图像的采集与处理流程。
• 运动恢复结构与SLAM；深度估计；三维重建；基于图像的渲染：恢复并利用三维信息。

评析

优点

• 科学且适合项目的取径。 出版社称本书以“科学的方法”表述计算机视觉问题，并用经典模型和深度学习模型加以分析；习题强调测试算法，并给出适合期中小项目的建议。
• 更新到深度学习时代。 第二版新增了关于深度学习以及移动计算摄影、自动导航、增强现实等应用的内容，并有约1,500条新引文和200幅新图。第5章是全书最长的一章。
• 可免费阅读。 作者在网站上提供供个人使用的电子版，使本书特别适合自学。
• 参考价值。 作者把本书描述为一本参考书，书中参考文献密集，是想了解某个主题以及下一步该读哪些论文的人的起点。

局限

• 对初学者而言参考文献偏多。 作者承认，一些本科生觉得大量的参考文献分散注意力，并表示篇幅更短、参考文献更少的书才是理想的本科教材。
• 范围很广。 十五章涵盖几何、学习、摄影及与图形学相关的主题，一门课无法讲完，读者需要取舍。
• 没有官方幻灯片。 作者的页面说明本书没有官方幻灯片，只有相关大学课程的幻灯片。

在课程中的定位

在这份机器学习与人工智能的课程书单中，Szeliski 是视觉方向的专门著作。James 等人的 An Introduction to Statistical Learning with Applications in Python 和 Kevin Murphy 的 Probabilistic Machine Learning 提供一般的机器学习基础（前者数学要求很低、带Python实验，后者是全面的概率论述），是阅读第5章的自然背景。Russell 与 Norvig 的 Artificial Intelligence: A Modern Approach 给出包括视觉在内的广泛AI背景，Melanie Mitchell 的 Artificial Intelligence: A Guide for Thinking Humans 则以通俗、非技术的方式说明当前系统能做什么、不能做什么。

在学过第一门机器学习课程之后，当兴趣转向图像和视频时再读 Szeliski。

如何使用本书

出版社建议将本书用于计算机科学或工程专业的高年级本科或研究生课程；附录清单表明线性代数和数值方法属于预期的知识工具，完成习题还需要编程实践。

建议的学习安排：

• 核心： 第1–3章学习基础，第4章学习拟合与优化，第5章学习深度学习，第6章学习识别。
• 几何路线： 第7–9章，然后是第11–13章。本书源自华盛顿大学的研究生课程（CSE 576，2020年），该课程大致按第1、2–3、4、5、6、7–8、9、12、11、13、10章的顺序布置阅读。
• 应用： 第10章（计算摄影）和第14章（基于图像的渲染）可以根据兴趣，独立于几何路线阅读。
• 练习： 做习题，尤其是小项目；对于打算实现的任何主题，请阅读所引用的论文。