在本章开始时讨论过，可将线性回归模型看作通过训练数据的样本点来寻找一条最佳拟合直线。不过，在此既没有对最佳拟合做出定义，也没有研究拟合类似模型的各种技术。在接下来的小节中，我们将消除读者对上述问题的疑惑：通过最小二乘法（Ordinary Least Squares，OLS）估计回归曲线的参数，使得回归曲线到样本点垂直距离（残差或误差）的平方和最小。