1、线性回归使用线性模型拟合样本分布，通过最小二乘法来找到最佳拟合直线最小二乘法的目标是使均方误差最小化，即找到一条直线，使得所有样本点到该直线在y方向上的垂直距离之和最小参数估计在一元线性回归中，目标函数为简单二次函数，通过求导可以找到权重w和偏置项b的最优解在多元线性回归中。
2、最小二乘问题通常表示为通过最小化误差平方和找到权重向量矩阵形式表示为线性系统，当样本点数多于未知数时，系统为超定此时，无法找到精确解，但可以找到最佳拟合解，即最小二乘解正规方程为最小二乘问题的解法，通过梯度求导得到，其解定义了矩阵的伪逆Cholesky分解可用于求解正规方程，通过分解系。