MLps1-正规方程组和梯度下降的联系与不同


前言

大家好,我是antdlx。MLps系列是针对ML系列的补充,一些在ML系列中不方便展开的问题会在这里展开讨论,力求让读者透彻的理解ML系列中的许多底层原理。

今天这篇文章将会介绍:

  • 最大似然估计法
  • 多元线性回归
  • 正规方程组
  • 正规方程组和梯度下降之间的联系和不同

1、最大似然估计法

正规方程组是由最大似然估计法得到的,那么什么事最大似然估计法呢?它是数理统计学中参数估计的点估计中的一种方法。
统计推断的基本问题可以分为两大类,一类是估计问题,另一类是假设检验问题。这里用到的就是估计问题。
1.1、点估计:
设总体X的分布函数形式已知,但它的一个或者多个参数未知,借助于总体X的一个样本来估计总体未知参数的值的问题称为参数的点估计问题。一般有矩估计法和最大似然估计法。

1.2、最大似然估计法:
mlps1-1 mlps1-2 1.3、最大值问题
取得极值的时候导数/偏导数(多元情况)等于0,所以我们在求正规方程组的时候会令偏导数等于零。

2、多元线性回归&正规方程组

mlps1-3 mlps1-4 mlps1-5

ps:说明E
mlps1-6 上文中提及的17th题如下: mlps1-7

ps:关于正规方程组解法的另一种思路
mlps1-8 博主个人认为这种解法更容易理解

3、正规方程组和梯度下降之间的联系和不同

正规方程组跟梯度下降一样,可以用来求权重向量θ。但它与梯度下降相比,既有优势也有劣势。

优势:

正规方程组可以不在意变量X特征的范围。比如,有特征向量X={x1, x2}, 其中x1的范围为1~2000,而x2的范围为1~4,可以看到它们的范围相差了500倍。如果使用梯度下降方法的话,会导致椭圆变得很窄很长,而出现梯度下降困难,甚至无法下降梯度(因为导数乘上步长后可能会冲出椭圆的外面)。但是,如果用正规方程组方法的话,就不用担心这个问题了。因为它是纯粹的矩阵算法。

劣势:

相比于梯度下降,正规方程组需要大量的矩阵运算,特别是求矩阵的逆。在矩阵很大的情况下,会大大增加计算复杂性以及对计算机内存容量的要求。

以上便是本篇博文的全部内容,希望对您有帮助:)


分享博文


评论博文


Last one :   DL-BP神经网络及其数学原理

Next article :   ML数学基础3-概率论与统计学