DAY1-02.05.2020

《DAY1-02.05.2020》

梯度理解

  • 方向导数
    • 定义:若f(x,y)在(x0,y0附近有定义)且下式存在,则f沿l方向导数即为下式。
      《DAY1-02.05.2020》
    • 定理(方向导数与偏导数的关系):由函数的可微性和方向导数定义推得。
      (任务64:课时66 9.9 方向导数与梯度 12min30s)
      《DAY1-02.05.2020》
    • 梯度:
      • 方向向量和梯度同向(沿梯度方向),方向导数最大,函数值增大最快。
      • 梯度是一个向量。
        《DAY1-02.05.2020》

凸函数

  • 代数上:

    • 定义:判断方法有很多。比如:
      • f’’(x)>=0

      《DAY1-02.05.2020》

  • 几何上:
    《DAY1-02.05.2020》

  • 常见的凸函数:

  1. max(x1,x2,…,xn)
  2. LogSumExp(x1,x2,…,xn) (softmax函数中有相关应用)

多元函数求极值

  • 需注意一阶导数为0并不能判断出该点是否为极值点,需要根据二阶导数作进一步判断。
  • 本质是求偏导。

Hession矩阵

  • 由二阶偏导数构成的矩阵。
    《DAY1-02.05.2020》
  • 用于判断局部最小值,求向量函数最小值时用的,矩阵正定 是最小值存在的充分条件。
  • 当A正定矩阵时, 在研究点处是极小值
    当A负定矩阵时,在研究点处是极大值
    当A不定矩阵时, 不是极值点
    当A为半正定矩阵或半负定矩阵时,是“可疑”极值点,尚需要利用其他方法来判定。
  • 判断一个矩阵是否为正定矩阵有两种方法:顺序主子式法特征值法

最小二乘法

  • 求使得平方误差最小的待定系数a,b的方法。
  • 多元函数求极值的一个例子。

梯度下降法求极值

《DAY1-02.05.2020》

拉格朗日乘子法(约束最优化问题)

  • 带等式约束的极值问题:i.e. min f(x1,x2) s.t. g(x1,x2)=0
    《DAY1-02.05.2020》
  • 把带约束的问题转化为了不带约束的问题。

泰勒级数

《DAY1-02.05.2020》
《DAY1-02.05.2020》
Rn为余项,若truncate掉Rn,则是f(x)的近似。

02.05.2020

  • 完成任务
    原文作者:Hao Yijia
    原文地址: https://blog.csdn.net/qq_43063692/article/details/104187709
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞