核函数笔记

理解核函数之前先了解下内积的几何意义

内积:

向量的点乘,也叫向量的内积、数量积,对两个向量执行点乘运算,就是对这两个向量对应位一一相乘之后求和的操作,点乘的结果是一个标量。

/
/
点乘的几何意义是可以用来表征或计算两个向量之间的夹角,以及在b向量在a向量方向上的投影,

《核函数笔记》
根据这个公式就可以计算向量a和向量b之间的夹角。从而就可以进一步判断这两个向量是否是同一方向,是否正交(也就是垂直)等方向关系,具体对应关系为:

 a·b>0    方向基本相同,夹角在0°到90°之间
 a·b=0    正交,相互垂直  
 a·b<0    方向基本相反,夹角在90°到180°之间 

这里基本可以理解为内积就是求向量的相似度

顺便了解下外积:

在三维几何中,向量a和向量b的叉乘结果是一个向量,更为熟知的叫法是法向量,该向量垂直于a和b向量构成的平面。

在3D图像学中,叉乘的概念非常有用,可以通过两个向量的叉乘,生成第三个垂直于a,b的法向量,从而构建X、Y、Z坐标系。如下图所示:

《核函数笔记》
在二维空间中,叉乘还有另外一个几何意义就是:aXb等于由向量a和向量b构成的平行四边形的面积。

好了,了解了内积,下面看看核函数

《核函数笔记》

y空间里两向量《核函数笔记》的内积,在x空间里却是一个关于《核函数笔记》的函数,这个k函数就称为核函数。

在机器学习中常用的核函数,一般有这么几类,也就是LibSVM中自带的这几类:

  1. 线性:K(v_1,v_2)=<v_1,v_2>
  2. 多项式:K(v_1,v_2)=(\gamma<v_1,v_2>+c)^n
  3. Radial basis function:K(v_1,v_2)=\exp(-\gamma||v_1-v_2||^2)
  4. Sigmoid:K(v_1,v_2)=\tanh(\gamma<v_1,v_2>+c)

《核函数笔记》
使用一个简单的升维的方法,把原来一维的空间投射到二维中,x->(x, x^2)。
0->(0,0)
1->(1,1)
2->(2,4)

(这里平方的意义相当于升维,因为“平方”的概念对应着“取导”的概念。“取导”的意义大概是“描述变化趋势”。取导是把二次幂变为一次。与之对应的,二次幂也就变得比较重要了。同理,三次幂也很重要,因为三次幂降到一次幂的时候就成了“取导的取导”,也就是“变化趋势的变化趋势”。因此三次幂也有了自己的特有称谓:立方。所谓一维变二维,线条变面积,函数变积分,趋势变集合,熵变结果)

来看看映射到二维后的结果,直接线性就内分类:
《核函数笔记》

举例2 多项式核函数中\gamma=1, c=0, n=2的情况。

下面这张图位于第一、二象限内。我们关注红色的门,以及“北京四合院”这几个字下面的紫色的字母。我们把红色的门上的点看成是“+”数据,紫色字母上的点看成是“-”数据,它们的横、纵坐标是两个特征。显然,在这个二维空间内,“+”“-”两类数据不是线性可分的。

《核函数笔记》

我们现在考虑核函数K(v_1,v_2) = <v_1,v_2>^2,即“内积平方”。
这里面v_1=(x_1,y_1), v_2=(x_2,y_2)是二维空间中的两个点。

这个核函数对应着一个二维空间到三维空间的映射,它的表达式是:
P(x,y)=(x2,\sqrt{2}xy,y2)
可以验证,
\begin{align} <P(v_1),P(v_2)> &= , <(x_12,\sqrt{2}x_1y_1,y_12),(x_22,\sqrt{2}x_2y_2,y_22)> \ &= , x_12x_22 + 2x_1x_2y_1y_2+y_12y_22 \ &= , (x_1x_2 + y_1y_2)^2 \ &= , , <v_1,v_2>^2 \ &= , K(v_1,v_2) \end{align}

在P这个映射下,原来二维空间中的图在三维空间中的像是这个样子:

《核函数笔记》
(前后轴为x轴,左右轴为y轴,上下轴为z轴)

注意到绿色的平面可以完美地分割红色和紫色,也就是说,两类数据在三维空间中变成线性可分的了。
再映射到二维:
《核函数笔记》
就是非线性的了

参考:
作者:枕水
链接:https://www.zhihu.com/question/24901405/answer/29396245
来源:知乎

版权声明:本文为CSDN博主「-牧野-」
原文链接:https://blog.csdn.net/dcrmg/article/details/52416832

    原文作者:charlie_wang007
    原文地址: https://blog.csdn.net/weixin_41479678/article/details/115581756
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞