监督学习高级算法

第一章：核方法与SVM进阶1.1 从线性可分到线性不可分想象一下，你是一个垃圾分类机器人。最初，你遇到的垃圾都很容易分开——可回收的和不可回收的之间有一条明确的界限。这就是我们之前学的线性可分问题。但是有一天，你遇到了这样的数据：○●●●○ ○●●●○ ○●●●○ ○●●●○ ○●●●○嗯，看起来不太妙。圆圈在外边，方块在中间，这怎么用一条直线分开？别担心！核方法（Kernel Method）就是来解决这个问题的。1.2 核函数的思想让我们先理解一下核函数的核心思想。问题的关键在于：在低维空间线性不可分的数据，在高维空间可能是线性可分的！还是刚才那个例子，如果我们能把数据映射到三维空间呢？原始空间（二维）： ○●●●○ ○●●●○ ○●●●○ ○●●●○ ○●●●○ 高维空间（三维）： 假设我们映射到 (x, y, x² + y²) 这样圆圈和方块可能就在三维空间分开了！核函数的神奇之处在于：它不需要我们显式地计算高维映射，而是直接计算高维空间中的内积！这就是著名的"核技巧"（Kernel Trick）。1.3 常用核函数让我