简介面向机器学习课程学习者的一份完整大作业范文文档由电子工程学院学生撰写系统梳理了机器学习基本概念、发展历程与模型并深入讲解决策树、人工神经网络、贝叶斯学习、遗传算法和支持向量机等核心算法。全文重点围绕支持向量机展开涵盖SVM的产生背景、统计学习理论基础、最优分类面、非线性映射及核函数推导并介绍其在人脸检测、语音识别、手写体识别等领域的应用现状。文档结构清晰目录完整配有定理与公式说明可直接作为课程报告写作框架与内容参考。资源共1个doc文件压缩包大小1.17MB已有1714人浏览学习适合高校本科生或研究生完成机器学习大作业时借鉴查阅。1. 从课程作业到线上推理为什么SVM至今仍是值得拆解的机器学习模型拿到这份“机器学习大作业”时我第一反应是它像极了电子信息工程专业的课程设计前半段梳理机器学习理论后半段扎进支持向量机的数学原理贴上16棋盘格和iris的仿真结果。读完后我意识到它的技术骨架覆盖了从理论到工程的完整链路——最优分类面解释了结构风险最小化为何更抗过拟合核函数解决了线性不可分两个仿真数据集则展示了SVM在非线性边界和多分类上的表现。小样本、高维场景下SVM的泛化能力优于裸跑的决策树或欠调参的深度学习模型。这份作业适合正在补理论基础的工程师也适合需要快速搭建可解释分类器的算法岗新人。2. 最优分类面与核函数映射SVM数学机理中的关键转折点SVM最容易被初学者忽略的一点是它不是“一个分类算法”而是一套在经验风险和模型复杂度之间显式权衡的优化框架。作业第一章讲人工神经网络时提到神经网络基于经验风险最小化原则层数和神经元个数难确定、容易陷入局部极小这恰好反衬出SVM选择结构风险最小化路线的动机。把三个关键转折点拆开看分别是线性可分时的最优分类面、线性不可分时引入松弛变量的广义最优分类面、以及用核函数完成高维映射的SVM。2.1 从最优分类线到广义最优分类面间隔最大化的含义线性可分情况下SVM要做的事情是在两类样本之间找一条分类线并且让这条线离两侧最近样本的距离都尽量远。把判别函数归一化之后最近样本满足 yi(w·xi b) 1分类间隔等于 2/‖w‖所以最大化间隔等价于最小化 ½‖w‖²。这个“间隔最大”不是凭直觉拍脑袋定的它是统计学习理论里泛化误差界的直接推论间隔越大决策边界的 VC 置信范围越小真实风险的上界越紧。线性不可分时问题出在部分样本不满足 yi(w·xi b) ≥ 1。作业里的处理方式是引入松弛项 ξi把约束放宽为 yi(w·xi b) ≥ 1 - ξi同时把 Σξi 作为惩罚项写进目标函数。常数 C 的作用是在“错分代价”和“间隔宽度”之间做交易C 越大模型越不愿意容忍误分类边界越复杂C 越小模型更倾向于用平滑的边界换取更少的错分代价。三个阶段的关系可以汇总成一张表阶段约束条件目标函数关键参数最优分类面线性可分yi(w·xib)≥1min ½‖w‖²无广义最优分类面软间隔yi(w·xib)≥1-ξimin ½‖w‖²CΣξiC非线性SVM核函数约束不变内积换为 K(xi,xj)目标不变内积换为核函数C、γ、degree 等实际调参时这张表的最后一行才是重点C 控制经验风险的权重核参数控制映射后特征空间的形状两者共同决定模型的复杂度和泛化能力。2.2 对偶问题与支持向量的几何意义把带不等式约束的最优化问题写成 Lagrange 函数对 w 和 b 求偏导并令其为零可以得到一个对偶问题在 Σαiyi0 和 αi≥0 的约束下最大化 Σαi - ½ΣΣαiαjyiyj(xi·xj)。这个对偶形式有两个工程意义。第一优化变量从 w 变成 αi样本只以内积形式出现为后面引入核函数留好了位置。第二根据 KKT 条件解中只有一小部分 αi 不为零这些非零 αi 对应的样本就是支持向量。决策函数 f(x)sgn(Σαiyi(xi·x)b) 的求和只对支持向量进行所以训练完成之后非支持向量既不参与预测也不占存储这是 SVM 被称为稀疏模型的原因。实际项目中这组属性可以直接拿出来用from sklearn.svm import SVC model SVC(kernellinear, C1.0) model.fit(X_train, y_train) # 支持向量在原始训练集中的位置索引 sv_idx model.support_ print(支持向量数量:, len(sv_idx), 索引样例:, sv_idx[:5]) # 支持向量矩阵和决策函数偏置 print(支持向量矩阵形状:, model.support_vectors_.shape) print(决策函数偏置 b:, model.intercept_)这段代码用线性核训练 SVCfit 结束后用 support_ 拿到支持向量在训练集里的位置support_vectors_ 拿到支持向量本身intercept_ 拿到决策函数中的偏置 b。我经常用这组属性做样本筛选支持向量是训练集里最影响决策边界的那批样本在数据清洗或主动学习场景下把它们单独拿出来分析比随机抽样更有信息量。2.3 核函数绕过显式映射的关键一步非线性问题最直觉的做法是把输入空间映射到高维特征空间再找线性分类面但显式定义和计算这个映射在维数很高时完全不可行。作业里引用 Mercer 条件给出了一条更聪明的路径只要核函数 K(xi,xj) 满足 Mercer 条件它就对应某个特征空间中的内积训练和预测时只需要计算核函数的值完全不需要知道映射的具体形式。三种经典核函数各有各的适用场景选择时先看数据的特征分布和样本量再决定核函数表达式典型适用场景多项式核(x·yq)^q特征维度低、数据有明显多项式关系RBF径向基核exp(-γ‖x-y‖²)局部性强能逼近任意非线性边界默认首选Sigmoid核tanh(κx·yθ)等价于含隐层的多层感知器但参数敏感作业里提到 B.Bacsens 等人在 UCI 数据集上对比了线性核、多项式核和 RBF 核结论是不同核函数在不同数据上各有所长但 RBF 在多数数据集上表现略优。这个结论放到今天依然成立。RBF 核的每个基函数中心对应一个支持向量输出权值由算法自动确定不存在神经网络里隐层节点数靠经验拍定的问题这也是它比传统多层感知器更稳的原因。3. 核函数选型与参数寻优从理论公式到工程调参路径第二章把 SVM 为什么能处理非线性问题讲清楚了这一章落到实际操作拿到一份数据后核函数选什么C 和 γ 怎么定为什么同样的数据换一组参数效果天差地别。这一部分恰好是作业仿真章节没有展开、但实际项目里花费时间最多的环节。3.1 为什么 RBF 核作为默认起点工程上我一般不会把所有核函数轮一遍而是直接以 RBF 为默认起点。理由有三个RBF 只有一个核心参数 γ调参空间比多项式核的 degree、coef0 二维组合小RBF 决策边界由支持向量局部决定对数据分布形态的假设最少γ 很小时 RBF 决策边界的曲率趋近于零表现接近线性核所以 RBF 的结果可以近似覆盖线性核的效果。前提是特征必须标准化RBF 核里的欧氏距离对量纲非常敏感。下面是标准的数据预处理加训练流程from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.svm import SVC from sklearn.model_selection import train_test_split, GridSearchCV X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, stratifyy, random_state42 ) # Pipeline先做标准化再进入RBF-SVM pipe Pipeline([ (scaler, StandardScaler()), (svc, SVC(kernelrbf, probabilityTrue, random_state42)) ]) # 搜索C和gamma的指数网格 param_grid { svc__C: [0.1, 1, 10, 100], svc__gamma: [0.001, 0.01, 0.1, 1] } grid GridSearchCV(pipe, param_grid, cv5, scoringf1_macro, n_jobs-1) grid.fit(X_train, y_train) print(最优参数:, grid.best_params_) print(交叉验证最优得分:, grid.best_score_)Pipeline 把特征标准化和 SVM 训练串成一条链路GridSearchCV 在 5 折交叉验证下搜索 C 和 γ 的网格组合。scoring 选 f1_macro 是因为准确率在不同类别样本数差异大时没有参考价值宏平均 F1 对每个类别一视同仁。这里先切分测试集再做标准化避免测试集信息泄漏进训练过程。3.2 C 与 γ 的联动效应网格搜索结果只是起点理解参数联动才能真正做对调参。γ 控制单个训练样本的影响半径γ 越大RBF 核的径向作用范围越小决策边界越曲折容易过拟合γ 越小影响范围越大边界越平滑容易欠拟合。C 则控制错分样本的代价C 和 γ 并不是相互独立的C 很大时模型已经倾向于严格分类再配合较大的 γ边界会变得极不规则。我遇到分类任务第一版结果不好时一般先看交叉验证的训练分数和验证分数。两个分数都低说明欠拟合优先把 C 或 γ 调大训练分数高、验证分数明显低说明过拟合优先把 γ 调小而不是直接降 C。下表是所有项目里我都会用的一个经验表现象调整方向原因训练分高、验证分低先降 γ再降 C边界过于曲折需要拉平影响半径训练分、验证分都低先升 C再升 γ模型表达能力不足概率预测集中在阈值附近检查标准化和类别权重特征尺度或类别分布出了问题提示当交叉验证的训练分数远高于验证分数时优先降低 γ 而不是 C。γ 下降带来的平滑效果通常比降低 C 更直接。3.3 sklearn 的 SVC 到底做了什么LIBSVM、SMO 与规模边界sklearn 的 SVC 底层是台湾大学林智仁团队的 LIBSVM内部用 SMO序列最小优化算法把大规模二次规划分解成一系列小规模子问题迭代求解。这个实现细节决定了 SVC 的使用边界样本量小于一万时直接调用没有问题一万到十万之间训练时间会明显上升超过十万我一般会改用线性核或直接换树模型。LIBSVM 还内置了多分类支持默认采用一对一策略iris 这类三分类问题会自动生成 3 个子分类器。作业里提到的 v-SVM、LS-SVM 等改进模型在 sklearn 中对应 SVC 的 nu 参数和 LinearSVR 等接口日常调参用不上但了解它们解决什么问题有助于判断何时换模型v-SVM 用参数 v 替代 Cv 同时控制支持向量数占比的下限和误差上界LS-SVM 把不等式约束改成等式约束把二次规划变成求解线性方程组训练更快但失去了解的稀疏性。样本量中等且对推理速度不敏感时标准 C-SVM 依然是更稳的选择。4. 16棋盘格与 iris 数据集复现SVM仿真实验全流程作业第四章给了两个仿真场景16 棋盘格数据分类和 UCI 的 iris 三分类。前者用来验证 SVM 的非线性表达能力后者是经典的多分类基准把这两个实验完整复现一遍基本就能掌握 SVM 从训练到评估的完整流程。4.1 16棋盘格验证 RBF 核的非线性表达能力16 棋盘格没有公开的标准生成接口我按常见做法复现在 [-2,2]×[-2,2] 的平面上随机采样把 x 和 y 坐标分别向下取整两个整数的和是偶数时记为正类否则记为负类。相邻格子的标签交替分布正负类之间没有线性边界是天然的核函数演示数据。import numpy as np from sklearn.svm import SVC rng np.random.RandomState(0) X rng.uniform(-2, 2, (800, 2)) # 16棋盘格标签floor(x)floor(y)为偶数时记为正类 y (np.floor(X[:, 0]) np.floor(X[:, 1])) % 2 0 model SVC(kernelrbf, C10, gamma1.0) model.fit(X, y) print(训练准确率:, model.score(X, y)) print(支持向量数量:, len(model.support_))gamma 取 1.0 时每个样本的影响半径约为 1接近单个棋盘格子的大小C 取 10 保证边界拟合足够细致。支持向量的数量可以作为边界复杂度的代理指标棋盘格这类强非线性任务里支持向量通常会占到训练样本的很大比例这和线性可分数据上的稀疏解形成鲜明对比。可视化时在训练范围的网格上逐点预测再把预测类别渲染成色块import matplotlib.pyplot as plt # 在网格上逐点预测得到完整的决策区域 xx, yy np.meshgrid(np.linspace(-2, 2, 400), np.linspace(-2, 2, 400)) Z model.predict(np.c_[xx.ravel(), yy.ravel()]).reshape(xx.shape) plt.contourf(xx, yy, Z, alpha0.6, cmapcoolwarm) plt.scatter(X[:, 0], X[:, 1], cy, edgecolork, s20) plt.savefig(chessboard_rbf_boundary.png, dpi150)contourf 把网格上的预测类别填充成连续的色块散点图叠加真实标签。边界图出来后重点看两处格子对角线附近的分界线是否平滑角落区域的类别是否被正确保留。如果分界线出现大量锯齿说明 γ 偏大如果直角边界被抹成圆弧说明 γ 偏小。4.2 iris 三分类一对多与一对一策略的实测对比iris 数据集有 150 个样本、4 个特征、3 个类别是检验多分类策略的标准地形。sklearn 的 SVC 默认走一对一策略3 个类别训练 3 个子分类器最后投票定类别一对多策略则由 OneVsRestClassifier 包装有多少个类别就训练多少个二分类器。from sklearn.datasets import load_iris from sklearn.model_selection import cross_val_score from sklearn.multiclass import OneVsRestClassifier iris load_iris() X, y iris.data, iris.target # SVC默认使用一对一多分类策略 svc_ovo SVC(kernellinear, C1) print(一对一策略得分:, cross_val_score(svc_ovo, X, y, cv5).mean()) # 显式包装成一对多策略 ovr OneVsRestClassifier(SVC(kernellinear, C1)) print(一对多策略得分:, cross_val_score(ovr, X, y, cv5).mean())cross_val_score 用 5 折交叉验证评估模型的泛化能力避免单次划分的随机性影响结论。同一份数据、同样的核函数只是多分类组合方式不同。iris 这种均衡小数据集上两种策略的准确率差别不大但一对一训练时间随类别数二次增长类别超过 20 个时建议切到一对多。4.3 与其他机器学习算法的对比结果作业第一章列举了决策树、人工神经网络、贝叶斯算法和遗传算法仿真部分没有给出对比表实际复现时补一组基线对比很有必要。以 iris 为例默认参数下几个模型的 5 折交叉验证表现大致如下模型平均准确率备注CART 决策树0.94 左右可解释但边界容易碎化高斯朴素贝叶斯0.95 左右假设特征独立训练最快线性 SVM0.97 左右对均衡小数据集表现稳定RBF-SVM0.97 左右与线性 SVM 接近边界更灵活对比的意义不在分出胜负而在于理解差异来源朴素贝叶斯在特征相关性强的数据上会吃亏决策树的贪心分裂在决策边界交叉区域容易过拟合SVM 用间隔最大化和核映射把边界复杂度显式控制住所以对小样本高维数据更稳。这也是很多入门项目把 SVM 当默认基线模型的原因。4.4 实验过程中的三个常见报错复现这份作业时最容易踩的坑有三个。第一是数据标准化位置错误先对整个数据集 fit 再切分会把测试集信息泄漏进训练标准做法是先 train_test_split 再在训练集上 fit 标准化器。第二是核函数参数写法sklearn 要求 kernelrbf 小写写成 RBF 或 rbf核 会直接报 ValueError。第三是标签类型不匹配训练时用字符串类别、验证时传入整数或者反过来都会在评分阶段抛错。遇到这类问题先打印 y_train 和 y_test 的 unique 值做对比比看异常堆栈更快。5. 多分类与不平衡样本SVM工程落地的两个补强技巧最后说两个作业里没有展开、但真实项目一定会碰到的细节概率输出和类别不平衡。这两个问题放在一起处理往往能决定 SVM 能不能真正上线。5.1 从决策得分到概率输出Platt 缩放的代价与收益sklearn 的 SVC 默认只输出决策函数值不输出概率因为 SVM 本身是一个大间隔分类器决策值的大小没有经过概率校准。设置 probabilityTrue 后训练阶段会额外执行一次 Platt 缩放用逻辑回归把决策值映射到 [0,1] 区间。这个开关值得开但要知道它有三个代价训练时间变长因为缩放参数需要交叉验证来拟合得到的概率不是严格的后验概率类别分布严重倾斜时偏差明显概率用于阈值筛选时必须单独用验证集定阈值不能在测试集上来回调否则就是变相的数据泄漏。Platt 缩放本质是在决策函数值上用交叉验证拟合一个 sigmoid样本量太小时这个映射本身也会过拟合所以小数据集上宁可只用 decision_function 做排序也不要直接信概率数值。5.2 类别不平衡class_weight 与决策阈值的组合使用人脸检测、故障诊断、欺诈识别这类场景里少数类样本占比经常不足 5%。SVM 处理这个问题没有银弹工程上最常用的组合是 class_weight 加权加阈值平移# 少数类权重5.0加大错分惩罚 svc SVC(kernelrbf, C1, gammascale, class_weight{0: 1.0, 1: 5.0}, probabilityTrue) svc.fit(X_train, y_train) # 用概率输出的阈值平移替代默认的0.5判断 prob svc.predict_proba(X_test)[:, 1] threshold 0.3 pred (prob threshold).astype(int)class_weight 把少数类样本的错分代价提高到 5 倍等价于在目标函数里放大了对应的松弛变量惩罚predict_proba 得到正类的概率估计后把判定阈值从默认的 0.5 下调到 0.3让分类器更愿意输出正类。两个措施叠加通常能在多数类精度不崩的前提下显著提升少数类的召回率。调整完成后用 sklearn.metrics 里的 precision_recall_curve 观察精度-召回率曲线的拐点比只盯准确率更靠谱。本文还有配套的精品资源点击获取 支持向量机SVM从数学原理到工程调参：核函数、间隔最大化与实用技巧
简介面向机器学习课程学习者的一份完整大作业范文文档由电子工程学院学生撰写系统梳理了机器学习基本概念、发展历程与模型并深入讲解决策树、人工神经网络、贝叶斯学习、遗传算法和支持向量机等核心算法。全文重点围绕支持向量机展开涵盖SVM的产生背景、统计学习理论基础、最优分类面、非线性映射及核函数推导并介绍其在人脸检测、语音识别、手写体识别等领域的应用现状。文档结构清晰目录完整配有定理与公式说明可直接作为课程报告写作框架与内容参考。资源共1个doc文件压缩包大小1.17MB已有1714人浏览学习适合高校本科生或研究生完成机器学习大作业时借鉴查阅。1. 从课程作业到线上推理为什么SVM至今仍是值得拆解的机器学习模型拿到这份“机器学习大作业”时我第一反应是它像极了电子信息工程专业的课程设计前半段梳理机器学习理论后半段扎进支持向量机的数学原理贴上16棋盘格和iris的仿真结果。读完后我意识到它的技术骨架覆盖了从理论到工程的完整链路——最优分类面解释了结构风险最小化为何更抗过拟合核函数解决了线性不可分两个仿真数据集则展示了SVM在非线性边界和多分类上的表现。小样本、高维场景下SVM的泛化能力优于裸跑的决策树或欠调参的深度学习模型。这份作业适合正在补理论基础的工程师也适合需要快速搭建可解释分类器的算法岗新人。2. 最优分类面与核函数映射SVM数学机理中的关键转折点SVM最容易被初学者忽略的一点是它不是“一个分类算法”而是一套在经验风险和模型复杂度之间显式权衡的优化框架。作业第一章讲人工神经网络时提到神经网络基于经验风险最小化原则层数和神经元个数难确定、容易陷入局部极小这恰好反衬出SVM选择结构风险最小化路线的动机。把三个关键转折点拆开看分别是线性可分时的最优分类面、线性不可分时引入松弛变量的广义最优分类面、以及用核函数完成高维映射的SVM。2.1 从最优分类线到广义最优分类面间隔最大化的含义线性可分情况下SVM要做的事情是在两类样本之间找一条分类线并且让这条线离两侧最近样本的距离都尽量远。把判别函数归一化之后最近样本满足 yi(w·xi b) 1分类间隔等于 2/‖w‖所以最大化间隔等价于最小化 ½‖w‖²。这个“间隔最大”不是凭直觉拍脑袋定的它是统计学习理论里泛化误差界的直接推论间隔越大决策边界的 VC 置信范围越小真实风险的上界越紧。线性不可分时问题出在部分样本不满足 yi(w·xi b) ≥ 1。作业里的处理方式是引入松弛项 ξi把约束放宽为 yi(w·xi b) ≥ 1 - ξi同时把 Σξi 作为惩罚项写进目标函数。常数 C 的作用是在“错分代价”和“间隔宽度”之间做交易C 越大模型越不愿意容忍误分类边界越复杂C 越小模型更倾向于用平滑的边界换取更少的错分代价。三个阶段的关系可以汇总成一张表阶段约束条件目标函数关键参数最优分类面线性可分yi(w·xib)≥1min ½‖w‖²无广义最优分类面软间隔yi(w·xib)≥1-ξimin ½‖w‖²CΣξiC非线性SVM核函数约束不变内积换为 K(xi,xj)目标不变内积换为核函数C、γ、degree 等实际调参时这张表的最后一行才是重点C 控制经验风险的权重核参数控制映射后特征空间的形状两者共同决定模型的复杂度和泛化能力。2.2 对偶问题与支持向量的几何意义把带不等式约束的最优化问题写成 Lagrange 函数对 w 和 b 求偏导并令其为零可以得到一个对偶问题在 Σαiyi0 和 αi≥0 的约束下最大化 Σαi - ½ΣΣαiαjyiyj(xi·xj)。这个对偶形式有两个工程意义。第一优化变量从 w 变成 αi样本只以内积形式出现为后面引入核函数留好了位置。第二根据 KKT 条件解中只有一小部分 αi 不为零这些非零 αi 对应的样本就是支持向量。决策函数 f(x)sgn(Σαiyi(xi·x)b) 的求和只对支持向量进行所以训练完成之后非支持向量既不参与预测也不占存储这是 SVM 被称为稀疏模型的原因。实际项目中这组属性可以直接拿出来用from sklearn.svm import SVC model SVC(kernellinear, C1.0) model.fit(X_train, y_train) # 支持向量在原始训练集中的位置索引 sv_idx model.support_ print(支持向量数量:, len(sv_idx), 索引样例:, sv_idx[:5]) # 支持向量矩阵和决策函数偏置 print(支持向量矩阵形状:, model.support_vectors_.shape) print(决策函数偏置 b:, model.intercept_)这段代码用线性核训练 SVCfit 结束后用 support_ 拿到支持向量在训练集里的位置support_vectors_ 拿到支持向量本身intercept_ 拿到决策函数中的偏置 b。我经常用这组属性做样本筛选支持向量是训练集里最影响决策边界的那批样本在数据清洗或主动学习场景下把它们单独拿出来分析比随机抽样更有信息量。2.3 核函数绕过显式映射的关键一步非线性问题最直觉的做法是把输入空间映射到高维特征空间再找线性分类面但显式定义和计算这个映射在维数很高时完全不可行。作业里引用 Mercer 条件给出了一条更聪明的路径只要核函数 K(xi,xj) 满足 Mercer 条件它就对应某个特征空间中的内积训练和预测时只需要计算核函数的值完全不需要知道映射的具体形式。三种经典核函数各有各的适用场景选择时先看数据的特征分布和样本量再决定核函数表达式典型适用场景多项式核(x·yq)^q特征维度低、数据有明显多项式关系RBF径向基核exp(-γ‖x-y‖²)局部性强能逼近任意非线性边界默认首选Sigmoid核tanh(κx·yθ)等价于含隐层的多层感知器但参数敏感作业里提到 B.Bacsens 等人在 UCI 数据集上对比了线性核、多项式核和 RBF 核结论是不同核函数在不同数据上各有所长但 RBF 在多数数据集上表现略优。这个结论放到今天依然成立。RBF 核的每个基函数中心对应一个支持向量输出权值由算法自动确定不存在神经网络里隐层节点数靠经验拍定的问题这也是它比传统多层感知器更稳的原因。3. 核函数选型与参数寻优从理论公式到工程调参路径第二章把 SVM 为什么能处理非线性问题讲清楚了这一章落到实际操作拿到一份数据后核函数选什么C 和 γ 怎么定为什么同样的数据换一组参数效果天差地别。这一部分恰好是作业仿真章节没有展开、但实际项目里花费时间最多的环节。3.1 为什么 RBF 核作为默认起点工程上我一般不会把所有核函数轮一遍而是直接以 RBF 为默认起点。理由有三个RBF 只有一个核心参数 γ调参空间比多项式核的 degree、coef0 二维组合小RBF 决策边界由支持向量局部决定对数据分布形态的假设最少γ 很小时 RBF 决策边界的曲率趋近于零表现接近线性核所以 RBF 的结果可以近似覆盖线性核的效果。前提是特征必须标准化RBF 核里的欧氏距离对量纲非常敏感。下面是标准的数据预处理加训练流程from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.svm import SVC from sklearn.model_selection import train_test_split, GridSearchCV X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, stratifyy, random_state42 ) # Pipeline先做标准化再进入RBF-SVM pipe Pipeline([ (scaler, StandardScaler()), (svc, SVC(kernelrbf, probabilityTrue, random_state42)) ]) # 搜索C和gamma的指数网格 param_grid { svc__C: [0.1, 1, 10, 100], svc__gamma: [0.001, 0.01, 0.1, 1] } grid GridSearchCV(pipe, param_grid, cv5, scoringf1_macro, n_jobs-1) grid.fit(X_train, y_train) print(最优参数:, grid.best_params_) print(交叉验证最优得分:, grid.best_score_)Pipeline 把特征标准化和 SVM 训练串成一条链路GridSearchCV 在 5 折交叉验证下搜索 C 和 γ 的网格组合。scoring 选 f1_macro 是因为准确率在不同类别样本数差异大时没有参考价值宏平均 F1 对每个类别一视同仁。这里先切分测试集再做标准化避免测试集信息泄漏进训练过程。3.2 C 与 γ 的联动效应网格搜索结果只是起点理解参数联动才能真正做对调参。γ 控制单个训练样本的影响半径γ 越大RBF 核的径向作用范围越小决策边界越曲折容易过拟合γ 越小影响范围越大边界越平滑容易欠拟合。C 则控制错分样本的代价C 和 γ 并不是相互独立的C 很大时模型已经倾向于严格分类再配合较大的 γ边界会变得极不规则。我遇到分类任务第一版结果不好时一般先看交叉验证的训练分数和验证分数。两个分数都低说明欠拟合优先把 C 或 γ 调大训练分数高、验证分数明显低说明过拟合优先把 γ 调小而不是直接降 C。下表是所有项目里我都会用的一个经验表现象调整方向原因训练分高、验证分低先降 γ再降 C边界过于曲折需要拉平影响半径训练分、验证分都低先升 C再升 γ模型表达能力不足概率预测集中在阈值附近检查标准化和类别权重特征尺度或类别分布出了问题提示当交叉验证的训练分数远高于验证分数时优先降低 γ 而不是 C。γ 下降带来的平滑效果通常比降低 C 更直接。3.3 sklearn 的 SVC 到底做了什么LIBSVM、SMO 与规模边界sklearn 的 SVC 底层是台湾大学林智仁团队的 LIBSVM内部用 SMO序列最小优化算法把大规模二次规划分解成一系列小规模子问题迭代求解。这个实现细节决定了 SVC 的使用边界样本量小于一万时直接调用没有问题一万到十万之间训练时间会明显上升超过十万我一般会改用线性核或直接换树模型。LIBSVM 还内置了多分类支持默认采用一对一策略iris 这类三分类问题会自动生成 3 个子分类器。作业里提到的 v-SVM、LS-SVM 等改进模型在 sklearn 中对应 SVC 的 nu 参数和 LinearSVR 等接口日常调参用不上但了解它们解决什么问题有助于判断何时换模型v-SVM 用参数 v 替代 Cv 同时控制支持向量数占比的下限和误差上界LS-SVM 把不等式约束改成等式约束把二次规划变成求解线性方程组训练更快但失去了解的稀疏性。样本量中等且对推理速度不敏感时标准 C-SVM 依然是更稳的选择。4. 16棋盘格与 iris 数据集复现SVM仿真实验全流程作业第四章给了两个仿真场景16 棋盘格数据分类和 UCI 的 iris 三分类。前者用来验证 SVM 的非线性表达能力后者是经典的多分类基准把这两个实验完整复现一遍基本就能掌握 SVM 从训练到评估的完整流程。4.1 16棋盘格验证 RBF 核的非线性表达能力16 棋盘格没有公开的标准生成接口我按常见做法复现在 [-2,2]×[-2,2] 的平面上随机采样把 x 和 y 坐标分别向下取整两个整数的和是偶数时记为正类否则记为负类。相邻格子的标签交替分布正负类之间没有线性边界是天然的核函数演示数据。import numpy as np from sklearn.svm import SVC rng np.random.RandomState(0) X rng.uniform(-2, 2, (800, 2)) # 16棋盘格标签floor(x)floor(y)为偶数时记为正类 y (np.floor(X[:, 0]) np.floor(X[:, 1])) % 2 0 model SVC(kernelrbf, C10, gamma1.0) model.fit(X, y) print(训练准确率:, model.score(X, y)) print(支持向量数量:, len(model.support_))gamma 取 1.0 时每个样本的影响半径约为 1接近单个棋盘格子的大小C 取 10 保证边界拟合足够细致。支持向量的数量可以作为边界复杂度的代理指标棋盘格这类强非线性任务里支持向量通常会占到训练样本的很大比例这和线性可分数据上的稀疏解形成鲜明对比。可视化时在训练范围的网格上逐点预测再把预测类别渲染成色块import matplotlib.pyplot as plt # 在网格上逐点预测得到完整的决策区域 xx, yy np.meshgrid(np.linspace(-2, 2, 400), np.linspace(-2, 2, 400)) Z model.predict(np.c_[xx.ravel(), yy.ravel()]).reshape(xx.shape) plt.contourf(xx, yy, Z, alpha0.6, cmapcoolwarm) plt.scatter(X[:, 0], X[:, 1], cy, edgecolork, s20) plt.savefig(chessboard_rbf_boundary.png, dpi150)contourf 把网格上的预测类别填充成连续的色块散点图叠加真实标签。边界图出来后重点看两处格子对角线附近的分界线是否平滑角落区域的类别是否被正确保留。如果分界线出现大量锯齿说明 γ 偏大如果直角边界被抹成圆弧说明 γ 偏小。4.2 iris 三分类一对多与一对一策略的实测对比iris 数据集有 150 个样本、4 个特征、3 个类别是检验多分类策略的标准地形。sklearn 的 SVC 默认走一对一策略3 个类别训练 3 个子分类器最后投票定类别一对多策略则由 OneVsRestClassifier 包装有多少个类别就训练多少个二分类器。from sklearn.datasets import load_iris from sklearn.model_selection import cross_val_score from sklearn.multiclass import OneVsRestClassifier iris load_iris() X, y iris.data, iris.target # SVC默认使用一对一多分类策略 svc_ovo SVC(kernellinear, C1) print(一对一策略得分:, cross_val_score(svc_ovo, X, y, cv5).mean()) # 显式包装成一对多策略 ovr OneVsRestClassifier(SVC(kernellinear, C1)) print(一对多策略得分:, cross_val_score(ovr, X, y, cv5).mean())cross_val_score 用 5 折交叉验证评估模型的泛化能力避免单次划分的随机性影响结论。同一份数据、同样的核函数只是多分类组合方式不同。iris 这种均衡小数据集上两种策略的准确率差别不大但一对一训练时间随类别数二次增长类别超过 20 个时建议切到一对多。4.3 与其他机器学习算法的对比结果作业第一章列举了决策树、人工神经网络、贝叶斯算法和遗传算法仿真部分没有给出对比表实际复现时补一组基线对比很有必要。以 iris 为例默认参数下几个模型的 5 折交叉验证表现大致如下模型平均准确率备注CART 决策树0.94 左右可解释但边界容易碎化高斯朴素贝叶斯0.95 左右假设特征独立训练最快线性 SVM0.97 左右对均衡小数据集表现稳定RBF-SVM0.97 左右与线性 SVM 接近边界更灵活对比的意义不在分出胜负而在于理解差异来源朴素贝叶斯在特征相关性强的数据上会吃亏决策树的贪心分裂在决策边界交叉区域容易过拟合SVM 用间隔最大化和核映射把边界复杂度显式控制住所以对小样本高维数据更稳。这也是很多入门项目把 SVM 当默认基线模型的原因。4.4 实验过程中的三个常见报错复现这份作业时最容易踩的坑有三个。第一是数据标准化位置错误先对整个数据集 fit 再切分会把测试集信息泄漏进训练标准做法是先 train_test_split 再在训练集上 fit 标准化器。第二是核函数参数写法sklearn 要求 kernelrbf 小写写成 RBF 或 rbf核 会直接报 ValueError。第三是标签类型不匹配训练时用字符串类别、验证时传入整数或者反过来都会在评分阶段抛错。遇到这类问题先打印 y_train 和 y_test 的 unique 值做对比比看异常堆栈更快。5. 多分类与不平衡样本SVM工程落地的两个补强技巧最后说两个作业里没有展开、但真实项目一定会碰到的细节概率输出和类别不平衡。这两个问题放在一起处理往往能决定 SVM 能不能真正上线。5.1 从决策得分到概率输出Platt 缩放的代价与收益sklearn 的 SVC 默认只输出决策函数值不输出概率因为 SVM 本身是一个大间隔分类器决策值的大小没有经过概率校准。设置 probabilityTrue 后训练阶段会额外执行一次 Platt 缩放用逻辑回归把决策值映射到 [0,1] 区间。这个开关值得开但要知道它有三个代价训练时间变长因为缩放参数需要交叉验证来拟合得到的概率不是严格的后验概率类别分布严重倾斜时偏差明显概率用于阈值筛选时必须单独用验证集定阈值不能在测试集上来回调否则就是变相的数据泄漏。Platt 缩放本质是在决策函数值上用交叉验证拟合一个 sigmoid样本量太小时这个映射本身也会过拟合所以小数据集上宁可只用 decision_function 做排序也不要直接信概率数值。5.2 类别不平衡class_weight 与决策阈值的组合使用人脸检测、故障诊断、欺诈识别这类场景里少数类样本占比经常不足 5%。SVM 处理这个问题没有银弹工程上最常用的组合是 class_weight 加权加阈值平移# 少数类权重5.0加大错分惩罚 svc SVC(kernelrbf, C1, gammascale, class_weight{0: 1.0, 1: 5.0}, probabilityTrue) svc.fit(X_train, y_train) # 用概率输出的阈值平移替代默认的0.5判断 prob svc.predict_proba(X_test)[:, 1] threshold 0.3 pred (prob threshold).astype(int)class_weight 把少数类样本的错分代价提高到 5 倍等价于在目标函数里放大了对应的松弛变量惩罚predict_proba 得到正类的概率估计后把判定阈值从默认的 0.5 下调到 0.3让分类器更愿意输出正类。两个措施叠加通常能在多数类精度不崩的前提下显著提升少数类的召回率。调整完成后用 sklearn.metrics 里的 precision_recall_curve 观察精度-召回率曲线的拐点比只盯准确率更靠谱。本文还有配套的精品资源点击获取