简介针对仅有一类样本即可建模的场景面向需要在MATLAB中实现单类支持向量机的开发者这份压缩包提供了一套完整的单类分类算法源代码可用于异常检测、数据边界建模、设备状态监控等无监督学习场景。压缩包内只有1个M文件大小仅2KB代码非常精简适合在MATLAB 6.5及后续版本中直接运行与研读。由于单类支持向量机只需要正样本即可完成训练该实现覆盖了数据加载、参数设置、模型训练、决策函数构造等关键环节能够帮助读者快速理解核函数选择与间隔最大化原理如何落地为可运行代码。目前已有110人学习浏览对于具备一定机器学习基础、希望掌握旧版MATLAB编程风格并快速上手异常检测算法的初学者是一份轻量而直接的参考资料。1. One-Class SVM 到底在解决什么问题从一次质检漏检说起做工业质检的朋友常跟我抱怨一个场景正常产品的特征数据攒了几千条真正有瑕疵的样本却只有零星几条——坏件太少连一个像样的二分类训练集都凑不齐。One-Class SVM 就是为这类任务准备的。它在特征空间里画一个尽可能紧的边界把绝大多数正常样本包进去边界之外的统统判为异常。你不需要收集大量正反样本只需要一份干净的正常数据就能得到一个可用的异常检测器。标题里的 Main_SVM_One_Class 正是这一类方案的典型实现单类支持向量机用在设备状态监测、手写数字识别里的离群样本清洗、信贷反欺诈这些冷启动场景中。这篇笔记会讲清楚它的原理、最小可运行代码、三个必调参数以及我踩过的几个坑。2. One-Class SVM 的原理为什么只需一类样本就能画出决策边界2.1 支持向量数据描述SVDD与 ν-SVM 的关系One-Class SVM 的目标是学出一个决策函数对于新的样本点函数输出 1 表示正常输出 -1 表示异常。它跟普通 SVM 最大的区别是训练阶段只用正常样本不出现负类。实现上有两条常见路线Schölkopf 提出的 ν-SVM 把原点当作唯一的负样本在特征空间里学习一个超平面尽可能把数据点和原点分开Tax 和 Duin 提出的 SVDD 则是直接找一个最小半径的超球把所有正常样本装进去。两条路线在 RBF 核下表现非常接近边界都能写成核函数的线性组合f(x) sign(∑ αᵢ K(xᵢ, x) - ρ)。这个公式值得多看两眼。αᵢ 是支持向量的权重ρ 是阈值K(xᵢ, x) 是核函数计算的相似度。决策过程本质上是计算新样本与所有支持向量的加权相似度之和再跟阈值比较。所以当你调参时实际在调整的是这群正常样本在特征空间里聚集得有多紧。理解了这一点后面调 nu 和 gamma 就不再是盲猜了。2.2 核函数把数据映射到高维空间线性不可分问题的突破口原始特征空间里正常样本往往不是球形分布直接用欧氏距离做阈值判断误差很大。RBF 核的作用是把数据映射到高维空间让原本纠缠在一起的点在高维空间中变得线性可分。以手写数字识别中的 optdigits 数据集为例同一个数字的不同书写风格在 64 维像素空间里散布很广字体粗细、倾斜角度带来的差异有时比数字间的差异还大。直接算原始像素的距离做异常检测几乎必败。换成 RBF 核之后核函数会把像素向量的内积换成高斯相似度距离近的点权重高、距离远的点迅速衰减边界才有区分能力。核函数的选择直接决定模型的表达能力。RBF 核是默认首选因为它隐含地映射到无穷维空间能拟合任意形状的正常分布。线性核计算量小适合特征维度非常高、样本量也大的场景比如文本 TF-IDF 特征。多项式核偶尔用但参数多了容易过拟合实际项目里我基本只用 RBF。2.3 从手机传感器异常检测说起One-Class SVM 的适用场景边界One-Class SVM 适合正常数据丰富、异常数据稀缺的场景。手机陀螺仪漂移检测是典型例子正常姿态数据每天几百条但真的漂移发生可能也就几秒钟。数控机床的刀具磨损预警也一样正常磨损数据多崩刃的数据难得。不过它有一个硬前提正常样本的分布必须稳定。如果设备有多个工况低速、高速、空载的数据混在一起喂进去模型就会画一个包住所有工况的大圈边界松松垮垮真实异常混进来根本分不出。常见的解决办法是按工况分模型。先把数据用 KMeans 或按转速区间切片对每个簇单独训练一个单类模型。推理时先判断样本属于哪个工况再进对应的模型。这样做模型数量会变多但每个模型的边界都是紧的灵敏度和误报都更可控。另外One-Class SVM 对异常类型不敏感——它只能告诉你这个点跟正常分布不一致至于它是传感器坏了还是外部干扰它不会说。下游需要再接一个分类器或者人工分析去定位原因。3. 把 Main_SVM_One_Class 跑起来最小实现与核心代码3.1 环境准备与数据加载用 optdigits 手写数字做单类训练要快速验证这个方案我一般用 UCI 的 optdigits 数据集。它有 5620 个手写数字样本每个是 8x8 像素的 64 维向量。做法是挑一个数字比如8把它的全部样本当作正常数据训练 One-Class SVM然后把其他数字的样本当作异常来测。这个设计很贴近真实场景有一类数据验证另一类是否会被正确拒之门外。环境上只需要numpy、scikit-learn、matplotlib。先说数据加载sklearn 里没有直接封装的 optdigits需要从.csv读。UCI 的 optdigits 原始文件是每行 65 个数字前 64 个是像素灰度值最后一个 0-9 是标签。读取代码这样写import numpy as np def load_optdigits(path): # 读取 UCI optdigits 原始 CSV每行 65 个数 data np.loadtxt(path, delimiter,) X data[:, :64] # 前 64 列是像素值 y data[:, 64].astype(int) # 最后一列是数字标签 return X, y # 示例加载后筛出数字 8 作为正常类 X, y load_optdigits(optdigits.tra) X_normal X[y 8] print(数字 8 的样本数, len(X_normal))这段代码先读原始文件再把像素和标签分开。像素值是 0 到 16 的灰度整数整体范围不大但后面做标准化仍然必要——不同特征列的方差差异会在核函数计算中被放大这个坑第 5 章会细说。3.2 训练一个 One-Class SVM 的最小代码Python 示例核心训练代码很短sklearn.svm.OneClassSVM封装好了所有东西from sklearn.svm import OneClassSVM from sklearn.preprocessing import StandardScaler # 标准化让每个特征均值为 0、方差为 1 scaler StandardScaler() X_scaled scaler.fit_transform(X_normal) # 训练单类 SVM model OneClassSVM(kernelrbf, nu0.05, gammascale) model.fit(X_scaled) # 预测返回 1 表示正常-1 表示异常 pred model.predict(X_scaled) print(训练集上被判为异常的样本数, (pred -1).sum())代码逻辑分三步先做标准化再建模型最后预测。nu是训练误差上界的比例设 0.05 表示允许约 5% 的训练样本被当作异常gamma设 scale 是 sklearn 的自动估计模式它取 1 / (特征数 * 方差)比手写一个固定值稳。预测返回的-1就是模型认为的离群点这些点往往是训练集里写得很潦草或者有噪声的数字把它们剔掉后再训练一遍模型会更纯。3.3 预测与决策边界可视化画 ROC 还是画等高线模型训完不能只看准确率得直观看看边界长什么样。二维数据可以画等高线64 维数据没法直接画但可以用 TSNE 降维到 2D 再叠加决策区域。不过更实用于评估的方法是算 ROC AUC——把其他数字当异常样本看模型能否排对。from sklearn.metrics import roc_auc_score from sklearn.model_selection import train_test_split # 构造测试集正常类是数字 8异常类是数字 3 X_test_normal X[y 8][:200] X_test_abnormal X[y 3][:200] X_test np.vstack([X_test_normal, X_test_abnormal]) y_test np.hstack([np.ones(len(X_test_normal)), -np.ones(len(X_test_abnormal))]) # 标准化后获取决策分数decision_function越大越正常 X_test_scaled scaler.transform(X_test) scores model.decision_function(X_test_scaled) # 计算 ROC AUC auc roc_auc_score(y_test, scores) print(ROC AUC, round(auc, 4))这里用decision_function而不是predict因为 ROC 曲线需要连续分数而predict只给离散的 1 和 -1。decision_function返回的就是前面公式里 ∑ αᵢ K(xᵢ, x) - ρ 的值正值越大代表越接近正常分布中心负值越大代表越远离。ROC AUC 在 0.9 以上说明模型能把数字 8 和数字 3 分开如果在 0.5 附近说明边界没学到东西多半是 gamma 或者 nu 设得不对。提示实际项目中至少把 20% 的正常样本拿出来当验证集不要用训练集本身评 AUC否则会高估模型能力。4. 参数调优的三个必调项nu、gamma、kernel4.1 nu 参数训练误差的上界与支持向量比率的平衡nu是 One-Class SVM 最核心的参数它同时控制训练误差的上界和支持向量比重的下界。nu 设 0.01模型只容忍 1% 的训练点被拒绝边界会尽量大误报少但漏报可能多nu 设 0.2边界会明显收窄把更多边缘样本拒掉适合异常比例本身较高的场景。nu 的取值跟你的数据污染率直接相关。如果正常训练集里本来就混了一小撮异常点nu 至少设到 0.05 甚至 0.1让模型有空间扔掉这些脏点。如果数据清洗做得彻底nu 可以设小一点但别低于 0.01——太小会让边界几乎包住每个训练点边界形状变得非常复杂泛化能力下降。常见做法是先设 0.05看一眼被拒样本是什么样的再微调。4.2 gamma 参数RBF 核的带宽如何决定过拟合gamma 决定了 RBF 核的径向作用范围。gamma 大核函数随距离衰减极快每个训练点只管周围很小的区域边界会绕着训练样本走很多弯曲过拟合gamma 小每个点的影响范围大边界更平滑单模型可能欠拟合几乎把所有点都判为正常。调 gamma 有一个玄学但实用的经验用gammascale起步看 AUC 和训练集异常数。如果训练集被拒太多超过 nu 设定的比例说明 gamma 偏大边界在追噪声如果 AUC 上不去试试把 gamma 乘以 2 或除以 2观察 AUC 变化方向。这个调整对 AUC 不敏感时先查数据标准化是否到位再考虑换核函数。4.3 kernel 怎么选RBF 默认够用但 Linear 在某些任务上更稳RBF 是默认选择但不是所有情况都最优。特征维度高几千维且样本量大几十万时RBF 的计算开销大训练也慢线性核反而表现稳定且快。我用过一个电商点击流异常检测场景特征是用户行为统计维度 500样本量百万级线性核 One-Class SVM 训练时间只有 RBF 的十分之一AUC 还略高一点——因为高维稀疏特征下RBF 的局部性反而只剩噪声。维度不高、分布复杂的数据RBF 是更安全的选择。一句话总结不知道选什么就 RBF特征维度高就试 Linear核函数换成多项式通常不值得折腾。4.4 用网格搜索找到最优参数一份可复制的代码One-Class SVM 没有标准分类那样的交叉验证精度所以网格搜索需要自定义评估指标。我用正常验证集和异常验证集构造一个分数在网格里选最大 AUC 的参数组合from sklearn.model_selection import ParameterGrid import numpy as np # 正常验证集和异常验证集假设已经构造好 X_val_normal scaler.transform(val_normal) X_val_abnormal scaler.transform(val_abnormal) y_val np.hstack([np.ones(len(X_val_normal)), -np.ones(len(X_val_abnormal))]) X_val np.vstack([X_val_normal, X_val_abnormal]) best_params None best_auc 0.0 grid {nu: [0.01, 0.05, 0.1, 0.2], gamma: [0.001, 0.01, 0.1, scale]} for params in ParameterGrid(grid): m OneClassSVM(kernelrbf, **params) m.fit(X_scaled) score m.decision_function(X_val) auc roc_auc_score(y_val, score) if auc best_auc: best_auc auc best_params params print(最优参数, best_params, AUC:, round(best_auc, 4))网格搜索的关键是验证集必须独立于训练集否则 nu 和 gamma 会一起把训练集的噪声记住。多层网格也值得做先粗网格锁定范围再在最优值附近细搜。nu 和 gamma 之间有联动关系不要单独调一个而固定另一个。注意网格搜索找到的最优参数只在当前数据分布下有效。设备工况变了、传感器换了型号都要重新标定参数。5. 避坑指南One-Class SVM 的 5 个常见翻车点5.1 现象异常样本混入训练集导致模型失效训练集里染色的异常点会让边界被撑开真实异常进来时模型不再报警。原因在于 One-Class SVM 的目标是包住尽可能多的训练点如果混进的异常点恰好落在正常分布边缘模型会把它当作正常的一部分。解决先用 nu0.1 训一遍把 predict 结果为 -1 的样本打印出来人工看一眼。如果这些被拒样本有明显的特征比如手写数字里笔画特别粗的把它们剔除后重新训练再逐步降低 nu。5.2 现象nu 取 0.5 模型几乎全预测为正常nu 是训练误差比例的上界不是固定的拒绝比例。nu0.5 时模型允许一半的训练点被拒但这不表示它一定会拒绝这么多。如果模型发现一个很小的超球就能包住绝大多数数据它会选择那个小球剩下的全判为异常。但反过来如果训练集分布很散边界被撑巨大就会几乎全正常。这种情况常见于多个工况数据混在一起时。解决回到第 2.3 节按工况拆模型。5.3 现象gamma 太大训练集上完美但测试集一塌糊涂gamma 设成 1 或 10 时RBF 核在 64 维特征上衰减极快模型在训练集中间画了很多小泡泡每个训练点都被自己附近的几个邻居包住。训练集 AUC 能到 0.99但换一批正常样本一半以上被判异常。解决用独立验证集检查 AUC 差距差距超过 0.1 就是过拟合。gamma 往小了调优先试 0.001 到 0.01 这个区间。5.4 现象数据未标准化导致距离计算被某个特征主导像素灰度值范围 0-16但有些特征比如某个量化特征可能方差特别大。RBF 核内部计算的是欧氏距离的指数函数方差大的特征会在距离中占绝对权重模型的异常检测变成只看那一个特征。解决标准化是 One-Class SVM 的前置步骤必须做而且要用训练集的统计量测试集和推理时都复用训练集的 scaler不能各自 fit。5.5 现象样本量太少时模型性能剧烈波动正常样本只有几十条时nu 和 gamma 的微小变化都会大幅改变边界形状支持向量几乎覆盖全部训练点模型成了查表器。解决样本量少于 200 时优先考虑用简单的统计方法比如马氏距离做基线再和 One-Class SVM 对比。如果坚持用 SVM把 nu 设到 0.01 以下并固定随机种子多次重训看结果稳定性。6. 最后一招用伪造异常点验证模型再决定要不要上生产One-Class SVM 上线前最容易被质疑的是你怎么证明它真的能抓住异常。我的习惯是先伪造一批异常点做定量验证。做法很简单对正常样本的每个特征列做随机扰动比如加上 3 到 5 倍标准差的偏移生成一批合成异常。这些点保留正常样本的相关结构但明显偏离均值。rng np.random.default_rng(42) std X_scaled.std(axis0) fake_abnormal X_scaled rng.normal(0, 3.0, sizeX_scaled.shape) * std把伪造异常点加进验证集算 AUC 和 F1。如果 AUC 低于 0.8说明模型边界太松需要收紧 gamma 或提高 nu。如果 AUC 很高但真实故障场景里误报频发就要回头审视伪造方式是否过假——真实异常往往只在某几个特征上偏离而不是整体偏离。这时可以只扰动一半的特征列再观察模型是否仍能捕获。另外模型上线后要定期用新数据重新评估分布漂移。One-Class SVM 的参数基于训练时的分布设备老化、季节变化都会让正常分布缓慢移动边界会逐渐失效。常见做法是每周离线重训一次用近两周的数据当训练集并保留上一版模型做 A/B 对比。我见过不止一次后者在召回率上明显更好。对于要不要投入这个方案我的判断标准是正常数据容易收集、异常样本极度稀缺、且你能接受一定误报率的场景One-Class SVM 是非常划算的起点。它在几十到几万样本量上都有稳定的性能表现训练一个模型不过几百毫秒比深度学习方案轻太多。但如果你的任务有大量标注异常数据二分类或者隔离森林往往更好——别为了用 SVM 而用 SVM。希望这套从原理到踩坑的路径能帮你少走点弯路祝调试顺利。本文还有配套的精品资源点击获取