CS231n作业（二）SVM分类

最新推荐文章于 2025-05-18 13:35:13 发布

wjp_ctt

最新推荐文章于 2025-05-18 13:35:13 发布

阅读量741

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签：深度学习 cs231n python cifar10 计算机视觉

本文链接：https://blog.csdn.net/wjp_ctt/article/details/83047172

本文详细介绍了在CS231n课程中，使用SVM实现CIFAR-10数据集的多类分类任务。涵盖了损失函数、梯度计算、超参数选择（如正则项系数和学习率）以及权重可视化。通过交叉验证找到最佳参数，训练过程中损失函数逐渐降低，最终模型在测试集上达到35.44%的准确率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、作业说明

CS231n的第二次作业，要求写一个基于svm的多分类程序，实现cifar10的多分类功能，程序中应当体现损失函数计算、梯度计算、交叉验证选择参数、权重可视化等功能。

二、背景知识

损失函数

$L=\frac{1}{N} \sum_{i=1}^{N}\sum_{j\neq y_{i}}^{ }max(0,s_{j}-s_{y_{i}}+1)+\alpha R(W)$

损失函数分为两部分，前半部分的误差项 $\frac{1}{N} \sum_{i=1}^{N}\sum_{j\neq y_{i}}^{ }max(0,s_{j}-s_{y_{i}}+1)$ 和后半部分的正则项 $\alpha R(W)$ 。前半部分的误差由正确类别的socre减去模型对每一类别输出的socre和一个“boundary”(这里设为1)得到。后半部分的正则项提升了模型的泛化性能， $\alpha$ 是正则项系数，本模型中， $R(W)$ 我们选用的是权重矩阵 $W$ 的F范数。

梯度计算

我们使用分析梯度计算方法。对于属于第 $y_{i}$ 类的输入样本 $x_{i}$ ，不考虑正则项，模型的loss关于W求梯度为

$\bigtriangledown_{w_{y_{i}}} L_{i}=-\left ( \sum_{j\neq y_{i}}^{ }max(0,s_{j}-s_{y_{i}}+1)\right )x_{i}$

$\bigtriangledown_{w_{j}} L_{i}=-\left ( \sum_{j\neq y_{i}}^{ }max(0,s_{j}-s_{y_{i}}+1)\right )x_{i}$

若 $R(W)$ 为 $W$ 的F范数， $\bigtriangledown_W R(W)=W$

超参数选择

模型中的超参数有两个。一个是正则项系数 $\alpha$ ，一个是学习率learning rate。为确定两个参数合适的取值，我们使用交叉验证法。

权重可视化

计算socre的过程中，权重矩阵W的每一行与输入的特征向量做卷积。考虑到特征向量是由输入图片拉伸得到的。我们可以认为权重矩阵的每一行也是由一张图片拉伸得到的。通过对权重矩阵每一行做可视化，我们可以观察到权重矩阵的部分性质。

三、程序源码

# -*- coding: utf-8 -*-
"""
Created on Sat Oct 13 09:52:31 2018

@author

最低0.47元/天解锁文章

200万优质内容无限畅学