[Coursera][Stanford] Machine Learning Week 3

原创于 2014-08-15 15:43:12 发布 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#MOOC #machine learning

公开课专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了逻辑回归的基本概念、分类、S型函数、决策边界、代价函数、优化算法以及多分类问题的一对多策略。同时，深入探讨了正则化的概念，包括过拟合、代价函数、正则化、正规方程和非可逆性。通过编程练习，实现了逻辑回归的sigmoid函数、代价函数与梯度计算，并评估了逻辑回归模型的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

时间：2014年8月12日 -- 16日

1. Logistic Regression 逻辑回归

介绍分类（classification) 的概念，S型函数，Decision Boundary，Cost Function，Optimization algorithm, Multiclassification：one-vs-all

2.Regularization 正则化

overfitting, cost function, Regularization, Normal equation, Non-invertibility

Programming Exercises 2

1 Logistic Regression

1.2 Implementation
1.2.1 Warmup exercise: sigmoid function

g = 1 ./ (1 + exp(-z));

1.2.2 Cost function and gradient

h = 1 ./ (1 + exp(- X * theta));
J = - (1 / m) * ((y' * log(h)) + (1 - y)' * log(1 - h));

grad = (1 / m) * X' * (h - y);

1.2.4 Evaluating logistic regression

s = sigmoid(X * theta);
for  i = 1:m
    if s(i) >= 0.5
        p(i) = 1;
    else
        p(i) = 0;
    end  
end

2 Regularized logistic regression

2.3 Cost function and gradient

h = 1 ./ (1 + exp(- X * theta));
J = - (1 / m) * ((y' * log(h)) + (1 - y)' * log(1 - h)) + (lambda / (2 * m)) * sum(theta(2:end) .^ 2);

grad = (1 / m) * X' * (h - y) + (lambda /  m) * [0;theta(2:end)];