- 博客(7)
- 收藏
- 关注
RSS订阅原创 西瓜书+南瓜书第4章深度总结与心得（决策树篇）
啃完西瓜书第4章和南瓜书的补充推导，对决策树的理解从“会用”升级到了“懂原理”。相比神经网络这种“黑箱”，决策树更像一个逻辑清晰的流程图，但背后的数学细节和实际应用中的坑一点也不少。比如某个特征10%的值缺失，计算信息增益时，这10%的数据按已有数据的分布分配到子节点。信息增益会偏向取值多的特征（比如“学号”这种没意义的特征），增益率除以特征的“固有值”来平衡。：信息论（熵）和概率论（基尼）是决策树的数学基础，剪枝的本质是正则化。：能直接画出规则，适合需要解释的场景（比如银行拒绝贷款的理由）。
2025-03-27 09:48:30
243
原创 深度学习神经网络：从数学本质到认知重构的再思考
回顾此次学习，我深刻意识到：神经网络不仅是工程工具，更是理解智能本质的罗塞塔石碑。西瓜书勾勒出基础框架，南瓜书补全数学细节，但真正深邃的洞见来自跨学科的思辨。
2025-03-27 09:43:53
605
原创 线性判别分析：从数学本质到认知升维
通过对LDA的深度学习，我们不仅掌握了一个经典的分类算法，更重要的是建立了从数学推导到算法实现，从理论分析到实践优化的完整认知链条。这种多维度的思考训练，正是机器学习研究者需要具备的核心素养。在后续学习中，建议结合流形学习理论，探索LDA在非线性空间的扩展，这将打开一个更广阔的认知维度。
2025-03-22 23:24:40
1603
原创 深度学习心得：西瓜书+南瓜书第3章——对数几率回归
当线性回归遇上sigmoid函数，一场精妙的数学舞蹈就此展开。梯度形式∇J = X^T(y_pred - y_true) 的直观解释。特征分箱：最优分箱数≈sqrt(n_features)导数σ' = σ(1-σ)的美丽性质，为梯度计算铺路。推荐系统：Precision@K + NDCG。损失函数本质是预测分布与真实分布的KL散度。缺失值处理：-999填充比均值填充更有效。核技巧：通过核函数隐式映射到高维空间。二分类问题：C∈[0.1, 1]层级堆叠：作为神经网络的基础单元。多分类问题：C∈[1, 10]
2025-03-18 09:48:43
410
原创 深度学习总结：西瓜书+南瓜书第3章——线性回归
南瓜书详细补充了矩阵求导过程，特别是对∂∂w(y−Xw)⊤(y−Xw)∂w∂(y−Xw)⊤(y−Xw)的推导，揭示了为何需要X⊤XX⊤X可逆（即数据满秩）。其简洁的形式背后，蕴含着丰富的数学思想和工程实践智慧。：通过最小化均方误差（MSE）求解参数，解析解为 w=(X⊤X)−1X⊤yw=(X⊤X)−1X⊤y。：通过引入λ∥w∥22λ∥w∥22惩罚项，解决X⊤XX⊤X不可逆时的数值不稳定问题，并抑制过拟合。：w=(X⊤X+λI)−1X⊤yw=(X⊤X+λI)−1X⊤y，通过添加对角矩阵强制可逆。
2025-03-15 23:49:23
1537
原创 深度学习总结心得：西瓜书第1、2章与南瓜书学习
西瓜书与南瓜书的“理论-数学”双视角学习，不仅让我掌握了模型评估与选择的方法论，更培养了从“直觉猜想”到“数学证明”再到“工程实现”的完整思维链条。：对南瓜书中的关键公式（如自助法的样本概率计算），通过Python模拟（如numpy.random.choice）验证理论结果。：南瓜书对代价矩阵的推导（如公式2.23的加权错误率）提示，实际任务中需将业务代价（如医疗误诊成本）嵌入模型优化目标。：当模型复杂度（如VC维）超过数据分布的信息量时，泛化误差上界的第二项（与VC维正相关）主导，导致性能下降。
2025-03-13 10:34:47
1366
1
空空如也
MYSQL保存18位数的纯数字用什么类型 mysql
2023-10-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人