IT古董-CSDN博客

原创【人工智能】人工智能的数学基础

人工智能（AI）的学习路线通常分为几个阶段，涉及数学基础、编程技能、机器学习、深度学习以及相关工具的掌握。本文是对数学基础部分的整理和总结，目前不断学习整理更新中.....

2024-11-12 10:43:43 400

原创【机器学习】机器学习中用到的高等数学知识

机器学习是一个跨学科领域，涉及多种高等数学知识。掌握这些高等数学知识可以帮助理解机器学习算法的工作原理和实现过程。在实际应用中，建议结合编程实践，如使用 Python 中的 NumPy 和 SciPy 库进行线性代数和数值计算，使用 scikit-learn 进行统计分析和机器学习建模。通过理论与实践相结合，能够更深入地理解机器学习的核心概念和应用。

2024-11-07 09:38:28 865

原创人工智能学习路线

人工智能学习的过程是循序渐进的，先打好数学和编程基础，然后逐步深入机器学习和深度学习，最后通过实际项目和工具框架的使用巩固知识。

2024-10-30 14:08:07 949 1

原创【第四章:大模型（LLM)】01.神经网络中的 NLP-(1)RNN、LSTM 和 GRU 的基本原理和应用

本文介绍了循环神经网络（RNN）及其改进模型LSTM和GRU在自然语言处理中的应用。传统前馈神经网络难以处理序列数据的上下文依赖，RNN通过引入隐藏状态解决了这一问题。针对RNN存在的梯度消失/爆炸问题，LSTM通过门控机制（遗忘门、输入门、输出门）有效控制信息流，GRU则进一步简化结构为两个门（更新门和重置门）。这些模型在语言建模、文本分类、机器翻译等任务中表现优异，为现代NLP奠定了基础。尽管Transformer已成为主流，LSTM和GRU在小型模型和特定场景中仍具重要价值。

2025-07-25 13:33:36 197

原创【第四章:大模型（LLM)】01.Embedding is all you need-(6)从 Word2Vec 到推荐/广告系统，再到大语言模型（LLM）

摘要：本文探讨了Embedding技术在AI发展中的核心作用。从Word2Vec的词向量表示开始，Embedding实现了从离散符号到连续向量的转变，构建了语义空间基础。随后在推荐系统（如淘宝的item2vec）和广告系统（如Wide&Deep模型）中得到广泛应用，解决了高维稀疏特征的处理问题。随着技术演进，Transformer模型（BERT/GPT）实现了动态上下文相关的Embedding表示。最终，Embedding成为连接词向量、推荐系统和大语言模型的统一语义基础，支撑了现代AI的理解、推理

2025-07-25 11:18:09 470

原创【第四章:大模型（LLM)】01.Embedding is all you need-(5)Word2vec代码实现及应用

本文介绍了Word2vec词向量模型的原理与实现。Word2vec通过CBOW或Skip-Gram架构将词语转换为向量，使语义相近的词在向量空间中距离更近。文章以Skip-Gram为例，详细展示了使用PyTorch实现Word2vec的完整流程，包括数据预处理、模型构建、训练过程和词向量可视化。通过PCA降维将词向量投影到二维空间，直观展示词语间的语义关系。最后介绍了词向量在相似词推荐、情感分析等NLP任务中的应用，并提供了余弦相似度计算示例。

2025-07-15 10:15:56 467

原创【第四章:大模型（LLM)】01.Embedding is all you need-(4)Word2Vec之 CBOW 与 Skip-Gram

Word2Vec是自然语言处理中重要的词嵌入技术，包含两种模型架构：CBOW通过上下文预测中心词，训练速度快，适合处理高频词；Skip-Gram通过中心词预测上下文，能更好学习罕见词表示但训练较慢。二者都需要设置上下文窗口，核心思想是将语义相似的词映射到邻近向量空间。实际应用中可采用负采样和层次Softmax优化计算效率。建议使用gensim等工具实现，调整窗口大小、向量维度等参数提升效果，中文需先进行分词处理。

2025-07-15 09:56:19 805

原创【第四章:大模型（LLM)】01.Embedding is all you need-(3)该如何做Embedding？Onehot to word2vec

本文介绍了从One-hot编码到Word2Vec的词嵌入方法演变。指出One-hot编码存在高维稀疏、无法表达语义关系等缺陷。重点讲解Word2Vec的两种模型结构（CBOW和Skip-Gram）及训练方法，包括负采样等技术优化。Word2Vec通过低维稠密向量捕捉词语语义，支持"向量算术"等特性。最后对比了两种编码方式的优缺点，为后续更先进的嵌入方法（如GloVe、Transformer）奠定基础。

2025-07-09 09:30:00 553

原创【第四章:大模型（LLM)】01.Embedding is all you need-(2)如何直觉理解Embedding

Embedding是将非结构化数据（如文本、图像）转换为低维稠密向量的技术，类似于将概念映射为数字坐标。通过距离和方向表达语义关系，解决了传统编码无法表示相似性的问题。常见应用包括Word2Vec、BERT等，通过神经网络学习实现，可用于分类、聚类等任务。可视化显示相似概念在向量空间中聚集，方向反映语义关联。作为大模型的基础，Embedding是理解复杂信息的关键第一步。

2025-07-08 10:41:07 477

原创【第四章:大模型（LLM)】01.Embedding is all you need-(1)Why embedding is all you need?

大模型的核心基石：Embedding技术解析摘要：Embedding（嵌入表示）是现代大模型处理离散数据的核心技术，它将文本、图像等转化为连续的向量表示。作为连接原始数据与神经网络的桥梁，Embedding不仅能捕捉语义关系和上下文信息，还具有强大的通用性和迁移能力。在Transformer架构中，注意力机制等核心操作都在Embedding空间完成。研究表明，构建高质量的表示空间可以简化模型结构，使许多任务仅需在向量空间进行简单计算即可完成。该技术已广泛应用于NLP、CV、推荐系统等多领域。

2025-07-08 10:28:35 566

原创模型微调（Fine-tuning）详解

模型微调（Fine-tuning）是迁移学习的重要技术，通过在预训练模型（如BERT、ResNet）基础上针对特定任务进行二次训练，显著降低训练成本。核心流程包括：选择预训练模型、调整输出层、冻结参数（可选）、设置优化器。微调策略分为冻结特征层、部分微调或全参数调整，关键技巧包括小学习率、正则化和数据增强。PyTorch示例展示了ResNet的微调方法。轻量化微调技术（如LoRA、Adapter）进一步降低大模型微调成本。该技术广泛应用于图像分类、NLP等领域，是实现高效AI迁移的核心手段。

2025-07-07 09:34:51 1208

原创【第三章:神经网络原理详解与Pytorch入门】02.深度学习框架PyTorch入门-(6)Pytorch进阶训练（自定义loss、模型微调、数据增强）

本文介绍了PyTorch进阶训练的三大关键技术：1）自定义Loss函数，通过继承nn.Module实现特定任务的损失计算；2）模型微调方法，包括冻结预训练模型参数和替换输出层；3）数据增强技术，使用torchvision.transforms进行图像变换以提升模型泛化能力。文中提供了代码示例，并对比了三种技术的作用场景，如加权MSE损失、ResNet迁移学习和随机旋转/翻转等数据增强方式。这些方法能有效优化模型性能，是深度学习实践中的重要技能。

2025-07-07 09:17:56 586

原创【第三章:神经网络原理详解与Pytorch入门】02.深度学习框架PyTorch入门-(5)PyTorch 实战——使用 RNN 进行人名分类

本文介绍了使用PyTorch实现RNN进行人名分类任务的完整流程。首先通过Unicode标准化处理原始数据，构建字符级one-hot输入张量。然后实现了一个单层RNN模型，包含输入层、隐藏层和LogSoftmax输出层。训练过程采用负对数似然损失和手动梯度下降。最后展示了预测函数的使用方法，并建议扩展为LSTM/GRU模型，使用优化器以及可视化训练过程。该案例完整呈现了字符级序列分类任务的实现要点。

2025-07-06 09:45:00 506

原创【第三章:神经网络原理详解与Pytorch入门】02.深度学习框架PyTorch入门-(4)Pytorch实战

本文介绍了PyTorch中神经网络模型的构建与修改方法。主要内容包括：1）通过继承nn.Module类构建复杂网络结构，示例演示了CNN的实现；2）模型动态修改技巧，如替换现有层或添加新层；3）模型保存与加载的两种方式，推荐使用state_dict保存权重参数；4）完整训练流程回顾。重点强调了自定义网络结构、灵活修改模型层以及正确的模型保存/加载方法，为深度学习实践提供了基础框架。

2025-07-06 09:30:00 270

原创【第三章:神经网络原理详解与Pytorch入门】02.深度学习框架PyTorch入门-(3)Pytorch实战

本文详解了PyTorch框架下ResNet残差网络的实现原理与应用。首先介绍了ResNet通过残差连接解决深层网络梯度消失问题的核心思想。随后解析了ResNet18的关键代码模块，包括BasicBlock结构、_make_layer方法和网络初始化过程。并以FashionMNIST数据集为例，完整演示了数据预处理、模型训练和评估的全流程。通过调整输入尺寸、定义损失函数和优化器，实现了图像分类任务，最终在测试集上评估模型准确率。该案例展示了PyTorch构建深度神经网络的标准流程和ResNet的核心优势。

2025-07-05 09:45:00 243

原创【第三章:神经网络原理详解与Pytorch入门】02.深度学习框架PyTorch入门-(2)Pytorch主要组成模块

PyTorch作为主流深度学习框架，提供四大核心模块支持神经网络开发。数据读取模块（torch.utils.data）通过Dataset类实现自定义数据源，DataLoader进行批量加载；模型构建模块（torch.nn）采用继承nn.Module的方式定义网络结构；损失函数模块（torch.nn）提供MSELoss、CrossEntropyLoss等常见损失计算；优化器模块（torch.optim）包含SGD、Adam等参数优化算法。

2025-07-05 09:30:00 258

原创【第三章:神经网络原理详解与Pytorch入门】02.深度学习框架PyTorch入门-(1)Pytorch安装与基础知识

PyTorch是由Meta开发的开源深度学习框架，以其动态计算图和易用性著称。本文介绍了PyTorch的两种安装方式（pip和conda），并提供了CUDA版本指定方法。同时讲解了基础概念如张量操作、自动求导机制和GPU加速使用，演示了创建张量、运算和梯度计算示例。文章还预览了torch.nn等核心模块，为后续神经网络构建打下基础，最后通过代码验证了安装成功性。这些内容为深度学习实践提供了必要的工具准备。

2025-07-04 09:45:55 350

原创【第三章:神经网络原理详解与Pytorch入门】01.神经网络算法理论详解与实践-(4)神经网络中的重要组件

本文详细介绍了神经网络中的关键组件及其作用，包括激活函数(Sigmoid、Tanh、ReLU等)、损失函数(MSE、交叉熵等)、Dropout正则化技术，以及梯度消失/爆炸问题与过拟合/欠拟合现象的成因与解决方案。这些组件共同决定了神经网络的性能和稳定性，合理选择与优化这些组件是构建高效神经网络模型的基础。文章还提供了各类组件的数学公式、特点分析和常见优化策略，如使用ReLU激活函数缓解梯度消失、采用Dropout防止过拟合等，为神经网络的设计与调优提供了实用指导。

2025-07-04 09:36:14 1143

原创 MySQL 中两个请求同时操作相同的表或记录时，发生一个处理失败或超时的问题的原因分析和解决办法

MySQL并发操作锁冲突问题分析及解决方案：常见问题包括事务锁冲突、死锁和显式表锁，导致请求失败或超时。解决方案建议：1）缩短锁定时间，及时提交事务；2）调整innodb_lock_wait_timeout参数；3）捕获并重试事务失败；4）保持一致的访问顺序避免死锁；5）使用行级锁替代表锁；6）分析死锁日志。通过这些措施可以有效减少并发操作时的锁冲突问题。

2025-07-03 16:13:11 276

原创【第三章:神经网络原理详解与Pytorch入门】01.神经网络算法理论详解与实践-(3)神经网络中的前向传播、反向传播的原理与实现

本文详细讲解了神经网络中的前向传播和反向传播原理。前向传播将输入数据逐层计算得到预测值，并通过损失函数衡量预测误差。反向传播利用链式法则从输出层到输入层逐层计算梯度，最终通过梯度下降法更新网络权重参数。文中还给出了PyTorch实现示例，展示了神经网络训练的基本流程：前向计算、损失计算、反向传播和参数更新。这些内容为理解自动微分和深度学习框架的实现奠定了基础。

2025-07-03 15:44:30 683

原创【第三章:神经网络原理详解与Pytorch入门】01.神经网络算法理论详解与实践-(2)神经网络整体结构

本文详细介绍了神经网络的基本原理与结构。首先讲解单层感知机模型及其线性分类能力，进而扩展到多层感知机(MLP)前馈神经网络结构，包括输入层、隐藏层和输出层的组成。重点阐述了激活函数(如ReLU、Sigmoid、Tanh)的非线性作用，以及神经网络的前向传播和反向传播机制。最后展示了使用PyTorch框架构建简单MLP网络的代码示例，通过nn.Sequential模块可快速实现包含线性层和激活函数的神经网络结构。

2025-07-03 15:29:47 1306

原创【第三章:神经网络原理详解与Pytorch入门】01.神经网络算法理论详解与实践-(1)神经网络预备知识（线性代数、微积分、概率等）

本文系统介绍了神经网络所需的三大数学基础：线性代数、微积分和概率统计。线性代数支撑神经网络的矩阵运算，微积分实现反向传播和参数优化，概率统计则用于建模不确定性。文章详细解析了向量运算、常见函数导数、链式法则以及概率分布等核心概念，并阐明了其在神经网络各环节的应用。掌握这些数学知识是理解和构建神经网络模型的基础前提，为后续深度学习实践奠定理论基础。

2025-07-02 11:42:13 879

原创【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(4)模型评价与调整（Model Evaluation & Tuning）

本文介绍了机器学习回归任务中的模型评价与调整方法。主要内容包括：1）常用回归性能指标如MSE、MAE、R²的计算原理与应用场景；2）交叉验证方法（K折和留一法）的实现与作用；3）三种模型调参技术（手动调参、网格搜索和随机搜索）的Python实现示例。文章通过具体代码演示了指标计算和参数优化过程，强调应根据任务特点选择合适的评价指标和调参方法。最后总结指出，综合运用这些技术可以有效评估模型性能并优化超参数选择。

2025-07-02 10:41:53 951 1

原创【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(3)决策树回归模型（Decision Tree Regression）

决策树回归是一种非参数监督学习方法，适用于非线性关系建模。其核心思想是通过递归地划分特征空间，构建一棵以特征阈值为节点、样本均值为叶子的树形结构，最小化每次划分后的均方误差（MSE）。为了防止过拟合，通常采用预剪枝（如限制树深、最小样本数）或后剪枝（如复杂度惩罚剪枝 ccp_alpha）策略。该模型具有解释性强、建模灵活等优点，但也易受训练数据波动影响。通过可视化结构图和剪枝对比图，可直观理解其划分策略与泛化能力。

2025-07-01 15:37:27 954

原创【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(2)支持向量回归（SVR）

支持向量回归（SVR）是支持向量机在回归任务中的扩展，通过ε-不敏感损失函数和软间隔机制平衡预测精度与鲁棒性。其核心包括核函数（如RBF、多项式）处理非线性关系、松弛变量容忍异常点，以及正则化参数C控制模型复杂度。Python实现中，关键参数如C、ε和gamma需调优：C越大越拟合训练数据但易过拟合，ε决定误差容忍度，gamma影响核函数复杂度。调参建议优先RBF核，结合网格搜索与交叉验证优化性能。示例代码展示了SVR对非线性数据的拟合效果。

2025-07-01 15:18:51 1397

原创【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(1)线性回归模型

本文介绍了线性回归模型及其常见问题与优化方法。主要内容包括：1）线性回归基础原理，通过最小化残差平方和进行参数估计；2）多重共线性问题及其检测方法（相关系数矩阵、方差膨胀因子）；3）三种正则化方法（岭回归的L2正则、Lasso回归的L1正则、弹性网结合L1+L2），分别用于处理共线性和特征选择；4）通过Python代码示例对比了不同方法的拟合效果，显示正则化能有效抑制过拟合；5）模型评估结果显示岭回归在测试数据上表现最优。正则化方法为线性回归模型提供了更好的泛化能力。

2025-06-30 11:08:15 1231

原创【第二章:机器学习与神经网络概述】03.类算法理论与实践-(4)集成方法（Ensemble Methods）

本文概述了机器学习中集成方法的核心理论与实践，重点解析了Bagging和Boosting两类代表性算法。Bagging通过并行训练多个模型（如随机森林）降低方差，采用有放回采样和特征随机选择；Boosting则通过串行训练（如GBDT）关注错误样本来降低偏差。文章对比了两者的特性差异，包括训练方式、误差目标、抗噪声能力等，并介绍了sklearn中的实现方法。最后通过对比表直观展示了集成方法与单模型的优劣，为不同场景下的算法选择提供了参考依据。集成方法通过组合弱分类器显著提升模型性能，是现代机器学习的重要技术

2025-06-30 10:34:57 873

空空如也

空空如也