- 博客(2)
- 收藏
- 关注
原创 大语言模型基础
统计语言模型(Statistical Language Model):统计语言模型依赖于统计方法来估计词序列的概率分布。最早的语言模型基于 n-gram 方法,即通过分析 n 个词的联合出现概率来预测下一个词。神经语言模型(Neural Language Model):神经语言模型使用神经网络来建模词序列。这类模型通过嵌入层将词转换为稠密的向量表示,然后通过 RNN、LSTM 或 GRU 等网络结构来捕捉词序列的上下文信息。预训练语言模型(Pre-trained Language Model)
2024-08-12 16:32:28
925
原创 xgboost原理和实践
XGBoost(Extreme Gradient Boosting)的原理是通过梯度提升树(Gradient Boosted Trees)来优化模型性能。它结合了决策树的集成方法与梯度提升技术,通过逐步修正残差来提高预测准确性。XGBoost在每一轮迭代中构建一棵新的树来最小化目标损失函数,利用二阶导数信息加速优化过程,最终得到一个强大的预测模型。
2024-08-12 16:08:02
199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人