自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(175)
  • 收藏
  • 关注

原创 《Drain: 一种基于固定深度树的在线日志解析方法》论文详细笔记

《Drain: 一种基于固定深度树的在线日志解析方法》论文详细笔记。

2025-05-27 12:59:07 638

原创 《Loghub: A Large Collection of System Log Datasets for AI-driven Log Analytics》论文详细笔记

Loghub: A Large Collection of System Log Datasets for AI-driven Log Analytics笔记,包含数据集说明。

2025-05-27 12:54:57 1316

原创 VAE&VAEtext

VAE&VAEtext。

2025-05-24 09:14:30 706

原创 SeqGAN & LeakGAN

SeqGAN & LeakGAN。

2025-05-24 09:04:53 347

原创 kaiming初始化与批量归一化 (BN) 及残差连接详解

kaiming初始化与批量归一化 (BN) 及残差连接详解。

2025-05-23 10:44:16 1132

原创 数学速查手册

算法数学速查手册(可扩展更新版)。

2025-05-23 09:46:25 653

原创 蒙特卡洛树搜索 (MCTS)

蒙特卡洛树搜索 (MCTS) 。

2025-05-23 09:25:13 648

原创 PPO笔记

PPO笔记。

2025-05-23 09:13:12 737

原创 LeetCode 滑动窗口问题 - 核心限制条件总结 (基于灵茶山艾府分类 - 详尽版)

LeetCode 滑动窗口问题 - 核心限制条件总结 (基于灵茶山艾府分类 - 详尽版)。

2025-05-22 14:33:21 991

原创 DeepseekV3技术报告总结

DeepSeekV3技术报告大纲。

2025-05-22 13:19:19 774

原创 LLM笔记(十三)损失函数及优化器调研报告

损失函数和优化器调研报告。

2025-05-22 10:43:16 1096

原创 滑窗问题实验LC2653(一次遍历维持窗口元素保持排序)

在只有一次遍历(即滑窗每向右移动一步只处理新增元素和删除旧元素)的前提下,要维持当前窗口内元素的全局“可排序”结构,多种方案对比分析。

2025-05-21 17:16:01 613

原创 工程优化大纲

工程优化参考大纲。

2025-05-21 16:30:34 1573

原创 LLM笔记(十二)激活函数调研报告

激活函数调研报告,ds整理输出。

2025-05-21 10:21:29 1150

原创 Raft算法学习(1)博士论文大纲

Raft算法。

2025-05-20 20:15:43 568

原创 LLM笔记(十一)常见解码/搜索算法

LLM常见解码/搜索算法。

2025-05-20 15:55:40 874

原创 LLM笔记(十)vLLM(1)PagedAttention论文笔记

vLLM PageAttention论文笔记,以及核心源码分析。

2025-05-20 15:33:15 1712 1

原创 LLM笔记(九)KV缓存(2)

LLM KV缓存学习。

2025-05-19 19:53:38 1571

原创 滑动窗口题目总结

滑动窗口题目总结。

2025-05-19 10:56:31 840

原创 LLM笔记(九)KV缓存调研

LLM KV缓存简单调研,待更新完善,目前为大纲。

2025-05-18 14:32:32 1062

原创 LLM笔记(八)Transformer学习

Transformer学习笔记含代码说明。

2025-05-18 13:58:42 1024

原创 强化学习笔记(一)基本概念

强化学习基本概念。

2025-05-17 19:29:19 907

原创 LLM笔记(二)LLM数据基础-分词算法(2)

分词算法。

2025-05-17 13:21:19 997

原创 LLM笔记(七)注意力机制

注意力机制笔记。

2025-05-16 15:40:20 796

原创 LLM笔记(六)线性代数

LLM线性代数应用。

2025-05-16 11:55:12 1043

原创 LLM笔记(五)概率论

LLM概率论应用。

2025-05-16 11:50:04 1004

原创 LLM笔记(四)信息论

LLM信息论应用。

2025-05-16 11:48:01 1141

原创 LLM笔记(三)位置编码(1)

位置编码数学解释。

2025-05-15 18:24:59 825

原创 LLM笔记(二)LLM数据基础(1)

LLM from scratch第二章笔记。

2025-05-15 16:00:09 592

原创 计网实验(四)CS144 Lab4

cs144 lab4,实验tcpconnection 封装lab2,3.

2025-05-15 13:06:19 988

原创 计网实验(三)CS144 Lab3

cs144 lab3笔记

2025-05-15 10:50:28 794

原创 LLM笔记(一)基本概念

LLM笔记,基本概念。

2025-05-14 20:46:58 910

原创 计网实验(二)CS144 Lab2

cs144 lab2,lab3实验分析。

2025-05-14 12:33:05 1414

原创 计网笔记-传输层(二)TCP

TCP协议学习笔记。

2025-05-14 10:22:42 844

原创 计网实验笔记(一)CS144 Lab1

cs144 lab0、lab1记录

2025-05-13 15:22:40 874

原创 计网笔记-传输层(一)构建可靠传输协议

可靠传输协议构建笔记。

2025-05-13 10:48:01 1092

原创 并发笔记-并发问题与事件驱动模型(五)

ostep并发章节笔记以及设计思想总结。

2025-05-12 15:49:59 1245

原创 并发笔记-信号量(四)

信号量是一个具有整数值sem_wait()尝试减少信号量的值。如果信号量的值在减少后变为负数,则调用线程将被阻塞 (block)并进入休眠状态,直到其他线程通过sem_post()增加信号量的值使其不再为负。如果信号量的值在减少后大于等于零,则线程继续执行。sem_post()增加信号量的值。如果增加后,有其他线程因为等待该信号量而阻塞,则系统会唤醒其中一个(或多个,取决于实现)等待的线程。在使用信号量之前,必须将其初始化为一个特定的整数值。这个初始值决定了信号量的行为。

2025-05-12 15:26:00 898

原创 并发笔记-条件变量(三)

条件变量 (Condition Variable - CV)是一种显式的队列,线程可以在某个条件不满足时,将自己放入这个队列中并进入休眠状态(通过等待该条件)。当其他线程改变了可能影响该条件的状态时,它可以通知 (signal)一个或多个正在等待该条件的休眠线程,唤醒它们以重新检查条件并继续执行。条件变量的思想可以追溯到 Dijkstra 的“私有信号量 (private semaphores)”和 Hoare 在其监视器 (Monitors) 工作中提出的“条件变量”。(还需要正确初始化)

2025-05-11 20:59:31 928

原创 并发笔记-给数据上锁(二)

并发数据结构的相关笔记。参考ostep

2025-05-11 20:54:56 1154

深度学习中的激活函数:全面剖析与前沿展望

内容概要:本文系统地探讨了深度学习中激活函数的核心概念、历史演变、数学原理及其对神经网络性能的影响。文章首先介绍了激活函数的重要性,强调其引入非线性表达能力以使网络能够学习复杂模式。接着详细解析了经典激活函数(如Sigmoid、Tanh)和现代广泛使用的ReLU及其变体(Leaky ReLU, PReLU, ELU, SELU),以及新兴的Swish、GELU和Mish等函数的特点,包括它们的数学表达式、图形特征、输出范围、优缺点,并分析了这些函数对网络训练动态(梯度消失/爆炸、收敛速度、计算效率)的影响。此外,文章还专门讨论了输出层激活函数(Softmax, Sigmoid, 线性函数)的选择与特定任务类型(分类、回归)的关联。最后,提供了激活函数选择的实用指南,探讨了激活函数领域的演进趋势、当前面临的挑战及未来的研究方向。 适合人群:对机器学习和深度学习感兴趣的初学者、学生,以及希望巩固基础知识的从业者。 使用场景及目标:①帮助读者理解不同激活函数的特性及其在神经网络中的作用;②指导读者根据任务类型、网络架构和具体需求选择合适的激活函数;③为从事深度学习研究和应用开发的人员提供理论依据和技术参考。 其他说明:本文不仅涵盖了激活函数的基础理论,还深入探讨了前沿研究和发展趋势,旨在为读者提供全面且深入的知识体系,以便在实际工作中做出明智的选择。阅读时建议结合具体案例和实验进行实践,以加深理解和应用能力。

2025-05-21

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除