FRIGIDWINTER的博客

你了解深度学习发展的脉络吗？细数人工智能的里程碑事件，从图灵测试、深蓝大战国际象棋高手、阿尔法狗连续击败李世石，谈到ChatGPT的出现。人工智能还在发展，未来还将继续...

什么是NP难问题？什么是时间复杂度？什么是空间复杂度？本文串讲这些概念，并给出代码实例加深理解

图文详解梯度下降算法原理+手推公式，附Python代码实战加深理解

总结十大常用矩阵求导公式并推导

图文详解牛顿迭代算法原理+手推公式，附Python实战代码加深理解

参数初始化在深度学习中起着重要的作用，其目标是使模型具有良好的初始状态，以便在训练过程中快速且稳定地收敛。本文详细推导Xavier初始化理论，并给出了代码实现和可视化思考加深理解

最新CUDA/cuDNN与Pytorch保姆级图文安装教程：CUDA下载、安装、多版本切换、卸载；解析CUDA、cuDNN、NVIDIA驱动、Pytorch间的版本对应关系

张量是多维数组结构，在人工智能领域应用广泛。本文介绍Pytorch中的张量格式，以及七种张量创建方法和三种张量索引方法

总结Pytorch中的张量Tensor分块、组合、变形(维度变换、维度交换、序列化与反序列化、扩展)、排序、极值、in-place操作的基本API方法

在深度学习中经常涉及高阶张量运算，普通代数方法(如矩阵乘法)相对冗杂，因此引入爱因斯坦求和约定，使深度学习算法简洁优雅。本文通过实例详细介绍爱因斯坦求和原理

本文详细介绍Pytorch中计算图的底层原理，讲解基于计算图的前向传播和反向传播，Pytorch自动微分原理以及梯度缓存、参数冻结等技巧

在实际应用过程中，经典网络结构往往不能满足我们的需求，因而大多数时候都需要自定义模型，本文介绍Pytorch中用于自定义模型的nn.Module方法

本文以MNIST手写数据集为例，图文讲解Pytorch中操作数据的核心类Dataset和DataLoader，介绍其基本原理和主要的数据预处理方法

在深度学习领域，人工调试极其困难。Tensorboard则是神经网络的可视化工具，可以记录训练过程的数字、图像、运行图等，观察神经网络训练过程并指导参数优化。

神经网络很高大上？本文带你从零开始学习数据集的加载、网络结构的搭建、模型训练的实现，从宏观上了解神经网络的训练过程。

【专栏订阅必读】ChatGPT强大魔力的关键因素之一是应用了强化学习模型，本文系统梳理强化学习中环境、智能体、奖赏、动作、状态等关键概念，并给出深度强化学习框架。

强化学习是在潜在的不确定复杂环境中，训练一个最优决策指导一系列行动实现目标最优化的机器学习方法。自从AlphaGo的横空出世之后，确定了强化学习在人工智能领域的重要地位，越来越多的人加入到强化学习的研究和学习中。OpenAI Gym是一个研究和比较强化学习相关算法的开源工具包，包含了许多经典的仿真环境(各种游戏)，兼容常见的数值运算库，使用户无需过多了解游戏的内部实现，通过简单地调用就可以用来测试和仿真。OpenAI GymGym开源库：测试仿真环境，这些环境有一个公共的接口且允许用户设计通用的算法。

本文详解单步强化学习的理论模型K摇臂赌博机，引出强化学习中仅利用和仅探索的思想。最后介绍ϵ-贪心算法和softmax算法并给出Python实现，以及各个算法间的对比

策略评估是给定一个策略计算策略评估函数的过程，用于衡量策略的好坏。本文从一个例子引出回报与奖赏的概念，并由浅入深推导贝尔曼期望方程，最后给出了收敛性证明，为强化学习的策略评估提供理论保证

贝尔曼期望方程用于策略评估，那么我们如何借助贝尔曼方程改进策略呢？本节从理论层面推导贝尔曼最优方程和策略改进定理，介绍策略迭代和价值迭代两种算法流程

在现实的强化学习任务中，转移概率、奖赏函数甚至环境中存在哪些状态往往很难得知，因此引入免模型学习。蒙特卡洛强化学习是免模型学习中的一种，本文介绍蒙特卡洛强化学习中的策略评估原理，以及同轨和离轨策略改进原理，给出详细的公式推导

本文介绍另一种免模型学习技术——时序差分强化学习，结合策略评估原理以及常见的SARSA和Q-Learning算法，给出详细的公式推导加深理解

深度Q网络DQN的核心原理是通过经验回放池和目标网络技术拟合高维状态空间，是Q-Learning算法的深度学习版本，本文分析DQN的基本算法，并给出训练实例和实际案例

在机器人走迷宫中，机器人需要避开所有障碍从起点到达终点。本文基于Q-Learning来实现机器人走迷宫游戏的自主探索与学习

在Flappy Bird中，玩家需要通过控制小鸟安全穿过随机长度的水管来得分。本文基于深度Q网络DQN来实现Flappy Bird游戏的自主探索与学习