作者:禅与计算机程序设计艺术
1.简介
Google DeepMind 在最近发布了其最新一代强化学习AI AlphaStar,旨在击败围棋世界冠军阿尔法狗。AlphaStar 使用强化学习技术训练出了一套自己的神经网络结构——AlphaNet。该系统于2017年底开始实验,并于今年9月公开发布。
为了研究者能够更好地理解DeepMind如何训练AlphaGo Zero以及这一改进版本的差异,作者希望阐述一下AlphaGo Zero的训练过程及其独特之处。除此之外,还将讨论一下AlphaZero以及强化学习领域其他一些算法的训练方法,包括AlphaStar和AlphaMCTS。最后,作者会通过示例代码实现AlphaGo Zero的训练,展示它是如何利用强化学习训练出神经网络模型的。
2.核心概念术语说明
AlphaGo Zero基础概念
AlphaGo Zero 是由 DeepMind 的研究人员基于蒙特卡洛树搜索(MCTS)算法和神经网络提出的,是中国象棋世界冠军李世石于2017年AlphaGo的经典改进版。AlphaGo Zero 背后的基本思想是训练一个神经网络来预测对手下一步的落子位置。由于李世石的聪明才智和对规则的了解,他可以在训练过程中自己制定最佳的策略。相比之下,AlphaGo Zero 的强项则在于它的蒙特卡洛树搜索(MCTS)