tangweirensheng的博客

PyTorch学习之六个学习率调整策略_mingo_敏-CSDN博客_pytorch 学习率pytorch自适应学习率_开飞机的小毛驴儿-CSDN博客_pytorch自适应学习率pytorch中优化器与学习率衰减方法总结_ys1305的博客-CSDN博客_pytorch 学习率衰减...

虽然已经学习 python一段时间了，但是学习过程中一直都是使用print打印来验证结果，非常不方便，这是最笨的一种办法，建议学习的时候可以使用。但是正常写程序项目时候调试还是建议不要用print了，效率比较低，我找了一下网上介绍pycharm调试的方法，进行了一个总结。分为以下几个步骤：1，在需要的地方设置断点2，进入 debug模式 ，方法挺多的，只要看到界面上出现 debug点一下就进去了3，step over （快捷键 F8）单步执行，不进入子函数，把子函数作为一步来执行...

cross entropy更好用到 classification上， pytorch中， cross entropy绑定 softmax,已经放到 cross entropy里面

Matlab R2020a For Linux 安装教程 - 知乎linux服务器下的matlab配置、如何运行matlab代码及其与C的混合编程_remanented的博客-CSDN博客_linux 如何运行matlabLinux16.04安装Matlab2016b详细教程_WZZ18191171661的博客-CSDN博客在Linux命令行下运行Matlab的.m文件_y1556368418的博客-CSDN博客在Linux服务器上，命令行下运行Matlab的.m文件_h_l_dou的博客-

一层complex init初始化后的lstm出来以后的值,x.shape [batch_size,ni，hidden_size]可能已经出现问题, [100, 101, 128]，[100, 101]个类似数据经过一层fc， [100, 101, 2]经过另一层fc（101—1）[100, 2]...

方式1：self.fc1.weight.data.normal_(0, 0.1)方式2： nn.init语法注意点：setattr(self, 'bn%i' % i, bn)

总结Training stucksmall gradient训练卡住了 ，其实很少卡到 critical point (localminima或者 saddle point)训练到参数很接近 critical point用一般的 gradient descend train很难做到要训练到 criticalpoint是一件很困难的事情如果在某一个方向上gradient的值很小，在这个方向上非常平坦，需要larger learning rate如果在某一个方向...

Momentum对抗 local minima和 saddle point的技术

Saddle point只要沿着 eigen vector的方向，就可以让Loss变小从经验上讲， local minima并没有那么常见，多数时候 train到 gradient很小，是因为卡在了saddlepoint...